DE102011077398A1 - Fahrzeugkamerasystem zur Bereitstellung eines lückenlosen Bildes der Fahrzeugumgebung und entsprechendes Verfahren - Google Patents
Fahrzeugkamerasystem zur Bereitstellung eines lückenlosen Bildes der Fahrzeugumgebung und entsprechendes Verfahren Download PDFInfo
- Publication number
- DE102011077398A1 DE102011077398A1 DE102011077398A DE102011077398A DE102011077398A1 DE 102011077398 A1 DE102011077398 A1 DE 102011077398A1 DE 102011077398 A DE102011077398 A DE 102011077398A DE 102011077398 A DE102011077398 A DE 102011077398A DE 102011077398 A1 DE102011077398 A1 DE 102011077398A1
- Authority
- DE
- Germany
- Prior art keywords
- vehicle
- image
- vehicle environment
- camera system
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 11
- 230000004927 fusion Effects 0.000 claims abstract description 22
- 230000008054 signal transmission Effects 0.000 claims abstract description 5
- 238000012545 processing Methods 0.000 claims description 15
- 238000001514 detection method Methods 0.000 claims description 9
- 238000003384 imaging method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- BUHVIAUBTBOHAG-FOYDDCNASA-N (2r,3r,4s,5r)-2-[6-[[2-(3,5-dimethoxyphenyl)-2-(2-methylphenyl)ethyl]amino]purin-9-yl]-5-(hydroxymethyl)oxolane-3,4-diol Chemical compound COC1=CC(OC)=CC(C(CNC=2C=3N=CN(C=3N=CN=2)[C@H]2[C@@H]([C@H](O)[C@@H](CO)O2)O)C=2C(=CC=CC=2)C)=C1 BUHVIAUBTBOHAG-FOYDDCNASA-N 0.000 description 1
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004132 cross linking Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 150000003071 polychlorinated biphenyls Chemical class 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
- B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Mechanical Engineering (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Abstract
Die vorliegende Erfindung betrifft ein Fahrzeugkamerasystem zur Bereitstellung eines lückenloses Bildes der Fahrzeugumgebung mittels eines oder mehrerer Kameramodule, die jeweils eine Kamera und eine lokale Recheneinheit umfassen. Die lokalen Recheneinheiten sind jeweils dazu ausgebildet, die von der zugeordneten Kamera aufgenommenen Bilder der Fahrzeugumgebung vorzuverarbeiten und umfassen jeweils mindestens einen Analogausgang zur Signalübertragung. Das Fahrzeugkamerasystem weist eine Bildfusionseinheit auf, die dazu ausgebildet ist, aus den vorverarbeiteten, mittels der Analogausgänge der lokalen Recheneinheiten analog übertragenen Bilder der Fahrzeugumgebung mindestens ein lückenloses Vollbild zumindest eines Bereichs der Fahrzeugumgebung zu erzeugen.
Description
- Stand der Technik
- Die vorliegende Erfindung betrifft ein Fahrzeugkamerasystem und ein entsprechendes Verfahren zur Bereitstellung eines lückenloses Bildes der Fahrzeugumgebung. Auch betrifft die Erfindung ein Fahrzeug mit einem solchen Fahrzeugkamerasystem.
- Aus dem Stand der Technik sind Multikamerasysteme zur Rundsichtbeziehungsweise Draufsichtdarstellung (Surround-View- beziehungsweise Top-View-Darstellung) bekannt, die bildgebende Systeme auf der Basis von vier Weitwinkelkameramodulen und einer zentralen Recheneinheit zur Bildsynthese umfassen.
1 zeigt ein Fahrzeug10 mit einem solchen Multikamerasystem20 mit vier Kameras30 ,40 ,50 ,60 und einer zentralen Recheneinheit (Steuergerät)90 zur Surround-View-Darstellung. Im Allgemeinen, wie zum Beispiel beim VW Touareg der zweiten Generation von 04/2010, sind eine Frontkamera30 im Kühlergrill, jeweils eine Seitenkamera40 ,50 in den beiden Außenspiegeln sowie eine Heckkamera60 am Fahrzeugheck im Bereich der Griffmulde des Kofferraumdeckels integriert. - Zur Synthese der Abbildung des Fahrzeugumfelds aus der Perspektive einer virtuellen Kamera über dem Fahrzeug (Vogelperspektive) werden die einzelnen Kamerabilder der vier verschiedenen Teile
35 ,45 ,55 ,65 der Fahrzeugumgebung zu der zentralen Recheneinheit (Bildverarbeitungseinheit)90 übertragen, mit einem geeigneten Abbildungsmodel transformiert und zu einem Gesamtbild, welches das eigene Fahrzeug10 als zentrales Bildelement enthält, zusammengesetzt und zur Anzeige auf einem Display70 gebracht. Die Kameras30 ,40 ,50 ,60 und die zentrale Recheneinheit90 sind mittels Videoleitungen80 miteinander verbunden. - Die Kameramodule
30 ,40 ,50 ,60 sind jeweils mit einer Optik ausgestattet, welche einen horizontalen Öffnungswinkel von mehr als 180° ermöglicht (Fish-Eye-Optik), sodass mit den vier Kameras30 ,40 ,50 ,60 eine lückenlose Abdeckung des gesamten Fahrzeugumfelds erreicht werden kann. - Die Kamerasignale werden analog, wie zum Beispiel über NTSC (National Television Systems Committee) oder über PAL (Phase Alternating Line), digital mit verlustbehafteter Codierung, wie zum Beispiel mittels MJPEG (Moving Joint Photographic Experts Group) oder MPEG4 (Moving Picture Experts Group), oder digital ohne Datenkompression, wie zum Beispiel mittels LVDS (Low Voltage Diferential Signaling), übertragen.
- Analoge Rundsichtsysteme (Surround-View-Systeme) haben eine beschränkte Auflösung und liefern deswegen eine nicht zufriedenstellende Bildqualität.
- Im Fall von digitalen Rundsichtsystemen mit verlustbehafteter Bildcodierung treten bei dynamischen Szeneninhalten Codierartefakte (Blockartefakte, zeitvariable Bildauflösung, usw.) auf.
- Im Falle eines Rundsichtsystems (Surround-View-System) ohne Bilddatenkompensation sind die Komponenten zur Anbindung der digitalen Kameramodule an die zentrale Recheneinheit sehr kostenintensiv.
- Es ist ferner eine fehlende bzw. unzureichende Erweiterbarkeit eines bekannten, anzeigenden Rundsichtsystems zu einem intelligenten Umfelderfassungssystem mit Bildinterpretation zur Objekterkennung feststellbar.
- Es ist weiterhin eine fehlende bzw. unzureichende Skalierbarkeit eines bekannten Rundsichtsystems bezüglich der Anzahl der verwendeten Kameramodule einschließlich der Basisausprägung in Form einer intelligenten Rückfahrkamera feststellbar.
- Aus dem Dokument
DE 101 64 516 A1 ist ein Fahrzeugrückblicksystem bekannt, bei dem eine rückwärtige Panoramaansicht mit mindestens zwei Videokameras erzeugt wird. Es wird weiterhin beschrieben, dass mittels einer Vorverarbeitung, die für jede Kamera durchgeführt wird, festgestellt wird, welcher Bildteil sich überschneidet und welcher nicht. Um die sich überlappenden Bildbereiche feststellen zu können, müssen die jeweiligen Vorverarbeitungsprozesse der mittels der einzelnen Kameras aufgenommenen Bilder miteinander kommunizieren und deswegen eine große Menge Bilddaten in einer geeignet kurzen Zeit untereinander austauschen. Danach werden die sich überlappenden Bildbereiche und ein durch Korrelation der Information von beiden Kameras erhaltener Bildüberlappungsbereich jeweils getrennt an einer Anzeige geliefert. Dabei wird die Möglichkeit einer dezentralen Vorerarbeitung und des getrennten Übertragens von verschiedenen Bildbereichen, wie die Überlappungs- und Nichtüberlappungsbereiche, der beiden Kameras eröffnet. Die getrennte Übertragung der Inhalte dieser verschiedenen Bildbereiche erfolgt jeweils digital. - Ferner ist aus dem Dokument
DE 100 35 223 A1 eine Vorrichtung und ein entsprechendes Verfahren zur Überwachung der Umgebung eines Objekts bekannt, bei dem eine große Menge an Bilddaten, die die Bilder mehrerer Videokameras mit überschneidenden Blickfeldern umfassen, in einer geeignet kurzen Zeit an einer Auswerteeinheit übertragen werden müssen. Die Bilder der mehreren Videokameras werden an eine Auswerteeinheit übertragen und zentral in der Auswerteeinheit zu einem Gesamtbild zusammengesetzt, wobei der Überlappungsbereich bzw. Überschneidungsbereich in der Auswertung berücksichtigt und als kontinuierlicher Übergang zwischen Einzelbilddarstellungen benachbarter Erfassungseinrichtungen dargestellt wird. Dabei erfolgt eine hier beschriebene Bildfusion auf rein digitaler Ebene. - Offenbarung der Erfindung
- Das erfindungsgemäße Fahrzeugkamerasystem zur Bereitstellung eines lückenloses Bildes der Fahrzeugumgebung umfasst ein oder mehrere Kameramodule, die jeweils eine Kamera und eine lokale Recheneinheit umfassen, wobei die lokalen Recheneinheiten jeweils dazu ausgebildet sind, die von der zugeordneten Kamera aufgenommenen Bilder der Fahrzeugumgebung vorzuverarbeiten. Ferner umfassen die Recheneinheiten jeweils mindestens einen Analogausgang zur Signalübertragung. Das Fahrzeugkamerasystem weist eine Bildfusionseinheit auf, die dazu ausgebildet ist, aus den vorverarbeiteten, mittels der Analogausgänge der lokalen Recheneinheiten analog übertragenen Bilder der Fahrzeugumgebung mindestens ein lückenloses Vollbildes zumindest eines Bereichs der Fahrzeugumgebung zu erzeugen.
- Weiter wird durch die Erfindung ein Verfahren zur Bereitstellung mindestens eines lückenloses Vollbildes zumindest eines Bereichs der Fahrzeugumgebung vorgestellt, das mittels eines erfindungsgemäßen Fahrzeugkamerasystems durchgeführt wird. Bei dem Verfahren werden ein oder mehrere Bilder der Fahrzeugumgebung aufgenommen und vorverarbeitet und ein oder mehrere analoge Bildsignale, die jeweils einem vorverarbeiteten Bild der Fahrzeugumgebung entsprechen, erzeugt. Ferner wird aus den analogen Bildsignalen mindestens ein Vollbildsignal, das einem lückenlosen Vollbild des Fahrzeugumgebungsbereichs entspricht, erzeugt.
- Die Unteransprüche zeigen bevorzugte Weiterbildungen der Erfindung.
- Bei dem erfindungsgemäßen Fahrzeugkamerasystem erfolgt die Anbindung der von den Kameramodulen umfassten Recheneinheiten an die zentrale Bildfusionseinheit analog, was eine hohe Kompatibilität des erfindungsgemäßen Fahrzeugkamerasystems zu den heute bereits in Kraftfahrzeugen verfügbaren Komponenten bewirkt. Dadurch entfallen die hohen Kosten der Komponenten zur Anbindung von digitalen Kameramodulen an die Bildfusionseinheit, wodurch eine effiziente Realisierung eines kostengünstigen Fahrzeugkamerasystem (Surround-View-System) ermöglicht wird.
- Insbesondere sind die lokalen Recheneinheiten des erfindungsgemäßen Fahrzeugkamerasystems jeweils dazu ausgebildet, eine Bildinterpretation der von den zugeordneten Kameras aufgenommenen Bilder der Fahrzeugumgebung durchzuführen und/oder die von den zugeordneten Kameras aufgenommenen Bilder der Fahrzeugumgebung jeweils in ein Teilbild zu transformieren, das jeweils einem vordefinierten Bildausschnitt des mindestens einen von der Bildfusionseinheit erzeugten Vollbildes des Fahrzeugumgebungsbereichs entspricht.
- Bei dem erfindungsgemäßen Fahrzeugkamerasystem werden intelligente Kameramodule verwendet, die jeweils eine insbesondere integrierte Recheneinheit und einen Analog-Ausgang (PAL/NTSC) zur Signalübertragung aufweisen. Das Konzept der dezentralen Intelligenz ermöglicht eine signifikante Datenreduktion ohne Informationsverlust, da die erforderliche nichtlineare Transformation des partiellen Bildsignals bereits im jeweiligen Kameramodul erfolgen kann.
- Durch die erfindungsgemäße Vorverarbeitung der einzelnen Kamerabilder erfolgt eine signifikante Datenreduktion ohne Informationsverlust, wodurch der Einsatz kostenminimaler Vernetzungslösungen ermöglicht wird.
- Die Bildfusionseinheit umfasst einen Multikamerakontroller (z.B. EPSON S2S65P10 oder S2D13P04), der die von zum Beispiel vier analog angebundenen intelligenten Kameramodulen aufgenommenen Bilder der Fahrzeugumgebung zu einem Vollbild der Fahrzeugumgebung mit vier Quadranten zusammenfügt. Jeweils ein Quadrant repräsentiert ein geeignet vorverarbeitetes Bild einer Kamera.
- Die analoge Anbindung der Kameramodule an die Bildfusionseinheit ermöglicht die Verwendung von Standard Multikamerakontrollern (z.B. EPSON S2S65P10 oder S2D13P04)
- Ferner wird durch die Verwendung des Konzeptes der dezentralen Intelligenz die Skalierbarkeit eines erfindungsgemäßen Fahrzeugkamerasystems von beispielsweise einer Rückfahrkamera bis zu einem erfindungsgemäßen, intelligenten Fahrzeugkamerasystem mit vorzugsweise vier oder mehreren Einzelkameras gewährleistet.
- In einer besonders vorteilhaften und kostengünstigen Ausführungsform der Erfindung umfasst das erfindungsgemäße Fahrzeugkamerasystem eine Anzeigevorrichtung, die dazu ausgebildet ist, das mittels eines von der Bildfusionseinheit umfassten Analogausganges analog übertragene Vollbild des Fahrzeugumgebungsbereichs anzuzeigen.
- Vorzugsweise ist die Anzeigeeinheit und/oder eine zentrale, von der Bildfusionseinheit umfassten Recheneinheit dazu ausgebildet, mindestens ein Vollbild des Fahrzeugumgebungsbereichs weiter zu verarbeiten und/oder zusätzliche Informationen, insbesondere Objektdetektionen eines Objektdetektionssystems, in mindestens einem Vollbild des Fahrzeugumgebungsbereichs einzufügen.
- Durch die Erfindung wird die modulare Erweiterbarkeit eines erfindungsgemäßen, anzeigenden Fahrzeugmultikamerasystems (wie z.B. eines Surround-View-Systems) bezüglich der Objekterkennung ermöglicht. Erfindungsgemäß wird weiterhin ein Fahrzeug mit einem erfindungsgemäßen Fahrzeugkamerasystem bereitgestellt. Der Fahrer eines solchen Fahrzeuges kann dann beim Erkennen eines Hindernisses frühzeitig gewarnt werden. Insbesondere kann das erfindungsgemäße Fahrzeugkamerasystem zum Zugreifen auf verschiedene Fahrzeugdaten, wie zum Beispiel den Lenkwinkel, die Raddrehzahlen und die Inertialsensordaten, und dadurch insbesondere auch zum Eingreifen in die Fahrzeugdynamik beim Erkennen eines Hindernisses ausgebildet sein. Dadurch wird die Kollisionsgefahr des Fahrzeugs vorzugsweise beim Einparken deutlich reduziert.
- Zeichnung
- Nachfolgend werden Ausführungsbeispiele der Erfindung unter Bezugnahme auf die begleitende Zeichnung im Detail beschrieben. In der Zeichnung ist:
-
1 ein Fahrzeug mit einem Fahrzeugmultikamerasystem nach dem Stand der Technik, -
2 ein lückenloses Vollbild des Fahrzeuges mit seinem gesamten Fahrzeugumfeld aus der Vogelperspektive, das mittels eines erfindungsgemäßen Fahrzeugkamerasystems nach einer ersten Ausführungsform der Erfindung erzeugt wurde, -
3 ein Blockschaltbild eines erfindungsgemäßen Fahrzeugkamerasystems nach der ersten Ausführungsform der Erfindung, und -
4 ein Blockschaltbild eines erfindungsgemäßen Fahrzeugsystems nach einer zweiten Ausführungsform der Erfindung. - Ausführungsformen der Erfindung
-
2 zeigt ein Vollbild72 des Fahrzeuges mit seinem gesamten Fahrzeugumfeld aus der Vogelperspektive, das mittels eines erfindungsgemäßen Fahrzeugkamerasystems (nicht dargestellt) nach einer ersten Ausführungsform der Erfindung erzeugt wurde und zur Anzeige auf einem Display70 gebracht wurde. - Das erfindungsgemäße Fahrzeugkamerasystem nach der ersten Ausführungsform der Erfindung umfasst mehrere intelligente Kameramodule, die jeweils eine hochintegrierte Recheneinheit zur dezentralen Bildsignalverarbeitung und Bildinterpretation umfassen. Die Recheneinheit ist entweder direkt auf dem bildgebenden Imagermodul integriert oder wird als separate Komponente auf dem Imager-PCB (Printed Circuit Board) oder auch auf einer oder mehreren zusätzlichen PCBs in das Kameramodul integriert. Die Recheneinheit kann zum Beispiel als DSP (Digital Signal Processor), FPGA (Field Programmable Gate Array), µC (Mikrocontroller), ASSP (Application Specific Standard Product), ASIC (Application Specific Integrated Circuit) oder auch als SoC (System-on-Chip) bestehend aus zwei oder mehr Signalverarbeitungseinheiten ausgeführt werden.
- Die Recheneinheit leistet neben der Bildinterpretation insbesondere eine nichtlineare Transformation des Eingangsbildes zur Generierung des entsprechendes Teilbildes beziehungsweise Ausschnittes
36 ,46 ,56 ,66 der auf dem Fahrzeugdisplay70 anzuzeigenden Surround-View-Darstellung (Vollbild)72 . Hierbei erfolgt eine signifikante Datenreduktion ohne Informationsverlust. - Die
3 zeigt ein Blockschaltbild eines erfindungsgemäßen Fahrzeugkamerasystems nach der ersten Ausführungsform der Erfindung. - Der jeweils mittels einer nichtlinearen Transformation erzeugte Bildausschnitt (Patch)
36 ,46 ,56 ,66 wird analog umgesetzt (NTSC/PAL) und zu einer zentralen Bildfusionseinheit90 übertragen, sodass die Vernetzung der einzelnen intelligenten Kameramodule30 ,40 ,50 ,60 mit der zentralen Bildfusionseinheit90 kostengünstig mittels der in einem Kraftfahrzeugen bereits verfügbaren Komponenten erfolgen kann. - In der Bildfusionseinheit
90 werden unter der Verwendung eines Multikamerakontrollers91 die vorverarbeiteten Einzelbilder (Patches)36 ,46 ,56 ,66 zu einem Vollbild71 zusammengesetzt. Dieses Vollbild71 umfasst z.B. vier Kacheln, wobei jede Kachel ein geeignet vorverarbeitetes Einzelbild36 ,46 ,56 ,66 einer Kamera30 ,40 ,50 ,60 des Multikamerasystems20 beinhaltet. - Eine Steuerleitung
93 zur Bildfusionseinheit90 ermöglicht das Zusammensetzen der einzelnen Kamerabilder36 ,46 ,56 ,66 (Vorderansicht, Seitenansichten, Rückansicht, Draufsicht) und eventuell auch einer statischen Draufsicht11 des eigenen Fahrzeuges. - Die analogen Bildsignale werden über die Koaxialleitungen
37 ,47 ,57 ,67 zwischen den Kameramodulen30 ,40 ,50 ,60 und dem Multikamerakontroller91 übertragen, von diesem verarbeitet und über die weitere Koaxialleitung92 an eine Anzeigeeinheit (Head Unit – HU)100 übertragen, die von dem Multikamerakontroller91 weiter über die Steuerleitung93 ein Steuersignal empfängt. - Das vom Multikamerakontroller
91 generierte Bildsignal kann digital weiter zu einem Vollbild72 verarbeitet werden oder aber mittels eines Encoders wieder in ein Analog-Signal (NTSC/PAL) umgesetzt werden, um so der Anzeigeneinheit (HU)100 direkt zugeführt zu werden. In der Anzeigeneinheit (HU)100 wird in diesem Falle aus dem Vollbild71 mittels einer weiteren Optimierung der Patchkomposition oder auch mittels des Einfügens von Zusatzinformation ein weiteres Vollbild72 erzeugt. Hier wird jedoch noch ein geringer Anteil zur Bildaufbereitung beziehungsweise Darstellung durch die Anzeigeeinheit100 realisiert. Das Vollbild72 wird dann auf dem von der Anzeigevorrichtung100 umfassten Display70 angezeigt. -
4 zeigt ein Blockschaltbild eines erfindungsgemäßen Fahrzeugsystems20 nach einer zweiten Ausführungsform der Erfindung. - Wie in der
4 dargestellt, umfasst die Bildfusionseinheit90 des Fahrzeugkamerasystems20 nach der zweiten Ausführungsform der Erfindung insbesondere eine zentrale Recheneinheit110 . Wird das digitale Ausgangssignal71 des Multikamerakontrollers91 in die zusätzliche, von der Bildfusionseinheit90 umfassten Recheneinheit110 eingespeist, so ist eine unabhängige Bildaufbereitung möglich. Das Anzeigesystem100 kann dieses aufbereitete Vollbild72 , welches analog übertragen wird, sofort und ohne Nachbearbeitung auf dem Display70 anzeigen. - Die von der Bildfusionseinheit
90 des Fahrzeugsystems20 nach der zweiten Ausführungsform der Erfindung umfasste zentrale Recheneinheit110 kann auch zusätzlich die Möglichkeit bieten, die Patchkomposition und zusätzliche Informationen, wie Objektdetektionen eines ultraschallbasierten Park-Pilot-Systems, in dem Vollbild71 einzuzeichnen und so ein detaillierteres Vollbild72 zu erzeugen. Die zentrale Recheneinheit110 hat über das Bussystem111 Zugriff auf verschiedene Fahrzeugdaten120 , wie zum Beispiel den Lenkwinkel, die Raddrehzahlen und die Inertialsensordaten. Das Bussystem111 kann ein CAN-Bus (Car Area Network Bus), ein LIN-Bus (Local Interconnect Network Bus) oder ein MOST-Bus (Media Oriented Systems Transport Bus) umfassen. - Hier erfolgt die Übertragung der analogen Bildsignale auch über die Koaxialleitungen
37 ,47 ,57 ,67 zwischen den Kameramodulen30 ,40 ,50 ,60 und dem Multikamerakontroller91 , die von diesem verarbeitet und über die weitere Koaxialleitung92 an die Anzeigeeinheit (HU)100 übertragen werden, welche von dem Multikamerakontroller91 weiter über die Steuerleitung93 ein Steuersignal empfängt. - Neben der voranstehenden schriftlichen Offenbarung wird hiermit zur weiteren Offenbarung der Erfindung ergänzend auf die Darstellung in den
2 bis4 Bezug genommen. - ZITATE ENTHALTEN IN DER BESCHREIBUNG
- Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
- Zitierte Patentliteratur
-
- DE 10164516 A1 [0011]
- DE 10035223 A1 [0012]
Claims (8)
- Fahrzeugkamerasystem (
20 ) zur Bereitstellung von Bildern (71 ,72 ) der Fahrzeugumgebung mittels eines oder mehrerer Kameramodule (30 ,40 ,50 ,60 ), die jeweils eine Kamera und eine lokale Recheneinheit umfassen, wobei die lokalen Recheneinheiten jeweils dazu ausgebildet sind, die von den zugeordneten Kameras aufgenommenen Bilder der Fahrzeugumgebung vorzuverarbeiten, dadurch gekennzeichnet, dass die Recheneinheiten jeweils mindestens einen Analogausgang zur Signalübertragung aufweisen, und das Fahrzeugkamerasystem (20 ) eine Bildfusionseinheit (90 ) aufweist, die dazu ausgebildet ist, aus den vorverarbeiteten, durch die Analogausgänge der lokalen Recheneinheiten analog übertragenen Bilder (36 ,46 ,56 ,66 ) der Fahrzeugumgebung mindestens ein lückenloses Vollbild (71 ,72 ) zumindest eines Bereichs (35 ,45 ,55 ,65 ) der Fahrzeugumgebung zu erzeugen. - Fahrzeugkamerasystem (
20 ) nach Anspruch 1, dadurch gekennzeichnet, dass die lokalen Recheneinheiten jeweils dazu ausgebildet sind, eine Bildinterpretation der von den zugeordneten Kameras aufgenommenen Bilder der Fahrzeugumgebung durchzuführen und/oder die von den zugeordneten Kameras aufgenommenen Bilder der Fahrzeugumgebung jeweils in ein Teilbild (36 ,46 ,56 ,66 ) zu transformieren, das jeweils einem vordefinierten Bildausschnitt (36 ,46 ,56 ,66 ) des mindestens einen von der Bildfusionseinheit (90 ) erzeugten Vollbildes (71 ,72 ) des Fahrzeugumgebungsbereichs (35 ,45 ,55 ,65 ) entspricht. - Fahrzeugkamerasystem (
20 ) nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass die Bildfusionseinheit (90 ) mindestens einen Analogausgang zur Signalübertragung aufweist und das Fahrzeugkamerasystem (20 ) eine Anzeigevorrichtung (100 ) umfasst, die dazu ausgebildet ist, das mittels des Analogausganges der Bildfusionseinheit (90 ) analog übertragene Vollbild (71 ,72 ) des Fahrzeugumgebungsbereichs (35 ,45 ,55 ,65 ) anzuzeigen. - Fahrzeugkamerasystem (
20 ) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Anzeigeeinheit (100 ) und/oder eine zentrale, von der Bildfusionseinheit (90 ) umfasste Recheneinheit (110 ) dazu ausgebildet ist, mindestens ein Vollbild (71 ) des Fahrzeugumgebungsbereichs (35 ,45 ,55 ,65 ) weiter zu verarbeiten und/oder zusätzliche Informationen, insbesondere Objektdetektionen eines Objektdetektionssystems, in das mindestens eine Vollbild (71 ) des Fahrzeugumgebungsbereichs (35 ,45 ,55 ,65 ) einzufügen. - Verfahren zur Bereitstellung mindestens eines lückenloses Vollbildes (
71 ,72 ) zumindest eines Bereichs (35 ,45 ,55 ,65 ) der Fahrzeugumgebung, das mittels eines Fahrzeugkamerasystems (20 ) nach mindestens einem der vorangehenden Ansprüche durchgeführt wird, bei dem eines oder mehrere Bilder der Fahrzeugumgebung aufgenommen und vorverarbeitet werden, und eines oder mehrere analoge Bildsignale, die jeweils einem vorverarbeiteten Bild (36 ,46 ,56 ,66 ) der Fahrzeugumgebung entsprechen, erzeugt werden, wobei aus den erzeugten, analogen Bildsignalen mindestens ein Vollbildsignal, das einem lückenlosen Vollbild (71 ) zumindest eines Fahrzeugumgebungsbereichs (35 ,45 ,55 ,65 ) entspricht, erzeugt wird. - Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass jeweils eine Bildinterpretation der aufgenommenen Bilder der Fahrzeugumgebung durchgeführt wird und/oder die aufgenommenen Bilder der Fahrzeugumgebung jeweils in ein Teilbild (
36 ,46 ,56 ,66 ), das jeweils einem vordefinierten Bildausschnitt (36 ,46 ,56 ,66 ) des mindestens einen lückenlosen Vollbildes (71 ,72 ) des Fahrzeugumgebungsbereichs (35 ,45 ,55 ,65 ) entspricht, umgewandelt werden. - Verfahren nach einem der Ansprüche 5 oder 6, dadurch gekennzeichnet, dass mindestens ein lückenloses Vollbild (
71 ) des Fahrzeugumgebungsbereichs (35 ,45 ,55 ,65 ) weiter verarbeitet wird und/oder zusätzliche Informationen, insbesondere Objektdetektionen, in das Vollbild (71 ) eingezeichnet werden. - Fahrzeug (
10 ) mit einem Fahrzeugkamerasystem (20 ) nach mindestens einem der Ansprüche 1 bis 4.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102011077398.3A DE102011077398B4 (de) | 2011-06-10 | 2011-06-10 | Fahrzeugkamerasystem zur Bereitstellung eines lückenlosen Bildes der Fahrzeugumgebung und entsprechendes Verfahren |
PCT/EP2012/058915 WO2012168038A1 (de) | 2011-06-10 | 2012-05-14 | Fahrzeugkamerasystem zur bereitstellung eines lückenlosen bildes der fahrzeugumgebung und entsprechendes verfahren |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102011077398.3A DE102011077398B4 (de) | 2011-06-10 | 2011-06-10 | Fahrzeugkamerasystem zur Bereitstellung eines lückenlosen Bildes der Fahrzeugumgebung und entsprechendes Verfahren |
Publications (2)
Publication Number | Publication Date |
---|---|
DE102011077398A1 true DE102011077398A1 (de) | 2012-12-13 |
DE102011077398B4 DE102011077398B4 (de) | 2021-11-04 |
Family
ID=46124338
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102011077398.3A Expired - Fee Related DE102011077398B4 (de) | 2011-06-10 | 2011-06-10 | Fahrzeugkamerasystem zur Bereitstellung eines lückenlosen Bildes der Fahrzeugumgebung und entsprechendes Verfahren |
Country Status (2)
Country | Link |
---|---|
DE (1) | DE102011077398B4 (de) |
WO (1) | WO2012168038A1 (de) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102013200431A1 (de) * | 2013-01-14 | 2014-07-31 | Robert Bosch Gmbh | Kamerasystem für ein Fahrzeug |
EP2939877A4 (de) * | 2012-12-25 | 2016-08-24 | Kyocera Corp | Kamerasystem, kameramodul und kamerasteuerverfahren |
DE102016220651A1 (de) * | 2016-10-20 | 2018-04-26 | Conti Temic Microelectronic Gmbh | Verfahren und Vorrichtung zur Erzeugung einer Fahrzeugumgebungsansicht bei einem Fahrzeug |
DE112013006385B4 (de) | 2013-01-09 | 2018-09-06 | Mitsubishi Electric Corporation | Fahrzeugperipherie-Anzeigevorrichtung |
DE102018218745A1 (de) | 2018-11-01 | 2020-05-07 | Elektrobit Automotive Gmbh | Kameravorrichtung, Fahrerassistenzsystem und Fahrzeug |
US10937201B2 (en) | 2016-11-25 | 2021-03-02 | Conti Temic Microelectronic Gmbh | Method and device for generating a vehicle environment view for a vehicle |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102022123561A1 (de) | 2022-09-15 | 2024-03-21 | Valeo Schalter Und Sensoren Gmbh | Frontkamerasystem für ein Fahrzeug |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10035223A1 (de) | 2000-07-20 | 2002-01-31 | Daimler Chrysler Ag | Vorrichtung und Verfahren zur Überwachung der Umgebung eines Objekts |
DE10164516A1 (de) | 2001-12-19 | 2003-07-10 | Magna Auteca Ag Weiz | Elektronisches Fahrzeugrückblicksystem |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070035625A9 (en) * | 2002-12-20 | 2007-02-15 | Hamdan Majed M | Vehicle video processing system |
JP2010033108A (ja) | 2008-07-24 | 2010-02-12 | Sony Corp | 画像処理システム、撮像装置、画像処理方法及びコンピュータプログラム |
EP2401176B1 (de) * | 2009-02-27 | 2019-05-08 | Magna Electronics | Fahrzeugalarmsystem |
-
2011
- 2011-06-10 DE DE102011077398.3A patent/DE102011077398B4/de not_active Expired - Fee Related
-
2012
- 2012-05-14 WO PCT/EP2012/058915 patent/WO2012168038A1/de active Application Filing
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10035223A1 (de) | 2000-07-20 | 2002-01-31 | Daimler Chrysler Ag | Vorrichtung und Verfahren zur Überwachung der Umgebung eines Objekts |
DE10164516A1 (de) | 2001-12-19 | 2003-07-10 | Magna Auteca Ag Weiz | Elektronisches Fahrzeugrückblicksystem |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2939877A4 (de) * | 2012-12-25 | 2016-08-24 | Kyocera Corp | Kamerasystem, kameramodul und kamerasteuerverfahren |
US10242254B2 (en) | 2012-12-25 | 2019-03-26 | Kyocera Corporation | Camera system for a vehicle, camera module, and method of controlling camera |
DE112013006385B4 (de) | 2013-01-09 | 2018-09-06 | Mitsubishi Electric Corporation | Fahrzeugperipherie-Anzeigevorrichtung |
DE102013200431A1 (de) * | 2013-01-14 | 2014-07-31 | Robert Bosch Gmbh | Kamerasystem für ein Fahrzeug |
DE102016220651A1 (de) * | 2016-10-20 | 2018-04-26 | Conti Temic Microelectronic Gmbh | Verfahren und Vorrichtung zur Erzeugung einer Fahrzeugumgebungsansicht bei einem Fahrzeug |
US10902622B2 (en) | 2016-10-20 | 2021-01-26 | Conti Temic Microelectronic Gmbh | Method and device for generating a view around a vehicle for a vehicle |
US10937201B2 (en) | 2016-11-25 | 2021-03-02 | Conti Temic Microelectronic Gmbh | Method and device for generating a vehicle environment view for a vehicle |
DE102018218745A1 (de) | 2018-11-01 | 2020-05-07 | Elektrobit Automotive Gmbh | Kameravorrichtung, Fahrerassistenzsystem und Fahrzeug |
US11142125B2 (en) | 2018-11-01 | 2021-10-12 | Elektrobit Automotive Gmbh | Camera device, driver assist system, and vehicle |
Also Published As
Publication number | Publication date |
---|---|
DE102011077398B4 (de) | 2021-11-04 |
WO2012168038A1 (de) | 2012-12-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102011077143A1 (de) | Fahrzeugkamerasystem und Verfahren zur Bereitstellung eines lückenlosen Bildes der Fahrzeugumgebung | |
EP2623374B1 (de) | Sichtsystem für Nutzfahrzeuge zur Darstellung von gesetzlich vorgeschriebenen Sichtfeldern eines Hauptspiegels und eines Weitwinkelspiegels | |
EP2431226B1 (de) | Rückblickeinrichtung für ein Kraftfahrzeug | |
DE102012015398B3 (de) | Spiegelersatzsystem für ein Fahrzeug | |
DE102011077398B4 (de) | Fahrzeugkamerasystem zur Bereitstellung eines lückenlosen Bildes der Fahrzeugumgebung und entsprechendes Verfahren | |
DE102006003538B3 (de) | Verfahren zum Zusammenfügen mehrerer Bildaufnahmen zu einem Gesamtbild in der Vogelperspektive | |
DE102008046544A1 (de) | Verfahren und Vorrichtung zur Überwachung einer Umgebung eines Fahrzeuges | |
DE102008046214A1 (de) | Verfahren und Vorrichtung zur Überwachung einer Umgebung eines Fahrzeuges | |
DE102010006521A1 (de) | Verfahren und Vorrichtung zur Bestimmung des Knickwinkels eines Fahrzeuggespanns | |
EP1273516A1 (de) | Einrichtung zum Erfassen optischer Informationen | |
DE102008030104A1 (de) | Verfahren und Vorrichtung zur Überwachung einer Umgebung eines Fahrzeuges | |
DE102013214369A1 (de) | Verfahren und Vorrichtung zur Wiedergabe eines Umgebungsbereichs eines Fahrzeugs | |
DE112015002456B4 (de) | Außenspiegelersatzsystem für eine Zugfahrzeug-Anhänger-Kombination und zugehöriges Verfahren | |
EP3106349B1 (de) | Sichtsystem für ein nutzfahrzeug zur darstellung von gesetzlich vorgeschriebenen sichtfeldern eines hauptspiegels und eines weitwinkelspiegels | |
DE102017100669A1 (de) | Verfahren zum Erfassen eines Umgebungsbereichs eines Kraftfahrzeugs mit Anpassung einer Region von Interesse in Abhängigkeit von einem Anhänger, Recheneinrichtung, Kamerasystem sowie Kraftfahrzeug | |
DE102009043705A1 (de) | Verfahren und Kamerasystem zur Erzeugung von Bildern zur Übermittlung an eine externe Steuereinheit | |
DE102013102207A1 (de) | Kamerasystem für ein Fahrzeug | |
EP3833576B1 (de) | Kameraüberwachungssystem | |
WO2016096195A1 (de) | Kamerasystem und verfahren zum visualisieren mindestens eines fahrzeugumfeldbereiches eines fahrzeugumfeldes eines fahrzeuges | |
WO2007028815A2 (de) | Übertragung von nutzdaten im bildsignal eines kamerasystems | |
DE112015005753T5 (de) | Bildverarbeitungssystem und Vorrichtung davon | |
DE102005002636A1 (de) | Verfahren und System zur Verarbeitung von Videodaten eines Kamerasystems | |
DE102013000261A1 (de) | Verfahren und Kamerasystem zum Abbilden einer Umgebung eines Kraftwagens | |
WO2015090997A1 (de) | Optisches sensorsystem | |
DE102018207162A1 (de) | Vorrichtung, Fortbewegungsmittel und Verfahren zur Unterstützung eines Anwenders eines Fortbewegungsmittels |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R012 | Request for examination validly filed | ||
R016 | Response to examination communication | ||
R016 | Response to examination communication | ||
R018 | Grant decision by examination section/examining division | ||
R020 | Patent grant now final | ||
R119 | Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee |