DE102004039108A1 - Fahrzeug mit Bildverarbeitungssystem und Verfahren zum Betrieb eines Bildverarbeitungssystems - Google Patents

Fahrzeug mit Bildverarbeitungssystem und Verfahren zum Betrieb eines Bildverarbeitungssystems Download PDF

Info

Publication number
DE102004039108A1
DE102004039108A1 DE102004039108A DE102004039108A DE102004039108A1 DE 102004039108 A1 DE102004039108 A1 DE 102004039108A1 DE 102004039108 A DE102004039108 A DE 102004039108A DE 102004039108 A DE102004039108 A DE 102004039108A DE 102004039108 A1 DE102004039108 A1 DE 102004039108A1
Authority
DE
Germany
Prior art keywords
unit
image
pixel data
data
mixing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
DE102004039108A
Other languages
English (en)
Inventor
Martin Laufer
Tim Dr. Weis
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magna Donnelly GmbH and Co KG
Original Assignee
Magna Donnelly GmbH and Co KG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magna Donnelly GmbH and Co KG filed Critical Magna Donnelly GmbH and Co KG
Priority to DE102004039108A priority Critical patent/DE102004039108A1/de
Priority to EP05015527A priority patent/EP1626584A3/de
Priority to US11/194,433 priority patent/US7280124B2/en
Publication of DE102004039108A1 publication Critical patent/DE102004039108A1/de
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

Fahrzeug (01) mit zumindest zwei Bilddatenquellen (02), zumindest einer Mischeinheit (03), zumindest einer Umwandlungseinheit (04) und einer Bildanzeigeeinheit (05), wobei die mit den Bilddatenquellen (02) generierten Pixeldaten (09) mittels der Mischeinheit (03) insbesondere für die simultane Darstellung an der Bildanzeigeeinheit (05) zusammengeführt werden können und wobei die Pixeldaten (10) mittels der Umwandlungseinheit (04) in eine Form von Bilddaten (11) übergeführt werden können, die an der Bildanzeigeeinheit (05) darstellbar ist. Die Mischeinheit (03) weist zumidnest zwei Dateneingänge (06) zum Empfang von Pixeldaten (09) der beiden Bilddatenquellen (02) und zumindest einen Datenausgang (07) für die zusammengeführten Pixeldaten (10) auf, wobei die Umwandlungseinheit (04) zumindest einen Dateneingang (08) für die zusammengeführten Pixeldaten (10) aufweist und wobei der Datenausgang (07) der Mischeinheit (03) mit dem Dateneingang (08) der Umwandlungseinheit (04) mittelbar oder unmittelbar verbunden ist, und ein Verfahren zum Betrieb eines Bildverarbeitungssystems in einem Fahrzeug (01), indem zuerst die Pixeldaten (09) der verschiedenen Bilddatenquellen (02) mittels der Mischeinheit (03) zusammengeführt werden und danach die zusammengeführten Pixeldaten (10) mittels der Umwandlungseinheit (04) in eine Form von Bilddaten (11) übergeführt werden.

Description

  • Die Erfindung betrifft ein Fahrzeug nach dem Oberbegriff des Sachhauptanspruchs und ein Verfahren zum Betrieb eines Bildverarbeitungssystems in einem Fahrzeug nach dem Oberbegriff des Verfahrenshauptanspruchs.
  • In gattungsgemäßen Fahrzeugen werden derartige Bildverarbeitungssysteme für verschiedene Applikationen verwendet, bei denen gleichzeitig mehrere Kameras zum Einsatz kommen. Bei diesen Applikationen kann es sich beispielsweise um Anwendungen wie Side-View, Fahrspurerkennung, Einparkkamera und Innenraumkamera zur Fahrerüberwachung handeln. Darüber hinaus kann es sinnvoll sein, die Informationen mehrerer Kameras auf der Bildanzeigeeinheit gleichzeitig zur Darstellung kommen zu lassen.
  • Die Bilddatenquellen dieser Bildverarbeitungssysteme sind häufig in Form von CCD-Chips und/oder CMOS-Chips ausgebildet. Die lichtempfindlichen Zellen dieser Chips erfassen grundsätzlich nur farbunabhängige Helligkeitswerte. Um Farbinformationen zu erhalten wird vor jeder einzelnen Zelle ein Farbfilter in einer der Grundfarben des jeweiligen Farbsystems, beispielsweise in rot, grün oder blau, aufgebracht. Die Filter sind dabei beispielsweise in einer „Bayer-Pattern" genannten Anordnung auf den Zellen aufgebracht. Bei dieser Anordnung wird die erste Reihe der helligkeitsempfindlichen Zellen mit Filtern in der Reihenfolge rot, grün, rot, grün u.s.w. versehen, die zweite Zeile mit Filtern der Farbe grün, blau, grün, blau u.s.w. versehen und die dritte Zeile wiederum mit Filtern in der Reihenfolge rot, grün, rot, grün versehen u.s.w.. Durch das Aufbringen dieser Filter messen die Zellen jeweils nur die Helligkeit der einzelnen Farbkomponenten und geben diese als Pixeldaten weiter.
  • Diese sogenannten Pixeldaten sind auf der Bildanzeigeeinheit zunächst nicht darstellbar. Zur Ermittlung der tatsächlichen Farbe müssen die benachbarten Zellen herangezogen werden. Diese Farbinterpolation wird mittels der Umwandlungseinheit vollzogen. Als Ergebnis stellt die Umwandlungseinheit Bilddaten bereit, die an der Bildanzeigeeinheit darstellbar sind.
  • Um eine simultane Darstellung der Informationen mehrerer Bilddatenquellen zu realisieren, ist es notwendig, die Bilddaten mehrerer Bilddatenquellen zusammenzuführen. Diese Zusammenführung erfolgt mittels der Mischeinheit. Im Stand der Technik wird stets zuerst die Umwandlung der Pixeldaten in Bilddaten vollzogen und danach werden die Bilddaten für die simultane Darstellung an der Bildanzeigeeinheit zusammengeführt.
  • Nachteilig an dieser Ausführungsform ist es, dass die Pixeldaten der Bilddatenquellen zunächst mit jeweils einer Umwandlungseinheit in Bilddaten übergeführt werden müssen. Dadurch sind viele dieser Umwandlungseinheiten notwendig, was in einem hohen Kostenaufwand resultiert.
  • Ein weiterer Nachteil dieser Ausführungsform ist es, dass auch diejenigen Bildbereiche bei der Farbinterpolation berechnet werden, die beispielsweise durch die überlagerte Einblendung von Zusatzinformationen an der Bildanzeigeeinheit oder durch Überschneidungen der Bildausschnitte verschiedener Bilddatenquellen überhaupt nicht zur Anzeige auf der Bildanzeigeeinheit kommen. Durch diese Art der Bildverarbeitung werden Ressourcen des zeitintensiven Interpolationsvorgangs verschwendet und/oder der Interpolationsvorgang wird verlangsamt.
    •
  • Aufgabe der vorliegenden Erfindung ist es deshalb, ein neues Fahrzeug mit Bildverarbeitungssystem und ein neues Verfahren zum Betrieb eines Bildverarbeitungssystems vorzuschlagen. Diese Aufgabe wird durch die vorliegende Erfindung nach der Lehre des Sachhauptanspruchs und des Verfahrenshauptanspruchs gelöst.
  • Vorteilhafte Ausführungsformen der Erfindung sind Gegenstand der Unteransprüche.
  • Erfindungsgemäß wird dieses Problem dadurch gelöst, dass die Mischeinheit zumindest zwei Dateneingänge zum Empfang von Pixeldaten der beiden Bilddatenquellen und zumindest einen Datenausgang für die zusammengeführten Pixeldaten aufweist, wobei die Umwandlungseinheit zumindest einen Dateneingang für die zusammengeführten Pixeldaten aufweist, und wobei der Datenausgang der Mischeinheit mit dem Dateneingang der Umwandlungseinheit mittelbar oder unmittelbar verbunden ist.
  • Die von den verschiedenen Bilddatenquellen generierten Pixeldaten werden jeweils an einen Dateneingang der Mischeinheit weitergeleitet. Mittels der Mischeinheit werden die Pixeldaten derart zusammengeführt, dass am Datenausgang der Mischeinheit genau die Pixeldaten als zusammengeführte Pixeldaten austreten, die für die Darstellung des gewünschten Bildes und/oder des gewünschten Bildausschnittes und/oder der gewünschten Kombination von Bildinformationen verschiedener Bilddatenquellen erforderlich sind. Die zusammengeführten Pixeldaten werden an den Dateneingang der Umwandlungseinheit weitergeleitet. Mittels der Umwandlungseinheit wird die Umwandlung der zusammengeführten Pixeldaten in Bilddaten, die an der Bildanzeigeeinheit darstellbar sind, vollzogen.
  • Dadurch kommt das erfindungsgemäße Bildverarbeitungssystem mit nur einer Umwandlungseinheit aus. Ein weiterer Vorteil des erfindungsgemäßen Bildverarbeitungssystems ist es, dass die Menge der als zusammengeführte Pixeldaten am Datenausgang der Mischeinheit austretenden Pixeldaten mittels der Mischeinheit genau definierbar ist. Diese Definition richtet sich nach der jeweiligen Applikation, die mit dem Bildverarbeitungssystem realisiert werden soll. Somit werden danach in der Datenverarbeitungskette nur noch Verarbeitungsschritte und/oder Berechnungen durchgeführt, die im weiteren Verlauf der Datenverarbeitung noch benötigt werden. Diese Reduktion der Pixeldaten mittels der Mischeinheit auf eine relevante Teilmenge ist insbesondere für die Umwandlungseinheit hinsichtlich des zeitintensiven Interpolationsvorgangs von besonderem Vorteil.
  • Die Ausführungsform der Bilddatenquellen ist dabei grundsätzlich ohne Belang. Es ist jedoch von Vorteil, wenn die Bilddatenquellen zumindest eine CCD-Einheit und/oder eine CMOS-Einheit aufweisen. Diese Ausführungsform ist besonders kostengünstig.
  • Die Ausführungsform der Mischeinheit ist grundsätzlich beliebig. Vorteilhaft ist es jedoch, die Mischeinheit mit zumindest jeweils einem Dateneingang zum Empfang von Pixeldaten pro Bilddatenquelle auszustatten. Des Weiteren sollte die Mischeinheit über einen Datenausgang für die zusammengeführten Pixeldaten verfügen.
  • In einer weiteren Ausführungsform verfügt die Mischeinheit zumindest über einen Dateneingang, wobei die mit den Bilddatenquellen generierten Pixeldaten mittelbar oder unmittelbar an diesen einen Dateneingang der Mischeinheit weitergeleitet werden können. Bei einer digitalen Adressierung der Pixeldaten bietet diese Ausführungsform besondere Vorteile hinsichtlich einer kompakten Bauweise der Mischeinheit.
  • Zur Realisierung der Mischeinheit sind integrierte Schaltkreise besonders geeignet. Insbesondere kann dabei an einen vorprogrammierten und/oder frei programmierbaren integrierten Schaltkreis, beispielsweise einen DSP und/oder einen FPGA und/oder einen ASIC, gedacht werden. Frei programmierbare Bausteine sind zwar in der Beschaffung teurer, aber es können beispielsweise direkt bei der Zusammenführung der Pixeldaten zusätzliche Verarbeitungen und/oder Auswertungen durchgeführt werden.
  • Die Umwandlungseinheit weist erfindungsgemäß zumindest einen Dateneingang für die bereits zusammengeführten Pixeldaten auf. Des Weiteren ist es vorteilhaft, die Umwandlungseinheit mit einem Datenausgang zu versehen, der die umgewandelten, an der Bildanzeigeeinheit darstellbaren Bilddaten zur Verfügung stellt.
  • Die Ausbildung der Umwandlungseinheit ist ebenfalls grundsätzlich ohne Belang. Besonders vorteilhaft ist es jedoch, die Umwandlungseinheit in Form eines integrierten Schaltkreises auszubilden. Es eignen sich dazu insbesondere vorprogrammierte und/oder frei programmierbare integrierte Schaltkreise, wie beispielsweise ein DSP und/oder ein FPGA und/oder ein ASIC.
  • Die Verschaltung der einzelnen Elemente des Bildverarbeitungssystems erfolgen erfindungsgemäß derart, dass der Datenausgang der Mischeinheit mit dem Dateneingang der Umwandlungseinheit mittelbar oder unmittelbar verbunden ist. Dabei gelangen die von der Mischeinheit bereits zusammengeführten Pixeldaten mittelbar oder unmittelbar zur Umwandlungseinheit. In der Umwandlungseinheit werden die Pixeldaten in eine Form von Bilddaten übergeführt, die an der Bildanzeigeeinheit darstellbar ist, und über den Ausgang der Umwandlungseinheit einem weiteren Rechenwerk und/oder einer Bildanzeigeeinheit zugeführt.
  • Diese Ausführungsform bietet die besonderen Vorteile, dass das gesamte Bildverarbeitungssystem mit nur einer Umwandlungseinheit auskommen kann. Dies spart zum einen hohe Kosten durch Beschaffung mehrerer Umwandlungseinheiten und zum anderen die Verarbeitung von Daten in Teilen des Bildverarbeitungssystems, wobei diese Daten aus oben genannten Gründen nicht zur Anzeige kommen.
  • In einer weiteren Ausführungsform verfügt das Bildverarbeitungssystem über ein drittes Rechenwerk der Datenverarbeitungskette, wobei mittels dem dritten Rechenwerk zusätzliche Verarbeitungen und/oder Auswertungen mit den Pixeldaten und/oder Bilddaten durchführbar sind. Dieses dritte Rechenwerk kann beispielsweise in Form eines eigenen integrierten Schaltkreises ausgebildet sein und an einer beliebigen Stelle in der Datenverarbeitungskette angeordnet sein.
  • Ebenfalls denkbar wäre eine Integration des dritten Rechenwerks in die Mischeinheit und/oder in die Umwandlungseinheit. Diese Integration ist bei einer Ausbildung der Mischeinheit und/oder der Umwandlungseinheit als programmierbarer integrierter Schaltkreis besonders einfach realisierbar.
  • All diese Ausführungsformen erlauben eine besonders variable Gestaltung des Bildverarbeitungssystems. Durch den Einsatz verschiedener Einheiten ist es möglich, die Leistungsfähigkeit des Bildverarbeitungssystems zu optimieren. Da die Leistungsfähigkeit der Einheiten mit deren Beschaffungskosten korreliert, kann auf diese Weise auch der Kostenaufwand für das Bildverarbeitungssystem optimiert werden.
  • Die Ausführungsform der Bildanzeigeeinheit ist grundsätzlich ohne Belang. Wegen der kleinen Abmessungen ist die Ausführung der Bildanzeigeeinheit in Form eines Flachbildschirms und/oder eines Displays besonders geeignet. Dabei ist der Flachbildschirm und/oder das Display im oder in der Nähe des Blickfeldes des Fahrer angeordnet. Die Bildanzeigeeinheit kann auch in Form eines Projektionsgerätes ausgebildet sein. Diese Ausführungsform bietet den besonderen Vorteil, dass eine Anzeige durch Projektion auf die Innenseite der Frontscheibe direkt im Blickfeld des Fahrers möglich wird.
  • Das erfindungsgemäße Verfahren zum Betrieb eines Bildverarbeitungssystems in einem Fahrzeug, mit zumindest zwei Bilddatenquellen, insbesondere CCD-Einheiten und/oder CMOS-Einheiten, zumindest einer Mischeinheit, zumindest einer Umwandlungseinheit und einer Bildanzeigeeinheit, weist zumindest zwei Verarbeitungsschritte auf.
  • Es werden zuerst die Pixeldaten der verschiedenen Bilddatenquellen mittels der Mischeinheit zusammengeführt und danach die zusammengeführten Pixeldaten mittels der Umwandlungseinheit in eine Form von Bilddaten übergeführt.
  • Dabei wird im erstgenannten Verfahrensschritt die Zusammenführung der mittelbar oder unmittelbar an die Mischeinheit geleiteten Pixeldaten der verschiedenen Bilddatenquellen vollzogen.
  • Die Art der Zusammenführung ist grundsätzlich beliebig. Besonders vorteilhaft ist es jedoch, die Zusammenführung derart zu gestalten, dass aus der Mischeinheit nur noch diejenigen Pixeldaten als zusammengeführte Pixeldaten austreten, die auf der Bildanzeigeeinheit zur Darstellung kommen sollen. Dadurch werden beispielsweise Überschneidungen bei Panoramaaufnahmen oder bei Einblendungen im Bild vermieden und wird somit die Gesamtmenge der von den verschiedenen Bilddatenquellen generierten Pixeldaten mittels der Mischeinheit auf eine Teilmenge reduziert, die an der Bildanzeigeeinheit dargestellt werden soll. Dadurch wird der Zeitaufwand für Berechnungen und Verarbeitungen in den folgenden Verfahrensschritten optimiert.
  • Im zweiten Verfahrensschritt wird die Überführung der zusammengeführten Pixeldaten in eine Form von Bilddaten, die an der Bildanzeigeeinheit darstellbar sind, mittels der Umwandlungseinheit vollzogen.
  • Die Art und Weise der Überführung ist grundsätzlich ohne Belang. Eine bekannte Überführung der Pixeldaten in eine Form von Bilddaten basiert auf einer Mittelwertbildung über Nachbarpixeldaten, insbesondere auf einer Interpolation.
  • Die Zusammenführung als erster Verfahrensschritt und die Überführung als zweiter Verfahrensschritt stellen grundsätzlich nur die Minimalkonfiguration des Verfahrens dar. Es sind jedoch noch zusätzliche Verarbeitungsschritte und/oder Auswertungsschritte in diesem Verfahren denkbar.
  • Und zwar könnten die Pixeldaten der verschiedenen Bilddatenquellen zusätzlichen Verarbeitungsschritten und/oder Auswertungsschritten unterzogen werden, bevor sie in die Mischeinheit gelangen, und/oder es könnten die mit der Mischeinheit bereits zusammengeführten Pixeldaten zusätzlichen Verarbeitungsschritten und/oder Auswertungsschritten unterzogen werden, bevor sie in die Umwandlungseinheit gelangen, und/oder es könnten die mittels der Umwandlungseinheit bereits übergeführten Bilddaten zusätzlichen Verarbeitungsschritten und/oder Auswertungsschritten unterzogen werden.
  • Diese zusätzlichen Verarbeitungsschritte und/oder Auswertungsschritte könnten beispielsweise mittels eines dritten Rechenwerks durchführbar sein. Das dritte Rechenwerk könnte von seiner Leistung optimal an die Erfordernisse der Verarbeitungsschritte und/oder der Auswertungsschritte angepasst werden. Dies unterstützt die Skalierbarkeit des gesamten Bildverarbeitungssystems.
  • In einer weiteren Ausführungsform ist die Durchführung der zusätzlichen Verarbeitungsschritte und/oder Auswertungsschritte mittels der Mischeinheit und/oder mittels der Umwandlungseinheit denkbar. Diese Ausführungsform bietet sich insbesondere bei der Zusammenführung der Pixeldaten zu einer Panoramaansicht an. Dabei wird durch die zusätzlichen Verarbeitungsschritte und/oder Auswertungsschritte beispielsweise direkt bei der Zusammenführung in der Mischeinheit die Zusammenführung der Pixeldaten verschiedener Bilddatenquellen zu einer Panoramaansicht und gegebenenfalls die Reduzierung der verschiedenen Bilddaten um die Überschneidungsbereiche vollzogen.
  • Die Berechnungen, die durch die Verarbeitungsschritte und/oder Auswertungsschritte vorgenommen werden, unterliegen keiner Beschränkung. Sie sind entsprechend der Anwendung, die durch das Bildverarbeitungssystem realisiert werden soll, zu konzipieren.
  • So ist es beispielsweise für die Realisierung einer Side-View-Anwendung mit Panoramadarstellung erforderlich, dass die Verarbeitungsschritte und/oder Auswertungsschritte zumindest auf einer Form zur Erkennung von Bildüberschneidungen basieren. Um beispielsweise Anwendungen wie Fahrspurerkennung, Einparkkamera und/oder Überwachung des Fahrers zu gestalten, ist es erforderlich, dass die Verarbeitungsschritte und/oder Auswertungsschritte zumindest auf einer Form von Bildbereichsanalyse und/oder Bildbereichserkennung basieren.
  • In dem Fall, in dem die zusätzlichen Verarbeitungsschritte und/oder Auswertungsschritte Berechnungen durchführen, die zu einem Ergebnis führen, beispielsweise die Berechnung von Geschwindigkeiten oder Abständen, wird erfindungsgemäß vorgeschlagen, dass die Ergebnisse der zusätzlichen Verarbeitungsschritte und/oder Auswertungsschritte an der Bildanzeigeeinheit darstellbar sind.
    •
  • Nachfolgend wird das erfindungsgemäße Verfahren sowie ein zur Durchführung des erfindungsgemäßen Verfahrens geeignetes Bildverarbeitungssystem in verschiedenen Ausführungsformen anhand der Zeichnungen beispielhaft erläutert.
  • Es zeigen:
  • 1 eine erste Ausführungsform eines Bildverarbeitungssystems in einem Fahrzeug;
  • 2 eine zweite Ausführungsform eines Bildverarbeitungssystems als Funktionsschema;
  • 3 eine dritte Ausführungsform eines Bildverarbeitungssystems als Funktionsschema;
  • 4 eine erste Ausführungsform der Zusammenführung mittels der Mischeinheit als Funktionsschema;
  • 5 eine zweite Ausführungsform der Zusammenführung mittels der Mischeinheit als Funktionsschema.
  • 1 zeigt ein Fahrzeug 01 mit fünf Bilddatenquellen 02, von denen zwei Bilddatenquellen im Frontbereich des Fahrzeugs 01 angeordnet sind und drei Bilddatenquellen im Heckbereich des Fahrzeugs 01 angeordnet sind. Die Bilddatenquellen 02 sind in dieser Ausführungsform des Bildverarbeitungssystems als Kameras ausgebildet und überwachen jeweils unterschiedliche Bereiche. Des Weiteren weist das Fahrzeug 01 eine Mischeinheit 03, eine Umwandlungseinheit 04 sowie eine Bildanzeigeeinheit 05 auf. Die Mischeinheit verfügt über fünf Dateneingänge 06 und über einen Datenausgang 07. Die Umwandlungseinheit verfügt zumindest über einen Dateneingang 08.
  • Die von den Bilddatenquellen 02 generierten Pixeldaten 09 werden jeweils an einen Dateneingang 06 der Mischeinheit 03 weitergeleitet. In der Mischeinheit 03 werden die Pixeldaten 09 der verschiedenen Bilddatenquellen 02 zusammengeführt und gegebenenfalls zusätzliche Verarbeitungsschritte und/oder Auswertungsschritte durchgeführt. Die zusammengeführten Pixeldaten 10 werden am Datenausgang 07 der Mischeinheit 03 zur Verfügung gestellt und zum Dateneingang 08 der Umwand lungseinheit 04 weitergeleitet. In der Umwandlungseinheit 04 werden die zusammengeführten Pixeldaten 10 in eine Form von Bilddaten 11 übergeführt, die an der Bildanzeigeeinheit 05 darstellbar ist.
  • 2 zeigt eine zweite Ausführungsform eines Bildverarbeitungssystems als Funktionsschema. Das Bildverarbeitungssystem 12 weist zwei Bilddatenquellen 02, eine Mischeinheit 03 mit zwei Dateneingängen 06 und einem Datenausgang 07 sowie eine Umwandlungseinheit 04 mit zumindest einem Dateneingang 08 und einer Bildanzeigeeinheit 05 auf.
  • Die Pixeldaten 09 der verschiedenen Bilddatenquellen 02 werden jeweils an einen Dateneingang 06 der Mischeinheit 03 weitergeleitet, in der Mischeinheit 03 in einem ersten Verfahrensschritt zusammengeführt und am Datenausgang 07 in der Mischeinheit 03 als zusammengeführte Pixeldaten 10 zur Verfügung gestellt. Die zusammengeführten Pixeldaten 10 werden vom Datenausgang 07 der Mischeinheit 03 an den Dateneingang 08 der Umwandlungseinheit 04 weitergeleitet. In der Umwandlungseinheit 04 werden die zusammengeführten Pixeldaten 10 in eine Form von Bilddaten 11, die an der Bildanzeigeeinheit 05 dargestellt werden können, übergeführt und zur Bildanzeigeeinheit 05 weitergeleitet.
  • 3 zeigt eine dritte Ausführungsform eines Bildverarbeitungssystems als Funktionsschema. Das Bildverarbeitungssystem 12 weist drei Bilddatenquellen 02, eine Mischeinheit 03 mit nur einem Dateneingang 06 und einem Datenausgang 07 sowie eine Umwandlungseinheit 04 mit zumindest einem Dateneingang 08, eine drittes Rechenwerk 13 und eine Bildanzeigeeinheit 05 auf.
  • Die Pixeldaten 09 der verschiedenen Bilddatenquellen 02 werden an den gemeinsamen Eingang 06 der Mischeinheit 03 weitergeleitet. Die zusammengeführten Pixeldaten 10 werden am Datenausgang 07 der Mischeinheit 03 zur Verfügung gestellt und an den Dateneingang 08 der Umwandlungseinheit 04 weitergeleitet. Dort werden die zusammenge führten Pixeldaten 10 in eine Form von Bilddaten 11, die an der Bildanzeigeeinheit 05 darstellbar ist, umgewandelt und zunächst an das dritte Rechenwerk 13 weitergeleitet. Das dritte Rechenwerk 13 kann Berechnungen und/oder zusätzliche Verarbeitungsschritte und/oder Auswertungsschritte durchführen. Die Bilddaten 11 und gegebenenfalls das Ergebnis der Berechnungen und/oder zusätzlichen Verarbeitungsschritte und/oder Auswertungsschritte werden an die Bildanzeigeeinheit 05 weitergeleitet.
  • 4 zeigt eine erste Ausführungsform der Zusammenführung der Pixeldaten der verschiedenen Bilddatenquellen als Funktionsschema. Das Bildverarbeitungssystem 12 weist eine erste Bilddatenquelle 15 und eine zweite Bilddatenquelle 16 auf, wobei die zwei Bilddatenquellen unterschiedliche Informationen aufnehmen. Des Weiteren weist das Bildverarbeitungssystem 12 eine Mischeinheit 03 mit zwei Dateneingängen 06 und einen Datenausgang 07 sowie einer Bildanzeigeeinheit 05 auf.
  • Die Pixeldaten 09 der verschiedenen Bilddatenquellen 15, 16 werden an die Dateneingänge 06 der Mischeinheit 03 weitergeleitet. In der Mischeinheit 03 wird eine Zusammenführung der Pixeldaten 09 der verschiedenen Bilddatenquellen 15, 16 derart durchgeführt, dass am Ausgang 07 der Mischeinheit 03 ein Gesamtbild in Form von zusammengeführten Pixeldaten 10 austritt, wobei das Gesamtbild die gesamte Bildinformation der ersten Bilddatenquelle 15 und der zweiten Bilddatenquelle 16 als Vereinigungsmenge enthält.
  • 5 zeigt eine zweite Ausführungsform der Zusammenführung der Pixeldaten der verschiedenen Bilddatenquellen als Funktionsschema. Das Bildverarbeitungssystem 12 weist eine erste Bilddatenquelle 15 und eine zweite Bilddatenquelle 16 auf, wobei die zwei Bilddatenquellen 15, 16 in einem Überschneidungsbereich 17 die gleiche Bildinformation aufnehmen. Des Weiteren weist das Bildverarbeitungssystem 12 eine Mischeinheit 03 mit zwei Dateneingängen 06 und einem Datenausgang 07 sowie eine Bildanzeigeeinheit 05 auf.
  • Die Pixeldaten 09 der ersten Bilddatenquelle 15 und der zweiten Bilddatenquelle 16 werden an die Dateneingänge 06 der Mischeinheit 03 weitergeleitet. In der Mischeinheit 03 wird die Zusammenführung der Pixeldaten 09 der verschiedenen Bilddatenquellen 15, 16 derart durchgeführt, dass am Datenausgang 07 in der Mischeinheit 03 ein Gesamtbild in Form von zusammengeführten Pixeldaten 10 austritt, wobei das Gesamtbild passend aus den Bildern der ersten Bilddatenquelle 15 und der zweiten Bilddatenquelle 16 zusammengesetzt wurde.

Claims (20)

  1. Fahrzeug (01) mit zumindest zwei Bilddatenquellen (02, 15, 16), zumindest einer Mischeinheit (03), zumindest einer Umwandlungseinheit (04) und einer Bildanzeigeeinheit (05), wobei die mit den Bilddatenquellen (02, 15, 16) generierten Pixeldaten (09) mittels der Mischeinheit (03) insbesondere für die simultane Darstellung an der Bildanzeigeeinheit (05) zusammengeführt werden können, und wobei die Pixeldaten (10) mittels der Umwandlungseinheit in eine Form von Bilddaten (11) übergeführt werden können, die an der Bildanzeigeeinheit (05) darstellbar ist, dadurch gekennzeichnet, dass die Mischeinheit (03) zumindest zwei Dateneingänge (06) zum Empfang von Pixeldaten (09) der beiden Bilddatenquellen (02, 15, 16) und zumindest einen Datenausgang (07) für die zusammengeführten Pixeldaten (10) aufweist, wobei die Umwandlungseinheit (04) zumindest einen Dateneingang (08) für die zusammengeführten Pixeldaten (10) aufweist, und wobei der Datenausgang (07) der Mischeinheit (03) mit dem Dateneingang (08) der Umwandlungseinheit (04) mittelbar oder unmittelbar verbunden ist.
  2. Fahrzeug nach Anspruch 1, dadurch gekennzeichnet, dass die Bilddatenquellen (02, 15, 16) zumindest eine CCD-Einheit und/oder CMOS-Einheit aufweisen.
  3. Fahrzeug nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Mischeinheit (03) zumindest einen Dateneingang (06) aufweist, wobei die mit den Bilddatenquellen (02, 15, 16) generierten Pixeldaten (09) mittelbar oder unmittelbar an den Dateneingang (06) der Mischeinheit (03) weitergeleitet werden können.
  4. Fahrzeug nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die Mischeinheit (03) in Form eines integrierten Schaltkreises, insbesondere eines DSP und/oder eines FPGA und/oder eines ASIC, ausgebildet ist.
  5. Fahrzeug nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die Umwandlungseinheit (04) in Form eines integrierten Schaltkreises, insbesondere eines DSP und/oder eines FPGA und/oder eines ASIC, ausgebildet ist.
  6. Fahrzeug nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass ein drittes Rechenwerk (13) in der Datenverarbeitungskette vorgesehen ist, wobei mittels des dritten Rechenwerks (13) zusätzliche Verarbeitungen und/oder Auswertungen mit den Pixeldaten (09, 10) und/oder Bilddaten (11) durchführbar sind.
  7. Fahrzeug nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass das dritte Rechenwerk (13) in die Mischeinheit (03) und/oder die Umwandlungseinheit (04) integriert ist.
  8. Fahrzeug nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass die Bildanzeigeeinheit (05) in Form eines Flachbildschirmes und/oder eines Displays ausgebildet ist.
  9. Fahrzeug nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass die Bildanzeigeeinheit (05) in Form eines Projektionsgerätes ausgebildet ist.
  10. Verfahren zum Betrieb eines Bildverarbeitungssystems in einem Fahrzeug (01), mit zumindest zwei Bilddatenquellen (02, 15, 16), insbesondere CCD-Einheiten und/oder CMOS-Einheiten, zumindest einer Mischeinheit (03), zumindest einer Umwandlungseinheit (04) und einer Bildanzeigeeinheit (05), wobei die mit den Bilddatenquellen (02, 15, 16) generierten Pixeldaten (09) mittels der Mischeinheit (03) insbesondere für die simultane Darstellung an der Bildanzeigeeinheit (05) zusammengeführt werden können, und wobei die Pixeldaten (10) mittels der Umwandlungseinheit (04) in eine Form von Bilddaten (11) übergeführt werden können, die an der Bildanzeigeeinheit (05) darstellbar ist, dadurch gekennzeichnet, dass – zuerst die Pixeldaten (09) der verschiedenen Bilddatenquellen (02, 15, 16) mittels der Mischeinheit (03) zusammengeführt werden – und danach die zusammengeführten Pixeldaten (10) mittels der Umwandlungseinheit (04) in eine Form von Bilddaten (11) übergeführt werden.
  11. Verfahren nach Anspruch 10, dadurch gekennzeichnet, dass die Gesamtmenge der von den verschiedenen Bilddatenquellen (02, 15, 16) generierten Pixeldaten (09) mittels der Mischeinheit (03) auf eine Teilmenge reduzierbar ist, die an der Bildanzeigeeinheit (05) dargestellt werden soll.
  12. Verfahren nach Anspruch 10 oder 11, dadurch gekennzeichnet, dass die Überführung der Pixeldaten (09, 10) in eine Form von Bilddaten (11) auf einer Mittelwertbildung über Nachbarpixeldaten, insbesondere einer Interpolation, basiert.
  13. Verfahren nach einem der Ansprüche 10 bis 12, dadurch gekennzeichnet, dass die Pixeldaten (09) der verschiedenen Bilddatenquellen (02, 15, 16) zusätzlichen Verarbeitungsschritten und/oder Auswertungsschritten unterzogen werden, bevor sie in die Mischeinheit (03) gelangen.
  14. Verfahren nach einem der Ansprüche 10 bis 13, dadurch gekennzeichnet, dass die mit der Mischeinheit (03) bereits zusammengeführten Pixeldaten (10) zusätzlichen Verarbeitungsschritten und/oder Auswertungsschritten unterzogen werden, bevor sie in die Umwandlungseinheit (04) gelangen.
  15. Verfahren nach einem der Ansprüche 10 bis 14, dadurch gekennzeichnet, dass die mittels der Umwandlungseinheit (04) bereits übergeführten Bilddaten (11) zusätzlichen Verarbeitungsschritten und/oder Auswertungsschritten unterzogen werden.
  16. Verfahren nach einem der Ansprüche 10 bis 15, dadurch gekennzeichnet, dass die zusätzlichen Verarbeitungsschritte und/oder Auswertungsschritte mittels eines dritten Rechenwerks (13) durchführbar sind.
  17. Verfahren nach einem der Ansprüche 10 bis 16, dadurch gekennzeichnet, dass die zusätzlichen Verarbeitungsschritte und/oder Auswertungsschritte mittels der Mischeinheit (03) und/oder mittels der Umwandlungseinheit (04) durchführbar sind.
  18. Verfahren nach einem der Ansprüche 10 bis 17, dadurch gekennzeichnet, dass die Verarbeitungsschritte und/oder Auswertungsschritte auf einer Form zur Erkennung von Bildüberschneidungen basieren.
  19. Verfahren nach einem der Ansprüche 10 bis 18, dadurch gekennzeichnet, dass die Verarbeitungsschritte und/oder Auswertungsschritte auf einer Form von Bildbereichsanalyse und/oder Bildbereichserkennung basieren.
  20. Verfahren nach einem der Ansprüche 10 bis 19, dadurch gekennzeichnet, dass die Ergebnisse der zusätzlichen Verarbeitungsschritte und/oder Auswertungsschritte an der Bildanzeigeeinheit (05) darstellbar sind.
DE102004039108A 2004-08-11 2004-08-11 Fahrzeug mit Bildverarbeitungssystem und Verfahren zum Betrieb eines Bildverarbeitungssystems Ceased DE102004039108A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE102004039108A DE102004039108A1 (de) 2004-08-11 2004-08-11 Fahrzeug mit Bildverarbeitungssystem und Verfahren zum Betrieb eines Bildverarbeitungssystems
EP05015527A EP1626584A3 (de) 2004-08-11 2005-07-18 Fahrzeug mit Bildverarbeitungssystem und Verfahren zum Betrieb eines Bildverarbeitungssystems
US11/194,433 US7280124B2 (en) 2004-08-11 2005-08-01 Vehicle with image processing system and method for operating an image processing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102004039108A DE102004039108A1 (de) 2004-08-11 2004-08-11 Fahrzeug mit Bildverarbeitungssystem und Verfahren zum Betrieb eines Bildverarbeitungssystems

Publications (1)

Publication Number Publication Date
DE102004039108A1 true DE102004039108A1 (de) 2006-02-23

Family

ID=35721309

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102004039108A Ceased DE102004039108A1 (de) 2004-08-11 2004-08-11 Fahrzeug mit Bildverarbeitungssystem und Verfahren zum Betrieb eines Bildverarbeitungssystems

Country Status (1)

Country Link
DE (1) DE102004039108A1 (de)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020126226A1 (en) * 2001-02-21 2002-09-12 Dudkowski Edmond Louis Portable system for live television signal editing
US6558049B1 (en) * 1996-06-13 2003-05-06 Texas Instruments Incorporated System for processing video in computing devices that multiplexes multiple video streams into a single video stream which is input to a graphics controller
US20030206180A1 (en) * 2001-10-05 2003-11-06 Ehlers Richard L. Color space rendering system and method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6558049B1 (en) * 1996-06-13 2003-05-06 Texas Instruments Incorporated System for processing video in computing devices that multiplexes multiple video streams into a single video stream which is input to a graphics controller
US20020126226A1 (en) * 2001-02-21 2002-09-12 Dudkowski Edmond Louis Portable system for live television signal editing
US20030206180A1 (en) * 2001-10-05 2003-11-06 Ehlers Richard L. Color space rendering system and method

Similar Documents

Publication Publication Date Title
EP1626584A2 (de) Fahrzeug mit Bildverarbeitungssystem und Verfahren zum Betrieb eines Bildverarbeitungssystems
DE102008046398B4 (de) Vorrichtung zum Erzeugen eines zusammengesetzten Bildes und computerlesbares Medium zum Speichern eines Programmes, um zu bewirken, dass ein Computer als Vorrichtung zum Erzeugen eines zusammengesetzten Bildes wirkt
DE102012001835B4 (de) Sichtsystem für ein Nutzfahrzeug zur Darstellung von gesetzlich vorgeschriebenen Sichtfeldern eines Hauptspiegels und eines Weitwinkelspiegels
EP1018839B2 (de) Verfahren und Einrichtung zur Einsichtnahme des rückwärtigen Beobachtungsraumes bei Kraftfahrzeugen
DE60224248T2 (de) Verfahren und Vorrichting zum Erfassen des rückwärtigen Raumes eines Fahrzeugs
DE3715859C2 (de) Farbbildverarbeitungssystem
DE10164935B4 (de) Elektronisches Endoskop
DE19721713C2 (de) Elektronisches Endoskop
DE102016117584A1 (de) Videobildgebungssystem
DE102009001122B4 (de) 1 - 15Kameraanordnung und Verfahren zum Ermitteln von Bildsignalen mit Farbwerten
DE102015107293A1 (de) Videoanzeigevorrichtung, videoumschaltvorrichtung, und videoanzeigeverfahren
DE102011077398A1 (de) Fahrzeugkamerasystem zur Bereitstellung eines lückenlosen Bildes der Fahrzeugumgebung und entsprechendes Verfahren
DE102008030104A1 (de) Verfahren und Vorrichtung zur Überwachung einer Umgebung eines Fahrzeuges
DE102019105630A1 (de) Anzeigesteuervorrichtung, Fahrzeugumgebungsanzeigesystem und Computerprogramm
DE102007051889A1 (de) Elektronisches Endoskop
DE102004039108A1 (de) Fahrzeug mit Bildverarbeitungssystem und Verfahren zum Betrieb eines Bildverarbeitungssystems
DE102015119871A1 (de) Verfahren zum Betreiben eines Kamerasystems mit einer Vielzahl von Bildsensorelementen und Kraftfahrzeug
EP1922871B1 (de) Übertragung von nutzdaten im bildsignal eines kamerasystems
EP2816802A1 (de) Verfahren und Vorrichtung zum Anpassen eines Bildparameters
DE102007051888A1 (de) Elektronisches Endoskop
DE102018207386B3 (de) Verfahren und Bilderzeugungssystem zur Erzeugung eines Anzeigebildes in einem Kraftfahrzeug
DE102016221336A1 (de) Bildsensor mit einem für pixelbinning geeigneten farbfilter
DE10226274B4 (de) Verfahren und System zum Auswerten einer optischen Aufnahme
EP3967030A1 (de) Verfahren zur erzeugung eines bildes einer fahrzeugumgebung und vorrichtung zur erzeugung eines bildes einer fahrzeugumgebung
DE3436276A1 (de) Einrichtung zur digitalen verarbeitung von grauwertbildern mit lokalen operatoren, schritthaltend mit der bildabtastung durch eine fernsehkamera

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
8131 Rejection