DE102016223389A1 - Bildverarbeitungssystem und bildverarbeitungsverfahren - Google Patents

Bildverarbeitungssystem und bildverarbeitungsverfahren Download PDF

Info

Publication number
DE102016223389A1
DE102016223389A1 DE102016223389.0A DE102016223389A DE102016223389A1 DE 102016223389 A1 DE102016223389 A1 DE 102016223389A1 DE 102016223389 A DE102016223389 A DE 102016223389A DE 102016223389 A1 DE102016223389 A1 DE 102016223389A1
Authority
DE
Germany
Prior art keywords
vehicle
model
image processing
image
geometry objects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102016223389.0A
Other languages
English (en)
Inventor
Martin Simon
Jörg Schrepfer
Markus Friebe
Georg Arbeiter
Stefan Milz
Peerayut Khongsab
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Conti Temic Microelectronic GmbH
Original Assignee
Conti Temic Microelectronic GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Conti Temic Microelectronic GmbH filed Critical Conti Temic Microelectronic GmbH
Priority to DE102016223389.0A priority Critical patent/DE102016223389A1/de
Priority to DE112017005963.1T priority patent/DE112017005963A5/de
Priority to PCT/DE2017/200095 priority patent/WO2018095489A1/de
Publication of DE102016223389A1 publication Critical patent/DE102016223389A1/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images

Abstract

Die vorliegende Erfindung offenbart ein Bildverarbeitungssystem (100, 200) für ein Fahrzeug (300, 400) mit einer Bildererfassungseinrichtung (101, 201) und mit mindestens einer Anzeigeeinrichtung (102, 202), mit einer Kommunikationsschnittstelle (103, 203), welche ausgebildet ist, Fahrzeugparameter (104, 204), welche einen aktuellen Zustand des Fahrzeugs (300, 400) kennzeichnen, aus dem Fahrzeug (300, 400) abzufragen, mit einem Modellspeicher (105, 205), der ein Fahrzeugmodell (106, 206) und eine Vielzahl von Geometrieobjekten (107 - 109, 207 - 209) für das Fahrzeugmodell (106, 206) aufweist, und mit einer Bilderzeugungseinrichtung (110, 210), welche ausgebildet ist, basierend auf den abgefragten Fahrzeugparametern (104, 204) entsprechende Geometrieobjekte (107 - 109, 207 - 209) auszuwählen und mit dem Fahrzeugmodell (106, 206) zu einem Gesamtmodell (215) zu verknüpfen und eine Darstellung des Gesamtmodells (215) mit einem von den Bildererfassungseinrichtungen (101, 201) erfassten Bild (114) zu überlagern und auf der Anzeigeeinrichtung (102, 202) auszugeben. Ferner offenbart die vorliegende Erfindung ein entsprechendes Bildverarbeitungsverfahren.

Description

  • Gebiet der Erfindung
  • Die vorliegende Erfindung bezieht sich auf Bildverarbeitungssystem und ein entsprechendes Bildverarbeitungsverfahren.
  • Stand der Technik
  • Obwohl die vorliegende Erfindung im Folgenden hauptsächlich in Zusammenhang mit Personenkraftwagen beschrieben wird, ist sie darauf nicht beschränkt, sondern kann mit jeder Art von Fahrzeug genutzt werden.
  • In modernen Fahrzeugen unterstützt eine Vielzahl von Assistenzsystemen den Fahrer beim Steuern des Fahrzeugs. Beispielsweise können Kamerasysteme dem Fahrer auf Bildschirmen innerhalb des Fahrzeugs Bereiche der Fahrzeugumgebung anzeigen, die der Fahrer sonst nicht einsehen kann.
  • Solche Kamerasysteme können dem Fahrer nicht nur den Bereich außerhalb des Fahrzeugs anzeigen. Moderne sog. Surround-View-Systeme können dem Fahrer z.B. auch Teile des Fahrzeugs selbst zusammen mit den jeweiligen Ausschnitten der Fahrzeugumgebung anzeigen.
  • Solche Surround-View-Systeme nutzen die Bilder einer Vielzahl von Kameras und berechnen aus diesen die jeweilige Darstellung. Das Fahrzeug wird dabei anhand eines statischen Modelles des Fahrzeugs in das Bild eingefügt.
  • Diese Art der Darstellung erschwert es dem Fahrer den Zustand des Fahrzeugs einzuschätzen.
  • Offenbarung der Erfindung
  • Es ist daher eine Aufgabe der vorliegenden Erfindung eine verbesserte Erfassung des Fahrzeugzustands zu ermöglichen.
  • Diese Aufgabe wird gelöst durch ein Bildverarbeitungssystem mit den Merkmalen des unabhängigen Patentanspruchs 1 und ein Bildverarbeitungsverfahren mit den Merkmalen des unabhängigen Patentanspruchs 7.
  • Demgemäß ist vorgesehen:
  • Ein Bildverarbeitungssystem für ein Fahrzeug mit einer Anzahl, also einer oder mehreren, von Bildererfassungseinrichtungen und mit mindestens einer Anzeigeeinrichtung, mit einer Kommunikationsschnittstelle, welche ausgebildet ist, Fahrzeugparameter, welche einen aktuellen Zustand des Fahrzeugs kennzeichnen, aus dem Fahrzeug abzufragen, mit einem Modellspeicher, der ein Fahrzeugmodell und eine Vielzahl von Geometrieobjekten für das Fahrzeugmodell aufweist, und mit einer Bilderzeugungseinrichtung, welche ausgebildet ist, basierend auf den abgefragten Fahrzeugparametern entsprechende Geometrieobjekte auszuwählen und mit dem Fahrzeugmodell zu einem Gesamtmodell zu verknüpfen und eine Darstellung des Gesamtmodells mit einem von den Bildererfassungseinrichtungen erfassten Bild zu überlagern und auf der Anzeigeeinrichtung auszugeben.
  • Ferner ist vorgesehen:
  • Ein Bildverarbeitungsverfahren für ein Fahrzeug mit einer Anzahl, also eine oder mehrere, von Bildererfassungseinrichtungen und mit mindestens einer Anzeigeeinrichtung, wobei das Verfahren aufweist das Abfragen von Fahrzeugparametern, welche einen aktuellen Zustand des Fahrzeugs kennzeichnen, aus dem Fahrzeug, z.B. über einen Fahrzeugbus, das Bereitstellen eines Fahrzeugmodells und einer Vielzahl von Geometrieobjekten für das Fahrzeugmodell, z.B. in einem Datenspeicher, das Auswählen entsprechender Geometrieobjekte basierend auf den abgefragten Fahrzeugparametern und Verknüpfen der ausgewählten Geometrieobjekten mit dem Fahrzeugmodell zu einem Gesamtmodell, das Erzeugen einer Darstellung des Gesamtmodelles und Überlagern der Darstellung des Gesamtmodells mit einem von den Bildererfassungseinrichtungen erfassten Bild, und Ausgeben des mit der Darstellung des Gesamtmodells überlagerten Bildes auf der Anzeigeeinrichtung.
  • Vorteile der Erfindung
  • Im Gegensatz zu den oben erwähnten statischen Ansätzen ermöglicht die vorliegende Erfindung eine dynamische Erzeugung einer Darstellung des Fahrzeugs.
  • Dazu wird ein Fahrzeugmodell als Basis für die Erzeugung einer Fahrzeugdarstellung genutzt. Diese Basis wird um entsprechende Geometrieobjekte ergänzt, die von den Fahrzeugparametern des Fahrzeugs abhängig sind. Fahrzeugparameter können alle Arten von Parametern sein, die in dem Fahrzeug anfallen und z.B. über einen Fahrzeugbus an das Bildverarbeitungssystem übertragen werden können. Die Fahrzeugparameter kennzeichnen dabei den aktuellen Zustand des Fahrzeugs und ermöglichen folglich die Auswahl geeigneter Geometrieobjekte, die den aktuellen Zustand repräsentieren.
  • Die Bilderzeugungseinrichtung kann folglich aus dem Fahrzeugmodell und den entsprechenden Geometrieobjekten ein Gesamtmodell erzeugen, welches den aktuellen Zustand des Fahrzeugs abbildet. Unter dem Begriff Fahrzeugmodell oder Gesamtmodell ist in diesem Zusammenhang ein 3D Modell zu verstehen, also z.B. eine Beschreibung der dreidimensionalen Struktur, die ein Rendern oder Raytracing einer entsprechenden Darstellung ermöglicht.
  • Aus diesem virtuellen Modell kann die Bilderzeugungseinrichtung dann also z.B. basierend auf Render- oder Raytracingtechniken eine grafische Darstellung des Modells erzeugen, die in das Bild eines Surround-View-Systems an der entsprechenden Stelle eingefügt werden kann. Das Bild des Surround-View-Systems mit der eingefügten Darstellung des Fahrzeugs kann dann dem Fahrer des Fahrzeugs angezeigt werden.
  • Die vorliegende Erfindung ermöglicht folglich eine detailgetreue Darstellung des Fahrzeugs z.B. durch ein Surround-View-System. Ein Fahrer kann sich dadurch sehr einfach Überblick über das Fahrzeug und seinen momentanen Zustand verschaffen.
  • Vorteilhafte Ausführungsformen und Weiterbildungen ergeben sich aus den Unteransprüchen sowie aus der Beschreibung unter Bezugnahme auf die Figuren.
  • In einer Ausführungsform können die Fahrzeugparameter Bestandteile des Fahrzeugs betreffen, die im Betrieb des Fahrzeugs unterschiedliche Zustände einnehmen können. Solche Bestandteile können z.B. die Räder sein, die unterschiedliche Drehgeschwindigkeiten und von dem Lenkwinkel abhängige Einschlagwinkel aufweisen können. Ferner können solche Bestandteile auch z.B. die Schweinwerfer, die Scheibenwischer, die Türen oder Motor- bzw. Heckklappen oder die Sitze sein. Das Fahrzeugmodell kann also z.B. die starren Teile der Karoserie und der Inneneinrichtung des Fahrzeugs umfassen, während bewegliche bzw. veränderliche Bestandteile des Fahrzeugs als separate Geometrieobjekte bereitstehen können. Es versteht sich, dass auch bewegliche Bestandteile statisch in dem Fahrzeugmodell integriert sein können. Welche Bestandteile als eigenständige Geometrieobjekte bereitgestellt werden und welche als Teile des statischen Fahrzeugmodells kann von Anwendung zu Anwendung variieren.
  • Die Fahrzeugparameter können also z.B. der Lenkwinkel oder die Geschwindigkeit des Fahrzeugs sein. Die Fahrzeugparameter können auch den Zustand und die Höheneinstellung der Schweinwerfer, z.B. an/aus, kennzeichnen. Weitere Fahrzeugparameter können die Öffnungswinkel der Türen, der Heck- oder Motorklappe und dergleichen betreffen. Allgemein beschreiben Fahrzeugparameter den Zustand des jeweiligen Bestandteils des Fahrzeugs, sodass das jeweilige Geometrieobjekt ausgewählt werden kann.
  • In einer Ausführungsform kann für jeden Bestandteil des Fahrzeugs mindestens ein Geometrieobjekt gespeichert sein. Wird für jeden veränderlichen Bestandteil des Fahrzeugs ein eigenes Geometrieobjekt bereitgestellt, können das Fahrzeugmodell und die Geometrieobjekte sehr einfach zusammengefügt werden.
  • Die Geometrieobjekte können dabei die Geometrie des jeweiligen Bestandteils des Fahrzeugs beschreiben, sodass diese z.B. als dreidimensionales Bild gezeichnet bzw. gerendert werden kann. Die Geometrieobjekte können ferner zusätzliche Informationen, z.B. über Texturen, Farben, Lichtquellen, Drehachsen, Koordinatenursprung und dergleichen aufweisen.
  • Informationen über Lichtquellen können z.B. die Intensität und Ausrichtung einer Lichtquelle beschreiben. Informationen über eine Drehachse können bei Bestandteilen, die sich um eine Achse oder mehrere Achse drehen können, also z.B. Räder, Türen, Klappen, Sitzen, die Drehachse beschreiben. Dies ermöglicht das winkelgenaue Einfügen des Geometrieobjekts in das Fahrzeugmodell. Koordinatenursprünge können z.B. den Punkt des Geometrieobjekts kennzeichnen, an welchem es mit dem Fahrzeugmodell gekoppelt werden soll.
  • In einer Ausführungsform kann für mindestens einen Bestandteil des Fahrzeugs eine Vielzahl, also zwei oder mehr, von Geometrieobjekten gespeichert sein. Dies ermöglicht eine einfache Auswahl des jeweils zu dem spezifischen Zustand eines Bestandteils passenden Geometrieobjekts. Beispielsweise können für einen Scheinwerfer eines Fahrzeugs zwei Geometrieobjekte bereitgestellt werden, wobei eines der Geometrieobjekte den ausgeschalteten Scheinwerfer kennzeichnet, während das andere Geometrieobjekt den eingeschalteten Scheinwerfer kennzeichnet. Genauso können einzelne Geometrieobjekte z.B. für unterschiedliche Einlenkwinkel der Räder bereitgestellt werden. So kann durch eine einfache Auswahl die passende Darstellung erzeugt werden. Eine aufwändige Berechnung einer Drehung eines einzelnen Geometrieobjekts zu dem Rad kann dann entfallen.
  • Beispielsweise kann auch ein Geometrieobjekt für ein Lenkrad in einem Linkslenker-Fahrzeug und ein Geometrieobjekt für ein Lenkrad in einem Rechtslenker-Fahrzeug bereitgestellt werden. Anhand der Fahrzeugparameter kann dann das passende Geometrieobjekt ausgewählt werden.
  • In einer Ausführungsform kann die Bilderzeugungseinrichtung ausgebildet sein, basierend auf den Fahrzeugparametern geometrische Transformationen der Geometrieobjekte auszuführen und die transformierten Geometrieobjekte mit dem Fahrzeugmodell zu einem Gesamtmodell zu verknüpfen. Können die einzelnen Geometrieobjekte dynamisch transformiert werden, wird es möglich, mit einem einzelnen Geometrieobjekt z.B. mehrere Zustände des jeweiligen Bestandteils des Fahrzeugs zu beschreiben. So kann z.B. lediglich ein einziges Geometrieobjekt für die Räder des Fahrzeugs bereitgestellt werden. Durch Transformationen, wie z.B. Drehungen und Spiegelungen kann das eine Geometrieobjekt die Basis für alle vier Räder des Fahrzeugs bilden. Ferner können unterschiedliche Zustände einzelner Räder ebenfalls abgebildet werden. So kann das Geometrieobjekt für die Darstellung eines Vorderrads z.B. entsprechend dem aktuellen Lenkwinkel gedreht werden, bevor es in das Fahrzeugmodell eingefügt wird.
  • In einer Ausführungsform kann die Bilderzeugungseinrichtung einen Zustandsautomaten aufweisen, der ausgebildet sein kann, die Fahrzeugparameter als Eingangsgrößen aufzunehmen und die entsprechenden Geometrieobjekte auszuwählen. Die Nutzung eines Zustandsautomaten ermöglicht eine sehr einfache Auswahl der notwendigen Geometrieobjekte. So können Werte einzelner Fahrzeugparameter z.B. direkt in Bezeichnungen der jeweiligen Geometrieobjekte übersetzt werden.
  • Beispielsweise kann ein Geometrieobjekt „Scheinwerfer_an“ für einen Scheinwerfer in eingeschaltetem Zustand bereitgestellt werden. Ein weiteres Geometrieobjekt „Scheinwerfer_aus“ kann z.B. für den Scheinwerfer in ausgeschaltetem Zustand bereitgestellt werden. Der Zustandsautomat kann dann basierend auf dem Fahrzeugparameter für den Zustand des Scheinwerfers das entsprechende Geometrieobjekt auswählen.
  • Es versteht sich, dass die einzelnen Komponenten des Bildverarbeitungssystems, also z.B. die Kommunikationsschnittstelle, der Modellspeicher und die Bilderzeugungseinrichtung, als Hardware und/oder Software, also z.B. als Prozessor, ASIC, FPGA, CPLD, und/oder als Programmcode, Funktion, Methode oder eine Kombination der genannten Möglichkeiten ausgebildet sein können.
  • Die obigen Ausgestaltungen und Weiterbildungen lassen sich, sofern sinnvoll, beliebig miteinander kombinieren. Weitere mögliche Ausgestaltungen, Weiterbildungen und Implementierungen der Erfindung umfassen auch nicht explizit genannte Kombinationen von zuvor oder im Folgenden bezüglich der Ausführungsbeispiele beschriebenen Merkmalen der Erfindung. Insbesondere wird dabei der Fachmann auch Einzelaspekte als Verbesse-rungen oder Ergänzungen zu der jeweiligen Grundform der vorliegenden Erfindung hinzufügen.
  • Figurenliste
  • Die vorliegende Erfindung wird nachfolgend anhand der in den schematischen Figuren der Zeichnungen angegebenen Ausführungsbeispiele näher erläutert. Es zeigen dabei:
    • 1 ein Blockschaltbild einer Ausführungsform eines erfindungsgemäßen Bildverarbeitungssystems;
    • 2 ein Blockschaltbild einer weiteren Ausführungsform eines erfindungsgemäßen Bildverarbeitungssystems;
    • 3 ein Ablaufdiagramm einer Ausführungsform eines erfindungsgemäßen Bildverarbeitungsverfahrens;
    • 4 eine Ausführungsform einer erfindungsgemäßen Darstellung eines Fahrzeugs; und
    • 5 eine Ausführungsform einer weiteren erfindungsgemäßen Darstellung eines Fahrzeugs.
  • In allen Figuren sind gleiche bzw. funktionsgleiche Elemente und Vorrichtungen - sofern nichts anderes angegeben ist - mit denselben Bezugszeichen versehen worden.
  • Ausführungsformen der Erfindung
  • 1 zeigt ein Blockschaltbild eines erfindungsgemäßen Bildverarbeitungssystems 100 für ein Fahrzeug mit einer Bildererfassungseinrichtung 101 und mit einer Anzeigeeinrichtung 102. Es versteht sich, dass in anderen beispielhaften Anwendungen sowohl mehrere Bildererfassungseinrichtungen als auch mehrere Anzeigeeinrichtungen vorgesehen sein können. Die Bildererfassungseinrichtung 101 erfasst ein Bild 114, welches nach der Verarbeitung durch das Bildverarbeitungssystem 100 auf der Anzeigeeinrichtung 102 ausgegeben werden kann. Unter dem Begriff „Bild“ ist nicht nur ein Einzelbild zu verstehen, es kann z.B. auch eine Bildfolge bzw. ein Video darunter verstanden werden.
  • Das Bildverarbeitungssystem 100 weist eine Kommunikationsschnittstelle 103 und einen Modellspeicher 105 auf, die beide mit einer Bilderzeugungseinrichtung 110 gekoppelt sind.
  • Die Kommunikationsschnittstelle 103 ermöglicht es dem Bildverarbeitungssystem 100 z.B. über einen Fahrzeugbus oder eine andere Datenverbindung Fahrzeugparameter 104 des Fahrzeugs abzurufen. Solche Fahrzeugparameter 104 können z.B. die Geschwindigkeit oder den Lenkwinkel, also fahrphysikalische Parameter betreffen. Die Fahrzeugparameter 104 können aber z.B. auch Informationen darüber aufweisen, ob das Fahrzeug ein Linkslenker- oder ein Rechtslenker-Fahrzeug ist, eine Türe geöffnet ist oder dergleichen. Die Fahrzeugparameter 104 können jeden Bestandteil des Fahrzeugs betreffen, der im Betrieb des Fahrzeugs unterschiedliche Zustände einnehmen kann.
  • Der Modellspeicher 105 weist ein Fahrzeugmodell 106 auf. Ferner weist der Modellspeicher 105 Geometrieobjekte 107, 108 und 109 auf. Die Geometrieobjekte 107 und 108 betreffen den gleichen Bestandteil des Fahrzeugs, was durch einen gestrichelt dargestellten Rahmen angedeutet wird. Das bedeutet, dass die Geometrieobjekte 107 und 108 z.B. beide einen Scheinwerfer beschreiben, wobei eines den Scheinwerfer im eingeschalteten Zustand beschreibt und eines den Scheinwerfer im ausgeschalteten Zustand beschreibt. Das Geometrieobjekt 109 kann dagegen z.B. ein Rad des Fahrzeugs beschreiben.
  • Die Bilderzeugungseinrichtung 110 wählt basierend auf den Fahrzeugparametern 104 die entsprechenden Geometrieobjekte aus, die das Fahrzeugmodell 106 vervollständigen sollen.
  • Wenn die Fahrzeugparameter 104 also z.B. angeben, dass der Scheinwerfer des Fahrzeugs ausgeschaltet ist, wird die Bilderzeugungseinrichtung 110 das Geometrieobjekt 108 auswählen. Gleichzeitig kann die Bilderzeugungseinrichtung 110 z.B. das Geometrieobjekt 109 des Rads entsprechend einem angegebenen Lenkwinkel gedreht an dem Fahrzeugmodell 109 anbringen und so das Gesamtmodell erzeugen.
  • Die Bilderzeugungseinrichtung 110 kann dann aus dem Gesamtmodell eine bildliche Darstellung erzeugen, die dem Bild 114 überlagert werden kann. Dazu kann die Bilderzeugungseinrichtung 110 z.B. geeignete Projektionen des virtuellen dreidimensionalen Raums mit dem Gesamtmodell auf die jeweilige Projektionsfläche erzeugen.
  • Der Fahrer kann dann in der Anzeigeeinrichtung 102 das Fahrzeug nicht nur örtlich korrekt, sondern auch physikalisch korrekt, als z.B. mit eingeschlagenen Rädern und ein- /ausgeschalteten Scheinwerfern sehen.
  • 2 zeigt ein Blockschaltbild eines weiteren Bildverarbeitungssystems 200. Das Bildverarbeitungssystem 200 basiert auf dem Bildverarbeitungssystems 100 und ergänzt insbesondere die Bilderzeugungseinrichtung 210 um weitere Elemente.
  • Die Bilderzeugungseinrichtung 210 weist einen Zustandsautomat 211 auf, der basierend auf den Fahrzeugparametern 204 die passenden Geometrieobjekte 207, 208, 209 auswählt.
  • Die ausgewählten Geometrieobjekte 207, 208, 209 werden dann einer Transformationseinrichtung 212 bereitgestellt, welche die ausgewählten Geometrieobjekte 207, 208, 209 entsprechend der Fahrzeugparameter 204 transformiert. Sie kann also z.B. ein Geometrieobjekt 209 für ein Rad entsprechend dem aktuellen Lenkwinkel des Fahrzeugs eindrehen. Ferner kann die Transformationseinrichtung 212 auch geometrische Transformationen durchführen, die eine Projektion des virtuellen dreidimensionalen Modells auf eine Projektionsebene ermöglicht bzw. darstellen. Diese Projektionsebene kann z.B. dem Bild 214 bzw. dessen Perspektive entsprechen.
  • Die Ergebnisse der Transformationseinrichtung 212 werden dann der Bildverarbeitungseinrichtung 213 in einem entsprechenden Gesamtmodell 215 übermittelt. Diese kann einerseits aus den 3D-Daten des Gesamtmodells 215 eine bildliche Darstellung des Gesamtmodells 215 erzeugen und andererseits diese bildliche Darstellung dem Bild 214 überlagern.
  • Anschließend kann das Bild 216 über eine Anzeigeeinrichtung ausgegeben werden.
  • Es versteht sich, dass die oben beschriebenen Elemente als Hardware oder Software oder als entsprechende Kombination ausgebildet sein können. Beispielswiese kann das Bildverarbeitungssystem 200 als eigenes Steuergerät in dem Fahrzeug angeordnet sein und einen eigenen Speicher und Prozessor aufweisen. Die Bilderzeugungseinrichtung 210 kann z.B. eine Software sein, die auf dem Prozessor ausgeführt wird. Alternativ kann das das Bildverarbeitungssystem 200 aber z.B. auch als Softwarekomponente in ein bereits in dem Fahrzeug vorhandenes System integriert werden. Gleiches gilt für das Bildverarbeitungssystem 100.
  • 3 zeigt ein Ablaufdiagramm eines Bildverarbeitungsverfahrens für ein Fahrzeug 300, 400 mit einer Anzahl von Bildererfassungseinrichtungen 101, 201 und mit mindestens einer Anzeigeeinrichtung 102, 202.
  • Das Verfahren sieht das Abfragen S11 von Fahrzeugparametern 104, 204 vor, welche einen aktuellen Zustand des Fahrzeugs 300, 400 kennzeichnen. Ferner werden ein Fahrzeugmodell 106, 206 und eine Vielzahl von Geometrieobjekten 107 - 109, 207 - 209 für das Fahrzeugmodell 106, 206 bereitgestellt S2. Basierend auf den abgefragten Fahrzeugparametern 104, 204 werden entsprechende Geometrieobjekte 107 - 109, 207 - 209 ausgewählt und mit dem Fahrzeugmodell 106, 206 zu einem Gesamtmodell 215 verknüpft. Das Auswählen kann z.B. mit einem Zustandsautomat 211 erfolgen, der die Fahrzeugparameter 104, 204 als Eingangsgrößen aufnimmt und die entsprechenden Geometrieobjekte 107 - 109, 207 - 209 auswählt.
  • Schließlich wird eine Darstellung des Gesamtmodells 215 erzeugt und einem von den Bildererfassungseinrichtungen 101, 201 erfassten Bild 114 überlagert. Das mit der Darstellung des Gesamtmodells 215 überlagerte Bild 114 wird dann auf der Anzeigeeinrichtung 102, 202 ausgegeben.
  • Die Fahrzeugparameter 104, 204 können Bestandteile des Fahrzeugs 300, 400 betreffen, die im Betrieb des Fahrzeugs 300, 400 unterschiedliche Zustände einnehmen können. Dabei kann für jeden Bestandteil des Fahrzeugs 300, 400 mindestens ein Geometrieobjekt 107 - 109, 207 - 209 bereitgestellt werden. Ferner kann auch für mindestens einen Bestandteil des Fahrzeugs 300, 400 eine Vielzahl von Geometrieobjekten 107 - 109, 207 - 209 bereitgestellt werden.
  • Zum Erzeugen der Darstellung des Gesamtmodells 215 können geometrische Transformationen der Geometrieobjekte 107 - 109, 207 - 209 basierend auf den Fahrzeugparametern 104, 204 durchgeführt werden. Beim Verknüpfen werden in diesem Fall die transformierten Geometrieobjekte 107 - 109, 207 - 209 mit dem Fahrzeugmodell 106, 206 zu einem Gesamtmodell 215 verknüpft.
  • 4 zeigt eine Ausführungsform einer erfindungsgemäßen Darstellung eines Fahrzeugs 300 bzw. einer grafischen Darstellung des entsprechenden Gesamtmodells. Es ist zu erkennen, dass das vordere rechte Rad 301 stark nach rechts ausgelenkt ist. Der Fahrer hat also momentan das Lenkrad stark im Uhrzeigersinn eingeschlagen. Dies wurde durch die Fahrzeugparameter an das Bildverarbeitungssystem übermittelt und das Geometrieobjekt des Rads entsprechend angepasst und in das Gesamtmodell eingefügt.
  • 5 zeigt eine Ausführungsform einer erfindungsgemäßen Darstellung eines Fahrzeugs 400 bzw. einer grafischen Darstellung des entsprechenden Gesamtmodells.
  • Im Gegensatz zu dem Fahrzeug 300 ist bei dem Fahrzeug 400 das vordere rechte Rad stark nach links eingeschlagen. Der Fahrer hat also das Lenkrad stark gegen den Uhrzeigersinn eingeschlagen.
  • Mit Hilfe der vorliegenden Erfindung können die zwei Fahrzeuge 300, 400 bzw. die zwei Zustände des gleichen Fahrzeugs sehr einfach aufbereitet und in dem Gesamtmodell abgebildet werden.
  • Obwohl die vorliegende Erfindung anhand bevorzugter Ausführungsbeispiele vorstehend beschrieben wurde, ist sie darauf nicht beschränkt, sondern auf vielfältige Art und Weise modifizierbar. Insbesondere lässt sich die Erfindung in mannigfaltiger Weise verändern oder modifizieren, ohne vom Kern der Erfindung abzuweichen.
  • Bezugszeichenliste
  • 100, 200
    Bildverarbeitungssystem
    101, 201
    Bildererfassungseinrichtung
    102, 202
    Anzeigeeinrichtung
    103, 203
    Kommunikationsschnittstelle
    104, 204
    Fahrzeugparameter
    105, 205
    Modellspeicher
    106, 206
    Fahrzeugmodell
    107 - 109, 207 - 209
    Geometrieobjekt
    110, 210
    Bilderzeugungseinrichtung
    211
    Zustandsautomat
    212
    Transformationseinrichtung
    213
    Bildverarbeitungseinrichtung
    114, 214
    Bild
    215
    Gesamtmodell
    216
    Bild
    300, 400
    Karoserie
    301, 401
    Rad

Claims (12)

  1. Bildverarbeitungssystem (100, 200) für ein Fahrzeug (300, 400) mit einer Bildererfassungseinrichtung (101, 201) und mit mindestens einer Anzeigeeinrichtung (102, 202), mit einer Kommunikationsschnittstelle (103, 203), welche ausgebildet ist, Fahrzeugparameter (104, 204), welche einen aktuellen Zustand des Fahrzeugs (300, 400) kennzeichnen, aus dem Fahrzeug (300, 400) abzufragen, mit einem Modellspeicher (105, 205), der ein Fahrzeugmodell (106, 206) und eine Vielzahl von Geometrieobjekten (107 - 109, 207 - 209) für das Fahrzeugmodell (106, 206) aufweist, und mit einer Bilderzeugungseinrichtung (110, 210), welche ausgebildet ist, basierend auf den abgefragten Fahrzeugparametern (104, 204) entsprechende Geometrieobjekte (107 - 109, 207 - 209) auszuwählen und mit dem Fahrzeugmodell (106, 206) zu einem Gesamtmodell (215) zu verknüpfen und eine Darstellung des Gesamtmodells (215) mit einem von den Bildererfassungseinrichtungen (101, 201) erfassten Bild (114) zu überlagern und auf der Anzeigeeinrichtung (102, 202) auszugeben.
  2. Bildverarbeitungssystem (100, 200) nach Anspruch 1, wobei die Fahrzeugparameter (104, 204) Bestandteile des Fahrzeugs (300, 400) betreffen, die im Betrieb des Fahrzeugs (300, 400) unterschiedliche Zustände einnehmen können.
  3. Bildverarbeitungssystem (100, 200) nach Anspruch 2, wobei für mindestens einen Bestandteil des Fahrzeugs (300, 400) mindestens ein Geometrieobjekt (107 - 109, 207 - 209) gespeichert ist.
  4. Bildverarbeitungssystem (100, 200) nach Anspruch 3, wobei für mindestens einen Bestandteil des Fahrzeugs (300, 400) eine Vielzahl von Geometrieobjekten (107 - 109, 207 - 209) gespeichert ist.
  5. Bildverarbeitungssystem (100, 200) nach einem der vorherigen Ansprüche, wobei die Bilderzeugungseinrichtung (110, 210) ausgebildet ist, basierend auf den Fahrzeugparametern (104, 204) geometrische Transformationen der Geometrieobjekte (107 - 109, 207 - 209) auszuführen und die transformierten Geometrieobjekte (107 - 109, 207 - 209) mit dem Fahrzeugmodell (106, 206) zu einem Gesamtmodell (215) zu verknüpfen.
  6. Bildverarbeitungssystem (100, 200) nach einem der vorherigen Ansprüche, wobei die Bilderzeugungseinrichtung (110, 210) einen Zustandsautomat (211) aufweist, der ausgebildet ist, die Fahrzeugparameter (104, 204) als Eingangsgrößen aufzunehmen und die entsprechenden Geometrieobjekte (107 - 109, 207 - 209) auszuwählen.
  7. Bildverarbeitungsverfahren für ein Fahrzeug (300, 400) mit einer Bildererfassungseinrichtung (101, 201) und mit mindestens einer Anzeigeeinrichtung (102, 202), aufweisend: Abfragen (S1) von Fahrzeugparametern (104, 204), welche einen aktuellen Zustand des Fahrzeugs (300, 400) kennzeichnen, aus dem Fahrzeug (300, 400), Bereitstellen (S2) eines Fahrzeugmodells (106, 206) und einer Vielzahl von Geometrieobjekten (107 - 109, 207 - 209) für das Fahrzeugmodell (106, 206), und Auswählen (S3) entsprechender Geometrieobjekte (107 - 109, 207 - 209) basierend auf den abgefragten Fahrzeugparametern (104, 204) und Verknüpfen der ausgewählten Geometrieobjekte (107 - 109, 207 - 209) mit dem Fahrzeugmodell (106, 206) zu einem Gesamtmodell (215), Erzeugen (S4) einer Darstellung des Gesamtmodelles (215) und Überlagern der Darstellung des Gesamtmodells (215) mit einem von der Bildererfassungseinrichtung (101, 201) erfassten Bild (114), und Ausgeben (S5) des mit der Darstellung des Gesamtmodells (215) überlagerten Bildes (114) auf der Anzeigeeinrichtung (102, 202) .
  8. Bildverarbeitungsverfahren nach Anspruch 7, wobei die Fahrzeugparameter (104, 204) Bestandteile des Fahrzeugs (300, 400) betreffen, die im Betrieb des Fahrzeugs (300, 400) unterschiedliche Zustände einnehmen können.
  9. Bildverarbeitungsverfahren nach Anspruch 8, wobei für mindestens einen Bestandteil des Fahrzeugs (300, 400) mindestens ein Geometrieobjekt (107 - 109, 207 - 209) bereitgestellt wird.
  10. Bildverarbeitungsverfahren nach Anspruch 9, wobei für mindestens einen Bestandteil des Fahrzeugs (300, 400) eine Vielzahl von Geometrieobjekten (107 - 109, 207 - 209) bereitgestellt werden.
  11. Bildverarbeitungsverfahren nach einem der vorherigen Ansprüche 7 bis 10, ferner aufweisend das Ausführen von geometrischen Transformationen der Geometrieobjekte (107 - 109, 207 - 209) basierend auf den Fahrzeugparametern (104, 204), wobei beim Verknüpfen die transformierten Geometrieobjekte (107 - 109, 207 - 209) mit dem Fahrzeugmodell (106, 206) zu einem Gesamtmodell (215) verknüpft werden.
  12. Bildverarbeitungsverfahren nach einem der vorherigen Ansprüche 7 bis 11, wobei beim Auswählen ein Zustandsautomat (211) die Fahrzeugparameter (104, 204) als Eingangsgrößen aufnimmt und die entsprechenden Geometrieobjekte (107 - 109, 207 - 209) auswählt.
DE102016223389.0A 2016-11-25 2016-11-25 Bildverarbeitungssystem und bildverarbeitungsverfahren Withdrawn DE102016223389A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE102016223389.0A DE102016223389A1 (de) 2016-11-25 2016-11-25 Bildverarbeitungssystem und bildverarbeitungsverfahren
DE112017005963.1T DE112017005963A5 (de) 2016-11-25 2017-09-15 Bildverarbeitungssystem und bildverarbeitungsverfahren
PCT/DE2017/200095 WO2018095489A1 (de) 2016-11-25 2017-09-15 Bildverarbeitungssystem und bildverarbeitungsverfahren

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102016223389.0A DE102016223389A1 (de) 2016-11-25 2016-11-25 Bildverarbeitungssystem und bildverarbeitungsverfahren

Publications (1)

Publication Number Publication Date
DE102016223389A1 true DE102016223389A1 (de) 2018-05-30

Family

ID=60268148

Family Applications (2)

Application Number Title Priority Date Filing Date
DE102016223389.0A Withdrawn DE102016223389A1 (de) 2016-11-25 2016-11-25 Bildverarbeitungssystem und bildverarbeitungsverfahren
DE112017005963.1T Pending DE112017005963A5 (de) 2016-11-25 2017-09-15 Bildverarbeitungssystem und bildverarbeitungsverfahren

Family Applications After (1)

Application Number Title Priority Date Filing Date
DE112017005963.1T Pending DE112017005963A5 (de) 2016-11-25 2017-09-15 Bildverarbeitungssystem und bildverarbeitungsverfahren

Country Status (2)

Country Link
DE (2) DE102016223389A1 (de)
WO (1) WO2018095489A1 (de)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020173769A1 (de) * 2019-02-26 2020-09-03 Volkswagen Aktiengesellschaft Verfahren zum betreiben eines fahrerinformationssystems in einem ego-fahrzeug und fahrerinformationssystem
US11762616B2 (en) 2019-02-26 2023-09-19 Volkswagen Aktiengesellschaft Method for operating a driver information system in an ego-vehicle and driver information system
US11807260B2 (en) 2019-02-26 2023-11-07 Volkswagen Aktiengesellschaft Method for operating a driver information system in an ego-vehicle and driver information system

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007014530A1 (de) * 2007-03-27 2008-10-02 Volkswagen Ag Verfahren und Vorrichtung zum Anzeigen von Zuständen von Einrichtungen eines Fahrzeugs
US20140277903A1 (en) * 2011-10-15 2014-09-18 Volkswagen Ag Method and device for displaying operating states of units of a vehicle
DE102013016096A1 (de) * 2013-09-27 2015-04-02 Audi Ag Kraftfahrzeugkonfiguration mittels Kommunikationsendgerät
DE102015109203A1 (de) * 2014-06-23 2015-12-24 GM Global Technology Operations LLC (n. d. Gesetzen des Staates Delaware) Auf erweiterter Realität basierte interaktive Fehlersuche und Diagnose für ein Fahrzeug
DE102014115297A1 (de) * 2014-10-21 2016-04-21 Connaught Electronics Ltd. Komponentendiagnose im Kraftfahrzeug
EP3040830A1 (de) * 2015-01-02 2016-07-06 Volkswagen AG Anwenderschnittstelle für ein Fortbewegungsmittel und Verfahren zur Anzeige von Informationen über Zustände von Fahrzeugkomponenten
DE102015208494A1 (de) * 2015-05-07 2016-11-10 Bayerische Motoren Werke Aktiengesellschaft Information eines Anwenders über einen Zustand eines Fortbewegungsmittels
US20160328883A1 (en) * 2015-05-05 2016-11-10 PTC, Inc. Augmented reality system

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007040250A1 (de) * 2007-08-27 2009-03-05 Daimler Ag Verfahren und Vorrichtung zur Fahrerunterstützung beim Rangieren eines Fahrzeuges oder Fahrzeuggespanns
US20140088824A1 (en) * 2011-05-13 2014-03-27 Hitachi Construction Machinery Co., Ltd. Device for Monitoring Area Around Working Machine
DE102014201801B4 (de) * 2014-01-31 2021-11-25 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur perspektivischen Darstellung eines Fahrzeugumfeldes mit einem Fahrzeug-Modell auf einer Fahrzeuganzeige und Anzeigesystem
GB2535536B (en) * 2015-02-23 2020-01-01 Jaguar Land Rover Ltd Apparatus and method for displaying information

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007014530A1 (de) * 2007-03-27 2008-10-02 Volkswagen Ag Verfahren und Vorrichtung zum Anzeigen von Zuständen von Einrichtungen eines Fahrzeugs
US20140277903A1 (en) * 2011-10-15 2014-09-18 Volkswagen Ag Method and device for displaying operating states of units of a vehicle
DE102013016096A1 (de) * 2013-09-27 2015-04-02 Audi Ag Kraftfahrzeugkonfiguration mittels Kommunikationsendgerät
DE102015109203A1 (de) * 2014-06-23 2015-12-24 GM Global Technology Operations LLC (n. d. Gesetzen des Staates Delaware) Auf erweiterter Realität basierte interaktive Fehlersuche und Diagnose für ein Fahrzeug
DE102014115297A1 (de) * 2014-10-21 2016-04-21 Connaught Electronics Ltd. Komponentendiagnose im Kraftfahrzeug
EP3040830A1 (de) * 2015-01-02 2016-07-06 Volkswagen AG Anwenderschnittstelle für ein Fortbewegungsmittel und Verfahren zur Anzeige von Informationen über Zustände von Fahrzeugkomponenten
US20160328883A1 (en) * 2015-05-05 2016-11-10 PTC, Inc. Augmented reality system
DE102015208494A1 (de) * 2015-05-07 2016-11-10 Bayerische Motoren Werke Aktiengesellschaft Information eines Anwenders über einen Zustand eines Fortbewegungsmittels

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Online-Enzyklopädie „Wikipedia", Artikel zum Begriff „Augmented Reality" vom 24.11.2016, [recherchiert am 7.8.2017]. *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020173769A1 (de) * 2019-02-26 2020-09-03 Volkswagen Aktiengesellschaft Verfahren zum betreiben eines fahrerinformationssystems in einem ego-fahrzeug und fahrerinformationssystem
US11762616B2 (en) 2019-02-26 2023-09-19 Volkswagen Aktiengesellschaft Method for operating a driver information system in an ego-vehicle and driver information system
US11807260B2 (en) 2019-02-26 2023-11-07 Volkswagen Aktiengesellschaft Method for operating a driver information system in an ego-vehicle and driver information system

Also Published As

Publication number Publication date
DE112017005963A5 (de) 2019-08-01
WO2018095489A1 (de) 2018-05-31

Similar Documents

Publication Publication Date Title
EP2603402B1 (de) Verfahren zum anzeigen von bildern auf einer anzeigeeinrichtung und fahrerassistenzsystem
EP2559236B1 (de) Verfahren zum anzeigen eines bildes auf einer anzeigeeinrichtung in einem fahrzeug, fahrerassistenzsystem und fahrzeug
EP3281178A1 (de) Verfahren zur darstellung einer fahrzeugumgebung eines fahrzeuges
DE102017105635A1 (de) System und verfahren zum erzeugen einer hybriden kameraansicht in einem fahrzeug
DE112017001410B4 (de) Informationsverarbeitungsvorrichtung
DE102014208664A1 (de) Verfahren und vorrichtung zum verzerrungsfreien anzeigen einer fahrzeugumgebung eines fahrzeuges
DE102016223389A1 (de) Bildverarbeitungssystem und bildverarbeitungsverfahren
DE102013020950B4 (de) Verfahren zum Betreiben eines Rückansichtskamerasystems eines Kraftfahrzeugs, Rückansichtskamerasystem und Kraftfahrzeug
DE102012204541B4 (de) Verfahren und Vorrichtung zur Bildverarbeitung von Bilddaten
EP4028276B1 (de) Verfahren zum betreiben einer virtual-reality-brille in einem fahrzeug sowie virtual-reality-system mit einer virtual-reality-brille und einem fahrzeug
EP3292535B1 (de) Verfahren zum erzeugen eines gesamtbildes einer fahrzeugumgebung eines fahrzeuges und entsprechende vorrichtung
DE102017000307A1 (de) Verfahren zum Kalibrieren einer Kamera für ein Kraftfahrzeug unter Berücksichtigung eines Kalibrierfehlers, Kamera sowie Kraftfahrzeug
DE102008057671A1 (de) Verfahren zur Überwachung einer Umgebung eines Fahrzeuges
DE102017011499B4 (de) Verfahren zur Visualisierung von Sensordaten und/oder Messdaten
DE102015119871A1 (de) Verfahren zum Betreiben eines Kamerasystems mit einer Vielzahl von Bildsensorelementen und Kraftfahrzeug
DE102018201631A1 (de) Verfahren und system zum erzeugen einer virtuellen darstellung zur erweiterung des sichtfelds in einem fahrzeug
DE102017204168A1 (de) Betriebsverfahren für ein Kamera-Anzeigesystem, Kamera-Anzeigesystem und Fahrzeug
DE102016123135A1 (de) Fahrzeugdatenaufzeichnung
EP3571091B1 (de) Verfahren und vorrichtung zum darstellen einer umgebung eines fahrzeuges
DE102015005587A1 (de) Visualisierung eines Beleuchtungsbereichs
DE102019106297A1 (de) Fahrzeugumgebungsanzeigesystem und Anzeigesteuervorrichtung
DE102018100211A1 (de) Verfahren zum Erzeugen einer Darstellung einer Umgebung durch Verschieben einer virtuellen Kamera in Richtung eines Innenspiegels eines Fahrzeugs; sowie Kameraeinrichtung
DE102016223388A1 (de) Bildverarbeitungssystem und bildverarbeitungsverfahren
DE102022120236B3 (de) Verfahren zum harmonisierten Anzeigen von Kamerabildern in einem Kraftfahrzeug und entsprechend eingerichtetes Kraftfahrzeug
DE102017206175A1 (de) Surround-View-System für ein Fahrzeug

Legal Events

Date Code Title Description
R163 Identified publications notified
R118 Application deemed withdrawn due to claim for domestic priority