DE112018000858T5 - Vorrichtung und Verfahren zur Anzeige von Informationen - Google Patents

Vorrichtung und Verfahren zur Anzeige von Informationen Download PDF

Info

Publication number
DE112018000858T5
DE112018000858T5 DE112018000858.4T DE112018000858T DE112018000858T5 DE 112018000858 T5 DE112018000858 T5 DE 112018000858T5 DE 112018000858 T DE112018000858 T DE 112018000858T DE 112018000858 T5 DE112018000858 T5 DE 112018000858T5
Authority
DE
Germany
Prior art keywords
image
vehicle
images
live
composite
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE112018000858.4T
Other languages
English (en)
Inventor
Ersin KURNAZ
Martin Edney
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jaguar Land Rover Ltd
Original Assignee
Jaguar Land Rover Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jaguar Land Rover Ltd filed Critical Jaguar Land Rover Ltd
Publication of DE112018000858T5 publication Critical patent/DE112018000858T5/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/202—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used displaying a blind spot scene on the vehicle part responsible for the blind spot
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/306—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B60R2300/308—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene by overlaying the real scene, e.g. through a head-up display on the windscreen
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

Ausführungsformen der vorliegenden Erfindung bieten ein Anzeigeverfahren zur Verwendung in einem Fahrzeug. Das Verfahren umfasst: Erhalten erster und zweiter Bilder, die benachbarte oder überlappende Bereiche außerhalb des Fahrzeugs zeigen, wobei die ersten und zweiten Bilder zu unterschiedlichen Zeitpunkten aufgenommen werden; Erhalten (904) mindestens einer Bildeigenschaft für jedes der ersten und zweiten Bilder; Berechnen (914) eines Bildkorrekturfaktors als Funktion der mindestens einen Bildeigenschaft für jedes der ersten und zweiten Bilder; Einstellen (914) des Aussehens des ersten Bildes und/oder des zweiten Bildes gemäß dem berechneten Bildkorrekturfaktor; Erzeugen (908) eines zusammengesetzten Bildes aus dem ersten Bild oder einem ersten Bild und dem zweiten Bild oder einem angepassten zweiten Bild; und Anzeigen mindestens eines Teils des zusammengesetzten Bildes; wobei für mindestens eines der ersten und zweiten Bilder die mindestens eine erhaltene Bildeigenschaft in Bezug auf eine Gruppe von Bildern einschließlich des ersten oder zweiten Bildes steht. Eine entsprechende Anzeigevorrichtung zur Verwendung in einem Fahrzeug zur Durchführung des Verfahrens ist ebenfalls vorgesehen, zusammen mit einem Computerprogrammprodukt, das einen Computerprogrammcode speichert, der bei der Ausführung zur Durchführung des Verfahrens angeordnet ist, und einem Fahrzeug mit der Vorrichtung.

Description

  • TECHNISCHER BEREICH
  • Die vorliegende Erfindung bezieht sich auf eine Vorrichtung und ein Verfahren zum Anzeigen von Informationen. Insbesondere, aber nicht ausschließlich, bezieht sich die vorliegende Erfindung auf ein Anzeigeverfahren zur Verwendung in einem Fahrzeug und eine Anzeigevorrichtung zur Verwendung in einem Fahrzeug. Aspekte der Erfindung beziehen sich auf ein Anzeigeverfahren, ein Computerprogrammprodukt, eine Anzeigevorrichtung und ein Fahrzeug.
  • HINTERGRUND
  • Es wird immer häufiger, dass Fahrzeuge mit einer oder mehreren Videokameras ausgestattet werden, um Live-Videobilder (oder Standbilder) der Umgebung eines Fahrzeugs zu liefern. Darüber hinaus ist es bekannt, dass Livebilder und zeitverzögerte Bilder zu einem Gesamtbild kombiniert werden, um Informationen über die Umgebung des Fahrzeugs zu erhalten, die in den zeitverzögerten Bildern sichtbar sind, aber später von einem Teil des Fahrzeugs verdeckt werden, während sich das Fahrzeug bewegt. Das zusammengesetzte Bild kann jedoch immer noch unzusammenhängend erscheinen. Ein solches zusammengesetztes Bild kann Diskontinuitäten beinhalten, einschließlich Farb- und Belichtungsinkongruenzen. Wenn unkorrigiert, können zusammengesetzte Bildfehler dazu führen, dass die Benutzer das Vertrauen in die Richtigkeit der in einem zusammengesetzten Bild dargestellten Informationen verlieren oder davon ausgehen, dass eine Fehlfunktion vorliegt.
  • Es ist Gegenstand von Ausführungsformen der Erfindung, um zumindest eines oder mehrere der Probleme des Standes der Technik zu mildern. Es ist Gegenstand bestimmter Ausführungsformen der Erfindung, das Auftreten von Diskontinuitäten innerhalb eines aus Livebildern und zeitverzögerten Bildern bestehenden Gesamtbildes zu reduzieren.
  • ZUSAMMENFASSUNG DER ERFINDUNG
  • Aspekte und Ausführungsformen der Erfindung stellen ein Anzeigeverfahren, ein Computerprogrammprodukt, eine Anzeigevorrichtung und ein Fahrzeug gemäß den beigefügten Ansprüchen dar.
  • Gemäß einem Aspekt der Erfindung ist ein Anzeigeverfahren zur Verwendung in einem Fahrzeug vorgesehen, wobei das Verfahren umfasst: Erhalten erster und zweiter Bilder, die benachbarte oder überlappende Bereiche außerhalb des Fahrzeugs zeigen, wobei die ersten und zweiten Bilder zu unterschiedlichen Zeitpunkten aufgenommen werden; Erhalten mindestens einer Bildeigenschaft für jedes der ersten und zweiten Bilder; Berechnen eines Bildkorrekturfaktors als Funktion der mindestens einen Bildeigenschaft für jedes der ersten und zweiten Bilder; Anpassen des Aussehens des ersten Bildes und/oder des zweiten Bildes gemäß dem berechneten Bildkorrekturfaktor; Erzeugen eines zusammengesetzten Bildes aus dem ersten Bild oder einem angepassten ersten Bild und dem zweiten Bild oder einem angepassten zweiten Bild; und Anzeigen mindestens eines Teils des zusammengesetzten Bildes; wobei für mindestens eines der ersten und zweiten Bilder die mindestens eine erhaltene Bildeigenschaft in Bezug auf eine Gruppe von Bildern einschließlich des ersten oder zweiten Bildes steht.
  • Die Gruppe von Bildern, die das erste oder zweite Bild beinhaltet, kann zwei oder mehr Bilder umfassen, die nacheinander von einer einzigen Bilderfassungsvorrichtung aufgenommen werden.
  • Die Bildeigenschaft, die in Bezug auf die Gruppe von Bildern einschließlich des ersten oder zweiten Bildes erhalten wird, kann einen Durchschnitt der Bildeigenschaften umfassen, die in Bezug auf jede der Gruppe von Bildern erhalten werden.
  • Das erste und zweite Bild können von mindestens einer Bilderfassungsvorrichtung aufgenommen werden, die am oder im Fahrzeug montiert ist, um Bilder der Umgebung außerhalb des Fahrzeugs aufzunehmen. Die Bilderfassungsvorrichtung kann eine Kamera mit sichtbarem Licht, eine Kamera, die für Infrarot- und/oder Ultraviolettbandlicht empfindlich ist, und/oder einen Abtastlaser oder Lidar umfassen, der angeordnet ist, um einen Bereich der Umgebung außerhalb des Fahrzeugs abzutasten und Informationen über die Umgebung in diesem Bereich bereitzustellen. Das von dieser Vorrichtung aufgenommene Bild kann Standbilder oder bewegte Bilder umfassen und kann zusätzlich oder alternativ Reichweitenangaben einschließlich einer Punktwolke umfassen, wobei sich jeder Punkt auf den Abstand zu einer Oberfläche oder einem Objekt außerhalb des Fahrzeugs bezieht.
  • Die mindestens eine Bildeigenschaft kann auf eine Eigenschaft des Bildes, eine Einstellung mindestens einer Bilderfassungsvorrichtung, die zur Aufnahme des Bildes verwendet wird, oder einen Umgebungsfaktor zum Zeitpunkt der Aufnahme des Bildes hinweisen.
  • Das erste Bild kann zu einem ersten Zeitpunkt aufgenommen werden, und das zweite Bild wird zu einem zweiten, späteren Zeitpunkt aufgenommen, wobei sich das Fahrzeug zwischen dem ersten und zweiten Zeitpunkt bewegt hat.
  • Das erste Bild kann vor seiner Verwendung zur Erzeugung eines zusammengesetzten Bildes gepuffert werden.
  • Die mindestens eine Bildeigenschaft in Bezug auf das erste Bild kann in Verbindung mit dem ersten Bild gespeichert werden.
  • Das erste Bild kann ein zeitverzögertes Bild sein und das zweite Bild kann ein Livebild sein.
  • Das erste und zweite Bild können mit einer einzelnen Fahrzeugkamera oder einer separaten Fahrzeugkamera aufgenommen werden.
  • Das Anpassen des Aussehens des ersten Bildes und/oder des zweiten Bildes gemäß dem berechneten Bildkorrekturfaktor kann das Anpassen des gesamten oder nur eines Teils des ausgewählten ersten und/oder zweiten Bildes umfassen.
  • Für mindestens eines der ersten oder zweiten Bilder kann die erhaltene mindestens eine Bildeigenschaft in Bezug auf das gesamte oder nur einen Teil des Bildes sein.
  • Der Abschnitt des Bildes kann einen Bildabschnitt umfassen, der sich mit dem anderen des ersten und zweiten Bildes überlappt oder benachbart ist.
  • Die mindestens eine Bildeigenschaft kann mindestens einen von Weißabgleich, Bildgamma, Dynamikbereich, Chroma und Farbsättigung umfassen.
  • Das zusammengesetzte Bild kann eine 3-dimensionale, 3D-, Darstellungs- oder eine 2-dimensionale, 2D-Darstellung der das Fahrzeug umgebenden Umgebung umfassen, die sich zumindest teilweise unter dem Fahrzeug erstreckt.
  • Das zusammengesetzte Bild kann angezeigt werden, um einen Teil eines Bildes des Fahrzeugs zu überlagern, um anzuzeigen, dass der Teil des Bildes des Fahrzeugs zumindest teilweise transparent ist.
  • Gemäß einem weiteren Aspekt der Erfindung ist ein Computerprogrammprodukt vorgesehen, das Computerprogrammcode speichert, der bei Ausführung so angeordnet ist, dass er das oben genannte Verfahren implementiert.
  • Gemäß einem weiteren Aspekt der Erfindung ist eine Anzeigevorrichtung zur Verwendung mit einem Fahrzeug vorgesehen, umfassend: eine Bilderfassungsvorrichtung, die angeordnet ist, um erste und zweite Bilder zu erhalten, die benachbarte oder überlappende Bereiche außerhalb des Fahrzeugs zeigen, wobei die ersten und zweiten Bilder zu verschiedenen Zeitpunkten erfasst werden; eine Anzeigevorrichtung, die angeordnet ist, um ein zusammengesetztes Bild anzuzeigen; eine Speichervorrichtung, die angeordnet ist, um Bilddaten zu speichern; und eine Verarbeitungseinrichtung, die angeordnet ist, um: Erhalten mindestens einer Bildeigenschaft für jedes der ersten und zweiten Bilder; Berechnen eines Bildkorrekturfaktors als Funktion der mindestens einen Bildeigenschaft für jedes der ersten und zweiten Bilder; Anpassen des Aussehens des ersten Bildes und/oder des zweiten Bildes gemäß dem berechneten Bildkorrekturfaktor; Erzeugen eines zusammengesetzten Bildes aus dem ersten Bild oder einem angepassten ersten Bild und einem zweiten Bild oder einem angepassten zweiten Bild; und Veranlassen der Anzeigeeinrichtung, mindestens einen Teil des zusammengesetzten Bildes anzuzeigen; wobei für mindestens eines der ersten und zweiten Bilder die mindestens eine erhaltene Bildeigenschaft in Bezug auf eine Gruppe von Bildern mit dem ersten oder zweiten Bild steht.
  • Anzeigevorrichtung wie vorstehend beschrieben, wobei die Bilderfassungseinrichtung eine Kamera oder eine andere Form einer Bilderfassungsvorrichtung umfasst, die zum Erzeugen und Ausgeben von Standbildern oder bewegten Bildern angeordnet ist. Die Anzeigemittel können einen Bildschirm umfassen, beispielsweise einen LCD-Bildschirm, der für den Einbau in ein Fahrzeug geeignet ist. Alternativ kann die Anzeige auch einen Projektor zum Erzeugen eines projizierten Bildes umfassen. Die Verarbeitungsmittel können eine Steuerung oder einen Prozessor umfassen, geeignet für die Fahrzeugsteuergeräte.
  • Die Verarbeitungsmittel können weiter angeordnet werden, um das vorstehende Verfahren anzuwenden.
  • Gemäß einem weiteren Aspekt der Erfindung ist ein Fahrzeug vorgesehen, das die obige Anzeigevorrichtung umfasst.
  • Gemäß einem weiteren Aspekt der Erfindung ist ein Anzeigeverfahren, eine Anzeigevorrichtung oder ein Fahrzeug vorgesehen, wie hierin im Wesentlichen mit Bezug auf die 9, 10 und 3 der zugehörigen Zeichnungen beschrieben.
  • Im Rahmen dieser Anwendung ist ausdrücklich vorgesehen, dass die verschiedenen Aspekte, Ausführungsformen, Beispiele und Alternativen, die in den vorstehenden Absätzen, in den Ansprüchen und/oder in den folgenden Beschreibungen und Zeichnungen dargelegt sind, und insbesondere die einzelnen Merkmale davon, unabhängig oder in beliebiger Kombination übernommen werden können. Das heißt, alle Ausführungsformen und/oder Merkmale einer Ausführungsform können in beliebiger Weise und/oder Kombination kombiniert werden, es sei denn, diese Merkmale sind nicht kompatibel. Der Anmelder behält sich das Recht vor, eine ursprünglich eingereichte Forderung zu ändern oder eine neue Forderung entsprechend einzureichen, einschließlich des Rechts, eine ursprünglich eingereichte Forderung zu ändern, um von einer anderen Forderung abhängig zu sein und/oder eine Eigenschaft einer anderen Forderung aufzunehmen, obwohl sie ursprünglich nicht auf diese Weise geltend gemacht wurde.
  • Figurenliste
  • Eine oder mehrere Ausführungsformen der Erfindung werden nun nur noch exemplarisch beschrieben, mit Bezug auf die Begleitpersonen, in denen:
    • zeigt eine Darstellung einer typischen Ansicht aus einem konventionellen Fahrzeug;
    • zeigt eine Veranschaulichung einer verbesserten Sicht aus einem Fahrzeug;
    • 3 veranschaulicht einen Abschnitt eines Fahrzeugbetriebs, um die verbesserte Ansicht von 2 zu ermöglichen;
    • veranschaulicht ein zusammengesetztes 3D-Bild, das von fahrzeugmontierten Kameras abgeleitet ist;
    • veranschaulicht ein zusammengesetztes 2D-Bild, insbesondere eine Vogelperspektive, das von Fahrzeugkameras abgeleitet ist;
    • veranschaulicht ein Verfahren zum Bereitstellen eines zusammengesetzten Bildes;
    • veranschaulicht ein zusammengesetztes 2D-Bild, insbesondere aus der Vogelperspektive, das ein fahrendes Fahrzeug verfolgt;
    • 8 veranschaulicht eine Vorrichtung zur Implementierung des Verfahrens der 6;
    • 9 veranschaulicht ein System zum Bilden eines zusammengesetzten Bildes einschließlich der Anpassung der Bildeigenschaften gemäß einer Ausführungsform der Erfindung; und
    • 10 veranschaulicht ein Verfahren zur Herstellung eines zusammengesetzten Bildes einschließlich der Anpassung der Bildeigenschaften gemäß einer Ausführungsform der Erfindung.
  • DETAILLIERTE BESCHREIBUNG
  • veranschaulicht eine typische Ansicht 100 von einem konventionellen Fahrzeug. Der Blick erfolgt von einem Fahrzeuginnenraum durch eine Windschutzscheibe oder Windschutzscheibe 110 des Fahrzeugs nach vorne. Ein Teil einer Motorhaube oder Motorhaube 105 des Fahrzeugs ist sichtbar und erstreckt sich nach vorne von unterhalb der Windschutzscheibe 160. Das Fahrzeug fährt auf einer Fahrbahn 130, die vom Fahrzeug aus sichtbar ist. Wie zu erkennen ist, verdeckt die Motorhaube 105 den Blick auf die Fahrbahn 130 und schließt das Fahrzeug. Dieses Problem verschärft sich, wenn das Fahrzeug in Bezug auf die Fahrbahn 130 vor dem Fahrzeug geneigt ist, d.h. wenn ein Winkel zwischen dem Fahrzeug und der vorausfahrenden Fahrbahn vergrößert wird, z.B. wenn sich das Fahrzeug oben auf einem Kamm befindet (und sich einem Hang nähert, aber noch nicht absteigt) oder auf einer kleinen Welle nach oben geneigt ist. In diesen Situationen kann die Fahrbahn 130 die Sicht vom Fahrzeug aus beeinträchtigen, insbesondere weil sie von der Motorhaube 105 verdeckt wird.
  • Generell kann davon ausgegangen werden, dass aus der Sichtposition des Fahrers die Sicht auf die vorausfahrende Fahrbahn 130 sowohl durch äußere Teile des Fahrzeugs (insbesondere die Motorhaube) als auch durch innere Teile des Fahrzeugs, wie beispielsweise die Karosserie um die Windschutzscheibe 160 und das Armaturenbrett, teilweise verdeckt ist. In der folgenden Beschreibung der Erfindung, wenn auf die Sicht des Fahrers oder von der Position des Fahrers verwiesen wird, sollte dies als die Sicht eines Fahrgastes betrachtet werden, obwohl bei manuell angetriebenen Fahrzeugen eindeutig die Sicht des Fahrers von größter Bedeutung ist. Insbesondere sind Teile der Fahrbahn 130 in der Nähe der Vorderseite des Fahrzeugs verschlossen. Es ist zu beachten, dass die Sicht des Fahrers auf die Umgebung, die das Fahrzeug von allen Seiten umgibt, ebenfalls durch das Sichtfeld eingeschränkt wird, das durch jede Fahrzeugscheibe aus der Sichtposition des Fahrers erreichbar ist. Im Allgemeinen kann ein Fahrer aufgrund von Einschränkungen durch die Fahrzeugkarosserie keine Teile der Umgebung in der Nähe des Fahrzeugs sehen.
  • Wie bereits erwähnt, wird es immer üblicher, dass Fahrzeuge mit mindestens einer Bilderfassungsvorrichtung, wie beispielsweise Videokameras, ausgestattet werden, die so angeordnet sind, dass sie Live-Videobilder (oder Standbilder) der Umgebung eines Fahrzeugs liefern. Diese Bilder können dann zum Wohle des Fahrers angezeigt werden, z.B. auf einem am Armaturenbrett montierten Bildschirm. Insbesondere ist es bekannt, dass mindestens eine Kamera zum Heck des Fahrzeugs hin und im Allgemeinen hinter dem Fahrzeug und nach unten gerichtet ist, um Live-Videobilder zur Unterstützung eines rückwärts fahrenden Fahrers bereitzustellen (wobei die natürliche Sicht des Fahrers auf die Umgebung unmittelbar hinter dem Fahrzeug besonders eingeschränkt ist). Es ist bekannt, dass mehrere solcher Kamerasysteme zur Verfügung stehen, um Livebilder der Umgebung, die das Fahrzeug umgibt, auf mehreren Seiten zu liefern, zum Beispiel auf einem am Armaturenbrett montierten Bildschirm. So kann beispielsweise ein Fahrer selektiv verschiedene Kamerabilder anzeigen, um die Positionen von Objekten in der Nähe jeder Seite des Fahrzeugs zu ermitteln. Diese Kameras können extern am Fahrzeug oder intern und nach außen und unten durch die Fahrzeugscheibe gerichtet positioniert werden, um Bilder aufzunehmen. Es wird von einem Fachmann geschätzt, dass die Bilderfassungsvorrichtung eine oder mehrere Kameras mit sichtbarem Licht, eine für Infrarot- und/oder Ultraviolettbandlicht empfindliche Kamera und/oder einen Abtastlaser oder Lidar umfassen kann, der angeordnet ist, um einen Bereich der Umgebung außerhalb des Fahrzeugs abzutasten und Informationen über die Umgebung in diesem Bereich bereitzustellen. Das von dieser Vorrichtung aufgenommene Bild kann Standbilder oder bewegte Bilder umfassen und kann zusätzlich oder alternativ Reichweitenangaben einschließlich einer Punktwolke umfassen, wobei sich jeder Punkt auf den Abstand zu einer Oberfläche oder einem Objekt außerhalb des Fahrzeugs bezieht. Die folgenden hierin aufgeführten Beispiele verwenden Videokameras mit sichtbarem Licht als Bilderfassungsgerät, aber es wird geschätzt, dass andere Formen von Bilderfassungsgeräten, wie hierin beschrieben, zusätzlich oder alternativ, wie für ein bestimmtes Fahrzeug gewünscht, verwendet werden können.
  • Diese Kameras können extern positioniert und an der Außenseite des Fahrzeugs oder intern mit ihren Objektiven montiert und nach außen und je nach Höhe über dem Boden nach unten gerichtet werden, um durch die Windschutzscheibe oder eine andere Fahrzeugscheibe zu sehen und Bilder aufzunehmen. Solche Kameras können in unterschiedlichen Höhen vorgesehen werden, z. B. im Allgemeinen auf Dachhöhe, Fahreraugenhöhe oder an einer geeigneten unteren Position, um zu vermeiden, dass die Fahrzeugkarosserie ihre Sicht auf die Umgebung unmittelbar neben dem Fahrzeug verdeckt. zeigt ein Beispiel für eine Kamera, die an einer Vorderseite des Fahrzeugs montiert ist, um von dort aus nach vorne zu schauen - von dort aus in eine Fahrtrichtung des Fahrzeugs. Wenn sich die betreffenden Bilder auf einer anderen Seite des Fahrzeugs befinden, dann ist die Kameraposition eindeutig entsprechend positioniert.
  • Die Unterseite eines Fahrzeugs ist jedoch kein vielversprechender Bereich für die Bilderfassung, da sie schlecht beleuchtet ist. Darüber hinaus sind Kameras, die sich im Allgemeinen unter einem Fahrzeug befinden, einem erheblichen Risiko der Verdunkelung durch Schlamm und Wasser ausgesetzt, das auf das Objektiv der Kamera spritzt, oder einem Risiko der Beschädigung durch Kontakt mit Gegenständen wie Felsen.
  • Eine Lösung für das oben beschriebene Problem der schlechten Visualisierung der Fahrbahn vor einem Fahrzeug wird nun in Bezug auf die 2 und 3 beschrieben. Das Fahrzeug kann ein Landfahrzeug, wie beispielsweise ein Radfahrzeug, sein. veranschaulicht eine verbesserte Vorwärtsansicht 200. Auch hier, wie bei 1, in 2, fährt das Fahrzeug auf einem Weg oder einer Fahrbahn 230, der für den Fahrer von innen sichtbar ist. Die Ansicht 200 erfolgt von einem Innenraum des Fahrzeugs nach vorne durch eine Windschutzscheibe oder Windschutzscheibe 260 des Fahrzeugs, wie in 1 dargestellt. Ein Teil einer Motorhaube oder Motorhaube 205 des Fahrzeugs ist sichtbar und erstreckt sich nach vorne von unterhalb der Windschutzscheibe 260.
  • Das in 2 gezeigte Fahrzeug umfasst ein Anzeigemittel, das angeordnet ist, um Informationen 240, 250 darüber anzuzeigen. Die Informationen 240, 250 werden so angezeigt, dass sie einen Teil des Fahrzeugs überdecken. Die überlagerten angezeigten Informationen vermitteln den Eindruck, dass ein Teil des Fahrzeugs aus Sicht des Fahrers zumindest teilweise transparent ist. Die angezeigten Informationen stellen eine Darstellung dessen dar, was entlang einer Sichtlinie durch das Fahrzeug sichtbar wäre, wäre da nicht die Tatsache, dass ein Teil des Fahrzeugs diese Sichtlinie verschließt.
  • Wie in 2 dargestellt, werden die Informationen 240, 250 angezeigt, um einen Teil der Fahrzeugkarosserie, in diesem Fall die Motorhaube 205 des Fahrzeugs, zu überdecken. Es wird festgestellt, dass durch die Erweiterung die Informationen 240, 250 angezeigt werden können, um andere interne oder externe Teile des Fahrzeugs zu überlagern. Die Informationen 240, 250 sind so angeordnet, dass sie über der Motorhaube 205 des Fahrzeugs aus Sicht des Fahrers des Fahrzeugs liegen. Die Anzeigemittel können so angeordnet sein, dass sie Informationen 240, 250 darauf transparent anzeigen, so dass der Abschnitt der Fahrzeugkarosserie unterhalb der angezeigten Informationen zumindest noch schwach wahrgenommen werden kann.
  • Das Anzeigemittel kann ein Head-up-Anzeigemittel umfassen, um Informationen in einer Head-up-Anordnung für mindestens den Fahrer des Fahrzeugs anzuzeigen. Das Head-up-Display kann Teil der Windschutzscheibe 260 sein, aus ihr bestehen oder proximal zu ihr angeordnet sein, so dass die Informationen 240, 250 angezeigt werden, die aus Sicht des Fahrzeugführers über der Motorhaube 205 des Fahrzeugs liegen. Mit Überlagerung ist gemeint, dass die angezeigten Informationen 240, 250 auf (oder vor) der Motorhaube 205 erscheinen. Sollen Bilder anderer Teile der Umgebung, die das Fahrzeug umgeben, angezeigt werden, kann das Head-up-Display ähnlich wie bei einem anderen Fenster des Fahrzeugs angeordnet sein. Eine Alternative ist, dass die Anzeigemittel ein Projektionsmittel umfassen. Die Projektionsmittel können so angeordnet sein, dass sie ein Bild auf einen Innenabschnitt des Fahrzeugs projizieren, wie beispielsweise auf ein Armaturenbrett, einen Türinnenraum oder andere Innenteile des Fahrzeugs. Das Projektionsmittel kann eine Laservorrichtung zum Projizieren des Bildes auf den Fahrzeuginnenraum umfassen.
  • Ein Verfahren zum Bereitstellen der verbesserten Ansicht von 2 beginnt mit dem Erhalten von Informationen, die dem Fahrzeug zugeordnet sind, oder von Bilddaten. Die Informationen oder Bilddaten können durch ein Verarbeitungsmittel, wie beispielsweise eine Verarbeitungsvorrichtung, gewonnen werden. Die mit dem Fahrzeug verbundenen Informationen können beispielsweise mit einem der Lenksysteme des Fahrzeugs, einem oder mehreren Rädern des Fahrzeugs oder der Aufhängung des Fahrzeugs verknüpft sein. Im beschriebenen Beispiel ist die Information ein Lenkwinkel der Räder. Die Informationen können von der Verarbeitungsvorrichtung von einem oder mehreren Lenkwinkelsensoren bezogen werden. Die Informationen können von der Verarbeitungsvorrichtung erhalten werden, die Informationen von einem Kommunikationsbus des Fahrzeugs empfängt, wie beispielsweise einem CAN-Bus, wobei der Kommunikationsbus jedoch auf anderen Protokollen wie Ethernet basieren kann. Andere Arten von Datenkommunikationsbussen sind nützlich.
  • Die Bilddaten können sich auf einen Bereich vor dem Fahrzeug beziehen. Die Bilddaten können von der Verarbeitungsvorrichtung aus einem oder mehreren dem Fahrzeug zugeordneten Bildaufnahmemitteln, wie beispielsweise Kameras, gewonnen werden. Wie in Verbindung mit 3 erläutert, kann eine Kamera an einer Vorderseite des Fahrzeugs montiert werden, um von dort aus nach vorne zu schauen - von dort aus in eine Fahrtrichtung des Fahrzeugs. Wenn sich die betreffenden Bilder auf einer anderen Seite des Fahrzeugs befinden, dann ist die Kameraposition eindeutig entsprechend positioniert. Die Kamera kann so angeordnet sein, dass Bilddaten der Umgebung vor dem Fahrzeug erhalten werden, die nicht durch die Motorhaube 205 verdeckt sind. Wie im Folgenden näher beschrieben, ermöglicht eine angemessene zeitliche Verschiebung der Bilder während der Vorwärtsfahrt des Fahrzeugs Bilder, die einer Ansicht des Fahrers oder eines Fahrgastes entsprechen, ohne dass die Motorhaube 205 vorhanden ist, um den Anzeigemitteln zur Verfügung gestellt zu werden. Das heißt, die Anzeigemittel können Bilddaten ausgeben, die vom Fahrer wahrgenommen würden, wenn die Motorhaube 205 nicht vorhanden wäre, d.h. die Sicht des Fahrers nicht behindert.
  • Wie in 3 dargestellt, die einen vorderen Abschnitt eines Fahrzeugs 300 in der Seitenansicht veranschaulicht, kann eine Kamera 310 an einer Vorderseite des Fahrzeugs montiert werden, die niedriger ist als eine Ebene der Motorhaube 305, wie beispielsweise hinter einem Gitter des Fahrzeugs 300. Alternativ oder zusätzlich kann eine Kamera 320 über dem Platz der Motorhaube 305 positioniert werden, z.B. auf Dachhöhe oder in einem oberen Bereich der Windschutzscheibe 360 des Fahrzeugs. Das Sichtfeld jeder Kamera kann im Allgemeinen nach vorne und leicht nach unten gerichtet sein, um Bilddaten für einen Teil des Bodens vor dem aktuellen Standort des Fahrzeugs auszugeben. Jede Kamera gibt Bilddaten aus, die einem Standort vor dem Fahrzeug 300 entsprechen. Es wird festgestellt, dass die Kamera an anderen Stellen montiert und beweglich montiert werden kann, um sich um eine Achse zu drehen. In einem Beispiel kann die beweglich gelagerte Kamera im Gebrauch gedreht und/oder verschoben werden, so dass ein Blickwinkel der Kamera vertikal steuerbar ist. Eine vertikale Position der Kamera kann ebenfalls gesteuert werden. Die bewegliche Kamera kann so angeordnet werden, dass sie unabhängig von einer Neigung des Fahrzeugs in einer im Wesentlichen konstanten horizontalen Achse betrachtet werden kann. So kann beispielsweise die Kamera so angeordnet sein, dass sie auch bei geneigtem Fahrzeug allgemein horizontal betrachtet werden kann. Es ist jedoch zu beachten, dass die Kamera so angeordnet sein kann, dass sie nicht horizontal ausgerichtet ist. Die Kamera kann so angeordnet sein, dass sie eine im Allgemeinen konstante Abwärtsausrichtung aufweist, um zu sehen, und Bilddaten liefert, die einem Bereich vor dem Fahrzeug entsprechen. Bei entsprechender Verzögerung, wie sie beschrieben wird, kann das Anzeigemittel Bilddaten anzeigen, die einem Bereich vor dem Fahrzeug entsprechen, der durch die Motorhaube 305 aus der Sicht des Fahrers verdeckt ist. Der Bereich kann beispielsweise ein Bereich sein, der bis zu 10 oder 20 m vor dem Fahrzeug liegt.
  • Der nächste Schritt des Verfahrens zum Bereitstellen der verbesserten Ansicht von 2 ist das Erzeugen einer grafischen Darstellung von mindestens einer Komponente des Fahrzeugs mit einem oder mehreren Merkmalen basierend auf den dem Fahrzeug zugeordneten Informationen und einer grafischen Darstellung der Bilddaten. Die Darstellung mindestens einer Komponente und die Bilddaten können durch eine Verarbeitungsvorrichtung erzeugt werden. Alternativ kann es sein, dass nur die Darstellung mindestens einer Komponente oder nur die Darstellung der Bilddaten erzeugt werden kann.
  • Die Darstellung, insbesondere der Bilddaten, aber optional auch der mindestens einen Komponente, kann so erzeugt werden, dass sie einer Perspektive aus Sicht des Fahrers entspricht oder entspricht. So kann beispielsweise eine Bildverarbeitung der Bilddaten durchgeführt werden, um eine Perspektive der Bilddaten anzupassen. Die Perspektive kann angepasst werden, um einer Perspektive eines Objekts der Bilddaten aus der Sicht des Fahrers im Fahrzeug zu entsprechen oder näher zu sein.
  • Der Bildverarbeitungsvorgang umfasst eine Verzögerung, die in die Bilddaten eingebracht wird. Die Verzögerungszeit kann sich auf eine Fahrgeschwindigkeit des Fahrzeugs beziehen. Die Verzögerung kann es ermöglichen, dass die angezeigte Darstellung basierend auf den von der Kamera erhaltenen Bilddaten einem aktuellen Standort des Fahrzeugs entspricht. Wenn sich die Bilddaten beispielsweise für einen Ort etwa 20 m vor dem Fahrzeug befinden, kann die Verzögerung dazu führen, dass sich der Standort des Fahrzeugs dem Standort der Bilddaten annähert, so dass, wenn die Darstellung angezeigt wird, der den Bilddaten entsprechende Ort derjenige ist, der durch die Motorhaube 205 aus der Sicht des Fahrgastes verdeckt wird. Auf diese Weise entspricht die angezeigte Darstellung einer aktuellen Ansicht des Fahrers. Es ist zu beachten, dass die Verzögerung auch in Abhängigkeit von der Betrachtungsposition des Fahrers variabel sein kann, da die Betrachtungsposition des Fahrers den Teil der Fahrbahn beeinflusst, der durch die Motorhaube 205 verdeckt ist. Der Bildverarbeitungsvorgang kann von der Verarbeitungsvorrichtung durchgeführt werden.
  • Nach der Generierung wird die Darstellung angezeigt. Die Darstellung wird so dargestellt, dass ein Teil der Fahrzeugkarosserie, z.B. die Motorhaube 205, aus Sicht des Betrachters, wie beispielsweise aus Sicht des Fahrers, überlagert wird. Das Verfahren kann kontinuierlich in einer Schleife durchgeführt werden, bis ein vorgegebenes Ereignis eintritt, wie beispielsweise ein Benutzer, der das Verfahren unterbricht, beispielsweise durch Aktivieren einer Steuerung innerhalb des Fahrzeugs. Es wird festgestellt, dass das vorgegebene Ereignis aus anderen Quellen bereitgestellt werden kann.
  • Die Darstellung kann auf einer innerhalb des Fahrzeugs vorgesehenen Anzeigevorrichtung angezeigt werden, so dass die angezeigten Informationen über einem Teil des Fahrzeugs unter der Kontrolle einer Verarbeitungsvorrichtung liegen. Die Verarbeitungsvorrichtung kann ferner angeordnet sein, um Informationen zu bestimmen, die einem Fahrzeug zugeordnet sind, oder um Bilddaten für einen Bereich vor dem Fahrzeug zu empfangen, und um die Anzeigevorrichtung zu veranlassen, eine grafische Darstellung mindestens einer Komponente des Fahrzeugs mit einem oder mehreren Merkmalen basierend auf den dem Fahrzeug zugeordneten Informationen oder eine Darstellung der Bilddaten anzuzeigen. Die von der Verarbeitungsvorrichtung empfangenen Informationen können einen Lenkwinkel der Räder des Fahrzeugs oder Bilddaten beinhalten, die von einer oder mehreren Kameras ausgegeben werden. Die Informations- oder Bilddaten können von der Verarbeitungsvorrichtung von einem Kommunikationsbus des Fahrzeugs oder über einen speziellen Kommunikationskanal, wie beispielsweise eine Videoübertragung von einer oder mehreren Kameras, empfangen werden.
  • Die von der Verarbeitungsvorrichtung erzeugte grafische Darstellung kann eine Darstellung der Räder des Fahrzeugs sein, wie in 2 dargestellt und im Allgemeinen bei 250 angezeigt, obwohl die Darstellung auch andere Komponenten des Fahrzeugs sein kann, wie beispielsweise ein Federungssystem, eine Achse des Fahrzeugs, ein Motor des Fahrzeugs oder eine andere allgemein mechanische und/oder strukturelle Komponente des Fahrzeugs. Die Verarbeitungsvorrichtung kann eine oder mehrere Bildverarbeitungsoperationen an der Darstellung durchführen, wie z.B. das Ändern einer Perspektive der Bilddaten und/oder das Einbringen einer Verzögerung der Bilddaten wie vorstehend beschrieben. Die Perspektive der Bilddaten kann an einen Betrachtungswinkel des Fahrers angepasst werden. Die Verarbeitungsvorrichtung kann so angeordnet sein, dass sie Bilddaten empfängt, die einer Ansicht des Fahrers entsprechen, und ihre Blickrichtung basierend darauf bestimmt, beispielsweise basierend auf der Augenposition des Fahrers, oder dass sie von einem anderen Subsystem des Fahrzeugs Daten empfängt, die die Blickrichtung des Fahrers anzeigen. Die Bilddaten können auch verarbeitet werden, um die Darstellung an eine Form der Fahrzeugkarosserie anzupassen, z.B. an Konturen in der Motorhaubenform des Fahrzeugs.
  • Die Anzeigevorrichtung kann einen Projektor zum Projizieren von Licht umfassen, der von der Verarbeitungsvorrichtung funktionsfähig gesteuert wird, um die Darstellung durch Abstrahlung von Licht auf einen optischen Kombinierer zu projizieren. Die Projektionsvorrichtung und der Kombinator bilden zusammen ein Head-up-Display (HUD). Wenn von der Projektionsvorrichtung kein Licht abgegeben wird, ist die Kombiniervorrichtung für den Fahrer des Fahrzeugs im Allgemeinen nicht wahrnehmbar, aber wenn Licht von der Projektionsvorrichtung projiziert wird und auf die Kombiniervorrichtung trifft, wird ein Bild vom Fahrgast darauf betrachtet. Die Kombiniervorrichtung ist so positioniert, dass ein Bild, das der Fahrer darauf betrachtet, einen Teil der Fahrzeugkarosserie, wie beispielsweise die Motorhaube, zu überdecken scheint. Das heißt, das Bild erscheint über der Motorhaube. Die angezeigte Darstellung ermöglicht es dem Fahrer, eine Position und Richtung der Räder des Fahrzeugs sowie eine Position und Richtung der Fahrbahn oder Fahrbahn, auf der das Fahrzeug fährt, zu erkennen, was besonders für das Geländefahren nützlich ist. Zusätzlich zur Darstellung der in 2 dargestellten Radpositionen kann das HUD zusätzliche Fahrzeuginformationen anzeigen, die sonst dem Fahrer über eine alternative Armaturenbrettanzeige angezeigt werden könnten, z. B. die Fahrzeuggeschwindigkeit.
  • Für die vorstehend beschriebene verbesserte Vorwärtssicht des Fahrers in Verbindung mit den 2 und 3 wird ein Bild angezeigt, das über einem äußeren Teil des Fahrzeugs liegt. Wie bereits erwähnt, ist dieses Konzept erweiterbar, um ein Bild anzuzeigen, das von einer Kamera abgeleitet ist, die Bilder der Umgebung um ein Fahrzeug herum aufnimmt, so dass auch mindestens ein Teil eines Fahrzeuginnenraums darüber liegt. Wie bereits erwähnt, kann aus der Sicht eines Fahrers eine Sicht außerhalb des Fahrzeugs sowohl durch die Karosserie des Fahrzeugs außerhalb eines Fahrgastraums des Fahrzeugs, beispielsweise der Motorhaube, als auch durch Innenteile des Fahrzeugs, wie beispielsweise die Innenseite einer Tür oder einer Instrumententafel oder eines Armaturenbretts, verdeckt werden. Um dieses breitere Problem anzugehen, können ein oder mehrere weitere HUDs mit einem oder mehreren anderen Fahrzeugfenstern als dem Windschutz kombiniert oder in diese integriert werden. Alternativ oder zusätzlich kann ein Innenanzeigemittel ein Bildinneres des Fahrzeugs zum Anzeigen eines oder beider Bilddaten und/oder eine Darstellung einer oder mehrerer Komponenten des Fahrzeugs bereitstellen. Die Innenanzeigemittel können mindestens eine Projektionsvorrichtung zum Projizieren eines Bildes auf die Innenflächen des Fahrzeugs umfassen. Die Innenflächen können ein Armaturenbrett, einen Türinnenraum oder andere Innenflächen des Fahrzeugs umfassen. Die Projektionsvorrichtung kann in einer erhöhten Position innerhalb des Fahrzeugs angeordnet werden, um die Bilder nach unten auf die Innenflächen des Fahrzeugs zu projizieren. Die Head-up-Anzeigemittel und die Innenanzeigemittel können beide kommunikativ mit einer Steuervorrichtung gekoppelt sein, wie sie in 5 dargestellt ist, die so angeordnet ist, dass sie Bilddaten für die Anzeige dazwischen teilt. Auf diese Weise ermöglicht ein gemeinsam zwischen den Head-up-Anzeigemitteln und den Innenanzeigemitteln erzeugtes Bild eine bessere Sicht auf Objekte außerhalb des Fahrzeugs. Der Blick kann nicht nur im Allgemeinen vor dem Fahrer, sondern auch auf eine Seite des Fahrers oder Beifahrers gerichtet werden, wenn Bilder auf Innenflächen des Fahrzeugs projiziert werden, die Bilddaten außerhalb des Fahrzeugs und/oder einer oder mehrerer Komponenten des Fahrzeugs anzeigen.
  • Während die in 2 veranschaulichte verbesserte Vorwärtsansicht dem Fahrer hilft, Objekte in der Nähe der Fahrzeugfront zu identifizieren, die von der Motorhaube verdeckt werden, ist sie nach dem Unterfahren der Objekte nicht mehr hilfreich. Das Problem, dass der Fahrer das Gelände unter einem Fahrzeug nicht sehen kann, kann durch die Verwendung von historischem (d.h. zeitverzögertem) Videomaterial aus einem Fahrzeugkamerasystem, beispielsweise dem in 3 dargestellten Fahrzeugkamerasystem, gelöst werden. Ein geeignetes Fahrzeugkamerasystem umfasst eine oder mehrere Videokameras, die auf einem Fahrzeug positioniert sind, um Videobilder der Umgebung des Fahrzeugs aufzunehmen, die zur Unterstützung des Fahrers angezeigt werden können.
  • Es ist bekannt, dass Videobilder (oder Standbilder) von mehreren fahrzeugmontierten Kameras aufgenommen werden und ein zusammengesetztes Bild bilden, das die Umgebung um das Fahrzeug herum darstellt. Unter Bezugnahme auf 4 veranschaulicht dieses schematisch ein solches zusammengesetztes Bild um ein Fahrzeug 400 herum. Insbesondere können die mehreren Bilder zu einem dreidimensionalen (3D) zusammengesetzten Bild kombiniert werden, das beispielsweise im Allgemeinen halbkugelförmig sein kann, wie in der Übersicht 402 dargestellt. Diese Kombination von Bildern kann als Stitching bezeichnet werden. Die Bilder können Standbilder oder Live-Videobilder sein. Das zusammengesetzte Bild entsteht, indem die von jeder Kamera erhaltenen Bilder auf einen geeigneten Teil der Hemisphäre abgebildet werden. Bei einer ausreichenden Anzahl von Kameras und deren geeigneter Platzierung auf dem Fahrzeug, um angemessene Sichtfelder zu gewährleisten, ist zu beachten, dass sich das zusammengesetzte Bild somit rund um das Fahrzeug und von der Unterkante des Fahrzeugs auf allen Seiten bis zu einer vorbestimmten Horizonthöhe erstrecken kann, die durch die Oberkante 404 der Halbkugel 402 dargestellt wird. Es ist zu beachten, dass es nicht unbedingt erforderlich ist, dass sich das zusammengesetzte Bild über den gesamten Bereich des Fahrzeugs erstreckt. Unter bestimmten Umständen kann es beispielsweise wünschenswert sein, nur Kamerabilder zu nähen, die im Allgemeinen in Fahrtrichtung des Fahrzeugs und in beide Seiten - Richtungen, in die das Fahrzeug gefahren werden kann - projizieren. Dieses halbkugelförmige Verbundbild kann als Schale bezeichnet werden. Natürlich kann das zusammengesetzte Bild nicht auf eine genaue Halbkugel abgebildet werden, da sich die Bilder des zusammengesetzten Bildes höher oder niedriger oder sogar über die Oberseite des Fahrzeugs erstrecken können, um im Wesentlichen eine zusammengesetzte Bildkugel zu bilden. Es wird darauf hingewiesen, dass die Bilder alternativ auf jede das Fahrzeug umgebende 3D-Form abgebildet werden können, z.B. auf einen Würfel, Zylinder oder eine komplexere geometrische Form, die durch die Anzahl und Position der Kameras bestimmt werden kann. Es wird zu schätzen wissen, dass die Größe des zusammengesetzten Bildes durch die Anzahl der Kameras und deren Kamerawinkel bestimmt wird. Das zusammengesetzte Bild kann durch geeignete Skalierung und / oder Streckung der von jeder Kamera abgeleiteten Bilder gebildet werden, um sich lückenlos aneinander anzupassen (in einigen Fällen können jedoch Lücken entstehen, wenn die aufgenommenen Bilder keine 360-Grad-Ansicht um das Fahrzeug herum umfassen).
  • Das zusammengesetzte Bild kann dem Benutzer gemäß allen geeigneten Anzeigemitteln angezeigt werden, z. B. dem vorstehend beschriebenen Head-Up-Display, Projektionssystemen oder am Armaturenbrett montierten Anzeigesystemen. Während es wünschenswert sein kann, mindestens einen Teil des 3D-Verbundbildes anzuzeigen, das beispielsweise von einer internen Position aus in einer ausgewählten Betrachtungsrichtung betrachtet wird, kann optional eine 2-dimensionale (2D) Darstellung eines Teils des 3D-Verbundbildes angezeigt werden. Alternativ kann es auch sein, dass nie ein zusammengesetztes 3D-Bild entsteht - die von den Kameras abgeleiteten Videobilder werden nur auf eine 2D-Draufsicht der Umgebung um das Fahrzeug abgebildet. Dies kann eine Seitenansicht sein, die sich vom Fahrzeug aus erstreckt, oder eine Draufsicht, wie sie in 5 dargestellt ist.
  • zeigt ein zusammengesetztes Bild 501 aus der Vogelperspektive der Umgebung eines Fahrzeugs 500, das auch als Draufsicht bezeichnet wird. Eine solche Draufsicht kann problemlos auf einem herkömmlichen Bildschirm im Inneren des Fahrzeugs 500 dargestellt werden und liefert dem Fahrer nützliche Informationen über die Umgebung um das Fahrzeug 500 herum, die sich bis nahe an die Seiten des Fahrzeugs 500 erstreckt. Wie bereits erwähnt, ist es von der Fahrposition aus schwierig oder unmöglich, den Boden unmittelbar neben dem Fahrzeug 500 zu sehen, so dass die Draufsicht von 5 eine wichtige Hilfe für den Fahrer ist. Der Boden unter dem Fahrzeug 500 bleibt von einer Kamera-Liveansicht verdeckt und kann daher typischerweise im zusammengesetzten Bild 501 durch einen Rohlingsbereich 502 an der Position des Fahrzeugs 500 oder eine Darstellung eines Fahrzeugs 500 zum Füllen des Rohlings dargestellt werden. Ohne die Bereitstellung von Kameras unter dem Fahrzeug 500, was, wie vorstehend erläutert, unerwünscht ist, für ein zusammengesetztes Bild, das ausschließlich aus gestickten Live-Kamerabildern gebildet wird, ist der Boden unter dem Fahrzeug nicht sichtbar.
  • Zusätzlich zu den Kameras, die verwendet werden, um ein zusammengesetztes Livebild der Umgebung des Fahrzeugs zu liefern, können historische Bilder in das zusammengesetzte Bild integriert werden, um Bilder zu liefern, die das Gelände unter dem Fahrzeug - also das Gelände innerhalb der Fahrzeuggrenze - darstellen. Unter historischen Bildern versteht man Bilder, die zuvor vom Fahrzeugkamerasystem aufgenommen wurden, zum Beispiel Bilder des Bodens vor oder hinter dem Fahrzeug; das Fahrzeug ist anschließend über diesen Teil des Bodens gefahren. Die historischen Bilder können Standbilder oder Videobilder oder Einzelbilder aus Videobildern sein. Solche historischen Bilder können verwendet werden, um den leeren Bereich 502 in zu füllen. Es wird anerkannt, dass insbesondere für Geländesituationen die Fähigkeit, das Gelände im Bereich unter dem Fahrzeug zu sehen (streng genommen eine Darstellung des Geländes, die aus historischen Bildern abgeleitet ist, die aufgenommen wurden, bevor das Fahrzeug das Gelände verdunkelte) es dem Fahrer ermöglicht, die Fahrzeugposition und insbesondere die Fahrzeugräder fein einzustellen. Was die verbesserte Darstellung von 2 betrifft, so können neben diesem aus Live- und historischen Videobildern gebildeten Verbundbild auch Darstellungen von Fahrzeugsystemen, wie beispielsweise die Radpositionen, in das Verbundbild integriert werden. Die vorstehende Beschreibung in Bezug auf 2 bezüglich der Beschaffung von Informationen über Fahrzeugsysteme und der Erzeugung von Darstellungen solcher Fahrzeugsysteme sollte als gleichwertig für die Diskussion eines zusammengesetzten Bildes im Folgenden angesehen werden.
  • Das zusammengesetzte Bild kann durch Kombination der Live- und historischen Videobilder und insbesondere durch eine Musteranpassung an die Livebilder gebildet werden, wodurch der tote Winkel im zusammengesetzten Bild, das den Bereich unter dem Fahrzeug umfasst, ausgefüllt wird. Das Surround-Kamerasystem umfasst mindestens eine Kamera und einen Puffer, der so angeordnet ist, dass er Bilder speichert, während das Fahrzeug entlang einer Strecke fährt. Der Fahrzeugpfad kann mit allen geeigneten Mitteln bestimmt werden, einschließlich, aber nicht beschränkt auf ein Satellitenpositionierungssystem wie GPS (Global Positioning System), IMU (Inertial Measurement Unit), Radzecken (Tracking Rotation der Räder, kombiniert mit dem Wissen über den Radumfang) und Bildverarbeitung, um die Bewegung entsprechend der Verschiebung von Bildern zwischen den Bildern zu bestimmen. An Stellen, an denen sich der blinde Fleck aus den Livebildern mit gepufferten Bildern überschneidet, wird der aus verzögerten Videobildern kopierte Bereich des blinden Flecks durch Bildverarbeitung musterangepasst, um mit den Live-Kamerabildern kombiniert zu werden, die den Rest des zusammengesetzten Bildes bilden.
  • Es wird nun ein Verfahren zur Anzeige der Position aller Räder eines Fahrzeugs und der Fahrzeugunterbodenfreiheit in Kombination mit Live-Bildern der Umgebung des Fahrzeugs beschrieben. Dadurch werden verbesserte Fahrerinformationen bereitgestellt, die es ihnen ermöglichen, sicher und zuverlässig voranzukommen, insbesondere bei Fahrten durch unwegsames Gelände. Der Einsatz von Pattern-Matching bietet besondere Verbesserungen bei der Kombination von Live- und historischen Bildern.
  • Unter Bezugnahme auf veranschaulicht dies ein Verfahren zur Bildung eines zusammengesetzten Bildes aus Live-Videobildern und historischen Videobildern. Bei Schritt 600 werden Live-Videobilder (live video frames) aus dem Fahrzeugkamerasystem gewonnen. Die Bilddaten können von einer oder mehreren Kameras bereitgestellt werden, die mit nach außen gerichteten Ansichten aus dem Fahrzeug angeordnet sind, wie zuvor erläutert. Insbesondere können eine oder mehrere Kameras so angeordnet sein, dass sie vor oder hinter dem Fahrzeug an einem Betrachtungspunkt mit einem vorbestimmten Abstand vor dem Fahrzeug in allgemein nach unten gerichteter Richtung sehen. Es ist zu beachten, dass diese Kameras geeignet positioniert werden können, um Bilder von Bodenbereichen aufzunehmen, die später durch das Fahrzeug verdeckt werden können.
  • Bei Schritt 602 werden die Live-Bilder zu einem zusammengesetzten 3D-Bild (z.B. dem oben in Verbindung mit 5 beschriebenen Bild „Schale“) oder einem zusammengesetzten 2D-Bild zusammengefügt. Geeignete Techniken zur Kombination von Videobildern sind einem Fachmann bekannt. Es versteht sich, dass das zusammengesetzte Bild kontinuierlich gemäß den 3D-Bildern gebildet oder auf Einzelbildbasis verarbeitet werden kann. Jedes Einzelbild oder vielleicht nur ein Teil der Einzelbilder, wie beispielsweise jedes n-te Einzelbild für mindestens einige der Kameras, wird gespeichert, um historische Bilder in einen leeren Bereich des aktuell angezeigten zusammengesetzten Bildes einzufügen (dies kann als lebender toter Winkel bezeichnet werden). Wenn beispielsweise das Verbundbild 500 aus der Vogelperspektive von 5 auf einem Bildschirm dargestellt wird, ist der Bereich des lebenden blinden Flecks Abschnitt 502.
  • Um die Anforderungen an die Bildspeicherung einzuschränken, dürfen nur Videobilder von Kameras gespeichert werden, die im Allgemeinen nach vorne (oder vorwärts und rückwärts) gerichtet sind, da es nur notwendig ist, Bilder des Bodens vor dem Fahrzeug (oder vor und hinter dem Fahrzeug) zu speichern, das das Fahrzeug später überfahren kann, um historische Bilder zum Einfügen in den Live-Toten Winkel zu liefern. Um den Speicherbedarf weiter zu reduzieren, kann es sein, dass nicht jeder einzelne Bildausschnitt vollständig gespeichert ist. Für eine ausreichend schnelle gespeicherte Bildrate (oder langsame Fahrgeschwindigkeit) kann es zu erheblichen Überschneidungen zwischen aufeinanderfolgenden Bildern (oder intermittierenden Bildern, die zur Speicherung bestimmt sind, wenn nur jedes n-te Bild gespeichert werden soll) kommen, so dass nur ein von einem Bild zum Speichern zum nächsten abweichender Bildabschnitt gespeichert werden kann, zusammen mit ausreichenden Informationen, um diesen Abschnitt mit dem vorhergehenden Bild zu kombinieren. Ein solcher Bildabschnitt kann als Band oder Bildabschnitt bezeichnet werden. Es wird darauf hingewiesen, dass, abgesehen von einem anfänglich gespeicherten Rahmen, jeder gespeicherte Rahmen nur die Speicherung eines Bandes erfordern kann. Es kann wünschenswert sein, ein Ganzbild periodisch zu speichern, um das Risiko von Verarbeitungsfehlern zu minimieren, die verhindern, dass Bilder aus gespeicherten Bildstreifen wiederhergestellt werden. Diese Identifizierung von Überlappungsbereichen zwischen Bildern kann durch geeignete bekannte Bildverarbeitungstechniken durchgeführt werden, die auch Musterabgleiche beinhalten können, d. h. übereinstimmende Bilder oder Teile von Bildern, die einem zu speichernden Rahmenpaar gemeinsam sind. So kann beispielsweise der Musterabgleich bekannte Bildverarbeitungsalgorithmen zum Erkennen von Kantenmerkmalen in Bildern verwenden, die daher den Umriss von Objekten in Bildern angemessen identifizieren können, wobei diese Umrisse in einem Bildpaar identifiziert werden, um den Grad der Bildverschiebung zwischen dem Paar aufgrund der Fahrzeugbewegung zu bestimmen.
  • Jeder gespeicherte Rahmen oder Teilrahmen (oder Bildstreifen) wird in Kombination mit Fahrzeugpositionsdaten gespeichert. Daher werden parallel zur Aufnahme von Livebildern bei Schritt 600 und zur Livebildverarbeitung bei Schritt 602 Fahrzeugpositionsdaten bei Schritt 604 empfangen. Die Fahrzeugpositionierungsinformationen werden verwendet, um den Fahrzeugstandort bei Schritt 606 zu bestimmen. Die Fahrzeugposition kann als Koordinate ausgedrückt werden, zum Beispiel als kartesische Koordinate, die die X-, Y- und Z-Position angibt. Die Fahrzeugposition kann absolut oder relativ zu einem vorgegebenen Punkt sein. Die Fahrzeugpositionsdaten können von jedem geeigneten bekannten Positionssensor abgerufen werden, z.B. GPS, IMU, Kenntnis der Fahrzeuglenkposition und Radgeschwindigkeit, Rad-Ticks (d.h. Informationen über Raddrehzahlen), Bildverarbeitung oder jede andere geeignete Technik. Die Bildverarbeitung kann die Verarbeitung von Bildern umfassen, die von den Fahrzeugkamerasystemen abgeleitet sind, um den Grad der Überlappung zwischen den erfassten Bildern zu bestimmen, die geeignet verarbeitet werden, um einen Abstand zu bestimmen, der durch die Kenntnis der Zeit zwischen der Aufnahme jedes einzelnen Bildes bewegt wird. Dies kann mit der Bildverarbeitung zur Speicherung der aufgenommenen Bilder wie vorstehend beschrieben kombiniert werden, z.B. Musterabgleich inklusive Kantenerkennung. In einigen Fällen kann es wünschenswert sein, einen Vektor zu berechnen, der die Bewegung des Fahrzeugs sowie die Fahrzeugposition anzeigt, um die historischen Bilder zu bestimmen, die in den Bereich des lebenden toten Winkels eingefügt werden sollen, wie im Folgenden beschrieben.
  • Jedes zu speichernde Bild (oder Band) aus Schritt 600 wird in einem Rahmenspeicher aus Schritt 608 zusammen mit der aus Schritt 606 erhaltenen Fahrzeugposition zum Zeitpunkt der Bildaufnahme gespeichert. Das heißt, jeder Frame wird durch eine Fahrzeugposition indiziert gespeichert. Die Position kann eine absolute Position oder relativ zu einem Bezugspunkt sein. Darüber hinaus kann die Bildposition nur in Bezug auf einen vorhergehenden gespeicherten Rahmen angegeben werden, so dass die Position des Fahrzeugs in Bezug auf jeden historischen Rahmen in Bezug auf eine aktuelle Position des Fahrzeugs bestimmt werden kann, indem man durch den Rahmenspeicher rückwärts geht und die Verschiebung der Fahrzeugposition bemerkt, bis der gewünschte historische Rahmen erreicht ist. Jeder Datensatz im Bildspeicher kann Bilddaten für diesen Rahmen (oder Bildstreifen) und die Fahrzeugposition zum Zeitpunkt der Aufnahme des Rahmens umfassen. Das heißt, zusammen mit den Bilddaten können Metadaten einschließlich der Fahrzeugposition gespeichert werden. Der Blickwinkel des Rahmens in Bezug auf die Fahrzeugposition ist aus der Kameraposition und dem Winkel am Fahrzeug bekannt (die, wie vorstehend erläutert, fest oder beweglich sein können). Solche Informationen über Blickwinkel, Kameraposition usw. können auch im Bildspeicher 608 gespeichert werden, der das Bild und die Koordinateninformationen als (Rahmen <->Koord) darstellt. Es wird darauf hingewiesen, dass es erhebliche Unterschiede im Format der Speicherung dieser Informationen geben kann und die vorliegende Erfindung nicht auf bestimmte Bilddaten oder Metadatenspeichertechniken oder auf die Einzelheiten der gespeicherten Positionsinformationen beschränkt ist.
  • Bei Schritt 610 wird ein Mustererkennungsbereich bestimmt. Der Mustererkennungsbereich umfasst den Bereich unter dem Fahrzeug, der im zusammengesetzten Bild, das ausschließlich aus gestickten Livebildern besteht, nicht sichtbar ist. Unter Bezugnahme auf 5 umfasst der Mustererkennungsbereich den toten Winkel 502. Koordinaten für den Mustererkennungsbereich können aus den bei Schritt 604 erhaltenen Fahrzeugpositionierungsinformationen bestimmt und verarbeitet werden, um die aktuelle Fahrzeugposition bei Schritt 606 zu bestimmen. Unter der Annahme, dass hochgenaue Fahrzeugpositionierungsinformationen, die bei Schritt 604 erhalten wurden, geschätzt werden, dass die aktuelle Position des Fahrzeugs genau bestimmt werden kann. Historische Bilddaten aus dem Einzelbildspeicher 608, d.h. zuvor aufgenommene Einzelbilder, können verwendet werden, um den toten Winkel 502 auszufüllen, basierend auf der Kenntnis der Fahrzeugposition zum Zeitpunkt der Aufnahme der historischen Bilder. Insbesondere kann der aktuelle tote Winkel auf eine Bodenfläche abgebildet werden, die in historischen Bildern sichtbar ist, bevor das Fahrzeug den Teil des Bodens verdunkelt hat. Die historischen Bilddaten können durch Kenntnis des Bodenbereichs in der Umgebung des Fahrzeugs in jedem Kamerabild verwendet werden, da die Position jeder Kamera auf dem Fahrzeug und der Kamerawinkel bekannt sind. Wenn also die aktuelle Fahrzeugposition bekannt ist, können Bilddaten, die den Boden im toten Winkel zeigen, aus Bildern gewonnen werden, die zu einem früheren Zeitpunkt aufgenommen wurden, bevor das Fahrzeug diesen Teil des Bodens verdeckt. Diese Bilddaten können passend zum aktuellen toten Winkel verarbeitet und in die gestickten Live-Bilder eingefügt werden. Eine solche Verarbeitung kann das Skalieren und Strecken der gespeicherten Bilddaten beinhalten, um eine Änderung der Perspektive aus dem nach außen gerichteten Kamerawinkel zu berücksichtigen, wie der Boden bei direkter Sicht von oben aussehen würde. Darüber hinaus kann eine solche Verarbeitung auch die Rekombination mehrerer gespeicherter Bildsplitter und/oder Bilder von mehreren Kameras beinhalten.
  • Die vorstehend beschriebene Anpassung der zuvor gespeicherten Bilddaten in ein live gestricktes Verbundbild basiert jedoch auf der genauen Kenntnis der Fahrzeugposition sowohl aktuell als auch beim Speichern der Bilddaten. Es kann vorkommen, dass es nicht möglich ist, die Fahrzeugposition mit einer ausreichend hohen Genauigkeit zu bestimmen. Als Beispiel wird unter Bezugnahme auf 5 die tatsächliche aktuelle Fahrzeugposition durch Kasten 502 dargestellt, während aufgrund ungenauer Positionsinformationen die bei Schritt 606 ermittelte aktuelle Fahrzeugposition durch Kasten 504 dargestellt werden kann. Im Beispiel von 5 umfasst die Ungenauigkeit die bestimmte Fahrzeugposition, die relativ zur tatsächlichen Fahrzeugposition gedreht wird. Ebenso können Übersetzungsfehler auftreten. Fehler bei der Berechnung der Fahrzeugposition können durch das Gleiten der Fahrzeugräder entstehen, wobei Rad-Ticks, Radgeschwindigkeit und/oder Lenkeingabe verwendet werden, um relative Änderungen der Fahrzeugposition zu bestimmen. Bei der Verwendung von Satellitenortung kann es vorkommen, dass die erforderliche Genauigkeit nicht verfügbar ist.
  • Es ist zu beachten, dass, wenn der Fehlergrad in der Fahrzeugposition zwischen dem Zeitpunkt, zu dem ein Bild gespeichert wird, und dem Zeitpunkt, zu dem es in ein Live-Verbundbild eingebaut wird, unterschiedlich ist, dies zu einer unerwünschten Fehlausrichtung der Live- und historischen Bilder führen kann. Dies kann dazu führen, dass ein Fahrer das Vertrauen in die Genauigkeit der Darstellung des Bodens unter dem Fahrzeug verliert. Schlimmer noch, wenn die Fehlausrichtung signifikant ist, besteht die Gefahr einer Beschädigung des Fahrzeugs, da ein Fahrer falsch über die Position von Objekten unter dem Fahrzeug informiert wird.
  • Aufgrund der Gefahr einer Fehlausrichtung wird bei Schritt 612 ein Musterabgleich innerhalb des Mustererkennungsbereichs durchgeführt, um Bereiche von Live- und gespeicherten Bildern abzugleichen. Wie vorstehend in Verbindung mit der Speicherung von Einzelbildern erwähnt, kann eine solche Mustererkennung geeignete Kantenerkennungsalgorithmen beinhalten. Der bei Schritt 610 bestimmte Mustererkennungsbereich wird verwendet, um auf gespeicherte Bilder aus dem Bildspeicher 608 zuzugreifen. Insbesondere werden historische Bilder mit Bilddaten für den Boden innerhalb des Mustererkennungsbereichs abgerufen. Der Mustererkennungsbereich kann den erwarteten toten Winkel des Fahrzeugs und eine geeignete Überlappung auf mindestens einer Seite umfassen, um Fehlausrichtungen zu berücksichtigen. Schritt 612 nimmt als Eingabe das live gestickte Verbundbild aus Schritt 602 weiter. Der Mustererkennungsbereich kann Abschnitte der Live-Verbundansicht angrenzend an den blinden Fleck 502 umfassen. Der Musterabgleich wird durchgeführt, um überlappende Abschnitte des Live- und des historischen Bildes zu finden, so dass eine enge Ausrichtung zwischen den beiden bestimmt und verwendet werden kann, um geeignete Abschnitte des historischen Bildes auszuwählen, um den toten Winkel zu füllen. Es ist zu beachten, dass der Grad der Überlappung zwischen dem Live- und dem historischen Bild so gewählt werden kann, dass ein vorgegebener Grad an Fehler zwischen der bestimmten Fahrzeugposition und ihrer tatsächlichen Position möglich ist. Um mögliche Änderungen der Fahrzeugneigung und des Rollens zwischen einer aktuellen Position und einer historischen Position beim Durchfahren von welligem Gelände zu berücksichtigen, kann die Bestimmung des Mustererkennungsbereichs auch Informationen aus Sensordaten berücksichtigen, die die Fahrzeugneigung und den Rollvorgang anzeigen. Dies kann den Grad der Überlappung des Mustererkennungsbereichs mit den Livebildern für eine oder mehrere Seiten des Fahrzeugs beeinflussen. Es ist möglicherweise nicht immer notwendig, einen Mustererkennungsbereich zu bestimmen, vielmehr kann der Musterabgleich eine umfassendere Suche durch historische Bilder (oder historische Bilder mit einer ungefähren Zeitverzögerung relativ zu den aktuellen Bildern) im Verhältnis zum gesamten zusammengesetzten Livebild umfassen. Durch die Beschränkung des Bereichs innerhalb des Live-Verbundbildes, in dem die Musteranpassung an historische Bilder durchgeführt werden soll, und die Beschränkung des Volumens der abzugleichenden historischen Bilder kann jedoch die Rechenkomplexität der Aufgabe und die benötigte Zeit reduziert werden.
  • Bei Schritt 614 werden ausgewählte Abschnitte eines oder mehrerer historischer Bilder oder Splitter in den toten Winkel (blind spot) der zusammengesetzten Livebilder eingefügt, um ein zusammengesetztes Bild zu bilden, das sowohl Liveals auch historische Bilder umfasst. Wie bei der obigen Diskussion in Verbindung mit 2 kann das Verbundbild weiter mit grafischen Darstellungen einer oder mehrerer Fahrzeugkomponenten oder -systeme kombiniert werden. So kann beispielsweise eine Darstellung der Position und Ausrichtung von mindestens einem, beispielsweise allen, der Räder dem Verbundbild überlagert werden, um dem Fahrer weitere Informationen über die Ausrichtung des Fahrzeugs zur Vermeidung von Objekten zu liefern. Die Erzeugung solcher Darstellungen von Fahrzeugkomponenten erfolgt wie oben beschrieben und wird hier nicht wiederholt.
  • Darüber hinaus kann zusätzlich zur Anzeige einer Darstellung des Bodens unter dem Fahrzeug eine Darstellung des Fahrzeugs zum Ausgabe-Kombinationsbild hinzugefügt werden. So kann beispielsweise ein transparentes Fahrzeugbild oder eine Umrandung des Fahrzeugs hinzugefügt werden. Dies kann einem Fahrer helfen, die Position des Fahrzeugs und den Teil des Bildes, der den Boden unter dem Fahrzeug darstellt, zu erkennen.
  • Soll das zusammengesetzte Bild über liegenden Teilen des Fahrzeugs angezeigt werden, um den Eindruck zu erwecken, dass das Fahrzeug transparent oder lichtdurchlässig ist (z. B. unter Verwendung eines HUD oder eines Projektionsmittels wie vorstehend beschrieben), kann die Erzeugung eines zusammengesetzten Bildes auch erfordern, dass eine Blickrichtung eines Fahrers des Fahrzeugs bestimmt wird. So ist beispielsweise eine Kamera angeordnet, die Bilddaten des Fahrers liefert, aus denen die Blickrichtung des Fahrers bestimmt wird. Die Blickrichtung kann aus einer Augenposition des Fahrers bestimmt werden, die parallel zu den anderen Schritten des Verfahrens durchgeführt wird. Es ist zu beachten, dass, wenn das zusammengesetzte Bild oder ein Teil des zusammengesetzten Bildes auf einer Anzeige im Fahrzeug dargestellt werden soll, die nicht dazu bestimmt ist, das Fahrzeug durchsichtig zu zeigen, keine Notwendigkeit besteht, die Blickrichtung des Fahrers zu bestimmen.
  • Das kombinierte zusammengesetzte Bild wird bei Schritt 616 ausgegeben. Wie vorstehend erläutert, kann die Sammelbildausgabe auf jeder geeigneten Bildanzeigevorrichtung erfolgen, wie z.B. HUD, auf dem Armaturenbrett montierter Bildschirm oder einer vom Fahrer getragenen separaten Anzeigevorrichtung. Alternativ können Teile des zusammengesetzten Bildes auf Teile des Fahrzeuginnenraums projiziert werden, um den Eindruck zu erwecken, dass das Fahrzeug transparent oder lichtdurchlässig ist. Die vorliegende Erfindung ist nicht auf eine bestimmte Art von Display-Technologie beschränkt.
  • Unter Bezugnahme auf veranschaulicht dies die Progressionsverbunde von Live- und Historienbildern 703 während der Bewegung eines Fahrzeugs 700. Im Beispiel von 7 wird das zusammengesetzte Bild als Vogelperspektive über dem Fahrzeug 700 dargestellt und umfasst eine 11 m lange Schale, die das Fahrzeug 700 umgibt, wobei der tote Winkel unter dem Fahrzeug mit historischen Bildern 703 gefüllt ist. zeigt das zusammengesetzte Bild, das den Standort des Fahrzeugs verfolgt, während es sich zuerst nach rechts und dann nach links dreht (in der Ansicht von von unten nach oben), wobei der Umriss jedes zusammengesetzten Bildes in einem Umriss dargestellt wird. Der aktuelle Standort des Fahrzeugs wird als Box 701 schattiert dargestellt. Wie bereits erwähnt, beschränkt sich die vorliegende Erfindung nicht darauf, dem Fahrer eine zusammengesetzte Draufsicht auf das Auto 700, seine Umgebung und den Boden unter dem Auto zu präsentieren. Es kann eine 3D-Darstellung bereitgestellt werden oder eine beliebige 2D-Darstellung, die aus einem beliebigen Teil eines 3D-Modells, wie beispielsweise dem in 4 dargestellten, abgeleitet wird und aus jedem beliebigen Winkel innerhalb oder außerhalb des Fahrzeugs 700 betrachtet wird.
  • 8 veranschaulicht eine Vorrichtung, die zur Durchführung des Verfahrens der 6 geeignet ist. Die Vorrichtung kann vollständig in einem Fahrzeug untergebracht sein. Eine oder mehrere fahrzeugmontierte Kameras 810 (z.B. die von 3) erfassen Bilderrahmen, die zum Bilden eines Live-Abschnitts eines zusammengesetzten Bildes oder eines historischen Abschnitts eines zusammengesetzten Bildes oder beides verwendet werden. Es wird darauf hingewiesen, dass getrennte Kameras verwendet werden können, um Live- und historische Bilder zu liefern, oder dass ihre Rollen kombiniert werden können. Ein oder mehrere Positions- oder Bewegungssensoren 802 können verwendet werden, um die Position des Fahrzeugs oder die Bewegung des Fahrzeugs zu erfassen. Kamera 810 und Sensor 802 liefern Daten an den Prozessor 804 und werden vom Prozessor 804 gesteuert. Der Prozessor 804 puffert Bilder von der Kamera 810 im Puffer 806. Der Prozessor 804 erzeugt außerdem ein zusammengesetztes Bild, das Live-Bilder von der Kamera 810 und historische Bilder aus dem Puffer 806 enthält. Der Prozessor 804 steuert die Anzeige 808, um das zusammengesetzte Bild anzuzeigen. Es ist zu beachten, dass die Vorrichtung der 8 in das Fahrzeug der 3 integriert werden kann, wobei die Kamera 810 von einer oder mehreren der Kameras 310, 320 bereitgestellt werden kann. Die Anzeige 808 befindet sich typischerweise im Fahrzeuginsassenraum oder in der Kabine und kann, wie vorstehend beschrieben, in Form einer am Armaturenbrett montierten Anzeige oder eines anderen geeigneten Typs erfolgen. Einige Teile der Bildverarbeitung können von Systemen außerhalb des Fahrzeugs durchgeführt werden.
  • Wie vorstehend beschrieben, umfasst die Bildung eines zusammengesetzten Bildes das Zusammenfügen von Live- und historischen Bildern, die von einem Fahrzeugkamerasystem abgeleitet sind. Dies kann zum Beispiel der Fall sein, wenn ein zusammengesetztes Bild ein größeres Sichtfeld aufweist, als es allein mit Livebildern erreicht werden kann, z.B. Bilder für Teile oder Bereiche der Umgebung unterhalb des Fahrzeugs oder anderweitig nicht sichtbar in Livebildern, da dieser Bereich durch das Fahrzeug selbst verdeckt wird. Wie vorstehend beschrieben, kann die Kombination von Live- und historischen Bildern eine genaue Verfolgung der Position des Fahrzeugs zum Zeitpunkt der Aufnahme jedes Bildes (einschließlich der Livebilder) erfordern. Alternativ können übereinstimmende (z.B. Musterabgleich) Teile von Live- und Historienbildern verwendet werden, um zu bestimmen, welche Teile von Historienbildern zu einem zusammengesetzten Bild zusammengefügt werden sollen. Optional können beide Techniken wie in 6 beschrieben in Verbindung mit dem Bestimmen eines Mustererkennungsbereichs verwendet werden. Der erste Ansatz erfordert, dass Fahrzeugpositionsdaten gespeichert und mit gespeicherten Bildern verknüpft werden.
  • Die Integration historischer Bilder in ein zusammengesetztes Bild mit Livebildern, wie vorstehend beschrieben, kann einen gewissen Grad an Bildverarbeitung erfordern, um historische Bilder und/oder Livebilder zu skalieren und zu dehnen, damit sie reibungslos zusammenpassen. Dies kann auch für Live-Bilder gelten. Das zusammengesetzte Bild kann jedoch immer noch unzusammenhängend erscheinen. Für ein verbessertes Benutzererlebnis kann es wünschenswert sein, dass das zusammengesetzte Bild ein einheitliches Erscheinungsbild aufweist, das den Anschein erweckt, von einer einzigen Kamera aufgenommen worden zu sein, oder zumindest um ruckartige Unterschiede zwischen Live- und historischen Bildern zu minimieren. Solche Diskontinuitäten können Farb- und Belichtungsinkongruenzen beinhalten. Wenn unkorrigiert, können zusammengesetzte Bildfehler dazu führen, dass die Benutzer das Vertrauen in die Richtigkeit der in einem zusammengesetzten Bild dargestellten Informationen verlieren oder davon ausgehen, dass eine Fehlfunktion vorliegt. Es kann wünschenswert sein, dass zusammengesetzte Bilder von einer einzigen Kamera aufgenommen wurden, um das Erscheinungsbild des Fahrzeugs oder eines Teils des Fahrzeugs transparent oder lichtdurchlässig zu gestalten.
  • Solche Abweichungen können sich aus Änderungen der Umgebungslichtbedingungen zwischen dem Zeitpunkt, zu dem die Live- und historischen Bilder aufgenommen werden (insbesondere wenn sich ein Fahrzeug langsam bewegt) und Änderungen der aufgenommenen Bildeigenschaften ergeben, die sich aus verschiedenen Kamerapositionen ergeben (wenn mehrere Kameras verwendet werden und historische Bilder aus einer anderen Kameraposition als aus nebeneinander gestickten Livebildern gewonnen werden) oder aus scheinbar unterschiedlichen Kamerapositionen nach dem Strecken und Skalieren von historischen Bildern ergeben. Darüber hinaus kann das Problem der Unterschiede in den Bildeigenschaften zwischen Live- und historischen Bildern durch das große Sichtfeld der in Fahrzeugkamerasystemen verwendeten Kameras noch verschärft werden. Mehrere Lichtquellen um das Fahrzeug herum oder Wechsel der Lichtquellen zwischen Live- und historischen Bildern können weitere Abweichungen verursachen. So können beispielsweise nachts Teile eines Livebildes durch Scheinwerfer beleuchtet werden. Historische Bilder umfassen auch Bereiche, die zum Zeitpunkt der Aufnahme durch Scheinwerfer beleuchtet werden. Für die aktuelle Position des Fahrzeugs würde dieser Teil der Umgebung (z.B. unter dem Fahrzeug) jedoch nicht mehr von den Fahrzeugscheinwerfern beleuchtet. Bestimmte Ausführungsformen der vorliegenden Erfindung können dazu dienen, den Eindruck zu vermeiden, dass Bereiche unter dem Fahrzeug in einem zusammengesetzten Bild direkt von Scheinwerfern beleuchtet werden, indem sichergestellt wird, dass die Bildeigenschaften für historische Bildteile mit den Bildeigenschaften für benachbarte Livebilder übereinstimmen.
  • Gemäß bestimmten Ausführungsformen der vorliegenden Erfindung können Diskontinuitäten zwischen Live- und historischen Bildern gemildert werden, indem die Bildeigenschaften der historischen Bilder, Livebilder oder beider angepasst werden, um ein höheres Maß an Konsistenz zu gewährleisten. Dies kann ein scheinbar nahtloses zusammengesetztes Bild oder zumindest ein zusammengesetztes Bild ergeben, wenn solche Nähte weniger sichtbar sind. In einigen Fällen kann es vorzuziehen sein, die Bildeigenschaften nur historischer Bilder anzupassen oder die Bildeigenschaften historischer Bilder stärker als die von Livebildern anzupassen. Dies kann daran liegen, dass Livebilder naturgemäß Regionen beinhalten oder ähneln können, die direkt vom Fahrer beobachtet werden können, und es kann wünschenswert sein, zu vermeiden, dass das zusammengesetzte Bild unähnlich der direkt beobachteten Umgebung erscheint.
  • Gemäß bestimmter Ausführungsformen können bei der Speicherung von Bildern (oder Bildsplittern) in einem Einzelbildpuffer oder Einzelbildspeicher, wie vorstehend in Verbindung mit Schritt 608 von 6 beschrieben, auch die auf das Videobild und/oder die aufgenommenen Bildeigenschaften angewandten Einstellungen gespeichert werden. Dies kann neben den gespeicherten Koordinateninformationen erfolgen. So können beispielsweise Einstellungen und aufgenommene Bildeigenschaften in einem eingebetteten Datensatz des Bildes gespeichert werden, als Bild-Metadaten oder separat und korreliert innerhalb der gespeicherten Bilder. Zum Zeitpunkt der Kombination von Live- und historischen Bildern zu einem zusammengesetzten Bild können die Bildeigenschaften oder Einstellinformationen zwischen dem Live- und dem historischen Bild verglichen werden. Die Bildeigenschaften von historischen Bildern, Livebildern oder beidem können angepasst werden, um das Auftreten von Diskontinuitäten zu reduzieren. Es kann davon ausgegangen werden, dass dadurch historische Videodaten an eine Live-Szene angepasst werden können. Eine solche Anpassung der Bildeigenschaften kann sich über das gesamte historische Bild oder die Livebilder erstrecken. Alternativ kann die Bildeinstellung im Bereich der Nähte fokussiert oder über Bildbereiche gemischt werden. Als weitere Option kann das gesamte oder ein wesentlicher Teil eines historischen Bildes auf Konsistenz mit den Bildeigenschaften für Bildbereiche eines Livebildes neben dem historischen Bild im zusammengesetzten Bild angepasst werden. Vorteilhafterweise kann die letztgenannte Option den Effekt der Scheinwerferbeleuchtung in historischen Bildern mildern, indem sie ihre Eigenschaften an benachbarte Abschnitte eines Livebildes anpasst, die nicht direkt von Scheinwerfern beleuchtet werden. Jeder Abschnitt des historischen oder Live-Bildes, der Teil eines zusammengesetzten Bildes ist, kann separat verarbeitet werden, oder historische und Live-Abschnitte können als einzelne Bereiche zum Zwecke der Anpassung der Bildeigenschaften behandelt werden.
  • Gemäß einer Ausführungsform beim Speichern von Bildeigenschaften kann ein Bildprozessor eine kleine Anzahl von Einzelbildern, beispielsweise vier Einzelbildern, puffern und Durchschnittsstatistiken berechnen, die in Verbindung mit jedem Einzelbild gespeichert werden sollen. Dies kann für einen Rollwagenpuffer durchgeführt werden. Zusätzlich oder alternativ kann diese Technik zur Mittelung der Bildeigenschaften über eine kleine Gruppe von Einzelbildern auf Livebilder angewendet werden, um die Bildeigenschaften von Livebildern zum Vergleich mit denen von historischen Bildern zu bestimmen. Eine solche Mittelung kann als Archivierung der Bildeigenschaften durch einen Mittelungsfilter bezeichnet werden. Vorteilhaft ist, dass solche Mittelungstechniken die möglichen negativen Auswirkungen eines einzelnen historischen oder Live-Bildes mit radikal unterschiedlichen Bildeigenschaften im Vergleich zu vorhergehenden oder nachfolgenden Bildern mildern. Dies reduziert insbesondere die Auswirkungen von sehr kurzzeitigen Helligkeitsänderungen, die sonst zu Flackern führen könnten. Solche kurzzeitigen Helligkeitsänderungen können auftreten, wenn das Fahrzeug durch Schatten fährt, z.B. unter Bäumen, wo der Schatten schnell die Helligkeit zwischen aufeinanderfolgend aufgenommenen Bildern anpassen kann. Dies reduziert auch das Bild eines Fehlers der Extraktionsfunktion für Bildeigenschaften, der sich auf nur ein aufgenommenes Bild in einer Reihe von aufgenommenen Bildern auswirken kann.
  • Wenn beispielsweise die Livebilder auf diese Weise gemittelt werden, kann jedes historische Bild oder jede Gruppe von historischen Bildern so verarbeitet werden, dass sie den aktuellen oder rollierenden durchschnittlichen Bildeigenschaften von Livebildern entsprechen. Insbesondere kann am Beispiel der betrachteten Bildeigenschaft, die der Weißabgleich (oder allgemeiner der Farbbalance) ist, für jedes von einer Gruppe von vier Live-Bildern der Weißabgleich WB gemäß der folgenden Gleichung (1) berechnet und gemittelt werden, um den durchschnittlichen Weißabgleich AVGWB zu erhalten. Geeignete statistische Techniken für die Berechnung eines Bildweißabgleichs oder einer anderen Farbbalance-Eigenschaft sind dem Fachmann bekannt oder stehen ihm zur Verfügung. ( WB1 + WB2 + WB3 + WB4 ) _ / 4 = AVGWB _
    Figure DE112018000858T5_0001
  • Ausgehend von der Kenntnis des durchschnittlichen Weißabgleichs für eine Gruppe von Livebildern kann der Weißabgleich für ein historisches Bild (HWB) verglichen werden, um einen Unterschied im Weißabgleich (XWB) gemäß Gleichung (2) zu bestimmen. Es ist zu beachten, dass XWB positiv oder negativ sein kann. HWB _ − AVGWB = XWB _
    Figure DE112018000858T5_0002
  • Nach der Bestimmung der Differenz des Weißabgleichs kann der Weißabgleich eines historischen Bildes entsprechend dem durchschnittlichen Weißabgleich des Livebildes gemäß Gleichung (3) angepasst werden, um einen angepassten historischen Bild Weißabgleich HWB'zu erhalten. Geeignete Techniken zur Einstellung des Farbgleichgewichts eines Bildes sind dem Fachmann bekannt oder stehen ihm zur Verfügung. HWB − XWB = HWB' ⋅ _
    Figure DE112018000858T5_0003
  • In den Gleichungen (1) bis (3) kann die jeweilige WB- oder HWB-Eigenschaft für ein ganzes Bild oder einen Teil eines Bildes sein. In den obigen Gleichungen (2) und (3) ist zu beachten, dass der historische Weißabgleich auch den durchschnittlichen Weißabgleich für eine Gruppe von historischen Bildern umfassen kann. In beiden Fällen kann die Gruppengröße von vier abweichen. Die vorstehend beschriebene Technik in Verbindung mit den Gleichungen (1) bis (3) kann gleichermaßen auf jede andere Bildeigenschaft angewendet werden, zum Beispiel auf die Bildbelichtung. Bildeigenschaftsinformationen für historische Bilder können pro Bild (oder Bildstreifen) oder pro Gruppe von Bildern gespeichert werden. Wenn durchschnittliche Bildeigenschaften gespeichert sind, kann dies separat für Bilder von jeder Kamera oder gemittelt über zwei oder mehr Kameras durchgeführt werden. Die gespeicherten Bildeigenschaften können über feste Bildgruppen gemittelt oder aus einem rollierenden Bildspeicher entnommen und für jedes historische Bild einzeln gespeichert werden.
  • Wie bereits erwähnt, kann es in einer Alternative zu Gleichung (3) sein, dass nach der Berechnung der Differenz der Bildeigenschaften zwischen historischen Bildern und Livebildern diese Differenz auf die Livebilder angewendet wird, so dass die Livebilder mit den historischen Bildern übereinstimmen, indem (zum Beispiel der Weißabgleich) die Weißabgleichsdifferenz XWB zum Weißabgleich WB für mindestens ein Livebild hinzugefügt wird. In manchen Situationen kann es nachteilig sein, die Bildeigenschaften eines Livebildes anzupassen. Befindet sich beispielsweise eine Lichtquelle im Sichtfeld eines Livebildes, kann eine Anpassung der Bildeigenschaften des Livebildes an ein historisches Bild zu einer Überbelichtung des Livebildes führen, wodurch das Bild ausgewaschen erscheint. Darüber hinaus ist es, wie vorstehend erläutert, in einigen Situationen wünschenswert, dass Livebilder so nah wie möglich an der Umgebung des Fahrzeugs erscheinen, wenn sie direkt vom Fahrer gesehen werden.
  • Die Anpassung der Bildeigenschaften für historische oder Live-Bilder kann als Teil von Schritt 612 durchgeführt werden, der in 6 dargestellt und vorstehend beschrieben ist, wobei historische Bilder während der Erzeugung eines zusammengesetzten Bildes in einen blinden Fleck des Livebildes eingepasst werden. Unter Bezugnahme auf wird nun ein System zur Bildung eines zusammengesetzten Bildes beschrieben, das sich auf die Anpassung der Bildeigenschaften konzentriert, um Bilddiskontinuitäten zu vermeiden. 9 kann als eine Erweiterung der Abschnitte Kamera 810 und Prozessor 804 von 8 betrachtet werden. Es ist zu beachten, dass die Beschreibungen der und komplementär sind, obwohl sie verschiedene Aspekte der Erzeugung eines zusammengesetzten Bildes erläutern sollen. Insbesondere die vorstehend dargestellte detaillierte Erläuterung zur Bestimmung eines Mustererkennungsbereichs und der Mustererkennung für überlagerte Live- und historische Bilder gilt für bestimmte Ausführungsformen der Erfindung zur Anpassung der Bildeigenschaften, wie nachfolgend beschrieben.
  • Wie bereits beschrieben, kann ein Fahrzeugkamerasystem eine oder mehrere Kameras 910 beinhalten. Die Kamera 910 liefert ein Livebild wie bei 902 angegeben und stellt auch einen Ausgang 904 für eine oder mehrere Bildeigenschaften zur Verfügung. Die in 9 bei Punkt 904 identifizierten spezifischen Bildeigenschaften für Livebilder beinhalten Dynamikbereich (Dynamic Range (DR)), Gamma und Weißabgleich (R,G,B). Weitere Bildeigenschaften (hierin alternativ als Bildeigenschaften bezeichnet) sind Chroma und Farbsättigung. Es ist zu beachten, dass die vorliegende Erfindung nicht auf diese besonderen Bildeigenschaften in Kombination beschränkt ist. Jede Bildeigenschaft oder Gruppe von Bildeigenschaften, die gemessen und angepasst werden können, um Bilddiskontinuitäten in einem zusammengesetzten Bild zu reduzieren, kann aufgenommen werden, einschließlich Bildeigenschaften, die nicht ausdrücklich aufgeführt sind. Der Weißabgleich wurde bereits beschrieben. Der Farbausgleich kann für ein Dreikomponentenbild durchgeführt werden, z.B. Rot, Grün, Blau. Jede bekannte Messung der Farbbalance kann gemessen und von der Kamera 910 für ein Livebild ausgegeben werden. Der Dynamikbereich bezieht sich auf die Option für die Kamera 910, die eine HDR-Kamera (High Dynamic Range) umfasst, bei der mehrere Bilder mit unterschiedlichen Belichtungswerten aufgenommen werden. Die Dynamikbereichsinformation zeigt den Bereich und/oder die Absolutwerte für die Belichtung jedes Bildes an. Die Mehrfachbelichtungen können zu einem einzigen Bild mit einem größeren Dynamikbereich der Helligkeit kombiniert werden. Gamma ist ein Maß für die Bildhelligkeit. Es ist zu beachten, dass alternative Messungen der Bildhelligkeit verwendet werden können.
  • Die Live-Bilddaten 902 und die entsprechenden Bildeigenschaftsdaten werden dem Elektronischen Steuergerät (ECU) 906 zugeführt, wobei zu beachten ist, dass alternativ ein separates Bildverarbeitungssystem eingesetzt werden kann. Die vorliegende Erfindung ist nicht auf eine bestimmte Hard- oder Softwareimplementierung beschränkt. Insbesondere können Livebilder direkt an ein Ausgabe-Verbundbild 908 weitergeleitet werden (zur Darstellung auf einer Fahrzeuganzeige, beispielsweise im Kombiinstrument, und nicht in dargestellt). Alternativ können die Livebilder an Punkt 910 beispielsweise durch entsprechendes Skalieren, Strecken oder Puffern verarbeitet werden, bevor sie dem Ausgangsbild 908 zugeführt werden. Ebenso werden die Bildeigenschaftsdaten für Livebilder an Punkt 912 empfangen. Die Live-Bilddaten 912 werden vom Steuergerät im Rahmen der historischen Bildkorrektur an Punkt 914 verwendet, z.B. wie vorstehend in Verbindung mit den Gleichungen (1) bis (3) beschrieben und wie vorstehend in Verbindung mit 10 näher beschrieben. Die historische Bildkorrektur übernimmt weiterhin als Eingaben gespeicherte historische Bilder 916 und Bildeigenschaftsdaten 918 für historische Bilder. Die historischen Bilder 916 und die Bildeigenschaftsdaten 918 für historische Bilder können innerhalb des ECU 906 gepuffert oder separat gepuffert werden, wie beispielsweise im separaten Puffer 806 von dargestellt. Es ist zu beachten, dass die historischen Bilder 916 und die Bildeigenschaftsdaten 918 letztlich vom Kamerasystem 910 abgeleitet sind, obwohl in aus Gründen der Einfachheit kein direkter Zusammenhang dargestellt ist.
  • Das Ausgabebild 908 beinhaltet sowohl mindestens ein Livebild 921 als auch mindestens ein historisches Bild 923, die entsprechend der Übereinstimmung mit dem Livebild angepasst sind. Das Verfahren, bei dem die Bilder zu einem Ausgabe-Verbundbild 908 zusammengefügt werden, wurde vorstehend in Verbindung mit 6 beschrieben.
  • Unter Bezugnahme auf 10 wird nun ein Verfahren zur historischen Bildkorrektur gemäß bestimmter Ausführungsformen der vorliegenden Erfindung näher beschrieben. Insbesondere implementiert das Verfahren von 10 die historische Bildkorrektur von Teil 914 von 9. Das Verfahren nimmt eine Reihe von Bildeigenschaften für Live- und historische Bilder als Eingaben. Das Verfahren der betrachtet aus Gründen der Einfachheit eine Situation, in der es ein einzelnes Live- und ein einzelnes historisches Bild gibt, die in einem zusammengesetzten Bild nebeneinander dargestellt werden sollen und in der es wünschenswert ist, die Bildeigenschaften des historischen Bildes oder des Livebildes anzupassen. Es werden drei spezifische Bildeigenschaften berücksichtigt, um diese Anpassung durchzuführen. Darüber hinaus betrachtet eine Situation, in der jede Bildeigenschaft in Bezug auf das gesamte Bild berechnet (und angepasst) wird. Aus der vorangegangenen Diskussion wird der Fachmann leicht erkennen können, wie das Verfahren der auf andere Situationen ausgedehnt werden kann, in denen mehrere Bilder verarbeitet werden und/oder nur Teile von Bildern verarbeitet werden, sowie auf alternative Bildeigenschaften, die verarbeitet werden.
  • Ein erster Teil der Bildkorrektur von betrifft den Dynamikumfang der Live- und historischen Bilder. Das Verfahren empfängt als Eingaben ein Maß für den Dynamikumfang für ein historisches Bild (Schritt 1000) und ein Maß für den Dynamikumfang für ein Livebild (Schritt 1002). Der Dynamikbereich eines Bildes kann mit einem Algorithmus der automatischen Belichtungssteuerung der Kamera gemessen werden, um die Belichtungszeiten basierend auf der Beleuchtung der Szene anzupassen. Diese Beziehung zwischen Belichtungszeit und dynamischem Bereich kann für jeden Sensortyp einzigartig sein, da sie hauptsächlich von der Empfindlichkeit des Sensors und dem automatischen Belichtungssteuerungsalgorithmus des Bildsignalprozessors (ISP) abhängig ist.
  • Bei Schritt 1004 wird ein Dynamikbereichskorrekturfaktor berechnet, indem der Dynamikumfang des Livebildes durch den Dynamikumfang des historischen Bildes dividiert wird, um bei Schritt 1006 einen Dynamikbereichskorrekturfaktor bereitzustellen. Der Dynamikbereich (DR) ist in ISO 15730 als DR=Lsat/Lmin als Berechnungsverfahren des Kameradynamikbereichs definiert. Diese Terminologie wird verwendet, um den Dynamikbereich der Szene bei Sensor- und ISP-Lieferanten zu beschreiben, wobei sie Lmin als Rauschboden des Sensors nehmen. Das Wissen, dass Lmin für unseren Sensor konstant ist und die Belichtungswerte und Gewichtungen angepasst werden, so dass Lsat im Bild als digital maximiert angezeigt wird. Eine Dynamikkorrektur kann dann als Verstärkung für die Formel angewendet werden.
  • Ebenso empfängt das Verfahren als Eingaben ein Maß für das Gamma für ein historisches Bild (Schritt 1008) und ein Maß für das Gamma für ein Livebild (Schritt 1010). Gamma (auch Tonemapping-Kurve genannt) wird von ISPs oder Sensorlieferanten als einstellbare Kurve gegenüber DR bereitgestellt. Da das Bild an eine neue Szene mit einer neuen DR angepasst wird, ist es auch notwendig, Gamma zu kompensieren. Gamma ist an die Szene angepasst, wird aber als Teil einer adaptiven Einstellung einer Kamera aufgenommen. Es ist nicht notwendig, dies von der Kamera aus zu messen, sondern es kann von der Gamma-Berechnungsmethode des ISP oder Sensorlieferanten abhängig sein. Die Gammakorrektur ist dem Fachmann gut bekannt, z.B. wie unter https://en.wikipedia.org/wiki/Gamma_correction beschrieben.
  • Bei Schritt 1012 wird ein Gammakorrekturfaktor berechnet, indem das Gamma des historischen Bildes vom Gamma des Livebildes subtrahiert wird, um einen Gammakorrekturfaktor 1014 bereitzustellen.
  • Ebenso empfängt das Verfahren als Eingaben ein Maß für den Weißabgleich für ein historisches Bild (Schritt 1016) und ein Maß für den Weißabgleich für ein Livebild (Schritt 1018). Die Farbtemperatur (Color Temperature (CT)) des Lichts in der Szene wird erkannt, um den Weißabgleich zu aktivieren. Das Ziel des Weißabgleichs ist es, einen Korrekturfaktor auf das Bild anzuwenden, so dass die Farbtemperatur des Lichts in der Szene im Bild weiß erscheint.
  • Bei den Schritten 1020 und 1022 wird eine Umgebungslichtfarbtemperatur (CT) für jedes der historischen Bilder und das Livebild separat berechnet. Ein automatischer Weißabgleich-Algorithmus erfordert Kenntnisse der Farbtemperatur der Szene, um den korrigierten Weißabgleich anzuwenden. Dies kann für verschiedene Sensor- und ISP-Anbieter spezifisch sein.
    Die berechnete Umgebungslichtfarbtemperatur wird dann verwendet, um die Eingänge 1024 und 1026 in Bezug auf die Farbtemperatur jedes Bildes bereitzustellen. Bei Schritt 1028 wird die Farbtemperatur jedes Bildes verwendet, um eine YCbCr-Konversionsmatrix zu bestimmen, die vom Fachmann gut verstanden wird.
  • Der Dynamikbereichskorrekturfaktor 1006, der Gammakorrekturfaktor 1014 und die YCbCr-Konversionsmatrix 1028 können dann auf das historische Bild (oder einen Teil des historischen Bildes) angewendet werden, um das historische Bild entsprechend der Konsistenz mit dem Livebild anzupassen. Bei dem Verfahren von 10 wird diese Bildjustierung durch eine Look-Up-Tabelle (LUT) 1030 durchgeführt, die die Rechenanforderungen an das Steuergerät oder ein separates Bildverarbeitungssystem vorteilhaft reduziert. Die LUT 1030 nimmt als Eingang 1032 die YCbCr-Informationen für ein historisches Bild. Insbesondere umfassen die historischen Bilddaten YCbCr-Daten für jedes Pixel. Bei Bedarf können diese YCbCr-Daten bei Schritt 1034 von einem Bereich von 0 bis 255 für jedes Pixel bis zu einem Bereich von -128 bis 128 für jedes Pixel angepasst werden. In einigen eingebetteten Systemen werden Cb- und Cr-Daten von 0-255 gespeichert, wobei ihr Bereich im YCbCr-Farbraum von -128 bis +128 definiert ist. Das Cb- und Cr-Datenformat in einem eingebetteten System ist implementierungsspezifisch, so dass Schritt 1034 möglicherweise nicht erforderlich ist oder sich für verschiedene Implementierungen unterscheiden kann. Die LUT führt dann die Bildkorrektur für jedes Pixel gemäß Gleichung (4) durch: Y o u t = D R _ K o r r e k t u r f a k t o r ∗ Y i n g a m m a _ K o r r e k t u r f a k t o r C b o u t = D R _ K o r r e k t u r f a k t o r ∗ C b i n g a m m a _ K o r r e k t u r f a k t o r C r o u t = D R _ K o r r e k t u r f a k t o r ∗ C r i n g a m m a _ K o r r e k t u r f a k t o r + Y C b C r   C T − K o n v e r t i e r u n g s m a t r i x
    Figure DE112018000858T5_0004
  • Schritt 1030 umfasst die Anwendung der Korrekturfaktoren auf ein historisches Bild, nachdem sie berechnet wurden. Die CT-Konversionsmatrix kann eine 3×3-Korrekturmatrix umfassen, die auf die korrigierten Y-, Cb- und Cr-Werte für jedes Pixel des historischen Bildes angewendet wird. Eine Nachschlagetabelle kann erzeugt werden, indem zunächst alle Werte von 0-255 für alle YCbCr-Werte berechnet werden. Dies kann die Verarbeitung des historischen Bildes vereinfachen, wenn Sie nur in der Tabelle nachschlagen müssen, anstatt die Berechnung für jedes Pixel durchzuführen.
  • Bei Schritt 1036 können die aktualisierten YCbCr-Daten bei Bedarf von einem Bereich von -128 bis 128 für jedes Pixel bis zu einem Bereich von 0 bis 255 für jedes Pixel angepasst werden. In einigen eingebetteten Systemen werden Cb- und Cr-Daten von 0-255 gespeichert, wobei ihr Bereich im YCbCr-Farbraum von -128 bis +128 definiert ist. Das Cb- und Cr-Datenformat im eingebetteten System ist implementierungsspezifisch, so dass Schritt 1036 weggelassen oder für verschiedene Implantationen modifiziert werden kann. Bei Schritt 1038 wird das aktualisierte historische Bild zur weiteren Verarbeitung ausgegeben, um zu einem zusammengesetzten Bild kombiniert zu werden, einschließlich durch das Musterabgleichsverfahren von 6 oder durch geeignetes Skalieren und Strecken (oder dies kann dem Verfahren zur Harmonisierung der Bildeigenschaften von 10 vorausgehen).
  • Es ist zu beachten, dass das Verfahren der nur als Beispiel dient und je nach Art und Anzahl der berechneten Bildeigenschaften geändert werden kann. Insbesondere die Art und Weise, wie die Korrekturfaktoren für die Bildeigenschaften berechnet und auf die Bilddaten angewendet werden, kann je nach Art der Bildeigenschaften und dem gewünschten Änderungsgrad für historische Bilder variieren. Als ein Beispiel können berechnete Korrekturfaktoren für die Bildeigenschaften skaliert werden, um ihre Auswirkungen insgesamt oder im Vergleich zu anderen Korrekturfaktoren zu erhöhen oder zu verringern. Als weiteres Beispiel können die Korrekturfaktoren so skaliert werden, dass ihre Wirkung in verschiedenen Bereichen eines Bildes variiert. Jede Bildeigenschaft kann eine Eigenschaft des Bildes angeben, die aus dem Bild selbst abgeleitet oder berechnet werden kann. Alternativ kann eine Bildeigenschaft eine Einstellung einer Bildaufnahmevorrichtung zur Aufnahme des Bildes oder einen bei der Aufnahme des Bildes vorherrschenden Umgebungsfaktor angeben, von dem keine direkt am Bild selbst erkennbar ist, der aber das Erscheinungsbild des Bildes beeinflussen kann.
  • Es ist zu beachten, dass Ausführungsformen der vorliegenden Erfindung in Form von Hardware, Software oder einer Kombination von Hard- und Software realisiert werden können. Insbesondere kann das Verfahren der 6 und 11 in Hard- und/oder Software implementiert werden. Eine solche Software kann in Form eines flüchtigen oder nichtflüchtigen Speichers, wie beispielsweise einer Speichervorrichtung wie einem ROM, ob löschbar oder wiederbeschreibbar oder nicht, oder in Form eines Speichers, wie beispielsweise RAM, Speicherchips, Vorrichtung oder integrierte Schaltungen, oder auf einem optisch oder magnetisch lesbaren Medium, wie beispielsweise einer CD, DVD, Magnetplatte oder Magnetband, gespeichert werden. Es ist zu beachten, dass die Speichervorrichtungen und Speichermedien Ausführungsformen maschinenlesbarer Speicher sind, die sich zur Speicherung eines Programms oder von Programmen eignen, die bei ihrer Ausführung Ausführungsformen der vorliegenden Erfindung umsetzen. Dementsprechend stellen Ausführungsformen ein Programm bereit, das einen Code zum Implementieren eines Systems oder Verfahrens, wie in einem früheren Anspruch gefordert, und einen maschinenlesbaren Speicher, der ein solches Programm speichert. Darüber hinaus können Ausführungsformen der vorliegenden Erfindung elektronisch über jedes Medium übertragen werden, wie beispielsweise ein Kommunikationssignal, das über eine drahtgebundene oder drahtlose Verbindung übertragen wird, und Ausführungsformen, die diese entsprechend umfassen.
  • Alle in dieser Spezifikation offenbarten Merkmale (einschließlich aller zugehörigen Ansprüche, Abstraktionen und Zeichnungen) und/oder alle Schritte eines so offenbarten Verfahrens oder Prozesses können in jeder Kombination kombiniert werden, es sei denn, es handelt sich um Kombinationen, bei denen sich mindestens einige dieser Merkmale und/oder Schritte gegenseitig ausschließen.
  • Jedes in dieser Spezifikation offenbarte Merkmal (einschließlich aller damit verbundenen Ansprüche, Abstraktionen und Zeichnungen) kann durch alternative Merkmale ersetzt werden, die dem gleichen, gleichwertigen oder ähnlichen Zweck dienen, sofern nicht ausdrücklich etwas anderes angegeben ist. Sofern nicht ausdrücklich anders angegeben, ist jedes offenbarte Merkmal nur ein Beispiel für eine generische Reihe von gleichwertigen oder ähnlichen Merkmalen.
  • Die Erfindung beschränkt sich nicht auf die Details der vorgenannten Ausführungsformen. Die Erfindung erstreckt sich auf jede neue oder neuartige Kombination der in dieser Spezifikation offenbarten Merkmale (einschließlich aller zugehörigen Ansprüche, Abstraktionen und Zeichnungen) oder auf jede neue oder neuartige Kombination der Schritte eines so offenbarten Verfahrens oder Prozesses. Die Ansprüche sind nicht nur auf die vorgenannten Ausführungsformen, sondern auch auf alle Ausführungsformen, die in den Geltungsbereich der Ansprüche fallen, auszulegen.

Claims (20)

  1. Ein Anzeigeverfahren zur Verwendung in einem Fahrzeug, wobei das Verfahren umfasst: Erhalten erster und zweiter Bilder, die benachbarte oder überlappende Bereiche außerhalb des Fahrzeugs zeigen, wobei die ersten und zweiten Bilder zu verschiedenen Zeitpunkten aufgenommen werden; Erhalten mindestens einer Bildeigenschaft für jedes der ersten und zweiten Bilder; Berechnen eines Bildkorrekturfaktors als Funktion der mindestens einen Bildeigenschaft für jedes der ersten und zweiten Bilder; Einstellen des Aussehens des ersten Bildes und/oder des zweiten Bildes gemäß dem berechneten Bildkorrekturfaktor; Erzeugen eines zusammengesetzten Bildes aus dem ersten Bild oder einem angepassten ersten Bild und dem zweiten Bild oder einem angepassten zweiten Bild; und Anzeigen mindestens eines Teils des zusammengesetzten Bildes; wobei für mindestens eines der ersten und zweiten Bilder die mindestens eine erhaltene Bildeigenschaft in Bezug auf eine Gruppe von Bildern einschließlich des ersten oder zweiten Bildes ist.
  2. Anzeigeverfahren nach Anspruch 1, worin die Gruppe von Bildern, die das erste oder zweite Bild beinhaltet, zwei oder mehr Bilder umfasst, die nacheinander von einer einzigen Bilderfassungsvorrichtung erfasst wurden.
  3. Anzeigeverfahren nach Anspruch 1 oder Anspruch 2, worin die in Bezug auf die Gruppe von Bildern, die das erste oder zweite Bild beinhaltet, erhaltene Bildeigenschaft, einen Durchschnitt der in Bezug auf jedes der Bilder der Gruppe von Bildern erhaltenen Bildeigenschaften umfasst.
  4. Anzeigeverfahren nach einem der vorhergehenden Ansprüche, wobei das erste und zweite Bild von mindestens einer Bilderfassungsvorrichtung erfasst werden, die am oder im Fahrzeug montiert ist, um Bilder der Umgebung außerhalb des Fahrzeugs aufzunehmen.
  5. Anzeigeverfahren nach einem der vorhergehenden Ansprüche, wobei die mindestens eine Bildeigenschaft eine Eigenschaft des Bildes, eine Einstellung mindestens einer Bilderfassungsvorrichtung, die zum Erfassen des Bildes verwendet wird, oder einen Umgebungsfaktor zum Zeitpunkt der Aufnahme des Bildes, anzeigt.
  6. Anzeigeverfahren nach einem der vorhergehenden Ansprüche, wobei das erste Bild zu einem ersten Zeitpunkt und das zweite Bild zu einem zweiten, späteren Zeitpunkt erfasst wird, wobei sich das Fahrzeug zwischen dem ersten und zweiten Zeitpunkt bewegt hat.
  7. Anzeigeverfahren nach Anspruch 6, wobei das erste Bild vor seiner Verwendung gepuffert wird, um ein zusammengesetztes Bild zu erzeugen.
  8. Anzeigeverfahren nach Anspruch 7, wobei die mindestens eine Bildeigenschaft in Bezug auf das erste Bild in Verbindung mit dem ersten Bild gespeichert wird.
  9. Anzeigeverfahren nach einem der Ansprüche 6 bis 8, wobei das erste Bild ein zeitverzögertes Bild und das zweite Bild ein Livebild ist.
  10. Anzeigeverfahren gemäß einem der vorhergehenden Ansprüche, wobei das erste und zweite Bild von einer einzelnen, am Fahrzeug montierten Kamera oder mehreren, separaten, am Fahrzeug montierten Kamerasaufgenommen werden.
  11. Anzeigeverfahren nach einem der vorhergehenden Ansprüche, wobei das Einstellen des Aussehens des ersten Bildes und/oder des zweiten Bildes gemäß dem berechneten Bildkorrekturfaktor das Einstellen des gesamten oder nur eines Teils des ausgewählten ersten und/oder zweiten Bildes umfasst.
  12. Anzeigeverfahren nach einem der vorhergehenden Ansprüche, wobei für mindestens eines der ersten oder zweiten Bilder die erhaltene mindestens eine Bildeigenschaft in Bezug auf das Ganze oder nur einen Teil des Bildes steht.
  13. Anzeigeverfahren nach Anspruch 12, worin der Abschnitt des Bildes einen Bildabschnitt umfasst, der sich mit dem anderen des ersten und zweiten Bildes überlappt oder benachbart ist.
  14. Anzeigeverfahren nach einem der vorstehenden Ansprüche, worin die mindestens eine Bildeigenschaft mindestens einen von: Weißabgleich, Bildgamma, Dynamikbereich, Chroma und Farbsättigung, umfasst.
  15. Anzeigeverfahren nach einem der vorhergehenden Ansprüche, worin das zusammengesetzte Bild eine dreidimensionale, 3D-Darstellung oder eine zweidimensionale, 2D-Darstellung der das Fahrzeug umgebenden Umgebung umfasst, die sich zumindest teilweise unter dem Fahrzeug erstreckt.
  16. Anzeigeverfahren nach einem der vorhergehenden Ansprüche, wobei das zusammengesetzte Bild so dargestellt wird, dass es über einem Abschnitt eines Bildes des Fahrzeugs liegt, um den Eindruck zu erwecken, dass der Abschnitt des Fahrzeugs zumindest teilweise transparent ist.
  17. Ein Computerprogrammprodukt, das einen Computerprogrammcode speichert, der bei Ausführung so eingerichtet ist, dass er das Verfahren nach einem der Ansprüche 1 bis 16 durchführt.
  18. Eine Anzeigevorrichtung zur Verwendung mit einem Fahrzeug, umfassend: eine Bildaufnahmevorrichtung, die angeordnet ist, um erste und zweite Bilder zu erhalten, die benachbarte oder überlappende Bereiche außerhalb des Fahrzeugs zeigen, wobei das erste und zweite Bild zu verschiedenen Zeitpunkten aufgenommen werden; eine Anzeige, die zum Anzeigen eines zusammengesetzten Bildes angeordnet ist; ein Speichermittel, das zum Speichern von Bilddaten eingerichtet ist; und einen Prozessor, der angeordnet ist, zum: Erhalten mindestens einer Bildeigenschaft für jedes der ersten und zweiten Bilder; Berechnen eines Bildkorrekturfaktors als Funktion der mindestens einen Bildeigenschaft für jedes der ersten und zweiten Bilder; Anpassen des Aussehens des ersten Bildes und/oder des zweiten Bildes entsprechend dem berechneten Bildkorrekturfaktor ; Erzeugen eines zusammengesetzten Bildes aus dem ersten Bild oder einem angepassten ersten Bild und dem zweiten Bild oder einem angepassten zweiten Bild; und bewirken, dass die Anzeige mindestens einen Teil des zusammengesetzten Bildes anzeigt, wobei für mindestens eines der ersten und zweiten Bilder die mindestens eine erhaltene Bildeigenschaft in Bezug auf eine Gruppe von Bildern einschließlich des ersten oder zweiten Bildes ist.
  19. Anzeigevorrichtung nach Anspruch 18, wobei der Prozessor ferner angeordnet ist, um das Verfahren nach einem der Ansprüche 1 bis 16 durchzuführen.
  20. Fahrzeug, umfassend die Anzeigevorrichtung nach Anspruch 18 oder Anspruch 19.
DE112018000858.4T 2017-02-16 2018-02-02 Vorrichtung und Verfahren zur Anzeige von Informationen Pending DE112018000858T5 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1702533.9 2017-02-16
GB1702533.9A GB2559758B (en) 2017-02-16 2017-02-16 Apparatus and method for displaying information
PCT/EP2018/052654 WO2018149665A1 (en) 2017-02-16 2018-02-02 Apparatus and method for displaying information

Publications (1)

Publication Number Publication Date
DE112018000858T5 true DE112018000858T5 (de) 2019-10-24

Family

ID=58486854

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112018000858.4T Pending DE112018000858T5 (de) 2017-02-16 2018-02-02 Vorrichtung und Verfahren zur Anzeige von Informationen

Country Status (4)

Country Link
US (1) US11420559B2 (de)
DE (1) DE112018000858T5 (de)
GB (1) GB2559758B (de)
WO (1) WO2018149665A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021107346B4 (de) 2020-05-19 2023-03-02 GM Global Technology Operations LLC System und Verfahren zum Modifizieren einer Unterbodenkamera-Bildeinspeisung

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112740009A (zh) * 2018-09-21 2021-04-30 本田技研工业株式会社 车辆检查系统
CN112740007B (zh) * 2018-09-21 2023-06-30 本田技研工业株式会社 车辆检查系统
JP7208356B2 (ja) * 2018-09-26 2023-01-18 コーヒレント・ロジックス・インコーポレーテッド 任意の世界ビューの生成
JP7296713B2 (ja) * 2018-10-31 2023-06-23 株式会社小松製作所 表示制御システム、表示制御方法および遠隔操作システム
GB2582262B (en) 2019-03-02 2022-09-28 Jaguar Land Rover Ltd Imaging system and method
JP2020183166A (ja) 2019-05-07 2020-11-12 アルパイン株式会社 画像処理装置、画像処理システム、画像処理方法、及びプログラム
EP3745715A1 (de) * 2019-05-29 2020-12-02 Continental Automotive GmbH Verfahren zur darstellung eines harmonisierten verdeckten bereichs einer umgebung einer mobilen plattform
JP7384343B2 (ja) * 2019-07-12 2023-11-21 株式会社東海理化電機製作所 画像処理装置、画像処理プログラム
DE102020105711A1 (de) * 2020-03-03 2021-09-09 Bayerische Motoren Werke Aktiengesellschaft Fahrerassistenzsystem
EP3979632A1 (de) * 2020-10-05 2022-04-06 Continental Automotive GmbH Kraftfahrzeugumgebungsanzeigesystem und -verfahren
US20220185182A1 (en) * 2020-12-15 2022-06-16 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Target identification for vehicle see-through applications
US11681297B2 (en) * 2021-03-02 2023-06-20 Southwest Research Institute Autonomous vehicle and self-location estimating method in autonomous vehicle

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080292211A1 (en) * 2002-04-02 2008-11-27 Frantz Robert H Vehicle exterior examination and search system
US7415134B2 (en) * 2005-05-17 2008-08-19 Honda Motor Co., Ltd. Traffic lane marking line recognition system for vehicle
JP4748082B2 (ja) * 2007-02-23 2011-08-17 トヨタ自動車株式会社 車両用周辺監視装置及び車両用周辺監視方法
JP4847913B2 (ja) * 2007-03-30 2011-12-28 日立建機株式会社 作業機械周辺監視装置
JP5112998B2 (ja) * 2008-09-16 2013-01-09 本田技研工業株式会社 車両周囲監視装置
WO2013016409A1 (en) * 2011-07-26 2013-01-31 Magna Electronics Inc. Vision system for vehicle
US9975482B2 (en) * 2013-02-01 2018-05-22 Eric Sinclair Systems and methods for traffic event detection for vehicles using rolling averages
GB2529408B (en) * 2014-08-18 2019-01-30 Jaguar Land Rover Ltd Display system and method
US10576892B2 (en) * 2016-03-24 2020-03-03 Ford Global Technologies, Llc System and method for generating a hybrid camera view in a vehicle
CN105946719A (zh) * 2016-06-17 2016-09-21 安徽理工大学 一种汽车全景环视辅助安全系统
EP3263405B1 (de) * 2016-06-27 2019-08-07 Volvo Car Corporation Rundumsichtüberwachungssystem und -verfahren für fahrzeuge

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021107346B4 (de) 2020-05-19 2023-03-02 GM Global Technology Operations LLC System und Verfahren zum Modifizieren einer Unterbodenkamera-Bildeinspeisung

Also Published As

Publication number Publication date
WO2018149665A1 (en) 2018-08-23
US20200023772A1 (en) 2020-01-23
GB2559758A (en) 2018-08-22
GB2559758B (en) 2021-10-27
US11420559B2 (en) 2022-08-23
GB201702533D0 (en) 2017-04-05

Similar Documents

Publication Publication Date Title
DE112018000858T5 (de) Vorrichtung und Verfahren zur Anzeige von Informationen
DE112018000171T5 (de) Vorrichtung und Verfahren zur Anzeige von Informationen
DE112018000862T5 (de) Vorrichtung und Verfahren zur Anzeige von Informationen
DE102014107158B4 (de) Verbesserte Top-Down-Bilderzeugung in einem Frontbordstein-Visualisierungssystem
EP3353013B1 (de) Projizieren eines vorgebbaren lichtmusters
DE10296593B4 (de) Fahrunterstützungsvorrichtung
DE102010052942B4 (de) Rückwärtsblickendes multifunktionales Kamerasystem
DE102006003538B3 (de) Verfahren zum Zusammenfügen mehrerer Bildaufnahmen zu einem Gesamtbild in der Vogelperspektive
DE102012025322B4 (de) Kraftfahrzeug mit Kamera-Monitor-System
EP1504960B1 (de) Verfahren und Vorrichtung zur Verbesserung der Sicht in einem Kraftfahrzeug
DE102018201054A1 (de) System und Verfahren zur Bilddarstellung durch ein Fahrerassistenzmodul eines Fahrzeugs
CN111406275A (zh) 用于生成在预定目标视图中示出机动车辆和机动车辆的环境区域的输出图像的方法、相机系统以及机动车辆
DE10292327T5 (de) Fahrzeugumgebungsbildverarbeitungsvorrichtung und Aufzeichnungsmedium
DE102014107156A1 (de) Verbesserte perspektivische Bilderzeugung in einem Frontbordstein-Visualisierungssystem
DE112019001736T5 (de) Bildanzeigesystem, bildanzeigeverfahren, programm und fahrzeug einschliesslich des bildanzeigesystems
DE102014107155A1 (de) Verbessertes Frontbordstein-Visualisierungssystem
DE102014205078A1 (de) System zur Betrachtung eines Bordsteines in einem vorderen Bereich auf Basis von zwei Kameras
DE102018200963A1 (de) Head-up-anzeigevorrichtung und anzeigesteuerverfahren
DE102016114693A1 (de) Verfahren zum Unterstützen eines Fahrers eines Kraftfahrzeugs beim Führen des Kraftfahrzeugs, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102013103952A1 (de) Spurerkennung bei voller Fahrt mit einem Rundumsichtsystem
DE102013103953A1 (de) Spurerkennung bei voller Fahrt unter Verwendung mehrerer Kameras
DE102020109997A1 (de) System und Verfahren, um zuverlässige gestitchte Bilder zu machen
DE102017114611A1 (de) Verfahren zum Erzeugen zumindest eines fusionierten perspektivischen Bildes eines Kraftfahrzeugs und eines Umgebungsbereiches des Kraftfahrzeugs, Kamerasystem sowie Kraftfahrzeug
WO2014146864A1 (de) Verfahren und vorrichtung zum erstellen einer aufnahme eines gepulst aufleuchtenden objekts
EP3106349B1 (de) Sichtsystem für ein nutzfahrzeug zur darstellung von gesetzlich vorgeschriebenen sichtfeldern eines hauptspiegels und eines weitwinkelspiegels