DE112020002028T5 - Bildgebendes system und verfahren - Google Patents

Bildgebendes system und verfahren Download PDF

Info

Publication number
DE112020002028T5
DE112020002028T5 DE112020002028.2T DE112020002028T DE112020002028T5 DE 112020002028 T5 DE112020002028 T5 DE 112020002028T5 DE 112020002028 T DE112020002028 T DE 112020002028T DE 112020002028 T5 DE112020002028 T5 DE 112020002028T5
Authority
DE
Germany
Prior art keywords
image data
dimg1
dimg2
timestamp
time stamp
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE112020002028.2T
Other languages
English (en)
Inventor
Aaron Freeman-Powell
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jaguar Land Rover Ltd
Original Assignee
Jaguar Land Rover Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jaguar Land Rover Ltd filed Critical Jaguar Land Rover Ltd
Publication of DE112020002028T5 publication Critical patent/DE112020002028T5/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/665—Control of cameras or camera modules involving internal camera communication with the image sensor, e.g. synchronising or multiplexing SSIS control signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1215—Mirror assemblies combined with other articles, e.g. clocks with information displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253—Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

Aspekte der vorliegenden Erfindung beziehen sich auf ein System (1) zur Erzeugung von zusammengesetzten Bildern für ein Fahrzeug. Das System umfasst ein oder mehrere Steuergeräte (10). Das System (1) zur Erzeugung eines zusammengesetzten Bildes hat einen Eingang, der so konfiguriert ist, dass er erste Bilddaten (DIMG1) von einer ersten Abbildungsvorrichtung (C1) empfängt, wobei die ersten Bilddaten (DIMG1) einen ersten Zeitstempel (TST1-(t)) aufweisen, der einen Zeitpunkt angibt, zu dem die ersten Bilddaten (DIMG1) von der ersten Abbildungsvorrichtung (C1) erfasst wurden; und zweite Bilddaten (DIMG2) von einer zweiten Abbildungsvorrichtung (C2), wobei die zweiten Bilddaten (DIMG2) einen zweiten Zeitstempel (TST2-(t)) aufweisen, der eine Zeit angibt, zu der die zweiten Bilddaten (DIMG2) von der zweiten Abbildungsvorrichtung (C2) erfasst wurden. Die eine oder mehrere Steuereinheiten (10) sind so konfiguriert, dass sie den ersten Zeitstempel (TST1-(t)) mit dem zweiten Zeitstempel (TST2-(t)) vergleichen, um eine Zeitstempeldiskrepanz (TSTΔ) zu bestimmen. Der eine oder mehrere Controller (10) erzeugt zusammengesetzte Bilddaten (DIMG3), die zumindest einen Teil der ersten Bilddaten (DIMG1) und zumindest einen Teil der zweiten Bilddaten (DIMG2) umfassen. Die eine oder mehrere Steuereinrichtungen (10) sind ausgebildet, die Ausgabe der zusammengesetzten Bilddaten (DIMG3) in Abhängigkeit von der Zeitstempeldiskrepanz (TSTΔ) zu steuern. Die vorliegende Erfindung bezieht sich auch auf ein Fahrzeug und ein Verfahren zur Erzeugung eines zusammengesetzten Bildes.

Description

  • TECHNISCHES GEBIET
  • Die vorliegende Offenbarung bezieht sich auf ein Bildgebungssystem und -verfahren. Aspekte der Erfindung betreffen ein System zur Erzeugung zusammengesetzter Bilder, ein Bildverarbeitungssystem, ein Fahrzeug, ein Verfahren zur Verarbeitung eines Bildes, Computersoftware und ein nicht flüchtiges computerlesbares Medium.
  • HINTERGRUND
  • Aus der britischen Patentanmeldung Nr. GB 1414632.8 sind ein System und eine Vorrichtung zur Erzeugung eines zusammengesetzten Bildes eines Bereichs hinter einem an ein Zugfahrzeug angekoppelten Anhänger bekannt. Ein Steuergerät ist vorgesehen, um ein zusammengesetztes Bild zu erzeugen, indem ein erstes Bild, das von einer am Zugfahrzeug angebrachten Kamera aufgenommen wurde, und ein zweites Bild, das von einer am Anhänger angebrachten Kamera aufgenommen wurde, kombiniert werden. Das resultierende zusammengesetzte Bild kann eine halbtransparente Darstellung des Anhängers enthalten, um die Beurteilung der relativen Position anderer Fahrzeuge und Objekte zu erleichtern. Es ist ein Ziel der vorliegenden Erfindung, Verbesserungen gegenüber diesem System und dieser Vorrichtung bereitzustellen.
  • ZUSAMMENFASSUNG DER ERFINDUNG
  • Aspekte und Ausführungsformen der Erfindung stellen ein System zur Erzeugung zusammengesetzter Bilder, ein Bildverarbeitungssystem, ein Fahrzeug, ein Verfahren zur Verarbeitung eines Bildes, Computersoftware und ein nicht flüchtiges computerlesbares Medium gemäß den beigefügten Ansprüchen bereit.
  • Gemäß einem Aspekt der vorliegenden Erfindung wird ein System zur Erzeugung eines zusammengesetzten Bildes für ein Fahrzeug bereitgestellt, wobei das System zur Erzeugung eines zusammengesetzten Bildes ein oder mehrere Steuerungen (Steuergeräte/Controller) umfasst, wobei das System zur Erzeugung eines zusammengesetzten Bildes umfasst:
    • einen zum Empfang konfigurierten Eingang:
      • erste Bilddaten von einer ersten Abbildungsvorrichtung (Bilderfassungsvorrichtung/Bildgebungsvorrichtung), wobei die ersten Bilddaten einen ersten Zeitstempel umfassen, der einen Zeitpunkt angibt, zu dem die ersten Bilddaten von der ersten Abbildungsvorrichtung erfasst wurden;
      • zweite Bilddaten von einer zweiten Abbildungsvorrichtung, wobei die zweiten Bilddaten einen zweiten Zeitstempel umfassen, der eine Zeit angibt, zu der die zweiten Bilddaten von der zweiten Bildgebungsvorrichtung erfasst wurden.
  • Der eine oder mehrere Controller können so konfiguriert sein, dass sie den ersten Zeitstempel mit dem zweiten Zeitstempel vergleichen, um eine Zeitstempeldiskrepanz zu ermitteln. Der erste Zeitstempel kann direkt mit dem zweiten Zeitstempel verglichen werden, um die Zeitstempeldiskrepanz zu bestimmen.
  • Der eine oder mehrere Controller können so konfiguriert sein, dass sie zusammengesetzte Bilddaten erzeugen, die zumindest einen Teil der ersten Bilddaten und zumindest einen Teil der zweiten Bilddaten umfassen.
  • Der eine oder mehrere Controller können so konfiguriert sein, dass sie die Ausgabe der zusammengesetzten Bilddaten in Abhängigkeit von der Zeitstempeldiskrepanz steuern.
  • Das erste und das zweite bildgebende Gerät können je nach Einbau im Fahrzeug unterschiedliche Verbindungen zum Steuergerät haben. Beispielsweise kann eine Bildgebungsvorrichtung fest mit dem Steuergerät verdrahtet sein, und die andere Bildgebungsvorrichtung kann eine drahtlose Verbindung mit dem Steuergerät haben (z. B. über ein Fahrzeugnetzwerk). Die Übertragungszeiten von der kabelgebundenen Bildgebungsvorrichtung zum Steuergerät und von der drahtlosen Bildgebungsvorrichtung zum Steuergerät können voneinander abweichen. Auch die Übertragungszeit für die drahtlose Verbindung kann variieren, zum Beispiel in Abhängigkeit von externen Faktoren. Zumindest in bestimmten Ausführungsformen kann die vorliegende Erfindung dazu verwendet werden, ein zusammengesetztes Bild aus Bildern zu erzeugen, die im Wesentlichen zur gleichen Zeit aufgenommen wurden. Dies führt zu einem räumlich zusammenhängenden Gesamtbild, wenn sich das Fahrzeug und der Anhänger bewegen oder wenn sich die Umgebung bewegt. So können sich beispielsweise verschiedene Ausschnitte der ersten und zweiten Bilddaten besser aneinander angleichen. Bei einer zeitlichen Diskrepanz zwischen den ersten und zweiten Bilddaten kann dasselbe Objekt in beiden Bilddatenquellen vorhanden sein, die zu einem zusammengesetzten Bild kombiniert werden. Dies kann dazu führen, dass ein Teil des Objekts oder das gesamte Objekt in dem zusammengesetzten Bild dupliziert wird. Durch die Synchronisierung der ersten und zweiten Bilddaten kann die Möglichkeit, dass dasselbe Objekt (z. B. ein anderes Fahrzeug) zweimal in dem zusammengesetzten Bild angezeigt wird, verringert oder vermieden werden.
  • Die ersten Bilddaten können aus einer Vielzahl von ersten Bildrahmen bestehen. Der erste Zeitstempel kann auf jedes der ersten Bilddaten angewendet werden. Der erste Zeitstempel kann eine Aufnahmezeit für jedes der ersten Bilder angeben. Die zweiten Bilddaten können eine Vielzahl von zweiten Bildern umfassen. Der zweite Zeitstempel kann auf jedes der zweiten Bilder aufgebracht werden. Der zweite Zeitstempel kann einen Aufnahmezeitpunkt für jedes der zweiten Bilder angeben.
  • Die zusammengesetzten Bilddaten können durch die Kombination von mindestens einem Teil jedes der ersten Bilder und mindestens einem Teil jedes der zweiten Bilder erzeugt werden. Die resultierenden zusammengesetzten Bilddaten können eine Vielzahl von zusammengesetzten Bildern umfassen. Die ersten Bilder und die zweiten Bilder, die zur Bildung der zusammengesetzten Bilddaten kombiniert werden, können zumindest im Wesentlichen die gleiche Aufnahmezeit haben. Die Zeitstempeldiskrepanz zwischen den beiden Kameraströmen kann minimiert werden oder annähernd Null sein. Zumindest in bestimmten Ausführungsformen können die ersten und zweiten Bilder innerhalb des zusammengesetzten Bildes ausgerichtet und konsistent sein.
  • Zumindest in bestimmten Ausführungsformen kann die zeitliche Verzögerung des zusammengesetzten Bildes (d. h. die Differenz zwischen der aktuellen Echtzeit und der Aufnahmezeit des Bildes) verringert oder minimiert werden. Die zeitliche Differenz zwischen dem Aufnahmezeitpunkt des ersten Bildes und/oder des zweiten Bildes und der aktuellen Echtzeit kann unter einem Schwellenwert gehalten werden.
  • Der Controller kann so konfiguriert sein, dass er die zusammengesetzten Bilddaten ausgibt, wenn die Zeitstempeldiskrepanz kleiner als ein Schwellenwert für die Zeitstempeldiskrepanz ist, und dass er die Ausgabe der zusammengesetzten Bilddaten verhindert, wenn die Zeitstempeldiskrepanz größer als oder gleich dem Schwellenwert für die Zeitstempeldiskrepanz ist.
  • Das Steuergerät kann die Ausgabe der zusammengesetzten Bilddaten durch selektives Aktivieren/Deaktivieren der Erzeugung der zusammengesetzten Bilddaten steuern. Das System zur Erzeugung zusammengesetzter Bilder kann einen Ausgang zur Ausgabe der zusammengesetzten Bilddaten umfassen. Der Controller kann die Ausgabe der zusammengesetzten Bilddaten steuern, indem er den Ausgang steuert, um die Ausgabe der zusammengesetzten Bilddaten selektiv zu aktivieren/deaktivieren.
  • Der Controller kann so konfiguriert sein, dass er entweder die ersten oder die zweiten Bilddaten ausgibt, wenn die Zeitstempelabweichung größer oder gleich dem Schwellenwert für die Zeitstempelabweichung ist.
  • Alternativ oder zusätzlich kann das Steuergerät so konfiguriert sein, dass es die Ausgabe der ersten Bilddaten und der zweiten Bilddaten in Abhängigkeit von den jeweiligen Abweichungen zwischen dem ersten und dem zweiten Zeitstempel steuert. Der erste Zeitstempel und/oder der zweite Zeitstempel können mit einer Referenzzeit verglichen werden. Die Referenzzeit kann z.B. eine momentane (aktuelle) Zeit oder eine von einer globalen Uhr vorgegebene Zeit sein. Wenn die erste Zeitstempelabweichung und/oder die zweite Zeitstempelabweichung größer oder gleich einem vordefinierten Schwellenwert ist, kann die Ausgabe der ersten Bilddaten und/oder der zweiten Bilddaten gesperrt werden.
  • Wenn die Zeitstempeldiskrepanz von einem Wert größer als der Schwellenwert für die Zeitstempeldiskrepanz zu einem Wert kleiner als der Schwellenwert für die Zeitstempeldiskrepanz wechselt, kann das Steuergerät so konfiguriert sein, dass es die zusammengesetzten Bilddaten nach Ablauf einer vorgegebenen Hysteresezeit ausgibt.
  • Der Schwellenwert für die Zeitstempeldiskrepanz kann in Abhängigkeit von einem oder mehreren Betriebsparametern des Fahrzeugs bestimmt werden. Der eine oder die mehreren Betriebsparameter können mindestens einen der folgenden Parameter umfassen:
    • eine Referenzgeschwindigkeit des Fahrzeugs;
    • einen Knickwinkel eines an das Fahrzeug gekoppelten Zugfahrzeugs;
    • ein ausgewähltes Getriebeübersetzungsverhältnis; und
    • eine Fahrtrichtung des Fahrzeugs.
  • Das Steuergerät kann so konfiguriert sein, dass es erkennt, welcher der beiden Zeitstempel, der erste oder der zweite, eine spätere Bildaufnahmezeit anzeigt. Das Steuergerät kann die entsprechenden ersten und zweiten Bilddaten in einer Speichervorrichtung zwischenspeichern. Zumindest in bestimmten Ausführungsformen ermöglicht die Zwischenspeicherung der ersten Bilddaten oder der zweiten Bilddaten die Synchronisierung des erzeugten zusammengesetzten Bildes. Die Pufferung der ersten Bilddaten und der zweiten Bilddaten kann bis zu einer Schwellenzeit erfolgen. Die Schwellenzeit wird so festgelegt, dass die Erzeugung eines zusammengesetzten Bildes vermieden wird, das möglicherweise nicht mehr repräsentativ für die aktuelle (reale) Situation ist.
  • Das Steuergerät kann so konfiguriert sein, dass es die zusammengesetzten Bilddaten erzeugt, indem es mindestens einen Teil der in der Speichervorrichtung zwischengespeicherten ersten oder zweiten Bilddaten mit mindestens einem Teil der anderen der ersten und zweiten Bilddaten kombiniert. Durch das Zwischenspeichern der ersten Bilddaten oder der zweiten Bilddaten kann das System zur Erzeugung eines zusammengesetzten Bildes die ersten und zweiten Bilddaten vor der Erzeugung der zusammengesetzten Bilddaten zumindest weitgehend synchronisieren. Das resultierende zusammengesetzte Bild kann aus ersten und zweiten Bildern bestehen, die von den jeweiligen ersten und zweiten Bildgebungsvorrichtungen zumindest im Wesentlichen zur gleichen Zeit aufgenommen wurden.
  • Das Steuergerät kann so konfiguriert werden, dass es entweder die ersten Bilddaten oder die zweiten Bilddaten in Abhängigkeit von der ermittelten Zeitstempeldiskrepanz zwischenspeichert. Die gepufferten ersten oder zweiten Bilddaten können für eine Zeitspanne gepuffert werden, die zumindest im Wesentlichen der Zeitstempeldiskrepanz entspricht. Die ersten Bilddaten und die zweiten Bilddaten bestehen typischerweise aus einer Vielzahl von Bildrahmen. Das Steuergerät kann so konfiguriert sein, dass es die Anzahl der Bilder in den ersten Bilddaten oder in den zweiten Bilddaten bestimmt, die den Zeitraum abdecken würden. Die ermittelte Anzahl von Bilddaten kann in der Speichereinrichtung zwischengespeichert werden.
  • Das Steuergerät kann so konfiguriert sein, dass es erkennt, welcher der beiden Zeitstempel, der erste oder der zweite, einen späteren Zeitpunkt der Bildaufnahme angibt. Das Steuergerät kann einen oder mehrere Parameter der entsprechenden ersten und zweiten Bilddaten ändern, um die Zeitstempelabweichung zu verringern. Bei dem einen oder den mehreren Parametern kann es sich um mindestens einen der folgenden Parameter handeln: Bildfrequenz, Auflösung, Farbgehalt und Sichtfeld.
  • Die ersten Bilddaten können von dem ersten bildgebenden Gerät über eine erste drahtlose Verbindung empfangen werden. Die zweiten Bilddaten können von der zweiten bildgebenden Vorrichtung über eine zweite drahtlose Verbindung empfangen werden. Die erste und die zweite drahtlose Verbindung können voneinander getrennt sein.
  • Die ersten Bilddaten können vom ersten bildgebenden Gerät über eine erste kabelgebundene Verbindung empfangen werden. Die zweiten Bilddaten können von der zweiten bildgebenden Vorrichtung über eine zweite kabelgebundene Verbindung empfangen werden. Die erste und die zweite kabelgebundene Verbindung können voneinander getrennt sein.
  • Die eine oder mehrere Steuereinheiten können so konfiguriert sein, dass sie bestimmen, ob der erste Zeitstempel oder der zweite Zeitstempel eine spätere Bildaufnahmezeit anzeigt, und in Abhängigkeit von dieser Bestimmung die ersten Bilddaten oder die zweiten Bilddaten zwischenspeichern. Die eine oder mehrere Steuereinheiten können so konfiguriert sein, dass sie zusammengesetzte Bilddaten erzeugen, indem sie mindestens einen Teil der gepufferten ersten und zweiten Bilddaten mit mindestens einem Teil der anderen der ersten und zweiten Bilddaten kombinieren. Das eine oder mehrere Steuergeräte können so konfiguriert sein, dass sie die ersten Bilddaten oder die zweiten Bilddaten in einer Speichervorrichtung puffern.
  • Der eine oder mehrere Controller können so konfiguriert sein, dass sie den ersten Zeitstempel mit dem zweiten Zeitstempel vergleichen, um eine Zeitstempeldiskrepanz zu ermitteln. Die ersten Bilddaten oder die zweiten Bilddaten können in Abhängigkeit von der Zeitstempeldiskrepanz gepuffert werden. Die ersten Bilddaten oder die zweiten Bilddaten können für eine Zeitspanne gepuffert werden, die zumindest im Wesentlichen der Zeitstempeldiskrepanz entspricht.
  • Gemäß einem weiteren Aspekt der vorliegenden Erfindung wird ein Fahrzeug bereitgestellt, das ein System zur Erzeugung eines zusammengesetzten Bildes, wie hier beschrieben, umfasst.
  • Gemäß einem weiteren Aspekt der vorliegenden Erfindung wird ein Bildverarbeitungssystem für ein Fahrzeug bereitgestellt, wobei das System ein oder mehrere Steuergeräte umfasst, wobei das Bildverarbeitungssystem umfasst:
    • einen zum Empfang konfigurierten Eingang:
      • erste Bilddaten von einer ersten Abbildungsvorrichtung, wobei die ersten Bilddaten einen ersten Zeitstempel umfassen, der eine Zeit angibt, zu der die Bilddaten von der ersten Abbildungsvorrichtung erfasst wurden;
      • zweite Bilddaten von einer zweiten Bildgebungsvorrichtung, wobei die zweiten Bilddaten einen zweiten Zeitstempel umfassen, der eine Zeit angibt, zu der die Bilddaten von der zweiten Bildgebungsvorrichtung erfasst wurden.
  • Der eine oder mehrere Controller können so konfiguriert sein, dass sie den ersten Zeitstempel mit dem zweiten Zeitstempel vergleichen, um eine Zeitstempeldiskrepanz zu ermitteln.
  • Die Ausgabe der ersten Bilddaten und der zweiten Bilddaten kann in Abhängigkeit von der Zeitstempeldiskrepanz gesteuert werden.
  • Gemäß einem weiteren Aspekt der vorliegenden Erfindung wird ein Verfahren zur Verarbeitung von Bilddaten bereitgestellt, wobei das Verfahren umfasst:
    • Empfangen erster Bilddaten von einer ersten Bildgebungsvorrichtung, wobei die ersten Bilddaten einen ersten Zeitstempel umfassen, der eine Zeit angibt, zu der die ersten Bilddaten von der ersten Bildgebungsvorrichtung erfasst wurden;
    • Empfangen von zweiten Bilddaten von einer zweiten Bildgebungsvorrichtung, wobei die zweiten Bilddaten einen zweiten Zeitstempel umfassen, der eine Zeit angibt, zu der die zweiten Bilddaten von der zweiten Bildgebungsvorrichtung erfasst wurden.
  • Das Verfahren kann den Vergleich des ersten Zeitstempels mit dem zweiten Zeitstempel umfassen, um eine Zeitstempeldiskrepanz zu bestimmen. Das Verfahren kann die Erzeugung von zusammengesetzten Bilddaten umfassen, die zumindest einen Teil der ersten Bilddaten und zumindest einen Teil der zweiten Bilddaten umfassen. Die Ausgabe der zusammengesetzten Bilddaten kann in Abhängigkeit von der Zeitstempeldiskrepanz gesteuert werden.
  • Das Verfahren kann die Ausgabe der zusammengesetzten Bilddaten umfassen, wenn die Zeitstempeldiskrepanz kleiner als ein Schwellenwert für die Zeitstempeldiskrepanz ist; und das Verhindern der Ausgabe der zusammengesetzten Bilddaten, wenn die Zeitstempeldiskrepanz größer als oder gleich dem Schwellenwert für die Zeitstempeldiskrepanz ist.
  • Das Verfahren kann die Ausgabe der ersten Bilddaten oder der zweiten Bilddaten umfassen, wenn die Zeitstempeldiskrepanz größer oder gleich der Zeitstempeldiskrepanzschwelle ist.
  • Das Verfahren kann die Ausgabe der zusammengesetzten Bilddaten nach Ablauf einer vorbestimmten Hysteresezeit umfassen, nachdem festgestellt wurde, dass die Zeitstempeldiskrepanz geringer ist als der Schwellenwert für die Zeitstempeldiskrepanz.
  • Der Schwellenwert für die Zeitstempeldiskrepanz kann in Abhängigkeit von einem oder mehreren Betriebsparametern des Fahrzeugs bestimmt werden. Der eine oder die mehreren Betriebsparameter können mindestens einen der folgenden Parameter umfassen:
    • eine Referenzgeschwindigkeit des Fahrzeugs;
    • einen Knickwinkel eines an das Fahrzeug gekoppelten Zugfahrzeugs;
    • ein ausgewähltes Getriebeübersetzungsverhältnis; und
    • eine Fahrtrichtung des Fahrzeugs.
  • Das Verfahren kann beinhalten, dass festgestellt wird, welcher der beiden Zeitstempel, der erste oder der zweite, eine spätere Bildaufnahmezeit angibt. Die entsprechenden ersten Bilddaten und die zweiten Bilddaten können zwischengespeichert werden.
  • Das Verfahren kann das Erzeugen der zusammengesetzten Bilddaten durch Kombinieren von mindestens einem Teil der ersten Bilddaten oder der zweiten Bilddaten, die in der Speichervorrichtung zwischengespeichert sind, mit mindestens einem Teil der anderen der ersten Bilddaten oder der zweiten Bilddaten umfassen.
  • Die ersten Bilddaten oder die zweiten Bilddaten können in Abhängigkeit von der Zeitstempeldiskrepanz gepuffert werden. Die gepufferten ersten oder zweiten Bilddaten können optional für eine Zeitspanne gepuffert werden, die zumindest im Wesentlichen der Zeitstempeldiskrepanz entspricht.
  • Das Verfahren kann die Identifizierung umfassen, welcher von dem ersten Zeitstempel und dem zweiten Zeitstempel eine spätere Bildaufnahmezeit angibt. Das Verfahren kann die Änderung eines oder mehrerer Parameter der entsprechenden ersten und zweiten Bilddaten umfassen, um die Zeitstempel-Diskrepanz zu verringern. Der eine oder die mehreren Parameter können optional einen oder mehrere der folgenden Parameter umfassen: eine Bildrate, eine Auflösung, einen Farbinhalt und ein Sichtfeld.
  • Die ersten Bilddaten können von dem ersten bildgebenden Gerät über eine erste drahtlose Verbindung empfangen werden. Die zweiten Bilddaten können von der zweiten bildgebenden Vorrichtung über eine zweite drahtlose Verbindung empfangen werden. Die erste und die zweite drahtlose Verbindung können voneinander getrennt sein.
  • Die ersten Bilddaten können vom ersten bildgebenden Gerät über eine erste kabelgebundene Verbindung empfangen werden. Die zweiten Bilddaten können von der zweiten bildgebenden Vorrichtung über eine zweite kabelgebundene Verbindung empfangen werden. Die erste und die zweite kabelgebundene Verbindung können voneinander getrennt sein.
  • Das Verfahren kann die Bestimmung umfassen, welcher von dem ersten Zeitstempel und dem zweiten Zeitstempel eine spätere Bildaufnahmezeit angibt. In Abhängigkeit von der Bestimmung können die ersten Bilddaten oder die zweiten Bilddaten zwischengespeichert werden. Das Verfahren kann die Erzeugung zusammengesetzter Bilddaten umfassen. Die zusammengesetzten Bilddaten können durch Kombination von mindestens einem Teil der gepufferten ersten oder zweiten Bilddaten mit mindestens einem Teil der anderen ersten oder zweiten Bilddaten erzeugt werden. Das Verfahren kann das Zwischenspeichern der ersten Bilddaten oder der zweiten Bilddaten in einer Speichereinrichtung umfassen.
  • Das Verfahren kann den Vergleich des ersten Zeitstempels mit dem zweiten Zeitstempel umfassen, um eine Zeitstempeldiskrepanz zu ermitteln. Die ersten Bilddaten oder die zweiten Bilddaten können in Abhängigkeit von der ermittelten Zeitstempeldiskrepanz gepuffert werden. Die ersten Bilddaten oder die zweiten Bilddaten können für eine Zeitspanne gepuffert werden, die zumindest im Wesentlichen der Zeitstempeldiskrepanz entspricht.
  • Gemäß einem weiteren Aspekt der vorliegenden Erfindung wird eine Computersoftware bereitgestellt, die, wenn sie ausgeführt wird, ein hierin beschriebenes Verfahren durchführen kann.
  • Gemäß einem weiteren Aspekt der vorliegenden Erfindung wird ein nicht transitorisches, computerlesbares Speichermedium bereitgestellt, auf dem Anweisungen gespeichert sind, die bei Ausführung durch einen oder mehrere elektronische Prozessoren den einen oder die mehreren elektronischen Prozessoren veranlassen, das hier beschriebene Verfahren durchzuführen.
  • Im Rahmen dieser Anmeldung ist ausdrücklich beabsichtigt, dass die verschiedenen Aspekte, Ausführungsformen, Beispiele und Alternativen, die in den vorangehenden Absätzen, in den Ansprüchen und/oder in der folgenden Beschreibung und den Zeichnungen dargelegt sind, und insbesondere die einzelnen Merkmale davon, unabhängig oder in beliebiger Kombination verwendet werden können. Das heißt, alle Ausführungsformen und/oder Merkmale einer Ausführungsform können in beliebiger Weise und/oder Kombination miteinander kombiniert werden, sofern diese Merkmale nicht unvereinbar sind. Der Anmelder behält sich das Recht vor, jeden ursprünglich eingereichten Anspruch zu ändern oder einen neuen Anspruch entsprechend einzureichen, einschließlich des Rechts, einen ursprünglich eingereichten Anspruch so zu ändern, dass er von einem anderen Anspruch abhängt und/oder ein Merkmal eines anderen Anspruchs einbezieht, auch wenn er ursprünglich nicht in dieser Weise beansprucht wurde.
  • Figurenliste
  • Eine oder mehrere Ausführungsformen der Erfindung werden jetzt nur beispielhaft unter Bezugnahme auf die beigefügten Zeichnungen beschrieben, in denen:
    • 1 zeigt eine schematische Darstellung eines System zur Erzeugung eines zusammengesetzten Bildes gemäß einer Ausführungsform der vorliegenden Erfindung, das in einem Zugfahrzeug und einem abgeschleppten Fahrzeug vorgesehen ist;
    • 2 zeigt eine schematische Darstellung des Zugfahrzeugs mit einem Steuergerät zur Umsetzung des in 1 gezeigten Systems zur Erzeugung von Verbundbildern;
    • 3A zeigt ein Bild des Zugfahrzeugs, das von einer im Zugfahrzeug angeordneten Bildaufnahmevorrichtung aufgenommen wurde;
    • 3B zeigt ein Bild eines abgeschleppten Fahrzeugs, das von einem im abgeschleppten Fahrzeug befindlichen Bildgebungsgerät aufgenommen wurde;
    • 4A zeigt das Bild eines abgeschleppten Fahrzeugs, das so verändert wurde, dass es ein Fenster enthält, das mit einem Teil der Vorderseite des abgeschleppten Fahrzeugs zusammenfällt;
    • 4B zeigt ein zusammengesetztes Bild, das sich aus dem in 4A gezeigten modifizierten Bild des abgeschleppten Fahrzeugs und einem Teil des in 3B gezeigten Bildes des abgeschleppten Fahrzeugs zusammensetzt;
    • 5 zeigt eine schematische Darstellung des Pufferungsprozesses für die Synchronisierung von Bilddaten, die von der Bildaufnahmevorrichtung des Zugfahrzeugs und der Bildaufnahmevorrichtung des gezogenen Fahrzeugs empfangen werden;
    • 6 zeigt eine schematische Darstellung der Steuerung des System zur Erzeugung eines zusammengesetzten Bildes; und
    • 7 zeigt ein Flussdiagramm, das den Betrieb des Systems zur Erzeugung zusammengesetzter Bilder darstellt.
  • AUSFÜHRLICHE BESCHREIBUNG
  • Ein System zur Erzeugung von Verbundbildern 1 gemäß einer Ausführungsform der vorliegenden Erfindung wird nun unter Bezugnahme auf die beigefügten Figuren beschrieben. Das System zur Erzeugung eines zusammengesetzten Bildes 1 ist so konfiguriert, dass es zumindest einen Teil eines Bildes des gezogenen Fahrzeugs IMG1 und zumindest einen Teil eines Bildes des Zugfahrzeugs IMG2 kombiniert, um ein zusammengesetztes Bild IMG3 zu erzeugen.
  • Das System zur Erzeugung eines zusammengesetzten Bildes 1 ist für den Einsatz in einem Zugfahrzeug V2 geeignet, das an ein gezogenes Fahrzeug V1 gekoppelt ist. In der vorliegenden Ausführungsform sind das Zugfahrzeug V2 und das gezogene Fahrzeug V1 durch eine Gelenkkupplung miteinander verbunden. Eine schematische Darstellung des Zugfahrzeugs V2 und des gezogenen Fahrzeugs V1 ist in 1 zu sehen. Bei dem Zugfahrzeug V2 handelt es sich in der vorliegenden Ausführungsform um einen Pkw. Es sind aber auch andere Arten von Zugfahrzeugen V2 denkbar, z. B. Nutzfahrzeuge, Sportfahrzeuge, Traktoren, Lastwagen usw. Das gezogene Fahrzeug V1 in der vorliegenden Ausführungsform ist ein Anhänger. Das gezogene Fahrzeug V1 hat eine erste Längsachse XV1, und das Zugfahrzeug V2 hat eine zweite Längsachse XV2. Eine schematische Darstellung des Zugfahrzeugs V2 ist in 2 zu sehen.
  • Auf dem gezogenen Fahrzeug V1 ist eine erste Bildaufnahmevorrichtung C1 angeordnet, die in einer nach hinten gerichteten Richtung ausgerichtet ist. Die erste Bildaufnahmevorrichtung C1 ist mittig am Heck des gezogenen Fahrzeugs V1 angebracht, zum Beispiel über einem hinteren Nummernschild (nicht dargestellt). Andere Montageorte für die erste Bildaufnahmevorrichtung C1 sind denkbar. Die erste Bildaufnahmevorrichtung C1 besteht aus einer Kamera C1 für das abgeschleppte Fahrzeug. Die Kamera C1 des gezogenen Fahrzeugs hat eine optische Achse, die im Wesentlichen parallel zur ersten Längsachse XV1 verläuft. Die Kamera C1 des gezogenen Fahrzeugs hat ein erstes Sichtfeld FOV1, das einen Bereich hinter dem gezogenen Fahrzeug V1 abdeckt. Im Betrieb erzeugt die Anhängefahrzeugkamera C1 erste Bilddaten DIMG1, die einem Anhängefahrzeugbild IMG1 entsprechen. Das Bild IMG1 des abgeschleppten Fahrzeugs umfasst eine nach hinten gerichtete Szene des abgeschleppten Fahrzeugs V1, die von der Kamera C1 des abgeschleppten Fahrzeugs aufgenommen wurde. Das Bild des abgeschleppten Fahrzeugs IMG1 kann zum Beispiel ein Bild eines Straßenabschnitts hinter dem abgeschleppten Fahrzeug V1 enthalten. Das Bild des abgeschleppten Fahrzeugs IMG1 kann ein oder mehrere interessante Objekte O-n enthalten. Bei den Objekten von Interesse O-n kann es sich beispielsweise um ein oder mehrere andere Fahrzeuge handeln, die hinter dem abgeschleppten Fahrzeug V1 und/oder seitlich versetzt zum abgeschleppten Fahrzeug V1 fahren. Die Kamera C1 des abgeschleppten Fahrzeugs gibt ein erstes Signal SIN1 aus, das die ersten Bilddaten DIMG1 enthält, die dem Bild IMG1 des abgeschleppten Fahrzeugs entsprechen. Ein Bild des abgeschleppten Fahrzeugs IMG1 ist in 3A beispielhaft dargestellt.
  • Auf dem Zugfahrzeug V2 ist eine zweite Bildaufnahmevorrichtung C2 angeordnet, die nach hinten gerichtet ist. Die zweite Bildaufnahmevorrichtung C2 ist mittig am Heck des Zugfahrzeugs V2 angebracht, beispielsweise oberhalb eines hinteren Nummernschilds (nicht dargestellt). Andere Montageorte für die zweite Bildaufnahmevorrichtung C2 sind denkbar. Die zweite Bildaufnahmevorrichtung C2 umfasst eine Zugfahrzeugkamera C2. Die Kamera C2 des Zugfahrzeugs hat eine optische Achse, die im Wesentlichen parallel zu der zweiten Längsachse XV2 verläuft. Die Zugfahrzeugkamera C2 hat ein zweites Sichtfeld FOV2, das einen Bereich hinter dem Zugfahrzeug V2 umfasst. Im Gebrauch erzeugt die Zugfahrzeugkamera C2 zweite Bilddaten DIMG2, die einem Zugfahrzeugbild IMG2 entsprechen. Das Zugfahrzeugbild IMG2 umfasst eine nach hinten gerichtete Szene des Zugfahrzeugs V2, die von der Zugfahrzeugkamera C2 aufgenommen wurde. Das Bild IMG2 des Zugfahrzeugs kann beispielsweise zumindest einen Teil der Vorderseite des gezogenen Fahrzeugs V1 sowie einen Teil der Umgebung um das gezogene Fahrzeug V1 herum umfassen, beispielsweise seitlich und/oder oberhalb und/oder unterhalb des gezogenen Fahrzeugs V1. Die Zugfahrzeugkamera C2 gibt ein zweites Signal SIN2 aus, das die zweiten Bilddaten DIMG2 enthält, die dem Zugfahrzeugbild IMG2 entsprechen. Ein Bild des Zugfahrzeugs IMG2 ist in 3B beispielhaft dargestellt. Wie in 3B gezeigt, ist das abgeschleppte Fahrzeug V2 im Bild IMG2 des Zugfahrzeugs sichtbar und verdeckt teilweise das Sichtfeld.
  • Die Kamera C1 des gezogenen Fahrzeugs und die Kamera C2 des Zugfahrzeugs sind digitale Videokameras. Die Kamera C1 des abgeschleppten Fahrzeugs kann eine Vielzahl von ersten Bildern IMG1-F(n) pro Sekunde aufnehmen. Mit der Kamera C2 des Zugfahrzeugs können mehrere zweite Bilder IMG2-F(n) pro Sekunde aufgenommen werden. Die Kamera C1 des gezogenen Fahrzeugs und die Kamera C2 des ziehenden Fahrzeugs haben jeweils ein Weitwinkelobjektiv mit einem Blickwinkel von etwa 180°. Der Blickwinkel der Kamera des gezogenen Fahrzeugs C1 und der Kamera des Zugfahrzeugs C2 könnte enger sein. Die Anhängefahrzeugkamera C1 und/oder die Anhängefahrzeugkamera C2 kann eine Monokamera oder eine Stereokamera sein. Die Kamera C1 des abgeschleppten Fahrzeugs kann als Rückfahrkamera fungieren, um eine Einparkhilfe zu bieten, wenn das abgeschleppte Fahrzeug V1 an das Zugfahrzeug V2 gekoppelt ist. Die Kamera C2 des gezogenen Fahrzeugs kann als Rückfahrkamera fungieren, um eine Einparkhilfe zu bieten, wenn das gezogene Fahrzeug V1 nicht mit dem Zugfahrzeug V2 gekoppelt ist. Die Kamera C1 des gezogenen Fahrzeugs und die Kamera C2 des Zugfahrzeugs sind in etwa der gleichen vertikalen Höhe über dem Boden angeordnet. In alternativen Anordnungen können die Kamera C2 des Zugfahrzeugs und die Kamera C1 des geschleppten Fahrzeugs in vertikaler Richtung und/oder in Querrichtung zueinander versetzt sein. Ein vertikaler Versatz zwischen der Kamera C1 des gezogenen Fahrzeugs und der Kamera C2 des ziehenden Fahrzeugs kann durch eine Korrektur ausgeglichen werden. Alternativ oder zusätzlich kann eine Korrektur angewendet werden, um einen Winkelversatz zwischen der Kamera C1 des abgeschleppten Fahrzeugs und der Kamera C2 des abschleppenden Fahrzeugs zu korrigieren.
  • Die Kamera C1 des gezogenen Fahrzeugs und die Kamera C2 des Zugfahrzeugs sind digitale Videokameras. Die Kamera C1 des abgeschleppten Fahrzeugs kann eine Vielzahl von ersten Bildern IMG1-F(t) pro Sekunde aufnehmen. Mit der Kamera C2 des Zugfahrzeugs können mehrere zweite Bilder IMG2-F(t) pro Sekunde aufgenommen werden. In der vorliegenden Ausführungsform sind die Kamera C1 des gezogenen Fahrzeugs und die Kamera C2 des Zugfahrzeugs so konfiguriert, dass sie erste und zweite Zeitstempel TST1-(t), TST2-(t) erzeugen, die auf die ersten bzw. zweiten Bildrahmen IMG1-F(t), IMG2-F(t) angewendet werden. Die ersten und zweiten Zeitstempel TST1-(t), TST2-(t) geben eine Zeit an, zu der jedes der ersten und zweiten Bilder IMG1-F(t), IMG2-F(t) aufgenommen wurde.
  • Das System zur Erzeugung von Verbundbildern 1 umfasst ein oder mehrere Steuergeräte 10. Das Steuergerät 10 steht in Verbindung mit der ersten Bildgebungsvorrichtung C1 und der zweiten Bildgebungsvorrichtung C2. Das System zur Erzeugung zusammengesetzter Bilder 1 ist so konfiguriert, dass es die ersten Bilddaten DIMG1 von der ersten Abbildungsvorrichtung C1 und die zweiten Bilddaten DIMG2 von der zweiten Abbildungsvorrichtung C2 empfängt. Die ersten Bilddaten DIMG1 enthalten den ersten Zeitstempel TST1-(t), der eine Zeit angibt, zu der die ersten Bilddaten DIMG1 von der ersten Bildgebungsvorrichtung aufgenommen wurden. Die zweiten Bilddaten DIMG2 enthalten den zweiten Zeitstempel TST2-(t), der einen Zeitpunkt angibt, zu dem die zweiten Bilddaten DIMG2 von der zweiten Abbildungsvorrichtung C2 aufgenommen wurden. Die Steuereinheit 10 vergleicht den ersten Zeitstempel TST1-(t) mit dem zweiten Zeitstempel TST2-(t), um eine Zeitstempeldiskrepanz TSTΔ zu ermitteln. Das Steuergerät 10 erzeugt zusammengesetzte Bilddaten DIMG3, die zumindest einen Teil der ersten Bilddaten DIMG1 und zumindest einen Teil der zweiten Bilddaten DIMG2 umfassen. Das Steuergerät 10 ist so konfiguriert, dass es die Ausgabe der zusammengesetzten Bilddaten DIMG3 in Abhängigkeit von der Zeitstempeldiskrepanz TSTΔ steuert.
  • Der erste und der zweite Zeitstempel TST1-(t), TST2-(t) werden in Bezug auf einen Systemtakt (global) erzeugt. Die ersten und zweiten Zeitstempel TST1-(t), TST2-(t) werden in die jeweiligen ersten und zweiten Bilddaten DIMG1, DIMG2 aufgenommen. Der Zeitpunkt der Aufnahme des ersten und zweiten Bildes IMG1-F(t), IMG2-F(t) kann mit Hilfe des ersten und zweiten Zeitstempels TST1-(t), TST2-(t) bestimmt werden. Das Steuergerät 10 verfügt über eine Taktfunktion, die ein Taktsignal CLK ausgibt. Die Anhängefahrzeugkamera C1 und die Anhängefahrzeugkamera C2 empfangen das Taktsignal CLK, beispielsweise während einer Einrichtungs- oder Kalibrierungsroutine. Die ersten und zweiten Zeitstempel TST1-(t), TST2-(t) können mit dem Taktsignal SCLK synchronisiert werden. In einer Variante kann einer der ersten und zweiten Zeitstempel TST1-(t), TST2-(t) als Standard- oder Referenzzeit verwendet werden. Die Zeitstempeldiskrepanz TSTΔ kann als die zeitliche Differenz zwischen dem ersten und dem zweiten Zeitstempel TST1-(t), TST2-(t) bestimmt werden. Das System zur Erzeugung von Verbundbildern 1 kann in dieser Variante ohne ein separates Taktsignal CLK arbeiten. Wenn beispielsweise eine der Kameras C1 des gezogenen Fahrzeugs und C2 des Zugfahrzeugs über eine drahtgebundene Verbindung (und nicht über eine drahtlose Verbindung) mit dem Steuergerät 10 verbunden ist, kann der entsprechende der ersten und zweiten Zeitstempel TST1-(t), TST2-(t) als Referenzzeit festgelegt werden. Bei dieser Anordnung wird nur die Zeitstempeldiskrepanz TSTΔ zwischen dem ersten und zweiten Zeitstempel TST1-(t), TST2-(t) berücksichtigt. Einer der ersten und zweiten Zeitstempel TST1-(t), TST2-(t) kann als Referenzzeit für die Synchronisierung der ersten und zweiten Bilddaten DIMG1, DIMG2 verwendet werden.
  • Alternativ oder zusätzlich können die ersten und zweiten Zeitstempel TST1-(t), TST2-(t) verwendet werden, um eine zeitliche Verzögerung (in Bezug auf die Echtzeit) der ersten Bilddaten DIMG1 und der zweiten Bilddaten DIMG2 zu bestimmen. Das Steuergerät 10 kann so konfiguriert sein, dass es die Ausgabe der ersten und zweiten Bilddaten DIMG1, DIMG2 in Abhängigkeit von der ermittelten zeitlichen Verzögerung steuert. Beispielsweise kann das Steuergerät 10 die Ausgabe der ersten Bilddaten DIMG1 und/oder der zweiten Bilddaten DIMG2 verhindern, wenn die ermittelte zeitliche Verzögerung dieses Datenstroms größer ist als ein vordefinierter Zeitschwellenwert.
  • In der vorliegenden Ausführungsform ist das Steuergerät 10 im Zugfahrzeug V2 angeordnet. In einer Variante könnte das Steuergerät 10 in dem gezogenen Fahrzeug V1 vorgesehen sein, oder die Verarbeitung könnte von separaten Steuergeräten 10 durchgeführt werden, die auf dem gezogenen Fahrzeug V1 und dem Zugfahrzeug V2 vorgesehen sind. Es versteht sich, dass das oder jedes Steuergerät 10 eine Steuereinheit oder Rechenvorrichtung mit einem oder mehreren elektronischen Prozessoren (z. B. einem Mikroprozessor, einem Mikrocontroller, einer anwendungsspezifischen integrierten Schaltung (ASIC) usw.) umfassen kann und eine einzige Steuereinheit oder Rechenvorrichtung umfassen kann, oder alternativ können verschiedene Funktionen des oder jedes Steuergeräts 10 in verschiedenen Steuereinheiten oder Rechenvorrichtungen verkörpert oder untergebracht sein. Der hier verwendete Begriff „Steuergerät“, „Steuereinheit“ oder „Rechengerät“ umfasst sowohl ein einzelnes Steuergerät, eine einzelne Steuereinheit oder ein einzelnes Rechengerät als auch eine Vielzahl von Steuergeräten, Steuereinheiten oder Rechengeräten, die gemeinsam die erforderlichen Steuerfunktionen bereitstellen. Es könnte ein Satz von Anweisungen bereitgestellt werden, die, wenn sie ausgeführt werden, das Steuergerät 10 veranlassen, die hierin beschriebenen Steuerungstechniken (einschließlich einiger oder aller für das hierin beschriebene Verfahren erforderlichen Funktionen) zu implementieren. Der Satz von Anweisungen könnte in den einen oder die mehreren elektronischen Prozessoren des Steuergeräts 10 eingebettet sein; alternativ könnte der Satz von Anweisungen als Software bereitgestellt werden, die im Steuergerät 10 auszuführen ist. Ein erstes Steuergerät oder eine erste Steuereinheit kann in Software implementiert sein, die auf einem oder mehreren Prozessoren läuft. Ein oder mehrere andere Steuergeräte oder Steuereinheiten können in Software implementiert werden, die auf einem oder mehreren Prozessoren läuft, optional auf demselben oder mehreren Prozessoren wie das erste Steuergerät oder die erste Steuereinheit. Andere Anordnungen sind ebenfalls sinnvoll.
  • Wie in 6 dargestellt, umfasst das oder jedes Steuergerät 10 mindestens einen elektronischen Prozessor 12 mit einem oder mehreren elektrischen Eingang(en) 14 zum Empfang eines oder mehrerer Eingangssignale von der Kamera C1 des gezogenen Fahrzeugs und der Kamera C2 des Zugfahrzeugs; und einen oder mehrere elektrische Ausgang(e) 16 zur Ausgabe des Ausgangssignals S1. Das oder jedes Steuergerät 10 umfasst ferner mindestens eine Speichervorrichtung 18, die elektrisch mit dem mindestens einen elektronischen Prozessor 12 verbunden ist und in der Anweisungen 20 gespeichert sind. Der mindestens eine elektronische Prozessor 12 ist so konfiguriert, dass er auf die mindestens eine Speichervorrichtung 18 zugreift und die Anweisungen 20 darauf ausführt, um das (die) hier beschriebene(n) Verfahren durchzuführen.
  • Der oder jeder elektronische Prozessor 12 kann jeden geeigneten elektronischen Prozessor (z. B. einen Mikroprozessor, einen Mikrocontroller, einen ASIC usw.) umfassen, der zur Ausführung elektronischer Befehle konfiguriert ist. Die oder jede elektronische Speichervorrichtung 18 kann eine beliebige geeignete Speichervorrichtung umfassen und eine Vielzahl von Daten, Informationen, Schwellenwerten, Nachschlagetabellen oder anderen Datenstrukturen und/oder Anweisungen darin oder darauf speichern. In einer Ausführungsform sind in der Speichervorrichtung 18 Informationen und Anweisungen für Software, Firmware, Programme, Algorithmen, Skripte, Anwendungen usw. gespeichert, die die gesamte oder einen Teil der hier beschriebenen Methodik steuern können. Der Prozessor oder jeder elektronische Prozessor 12 kann auf die Speichervorrichtung 18 zugreifen und diese Anweisungen und Informationen ausführen und/oder verwenden, um einige oder alle der hierin beschriebenen Funktionen und Verfahren auszuführen oder durchzuführen.
  • Die mindestens eine Speichervorrichtung 18 kann ein computerlesbares Speichermedium (z. B. ein nicht transitorisches oder nicht flüchtiges Speichermedium) umfassen, das einen beliebigen Mechanismus zum Speichern von Informationen in einer Form umfassen kann, die von einer Maschine oder elektronischen Prozessoren/Rechengeräten gelesen werden kann, einschließlich, aber nicht beschränkt auf: ein magnetisches Speichermedium (z.z. B. Diskette); optisches Speichermedium (z. B. CD-ROM); magnetooptisches Speichermedium; Festwertspeicher (ROM); Speicher mit wahlfreiem Zugriff (RAM); löschbarer programmierbarer Speicher (z. B. EPROM und EEPROM); Flash-Speicher; oder elektrische oder andere Arten von Medien zur Speicherung solcher Informationen/Anweisungen.
  • Das erste Signal SIN1 mit den ersten Bilddaten DIMG1 wird dem Steuergerät 10 über den oder die Eingänge 14 zugeführt. Die Verbindung zwischen dem Steuergerät 10 und der Kamera C1 des abgeschleppten Fahrzeugs könnte eine drahtgebundene Verbindung sein (z. B. eine elektrische Verbindung zwischen dem abgeschleppten Fahrzeug V1 und dem Zugfahrzeug V2). In der vorliegenden Ausführungsform wird jedoch eine drahtlose Verbindung zwischen dem Steuergerät 10 und der Kamera des abgeschleppten Fahrzeugs C1 hergestellt. Die Kamera C1 des abgeschleppten Fahrzeugs ist mit einem Sender 22 verbunden, der so konfiguriert ist, dass er die ersten Bilddaten DIMG1 als ein erstes Hochfrequenzsignal SIN1 an einen Empfänger 24 im Zugfahrzeug V2 überträgt. Es versteht sich, dass ein oder mehrere Repeater (Relais) vorgesehen sein können, um das erste Signal SIN1 an den im Zugfahrzeug V2 vorgesehenen Empfänger 24 weiterzuleiten und/oder die Kommunikation mit der Kamera C1 des Zugfahrzeugs zu ermöglichen. Der Empfänger 24 ist mit dem (den) einen oder mehreren Eingang(en) 14 des Steuergeräts 10 verbunden. Das zweite Signal SIN2 mit den zweiten Bilddaten DIMG2 wird über den oder die Eingänge 14 in das Steuergerät 10 eingegeben. Die Verbindung zwischen dem Steuergerät 10 und der Zugfahrzeugkamera C2 ist eine drahtgebundene Verbindung. Die Zugfahrzeugkamera C2 kann beispielsweise über ein Fahrzeugkommunikationsnetz 26, wie eine Ethernet/BroadR Reach-Verbindung oder eine unkomprimierte serielle Videoverbindung, mit dem Steuergerät 10 verbunden sein. Im Gebrauch werden die ersten Bilddaten DIMG1 und die zweiten Bilddaten DIMG2 in das Steuergerät 10 eingegeben. Das Zugfahrzeug V2 umfasst einen Bildschirm 28, auf dem das Bild IMG1 des Zugfahrzeugs, das Bild IMG2 des Zugfahrzeugs (das von der Kamera C1 des Zugfahrzeugs bzw. von der Kamera C2 des Zugfahrzeugs empfangen wird) und das zusammengesetzte Bild IMG3 selektiv angezeigt werden können.
  • Das Steuergerät 10 ist so konfiguriert, dass es mindestens einen Teil des ersten Bildes IMG1 mit mindestens einem Teil des zweiten Bildes IMG2 kombiniert, um ein zusammengesetztes Bild IMG3 zu erzeugen. Das Steuergerät 10 ist so konfiguriert, dass es das Bild IMG2 des Zugfahrzeugs analysiert, um einen Randbereich P1 des gezogenen Fahrzeugs V2 zu identifizieren. Wie in 3B gezeigt, stellt der Umfang P1 die äußere sichtbare Grenze (oder Kante) des abgeschleppten Fahrzeugs V2 aus der Sicht der Zugfahrzeugkamera C1 dar. Das Steuergerät 10 kann die Peripherie P1 identifizieren, indem es optische Flussvektoren von Pixeln zwischen zwei oder mehr Rahmen des Zugfahrzeugbildes IMG2 berechnet. Ein Gradient der Größe der optischen Flussvektoren wird über das Bild IMG2 des Zugfahrzeugs berechnet. Der Gradient ist an der Peripherie P1 des abgeschleppten Fahrzeugs V2 am größten, wo Pixel, die einem Bereich des Zugfahrzeugbildes IMG2 zugeordnet sind, der sich auf das abgeschleppte Fahrzeug V2 bezieht (und eine relativ geringe Bewegung aufweist), in der Nähe von oder angrenzend an Pixel angeordnet sind, die einem Bereich des Zugfahrzeugbildes IMG2 zugeordnet sind, der sich auf den Hintergrund bezieht (und eine relativ große Bewegung aufweist). Andere Techniken können verwendet werden, um die Peripherie P1 des gezogenen Fahrzeugs V2 zu identifizieren. Beispielsweise könnte der Umfang P1 auf der Grundlage gespeicherter geometrischer Daten, die das abgeschleppte Fahrzeug V2 definieren, vordefiniert oder modelliert werden. Wie in 4A dargestellt, wird ein Fenster W1 innerhalb des identifizierten Umfangs P1 definiert. Das Fenster W1 ist in der vorliegenden Ausführungsform rechteckig, es können aber auch andere Formen sinnvoll eingesetzt werden.
  • Der von der Peripherie P1 umschlossene Bereich des Zugfahrzeugbildes IMG2 stellt das gezogene Fahrzeug V2 innerhalb des Zugfahrzeugbildes IMG2 dar. Mindestens ein Teil des Bildes des abgeschleppten Fahrzeugs IMG1 wird selektiv in einen Bereich des Bildes des abgeschleppten Fahrzeugs IMG2 eingefügt, der sich innerhalb des identifizierten Umkreises P1 befindet. Das Steuergerät 10 kombiniert mindestens einen Teil der ersten Bilddaten DIMG1 mit mindestens einem Teil der zweiten Bilddaten DIMG2, um zusammengesetzte Bilddaten DIMG3 zu erzeugen. Das Steuergerät 10 erzeugt die dritten Bilddaten DIMG3 in Abhängigkeit von den ersten und zweiten Bilddaten DIMG1, DIMG2, die von der Kamera C1 des Zugfahrzeugs und der Kamera C2 des abgeschleppten Fahrzeugs empfangen werden. Die dritten Bilddaten DIMG3 stellen ein zusammengesetztes Bild IMG3 dar, das zur Anzeige auf dem Anzeigebildschirm 10 ausgegeben wird. Die ersten Bilddaten DIMG1 und die zweiten Bilddaten DIMG2 werden so kombiniert, dass das Bild des abgeschleppten Fahrzeugs IMG1 mit einem entsprechenden Bereich des Bildes des abgeschleppten Fahrzeugs IMG2 überlagert wird. In der vorliegenden Ausführungsform wird der ausgewählte Bereich des Abschleppfahrzeugbildes IMG1 in das innerhalb der Peripherie P1 definierte Fenster W1 eingefügt. Das Bild des abgeschleppten Fahrzeugs IMG1 kann als halbtransparentes Bild gerendert werden, so dass die Merkmale des abgeschleppten Fahrzeugs V2 im Bild des abgeschleppten Fahrzeugs IMG2 sichtbar bleiben. In der vorliegenden Ausführungsform wird das Bild des abgeschleppten Fahrzeugs IMG1 in dem im Bild des Zugfahrzeugs IMG2 gebildeten Fenster W1 wiedergegeben, wie in 4B dargestellt. Das sich daraus ergebende zusammengesetzte Bild IMG3 bietet eine im Wesentlichen kontinuierliche, ununterbrochene Sicht auf den Bereich hinter dem Zugfahrzeug V1.
  • Die Datenübertragungsraten von der Kamera des gezogenen Fahrzeugs C1 und der Kamera des Zugfahrzeugs C2 können unterschiedlich sein. Daher können die ersten Bilddaten DIMG1 und die zweiten Bilddaten DIMG2 vom Steuergerät 10 zu unterschiedlichen Zeitpunkten empfangen werden, z. B. aufgrund einer Verzögerung bei der Übertragung und/oder dem Empfang eines der Sätze der ersten und zweiten Bilddaten DIMG1, DIMG2. Infolgedessen kann es zu einem zeitlichen Versatz zwischen den vom Steuergerät 10 empfangenen ersten und zweiten Bilddaten DIMG1, DIMG2 kommen. Die Datenübertragungsraten können beispielsweise von der Art der Verbindungen zwischen dem Steuergerät 10 und der Kamera des gezogenen Fahrzeugs C1 und der Kamera des Zugfahrzeugs C2 abhängig sein. In der vorliegenden Ausführungsform überträgt die Kamera C1 des gezogenen Fahrzeugs die ersten Bilddaten DIMG1 über eine drahtlose Verbindung, und die Kamera C2 des gezogenen Fahrzeugs überträgt die zweiten Bilddaten DIMG2 über eine drahtgebundene Verbindung. Die drahtlose Übertragung der ersten Bilddaten DIMG1 kann zu einer Verzögerung führen, die größer ist als die Verzögerung, die sich aus der drahtgebundenen Übertragung der zweiten Bilddaten DIMG2 ergibt. Andere Faktoren können zu einem zeitlichen Versatz zwischen den vom Steuergerät 10 empfangenen ersten und zweiten Bilddaten DIMG1, DIMG2 führen.
  • Jeder zeitliche Versatz zwischen den ersten und zweiten Bilddaten DIMG1, DIMG2 kann die Wahrnehmung anderer Objekte oder Fahrzeuge beeinträchtigen. Dies kann deutlich werden, wenn Teile des ersten und zweiten Bildes IMG1, IMG2 zu einem zusammengesetzten Bild IMG3 kombiniert werden. Die ausgewählten Teile des ersten und zweiten Bildes IMG1, IMG2 werden gleichzeitig im zusammengesetzten Bild IMG3 angezeigt. Besteht jedoch ein zeitlicher Versatz zwischen den ersten und zweiten Bilddaten DIMG1, DIMG2, die zur Erzeugung der zusammengesetzten Bilddaten DIMG3 kombiniert werden, könnte das resultierende zusammengesetzte Bild IMG3 möglicherweise eine irreführende Darstellung der aktuellen Situation liefern.
  • Die Steuereinheit 10 ist so konfiguriert, dass sie den zeitlichen Versatz zwischen den ersten und zweiten Bilddaten DIMG1, DIMG2 überwacht. Insbesondere ist das Steuergerät 10 so konfiguriert, dass es die ersten und zweiten Zeitstempel TST1-(t), TST2-(t) überwacht, um eine Zeitstempeldiskrepanz TSTΔ zwischen den ersten und zweiten Bildrahmen IMG1-F(t), IMG2-F(t) zu ermitteln. Das Steuergerät 10 ist so konfiguriert, dass es die Erzeugung und Ausgabe des zusammengesetzten Bildes IMG3 in Abhängigkeit von der ermittelten Zeitstempeldiskrepanz TSTΔ steuert. Insbesondere ist die Steuereinheit 10 so konfiguriert, dass sie eine der ersten und zweiten Bilddaten DIMG1, DIMG2 puffert, um die Zeitstempeldiskrepanz TSTΔ zwischen den ersten und zweiten Bildrahmen IMG1-F(t), IMG2-F(t), die zu dem zusammengesetzten Bild IMG3 kombiniert werden, zu verringern. Eines oder mehrere der ersten Bilder IMG1-F(t) oder eines oder mehrere der zweiten Bilder IMG2-F(t) werden gepuffert, um die Zeitstempeldiskrepanz TSTΔ zu verringern. Das Steuergerät 10 ist so konfiguriert, dass es die Anzahl der Bildrahmen bestimmt, die gepuffert werden müssen, um die Stempeldiskrepanz TSTΔ zu verringern oder zu beseitigen. In der vorliegenden Ausführungsform verwendet das Steuergerät 10 den Systemspeicher 18 als Bildpuffer. In der vorliegenden Ausführungsform funktioniert der Puffer als First-In-First-Out-Puffer (FIFO). In alternativen Implementierungen kann ein separater Bildspeicher vorgesehen werden, um das erste oder zweite Bild IMG1-F(t), IMG2-F(t) zu speichern.
  • Die Funktionsweise des Steuergeräts 10 zur Verringerung der Zeitstempeldiskrepanz TSTΔ wird nun beschrieben. Das Steuergerät 10 ermittelt den ersten und den zweiten Zeitstempel TST1-(t), TST2-(t) der jüngsten ersten und zweiten Bildrahmen IMG1-F(t), IMG2-F(t), die als Teil der ersten und zweiten Bilddaten DIMG1, DIMG2 übertragen wurden. Das Steuergerät 10 identifiziert, welcher der ersten Zeitstempel TST1-(t) und der zweiten Zeitstempel TST2-(t) eine spätere Bildaufnahmezeit anzeigt, und puffert die entsprechenden ersten Bilddaten DIMG1 und die zweiten Bilddaten DIMG2 im Systemspeicher 18. Die Steuereinheit 10 identifiziert, welche der ersten Bilddaten DIMG1 und der zweiten Bilddaten DIMG2 Bildrahmen IMG1-F(t), IMG2-F(t) mit einem Zeitstempel TST1-(t), TST2-(t) umfassen, der der aktuellen Zeit am nächsten liegt (d.h. am nächsten zu der von der Uhrfunktion eingestellten Systemzeit). Die identifizierten ersten Bilddaten DIMG1 und die zweiten Bilddaten DIMG2 werden im Systemspeicher 18 zwischengespeichert. Die Bilddaten IMG1-F(t), IMG2-F(t) mit dem jüngeren Zeitstempel TST1-(t), TST2-(t) werden zwischengespeichert. Das Steuergerät 10 setzt die Zwischenspeicherung eines der ersten Bilddaten DIMG1 und der zweiten Bilddaten DIMG2 fort, bis ein zeitgleiches Bild IMG1-F(t), IMG2-F(t) aus dem anderen der ersten Bilddaten DIMG1 und der zweiten Bilddaten DIMG2 verfügbar ist. Das Steuergerät 10 extrahiert dann die gepufferten Bilddaten IMG1-F(t), IMG2-F(t), um das zusammengesetzte Bild IMG3 zu bilden. Die Anzahl der ersten oder zweiten Bilddaten IMG1-F(t), IMG2-F(t), die gepuffert werden müssen, entspricht im Wesentlichen der Anzahl der Bilddaten, die während der ermittelten Zeitstempeldiskrepanz TSTΔ (die von der Bildrate der zugehörigen Kamera C1, C2 abhängt) angezeigt werden würden.
  • Ein Beispielszenario wird nun unter Bezugnahme auf 5 beschrieben. Zu einem Bezugszeitpunkt t empfängt das Steuergerät 10 einen ersten Bildrahmen IMG1-F(t-1) von der Kamera des Zugfahrzeugs C1 mit dem ersten Zeitstempel TST1-(t-1), der einen ersten Bildaufnahmezeitpunkt t-1 angibt. Zur gleichen Referenzzeit t empfängt das Steuergerät 10 das zweite Bild IMG2-F(t-4) von der Kamera C2 des Zugfahrzeugs mit dem zweiten Zeitstempel TST2-(t-4), der eine zweite Bildaufnahmezeit t-4 angibt. Das Steuergerät 10 vergleicht den ersten Zeitstempel TST1-(t-1) und den zweiten Zeitstempel TST2-(t-4), um die Zeitstempeldiskrepanz TSTΔ zu bestimmen. Die Zeitstempeldiskrepanz TSTΔ beträgt im vorliegenden Beispiel drei (3) (TSTΔ = TST2-(t-4) - TST1-(t-1)). Um die synchronisierten ersten und zweiten Bilder IMG1-F(t-4), IMG2-F(t-4) auszugeben, muss das Steuergerät 10 das entsprechende erste Bild IMG1-F(t-4), das zum Zeitpunkt t-4 aufgenommen wurde, bereits zwischengespeichert haben. Der Systemspeicher 18 puffert das erste Bild IMG1-F(t-4) (und die ersten Zwischenbilder IMG1-F(t-3), IMG1-F(t-2)). Das Steuergerät 10 gibt die entsprechenden ersten und zweiten Bilder IMG1-F(t-4), IMG2-F(t-4) aus, die zu einem zusammengesetzten Bild IMG3 kombiniert werden. Das erste Bild IMG1-F(t-4) ist in diesem Beispiel gepuffert, das zweite Bild IMG2-F(t-4) ungepuffert. Die Anzahl der im Systemspeicher 18 gepufferten ersten Bilder IMG1-F(t-4) beträgt drei (3), was der Zeitstempeldiskrepanz TSTΔ multipliziert mit der Bildrate der ersten Kamera C1 entspricht. Das Steuergerät 10 überwacht weiterhin den ersten und zweiten Zeitstempel TST1-(t), TST2-(t), um sicherzustellen, dass die ausgegebenen ersten und zweiten Bildrahmen IMG1-F(t-4), IMG2-F(t-4) synchronisiert sind.
  • Ist die Zeitstempeldiskrepanz TSTΔ größer oder gleich einem vordefinierten Schwellenwert TH1 für die Zeitstempeldiskrepanz, sperrt die Steuerung 10 die Erzeugung und Ausgabe des zusammengesetzten Bildes IMG3. Der Schwellenwert TH1 für die Zeitstempeldiskrepanz kann einen festen Wert haben. Der Schwellenwert für die Zeitstempeldiskrepanz TH1 kann z. B. auf 1 Sekunde, 2 Sekunden oder 3 Sekunden festgelegt werden. Alternativ kann die Zeitstempel-Diskrepanzschwelle TH1 in Abhängigkeit von einem oder mehreren Betriebsparametern des Zugfahrzeugs V2 festgelegt werden. Der Betriebsparameter des Zugfahrzeugs V2 kann einen oder mehrere der folgenden Parameter umfassen: eine Referenzgeschwindigkeit des Zugfahrzeugs V2; einen Knickwinkel zwischen dem gezogenen Fahrzeug V1 und dem Zugfahrzeug V2; eine gewählte Getriebeübersetzung des Zugfahrzeugs V2; und eine Fahrtrichtung des Zugfahrzeugs V2. Beispielsweise kann der Schwellenwert TH1 für die Zeitstempeldiskrepanz umgekehrt proportional zu einer Referenzgeschwindigkeit des Zugfahrzeugs V2 sein. Der Schwellenwert TH1 für die Zeitstempeldiskrepanz kann sich verringern, wenn die Referenzgeschwindigkeit des Zugfahrzeugs V2 steigt. Die Zeitstempel-Diskrepanzschwelle TH1 kann erhöht werden, wenn das Zugfahrzeug V2 rückwärts fährt.
  • Das Steuergerät 10 kann optional das Systemtaktsignal mit dem ersten Zeitstempel TST1-(t) und/oder dem zweiten Zeitstempel TST2-(t) vergleichen. Wenn das Steuergerät 10 eine Zeitverzögerung feststellt, die einen vordefinierten maximalen Zeitschwellenwert überschreitet, kann die Ausgabe des ersten Bildes IMG1 und/oder des zweiten IMG2 gesperrt werden. Diese Steuerungsstrategie kann auch zur Steuerung der Ausgabe des zusammengesetzten Bildes IMG3 verwendet werden. Wenn beispielsweise die ersten und zweiten Bilddaten DIMG1, DIMG2 beide um eine Zeitspanne verzögert sind, die größer ist als der vordefinierte maximale Zeitschwellenwert, kann das Steuergerät 10 die Ausgabe des zusammengesetzten Bildes IMG3 verhindern.
  • Optional kann die Systemuhr zur Synchronisierung der Aufnahmezeit der ersten und zweiten Aufnahmevorrichtung C1, C2 verwendet werden. Dies kann die Synchronisierung der Bilder weiter verbessern.
  • Das Kontrollgerät 10 kann wahlweise das erste Bild IMG1 oder das zweite Bild IMG2 ausgeben, wenn die Zeitstempeldiskrepanz TSTΔ als größer oder gleich dem vordefinierten Schwellenwert TH1 für die Zeitstempeldiskrepanz festgestellt wird. Das Kontrollgerät 10 überwacht weiterhin die Zeitstempeldiskrepanz TSTΔ. Wenn die Zeitstempeldiskrepanz TSTΔ unter den vordefinierten Schwellenwert für die Zeitstempeldiskrepanz TH1 sinkt, ist die Steuerung 10 so konfiguriert, dass sie die Erzeugung des zusammengesetzten Bildes IMG3 steuert. Die Ausgabe des zusammengesetzten Bildes IMG3 kann bis nach Ablauf einer vorgegebenen Hysteresezeit verzögert werden. Die Implementierung der Hysteresezeit kann dazu beitragen, eine unterbrochene Ausgabe des zusammengesetzten Bildes IMG3 zu vermeiden, z. B. aufgrund von intermittierenden Verzögerungen bei der Übertragung eines der ersten und zweiten Bilder IMG1, IMG2 an das Steuergerät 10. Die Hysteresezeit wird festgelegt, um sicherzustellen, dass das zusammengesetzte Bild IMG3 mit ausreichender Sicherheit erzeugt werden kann. Die Hysteresezeit kann z. B. mit 3 Sekunden, 5 Sekunden oder 10 Sekunden festgelegt werden.
  • Die Funktionsweise des Systems zur Erzeugung von Verbundbildern 1 wird nun unter Bezugnahme auf das in 6 dargestellte Flussdiagramm 100 beschrieben. Das Steuergerät 10 empfängt die ersten und zweiten Bilddaten DIMG1, DIMG2 von der Kamera des gezogenen Fahrzeugs C1 bzw. der Kamera des ziehenden Fahrzeugs C2 (BLOCK 110). Das Steuergerät 10 extrahiert den ersten Zeitstempel TST1-(t) und den zweiten Zeitstempel TST2-(t) für den ersten und zweiten Bildrahmen IMG1-F(t), IMG2-F(t) (BLOCK 120). Das Steuergerät 10 bestimmt die Zeitstempeldiskrepanz TSTΔ durch Vergleich des ersten Zeitstempels TST1-(t) und des zweiten Zeitstempels TST2-(t) (BLOCK 130). Es wird geprüft, ob die Zeitstempeldiskrepanz TSTΔ innerhalb akzeptabler vordefinierter Grenzen liegt (BLOCK 140). Wenn die Zeitstempeldiskrepanz TSTΔ größer oder gleich dem vordefinierten Schwellenwert TH1 für die Zeitstempeldiskrepanz ist, wird die Ausgabe des zusammengesetzten Bildes IMG3 verhindert (BLOCK 150) und die Bestimmung der Zeitstempeldiskrepanz TSTΔ wird wiederholt. Ist die Zeitstempeldiskrepanz TSTΔ kleiner als der vordefinierte Schwellenwert TH1 für die Zeitstempeldiskrepanz, ermittelt das Steuergerät 10, welcher der ersten Zeitstempel TST1-(t), TST2-(t) eine spätere Bildaufnahmezeit angibt, und speichert die entsprechenden ersten Bilddaten IMG1-(t) und zweiten Bilddaten IMG2-(t) (BLOCK 160). Das Steuergerät 10 fährt fort, die ersten Bilddaten IMG1-(t) und die zweiten Bilddaten IMG2-(t) zu puffern, bis der Zeitstempel der anderen der ersten Bilddaten IMG1-(t) und der zweiten Bilddaten IMG2-(t) übereinstimmt (BLOCK 170). Das Steuergerät 10 gibt dann die synchronisierten ersten und zweiten Bilder IMG1, IMG2 aus (BLOCK 180). Das Steuergerät 10 kombiniert die synchronisierten ersten und zweiten Bilder IMG1, IMG2, um das zusammengesetzte Bild IMG3 zu erzeugen (BLOCK 190).
  • Das System zur Erzeugung zusammengesetzter Bilder 1 steuert die Anzeige des zusammengesetzten Bildes IMG3 in Abhängigkeit von der Zeitstempeldiskrepanz TSTΔ zwischen der Aufnahmezeit des ersten und des zweiten Bildes IMG1, IMG2 (dies wirkt sich darauf aus, ob die Datenströme eines der ersten und zweiten Bilddaten DIMG1, DIMG2 gepuffert werden können, um die Erzeugung des zusammengesetzten Bildes IMG3 zu ermöglichen). Das System zur Erzeugung zusammengesetzter Bilder 1 kann optional auch die Anzeige des ersten Bildes IMG1 und des zweiten Bildes IMG2 in Abhängigkeit von der Zeitstempeldiskrepanz TSTΔ zwischen dem globalen Systemtakt CLK und dem ersten Zeitstempel TST1-(t) bzw. dem zweiten Zeitstempel TST2-(t) steuern. Das System zur Erzeugung von Verbundbildern 1 kann die Anzeige des ersten Bildes IMG1 oder des zweiten Bildes IMG2 verhindern, wenn die ermittelte Zeitstempeldiskrepanz TSTΔ größer als ein vordefinierter Zeitschwellenwert ist.
  • Das Steuergerät 10 kann so konfiguriert werden, dass es ein Steuersignal ausgibt, um den Betrieb der Kamera des abgeschleppten Fahrzeugs C1 und/oder der Kamera des abschleppenden Fahrzeugs C2 zu steuern, beispielsweise um die Zeitstempeldiskrepanz TSTΔ zu verringern. Das Steuersignal kann beispielsweise die Kamera C1 des gezogenen Fahrzeugs und/oder die Kamera C2 des ziehenden Fahrzeugs steuern, um einen oder mehrere Parameter der ersten Bilddaten und der zweiten Bilddaten zu ändern. Bei dem einen oder den mehreren Parametern kann es sich um einen oder mehrere der folgenden Parameter handeln: Bildfrequenz, Auflösung, Farbinhalt und Sichtfeld.
  • Es wurden beispielhafte Steuergeräte 10 beschrieben, die mindestens einen elektronischen Prozessor 12 umfassen, der so konfiguriert ist, dass er elektronische Befehle ausführt, die in mindestens einer Speichervorrichtung 18 gespeichert sind, die bei ihrer Ausführung den/die elektronischen Prozessor(en) 12 veranlasst/veranlassen, das hier beschriebene Verfahren auszuführen. Es wird jedoch davon ausgegangen, dass die vorliegende Erfindung nicht darauf beschränkt ist, mittels programmierbarer Verarbeitungsvorrichtungen implementiert zu werden, und dass zumindest einige und in einigen Ausführungsformen alle Funktionen und/oder Verfahrensschritte der vorliegenden Erfindung auch mittels nicht programmierbarer Hardware implementiert werden können, wie z. B. mittels nicht programmierbarer ASICs, Boolescher Logikschaltungen usw.
  • Die hier beschriebene Ausführungsform der vorliegenden Erfindung umfasst eine erste und eine zweite Abbildungsvorrichtung C1, C2. Es versteht sich, dass Aspekte der vorliegenden Erfindung in Systeme integriert werden können, die mehr als zwei Bilderfassungsvorrichtungen C1, C2 umfassen. Obwohl die erste und die zweite Bilderfassungsvorrichtung C1, C2 als auf getrennten Fahrzeugen V1, V2 angeordnet beschrieben wurden, können die erste und die zweite Bilderfassungsvorrichtung C1, C2 selbstverständlich auf demselben Fahrzeug V1, V2 angeordnet sein.
  • Die hier beschriebenen bildgebenden Geräte C1, C2 umfassen digitale Kameras. Bei den Kameras kann es sich um optische Kameras handeln, die zum Beispiel im sichtbaren oder nicht sichtbaren Lichtspektrum arbeiten. Alternativ oder zusätzlich können die Bildgebungsvorrichtungen C1, C2 auch andere Arten von Sensoren umfassen. So können die Bildgebungsvorrichtungen C1, C2 beispielsweise einen oder mehrere der folgenden Sensoren umfassen: einen Ultraschallsensor, einen LIDAR-Sensor und einen RADAR-Sensor.
  • Es wird deutlich, dass verschiedene Änderungen und Modifikationen an der vorliegenden Erfindung vorgenommen werden können, ohne den Anwendungsbereich der vorliegenden Anmeldung zu verlassen.
  • Aspekte der Erfindung sind in den folgenden nummerierten Klauseln dargelegt.
    1. 1. Ein System zur Erzeugung eines zusammengesetzten Bildes (1) für ein Fahrzeug (V1, V2), wobei das System zur Erzeugung eines zusammengesetzten Bildes (1) ein oder mehrere Steuergeräte (10) umfasst, wobei das System zur Erzeugung eines zusammengesetzten Bildes (1) umfasst:
      • einen zum Empfang konfigurierten Eingang:
        • erste Bilddaten (DIMG1) von einer ersten Abbildungsvorrichtung (C1), wobei die ersten Bilddaten (DIMG1) einen ersten Zeitstempel (TST1-(t)) umfassen, der eine Zeit angibt, zu der die ersten Bilddaten (DIMG1) von der ersten Abbildungsvorrichtung (C1) erfasst wurden;
        • zweite Bilddaten (DIMG2) von einer zweiten Bildgebungsvorrichtung (C2), wobei die zweiten Bilddaten (DIMG2) einen zweiten Zeitstempel (TST2-(t)) umfassen, der eine Zeit angibt, zu der die zweiten Bilddaten (DIMG2) von der zweiten Abbildungsvorrichtung (C2) erfasst wurden;
      • wobei der eine oder mehrere Controller (10) so konfiguriert ist, dass er:
        • den ersten Zeitstempel (TST1-(t)) mit dem zweiten Zeitstempel (TST2-(t)) vergleichen, um eine Zeitstempeldiskrepanz (TSTΔ) zu bestimmen; und
        • Erzeugung zusammengesetzter Bilddaten (DIMG3), die mindestens einen Teil der ersten Bilddaten (DIMG1) und mindestens einen Teil der zweiten Bilddaten (DIMG2) umfassen;
      • wobei der eine oder mehrere Controller (10) so konfiguriert ist, dass er die Ausgabe der zusammengesetzten Bilddaten (DIMG3) in Abhängigkeit von der Zeitstempeldiskrepanz (TSTΔ) steuert.
    2. 2. System zur Erzeugung eines zusammengesetzten Bildes (1) gemäß Abschnitt 1, wobei die Steuerung (10) so konfiguriert ist, dass sie die zusammengesetzten Bilddaten (DIMG3) ausgibt, wenn die Zeitstempeldiskrepanz (TSTΔ) kleiner als ein Zeitstempeldiskrepanz-Schwellenwert (TH1) ist; und dass sie die Ausgabe der zusammengesetzten Bilddaten (DIMG3) verhindert, wenn die Zeitstempeldiskrepanz (TSTΔ) größer oder gleich dem Zeitstempeldiskrepanz-Schwellenwert (TH1) ist.
    3. 3. System zur Erzeugung eines zusammengesetzten Bildes (1) gemäß Klausel 1 oder Klausel 2, wobei die Steuerung (10) so konfiguriert ist, dass sie entweder die ersten Bilddaten (DIMG1) oder die zweiten Bilddaten (DIMG2) ausgibt, wenn die Zeitstempeldiskrepanz (TSTΔ) größer oder gleich der Zeitstempeldiskrepanzschwelle (TH1) ist.
    4. 4. System zur Erzeugung eines zusammengesetzten Bildes (1) gemäß einer der Klauseln 1, 2 oder 3, wobei die Steuerung (10) in Abhängigkeit von der Feststellung, dass die Zeitstempeldiskrepanz (TSTΔ) von einem Wert größer als der Schwellenwert für die Zeitstempeldiskrepanz (TH1) zu einem Wert kleiner als der Schwellenwert für die Zeitstempeldiskrepanz (TH1) gewechselt hat, so konfiguriert ist, dass sie die zusammengesetzten Bilddaten (DIMG3) nach Ablauf einer vorgegebenen Hysteresezeit ausgibt.
    5. 5. System zur Erzeugung eines zusammengesetzten Bildes (1) nach einer der Klauseln 1 bis 4, wobei der Schwellenwert für die Zeitstempelabweichung (TH1) in Abhängigkeit von einem oder mehreren Betriebsparametern des Fahrzeugs (V1, V2) bestimmt wird.
    6. 6. System zur Erzeugung eines zusammengesetzten Bildes (1) gemäß Abschnitt 5, wobei der eine oder die mehreren Betriebsparameter mindestens einen der folgenden umfassen:
      • eine Referenzgeschwindigkeit des Fahrzeugs (V1, V2);
      • einen Knickwinkel eines an das Fahrzeug (V2) gekoppelten Zugfahrzeugs (V1);
      • ein ausgewähltes Getriebeübersetzungsverhältnis; und
      • eine Fahrtrichtung des Fahrzeugs (V1, V2).
    7. 7. System zur Erzeugung eines zusammengesetzten Bildes (1) gemäß einem der vorhergehenden Abschnitte, wobei die Steuerung (10) so konfiguriert ist, dass sie identifiziert, welcher von dem ersten Zeitstempel (TST1-(t)) und dem zweiten Zeitstempel (TST2-(t)) eine spätere Bilderfassungszeit anzeigt; und dass sie die entsprechenden der ersten Bilddaten (DIMG1) und der zweiten Bilddaten (DIMG2) in einer Speichervorrichtung puffert.
    8. 8. System zur Erzeugung eines zusammengesetzten Bildes (1) gemäß Klausel 7, wobei der Controller (10) so konfiguriert ist, dass er die zusammengesetzten Bilddaten (DIMG3) erzeugt, indem er zumindest einen Teil der ersten Bilddaten (DIMG1) oder der zweiten Bilddaten (DIMG2), die in der Speichervorrichtung zwischengespeichert sind, mit zumindest einem Teil der anderen der ersten Bilddaten (DIMG1) oder der zweiten Bilddaten (DIMG2) kombiniert.
    9. 9. System zur Erzeugung eines zusammengesetzten Bildes (1) gemäß Klausel 7 oder Klausel 8, wobei entweder die ersten Bilddaten (DIMG1) oder die zweiten Bilddaten (DIMG2) in Abhängigkeit von der Zeitstempeldiskrepanz (TSTΔ) gepuffert werden; wobei die gepufferten ersten Bilddaten (DIMG1) oder die zweiten Bilddaten (DIMG2) optional für eine Zeitspanne gepuffert werden, die zumindest im Wesentlichen der Zeitstempeldiskrepanz (TSTΔ) entspricht.
    10. 10. System (1) zur Erzeugung eines zusammengesetzten Bildes gemäß einem der vorhergehenden Abschnitte, wobei die Steuerung (10) so konfiguriert ist, dass sie identifiziert, welcher von dem ersten Zeitstempel (TST1-(t)) und dem zweiten Zeitstempel (TST2-(t)) eine spätere Bilderfassungszeit angibt; und einen oder mehrere Parameter der entsprechenden der ersten Bilddaten (DIMG1) und der zweiten Bilddaten (DIMG2) zu modifizieren, um die Zeitstempel-Diskrepanz (TSTΔ) zu reduzieren; wobei der eine oder die mehreren Parameter optional einen oder mehrere der folgenden umfassen: eine Bildrate, eine Auflösung, ein Farbgehalt und ein Sichtfeld.
    11. 11. System zur Erzeugung eines zusammengesetzten Bildes (1) für ein Fahrzeug, wobei das System zur Erzeugung eines zusammengesetzten Bildes ein oder mehrere Steuerungen (10) umfasst, wobei das System zur Erzeugung eines zusammengesetzten Bildes (1) umfasst:
      • einen zum Empfang konfigurierten Eingang:
        • erste Bilddaten (DIMG1) von einer ersten Abbildungsvorrichtung (C1), wobei die ersten Bilddaten (DIMG1) einen ersten Zeitstempel (TST1-(t)) umfassen, der eine Zeit angibt, zu der die ersten Bilddaten (DIMG1) von der ersten Abbildungsvorrichtung (C1) erfasst wurden;
        • zweite Bilddaten (DIMG2) von einer zweiten Abbildungsvorrichtung (C2), wobei die zweiten Bilddaten (DIMG2) einen zweiten Zeitstempel (TST2-(t)) umfassen, der eine Zeit angibt, zu der die zweiten Bilddaten (DIMG2) von der zweiten Bildgebungsvorrichtung (C2) erfasst wurden;
      • wobei der eine oder mehrere Controller (10) so konfiguriert ist, dass er:
        • Bestimmen, welcher von dem ersten Zeitstempel (TST1-(t)) und dem zweiten Zeitstempel (TST2-(t)) eine spätere Bildaufnahmezeit anzeigt, und in Abhängigkeit von der Bestimmung Puffern der ersten Bilddaten (DIMG1) oder der zweiten Bilddaten (DIMG2).
    12. 12. ein Fahrzeug mit einem System zur Erzeugung eines zusammengesetzten Bildes (1) nach einem der vorhergehenden Abschnitte.
    13. 13. Ein Verfahren zur Verarbeitung von Bilddaten, wobei das Verfahren umfasst:
      • Empfangen erster Bilddaten (DIMG1) von einer ersten Abbildungsvorrichtung (C1), wobei die ersten Bilddaten (DIMG1) einen ersten Zeitstempel (TST1-(t)) umfassen, der einen Zeitpunkt angibt, zu dem die ersten Bilddaten (DIMG1) von der ersten Abbildungsvorrichtung (C1) erfasst wurden;
      • Empfangen von zweiten Bilddaten (DIMG2) von einer zweiten Abbildungsvorrichtung (C2), wobei die zweiten Bilddaten (DIMG2) einen zweiten Zeitstempel (TST2-(t)) umfassen, der einen Zeitpunkt angibt, zu dem die zweiten Bilddaten (DIMG2) von der zweiten Abbildungsvorrichtung (C2) erfasst wurden;
      • Vergleichen des ersten Zeitstempels (TST1-(t)) mit dem zweiten Zeitstempel (TST2-(t)) zur Bestimmung einer Zeitstempeldiskrepanz (TSTΔ); und
      • Erzeugen von zusammengesetzten Bilddaten (DIMG3), die mindestens einen Teil der ersten Bilddaten (DIMG1) und mindestens einen Teil der zweiten Bilddaten (DIMG2) umfassen;
      • wobei die Ausgabe der zusammengesetzten Bilddaten (DIMG3) in Abhängigkeit von der Zeitstempeldiskrepanz (TSTΔ) gesteuert wird.
    14. 14. Verfahren nach Klausel 13, bei dem die zusammengesetzten Bilddaten (DIMG3) ausgegeben werden, wenn die Zeitstempeldiskrepanz (TSTΔ) kleiner als ein Zeitstempeldiskrepanz-Schwellenwert (TH1) ist; und die Ausgabe der zusammengesetzten Bilddaten (DIMG3) verhindert wird, wenn die Zeitstempeldiskrepanz (TSTΔ) größer oder gleich dem Zeitstempeldiskrepanz-Schwellenwert (TH1) ist.
    15. 15. Verfahren nach Klausel 13 oder Klausel 14, das die Ausgabe der ersten Bilddaten (DIMG1) oder der zweiten Bilddaten (DIMG2) umfasst, wenn die Zeitstempeldiskrepanz (TSTΔ) größer oder gleich dem Schwellenwert für die Zeitstempeldiskrepanz (TH1) ist.
    16. 16. Verfahren nach einer der Klauseln 13, 14 oder 15, bei dem die zusammengesetzten Bilddaten (DIMG3) nach Ablauf einer vorbestimmten Hysteresezeit ausgegeben werden, nachdem festgestellt wurde, dass die Zeitstempeldiskrepanz (TSTΔ) kleiner als der Schwellenwert für die Zeitstempeldiskrepanz (TH1) ist.
    17. 17. Verfahren nach einer der Klauseln 13 bis 16, wobei der Schwellenwert für die Zeitstempeldiskrepanz (TH1) in Abhängigkeit von einem oder mehreren Betriebsparametern des Fahrzeugs bestimmt wird, wobei der eine oder die mehreren Betriebsparameter mindestens einen der folgenden umfassen:
      • eine Referenzgeschwindigkeit des Fahrzeugs;
      • einen Knickwinkel eines an das Fahrzeug gekoppelten Zugfahrzeugs;
      • ein ausgewähltes Getriebeübersetzungsverhältnis; und
      • eine Fahrtrichtung des Fahrzeugs.
    18. 18. Verfahren gemäß einer der Klauseln 13 bis 17, umfassend das Identifizieren, welcher von dem ersten Zeitstempel (TST 1-(t)) und dem zweiten Zeitstempel (TST2-(t)) eine spätere Bilderfassungszeit anzeigt; und das Puffern der entsprechenden der ersten Bilddaten (DIMG1) und der zweiten Bilddaten (DIMG2).
    19. 19. Verfahren nach Klausel 18, das das Erzeugen der zusammengesetzten Bilddaten (DIMG3) durch Kombinieren mindestens eines Teils der ersten Bilddaten (DIMG1) oder der zweiten Bilddaten (DIMG2), die in der Speichervorrichtung gepuffert sind, mit mindestens einem Teil der anderen der ersten Bilddaten (DIMG1) oder der zweiten Bilddaten (DIMG2) umfasst.
    20. 20. Verfahren nach Klausel 18 oder Klausel 19, bei dem entweder die ersten Bilddaten (DIMG1) oder die zweiten Bilddaten (DIMG2) in Abhängigkeit von der Zeitstempeldiskrepanz (TSTΔ) gepuffert werden, wobei die gepufferten ersten Bilddaten (DIMG1) oder die zweiten Bilddaten (DIMG2) optional für einen Zeitraum gepuffert werden, der zumindest im Wesentlichen gleich der Zeitstempeldiskrepanz (TSTΔ) ist.
    21. 21. Verfahren gemäß einer der Klauseln 13 bis 20, umfassend das Identifizieren, welcher von dem ersten Zeitstempel (TST 1-(t)) und dem zweiten Zeitstempel (TST2-(t)) eine spätere Bildaufnahmezeit anzeigt; und das Modifizieren eines oder mehrerer Parameter der entsprechenden der ersten Bilddaten (DIMG1) und der zweiten Bilddaten (DIMG2), um die Zeitstempel-Diskrepanz (TSTΔ) zu reduzieren; wobei der eine oder die mehreren Parameter optional einen oder mehrere der folgenden umfassen: eine Bildrate, eine Auflösung, ein Farbinhalt und ein Sichtfeld.
    22. 22. Ein Verfahren zur Verarbeitung von Bilddaten, wobei das Verfahren umfasst:
      • Empfangen erster Bilddaten (DIMG1) von einer ersten Abbildungsvorrichtung (C1), wobei die ersten Bilddaten (DIMG1) einen ersten Zeitstempel (TST 1-(t)) umfassen, der einen Zeitpunkt angibt, zu dem die ersten Bilddaten (DIMG1) von der ersten Abbildungsvorrichtung (C1) erfasst wurden;
      • Empfangen von zweiten Bilddaten (DIMG2) von einer zweiten Abbildungsvorrichtung (C2), wobei die zweiten Bilddaten (DIMG2) einen zweiten Zeitstempel (TST2-(t)) umfassen, der einen Zeitpunkt angibt, zu dem die zweiten Bilddaten (DIMG2) von der zweiten Abbildungsvorrichtung (C2) erfasst wurden;
        • Bestimmen, welcher von dem ersten Zeitstempel (TST1-(t)) und dem zweiten Zeitstempel (TST2-(t)) einen späteren Bildaufnahmezeitpunkt anzeigt, und, in Abhängigkeit von der Bestimmung, Puffern der ersten Bilddaten (DIMG1) oder der zweiten Bilddaten (DIMG2).
    23. 23. Computersoftware, die, wenn sie ausgeführt wird, so beschaffen ist, dass sie ein Verfahren gemäß einer der Ziffern 13 bis 22 durchführt.
    24. 24. Ein nichttransitorisches, computerlesbares Speichermedium, auf dem Befehle gespeichert sind, die, wenn sie von einem oder mehreren elektronischen Prozessoren ausgeführt werden, den einen oder die mehreren elektronischen Prozessoren veranlassen, das Verfahren nach einer der Klauseln 13 bis 23 auszuführen.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • GB 1414632 [0002]

Claims (16)

  1. Ein System zur Erzeugung eines zusammengesetzten Bildes (1) für ein Fahrzeug (V1, V2), wobei das System zur Erzeugung eines zusammengesetzten Bildes (1) ein oder mehrere Steuerungen (10) umfasst, wobei das System zur Erzeugung eines zusammengesetzten Bildes (1) umfasst: einen zum Empfang konfigurierten Eingang: erste Bilddaten (DIMG1) von einer ersten Abbildungsvorrichtung (C1), wobei die ersten Bilddaten (DIMG1) einen ersten Zeitstempel (TST1-(t)) umfassen, der eine Zeit angibt, zu der die ersten Bilddaten (DIMG1) von der ersten Abbildungsvorrichtung (C1) erfasst wurden; zweite Bilddaten (DIMG2) von einer zweiten Bildgebungsvorrichtung (C2), wobei die zweiten Bilddaten (DIMG2) einen zweiten Zeitstempel (TST2-(t)) umfassen, der eine Zeit angibt, zu der die zweiten Bilddaten (DIMG2) von der zweiten Bildgebungsvorrichtung (C2) erfasst wurden; wobei die eine oder mehrere Steuerungen (10) so konfiguriert sind, um: den ersten Zeitstempel (TST1-(t)) mit dem zweiten Zeitstempel (TST2-(t)) zu vergleichen, um eine Zeitstempeldiskrepanz (TSTΔ) zu bestimmen; und zusammengesetzte Bilddaten (DIMG3) zu erzeugen, die mindestens einen Teil der ersten Bilddaten (DIMG1) und mindestens einen Teil der zweiten Bilddaten (DIMG2) umfassen; wobei die eine oder mehreren Steuerungen (10) so konfiguriert sind, dass sie die Ausgabe der zusammengesetzten Bilddaten (DIMG3) in Abhängigkeit von der Zeitstempeldiskrepanz (TSTΔ) steuern.
  2. System zur Erzeugung eines zusammengesetzten Bildes (1) nach Anspruch 1, wobei die Steuerung (10) so konfiguriert ist, dass sie die zusammengesetzten Bilddaten (DIMG3) ausgibt, wenn die Zeitstempeldiskrepanz (TSTΔ) kleiner als ein Zeitstempeldiskrepanz-Schwellenwert (TH1) ist, und dass sie die Ausgabe der zusammengesetzten Bilddaten (DIMG3) verhindert, wenn die Zeitstempeldiskrepanz (TSTΔ) größer als oder gleich dem Zeitstempeldiskrepanz-Schwellenwert (TH1) ist.
  3. System zur Erzeugung eines zusammengesetzten Bildes (1) nach Anspruch 1 oder Anspruch 2, wobei die Steuerung (10) so konfiguriert ist, dass sie entweder die ersten Bilddaten (DIMG1) oder die zweiten Bilddaten (DIMG2) ausgibt, wenn die Zeitstempeldiskrepanz (TSTΔ) größer oder gleich dem Zeitstempeldiskrepanz-Schwellenwert (TH1) ist.
  4. System zur Erzeugung eines zusammengesetzten Bildes (1) nach einem der Ansprüche 1, 2 oder 3, wobei die Steuerung (10) in Abhängigkeit von der Feststellung, dass die Zeitstempeldiskrepanz (TSTΔ) von einem Wert größer als der Schwellenwert für die Zeitstempeldiskrepanz (TH1) zu einem Wert kleiner als der Schwellenwert für die Zeitstempeldiskrepanz (TH1) gewechselt hat, so konfiguriert ist, dass sie die zusammengesetzten Bilddaten (DIMG3) nach Ablauf einer vorgegebenen Hysteresezeit ausgibt.
  5. System zur Erzeugung eines zusammengesetzten Bildes (1) nach einem der Ansprüche 1 bis 4, wobei der Schwellenwert für die Zeitstempelabweichung (TH1) in Abhängigkeit von einem oder mehreren Betriebsparametern des Fahrzeugs (V1, V2) bestimmt wird.
  6. System zur Erzeugung eines zusammengesetzten Bildes (1) nach Anspruch 5, wobei der eine oder die mehreren Betriebsparameter mindestens einen der folgenden umfassen: eine Referenzgeschwindigkeit des Fahrzeugs (V1, V2); einen Knickwinkel eines an das Fahrzeug (V2) gekoppelten Anhängefahrzeugs (V1); ein ausgewähltes Getriebeübersetzungsverhältnis; und eine Fahrtrichtung des Fahrzeugs (V1, V2).
  7. System zur Erzeugung eines zusammengesetzten Bildes (1) nach einem der vorhergehenden Ansprüche, wobei die Steuerung (10) so konfiguriert ist, dass sie identifiziert, welcher von dem ersten Zeitstempel (TST1-(t)) und dem zweiten Zeitstempel (TST2-(t)) eine spätere Bilderfassungszeit anzeigt; und dass sie die entsprechenden der ersten Bilddaten (DIMG1) und der zweiten Bilddaten (DIMG2) in einer Speichervorrichtung puffert.
  8. System zur Erzeugung eines zusammengesetzten Bildes (1) nach Anspruch 7, wobei der Controller (10) so konfiguriert ist, dass er die zusammengesetzten Bilddaten (DIMG3) erzeugt, indem er mindestens einen Teil der ersten Bilddaten (DIMG1) oder der zweiten Bilddaten (DIMG2), die in der Speichervorrichtung zwischengespeichert sind, mit mindestens einem Teil der anderen der ersten Bilddaten (DIMG1) oder der zweiten Bilddaten (DIMG2) kombiniert.
  9. System zur Erzeugung eines zusammengesetzten Bildes (1) nach Anspruch 7 oder 8, bei dem entweder die ersten Bilddaten (DIMG1) oder die zweiten Bilddaten (DIMG2) in Abhängigkeit von der Zeitstempeldiskrepanz (TSTΔ) gepuffert werden, wobei die gepufferten ersten Bilddaten (DIMG1) oder die zweiten Bilddaten (DIMG2) optional für einen Zeitraum gepuffert werden, der zumindest im Wesentlichen der Zeitstempeldiskrepanz (TSTΔ) entspricht.
  10. System (1) zur Erzeugung eines zusammengesetzten Bildes nach einem der vorhergehenden Ansprüche, wobei die Steuerung (10) so konfiguriert ist, dass sie erkennt, welcher von dem ersten Zeitstempel (TST1-(t)) und dem zweiten Zeitstempel (TST2-(t)) eine spätere Bilderfassungszeit angibt; und einen oder mehrere Parameter der entsprechenden der ersten Bilddaten (DIMG1) und der zweiten Bilddaten (DIMG2) zu modifizieren, um die Zeitstempel-Diskrepanz (TSTΔ) zu reduzieren; wobei der eine oder die mehreren Parameter optional einen oder mehrere der folgenden umfassen: eine Bildrate, eine Auflösung, ein Farbgehalt und ein Sichtfeld.
  11. System zur Erzeugung eines zusammengesetzten Bildes (1) für ein Fahrzeug, wobei das System zur Erzeugung eines zusammengesetzten Bildes ein oder mehrere Steuerungen (10) umfasst, wobei das System zur Erzeugung eines zusammengesetzten Bildes (1) umfasst: einen zum Empfang konfigurierten Eingang: erste Bilddaten (DIMG1) von einer ersten Abbildungsvorrichtung (C1), wobei die ersten Bilddaten (DIMG1) einen ersten Zeitstempel (TST1-(t)) umfassen, der eine Zeit angibt, zu der die ersten Bilddaten (DIMG1) von der ersten Abbildungsvorrichtung (C1) erfasst wurden; zweite Bilddaten (DIMG2) von einer zweiten Bildgebungsvorrichtung (C2), wobei die zweiten Bilddaten (DIMG2) einen zweiten Zeitstempel (TST2-(t)) umfassen, der eine Zeit angibt, zu der die zweiten Bilddaten (DIMG2) von der zweiten Bildgebungsvorrichtung (C2) erfasst wurden; wobei der eine oder mehrere Controller (10) so konfiguriert ist, dass er: Bestimmen, welcher von dem ersten Zeitstempel (TST1-(t)) und dem zweiten Zeitstempel (TST2-(t)) eine spätere Bildaufnahmezeit anzeigt, und in Abhängigkeit von der Bestimmung Puffern der ersten Bilddaten (DIMG1) oder der zweiten Bilddaten (DIMG2).
  12. Fahrzeug mit einem System zur Erzeugung eines zusammengesetzten Bildes (1) nach einem der vorangehenden Ansprüche.
  13. Ein Verfahren zur Verarbeitung von Bilddaten, wobei das Verfahren umfasst: Empfangen erster Bilddaten (DIMG1) von einer ersten Abbildungsvorrichtung (C1), wobei die ersten Bilddaten (DIMG1) einen ersten Zeitstempel (TST 1-(t)) umfassen, der einen Zeitpunkt angibt, zu dem die ersten Bilddaten (DIMG1) von der ersten Abbildungsvorrichtung (C1) erfasst wurden; Empfangen von zweiten Bilddaten (DIMG2) von einer zweiten Abbildungsvorrichtung (C2), wobei die zweiten Bilddaten (DIMG2) einen zweiten Zeitstempel (TST2-(t)) umfassen, der einen Zeitpunkt angibt, zu dem die zweiten Bilddaten (DIMG2) von der zweiten Abbildungsvorrichtung (C2) erfasst wurden; Vergleichen des ersten Zeitstempels (TST1-(t)) mit dem zweiten Zeitstempel (TST2-(t)) zur Bestimmung einer Zeitstempeldiskrepanz (TSTA); und Erzeugen von zusammengesetzten Bilddaten (DIMG3), die mindestens einen Teil der ersten Bilddaten (DIMG1) und mindestens einen Teil der zweiten Bilddaten (DIMG2) umfassen; wobei die Ausgabe der zusammengesetzten Bilddaten (DIMG3) in Abhängigkeit von der Zeitstempeldiskrepanz (TSTΔ) gesteuert wird.
  14. Ein Verfahren zur Verarbeitung von Bilddaten, wobei das Verfahren umfasst: Empfangen erster Bilddaten (DIMG1) von einer ersten Abbildungsvorrichtung (C1), wobei die ersten Bilddaten (DIMG1) einen ersten Zeitstempel (TST 1-(t)) umfassen, der einen Zeitpunkt angibt, zu dem die ersten Bilddaten (DIMG1) von der ersten Abbildungsvorrichtung (C1) erfasst wurden; Empfangen von zweiten Bilddaten (DIMG2) von einer zweiten Abbildungsvorrichtung (C2), wobei die zweiten Bilddaten (DIMG2) einen zweiten Zeitstempel (TST2-(t)) umfassen, der einen Zeitpunkt angibt, zu dem die zweiten Bilddaten (DIMG2) von der zweiten Abbildungsvorrichtung (C2) erfasst wurden; Bestimmen, welcher von dem ersten Zeitstempel (TST1-(t)) und dem zweiten Zeitstempel (TST2-(t)) einen späteren Bildaufnahmezeitpunkt anzeigt, und, in Abhängigkeit von der Bestimmung, Puffern der ersten Bilddaten (DIMG1) oder der zweiten Bilddaten (DIMG2).
  15. Computersoftware, die, wenn sie ausgeführt wird, so beschaffen ist, dass sie ein Verfahren nach einem der Ansprüche 13 bis 14 durchführt.
  16. Nichttransitorisches, computerlesbares Speichermedium, auf dem Befehle gespeichert sind, die, wenn sie von einem oder mehreren elektronischen Prozessoren ausgeführt werden, den einen oder die mehreren elektronischen Prozessoren veranlassen, das Verfahren nach einem der Ansprüche 13 bis 14 auszuführen.
DE112020002028.2T 2019-04-19 2020-04-10 Bildgebendes system und verfahren Pending DE112020002028T5 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1905602.7 2019-04-19
GB1905602.7A GB2583704B (en) 2019-04-19 2019-04-19 Imaging system and method
PCT/EP2020/060339 WO2020212287A1 (en) 2019-04-19 2020-04-10 Imaging system and method

Publications (1)

Publication Number Publication Date
DE112020002028T5 true DE112020002028T5 (de) 2022-02-24

Family

ID=66810213

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112020002028.2T Pending DE112020002028T5 (de) 2019-04-19 2020-04-10 Bildgebendes system und verfahren

Country Status (4)

Country Link
US (1) US12088931B2 (de)
DE (1) DE112020002028T5 (de)
GB (1) GB2583704B (de)
WO (1) WO2020212287A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2582323B (en) * 2019-03-19 2022-02-09 Jaguar Land Rover Ltd Image processing system and method

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB1414632A (en) 1971-10-29 1975-11-19 Standaart A W Cathode ray kinexcope construction

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070019311A1 (en) * 2005-07-22 2007-01-25 Doron Precision Systems, Inc. Semi-interactive driving simulator with multiple simulated mirror images and method of preparing images for use in simulator
JP4748082B2 (ja) * 2007-02-23 2011-08-17 トヨタ自動車株式会社 車両用周辺監視装置及び車両用周辺監視方法
US8717422B2 (en) * 2010-12-22 2014-05-06 Texas Instruments Incorporated Multi-sensor video frame synchronization apparatus and methods
US9446713B2 (en) * 2012-09-26 2016-09-20 Magna Electronics Inc. Trailer angle detection system
US9197885B2 (en) * 2014-03-20 2015-11-24 Gopro, Inc. Target-less auto-alignment of image sensors in a multi-camera system
WO2016026870A1 (en) * 2014-08-18 2016-02-25 Jaguar Land Rover Limited Display system and method
GB2529408B (en) * 2014-08-18 2019-01-30 Jaguar Land Rover Ltd Display system and method
KR102600504B1 (ko) * 2016-09-07 2023-11-10 삼성전자주식회사 전자 장치 및 그 제어 방법
US10297034B2 (en) * 2016-09-30 2019-05-21 Qualcomm Incorporated Systems and methods for fusing images
DE102017100004A1 (de) * 2017-01-02 2018-07-05 Connaught Electronics Ltd. Verfahren zum Bereitstellen von zumindest einer Information aus einem Umgebungsbereich eines Kraftfahrzeugs, Anzeigesystem für ein Kraftfahrzeug, Fahrerassistenzsystem für ein Kraftfahrzeug sowie Kraftfahrzeug
US10518702B2 (en) * 2017-01-13 2019-12-31 Denso International America, Inc. System and method for image adjustment and stitching for tractor-trailer panoramic displays
US10836312B2 (en) * 2017-06-19 2020-11-17 Rom Acquisition Corporation Dynamic 360 degree view accident avoidance system
JP2019102889A (ja) * 2017-11-29 2019-06-24 株式会社デンソー カメラシステム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB1414632A (en) 1971-10-29 1975-11-19 Standaart A W Cathode ray kinexcope construction

Also Published As

Publication number Publication date
GB201905602D0 (en) 2019-06-05
WO2020212287A1 (en) 2020-10-22
GB2583704A (en) 2020-11-11
GB2583704B (en) 2023-05-24
US20220141383A1 (en) 2022-05-05
US12088931B2 (en) 2024-09-10

Similar Documents

Publication Publication Date Title
DE102018105951B4 (de) Verfahren zum dynamischen anzeigen von bildern auf einer elektronischen anzeigevorrichtung eines fahrzeugs
EP2623374B1 (de) Sichtsystem für Nutzfahrzeuge zur Darstellung von gesetzlich vorgeschriebenen Sichtfeldern eines Hauptspiegels und eines Weitwinkelspiegels
DE102019102716A1 (de) Fahrzeug-anhänger rückfahrsichtsystem und -verfahren
DE102019111521A1 (de) Verfahren und vorrichtung zum erfassen von tiefeninformationen mit kameras von verschiedenen fahrzeugen
DE112015006032B4 (de) Vorrichtung und Verfahren zur Bilderfassung eines Objekts, das sich in einem Abbildungsfeld-Winkelbereich befindet, Programm und Aufzeichnungsmedium
DE102019007001B4 (de) FAHRZEUGBILDVERARBEITUNGSVORRICHTUNG, FAHRZEUGBILDVERARBEITUNGSVERFAHREN, PROGRAMM und SPEICHERMEDIUM
DE112008000089T5 (de) Vorrichtung und Verfahren zum Überwachen von Umgebung eines Fahrzeugs
DE112014004258T5 (de) Objekterfassungsvorrichtung und Objekterfassungssystem
WO2015193158A1 (de) Fahrzeug mit umfeldüberwachungseinrichtung sowie verfahren zum betreiben einer solchen überwachungseinrichtung
DE102018100215A1 (de) Bildanzeigevorrichtung
DE102010006521A1 (de) Verfahren und Vorrichtung zur Bestimmung des Knickwinkels eines Fahrzeuggespanns
DE102018108054A1 (de) Verfahren und systeme zur bestimmung einer kamera-fehlausrichtung
DE112016003517T5 (de) Vorrichtung zum Darstellen von Unterstützungsbildern für einen Fahrer und Verfahren dazu
DE102011102744A1 (de) Verfahren zum Betreiben eines Kamerasystems eines Kraftfahrzeugs, Kraftfahrzeug sowie System mit einem Kraftfahrzeug und einer separaten Recheneinrichtung
DE112015001088T5 (de) Fahrzeugumgebungsbildanzeigevorrichtung und Fahrzeugumgebungsbildanzeigeverfahren
DE102012023060A1 (de) Verfahren zum Detektieren eines beweglichen Objekts mithilfe eines Histogramms anhand von Bildern einer Kamera und Kamerasystem für ein Kraftfahrzeug
DE102013103952A1 (de) Spurerkennung bei voller Fahrt mit einem Rundumsichtsystem
DE112020002028T5 (de) Bildgebendes system und verfahren
DE102019122086A1 (de) Fahrerassistenz für eine Kombination
DE102011082881A1 (de) Darstellung der Umgebung eines Kraftfahrzeugs in einer bestimmten Ansicht unter Verwendung räumlicher Information
EP2129548B1 (de) Verfahren und vorrichtung zur detektion von nachfolgenden fahrzeugen in einem kraftfahrzeug
DE102019102672A1 (de) Intersensorisches lernen
EP3032517A1 (de) Vorrichtung und verfahren zur unterstützung eines fahrers eines fahrzeugs, insbesondere eines nutzfahrzeugs
DE102014017128A1 (de) Kraftfahrzeug
DE112020003339T5 (de) Bildverarbeitungsvorrichtung und Bildverarbeitungsprogramm

Legal Events

Date Code Title Description
R081 Change of applicant/patentee

Owner name: JAGUAR LAND ROVER LIMITED, COVENTRY, GB

Free format text: FORMER OWNER: JAGUAR LAND ROVER LIMITED, WHITLEY, COVENTRY, GB