DE102008046545A1 - Verfahren und Vorrichtung zur Kalibrierung einer Anordnung zur Überwachung einer Umgebung eines Fahrzeugs - Google Patents

Verfahren und Vorrichtung zur Kalibrierung einer Anordnung zur Überwachung einer Umgebung eines Fahrzeugs Download PDF

Info

Publication number
DE102008046545A1
DE102008046545A1 DE102008046545A DE102008046545A DE102008046545A1 DE 102008046545 A1 DE102008046545 A1 DE 102008046545A1 DE 102008046545 A DE102008046545 A DE 102008046545A DE 102008046545 A DE102008046545 A DE 102008046545A DE 102008046545 A1 DE102008046545 A1 DE 102008046545A1
Authority
DE
Germany
Prior art keywords
vehicle
image
image acquisition
acquisition units
calibration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102008046545A
Other languages
English (en)
Inventor
Jochen Dipl.-Ing. Feese
Uwe Dr. Ing. Franke
Markus Dipl.-Ing. Griesinger
Joachim Missel
Hartmut Dr. Schaefer
Jürgen Dr. Ing. Seekircher
Tom van den Dipl.-Ing. Elst
Bernd Dipl.-Inform. Woltermann
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Daimler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler AG filed Critical Daimler AG
Priority to DE102008046545A priority Critical patent/DE102008046545A1/de
Publication of DE102008046545A1 publication Critical patent/DE102008046545A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/402—Image calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Kalibrierung einer Anordnung zur Überwachung einer Umgebung eines Fahrzeugs (F), wobei die Umgebung anhand von mehreren Bilderfassungseinheiten (K1, K2, K3), deren Erfassungsbereiche sich zumindest teilweise überlappen und einen Überlappungsbereich (U12, U13, U23) bilden, erfasst wird, wobei aus mittels der Bilderfassungseinheiten (K1, K2, K3) erfassten Einzelbildern anhand einer Bildverarbeitungseinheit ein Gesamtbild (G) erzeugt wird, welches das Fahrzeug (F) und dessen Umgebung aus einer Vogelperspektive zeigt. Erfindungsgemäß werden die Bilderfassungseinheiten (K1, K2, K3) mittels markanter Punkte und/oder Kanten (E, MK, FR, DK, KK, KH, A) am Fahrzeug (F) kalibriert, indem Positionen und/oder Verläufe dieser markanten Punkte und/oder Kanten (E, MK, FR, DK, KK, KH, A) in einem aktuellen Bildausschnitt der jeweiligen Bilderfassungseinheit (K1, K2, K3) mit Positionen und/oder Verläufen dieser markanten Punkte und/oder Kanten (E, MK, FR, DK, KK, KH, A) in einem Modellbild verglichen werden; oder eine Mehrzahl von Bilderfassungseinheiten (K1, K2, K3) wird mittels markanter Punkte und/oder Linien (ML, SL) auf einer Fahrbahn kalibriert, welche von dieser Mehrzahl Bilderfassungseinheiten (K1, K2, K3) erfasst erden.

Description

  • Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Kalibrierung einer Anordnung zur Überwachung einer Umgebung eines Fahrzeugs, wobei die Umgebung anhand von mehreren Bilderfassungseinheiten erfasst wird, wobei aus mittels der Bilderfassungseinheiten erfassten Einzelbildern anhand einer Bildverarbeitungseinheit ein Gesamtbild erzeugt wird, welches das Fahrzeug und dessen Umgebung aus einer Vogelperspektive zeigt.
  • Nutzfahrzeuge zum Güter- oder Personentransport sind häufig durch große Fahrzeugabmessungen und eine geringe Übersichtlichkeit gekennzeichnet. Auch moderne Personenkraftwagen weisen aufgrund ihrer äußeren Gestalt häufig eine sehr geringe Übersichtlichkeit auf. Daraus resultiert, dass insbesondere ein Rangieren mit diesen Fahrzeugen für einen Fahrer sehr schwierig ist. Deshalb ist es vorteilhaft, Fahrzeuge und deren Umgebung aus einer Vogelperspektive auf einem Bildschirm darzustellen, so dass das Fahrzeug und dessen gesamte Umgebung für den Fahrer sichtbar sind.
  • Aus dem Stand der Technik sind verschiedene Verfahren und Vorrichtungen zu einer derartigen Überwachung und Darstellung einer Umgebung eines Fahrzeugs bekannt, wobei einem Fahrer des Fahrzeugs insbesondere ein Bild des Fahrzeugs und dessen Umgebung aus einer Vogelperspektive ausgegeben wird. Dadurch wird für den Fahrer eine verbesserte Rundumsicht geschaffen, die diesem als Assistenzfunktion bzw. Unterstützung während des Fahrbetriebes, beispielsweise bei einem Rangieren des Fahrzeugs, dient. Weiterhin können Unfälle vermieden werden, welche sich häufig aufgrund einer schlechten Rundumsicht, insbesondere bei großen und schwer überschaubaren Fahrzeugen, ereignen.
  • Um eine einwandfreie Funktion dieser Vorrichtungen sicherzustellen, ist eine Kalibrierung der einzelnen Bilderfassungseinheiten erforderlich. Zu einer Kalibrierung der Bilderfassungseinheiten sind im Stand der Technik verschiedene Verfahren und Vorrichtungen bekannt.
  • Ein derartiges Verfahren und eine Vorrichtung sind in der US 5 444 478 offenbart. Dabei wird eine mobile Kamera simuliert, die einen Weitwinkel einer Sicht darstellt, wobei das Gesamtbild aus von mehreren Bilderfassungseinheiten erzeugten Einzelbildern erstellt wird. Hierzu wird eine Helligkeit der Einzelbilder zueinander festgelegt, wodurch in dem Gesamtbild eine gleiche Helligkeit erzielt wird. Darüber hinaus werden während einer Kalibrierung der Bilderfassungseinheiten ein Graustufen- sowie ein Farbstufenabgleich durchgeführt, um das Gesamtbild einheitlich darzustellen. Das Verfahren sowie die Vorrichtung kann in einem Fahrzeug angewendet werden, um dieses in einer Vogelperspektive darzustellen.
  • Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren und eine Vorrichtung anzugeben, mittels welchen mit geringem instrumentellen und personellem Aufwand eine Kalibrierung von einzelnen Bilderfassungseinheiten durchführbar ist und eine hohe Qualität des ausgegebenen Gesamtbilds erzielt wird.
  • Die Aufgabe wird hinsichtlich des Verfahrens erfindungsgemäß durch die im Anspruch 1 und hinsichtlich der Vorrichtung durch die im Anspruch 6 angegebenen Merkmale gelöst. Vorteilhafte Weiterbildungen der Erfindung sind Gegenstand der Unteransprüche.
  • In einem Verfahren zur Kalibrierung einer Anordnung zur Überwachung einer Umgebung eines Fahrzeugs, wobei die Umgebung anhand von mehreren Bilderfassungseinheiten, deren Erfassungsbereiche sich zumindest teilweise überlappen und einen Überlappungsbereich bilden, erfasst wird, wobei aus mittels der Bilderfassungseinheiten erfassten Einzelbildern anhand einer Bildverarbeitungseinheit ein Gesamtbild erzeugt wird, welches das Fahrzeug und dessen Umgebung aus einer Vogelperspektive zeigt, werden die Bilderfassungseinheiten mittels markanter Punkte und/oder Kanten am Fahrzeug kalibriert, indem Positionen und/oder Verläufe dieser markanten Punkte und/oder Kanten in einem aktuellen Bildausschnitt der jeweiligen Bilderfassungseinheit mit Positionen und/oder Verläufen dieser markanten Punkte und/oder Kanten in einem Modellbild verglichen werden, oder eine Mehrzahl von Bilderfassungseinheiten werden mittels markanter Punkte und/oder Linien auf einer Fahrbahn kalibriert, welche von dieser Mehrzahl Bilderfassungseinheiten erfasst werden.
  • Dieses Verfahren mit den beiden Möglichkeiten zur Kalibrierung der Bilderfassungseinheiten des Fahrzeugs ersetzt ein bisher übliches Verfahren, bei welchem die Bilderfassungseinheiten am Ende eines Produktionsbandes kalibriert werden, an welchem das Fahrzeug hergestellt wurde. Das bisherige Verfahren ist sehr aufwändig und kann auch nicht ohne erheblichen Aufwand beispielsweise in einer Werkstatt eingesetzt werden, wenn zum Beispiel eine Bilderfassungseinheit ausgetauscht wurde. Mittels dieses Verfahrens der Kalibrierung der Bilderfassungseinheiten am Ende des Produktionsbandes werden die Bilderfassungseinheiten auch nur dieses eine Mal kalibriert. Mögliche spätere Abweichungen von diesen kalibrierten optimalen Einstellungen können, da keine weitere Kalibrierung erfolgt, nicht korrigiert werden.
  • Das erfindungsgemäße Verfahren ermöglicht eine einfache Kalibrierung der Bilderfassungseinheiten ohne zusätzliche Hilfsmittel oder einen zusätzlichen Aufwand. Da diese Kalibrierung ständig bzw. in regelmäßigen Abständen möglich ist, insbesondere auch während der Fahrt, wird durch das erfindungsgemäße Verfahren sichergestellt, dass die Bilderfassungseinheiten des Fahrzeugs jederzeit optimal eingestellt sind. Mittels dieses Verfahrens ist beispielsweise auch eine Nachkalibrierung der Bilderfassungseinheiten durchführbar, welche nach einiger Zeit beispielsweise aufgrund von Fahrwerksveränderungen notwendig werden, die bei einem neuen Fahrzeug nach einer längeren Einfahrzeit auftreten und nach dem Stand der Technik eine aufwändige Nachkalibrierung der Bilderfassungseinheiten beispielsweise in einer dafür geeigneten Werkstatt erfordern. Auch nach ähnlichen Veränderungen, beispielsweise nach einer Änderung eines Fahrwerks oder von Reifen des Fahrzeugs müssen die Bilderfassungseinrichtungen unter Umständen neu kalibriert werden. Dies ist mittels des erfindungsgemäßen Verfahrens einfach, schnell, effektiv und ohne Zeit-, Komfort-, und Kostenbelastungen möglich. Diese stets optimal kalibrierten Bilderfassungseinheiten ermöglichen eine optimale Überwachung der Umgebung des Fahrzeugs, womit ein erheblicher Sicherheitsgewinn verbunden ist.
  • Mit dem Entfall der aufwändigen Kalibrierung am Ende des Produktionsbandes ist eine Zeit- und Platzeinsparung verbunden, wodurch die Produktionskosten reduziert werden. Müssen Bilderfassungseinheiten in einer Werkstatt ausgewechselt werden, können neu eingesetzte Bilderfassungseinheiten einfach und ohne großen Aufwand kalibriert werden. Daraus resultieren eine Verringerung von Reparaturzeit und Reparaturkosten.
  • Ausführungsbeispiele der Erfindung werden anhand von Zeichnungen näher erläutert.
  • Dabei zeigt:
  • 1 schematisch eine Darstellung eines Fahrzeugs aus einer Vogelperspektive mit einer Anordnung von Bilderfassungseinheiten und deren Bildausschnitte, welche zur Darstellung eines Gesamtbildes dieser Vogelperspektive verwendet werden.
  • 1 zeigt schematisch eine Darstellung eines Fahrzeugs F aus einer Vogelperspektive mit einer Anordnung von Bilderfassungseinheiten K1, K2, K3 und deren Bildausschnitte B1, B2, B3, welche zur Darstellung eines Gesamtbildes G dieser Vogelperspektive verwendet werden. Die Bilderfassungseinheiten K1, K2, K3 im hier dargestellten Ausführungsbeispiel sind beispielsweise Weitwinkelkameras, im Folgenden aus Gründen der Übersichtlichkeit als Kameras K1, K2, K3 bezeichnet. Der jeweilige Bildausschnitt B1, B2, B3 ist für jede Kamera K1, K2, K3 exakt vorgegeben und stellt den Teils eines Aufnahmebereiches der jeweiligen Kamera dar, welcher als Einzelbild der jeweiligen Kamera K1, K2, K3 für das Gesamtbild G aus der Vogelperspektive verwendet wird, d. h. diese Bildausschnitte B1, B2, B3 jeder Kamera K1, K2, K3 werden in einer, hier nicht näher dargestellten Bildverarbeitungseinheit derart verarbeitet, dass daraus ein Gesamtbild G aus der Vogelperspektive von dem Fahrzeug F und dessen Umgebung entsteht.
  • Insbesondere in Überlappungsbereichen U12, U13, U23, d. h. Bereiche, in denen sich Bildausschnitte B1, B2, B3 von mehreren Kameras K1, K2, K3 überlappen, muss aus Bereichen von Einzelbildern mehrerer Kameras K1, K2, K3 ein Bild des Überlappungsbereichs U12, U13, U23 als ein Teil des Gesamtbildes G ermittelt und dargestellt werden. Sind die Kameras K1, K2, K3 nicht exakt eingebaut, so dass ihre Aufnahmebereiche und damit auch die für das Gesamtbild G der Vogelperspektive verwendeten Einzelbilder verschoben sind, so kann die Bildverarbeitungseinheit möglicherweise kein exaktes Gesamtbild G ermitteln, da es insbesondere in den Überlappungsbereichen U12, U13, U23 zu Fehldarstellungen kommen kann, beispielsweise eine doppelte oder verschobene Darstellung von abgebildeten Gegenständen oder beispielsweise eine Fahrbahnmarkierung SL, ML, welche im Gesamtbild G der Vogelperspektive als mehrere verschobene oder schräg zueinander laufende Linien dargestellt wird. Des Weiteren können durch eine Verwendung verschobener Einzelbilder tote Winkel im Gesamtbild G der Vogelperspektive entstehen, d. h. Bereiche der Umgebung des Fahrzeugs F, die in dem Gesamtbild G der Vogelperspektive nicht abgebildet werden, womit große Sicherheitsrisiken verbunden sind. D. h. eine optimale Kalibrierung der Kameras K1, K2, K3 muss sichergestellt werden, und dies sowohl direkt nach einem Einbau oder beispielsweise einer reparaturbedingten Auswechslung einer Kamera K1, K2, K3 als auch im laufenden Betrieb des Fahrzeugs F. Ein verwendetes Einzelbild der Kameras muss genau dem vorgegebenen Bildausschnitt B1, B2, B3 entsprechen.
  • Daher wird als ein Vergleichsbild eine Abbildung des jeweiligen vorgegebenen Bildausschnitts B1, B2, B3 für jede Kamera K1, K2, K3 in der Bildverarbeitungseinheit gespeichert. Zur Kalibrierung der jeweiligen Kamera K1, K2, K3 wird der aktuelle Bildausschnitt, mit dem gespeicherten Vergleichsbild verglichen, welches dem Bildausschnitt B1, B2, B3 entspricht, welcher als Einzelbild der jeweiligen Kamera K1, K2, K3 zur Verarbeitung für ein Gesamtbild G einer Vogelperspektive verwendet werden soll, insbesondere werden Positionen von markanten Punkten und/oder Linien E, MK, FR, DK, KK, KH, A verglichen. Stimmen diese Positionen in dem gespeicherten Vergleichsbild und dem aktuellen Bildausschnitt der jeweiligen Kamera K1, K2, K3 nicht überein, so wird in der Bildverarbeitungseinheit der aktuelle Bildausschnitt soweit verschoben, bis sich dieser mit dem gespeicherten Vergleichsbild vollständig überlagert, d. h. bis sich die vorgegebenen Punkte und/oder Linien E, MK, FR, DK, KK, KH, A auf dem aktuellen Bildausschnitt exakt an der gleichen Position befinden wie auf dem gespeicherten Vergleichsbild.
  • Derartige markante Punkte und/oder Linien E, MK, FR, DK, KK, KH, A sind für beide vorn am Fahrzeug F angeordnete Kameras K1, K2 beispielsweise, wie im hier dargestellten Ausführungsbeispiel, markante Kanten MK auf einer Motorhaube des Fahrzeugs F, ein seitlicher Frontscheibenrahmen FR, eine Dachseitenkante DK und/oder beispielsweise ein markant auf der Motorhaube angeordnetes Herstelleremblem E. Für die hintere Kamera K3 sind dies beispielsweise derartige markante Kanten KK auf einer Kofferraumklappe, eine hintere Kante KH der Kofferraumklappe und/oder beispielsweise ein Antennenfuß A. Diese Art der Kalibrierung kann sowohl bei stehendem Fahrzeug F als auch während einer Fahrt durchgeführt werden, da diese markanten Punkte und/oder Linien weder ihre Position noch ihre Form verändern.
  • Eine andere Möglichkeit der Kalibrierung besteht in einer Verwendung von markanten Punkten und/oder Linien ML, SL auf einer Fahrbahn, auf welcher sich das Fahrzeug F bewegt, beispielsweise Fahrbahnmarkierungen. Voraussetzung für diese Art der Kalibrierung ist allerdings, dass sich das Fahrzeug F auf einer geraden Fahrbahn bewegt, weshalb vor einem Start und während einer derartigen Kalibrierung ein Lenkwinkel und eine Gierrate des Fahrzeugs F überwacht werden muss, d. h. nur wenn der Lenkwinkel und die Gierrate gegen Null gehen, ist eine solche Kalibrierung durchführbar. Bei dieser Art der Kalibrierung werden solche markanten Punkte und/oder Linien ML, SL auf der Fahrbahn zur Kalibrierung der Kameras K1, K2, K3 verwendet, welche sich jeweils in einem Überlagerungsbereich U12, U13, U23 mehrer, d. h. von mindestens zwei Kameras K1, K2, K3 befinden, d. h. von diesen gleichzeitig abgebildet werden.
  • Sind diese Kameras K1, K2, K3 richtig kalibriert, wird eine solche Linie oder ein solcher Punkt in der Vogelperspektive exakt dargestellt, da von der Bildverarbeitungseinheit in den Überlagerungsbereichen U12, U13, U23 ein Gesamtbild G aus den Einzelbildern der Kameras K1, K2, K3 ermittelt wird. Ist zumindest eine Kamera K1, K2, K3 nicht exakt kalibriert, wird beispielsweise ein Mittelstreifen ML einer Fahrbahn doppelt, also etwa leicht verschoben ein zweites Mal dargestellt oder nicht exakt geradlinig, so dass sich zwei dargestellte Mittelstreifen ML kreuzen.
  • Im hier dargestellten Ausführungsbeispiel können zur Kalibrierung der beiden vorderen Kameras K1, K2 sowohl der Mittelstreifen ML der Fahrbahn als auch ein Seitenstreifen SL verwendet werden, da sich beide im Überlagerungsbereich U12 beider Kameras K1, K2 befinden. Die hintere Kamera K3 kann mit der vorderen linken Kamera K1 mit Hilfe des Mittelstreifens ML und mit der vorderen rechten Kamera K2 mit Hilfe des Seitenstreifens SL kalibriert werden. Zur Kalibrierung in diesem Ausführungsbeispiel ist allerdings der Mittelstreifen ML besser geeignet, weil bei diesem anhand der einzelnen Abschnitte die Kameras K1, K2, K3 sowohl quer zur als auch in Fahrtrichtung des Fahrzeugs F kalibriert werden können, d. h. wenn auf dem Gesamtbild G der Vogelperspektive zwei Streifen nebeneinander dargestellt werden, so werden die jeweiligen Bildausschnitte B1, B2, B3 solange kalibriert. bis sich die Streifen vollständig überlagern und nur noch ein Streifen dargestellt wird.
  • Da der Mittelstreifen ML aber nicht durchgehend ist, sondern stetig unterbrochen wird, können Anfänge oder Enden einzelner Abschnitte des Mittelstreifens zur Kalibrierung der Bildausschnitte B1, B2, B3 in Fahrtrichtung verwendet werden, da diese Anfänge und Enden jeweils markante Punkte darstellen, die ebenfalls im Überlappungsbereich U12, U13, U23 der jeweiligen Bildausschnitte B1, B2, B3 übereinstimmen müssen, um im Gesamtbild G der Vogelperspektive exakt dargestellt zu werden, da sonst beispielsweise auf dem Gesamtbild G eine durchgezogene Linie zu sehen ist. Im hier dargestellten Ausführungsbeispiel, bei welchem sich das Fahrzeug F auf dieser geraden Fahrbahn bewegt, wird also von der Bildverarbeitungseinheit überprüft, ob die Mittellinie ML vor, neben und hinter dem Fahrzeug F einheitlich als gerade, unterbrochene Linie und die Seitenlinie SL einheitlich vor, neben und hinter dem Fahrzeug als einheitliche gerade Linie im Gesamtbild G der Vogelperspektive dargestellt wird. Ist dies nicht der Fall, werden die jeweiligen Bildausschnitte B1, B2, B3 der betreffenden Kameras K1, K2, K3 solange angepasst, bis die Darstellung exakt ist. Diese Bildauswertung, Anpassung der Bildausschnitte B1, B2, B3 und nachfolgende Überprüfung erfordert mehrere Rechenzyklen der Verarbeitungseinheit, bis eine exakte Kalibrierung aller Kameras K1, K2, K3 erreicht ist.
  • Mittels der beiden Kalibrierverfahren ist auch eine Anpassung von Parametern für eine Farbintensität der Einzelbilder der Kameras K1, K2, K3 und ein Weißabgleich für diese Einzelbilder durch die Bildverarbeitungseinheit durchführbar, so dass ein Gesamtbild G der Vogelperspektive einen einheitlichen Farbverlauf hat und keine Farbsprünge zwischen einzelnen Bereichen des Gesamtbildes G auftreten, welche jeweils von Einzelbildern verschiedener Kameras K1, K2, K3 stammen. Dies wird ermöglicht durch einen Vergleich der Farbintensitäten der jeweiligen Überlappungsbereiche U12, U13, U23, da diese von jeweils zwei Kameras K1, K2, K3 abgebildet werden und deren Farbdarstellung demzufolge übereinstimmen muss. Ist dies nicht der Fall, so können die entsprechenden Parameter der jeweiligen Kamera K1, K2, K3 bzw. der Bildverarbeitung der Einzelbilder der jeweiligen Kamera K1, K2, K3 bei der Erstellung des Gesamtbildes G durch die Bildverarbeitungseinheit entsprechend verändert und angepasst werden, so dass ein farblich einheitliches Gesamtbild G aus der Vogelperspektive dargestellt werden kann. Während der Fahrt beispielsweise auftretende größere Intensitäts- oder Farbsprünge sind dabei mittels entsprechender Filter ausfilterbar.
  • Neben den in der 1 gezeigten Positionen sind für die Kameras K1, K2 und K3 auch beliebige andere Positionen möglich. Bei einer weiteren bevorzugten Ausgestaltung befinden sich die Kameras 1 und 2 beispielsweise im linken bzw. rechten Fahrzeugaußenspiegel, sodass damit in vorteilhafter Weise ein Blickfeld von 180 Grad auf beiden Seiten am Fahrzeug erfassbar ist. Weiterhin kann die Kamera 3 beispielsweise im Heckdeckel, ausgestaltet als Rückfahrkamera, angeordnet sein.
    • F
    Fahrzeug
    K1, K2, K3
    Bilderfassungseinheiten, Kameras
    B1, B2, B3
    Bildausschnitte
    G
    Gesamtbild
    U12, U13, U23
    Überlappungsbereiche
    E
    Herstelleremblem
    MK
    Kanten auf Motorhaube
    FR
    seitlicher Frontscheibenrahmen
    DK
    Dachseitenkante
    KK
    Kanten auf Kofferraumklappe
    KH
    hintere Kante Kofferraumklappe
    A
    Antennenfuß
    ML
    Mittelstreifen
    SL
    Seitenstreifen
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • - US 5444478 [0005]

Claims (6)

  1. Verfahren zur Kalibrierung einer Anordnung zur Überwachung einer Umgebung eines Fahrzeugs (F), wobei die Umgebung anhand von mehreren Bilderfassungseinheiten (K1, K2, K3), deren Erfassungsbereiche sich zumindest teilweise überlappen und einen Überlappungsbereich (U12, U13, U23) bilden, erfasst wird, wobei aus mittels der Bilderfassungseinheiten (K1, K2, K3) erfassten Einzelbildern anhand einer Bildverarbeitungseinheit ein Gesamtbild (G) erzeugt wird, welches das Fahrzeug (F) und dessen Umgebung aus einer Vogelperspektive zeigt, dadurch gekennzeichnet, dass die Bilderfassungseinheiten (K1, K2, K3) mittels markanter Punkte und/oder Kanten (E, MK, FR, DK, KK, KH, A) am Fahrzeug (F) kalibriert werden, indem Positionen und/oder Verläufe dieser markanten Punkte und/oder Kanten (E, MK, FR, DK, KK, KH, A) in einem aktuellen Bildausschnitt der jeweiligen Bilderfassungseinheit (K1, K2, K3) mit Positionen und/oder Verläufen dieser markanten Punkte und/oder Kanten (E, MK, FR, DK, KK, KH, A) in einem Modellbild verglichen werden, oder dass eine Mehrzahl von Bilderfassungseinheiten (K1, K2, K3) mittels markanter Punkte und/oder Linien (MI, SL) auf einer Fahrbahn kalibriert werden, welche von dieser Mehrzahl Bilderfassungseinheiten (K1, K2, K3) erfasst werden.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Kalibrierung der Bilderfassungseinheiten (K1, K2, K3) bei stehendem Fahrzeug (F) oder während einer Fahrt des Fahrzeugs (F) durchgeführt wird.
  3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Kalibrierung einer Mehrzahl von Bilderfassungseinheiten (K1, K2, K3) während einer Fahrt auf einer geraden Straße mit geraden Fahrbahnmarkierungen durchgeführt wird.
  4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass vor und/oder während der Kalibrierung ein Lenkwinkel und eine Gierrate des Fahrzeugs (F) überwacht werden, wobei eine Kalibrierung nur erfolgt, wenn der Lenkwinkel und die Gierrate gegen Null tendieren.
  5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass mittels eines Vergleichs der von den Bilderfassungseinheiten (K1, K2, K3) abgebildeten Überlappungsbereiche (U12, U13, U23) eine Farbintensitäts- und/oder Weißabgleichkalibrierung der einzelnen Bilderfassungseinheiten (K1, K2, K3) durchgeführt wird.
  6. Vorrichtung zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 5, gekennzeichnet durch eine Anordnung zur Überwachung einer Umgebung eines Fahrzeugs (F), umfassend mehrere Bilderfassungseinheiten (K1, K2, K3), deren Erfassungsbereiche sich zumindest teilweise überlappen, eine Bildverarbeitungseinheit zur Erzeugung eines Gesamtbildes (G) aus erfassten Einzelbildern der Bilderfassungseinheiten (K1, K2, K3), wobei das Gesamtbild (G) das Fahrzeug (F) und dessen Umgebung aus einer Vogelperspektive zeigt, und eine Anzeigeeinrichtung zur Anzeige des Gesamtbildes (G).
DE102008046545A 2008-09-10 2008-09-10 Verfahren und Vorrichtung zur Kalibrierung einer Anordnung zur Überwachung einer Umgebung eines Fahrzeugs Withdrawn DE102008046545A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102008046545A DE102008046545A1 (de) 2008-09-10 2008-09-10 Verfahren und Vorrichtung zur Kalibrierung einer Anordnung zur Überwachung einer Umgebung eines Fahrzeugs

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102008046545A DE102008046545A1 (de) 2008-09-10 2008-09-10 Verfahren und Vorrichtung zur Kalibrierung einer Anordnung zur Überwachung einer Umgebung eines Fahrzeugs

Publications (1)

Publication Number Publication Date
DE102008046545A1 true DE102008046545A1 (de) 2009-05-14

Family

ID=40530779

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102008046545A Withdrawn DE102008046545A1 (de) 2008-09-10 2008-09-10 Verfahren und Vorrichtung zur Kalibrierung einer Anordnung zur Überwachung einer Umgebung eines Fahrzeugs

Country Status (1)

Country Link
DE (1) DE102008046545A1 (de)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2874393A1 (de) * 2013-10-31 2015-05-20 Continental Automotive GmbH Ego-Identifizierung und Mapping eines Fahrzeugmodells
CN105139389A (zh) * 2014-05-16 2015-12-09 通用汽车环球科技运作有限责任公司 全景摄像机系统(vpm)与车辆动态
EP2955915A1 (de) * 2014-06-10 2015-12-16 LG Electronics Inc. Vorrichtung zur bereitstellung einer rundumsicht und fahrzeug damit
EP2848486A4 (de) * 2012-10-24 2016-01-20 Sekonix Co Ltd Vorrichtung und verfahren zur herstellung einer vogelperspektive mit funktion zur automatischen korrektur
DE102015004943A1 (de) * 2015-04-17 2016-10-20 Diehl Bgt Defence Gmbh & Co. Kg Verfahren zur Richtungskalibration von Kameras eines Kamerasystems
DE102016009756A1 (de) 2016-08-10 2018-02-15 Daimler Ag Verfahren zum Kalibrieren eines Sensorsystems eines Kraftfahrzeugs sowie Sensorsystem
EP3299299A1 (de) * 2016-09-27 2018-03-28 The Boeing Company Vorrichtung und verfahren zur kompensation für eine relative bewegung von mindestens zwei flugzeugmontierten kameras
WO2020052853A1 (de) * 2018-09-12 2020-03-19 Robert Bosch Gmbh Verfahren zur kalibrierung eines erfassungssystems

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5444478A (en) 1992-12-29 1995-08-22 U.S. Philips Corporation Image processing method and device for constructing an image from adjacent images

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5444478A (en) 1992-12-29 1995-08-22 U.S. Philips Corporation Image processing method and device for constructing an image from adjacent images

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2848486A4 (de) * 2012-10-24 2016-01-20 Sekonix Co Ltd Vorrichtung und verfahren zur herstellung einer vogelperspektive mit funktion zur automatischen korrektur
EP2874393A1 (de) * 2013-10-31 2015-05-20 Continental Automotive GmbH Ego-Identifizierung und Mapping eines Fahrzeugmodells
CN105139389A (zh) * 2014-05-16 2015-12-09 通用汽车环球科技运作有限责任公司 全景摄像机系统(vpm)与车辆动态
CN105139389B (zh) * 2014-05-16 2018-11-27 通用汽车环球科技运作有限责任公司 全景摄像机系统(vpm)与车辆动态
CN105313779B (zh) * 2014-06-10 2018-05-11 Lg电子株式会社 车辆用全景环视装置及具有该装置的车辆
EP2955915A1 (de) * 2014-06-10 2015-12-16 LG Electronics Inc. Vorrichtung zur bereitstellung einer rundumsicht und fahrzeug damit
CN105313779A (zh) * 2014-06-10 2016-02-10 Lg电子株式会社 车辆用全景环视装置及具有该装置的车辆
US9840197B2 (en) 2014-06-10 2017-12-12 Lg Electronics Inc. Apparatus for providing around view and vehicle including the same
DE102015004943A1 (de) * 2015-04-17 2016-10-20 Diehl Bgt Defence Gmbh & Co. Kg Verfahren zur Richtungskalibration von Kameras eines Kamerasystems
DE102015004943B4 (de) 2015-04-17 2017-03-30 Diehl Bgt Defence Gmbh & Co. Kg Verfahren zur Richtungskalibration von Kameras eines Kamerasystems
DE102016009756A1 (de) 2016-08-10 2018-02-15 Daimler Ag Verfahren zum Kalibrieren eines Sensorsystems eines Kraftfahrzeugs sowie Sensorsystem
CN107867405A (zh) * 2016-09-27 2018-04-03 波音公司 补偿至少两个飞行器安装相机的相对运动的装置和方法
JP2018095231A (ja) * 2016-09-27 2018-06-21 ザ・ボーイング・カンパニーＴｈｅ Ｂｏｅｉｎｇ Ｃｏｍｐａｎｙ 少なくとも２つの航空機搭載型カメラの相対的動きを補償する装置および方法
EP3299299A1 (de) * 2016-09-27 2018-03-28 The Boeing Company Vorrichtung und verfahren zur kompensation für eine relative bewegung von mindestens zwei flugzeugmontierten kameras
KR102372790B1 (ko) * 2016-09-27 2022-03-18 더 보잉 컴파니 적어도 2 개의 항공기 장착 카메라의 상대적 움직임을 보상하는 장치 및 방법
WO2020052853A1 (de) * 2018-09-12 2020-03-19 Robert Bosch Gmbh Verfahren zur kalibrierung eines erfassungssystems
US11321871B2 (en) 2018-09-12 2022-05-03 Robert Bosch Gmbh Method for calibrating a detection system

Similar Documents

Publication Publication Date Title
EP2623374B1 (de) Sichtsystem für Nutzfahrzeuge zur Darstellung von gesetzlich vorgeschriebenen Sichtfeldern eines Hauptspiegels und eines Weitwinkelspiegels
DE102008046545A1 (de) Verfahren und Vorrichtung zur Kalibrierung einer Anordnung zur Überwachung einer Umgebung eines Fahrzeugs
EP3012154B1 (de) Verfahren und vorrichtung zur unterstützung eines fahrers eines fahrzeug-gespanns, insbesondere eines nutzfahrzeug-gespanns
EP3455785B1 (de) Verfahren zur erfassung von verkehrszeichen
DE102010034139A1 (de) Verfahren zur Unterstützung eines Parkvorgangs eines Kraftfahrzeugs, Fahrerassistenzsystem und Kraftfahrzeug
EP2765031A1 (de) Sichtsystem für Fahrzeuge, insbesondere Nutzfahrzeuge
EP3607740B1 (de) Kameravorrichtung und verfahren zur erfassung eines umgebungsbereichs eines fahrzeugs
DE102014012330A1 (de) Fahrerassistenzsystem für ein Nutzfahrzeuggespann sowie Verfahren zur Durchführung eines Ankuppelvorgangs
DE102008046544A1 (de) Verfahren und Vorrichtung zur Überwachung einer Umgebung eines Fahrzeuges
DE102008046214A1 (de) Verfahren und Vorrichtung zur Überwachung einer Umgebung eines Fahrzeuges
DE102014213536A1 (de) Zusammenfügen von Teilbildern zu einem Abbild einer Umgebung eines Fortbewegungsmittels
WO2014029591A1 (de) Verfahren und vorrichtung zum betreiben eines fahrzeugs
DE102018111776B4 (de) Kalibriervorrichtung, Verfahren zur Ermittlung von Kalibrierdaten, Vorrichtung zur Ausführung des Verfahrens, Kraftfahrzeug umfassend eine solche Vorrichtung und Verwendung der Kalibriervorrichtung für das Verfahren sowie das Kraftfahrzeug
DE102011010860A1 (de) Verfahren und Fahrerassistenzsystem zum Anzeigen von Bildern in einem Kraftfahrzeug sowie Kraftfahrzeug
DE102008030104A1 (de) Verfahren und Vorrichtung zur Überwachung einer Umgebung eines Fahrzeuges
DE102008035428A1 (de) Verfahren und Vorrichtung zur Überwachung einer Umgebung eines Fahrzeuges
DE102013214369B4 (de) Verfahren und Vorrichtung zur Wiedergabe eines Umgebungsbereichs eines Fahrzeugs
DE102015010535A1 (de) Kamerabasierte Umgebungserfassung für Nutzfahrzeuge
DE102006037600B4 (de) Verfahren zur auflösungsabhängigen Darstellung der Umgebung eines Kraftfahrzeugs
DE102015009657A1 (de) Verfahren zur Kalibrierung und Verfahren zur Justierung einer an einem Fahrzeug angeordneten Kamera
DE102014218995A1 (de) Verfahren und Vorrichtung zur Bird-View-Darstellung eines Fahrzeuggespanns sowie nachrüstbare Kamera
DE102011010859B4 (de) Verfahren zum Betreiben eines Kamerasystems in einem Kraftfahrzeug, Kamerasystem und Kraftfahrzeug
DE102011116771A1 (de) Verfahren zum Anzeigen von Bildinformationen auf einer Anzeigeeinheit eines Fahrzeugs sowie Fahrerassistenzeinrichtung zum Durchführen eines derartigen Verfahrens
WO2020030406A1 (de) Kameraüberwachungssystem
DE102014225673B4 (de) Verfahren und System zur Darstellung einer Positionierungshilfe für ein Fahrzeug

Legal Events

Date Code Title Description
OAV Publication of unexamined application with consent of applicant
R005 Application deemed withdrawn due to failure to request examination