DE102010004165A1 - Verfahren und Systeme zum Kalibrieren von Fahrzeugsichtsystemen - Google Patents

Verfahren und Systeme zum Kalibrieren von Fahrzeugsichtsystemen Download PDF

Info

Publication number
DE102010004165A1
DE102010004165A1 DE102010004165A DE102010004165A DE102010004165A1 DE 102010004165 A1 DE102010004165 A1 DE 102010004165A1 DE 102010004165 A DE102010004165 A DE 102010004165A DE 102010004165 A DE102010004165 A DE 102010004165A DE 102010004165 A1 DE102010004165 A1 DE 102010004165A1
Authority
DE
Germany
Prior art keywords
pattern
vision system
image
camera
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE102010004165A
Other languages
English (en)
Other versions
DE102010004165B4 (de
Inventor
Eric L. Birmingham Raphael
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of DE102010004165A1 publication Critical patent/DE102010004165A1/de
Application granted granted Critical
Publication of DE102010004165B4 publication Critical patent/DE102010004165B4/de
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147Details of sensors, e.g. sensor lenses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Vascular Medicine (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

ines Fahrzeugs umfasst die Schritte, dass ein Muster in die Nähe des Fahrzeugs projiziert wird und dass das Sichtsystem unter Verwendung eines Bildes des Musters, das von dem Sichtsystem erzeugt wird, kalibriert wird.

Description

  • TECHNISCHES GEBIET
  • Die vorliegende Erfindung betrifft allgemein das Gebiet von Fahrzeugen und insbesondere Verfahren und Systeme zum Kalibieren von Sichtsystemen von Fahrzeugen.
  • HINTERGRUND DER ERFINDUNG
  • Bestimmte Fahrzeuge verwenden heute Kameras in verschiedenen Fahrzeug-Sichtsystemen, die beispielsweise Rückfahrkameras, Kollisionswarnsysteme, Warnsysteme bei einem Verlassen der Fahrspur, adaptive Tempomatsysteme, Fernlichtassistenzsysteme, Fußgängererkennungssysteme und Verkehrszeichenerkennungssysteme umfassen. Diese Fahrzeug-Sichtsysteme können von Zeit zu Zeit kalibriert werden, um sicherzustellen, dass die zugeordneten Kameras korrekt ausgerichtet sind und optimale Bilder liefern. Typischerweise wird eine solche Kalibrierung durchgeführt, indem sichtbare Referenzpunkte, wie beispielsweise Gebäude, Brücken oder der Horizont, verwendet werden. Es kann jedoch schwierig sein, die verschiedenen unterschiedlichen sichtbaren Referenzpunkte korrekt zu erkennen, die das Fahrzeug zu einem beliebigen speziellen Zeitpunkt umgeben können, wodurch die Kalibrierung der Fahrzeug-Sichtsysteme erschwert wird.
  • Dementsprechend ist es wünschenswert, ein verbessertes Verfahren zum Kalibrieren eines Sichtsystems eines Fahrzeugs zu schaffen, das bei spielsweise nicht auf solchen sichtbaren Referenzpunkten beruht. Es ist auch wünschenswert, ein verbessertes Programmprodukt für eine solche Sichtsystemkalibrierung zu schaffen. Es ist ferner wünschenswert, ein verbessertes System für eine solche Sichtsystemkalibrierung zu schaffen. Darüber hinaus werden andere wünschenswerte Merkmale und Eigenschaften der vorliegenden Erfindung anhand der nachfolgenden ausführlichen Beschreibung und den beigefügten Ansprüchen offensichtlich werden, die in Verbindung mit den begleitenden Zeichnungen und den vorstehenden Abschnitten technisches Gebiet und Hintergrund gesetzt werden.
  • ZUSAMMENFASSUNG DER ERFINDUNG
  • Gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung wird ein Verfahren zum Kalibrieren eines Sichtsystems eines Fahrzeugs geschaffen. Das Verfahren umfasst die Schritte, dass ein Muster in die Nähe des Fahrzeugs projiziert wird und dass das Sichtsystem unter Verwendung eines Bildes des Musters, das durch das Sichtsystem erzeugt wird, kalibriert wird.
  • Gemäß einer anderen beispielhaften Ausführungsform der vorliegenden Erfindung wird ein Programmprodukt zum Kalibrieren eines Sichtsystems eines Fahrzeugs geschaffen. Das Programmprodukt umfasst ein Programm und ein computerlesbares signaltragendes Medium. Das Programm ist ausgebildet, um zumindest zu erleichtern, dass ein Muster in die Nähe des Fahrzeugs projiziert wird und dass das Sichtsystem unter Verwendung eines Bildes des Musters, das durch das Sichtsystem erzeugt wird, kalibriert wird. Das computerlesbare signaltragende Medium trägt das Programm.
  • Gemäß einer weiteren Ausführungsform der vorliegenden Erfindung wird ein System zum Kalibrieren eines Sichtsystems eines Fahrzeugs geschaffen. Das System umfasst eine Projektionseinheit und einen Prozessor. Die Projektionseinheit ist ausgebildet, um zumindest zu erleichtern, dass ein Muster in die Nähe des Fahrzeugs projiziert wird. Der Prozessor ist ausgebildet, um zumindest zu erleichtern, dass das Sichtsystem unter Verwendung eines Bildes des Musters, das durch das Sichtsystem erzeugt wird, kalibriert wird.
  • KURZBESCHREIBUNG DER ZEICHNUNGEN
  • Die vorliegende Erfindung wird nachstehend in Verbindung mit den nachfolgenden Zeichnungsfiguren beschrieben, wobei gleiche Bezugszeichen gleiche Elemente bezeichnen und wobei:
  • 1 ein Funktionsblockdiagramm einer Kalibrierungseinrichtung zum Kalibrieren eines Sichtsystems eines Fahrzeugs gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung ist; und
  • 2 ein Flussdiagramm eines Prozesses zum Kalibrieren eines Sichtsystems eines Fahrzeugs gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung ist, der in Verbindung mit der Kalibrierungseinrichtung von 1 implementiert werden kann.
  • AUSFÜHRLICHE BESCHREIBUNG DER ERFINDUNG
  • Die nachfolgende ausführliche Beschreibung ist nur beispielhafter Natur, und sie ist nicht dazu gedacht, die Erfindung oder die Anwendungsmög lichkeit und Verwendungen der Erfindung einzuschränken. Darüber hinaus besteht keine Absicht, an irgendeine ausdrückliche oder implizierte Theorie gebunden zu sein, die in den vorstehenden Abschnitten Technisches Gebiet, Hintergrund, Kurzzusammenfassung oder in der nachfolgenden ausführlichen Beschreibung dargestellt ist.
  • 1 ist ein Funktionsblockdiagramm einer Kalibrierungseinrichtung 100 zum Kalibrieren eines Sichtsystems 102 eines Fahrzeugs gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung. Wie in 1 dargestellt, weist das Sichtsystem 102, das kalibriert wird, eine oder mehrere Kameras 104 auf. Bei verschiedenen Ausführungsformen können die Kameras 104 eine oder mehrere von einer Anzahl von Einrichtungen aufweisen, die stehende Bilder und/oder bewegte Bilder erzeugen und/oder aufzeichnen. Lediglich beispielhaft kann das Sichtsystem 102 eines oder mehrere von den folgenden umfassen: eine Rückfahrkamera, ein Kollisionswarnsystem, ein Warnsystem bei einem Verlassen der Fahrspur, ein adaptives Tempomatsystem, ein Fernlichtassistenzsystem, ein Fußgängererkennungssystem und ein Verkehrszeichenerkennungssystem.
  • Bei der dargestellten Ausführungsform umfasst die Kalibrierungseinrichtung 100 eine Projektionseinheit 106 und ein Computersystem 108. Die Projektionseinheit 106 projiziert ein Muster 110 in die Nähe des Fahrzeugs. Bei einer bevorzugten Ausführungsform projiziert die Projektionseinheit 106 das Muster 110 in einen Bereich, der von dem Sichtsystem 102 leicht erkannt und gelesen werden kann. Die Projektionseinheit 106 umfasst bei einer bevorzugten Ausführungsform auch einen Laser 112, der das Muster 110 in dem Infrarotlichtspektrum projiziert.
  • Das Muster 110 wird von dem Sichtsystem 102 gelesen. Vorzugsweise wird das Muster 110 von einer oder mehreren Kameras 104 des Sichtsys tems 102 betrachtet oder gelesen, indem ein oder mehrere digitale Bilder 114 des Musters 110 erzeugt werden. Die digitalen Bilder 114 werden von dem Computersystem 108 verwendet, um einen Korrekturfaktor 116 zum Kalibrieren des Sichtsystems 102 zu erzeugen und um vorzugsweise eine oder mehrere Kameras 104 des Sichtsystems 102 zu kalibrieren.
  • Das Computersystem 108 umfasst einen Prozessor 118, einen Speicher 122, einen Computerbus 130, eine Schnittstelle 120 und eine Speichereinrichtung 128. Obwohl die Projektionseinheit 106 außerhalb des Computersystems 108 dargestellt ist, wird man darüber hinaus einsehen, dass die Projektionseinheit 106 bei verschiedenen Ausführungsformen ein Teil des Computersystems 108 sein kann.
  • Der Prozessor 118 führt die Berechnungs- und Steuerfunktionen des Computersystems 108 oder Teile von diesen aus, und er kann einen beliebigen Typ eines Prozessors oder mehrere Prozessoren, einzelne integrierte Schaltungen, wie beispielsweise einen Mikroprozessor, oder eine beliebige geeignete Anzahl von integrierten Schalteinrichtungen und/oder Platinen umfassen, die zusammenwirkend arbeiten, um die Funktionen einer Verarbeitungseinheit herzustellen. Während des Betriebs führt der Prozessor 118 ein oder mehrere Programme 124 aus, die vorzugsweise in dem Speicher 122 gespeichert sind, und er steuert somit den allgemeinen Betrieb des Computersystems 108. Bei bestimmten Ausführungsformen liegen die digitalen Bilder 114 in der Form von elektronischen Signalen vor. Dies kann jedoch bei anderen Ausführungsformen variieren.
  • Bei einer bevorzugten Ausführungsform verarbeitet der Prozessor 118 die digitalen Bilder 114 von dem Sichtsystem 102, die, wie oben erwähnt, vorzugsweise von einer oder mehreren Kameras 104 des Sichtsystems 102 erzeugt werden. Der Prozessor 118 verarbeitet die digitalen Bilder 114, indem die digitalen Bilder 114 miteinander oder mit einem oder mehreren bekannten Bildern aus einer Bilddatenbank 126 verglichen werden, die in dem Speicher 122 gespeichert ist, um den oben erwähnten Korrekturfaktor 116 des Sichtsystems 102 zu berechnen. Der Prozessor 118 kann bei einer bevorzugten Ausführungsform ebenso einen Kalibrierungsbefehl 136 ausgeben, wenn eine Kalibrierung des Sichtsystems 102 gewünscht ist. Zusätzlich erzeugt der Prozessor 118 bei bestimmten Ausführungsformen das Muster 110, oder er ruft das Muster 110 aus einem Speicher ab, damit es von der Projektionseinheit 106 verwendet wird. Bei der Ausführung dieser Funktionen führt der Prozessor 118 vorzugsweise ein oder mehrere Programme 124 aus, die in dem Speicher 122 gespeichert sind, um die Schritte des Prozesses 200 auszuführen, die in 2 dargestellt und in Verbindung mit dieser unten weiter beschrieben sind.
  • Wie oben erwähnt, speichert der Speicher 122 ein Programm oder Programme 124, die eine oder mehrere Ausführungsformen von Prozessen, wie beispielsweise den unten in Verbindung mit 2 beschriebenen Prozess 200, und/oder verschiedene Schritte aus diesem und/oder andere Prozesse ausführen, wie beispielsweise diejenigen, die hierin an anderer Stelle beschrieben sind. Zusätzlich speichert der Speicher 122 bei der dargestellten Ausführungsform auch die oben erwähnte Bilddatenbank 126. Bei einer bevorzugten Ausführungsform umfasst die Bilddatenbank 126 ein oder mehrere bekannte Bilder des Musters 110, um sie bei dem Vergleichen mit den digitalen Bildern 114 zu verwenden, die von dem Sichtsystem 102 erhalten werden.
  • Der Speicher 122 kann ein beliebiger Typ eines geeigneten Speichers sein. Dies würde die verschiedenen Typen eines dynamischen Hauptspeichers (DRAM), wie beispielsweise einen SDRAM, verschiedene Typen eines statischen RAM (SRAM) und verschiedene Typen von nicht flüchtigen Spei chern umfassen (PROM, EPROM und Flash). Es versteht sich, dass der Speicher 122 ein einzelner Typ einer Speicherkomponente sein kann, oder er kann aus vielen unterschiedlichen Typen von Speicherkomponenten zusammengesetzt sein. Zusätzlich können der Speicher 122 und der Prozessor 118 auf mehrere unterschiedliche Computer verteilt sein, die gemeinsam das Computersystem 108 umfassen. Beispielsweise kann sich ein Teil des Speichers 122 in einem Computer in einer speziellen Vorrichtung oder in einem speziellen Prozess befinden, und ein anderer Teil kann sich auf einem entfernten Computer befinden.
  • Der Computerbus 130 dient zum Übertragen von Programmen, Daten, eines Status und anderer Information oder von Signalen zwischen verschiedenen Komponenten des Computersystems 108. Der Computerbus 130 kann ein beliebiges geeignetes physikalisches oder logisches Mittel sein, um Computersysteme und Komponenten zu verbinden. Dies umfasst direkte hartverdrahtete Verbindungen, Glasfaseroptiken, Infrarot- und Drahtlos-Bustechnologien, ohne auf diese beschränkt zu sein.
  • Die Schnittstelle 120 ermöglicht eine Kommunikation mit dem Computersystem 108, beispielsweise durch einen Fahrzeuginsassen, einen Systembetreiber und/oder ein anderes Computersystem, und sie kann unter Verwendung eines beliebigen geeigneten Verfahrens und einer beliebigen geeigneten Vorrichtung implementiert sein. Bei bestimmten Ausführungsformen erleichtert die Schnittstelle 120 Kommunikationen zwischen dem Computersystem 108 und der Projektionseinheit 106 sowie dem Sichtsystem 102. Beispielsweise erleichtert die Schnittstelle 120 bei bestimmten Ausführungsformen das Empfangen der digitalen Bilder 114 durch den Prozessor 118 von dem Sichtsystem 102 und die Übertragung des Kalibrierbefehls 136 von dem Prozessor 118 zu dem Sichtsystem 102. Die Schnittstelle 120 kann eine oder mehrere Netzschnittstellen, um in ande ren Systemen oder Komponenten oder mit diesen zu kommunizieren, eine oder mehrere Terminal-Schnittstellen, um mit Technikern zu kommunizieren, und eine oder mehrere Speicherschnittstellen umfassen, um mit Speichervorrichtungen, wie beispielsweise der Speichereinrichtung 128, verbunden zu werden.
  • Die Speichereinrichtung 128 kann ein beliebiger geeigneter Typ einer Speichervorrichtung sein, die Speichereinrichtungen mit direktem Zugriff umfasst, wie beispielsweise Festplattenlaufwerke, Flashsysteme, Diskettenlaufwerke und optische Laufwerke. Bei einer beispielhaften Ausführungsform ist die Speichereinrichtung 128 ein Programmprodukt, von dem der Speicher 122 ein Programm 124 empfangen kann, das eine oder mehrere Ausführungsformen des Prozesses 200 von 2 und/oder Schritte aus diesem ausführt, wie unten detaillierter weiter beschrieben wird. Bei einer bevorzugten Ausführungsform kann ein solches Programmprodukt als Teil der Kalibrierungseinrichtung 100 implementiert sein, in diese eingefügt sein oder auf andere Weise mit dieser gekoppelt sein. Wie in 1 gezeigt, kann die Speichereinrichtung 128 eine Plattenlaufwerk-Einrichtung umfassen, die Speicherplatten 134 verwendet, um Daten zu speichern. Bei einer beispielhaften Implementierung kann das Computersystem 108 auch eine Internet-Webseite verwenden, um beispielsweise Daten bereitzustellen oder zu pflegen oder Arbeitsabläufe mit diesen auszuführen.
  • Es ist einzusehen, dass, obwohl diese beispielhaften Ausführungsformen in dem Zusammenhang eines vollständig funktionierenden Computersystems beschrieben sind, Fachleute erkennen werden, dass die Mechanismen der vorliegenden Erfindung als ein Programmprodukt in einer Vielzahl von Formen verteilt werden können und dass sich die vorliegende Erfindung unabhängig von dem speziellen Typ des computerlesbaren signaltragenden Mediums, das zum Ausführen der Verteilung verwendet wird, gleichermaßen anwenden lässt. Beispiele des signaltragenden Mediums umfassen: beschreibbare Medien, wie beispielsweise Disketten, Festplatten, Speicherkarten und optische Speicherplatten (z. B. die Speicherplatte 134), und Übertragungsmedien, wie beispielsweise digitale und analoge Kommunikationsverbindungen. Es ist auf ähnliche Weise einzusehen, dass sich das Computersystem 108 auch auf andere Weise von der in 1 gezeigten Ausführungsform unterscheiden kann, wie beispielsweise darin, dass das Computersystem 108 mit einem oder mehreren entfernten Computersystemen und/oder anderen Steuersystemen gekoppelt sein kann oder diese auf eine andere Weise verwenden kann.
  • 2 ist ein Flussdiagramm eines Prozesses 200 zum Kalibrieren von Sichtsystemen eines Fahrzeugs gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung. Bei einer bevorzugten Ausführungsform kann der Prozess 200 in Verbindung mit der Kalibrierungseinrichtung 100 von 1 und/oder durch Programmprodukte implementiert werden, die in Verbindung mit dieser verwendet werden können. Es ist jedoch einzusehen, dass verschiedene Ausführungsformen des Prozesses 200 ebenso in Verbindung mit einer beliebigen Anzahl von unterschiedlichen Typen von Systemen und/oder anderen Einrichtungen verwendet werden können.
  • Wie in 2 dargestellt, umfasst der Prozess 200 den Schritt, dass ein Muster erzeugt oder abgerufen wird (Schritt 202). Bei einer bevorzugten Ausführungsform entspricht das Muster dem Muster 110 von 1. Das Muster stellt bei einer bevorzugten Ausführungsform auch ein Gittermuster mit geraden Linien und rechten Winkeln dar. Dies kann jedoch bei anderen Ausführungsformen variieren, da andere Typen von Muster verwendet werden können. Zusätzlich wird das Muster bei einer beispiel haften Ausführungsform durch den Prozessor 118 von 1 erzeugt und an die Projektionseinheit 106 von 1 geliefert. Bei einer anderen beispielhaften Ausführungsform wird das Muster von dem Prozessor 118 von 1 aus dem Speicher 122 von 1 abgerufen und an die Projektionseinheit 106 von 1 geliefert.
  • Der Prozess 200 fährt mit einem Projizieren des Musters (Schritt 204) fort. Bei einer bevorzugten Ausführungsform wird das Muster durch die Projektionseinheit 106 von 1 projiziert, am meisten bevorzugt durch einen Laser 112 von dieser. Das Muster wird vorzugsweise in die Nähe des Fahrzeugs projiziert und spezieller in die Nähe des Sichtsystems 102 von 1, so dass das Sichtsystem 102 das Muster leicht lesen und erkennen kann. Bei einer bevorzugten Ausführungsform wird das Muster auf eine Strasse in der Nähe des Fahrzeugs projiziert. Das Muster wird bei einer bevorzugten Ausführungsform auch in einem Infrarotspektrum projiziert, so dass das Muster für den Fahrer des Fahrzeugs oder für die Fahrer anderer Fahrzeuge in der Nähe nicht sichtbar ist.
  • Bei einer bevorzugten Ausführungsform wird ein Kalibrierungsmodus für das Sichtsystem aktiviert (Schritt 206). Wie unten detaillierter diskutiert wird, liest das Sichtsystem in dem Kalibrierungsmodus das Muster, erzeugt digitale Bilder des Musters und liefert die digitalen Bilder zum Verarbeiten an den Prozessor. Bei einer bevorzugten Ausführungsform aktiviert ein Befehl von dem Prozessor 118 von 1 den Kalibrierungsmodus mittels an das Sichtsystem 102 gelieferter Anweisungen, um in dem Kalibrierungsmodus zu arbeiten.
  • Sobald es sich in dem Kalibrierungsmodus befindet, liest das Sichtsystem das Muster, um dadurch ein oder mehrere digitale Bilder des Musters zu erzeugen (Schritt 208). Bei einer bevorzugten Ausführungsform lesen eine oder mehrere Kameras 104 des Sichtsystems 102 von 1 das Muster und erzeugen digitale Bilder, wenn sie das Muster lesen. Die digitalen Bilder werden vorzugsweise zum Verarbeiten an den Prozessor 118 von 1 geliefert, wie unten dargelegt ist.
  • Der Prozess 200 fährt mit dem Verarbeiten der digitalen Bilder fort (Schritt 210). Bei einer bevorzugten Ausführungsform verarbeitet der Prozessor 118 von 1 die digitalen Bilder, indem die digitalen Bilder miteinander verglichen werden. Bei solch einer bevorzugten Ausführungsform, bei der das Sichtsystem 102 von 1 zwei oder mehr Kameras 104 umfasst, vergleicht der Prozessor 118 von 1 beispielsweise bevorzugt digitale Bilder von jeder Kamera 104, um eine beliebige Fehlausrichtung in den Kameras 104 zu überprüfen und/oder eine beliebige optische Verzerrung in dem Sichtsystem 102 zu korrigieren. Bei einer anderen bevorzugten Ausführungsform, bei der das Sichtsystem 102 beispielsweise eine einzelne Kamera 104 umfasst, vergleicht der Prozessor 118 von 1 das digitale Bild, das von der Kamera 104 erzeugt wird, mit einem oder mehreren bekannten Bildern des Musters aus der Bilddatenbank 126, die in dem Speicher 122 von 1 gespeichert ist, um eine beliebige Fehlausrichtung in der Kamera 104 zu finden und/oder eine beliebige optische Verzerrung in dem Sichtsystem 102 zu korrigieren.
  • Zusätzlich können ein oder mehrere Korrekturfaktoren berechnet werden (Schritt 212). Bei einer bevorzugten, oben erwähnten Ausführungsform, bei der das Sichtsystem 102 von 1 zwei oder mehr Kameras 104 umfasst, umfasst der Korrekturfaktor vorzugsweise einen Korrekturfaktor, um eine beliebige Fehlausrichtung in der Kamera 104 zu berücksichtigen und/oder eine beliebige optische Verzerrung in dem Sichtsystem 102 zu korrigieren, wie sie durch den Vergleich der digitalen Bilder von den entsprechenden Kameras 104 ermittelt werden. Dieser Korrekturfaktor wird dann vorzugsweise in dem Speicher 122 von 1 gespeichert und bei dem Ausrichten und Interpretieren nachfolgender Bilder verwendet, die von den Kameras 104 von 1 erzeugt werden, während das Sichtsystem 102 von 1 in einem Standard-Betriebsmodus (Nicht-Kalibrierungsmodus) arbeitet.
  • Bei einer anderen bevorzugten, oben erwähnten Ausführungsform, bei der das Sichtsystem 102 von 1 eine Kamera 104 umfasst, umfasst der Korrekturfaktor vorzugsweise einen Korrekturfaktor, um eine beliebige Fehlausrichtung in der Kamera 104 zu berücksichtigen und/oder eine beliebige optische Verzerrung in dem Sichtsystem 102 zu korrigieren, wie sie durch den Vergleich des digitalen Bildes von der Kamera 104 mit einem oder mehreren Bildern aus der Bilddatenbank 126 von 1 ermittelt werden. Dieser Korrekturfaktor wird dann vorzugsweise in dem Speicher 122 von 1 gespeichert und bei einem Ausrichten und Interpretieren nachfolgender Bilder verwendet, die von der Kamera 104 von 1 erzeugt werden, während sich das Sichtsystem 102 von 1 in einem Betriebsmodus (Nicht-Kalibrierungsmodus) befindet.
  • Es ist einzusehen, dass bestimmte Schritte des Prozesses 200 von denjenigen abweichen können, die in 2 dargestellt und hierin beschrieben sind. Es ist auf ähnliche Weise einzusehen, dass bestimmte Schritte des Prozesses 200 gleichzeitig und/oder in einer anderen Reihenfolge als derjenigen ausgeführt werden können, die in 2 dargestellt und hierin beschrieben ist. Beispielsweise kann dem Sichtsystem bei bestimmten Ausführungsformen befohlen werden, bei Schritt 206 in seinen Kalibrierungsmodus einzutreten, bevor das Muster bei Schritt 202 erzeugt oder abgerufen wird und/oder bevor das Muster bei Schritt 204 projiziert wird, neben verschiedenen anderen möglichen Variationen der Schritte des Prozesses 200 und/oder deren Abfolge.
  • Dementsprechend werden verbesserte Verfahren, Programmprodukte und Systeme zum Kalibrieren von Sichtsystemen von Fahrzeugen geschaffen. Die verbesserten Verfahren, Programmprodukte und Systeme sorgen für eine Kalibrierung der Fahrzeug-Sichtsysteme, ohne dass sie auf irgendwelchen speziellen sichtbaren Referenzpunkten beruhen, die das Fahrzeug zu einem beliebigen speziellen Zeitpunkt umgeben können. Dies ermöglicht eine größere Genauigkeit und Präzision bei der Kalibrierung von Fahrzeug-Sichtsystemen.
  • Man wird einsehen, dass die offenbarten Verfahren, Programmprodukte und Systeme bei verschiedenen Ausführungsformen von denjenigen abweichen können, die in den Figuren dargestellt und hierin beschrieben sind. Man wird auf ähnliche Weise einsehen, dass, obwohl die offenbarten Verfahren, Programmprodukte und Systeme oben derart beschrieben sind, dass sie in Verbindung mit Kraftfahrzeugen, wie beispielsweise Limousinen, Lastkraftwagen, Kleinlastwagen und Sportgeländewagen, verwendet werden, die offenbarten Verfahren, Programmprodukte und Systeme ebenso in Verbindung mit einer beliebigen Anzahl von unterschiedlichen Typen von Fahrzeugen und in Verbindung mit einer beliebigen Anzahl von unterschiedlichen Systemen von diesen und Umgebungen, die diese betreffen, verwendet werden können.
  • Während zumindest eine beispielhafte Ausführungsform in der vorstehenden ausführlichen Beschreibung dargestellt wurde, sollte man einsehen, dass eine enorme Anzahl an Abwandlungen existiert. Man sollte auch einsehen, dass die beispielhafte Ausführungsform oder die beispielhaften Ausführungsformen nur Beispiele sind und nicht dazu gedacht sind, den Umfang, die Anwendbarkeit oder die Ausbildung der Erfindung auf irgendeine Weise einzuschränken. Die vorstehende ausführliche Beschrei bung wird Fachleuten vielmehr einen bequemen Fahrplan liefern, um die beispielhafte Ausführungsform oder die beispielhaften Ausführungsformen zu implementieren. Es versteht sich, dass verschiedene Änderungen in der Funktion und der Anordnung der Elemente durchgeführt werden können, ohne von dem Umfang der Erfindung abzuweichen, wie er in den beigefügten Ansprüchen und deren rechtlichen Äquivalenten dargelegt ist.

Claims (10)

  1. Verfahren zum Kalibrieren eines Sichtsystems eines Fahrzeugs, wobei das Verfahren die Schritte umfasst, dass: ein Muster in die Nähe des Fahrzeugs projiziert wird; und das Sichtsystem unter Verwendung eines Bildes des Musters, das von dem Sichtsystem erzeugt wird, kalibriert wird.
  2. Verfahren nach Anspruch 1, wobei der Schritt des Erzeugens des Bildes den Schritt umfasst, dass: ein Kalibrierungsmodus aktiviert wird; wobei die Schritte des Projizierens des Musters und des Kalibrierens des Sichtsystems der Bedingung einer Aktivierung des Kalibrierungsmodus unterliegen.
  3. Verfahren nach Anspruch 1, wobei der Schritt des Projizierens des Musters den Schritt umfasst, dass: das Muster auf eine Straße in der Nähe des Fahrzeugs projiziert wird.
  4. Verfahren nach Anspruch 1, wobei der Schritt des Projizierens des Musters den Schritt umfasst, dass: ein Gittermuster projiziert wird.
  5. Verfahren nach Anspruch 1, wobei der Schritt des Projizierens des Musters den Schritt umfasst, dass: das Muster in einem Infrarotspektrum projiziert wird.
  6. Verfahren nach Anspruch 1, wobei der Schritt des Kalibrierens des Sichtsystems den Schritt umfasst, dass: das Bild mit einem bekannten Referenzbild verglichen wird, und/oder wobei das Sichtsystem eine erste Kamera und eine zweite Kamera umfasst und der Schritt des Kalibrierens des Sichtsystems die Schritte umfasst, dass: ein erstes Bild des Musters verarbeitet wird, wobei das erste Bild von der ersten Kamera erzeugt wird; ein zweites Bild des Musters verarbeitet wird, wobei das zweite Bild von der zweiten Kamera erzeugt wird; und das erste und das zweite Bild verglichen werden.
  7. Programmprodukt zum Kalibrieren eines Sichtsystems eines Fahrzeugs, wobei das Programmprodukt umfasst: ein Programm, das ausgebildet ist, um zumindest zu erleichtern, dass: ein Muster in die Nähe des Fahrzeugs projiziert wird; und das Sichtsystem unter Verwendung eines Bildes des Musters, das von dem Sichtsystem erzeugt wird, kalibriert wird; und ein computerlesbares Medium, welches das Programm trägt.
  8. Programmprodukt nach Anspruch 7, wobei das Programm ferner ausgebildet ist, um zumindest zu erleichtern, dass: ein Kalibrierungsmodus aktiviert wird; und das Muster projiziert wird und das Sichtsystem unter der Bedingung einer Aktivierung des Kalibrierungsmodus kalibriert wird, und/oder wobei das Programm ferner ausgebildet ist, um zumindest zu erleichtern, dass das Muster auf eine Straße in der Nähe des Fahrzeugs projiziert wird, und/oder wobei das Muster ein Gittermuster umfasst, und/oder wobei das Programm ferner ausgebildet ist, um zumindest zu erleichtern, dass das Muster in einem Infrarotspektrum projiziert wird, und/oder wobei das Programm ferner ausgebildet ist, um zumindest zu erleichtern, dass das Sichtsystem kalibriert wird, indem das Bild mit einem bekannten Referenzbild verglichen wird, und/oder wobei: das Sichtsystem eine erste Kamera und eine zweite Kamera umfasst; und das Programm ferner ausgebildet ist, um zumindest zu erleichtern, dass das Sichtsystem kalibriert wird, indem: ein erstes Bild des Musters verarbeitet wird, wobei das erste Bild durch die erste Kamera erzeugt wird; ein zweites Bild des Musters verarbeitet wird, wobei das zweite Bild von der zweiten Kamera erzeugt wird; und das erste und das zweite Bild verglichen werden.
  9. System zum Kalibrieren eines Sichtsystems eines Fahrzeugs, wobei das System umfasst: eine Projektionseinheit, die ausgebildet ist, um zumindest zu erleichtern, dass ein Muster in die Nähe des Fahrzeugs projiziert wird; und einen Prozessor, der ausgebildet ist, um zumindest zu erleich tern, dass das Sichtsystem unter Verwendung eines Bildes des Musters, das von dem Sichtsystem erzeugt wird, kalibriert wird.
  10. System nach Anspruch 9, wobei die Projektionseinheit ferner ausgebildet ist, um zumindest zu erleichtern, dass das Muster auf eine Straße in der Nähe des Fahrzeugs projiziert wird, und/oder wobei das Muster ein Gittermuster umfasst, und/oder wobei die Projektionseinheit ferner ausgebildet ist, um zumindest zu erleichtern, dass das Muster in einem Infrarotspektrum projiziert wird, und/oder wobei der Prozessor ferner ausgebildet ist, um zumindest zu erleichtern, dass das Sichtsystem kalibriert wird, indem das Bild mit einem bekannten Referenzbild verglichen wird, und/oder wobei: das Sichtsystem eine erste Kamera und eine zweite Kamera umfasst; und der Prozessor ferner ausgebildet ist, um zumindest zu vereinfachen, dass das Sichtsystem kalibriert wird, indem: ein erstes Bild des Musters verarbeitet wird, wobei das erste Bild von der ersten Kamera erzeugt wird; ein zweites Bild des Musters verarbeitet wird, wobei das zweite Bild von der zweiten Kamera erzeugt wird; und das erste und das zweite Bild verglichen werden.
DE102010004165.3A 2009-01-13 2010-01-08 Verfahren und Systeme zum Kalibrieren von Fahrzeugsichtsystemen Expired - Fee Related DE102010004165B4 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/353,042 US8489353B2 (en) 2009-01-13 2009-01-13 Methods and systems for calibrating vehicle vision systems
US12/353,042 2009-01-13

Publications (2)

Publication Number Publication Date
DE102010004165A1 true DE102010004165A1 (de) 2010-10-07
DE102010004165B4 DE102010004165B4 (de) 2015-06-18

Family

ID=42319666

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102010004165.3A Expired - Fee Related DE102010004165B4 (de) 2009-01-13 2010-01-08 Verfahren und Systeme zum Kalibrieren von Fahrzeugsichtsystemen

Country Status (3)

Country Link
US (1) US8489353B2 (de)
CN (1) CN101786439A (de)
DE (1) DE102010004165B4 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016009327A1 (de) 2016-07-30 2017-02-02 Daimler Ag Vorrichtung und Verfahren zur Kalibrierung einer Kamera
DE102020212635A1 (de) 2020-10-07 2022-04-07 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Kalibrieren einer Kamera

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110102583A1 (en) * 2009-10-30 2011-05-05 Kim Kinzalow Rear view camera system and calibration method
US9621823B2 (en) * 2010-09-16 2017-04-11 Honeywell International Inc. Thermal camera calibration
EP2568413B1 (de) * 2011-09-07 2014-10-22 Autoliv Development AB Fahrerassistenzsystem und -verfahren für ein Kraftfahrzeug
CN102681533A (zh) * 2012-05-15 2012-09-19 北京智华驭新汽车电子技术开发有限公司 一种用于对ldw系统进行标定、升级及检测的设备
US20130335579A1 (en) * 2012-06-15 2013-12-19 Palo Alto Research Center Incorporated Detection of camera misalignment
JP6214924B2 (ja) * 2012-09-14 2017-10-18 ルネサスエレクトロニクス株式会社 コントローラ及びコントローラを有するシステム
US9563951B2 (en) * 2013-05-21 2017-02-07 Magna Electronics Inc. Vehicle vision system with targetless camera calibration
KR101510336B1 (ko) * 2013-11-14 2015-04-07 현대자동차 주식회사 차량용 운전자 지원 시스템의 검사 장치
KR101510338B1 (ko) * 2013-11-22 2015-04-07 현대자동차 주식회사 차량용 차선 이탈 경보 시스템의 검사 장치
US9385229B2 (en) 2014-09-24 2016-07-05 Freescale Semiconductor, Inc. Semiconductor device with improved breakdown voltage
US9306060B1 (en) 2014-11-20 2016-04-05 Freescale Semiconductor Inc. Semiconductor devices and related fabrication methods
CN105741302B (zh) * 2016-02-25 2018-04-03 重庆长安汽车股份有限公司 汽车车道偏离预警系统的标定装置及方法
CN105785971B (zh) * 2016-02-25 2018-05-01 重庆长安汽车股份有限公司 一种汽车车道偏离预警系统的标定装置及方法
JP6499226B2 (ja) * 2017-06-02 2019-04-10 株式会社Subaru 車載カメラのキャリブレーション装置及び車載カメラのキャリブレーション方法
CN112352146B (zh) 2018-04-30 2023-12-01 Bpg销售和技术投资有限责任公司 用于传感器校准的车辆对准
US11835646B2 (en) 2018-04-30 2023-12-05 BPG Sales and Technology Investments, LLC Target alignment for vehicle sensor calibration
US11243074B2 (en) 2018-04-30 2022-02-08 BPG Sales and Technology Investments, LLC Vehicle alignment and sensor calibration system
US11781860B2 (en) 2018-04-30 2023-10-10 BPG Sales and Technology Investments, LLC Mobile vehicular alignment for sensor calibration
US11597091B2 (en) 2018-04-30 2023-03-07 BPG Sales and Technology Investments, LLC Robotic target alignment for vehicle sensor calibration
US20200027241A1 (en) * 2018-07-19 2020-01-23 GM Global Technology Operations LLC Auto-calibration for vehicle cameras
JP7056540B2 (ja) * 2018-12-18 2022-04-19 株式会社デンソー センサ校正方法およびセンサ校正装置
EP3716211A1 (de) 2019-03-26 2020-09-30 Hella Gutmann Solutions GmbH Verfahren, vorrichtung, server und system zur kalibrierung mindestens einer kamera eines fahrerassistenzsystems
DE102020007645A1 (de) * 2020-04-03 2021-10-07 Daimler Ag Verfahren zur Kalibrierung eines Lidarsensors
CN111947939A (zh) * 2020-08-07 2020-11-17 深圳市道通科技股份有限公司 标定设备、标定方法以及标定设备的校正方法
CN111879528A (zh) * 2020-08-07 2020-11-03 深圳市道通科技股份有限公司 标定设备及标定方法
DE102022103783A1 (de) 2022-02-17 2023-08-17 Mekra Lang Gmbh & Co. Kg Indirektes Sichtsystem

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003029046A1 (en) * 2001-10-03 2003-04-10 Maryann Winter Apparatus and method for sensing the occupancy status of parking spaces in a parking lot
DE10304703B4 (de) * 2003-02-06 2023-03-16 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Sichtbarmachung der Umgebung eines Fahrzeugs mit umgebungsabhängiger Fusion eines Infrarot- und eines Visuell-Abbilds
FR2884781B1 (fr) * 2005-04-25 2009-08-07 Imra Europ Sas Soc Par Actions Methode et dispositif de calibrage de camera
JP4861034B2 (ja) * 2006-03-29 2012-01-25 クラリオン株式会社 車載カメラのキャリブレーションシステム
DE102006056232B4 (de) * 2006-11-29 2017-08-17 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung zur Kalibrierung einer Kamera
DE102008011699B4 (de) * 2007-03-23 2015-09-24 Volkswagen Ag Verfahren zur Bestimmung einer Eigenschaft für den Betrieb eines Kraftfahrzeugs und entsprechend ausgestaltetes Kraftfahrzeug

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016009327A1 (de) 2016-07-30 2017-02-02 Daimler Ag Vorrichtung und Verfahren zur Kalibrierung einer Kamera
DE102020212635A1 (de) 2020-10-07 2022-04-07 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Kalibrieren einer Kamera

Also Published As

Publication number Publication date
US8489353B2 (en) 2013-07-16
US20100179781A1 (en) 2010-07-15
CN101786439A (zh) 2010-07-28
DE102010004165B4 (de) 2015-06-18

Similar Documents

Publication Publication Date Title
DE102010004165B4 (de) Verfahren und Systeme zum Kalibrieren von Fahrzeugsichtsystemen
EP3620842B1 (de) Konzept zum einstellen eines head-up-displays in einem kraftfahrzeug
DE102019114355A1 (de) Autokalibrierung für fahrzeugkameras
DE112018000335T5 (de) Systeme und verfahren für einen berechnungsrahmen zur visuellen warnung des fahrers unter verwendung einer "fully convolutional"-architektur
DE102018108060A1 (de) Fahrzeugseitenspiegel-automatisierung
DE102012223481B4 (de) Vorrichtung und Verfahren zum Verfolgen der Position eines peripheren Fahrzeugs
EP2463101B1 (de) System und Verfahren zur Erzeugung und Inspektion von Drucken mit statischen und variablen Inhalten
DE102014208664A1 (de) Verfahren und vorrichtung zum verzerrungsfreien anzeigen einer fahrzeugumgebung eines fahrzeuges
DE112014004889T5 (de) Systeme und Verfahren zum Anzeigen von dreidimensionalen Bildern auf einer Fahrzeug-Instrumentenkonsole
DE102013226476B4 (de) Bildverarbeitungsverfahren und -system eines rundumsicht-überwachungssystems
DE112019000388T5 (de) Vorrichtung zur bereitstellung von informationen über eine installationsposition und verfahren zur bereitstellung von informationen über die installationsposition
EP2131598A2 (de) Stereokamerasystem und Verfahren zum Ermitteln mindestens eines Kalibrierfehlers eines Stereokamerasystems
EP3278318A1 (de) Verfahren zum bereitstellen von höheninformationen eines objekts in einem umgebungsbereich eines kraftfahrzeugs an einer kommunikationsschnittstelle, sensoreinrichtung, verarbeitungseinrichtung und kraftfahrzeug
DE102021121834A1 (de) Vorrichtung und Verfahren zum Erzeugen einer Karte
DE102010004057B4 (de) Verfahren und Systeme zum Überwachen einer Fahrzeugbewegung
DE102007021106A1 (de) Verfahren und Vorrichtung zum Kalibrieren eines Kamerasystems
DE69916233T2 (de) Bahnmodellierungsverfahren für Spurabdriftwarnungsystem
DE102017000307A1 (de) Verfahren zum Kalibrieren einer Kamera für ein Kraftfahrzeug unter Berücksichtigung eines Kalibrierfehlers, Kamera sowie Kraftfahrzeug
EP4180281B1 (de) Featuremodellbasierte ansteuerung einer waschanlage
EP3716211A1 (de) Verfahren, vorrichtung, server und system zur kalibrierung mindestens einer kamera eines fahrerassistenzsystems
DE102018215318A1 (de) Kalibriersystem und Kalibrierverfahren für eine Fahrzeug-Erfassungseinrichtung
EP3659113A1 (de) Erkennungssystem, arbeitsverfahren und trainingsverfahren zum erzeugen eines 3d-modells mit referenzdaten
DE102014219418B4 (de) Verfahren zur Stereorektifizierung von Stereokamerabildern und Fahrerassistenzsystem
DE102020208765A1 (de) Bildklassifikator mit variablen rezeptiven Feldern in Faltungsschichten
EP3895415A1 (de) Transfer von zusatzinformation zwischen kamerasystemen

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
8127 New person/name/address of the applicant

Owner name: GM GLOBAL TECHNOLOGY OPERATIONS LLC , ( N. D. , US

R081 Change of applicant/patentee

Owner name: GM GLOBAL TECHNOLOGY OPERATIONS LLC (N. D. GES, US

Free format text: FORMER OWNER: GM GLOBAL TECHNOLOGY OPERATIONS, INC., DETROIT, MICH., US

Effective date: 20110323

R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee