DE102013021616A1 - Kraftfahrzeug und Verfahren zur Überprüfung einer Kalibrierung einer Kamera - Google Patents

Kraftfahrzeug und Verfahren zur Überprüfung einer Kalibrierung einer Kamera Download PDF

Info

Publication number
DE102013021616A1
DE102013021616A1 DE102013021616.8A DE102013021616A DE102013021616A1 DE 102013021616 A1 DE102013021616 A1 DE 102013021616A1 DE 102013021616 A DE102013021616 A DE 102013021616A DE 102013021616 A1 DE102013021616 A1 DE 102013021616A1
Authority
DE
Germany
Prior art keywords
camera
motor vehicle
calibration
reference pattern
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102013021616.8A
Other languages
English (en)
Inventor
Jens Pollmer
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Audi AG
Original Assignee
Audi AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Audi AG filed Critical Audi AG
Priority to DE102013021616.8A priority Critical patent/DE102013021616A1/de
Priority to PCT/EP2014/003275 priority patent/WO2015090529A1/de
Publication of DE102013021616A1 publication Critical patent/DE102013021616A1/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • G06T2207/30208Marker matrix
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Abstract

Kraftfahrzeug (1), insbesondere Testfahrzeug, umfassend eine das Umfeld des Kraftfahrzeugs (1) teilweise erfassende Kamera (4), wobei das Kraftfahrzeug (1) ein zumindest zeitweise durch die Kamera (4) erfassbares, fahrzeugfestes Referenzmuster (6) zur Überprüfung einer Kalibrierung und/oder zur Kalibrierung der Kamera (4) aufweist.

Description

  • Die Erfindung betrifft ein Kraftfahrzeug, insbesondere ein Testfahrzeug, umfassend eine das Umfeld des Kraftfahrzeugs teilweise erfassende Kamera. Daneben betrifft die Erfindung ein Verfahren zur Überprüfung einer Kalibrierung einer auf einen Teil des Umfelds eines Kraftfahrzeugs gerichteten Kamera des Kraftfahrzeugs.
  • Moderne Fahrerassistenzsysteme, insbesondere solche, die auf Umfelddaten über das Umfeld eines Kraftfahrzeugs basieren, nutzen häufig die Daten von in dem Kraftfahrzeug verbauten, auf das Umfeld des Kraftfahrzeugs gerichteten Kameras. Insbesondere ist es bekannt, eine Kamera an und/oder hinter der Frontscheibe eines Kraftfahrzeugs anzuordnen, die auf das Vorfeld des Kraftfahrzeugs gerichtet ist. Solche Kameras nehmen Kamerabilder auf, die das Umfeld des Kraftfahrzeugs wiedergeben und zur Extraktion bestimmter Informationen durch Funktionen des Fahrerassistenzsystem genutzt werden können. Gegebenenfalls ist es auch denkbar, in dem Kraftfahrzeug ein Umfeldmodell vorzuhalten, auf das mehrere Funktionen von Fahrerassistenzsystemen zugreifen können und in das auch aus den Kamerabildern abgeleitete Informationen eingehen können.
  • Um die Kamerabilder auswerten zu können, ist es wesentlich, dass dargestellte Merkmale des Umfelds des Kraftfahrzeugs räumlich korrekt zugeordnet werden können, weshalb derartige Kameras in Kraftfahrzeugen üblicherweise kalibriert werden. Zur Kalibrierung werden meist teils aufwendige Kalibrierstände verwendet, die sich primär zur erstmaligen Kalibrierung der Kamera eignen. Kalibrierstände sind in der Regel teuer und örtlich gebunden, so dass eine Kalibrierung oder Neukalibrierung nur möglich ist, wenn das Kraftfahrzeug zu einer derartigen Einrichtung gefahren bzw. transportiert wurde. Die Kalibrierstände können selbstverständlich auch eingesetzt werden, um Kalibrierungsfehler, allgemein gesagt also Fehler oder Störungen im optischen Pfad von Kameras, zu detektieren. Während die Ursache hierfür eine Dekalibrierung sein kann, ist auch eine Dejustage der Kamera, mithin eine Positionsveränderung, als Ursache eines Kalibrierungsfehlers denkbar.
  • Bei der Entwicklung neuer Funktionen für Fahrerassistenzsysteme, der Überprüfung der Eignung bestimmter Kameras und/oder zum Testen neuartiger Auswertungsalgorithmen ist es häufig nötig, große Datenmengen, mithin eine große Anzahl von Kamerabildern, zu erfassen, die häufig auf lang andauernden Testfahrten mit Testfahrzeugen gewonnen werden. Die entstehenden großen Datenmengen werden dann für die Entwicklung und die Absicherung von optischen Systemen ausgewertet. Bei diesen lang andauernden Testfahrten kann es vorkommen, dass aufgrund äußerer Umstände die Kalibrierung der Kamera ungültig wird, beispielsweise durch mechanische Belastung der Kamera. Die dabei auftretenden Abweichungen führen zur Ungültigkeit der gewonnenen Testdaten. Diese verlorenen Testdaten müssen erneut eingefahren werden oder aber die Absicherungstiefe nimmt ab. Problematisch hierbei ist, dass eine Erkennung eines solchen Kalibrierungsfehlers eine Verwendung eines Kalibrierstandes voraussetzt.
  • Kalibrierungsfehler können zudem auch bei nicht als Testfahrzeug genutzten, im normalen Verkehr eingesetzten Kraftfahrzeugen auftreten, wobei deren Detektion genauso die Verwendung eines Kalibrierstandes voraussetzt.
  • Der Erfindung liegt daher die Aufgabe zugrunde, eine insbesondere für Testfahrzeuge geeignete Möglichkeit anzugeben, eine durchgeführte Kalibrierung einer Kamera auf einfache Art und Weise ohne Nutzung eines Kalibrierstandes zu überprüfen.
  • Zur Lösung dieser Aufgabe ist bei einem Kraftfahrzeug der eingangs genannten Art erfindungsgemäß vorgesehen, dass das Kraftfahrzeug ein zumindest zeitweise durch die Kamera erfassbares, fahrzeugfestes Referenzmuster zur Überprüfung einer Kalibrierung und/oder zur Kalibrierung der Kamera aufweist.
  • Es wird mithin vorgeschlagen, eine fahrzeugfeste Referenz zu verwenden, so dass nach einer erfolgreichen Kalibrierung der Kamera, beispielsweise in einem Kalibrierstand, allein auf Basis dieses Referenzmusters eine Verschlechterung bzw. ein Kalibrierungsfehler erkannt werden kann. Auf diese Weise kann auch bei lang andauernden Testfahrten von Kraftfahrzeugen regelmäßig überprüft werden, ob ein Kalibrierungsfehler vorliegt, so dass ein kostspieliges Einfahren von unbrauchbaren Testdaten verhindert werden kann. Das erfindungsgemäß vorgeschlagene, am Kraftfahrzeug ortsfeste Referenzmuster lässt sich jedoch auch bei anderen Kraftfahrzeugen als Testfahrzeugen einsetzen, insbesondere dann, wenn dies mit dem restlichen Design des Kraftfahrzeugs vereinbar ist.
  • Insgesamt ermöglicht das Vorsehen eines durch die Kamera erfassbaren, fahrzeugfesten Referenzmusters mithin eine frühe Erkennung von Kalibrierungsfehlern und somit die Vermeidung von Kosten durch erneute Beschaffung von Testdaten. Ferner ist eine schnellere Reaktion auf auftretende Kalibrierungsfehler gegeben. Denn durch das feste Anbringen von im Kamerabild erkennbaren Referenzmustern am Kraftfahrzeug kann jederzeit die Wahrnehmung der Kamera überprüft werden, da das hierfür benötigte Hilfsmittel mit dem Kraftfahrzeug mitgeführt wird.
  • Dabei sieht eine besonders vorteilhafte Ausgestaltung der vorliegenden Erfindung vor, dass das Kraftfahrzeug ferner eine Steuereinrichtung, insbesondere ein Steuergerät. umfasst und/oder dem Kraftfahrzeug eine externe Steuereinrichtung zugeordnet ist, welche zur Überprüfung der Kalibrierung der Kamera anhand eines Vergleichs des in einem aktuell aufgenommenen Kamerabild sichtbaren Referenzmusters mit dem in einem unmittelbar nach einer erfolgten Kalibrierung der Kamera aufgenommenen Referenzbild der Kamera sichtbaren Referenzmuster ausgebildet ist. Das bedeutet, dass unmittelbar nach der erfolgreichen Kalibrierung der Kamera ein Referenzbild aufgenommen wird, in dem das auf dem Kraftfahrzeug aufgebrachte Referenzmuster sichtbar ist. Wird nun später ein weiteres Kamerabild unter denselben Voraussetzungen aufgenommen, welches mithin ebenso das Referenzmuster zeigt, können die beiden Abbildungen des Referenzmusters miteinander verglichen werden und gegebenenfalls eine Abweichung festgestellt werden, die einer Abweichung von der ursprünglichen Kalibrierung entspricht und die entsprechende beurteilt werden kann. Beispielsweise können hierzu in der Steuereinrichtung bestimmte Schwellwerte abgelegt sein, bei deren Überschreitung ein Kalibrierungsfehler festgestellt wird und entsprechende weitere Maßnahmen eingeleitet werden. Dabei kann ein im Kraftfahrzeug verbautes Steuergerät verwendet werden, denkbar ist jedoch auch die Verwendung eines externen, zu diesem Zweck dem Kraftfahrzeug zugeordneten Steuergeräts. Bei der Steuereinrichtung kann es sich auch um eine Recheneinrichtung, beispielsweise einen im Kraftfahrzeug verbauten Rechner oder einen mitzuführenden Laptop, handeln. Die Recheneinrichtung kann auch der Datenerfassung beim Betrieb als Testfahrzeug zugeordnet sein.
  • So kann vorgesehen sein, dass die Steuereinrichtung bei einer festgestellten Abweichung von der ursprünglichen Kalibrierung zur Ausgabe einer Hinweisinformation und/oder zur Nachkalibrierung der Kamera in Abhängigkeit von der Abweichung ausgebildet ist. Die Ausgabe einer Hinweisinformation, beispielsweise akustisch und/oder optisch, weist einen Benutzer des Kraftfahrzeugs darauf hin, dass die mit der Kamera aufgenommenen Daten aufgrund des Kalibrierungsfehlers nicht mehr verlässlich sind, so dass dieser entsprechende Maßnahmen ergreifen kann, beispielsweise dann, wenn keine verlässliche Nachkalibrierung möglich ist, einen Kalibrierstand aufsuchen oder dergleichen. Zur Ausgabe der Hinweisinformation kann beispielsweise ein Mensch-Maschine-Interface des Kraftfahrzeugs eingesetzt werden.
  • Besonders zweckmäßig ist es, wenn eine Nachkalibrierung der Kamera in Abhängigkeit von der Abweichung erfolgt. Durch eine genauere Analyse der aufgetretenen Abweichungen kann in dieser Ausgestaltung durch das Steuergerät mithin eine Kalibrierungskorrektur ermittelt werden, die auf die Kamera anwendbar ist, so dass diese wiederum Kamerabilder bzw. Daten liefert, die den bei der ursprünglichen Kalibrierung, beispielsweise in einem Kalibrierstand, aufgenommenen Kamerabildern bzw. Daten entsprechen. Dabei wird eine derartige Nachkalibrierung bevorzugt an Nachkalibrierungsbedingungen geknüpft, insbesondere nur bei kleineren Abweichungen von der ursprünglichen Kalibrierung eingesetzt, um Fehler bei der Nachkalibrierung möglichst zu vermeiden. Ist eine Nachkalibrierung nicht möglich, kann nach einer entsprechenden Hinweisinformation beispielsweise ein Kalibrierstand aufgesucht werden, um eine völlig neue Kalibrierung zu ermöglichen.
  • Dabei sei an dieser Stelle darauf hingewiesen, dass es durchaus auch möglich ist, das Referenzmuster zu einer Kalibrierung einzusetzen, insbesondere dann, wenn eine neue Kamera in dem Kraftfahrzeug verwendet wird. Ist eine erste Kamera über einen Kalibrierstand kalibriert worden und wurde ein Referenzbild aufgenommen, kann bei einer neuen, eingebauten Kamera ein Kamerabild des Referenzmusters aufgenommen werden, das dann mit dem alten Referenzbild verglichen wird, um eine Kalibrierung der neuen Kamera derart abzuleiten, dass eine Kalibrierung wie bei der alten Kamera gegeben ist. Das mit der zuerst eingebauten, über einen Kalibrierungsstand kalibrierten Kamera aufgenommene erste Referenzbild dient mithin als eine Kalibrierungsvorgabe, die bei der Kalibrierung neu in das Kraftfahrzeug eingesetzter Kameras herangezogen werden kann.
  • Dabei sei darauf hingewiesen, dass nach einer erfolgten Nachkalibrierung und/oder Neukalibrierung einer ersetzten Kamera ein weiteres Kamerabild aufgenommen werden kann, um zu überprüfen, ob die Kalibrierung erfolgreich war, denn nach der (Nach-)Kalibrierung sollte ein aufgenommenes Kamerabild des Referenzmusters wieder dem Referenzbild entsprechen. Gerade im Fall der Nachkalibrierung ist es jedoch zweckmäßig, wenn diese protokolliert wird, damit eine weitere oder erneut auftretende Veränderung, mithin ein neuer Kalibrierungsfehler, auf diese Weise nachverfolgt werden kann und/oder eine zu häufige/starke Nachkalibrierung vermieden werden kann.
  • Eine besonders zweckmäßige Ausgestaltung der vorliegenden Erfindung sieht vor, dass das Referenzmuster auf einer Motorhaube des Kraftfahrzeugs angeordnet ist. Diese Ausgestaltung ist insbesondere in Zusammenhang mit einer an und/oder hinter einer Frontscheibe des Kraftfahrzeugs angeordneten und/oder das Vorfeld des Kraftfahrzeugs erfassenden Kamera zweckmäßig. Auf das Vorfeld des Kraftfahrzeugs gerichtete Kameras erfassen unter Umständen einen Teil der Motorhaube mit, die zur Aufbringung des dann grundsätzlich verfügbaren Referenzmusters genutzt werden kann; denkbar und bevorzugt ist es jedoch auch, dass zur Aufnahme von Referenzbildern und damit zu vergleichenden Kamerabildern die Motorhaube aufgestellt wird, um bei stehendem Kraftfahrzeug gezielt Aufnahmen des Referenzmusters anfertigen zu können, die einer Überprüfung der Kalibrierung zugrunde gelegt werden können. Mit anderen Worten kann vorgesehen sein, dass die Kamera einen wenigstens einen Teil des Referenzmusters bei geschlossener Motorhaube aufweisenden Erfassungsbereich aufweist und/oder zur Erfassung des Referenzmusters bei geöffneter Motorhaube angeordnet ist. Dabei wird es bevorzugt, einen großen Teil der Motorhaube für das Referenzmuster zu nutzen und die Motorhaube aufzustellen, wenn eine Überprüfung der Kalibrierung und/oder Kalibrierung stattfinden soll, nachdem dann der gesamte Erfassungsbereich der Kamera überprüft werden kann.
  • Als Referenzmuster bietet sich besonders ein Schachbrettmuster an, da dieses die Feststellung von Ungenauigkeiten der Kalibrierung und deren Klassifizierung an verschiedenen Stellen des Erfassungsbereichs der Kamera ermöglicht, nachdem Verzerrungen in der Abbildung des Schachbrettmusters leicht festgestellt und gegebenenfalls auch automatisch ausgewertet werden können, um genauere Informationen über einen Kalibrierungsfehler liefern zu können.
  • Selbstverständlich sind auch andere Realisierungen des Referenzmusters grundsätzlich denkbar, beispielsweise andere auf der Motorhaube anzubringende geometrische Strukturen, aber auch beispielsweise an Halterungen im Sichtbereich der Kamera angebrachte Strukturen und dergleichen.
  • Wie bereits erwähnt, kann die Kamera, insbesondere dann, wenn die Motorhaube als Träger des Referenzmusters genutzt wird, eine an und/oder hinter einer Frontscheibe des Kraftfahrzeugs angeordnete und/oder das Vorfeld des Kraftfahrzeugs erfassende Kamera sein. Selbstverständlich ist es jedoch auch denkbar, für beispielsweise seitlich ausgerichtete Kameras Referenzmuster zu nutzen, die beispielsweise an der Innenseite von zu öffnenden Türen angeordnet werden können und dergleichen.
  • Neben dem Kraftfahrzeug betrifft die Erfindung auch ein Verfahren zur Überprüfung einer Kalibrierung einer auf einen Teil des Umfelds eines Kraftfahrzeugs gerichteten Kamera des Kraftfahrzeugs, insbesondere eines erfindungsgemäßen Kraftfahrzeugs, wobei ein ortsfest an dem Kraftfahrzeug angeordnetes Referenzmuster in einem Kamerabild der Kamera aufgenommen wird und mit der Abbildung des Referenzmusters in einem unmittelbar nach Kalibrierung des Kraftfahrzeugs aufgenommenen Referenzbild der Kamera verglichen wird. Sämtliche Ausführungen bezüglich des erfindungsgemäßen Kraftfahrzeugs lassen sich analog auf das erfindungsgemäße Verfahren übertragen und umgekehrt; mit dem erfindungsgemäßen Verfahren lassen sich somit die bereits bezüglich des Kraftfahrzeugs genannten Vorteile ebenso erreichen.
  • Entsprechend kann das erfindungsgemäße Verfahren durch die bezüglich des Kraftfahrzeugs bereits erwähnte Steuereinrichtung ausgeführt werden, welches entsprechende Speicher- und Rechenmittel aufweist.
  • Eine Weiterbildung des Verfahrens sieht vor, dass bei einem auf der Motorhaube des Kraftfahrzeugs angeordneten Referenzmuster das Referenzbild und das Kamerabild bei aufgestellter Motorhaube aufgenommen werden, insbesondere bei stillstehendem Kraftfahrzeug. Auf diese Weise wird ein großer Teil oder gar der gesamte Erfassungsbereich der auf das Vorfeld des Kraftfahrzeugs gerichteten, beispielsweise an und/oder hinter der Frontscheibe des Kraftfahrzeugs angeordneten Kamera ausgenutzt, nachdem das auf der Motorhaube angeordnete Referenzmuster letztlich das sonstige Sichtfeld der Kamera verstellt. Ferner ist bei abgestelltem Kraftfahrzeug sichergestellt, dass definierte Bedingungen hinsichtlich der relativen Position des Referenzmusters und der Kamera gegeben sind.
  • Es ist grundsätzlich auch denkbar, einen Kalibrierungsfehler während der Fahrt des Kraftfahrzeugs zu überprüfen. Dazu kann zweckmäßigerweise vorgesehen sein, dass bei einer während der Fahrt vorgenommenen Überprüfung mehrere Kamerabilder aufgenommen und zeitlich gemittelt werden, bevor ein Vergleich der abgebildeten Referenzstrukturen stattfindet. Dies setzt selbstverständlich voraus, dass das Referenzmuster im Erfassungsbereich der Kamera angeordnet ist, wenn das Kraftfahrzeug gerade im Fahrtbetrieb befindlich ist. Eine statistische Betrachtung der Kamerabilder über einen bestimmten Zeitraum mittelt beim Fahrtbetrieb auftretende, gegebenenfalls am Ort der Kamera und am Ort des Referenzmusters unterschiedliche Vibrationen bzw. Bewegungszustände heraus, so dass ein sinnvoller und verlässlicherer Vergleich ermöglicht wird. Dabei kann in einer Ausführungsform auch vorgesehen sein, dass ein Ausschlusskriterium für eine durchzuführende Kalibrierungsüberprüfung gegeben ist, wenn beispielsweise aus Umfelddaten des Kraftfahrzeugs bekannt ist, dass eine stärkere mechanische Einwirkung auf das Kraftfahrzeug bevorsteht, die auf die Relativpositionierung des Referenzmusters und der Kamera Einfluss haben kann, beispielsweise ein Schlagloch und/oder eine sonstige Unebenheit, über die das Kraftfahrzeug fahren wird und die mithin eine während der Fahrt des Kraftfahrzeugs durchzuführende Überprüfung der Kalibrierung mittels des Ausschlusskriteriums ausschließen kann.
  • Eine zweckmäßige Ausgestaltung des erfindungsgemäßen Verfahrens sieht ferner vor, dass bei einer festgestellten, einen Schwellwert überschreitenden Abweichung zwischen den Referenzmustern eine Nachkalibrierung der Kamera in Abhängigkeit der Abweichung erfolgt und/oder eine Hinweisinformation ausgegeben wird. Hier gilt selbstverständlich das bereits bezüglich des erfindungsgemäßen Kraftfahrzeugs Ausgeführte fort; wobei es in einer Ausgestaltung des Verfahrens auch denkbar ist, dass bei Einbau einer neuen Kamera eine Kalibrierung der neuen Kamera anhand des unmittelbar nach der Kalibrierung der ersten eingebauten Kamera aufgenommenen Referenzbildes erfolgt. Wie bereits dargelegt wurde, kann ein einmal durch eine zuvor kalibrierte Kamera aufgenommenes Referenzbild beim späteren Einbau anderer Kameras zur Kalibrierung der anderen Kameras allein anhand des Referenzmusters genutzt werden.
  • Ist eine Nachkalibrierung erfolgt und sollen weitere Kalibrierungsfehler überwacht werden, kann es zweckmäßig sein, wenn nach einer Nachkalibrierung und/oder einer Neukalibrierung nach Ersetzung der Kamera, insbesondere bei stehendem Kraftfahrzeug, ein weiteres Kamerabild des Referenzmusters aufgenommen werden, welches einer Plausibilisierung der erfolgten Kalibrierung zugrunde gelegt wird.
  • Zweckmäßig ist es im Übrigen grundsätzlich, wenn festgestellte Kalibrierungsfehler, Nachkalibrierungen und Neukalibrierungen mitprotokolliert werden, beispielsweise in einem Ereignisspeicher des Kraftfahrzeugs und/oder der Steuereinrichtung abgelegt werden, so dass beispielsweise bei mehreren über die Zeit erfolgenden Nachkalibrierungen noch nachvollzogen werden kann, wie weit die aktuelle Kalibrierung von der ursprünglichen Kalibrierung abweicht, wofür diesbezüglich selbstverständlich auch Schwellwerte und Grenzen festgelegt werden können, bis zu denen die Nachkalibrierung zweckmäßig ist, nachdem die unvermeidlichen kleinen Fehler bei vielen Änderungen auch zu einem nicht mehr vernachlässigbaren Gesamtfehler führen können.
  • Weitere Vorteile und Einzelheiten der vorliegenden Erfindung ergeben sich aus den im Folgenden beschriebenen Ausführungsbeispielen sowie anhand der Zeichnung. Dabei zeigen:
  • 1 ein erfindungsgemäßes Kraftfahrzeug, und
  • 2 eine Prinzipskizze zur Überprüfung der Kalibrierung.
  • 1 zeigt eine Prinzipskizze eines erfindungsgemäßen Kraftfahrzeugs 1 in einer Draufsicht. Das Kraftfahrzeug 1 weist eine Frontscheibe 2 auf, an der, das Vorfeld 3 des Kraftfahrzeugs 1 erfassend, eine Kamera 4 angeordnet ist. Auf der Motorhaube 5 des Kraftfahrzeugs 1 ist ein Referenzmuster 6, hier in Form eines Schachbrettmusters, aufgebracht, das zur Überprüfung der Kalibrierung der Kamera 4 sowie zur Nachkalibrierung der Kamera 4 und gegebenenfalls zur Kalibrierung einer die Kamera 4 ersetzenden Kamera verwendet wird, wie im Folgenden noch näher dargelegt werden soll.
  • Dabei sei darauf hingewiesen, dass das Referenzmuster 6 der Motorhaube 5 nicht das einzige Referenzmuster des Kraftfahrzeugs 1 sein muss, insbesondere, wenn weitere, beispielsweise zu den Seiten oder auf das Rückfeld des Kraftfahrzeugs 1 gerichtete Kameras vorgesehen werden, die hier der Übersichtlichkeit halber nicht näher dargestellt sind. Dann können Referenzmuster auch auf einem Kofferraumdeckel 7 des Kraftfahrzeugs sowie beispielsweise auf dem Inneren von Seitentüren des Kraftfahrzeugs und dergleichen vorgesehen werden, bevorzugt wiederum Schachbrettmuster.
  • Im vorliegenden Ausführungsbeispiel ist die Kamera 4 so angeordnet, dass sie das Referenzmuster 6 nur dann in zweckmäßiger Weise erfasst, wenn die Motorhaube 5 aufgestellt wird, mithin realerweise das gesamte Sichtfeld der Kamera 4 ausfüllt, was eine besonders einfache Überprüfung der Kalibrierung ermöglicht. Es sind auch Ausführungsbeispiele denkbar, in denen das Referenzmuster jederzeit im Erfassungsbereich der Kamera 4 liegt, so dass insbesondere auch während der Fahrt eine Überprüfung der Kalibrierung stattfinden kann, wobei jedoch bevorzugt eine statistische Mittelung über Zeitbereiche durchgeführt wird, um ungleiche Vibrationen der Kamera 4 und des Referenzmusters 6 herauszumitteln.
  • Der Kamera 4 ist als Steuereinrichtung ein Steuergerät 8 des Kraftfahrzeugs zugeordnet, welches zur Durchführung des erfindungsgemäßen Verfahrens ausgebildet ist, konkret zur Überprüfung einer Kalibrierung der Kamera 4. Dies soll durch 2 näher erläutert werden. Unmittelbar, nachdem die Kamera 4, beispielsweise in einem Kalibrierstand, kalibriert wurde, wird die Motorhaube 5 aufgestellt und ein Referenzbild 9 des Referenzmusters 6 wird aufgenommen.
  • Soll nun zu einem späteren Zeitpunkt eine Überprüfung der Kalibrierung stattfinden, wird wiederum die Motorhaube 5 aufgestellt und ein aktuelles Kamerabild 10 des Referenzmusters 6 wird aufgenommen. Das in einem Speicher des Steuergeräts 8 gespeicherte Referenzbild 9 bzw. das darin dargestellte Referenzmuster 6 wird nun mit dem in dem Kamerabild 10 dargestellten Referenzmuster 6 verglichen, so dass eine Abweichung 11 festgestellt werden kann, die einen Kalibrierungsfehler beschreibt. Im in 2 dargestellten Beispiel wirkt es so, als ob eine Verschiebung in der Horizontalrichtung stattgefunden hat. Durch das Schachbrettmuster können jedoch auch leicht Verzerrungen, auch nur lokal auftretende Verzerrungen, ermittelt werden. Mit anderen Worten können die Abweichungen beliebig genau ausgewertet werden.
  • In einem Schritt 12 werden die Abweichungen 11 gegen Aktionskriterien überprüft, wobei beispielsweise festgestellt wird, ob die Abweichung 11 betragsmäßig einen Schwellwert überschreitet und dergleichen. Ist ein Aktionskriterium erfüllt, sind mithin Aktionen notwendig, erfolgen diese in einem Schritt 13.
  • Im vorliegenden Ausführungsbeispiel sind konkret mehrere Aktionen vorgesehen. Zum einen wird eine Hinweisinformation ausgegeben, die auf den Kalibrierungsfehler hinweist. Zum anderen wird die festgestellte Abweichung 11, gegebenenfalls mit weiteren Informationen, in einem Ereignisspeicher des Steuergeräts 8 abgelegt. Schließlich aber werden Nachkalibrierungskriterien ausgewertet. Ist ein Nachkalibrierungskriterium erfüllt, beispielsweise also die festgestellte Abweichung 11 relevant, aber nicht zu stark, findet eine Nachkalibrierung statt, nachdem sich die einzelnen Teilabweichungen, wie dargelegt wurde, aufgrund des Schachbrettmusters leicht klassifizieren, beurteilen und bei Erfüllung des Nachkalibrierungskriteriums auch korrigieren lassen. Dies kann selbstverständlich auch im Steuergerät 8 protokolliert werden, so dass sich auch der Verlauf von Kalibrierungsfehlern und dergleichen nachvollziehen lässt. Nach der Nachkalibrierung kann zweckmäßigerweise ein weiteres Kamerabild aufgenommen werden, welches dann wieder dem Referenzbild 9 entsprechen sollte.
  • Sollte die Kamera 4 durch eine andere Kamera ersetzt werden, kann diese im Übrigen unter Verwendung des Referenzbildes 9, welches noch von der Kamera 4 aufgenommen würde, auch kalibriert werden, nachdem dann ein klarer Bezugspunkt existiert, so dass die Daten der neuen Kamera und die Daten der Kamera 4 im Übrigen auch miteinander vergleichbar sind, wenn die Kalibrierung der neuen Kamera anhand des Referenzbildes 9 erfolgreich verläuft.
  • Ist im Übrigen eine Nachkalibrierung oder eine Kalibrierung einer neuen Kamera nicht möglich, wird zweckmäßigerweise dies durch eine entsprechende Hinweisinformation auch ausgegeben. Hinweisinformationen können im Übrigen bevorzugt über ein Mensch-Maschine-Interface des Kraftfahrzeugs 1 ausgegeben werden, gegebenenfalls akustisch unterstützt.

Claims (11)

  1. Kraftfahrzeug (1), insbesondere Testfahrzeug, umfassend eine das Umfeld des Kraftfahrzeugs (1) teilweise erfassende Kamera (4), dadurch gekennzeichnet, dass das Kraftfahrzeug (1) ein zumindest zeitweise durch die Kamera (4) erfassbares, fahrzeugfestes Referenzmuster (6) zur Überprüfung einer Kalibrierung und/oder zur Kalibrierung der Kamera (4) aufweist.
  2. Kraftfahrzeug nach Anspruch 1, dadurch gekennzeichnet, dass das Kraftfahrzeug (1) ferner eine Steuereinrichtung, insbesondere ein Steuergerät (8). umfasst und/oder dem Kraftfahrzeug eine externe Steuereinrichtung zugeordnet ist, welche zur Überprüfung der Kalibrierung der Kamera (4) anhand eines Vergleichs des in einem aktuell aufgenommenen Kamerabild (10) sichtbaren Referenzmusters (6) mit dem in einem unmittelbar nach einer erfolgten Kalibrierung der Kamera (4) aufgenommenen Referenzbild (9) der Kamera (4) sichtbaren Referenzmuster (6) ausgebildet ist.
  3. Kraftfahrzeug nach Anspruch 2, dadurch gekennzeichnet, dass die Steuereinrichtung bei einer festgestellten Abweichung (11) von der ursprünglichen Kalibrierung zur Ausgabe einer Hinweisinformation und/oder zur Nachkalibrierung der Kamera (4) in Abhängigkeit von der Abweichung (11) ausgebildet ist.
  4. Kraftfahrzeug nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass das Referenzmuster (6) auf einer Motorhaube (5) des Kraftfahrzeugs (1) angeordnet ist.
  5. Kraftfahrzeug nach Anspruch 4, dadurch gekennzeichnet, dass die Kamera (4) einen wenigstens einen Teil des Referenzmusters (6) bei geschlossener Motorhaube (5) aufweisenden Erfassungsbereich aufweist und/oder zur Erfassung des Referenzmusters (6) bei geöffneter Motorhaube (5) angeordnet ist.
  6. Kraftfahrzeug nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass das Referenzmuster (6) als ein Schachbrettmuster ausgebildet ist.
  7. Kraftfahrzeug nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Kamera (4) eine an und/oder hinter einer Frontscheibe (2) des Kraftfahrzeugs (1) angeordnete und/oder das Vorfeld (3) des Kraftfahrzeugs (1) erfassende Kamera (4) ist.
  8. Verfahren zur Überprüfung einer Kalibrierung einer auf einen Teil des Umfelds eines Kraftfahrzeugs (1) gerichteten Kamera (4) des Kraftfahrzeugs (1), insbesondere eines Kraftfahrzeugs (1) nach einem der vorangehenden Ansprüche, wobei ein ortsfest an dem Kraftfahrzeug (1) angeordnetes Referenzmuster (6) in einem Kamerabild (10) der Kamera (4) aufgenommen wird und mit der Abbildung des Referenzmusters (6) in einem unmittelbar nach Kalibrierung der Kamera (4) aufgenommenen Referenzbild (9) der Kamera (4) verglichen wird.
  9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass bei einem auf der Motorhaube (5) des Kraftfahrzeugs (1) angeordneten Referenzmuster (6) das Referenzbild (9) und das Kamerabild (10) bei aufgestellter Motorhaube (5) aufgenommen werden.
  10. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass bei einer während der Fahrt vorgenommenen Überprüfung mehrere Kamerabilder (10) aufgenommen und zeitlich gemittelt werden, bevor ein Vergleich der abgebildeten Referenzstrukturen (6) stattfindet.
  11. Verfahren nach einem der Ansprüche 8 bis 10, dadurch gekennzeichnet, dass bei einer festgestellten, einen Schwellwert überschreitenden Abweichung (11) zwischen den Referenzmustern (6) eine Nachkalibrierung der Kamera (4) in Abhängigkeit der Abweichung (11) erfolgt und/oder eine Hinweisinformation ausgegeben wird.
DE102013021616.8A 2013-12-19 2013-12-19 Kraftfahrzeug und Verfahren zur Überprüfung einer Kalibrierung einer Kamera Withdrawn DE102013021616A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102013021616.8A DE102013021616A1 (de) 2013-12-19 2013-12-19 Kraftfahrzeug und Verfahren zur Überprüfung einer Kalibrierung einer Kamera
PCT/EP2014/003275 WO2015090529A1 (de) 2013-12-19 2014-12-06 Kraftfahrzeug und verfahren zur überprüfung einer kalibrierung einer kamera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102013021616.8A DE102013021616A1 (de) 2013-12-19 2013-12-19 Kraftfahrzeug und Verfahren zur Überprüfung einer Kalibrierung einer Kamera

Publications (1)

Publication Number Publication Date
DE102013021616A1 true DE102013021616A1 (de) 2015-06-25

Family

ID=52130199

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102013021616.8A Withdrawn DE102013021616A1 (de) 2013-12-19 2013-12-19 Kraftfahrzeug und Verfahren zur Überprüfung einer Kalibrierung einer Kamera

Country Status (2)

Country Link
DE (1) DE102013021616A1 (de)
WO (1) WO2015090529A1 (de)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016003021A1 (de) 2016-03-12 2017-09-14 Audi Ag Kraftfahrzeug-Steuervorrichtung und Verfahren zum Ermitteln einer Position eines in einem Kraftfahrzeug eingebauten optischen Sensors
CN110879130A (zh) * 2018-09-06 2020-03-13 舜宇光学(浙江)研究院有限公司 目视光学系统的成像质量测试方法及其测试图案单元
DE102018220597A1 (de) * 2018-11-29 2020-06-04 Zf Friedrichshafen Ag Verfahren und System zur Selbst-Kalibrierung eines optischen Sensors eines Bilderfassungssystems eines Fahrzeugs
EP3731188A1 (de) * 2019-04-24 2020-10-28 The Boeing Company Ausrichtung von sensoren an fahrzeugen unter verwendung des sensorausgangs
DE102021126367A1 (de) 2021-10-12 2023-04-13 Avl Software And Functions Gmbh Verfahren und Vorrichtung zur Positionsbestimmung eines portablen Referenzsensorsystems gegenüber einem Fahrzeug
US11639234B2 (en) 2019-04-24 2023-05-02 The Boeing Company Method, system and apparatus for aligning a removable sensor on a vehicle
DE102022104939A1 (de) 2022-03-02 2023-09-07 Audi Aktiengesellschaft Fahrerloses Transportfahrzeug

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10735716B2 (en) 2018-12-04 2020-08-04 Ford Global Technologies, Llc Vehicle sensor calibration
US11543535B2 (en) 2019-07-03 2023-01-03 Uatc, Llc Lidar fault detection system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005037797A1 (de) * 2005-08-03 2007-02-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. System und Verfahren zur automatischen Kalibrierung einer Projektion, sowie eine Verwendung des Systems
US20080186384A1 (en) * 2007-02-01 2008-08-07 Sanyo Electric Co., Ltd. Apparatus and method for camera calibration, and vehicle

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10063756A1 (de) * 2000-12-21 2002-07-04 Bosch Gmbh Robert Verfahren und Vorrichtung zum Kompensieren einer Dejustage einer Bilderzeugungsvorrichtung
DE10318500A1 (de) * 2003-04-24 2004-11-25 Robert Bosch Gmbh Vorrichtung und Verfahren zur Kalibrierung eines Bildsensors
DE102004056669A1 (de) * 2004-10-13 2006-04-20 Robert Bosch Gmbh Einrichtung für die Kalibrierung eines Bildsensorsystems in einem Kraftfahrzeug

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005037797A1 (de) * 2005-08-03 2007-02-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. System und Verfahren zur automatischen Kalibrierung einer Projektion, sowie eine Verwendung des Systems
US20080186384A1 (en) * 2007-02-01 2008-08-07 Sanyo Electric Co., Ltd. Apparatus and method for camera calibration, and vehicle

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016003021A1 (de) 2016-03-12 2017-09-14 Audi Ag Kraftfahrzeug-Steuervorrichtung und Verfahren zum Ermitteln einer Position eines in einem Kraftfahrzeug eingebauten optischen Sensors
CN110879130A (zh) * 2018-09-06 2020-03-13 舜宇光学(浙江)研究院有限公司 目视光学系统的成像质量测试方法及其测试图案单元
DE102018220597A1 (de) * 2018-11-29 2020-06-04 Zf Friedrichshafen Ag Verfahren und System zur Selbst-Kalibrierung eines optischen Sensors eines Bilderfassungssystems eines Fahrzeugs
DE102018220597B4 (de) * 2018-11-29 2021-02-18 Zf Friedrichshafen Ag Verfahren und System zur Selbst-Kalibrierung eines optischen Sensors eines Bilderfassungssystems eines Fahrzeugs
EP3731188A1 (de) * 2019-04-24 2020-10-28 The Boeing Company Ausrichtung von sensoren an fahrzeugen unter verwendung des sensorausgangs
US11639234B2 (en) 2019-04-24 2023-05-02 The Boeing Company Method, system and apparatus for aligning a removable sensor on a vehicle
DE102021126367A1 (de) 2021-10-12 2023-04-13 Avl Software And Functions Gmbh Verfahren und Vorrichtung zur Positionsbestimmung eines portablen Referenzsensorsystems gegenüber einem Fahrzeug
DE102022104939A1 (de) 2022-03-02 2023-09-07 Audi Aktiengesellschaft Fahrerloses Transportfahrzeug

Also Published As

Publication number Publication date
WO2015090529A1 (de) 2015-06-25

Similar Documents

Publication Publication Date Title
DE102013021616A1 (de) Kraftfahrzeug und Verfahren zur Überprüfung einer Kalibrierung einer Kamera
DE102012017497B3 (de) Verkehrsanlage zum autonomen Befahren und Verfahren zum Ermitteln einer Kraftfahrzeugbeschädigung
EP2758762B1 (de) Vorrichtung zur erfassung des aufpralls eines objekts auf ein fahrzeug
EP3001137B1 (de) Verfahren zur überwachung einer kalibrierung mehrerer umgebungssensoren eines kraftfahrzeugs und kraftfahrzeug
EP2649408B1 (de) Kamerabasiertes verfahren zur abstandsbestimmung bei einem stehenden fahrzeug, entsprechendes computerprogramm und entsprechendes parkassistenzsystem mit kamera
DE102017122964A1 (de) Fahrzeugspiegelsystem
DE102014008425B4 (de) Verfahren zum proaktiven Regeln von Fahrwerkskomponenten
DE102014116917A1 (de) Inspektionsvorrichtung für ein Spurwechselwarnsystem für ein Fahrzeug
EP3833575B1 (de) Kameraüberwachungssystem
DE102014224795A1 (de) Verfahren und System zum Darstellen einer Fahrzeugumgebung eines Kraftfahrzeuges auf einer im Kraftfahrzeug angeordneten Anzeigevorrichtung
EP3551860B1 (de) Verfahren und steuergerät zum überwachen einer sensorfunktion eines sensors in einem ego-fahrzeug
DE102012018521A1 (de) Verfahren zur Schadenserkennung in einem ein Steuergerät und wenigstens eine Sensorvorrichtung aufweisenden Kraftfahrzeug
DE102010023199A1 (de) Bilderfassungsvorrichtung für ein Fahrzeug und Verfahren zum Betrieb einer Bilderfassungsvorrichtung
DE102012022322A1 (de) Verfahren und System zum Verstellen eines Flachbildschirms eines Kraftfahrzeugs
DE102008046545A1 (de) Verfahren und Vorrichtung zur Kalibrierung einer Anordnung zur Überwachung einer Umgebung eines Fahrzeugs
DE102015010535A1 (de) Kamerabasierte Umgebungserfassung für Nutzfahrzeuge
DE102011116730A1 (de) Verfahren und System zur Bedatung eines Steuergeräts
DE102017103391A1 (de) Verfahren zur Verbesserung der Benutzerfreundlichkeit eines Fahrzeugs
DE102014218995A1 (de) Verfahren und Vorrichtung zur Bird-View-Darstellung eines Fahrzeuggespanns sowie nachrüstbare Kamera
DE102010020203A1 (de) Verfahren zum Einparken oder Ausparken und zur Vermeidung einer Kollision eines Fahrzeugs sowie entsprechende Assistenzsysteme und Fahrzeug
DE102019212124B4 (de) Kraftfahrzeug und Verfahren zum Betrieb eines Kraftfahrzeugs
DE102017006180A1 (de) Verfahren zum Betrieb eines Fahrzeugs
EP3301646B1 (de) Kamerasystem und fahrzeug umfassend ein derartiges kamerasystem
DE102010031599A1 (de) Verfahren zur Überwachung einer Fußgängererfassungsvorrichtung für ein Fahrzeug
EP3103683B1 (de) Verfahren zum betrieb eines kamerabasierten fahrzeugsystems

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R120 Application withdrawn or ip right abandoned