DE102010021221A1 - Verfahren zur Bestimmung einer Ausrichtung einer an einem Fahrzeug angeordneten Kamera - Google Patents

Verfahren zur Bestimmung einer Ausrichtung einer an einem Fahrzeug angeordneten Kamera Download PDF

Info

Publication number
DE102010021221A1
DE102010021221A1 DE102010021221A DE102010021221A DE102010021221A1 DE 102010021221 A1 DE102010021221 A1 DE 102010021221A1 DE 102010021221 A DE102010021221 A DE 102010021221A DE 102010021221 A DE102010021221 A DE 102010021221A DE 102010021221 A1 DE102010021221 A1 DE 102010021221A1
Authority
DE
Germany
Prior art keywords
camera
vehicle
coordinate
motion vectors
coordination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102010021221A
Other languages
English (en)
Inventor
Lars Dr. 89073 Krüger
Thomas 89077 Ruland
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Daimler AG
Original Assignee
Daimler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler AG filed Critical Daimler AG
Priority to DE102010021221A priority Critical patent/DE102010021221A1/de
Publication of DE102010021221A1 publication Critical patent/DE102010021221A1/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/77Determining position or orientation of objects or cameras using statistical methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264Parking

Abstract

Die Erfindung betrifft ein Verfahren zur Bestimmung einer Ausrichtung einer an einem Fahrzeug (F) angeordneten Kamera mit einem zugehörigen Kamera-Koordinatensystem (KSK) relativ zu dem Fahrzeug (F) mit einem zugehörigen Fahrzeug-Koordinatensystem (KSF), wobei ein momentaner Lenkwinkel des Fahrzeugs (F) erfasst wird und von der Kamera eine Folge von Bildern aufgenommen wird und in zeitlich aufeinander folgenden Bildern korrespondierende Bildpunkte ermittelt werden. Erfindungsgemäß wird ein Lenkwinkelbereich zwischen einem positiven maximal möglichen und einem negativen maximal möglichen Lenkwinkel in mehrere Winkelteilbereiche unterteilt, wobei in einem gemeinsamen Bild-Koordinatensystem (KSB) der aufgenommenen Bilder in Abhängigkeit des momentanen Lenkwinkels für jeden Winkelteilbereich Bewegungsvektoren (B1 bis Bm) zwischen korrespondierenden Bildpunkten ermittelt werden, wobei jeweils aus zumindest zwei der Bewegungsvektoren (B1 bis Bm) für jeden Winkelteilbereich jeweils ein Fluchtpunkt (P1 bis Pn) im Bild-Koordinatensystem (KSB) ermittelt wird, wobei zumindest zwei der Fluchtpunkte (P1 bis Pn,) in das Kamera-Koordinatensystem (KSK) projiziert werden und jeweils in einem projizierten Fluchtpunkt (P1', Pn-k') resultieren, wobei aus den projizierten Fluchtpunkten (P1', Pn-k') in dem Kamera-Koordinationssystem (KSK) das Fahrzeug-Koordinatensystem (KSF) rekonstruiert wird und wobei aus einer Rotation des Kamera-Koordinatensystems (KSK) relativ zum Fahrzeug-Koordinatensystem (KSF) die Ausrichtung der Kamera ermittelt wird.

Description

  • Die Erfindung betrifft ein Verfahren zur Bestimmung einer Ausrichtung einer an einem Fahrzeug angeordneten Kamera mit einem zugehörigen Kamera-Koordinatensystem relativ zu dem Fahrzeug mit einem zugehörigen Fahrzeug-Koordinatensystem, wobei ein momentaner Lenkwinkel des Fahrzeugs erfasst wird und von der Kamera eine Folge von Bildern aufgenommen wird und in zeitlich aufeinander folgenden Bildern korrespondierende Bildpunkte ermittelt werden.
  • Die noch nicht veröffentlichte Patentanmeldung DE 10 2009 057 996.6 der Anmelderin beschreibt ein Verfahren zur Bestimmung einer Position und/oder Ausrichtung einer Kamera mit einem zugehörigen Kamera-Koordinatensystem relativ zu einer Position eines Fahrzeuges oder Fahrzeuggespannes mit einem zugehörigen Fahrzeug-Koordinatensystem. Die Kamera ist an dem Fahrzeug bzw. Fahrzeuggespann angeordnet. Dabei wird von der Kamera eine Folge von Bildern aufgenommen und anhand eines ersten Bildpunktes eines ersten Bildes und eines korrespondierenden zweiten Bildpunktes eines nachfolgenden Bildes wird ein erster Bewegungsvektor im Kamera-Koordinatensystem ermittelt. Weiterhin wird im Fahrzeug-Koordinatensystem ein zweiter Bewegungsvektor ermittelt und der erste Bildpunkt im Kamera-Koordinatensystem wird in das Fahrzeug-Koordinatensystem projiziert und resultiert in einem projizierten Punkt. Der projizierte Punkt gemäß dem zweiten Bewegungsvektor im ersten Koordinatensystem wird verschoben, so dass ein Punkt erzeugt und in das Kamera-Koordinatensystem projiziert wird, wodurch ein transformierter Punkt entsteht. Im Kamera-Koordinationssystem werden aus einer Differenz zwischen dem transformierten Punkt und dem zweiten Bildpunkt Rotationsparameter und/oder Translationsparameter des Kamera-Koordinatensystems zu dem Fahrzeug-Koordinatensystem ermittelt.
  • Der Erfindung liegt die Aufgabe zugrunde, ein gegenüber dem Stand der Technik verbessertes Verfahren zur Bestimmung einer Ausrichtung einer an einem Fahrzeug angeordneten Kamera anzugeben.
  • Die Aufgabe wird erfindungsgemäß mit einem Verfahren gelöst, welches die im Anspruch 1 angegebenen Merkmale aufweist.
  • Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
  • In dem Verfahren zur Bestimmung einer Ausrichtung einer an einem Fahrzeug angeordneten Kamera mit einem zugehörigen Kamera-Koordinatensystem relativ zu dem Fahrzeug mit einem zugehörigen Fahrzeug-Koordinatensystem wird ein momentaner Lenkwinkel des Fahrzeugs erfasst und von der Kamera wird eine Folge von Bildern aufgenommen und in zeitlich aufeinander folgenden Bildern korrespondierende Bildpunkte werden ermittelt.
  • Erfindungsgemäß wird ein Lenkwinkelbereich zwischen einem positiven maximal möglichen und einem negativen maximal möglichen Lenkwinkel in mehrere Winkelteilbereiche unterteilt, wobei in einem gemeinsamen Bild-Koordinatensystem der aufgenommenen Bilder in Abhängigkeit des momentanen Lenkwinkels für jeden Winkelteilbereich Bewegungsvektoren zwischen korrespondierenden Bildpunkten ermittelt werden, wobei jeweils aus zumindest zwei der Bewegungsvektoren für jeden Winkelteilbereich jeweils ein Fluchtpunkt im Bild-Koordinatensystem ermittelt wird, wobei zumindest zwei der Fluchtpunkte in das Kamera-Koordinatensystem projiziert werden und jeweils in einem projizierten Fluchtpunkt resultieren, wobei aus den projizierten Fluchtpunkten in dem Kamera-Koordinationssystem das Fahrzeug-Koordinatensystem rekonstruiert wird und wobei aus einer Rotation des Kamera-Koordinatensystems relativ zum Fahrzeug-Koordinatensystem die Ausrichtung der Kamera ermittelt wird.
  • Unter einem Fluchtpunkt wird dabei ein Punkt verstanden, in welchem sich in einer perspektivischen Abbildung Bilder von Geraden schneiden, die im Original zueinander parallel verlaufen.
  • Die Erfindung ermöglicht, dass innerhalb einer kurzen Zeit und innerhalb einer kurzen Wegstrecke eine Orientierung oder Ausrichtung der Erfassungseinheit ohne Zuhilfenahme von Kalibrierobjekten während eines Fahrbetriebs des Fahrzeugs ermittelt werden kann. Somit können Schwankungen einer Haltevorrichtung der Erfassungseinheit, insbesondere bei einer mechanisch bewegten Haltevorrichtung, wie z. B. an einem Außenspiegel, ausgeglichen werden.
  • Auch ist zur Durchführung des Verfahrens als Fahrzeugparameter lediglich der momentane Lenkwinkel erforderlich. Durch weitere Fahrzeugparameter, wie beispielsweise eine Fahrdistanz, wird die Leistung des Verfahrens zusätzlich verbessert.
  • Durch das Sammeln von Korrespondenzen über die Zeit können ferner kurzzeitige Nickbewegungen des Fahrzeugs ausgeglichen werden.
  • Weiterhin entfällt in vorteilhafter Weise eine manuelle Kalibrierung, insbesondere Werkskalibrierung der Erfassungseinheit. Daraus resultiert eine Verringerung des Zeit- und Materialaufwands für die Montage der Erfassungseinheit bei der Herstellung des Fahrzeugs.
  • Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.
  • Dabei zeigen:
  • 1 schematisch ein mittels einer Kamera erfasstes Bild einer Umgebung eines Fahrzeugs,
  • 2A schematisch Bewegungsvektoren zwischen korrespondierenden Bildpunkten auf einem Bild der Kamera,
  • 2B schematisch auf ein Bild einer virtuellen Kamera projizierte Bewegungsvektoren und
  • 3 schematisch ein Fahrzeug mit einem Fahrzeug-Koordinatensystem sowie ein Bild-Koordinatensystem und ein Kamera-Koordinatensystem.
  • Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
  • 1 zeigt ein mittels einer nicht dargestellten Kamera erfasstes Bild einer Umgebung eines in 3 näher dargestellten Fahrzeugs F.
  • Die Kamera ist beispielsweise in einem Außenspiegel des Fahrzeugs F angeordnet, wobei mittels der Kamera die hinter, seitlich und/oder vor dem Fahrzeug F befindliche Umgebung erfassbar ist. Die Kamera ist eine Infrarot-Kamera oder eine im Lichtspektrum empfindliche Kamera. Bei der Kamera kann es sich um jede bekannte Kamera handeln, beispielsweise auch um eine Kamera mit einem so genannten Fischaugenobjektiv. Anhand der mittels der Kamera erfassten Bilder ist eine Unterstützung eines Fahrers des Fahrzeugs F möglich, wobei die Kamera insbesondere Bestandteil eines Fahrerassistenzsystems, wie beispielsweise eines so genannten Toten-Winkel-Assistenten oder einer Einparkhilfe ist.
  • In einem nicht dargestellten Ausführungsbeispiel ist alternativ oder zusätzlich die Umgebung vor dem Fahrzeug F erfassbar und/oder die Kamera ist an einer anderen Position am oder im Fahrzeug F angeordnet.
  • Zur uneingeschränkten Funktion des Fahrerassistenzsystems ist es erforderlich, dass eine Ausrichtung der Kamera relativ zum Fahrzeug F bekannt ist, d. h. dass die Kamera kalibriert ist.
  • Das erfindungsgemäße Verfahren und dessen Weiterbildungen dienen der Bestimmung einer Kameraorientierung bzw. Kamerarotation, d. h. einer Ermittlung einer Ausrichtung der Kamera relativ zum Fahrzeug F während dessen Fahrbetriebs.
  • Zur Ermittlung der Ausrichtung wird zunächst ein momentaner Lenkwinkel des Fahrzeugs F erfasst. Diese Erfassung erfolgt insbesondere mittels im Fahrzeug F vorhandener Erfassungseinheiten.
  • Weiterhin wird ein Lenkwinkelbereich zwischen einem positiven maximal möglichen und einem negativen maximal möglichen Lenkwinkel in mehrere Winkelteilbereiche unterteilt. Ein Mittelpunkt des Lenkwinkelbereichs wird, wenn der positive maximal mögliche und der negative maximal mögliche Lenkwinkel gleich groß sind, durch den Lenkwinkel mit dem Wert ”Null” gebildet.
  • Um ferner zu erreichen, dass der Lenkwinkel mit dem Wert ”Null” den Mittelpunkt eines Winkelteilbereiches bildet, wird der Lenkwinkelbereich vorzugsweise in eine ungerade Anzahl von Winkelteilbereichen, beispielsweise 31, unterteilt.
  • Zusätzlich wird zur Ermittlung der Ausrichtung der Kamera von der Kamera eine Folge von Bildern aufgenommen. In zeitlich aufeinanderfolgenden Bildern werden für jeden Winkelteilbereich des Lenkwinkels jeweils nicht näher dargestellte korrespondierende Bildpunkte ermittelt.
  • Anschließend werden in einem Bild-Koordinatensystem KSB einer virtuellen Kamera, welches in 3 näher dargestellt ist, in Abhängigkeit des erfassten Lenkwinkels für jeden Winkelteilbereich Bewegungsvektoren B1 bis Bm zwischen den korrespondierenden Bildpunkten ermittelt.
  • Hierzu werden die korrespondierenden Bildpunkte, so genannte temporale Korrespondenzen, zunächst aus den Bildern extrahiert. Die Extraktion der Korrespondenzen und die Ermittlung der Bewegungsvektoren B1 bis Bm erfolgt insbesondere mittels des aus ”Stein, F u. a.: Efficient Computation of Optical Flow Using the Census Transform; In: Lecture Notes in Computer Science, Springer Berlin/Heidelberg, 2004, Seiten 79 bis 86” bekannten Census-Flow-Verfahrens, in dem lokale Bildmerkmale aus Abbildungen extrahiert werden. Dieses Census-Flow-Verfahren basiert auf einer Census-Transformation lokaler Bildregionen, wobei nicht nur einzelne Bildpunkte, sondern Bildbereiche verarbeitet werden. Das Census-Flow-Verfahren eignet sich speziell zur Ermittlung und Verarbeitung langer Bewegungsvektoren B1 bis Bm.
  • Je nach eingestelltem Lenkwinkel zum Zeitpunkt der Korrespondenzextraktion werden die Korrespondenzen mit den Bewegungsvektoren B1 bis Bm dem entsprechenden Lenkwinkel zugeordnet und gespeichert. Die Ermittlung und Speicherung der Korrespondenzen über die Zeit ermöglicht es, während des Fahrbetriebs des Fahrzeugs F auftretende Nick- und Wankbewegungen auszugleichen, so dass eine Verfälschung des Ergebnisses der Ermittlung der Ausrichtung der Kamera vermieden wird.
  • Parallel zur Ermittlung der Korrespondenzen und der Bewegungsvektoren B1 bis Bm wird für jeden Winkelteilbereich des Lenkwinkels jeweils ein Fluchtpunkt P1 bis Pn bestimmt.
  • Diese Bestimmung erfolgt mittels eines robusten Schätzverfahrens, insbesondere mittels des so genannten RANSAC-Algorithmus.
  • Dabei werden für jeden Winkelteilbereich aus den ermittelten Bewegungsvektoren B1 bis Bm jeweils zumindest zwei zufällig ausgewählt. Die zumindest zwei der Bewegungsvektoren B1 bis Bm werden anschließend verlängert und es wird ein Schnittpunkt der zumindest zwei Bewegungsvektoren B1 bis Bm ermittelt. Dieser Schnittpunkt der verlängerten Bewegungsvektoren B1 bis Bm ergibt einen vorläufigen Fluchtpunkt der zwei Bewegungsvektoren B1 bis Bm.
  • Anschließend wird ein Punkt-Gerade-Abstand des vorläufigen Fluchtpunkts und jeder der verbleibenden und ebenfalls verlängerten Bewegungsvektoren B1 bis Bm berechnet. Ist der Abstand unter einem vorgegebenen Maximalabstand, unterstützt der entsprechende Bewegungsvektor B1 bis Bm die Hypothese, dass der vorläufige Fluchtpunkt ein endgültiger Fluchtpunkt P1 bis Pn ist. Die Anzahl der Bewegungsvektoren B1 bis Bm, deren Abstand kleiner als der Maximalabstand ist, wird bestimmt und gespeichert.
  • Darauf folgend wird das Verfahren, d. h. der RANSAC-Algorithmus neu gestartet, indem wiederum zwei der ermittelten Bewegungsvektoren B1 bis Bm für den gleichen Winkelteilbereich zufällig ausgewählt werden, wobei das Verfahren mehrfach, beispielsweise 100 Mal, für jeden Winkelteilbereich wiederholt wird. Dabei wird der vorläufige Fluchtpunkt ermittelt, welcher von der größten Anzahl der Bewegungsvektoren B1 bis Bm unterstützt wird. Dieser Fluchtpunkt bildet den endgültigen Fluchtpunkt P1 bis Pn des jeweiligen Winkelteilbereichs. Daraus resultiert für jeden Winkelteilbereich ein Fluchtpunkt P1 bis Pn. Der Winkelteilbereich, welcher den Lenkwinkel mit dem Wert ”Null” umfasst, weist den Fluchtpunkt Pn-k auf.
  • Mittels gewichteter Regression der Fluchtpunkte P1 bis Pn wird weiterhin eine Horizontlinie H bestimmt. Ein Gewicht jedes einzelnen Fluchtpunkts P1 bis Pn entspricht dabei der Anzahl der Bewegungsvektoren B1 bis Bm, welche diesen unterstützen bzw. welche die Hypothese unterstützen, dass dieser der endgültige Fluchtpunkt P1 bis Pn des jeweiligen Winkelteilbereichs ist. Zu einer besonders genauen Ermittlung der Horizontlinie H ist es vorteilhaft, die Anzahl der Winkelteilbereiche möglichst groß zu wählen.
  • Um den Schnittpunkt der zumindest zwei Bewegungsvektoren B1 bis Bm mittels des RANSAC-Algorithmus auf eine besonders zuverlässige bzw. stabile Weise zu ermitteln, ist es erforderlich, dass der Schnittpunkt innerhalb des Bildbereichs der jeweiligen Bewegungsvektoren B1 bis Bm liegt.
  • Handelt es sich bei der Kamera um eine Kamera, welche Bilder seitlich neben dem Fahrzeug F erfasst, wie beispielsweise die genannte Kamera mit dem Fischaugenobjektiv im Außenspiegel des Fahrzeugs F, verlaufen die Bewegungsvektoren B1 bis Bm im Bild der Kamera nahezu parallel.
  • In 2A ist ein Bild der Kamera dargestellt, auf die Bewegungsvektoren B1 bis Bm nahezu parallel verlaufen. Der parallele Verlauf der Bewegungsvektoren B1 bis Bm resultiert daraus, dass der zugehörige Fluchtpunkt P1 bis Pn außerhalb des Bildes und weit entfernt von den Bewegungsvektoren B1 bis Bm liegt. Ursache hierfür ist wiederum, dass eine Blickrichtung der Kamera weit von einer Fahrtrichtung des Fahrzeugs F abweicht.
  • Aus diesem Grund werden die Bewegungsvektoren B1 bis Bm vor der Ermittlung der Schnittpunkte mittels des RANSAC-Algorithmus von einem Kamera-Koordinatensystem KSK auf das Bildkoordinatensystem KSB der virtuellen Kamera, beispielsweise einer so genannten Pinhole-Kamera, projiziert.
  • 2B zeigt das Bild der virtuellen Kamera mit den projizierten Bewegungsvektoren B1 bis Bm. Die Bewegungsvektoren B1 bis Bm verlaufen derart, dass diese sich im Fluchtpunkt Pn-k schneiden bzw. deren Punkt-Gerade-Abstand kleiner als der vorgegebene Maximalabstand ist.
  • Damit die Bewegungsvektoren B1 bis Bm den Fluchtpunkt Pn-k innerhalb des Bildes schneiden, wird die virtuelle Kamera derart ausgerichtet, dass ein Winkel zwischen einer optischen Achse der virtuellen Kamera und einer Fahrtrichtung des Fahrzeugs möglichst klein gewählt wird, vorzugsweise kleiner als 90° ist, idealerweise im Bereich zwischen 0° und 20° liegt. Die Fahrtrichtung des Fahrzeugs F bzw. der Fluchtpunkt Pn-k sollte in einem Erfassungsbereich der virtuellen Kamera liegen, wobei der Winkel zwischen einer optischen Achse der virtuellen Kamera und einer Fahrtrichtung des Fahrzeugs vorzugsweise in Abhängigkeit des Öffnungswinkels der verwendeten Kamera gewählt wird. Mit anderen Worten: Die virtuelle Kamera blickt zumindest teilweise in Fahrtrichtung des Fahrzeugs F. Dabei muss die virtuelle Kamera nicht zwangsläufig dieselbe Blickrichtung aufweisen, wie die reale Kamera.
  • Die Blickrichtung der virtuellen Kamera kann dabei entweder manuell oder aber auch automatisch gewählt werden. Im Fall einer automatischen Auswahl die Bewegungsvektoren B1 bis Bm sich in gewinnbringender Weise in wenigstens einem Fluchtpunkt P1–Pn innerhalb des Bildes schneiden bzw. die Bewegungsvektoren möglichst stark konvergieren.
  • Die Projektion der Bewegungsvektoren B1 bis Bm von der Kamera auf die virtuelle Kamera erfolgt anhand einer Rektifizierung mit Hilfe der bekannten intrinsischen Parameter der Kamera.
  • Aus dieser Projektion der Bewegungsvektoren B1 bis Bm ergibt sich in vorteilhafter Weise, dass die Ausrichtung der Kamera auch dann ermittelbar ist, wenn die Fluchtpunkte P1 bis Pn sich nicht innerhalb des Bildes befinden und die temporalen Korrespondenzen, d. h. die Bewegungsvektoren B1 bis Bm nahezu parallel verlaufen.
  • In 3 ist das Fahrzeug F mit einem zugehörigen Fahrzeug-Koordinatensystems KSF sowie dem Bild-Koordinatensystem KSB und dem Kamera-Koordinatensystem KSK dargestellt. Das Fahrzeug-Koordinatensystem KSF und das Kamera-Koordinatensystem KSK weisen jeweils eine x-Achse xF, xK, Y-Achse yF, yK und eine z-Achse zF, zK auf. Das Bild-Koordinatensystem KSB ist zweidimensional aus Spalten und Zeilen, d. h. aus einer ersten Koordinate u und einer zweiten Koordinate v gebildet.
  • Zur Ermittlung der Ausrichtung der Kamera auf Basis der Fluchtpunkte P1 bis Pn wird im Bild eine Orientierung oder Ausrichtung des Fahrzeugkoordinatensystems KSF rekonstruiert.
  • Zur Rekonstruktion einer z-Achse zF des Fahrzeug-Koordinatensystems KSF wird der Fluchtpunkt Pn-k, welcher zum Winkelteilbereich mit dem Lenkwinkel, der den Wert ”Null” aufweist, aus dem Bild-Koordinatensystem KSB in das Kamera-Koordinatensystem KSK rückprojiziert. Aufgrund der bekannten intrinsischen Parameter der Kamera ist auch die Lage des Kamera-Koordinatensystems KSK relativ zum Bild-Koordinatensystem KSB bekannt.
  • Diese Rückprojektion resultiert im projizierten Fluchtpunkt Pn-k' und dem mit diesem gebildeten Vektor im Kamera-Koordinatensystem KSK, aus welchem die z-Achse zF des Fahrzeugkoordinatensystems KSF ermittelt wird. An dieser Stelle muss bekannt sein, ob die Kamera nach vorne oder nach hinten blickt. Blickt die Kamera nach vorne, muss bezüglich des Fahrzeug-Koordinatensystems KSF der mit Hilfe des projizierten Fluchtpunkts Pn-k' gebildete Vektor bzw. die gebildete Achse gespiegelt werden, um die z-Achse zF des Fahrzeug-Koordinatensystems KSF zu rekonstruieren.
  • Um die zweite notwendige Achse, d. h. die x-Achse xF des Fahrzeug-Koordinatensystems KSF zu rekonstruieren, wird ein weiterer beliebiger Fluchtpunkt P1 bis Pn von der Horizontlinie H gewählt und rückprojiziert. Im dargestellten Ausführungsbeispiel ist dieser Punkt der Fluchtpunkt P1, welcher im projizierten Fluchtpunkt P1' resultiert. Die aus den mittels der Fluchtpunkte P1 und Pn-k gebildeten Vektoren bzw. Achsen rekonstruieren eine x-z-Ebene des Fahrzeug-Koordinatensystems KSF.
  • Daraus resultiert, dass die x-Achse xF und die z-Achse zF und somit die x-z-Ebene des Fahrzeug-Koordinatensystems KSF bekannt sind, so dass mathematisch die Rotation des Kamera-Koordinatensystems KSK relativ zum Fahrzeugkoordinatensystem KSF bestimmt werden kann.
  • Aus dieser Rotation des Kamera-Koordinatensystems KSK relativ zum Fahrzeug-Koordinatensystem KSF wird die relative Orientierung der Kamera, d. h. die Ausrichtung der Kamera ermittelt.
  • Das beschriebene Verfahren zur Bestimmung der Ausrichtung der Kamera wird vorzugsweise mittels eines in der Kamera integrierten elektronischen Steuergeräts oder mittels eines separaten Steuergeräts ausgeführt. Das Steuergerät ist dabei insbesondere mit einem Datenbus des Fahrzeugs F verbunden, um relevante Informationen und Fahrzeugdaten, wie beispielsweise den Lenkwinkel, zu erhalten.
  • Eine vorteilhafte Ausführungsform verwendet Informationen von weiteren Fahrzeugsensoren, welche ebenfalls über den Datenbus übertragen werden, um die Nick- und Wankbewegungen, Beschleunigungen und Bremsvorgänge des Fahrzeugs F zu detektieren. Korrespondenzen und Bewegungsvektoren B1 bis Bm während der Nick- und Wankbewegungen werden dann vorzugsweise nicht gespeichert, damit Ergebnisse bei der Ermittlung der Fluchtpunkte P1 bis Pn nicht beeinflusst werden.
  • Ferner wird das Verfahren verwendet, um eine manuelle und automatische Justierung der Kamera auszuführen. Insbesondere eine automatische Justierung der Kamera während des Fahrbetriebs des Fahrzeugs F ermöglicht, dass stets ein optimiertes Sichtfeld für die Kamera eingestellt wird und sich sowohl ein Zeit- als auch ein Materialaufwand bei der Montage der Kamera am Fahrzeug F verringert.
  • Bezugszeichenliste
    • B1 bis Bm
      Bewegungsvektor
      F
      Fahrzeug
      H
      Horizontlinie
      KSB
      Bild-Koordinatensystem
      KSF
      Fahrzeug-Koordinatensystem
      KSK
      Kamera-Koordinatensystem
      O
      Objekt
      P1 bis Pn
      Fluchtpunkt
      Pn-k
      Fluchtpunkt
      P1'
      projizierter Fluchtpunkt
      Pn-k'
      projizierter Fluchtpunkt
      u
      Koordinate des Bild-Koordinatensystems
      v
      Koordinate des Bild-Koordinatensystems
      xF
      x-Achse des Fahrzeug-Koordinatensystems
      xK
      x-Achse des Kamera-Koordinatensystems
      yF
      y-Achse des Fahrzeug-Koordinatensystems
      yK
      y-Achse des Kamera-Koordinatensystems
      zF
      z-Achse des Fahrzeug-Koordinatensystems
      zK
      z-Achse des Kamera-Koordinatensystems
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • DE 102009057996 [0002]
  • Zitierte Nicht-Patentliteratur
    • Stein, F u. a.: Efficient Computation of Optical Flow Using the Census Transform; In: Lecture Notes in Computer Science, Springer Berlin/Heidelberg, 2004, Seiten 79 bis 86 [0030]

Claims (8)

  1. Verfahren zur Bestimmung einer Ausrichtung einer an einem Fahrzeug (F) angeordneten Kamera mit einem zugehörigen Kamera-Koordinatensystem (KSK) relativ zu dem Fahrzeug (F) mit einem zugehörigen Fahrzeug-Koordinatensystem (KSF), wobei ein momentaner Lenkwinkel des Fahrzeugs (F) erfasst wird und von der Kamera eine Folge von Bildern aufgenommen wird und in zeitlich aufeinander folgenden Bildern korrespondierende Bildpunkte ermittelt werden, dadurch gekennzeichnet, dass ein Lenkwinkelbereich zwischen einem positiven maximal möglichen und einem negativen maximal möglichen Lenkwinkel in mehrere Winkelteilbereiche unterteilt wird, wobei in einem gemeinsamen Bild-Koordinatensystem (KSB) der aufgenommenen Bilder in Abhängigkeit des momentanen Lenkwinkels für jeden Winkelteilbereich Bewegungsvektoren (B1 bis Bm) zwischen korrespondierenden Bildpunkten ermittelt werden, wobei jeweils aus zumindest zwei der Bewegungsvektoren (B1 bis Bm) für jeden Winkelteilbereich jeweils ein Fluchtpunkt (P1 bis Pn) im Bild-Koordinatensystem (KSB) ermittelt wird, wobei zumindest zwei der Fluchtpunkte (P1 bis Pn,) in das Kamera-Koordinatensystem (KSK) projiziert werden und jeweils in einem projizierten Fluchtpunkt (P1', Pn-k') resultieren, wobei aus den projizierten Fluchtpunkten (P1', Pn-k') in dem Kamera-Koordinationssystem (KSK) das Fahrzeug-Koordinatensystem (KSF) rekonstruiert wird und wobei aus einer Rotation des Kamera-Koordinatensystems (KSK) relativ zum Fahrzeug-Koordinatensystem (KSF) die Ausrichtung der Kamera ermittelt wird.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Bewegungsvektoren (B1 bis Bm) zur Ermittlung der Fluchtpunkte (P1 bis Pn) auf eine virtuelle Kamera projiziert werden.
  3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die virtuelle Kamera derart ausgerichtet wird, dass ein Winkel zwischen einer optischen Achse der virtuellen Kamera und einer Fahrtrichtung des Fahrzeugs (F) kleiner als 90° ist, vorzugsweise im Bereich zwischen 0° und 20° liegt,
  4. Verfahren nach Anspruch 2 oder 3, dadurch gekennzeichnet, dass die virtuelle Kamera derart ausgerichtet wird, dass eine Fahrtrichtung des Fahrzeugs (F) in einem Erfassungsbereich der virtuellen Kamera liegt.
  5. Verfahren nach Anspruch 2 bis 4, dadurch gekennzeichnet, dass die virtuelle Kamera in Abhängigkeit vom Verlauf der Bewegungsvektoren (B1 bis Bm) automatisch ausgerichtet wird.
  6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der jeweilige Fluchtpunkt (P1 bis Pn) aus einem Schnittpunkt der zumindest zwei der Bewegungsvektoren (B1 bis Bm) gebildet wird.
  7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass anhand der Fluchtpunkte (P1 bis Pn) der Winkelteilbereiche eine Horizontlinie (H) ermittelt wird.
  8. Verwendung des Verfahrens nach einem der vorhergehenden Ansprüche, wobei die Kamera in Abhängigkeit der Ausrichtung relativ zum Fahrzeug (F) manuell und/oder automatisch justiert wird.
DE102010021221A 2010-05-21 2010-05-21 Verfahren zur Bestimmung einer Ausrichtung einer an einem Fahrzeug angeordneten Kamera Withdrawn DE102010021221A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102010021221A DE102010021221A1 (de) 2010-05-21 2010-05-21 Verfahren zur Bestimmung einer Ausrichtung einer an einem Fahrzeug angeordneten Kamera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102010021221A DE102010021221A1 (de) 2010-05-21 2010-05-21 Verfahren zur Bestimmung einer Ausrichtung einer an einem Fahrzeug angeordneten Kamera

Publications (1)

Publication Number Publication Date
DE102010021221A1 true DE102010021221A1 (de) 2011-06-22

Family

ID=44311330

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102010021221A Withdrawn DE102010021221A1 (de) 2010-05-21 2010-05-21 Verfahren zur Bestimmung einer Ausrichtung einer an einem Fahrzeug angeordneten Kamera

Country Status (1)

Country Link
DE (1) DE102010021221A1 (de)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2618305A1 (de) * 2012-01-20 2013-07-24 ESG Elektroniksystem- und Logistik-GmbH Verfahren und Vorrichtung zur Online-Kalibrierung von Fahrzeug-Kameras
DE102013019109A1 (de) 2013-11-14 2015-05-21 Daimler Ag Verfahren zur Bestimmung einer Position und Ausrichtung einer an einem Fahrzeug angeordneten Bilderfassungseinheit
DE102018117290A1 (de) 2018-07-17 2020-01-23 Daimler Ag Verfahren zur Kalibrierung und/oder Justierung mindestens einer Sensoreinheit eines Fahrzeugs

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009057996A1 (de) 2009-11-12 2011-05-19 Daimler Ag Verfahren zur Bestimmung einer Position einer Kamera mit einem zugehörigen Kamera-Koordinatensystem relativ zu einer Position eines Fahrzeuges oder Fahrzeuggespannes mit einem zugehörigen Fahrzeug-Koordinatensystem

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009057996A1 (de) 2009-11-12 2011-05-19 Daimler Ag Verfahren zur Bestimmung einer Position einer Kamera mit einem zugehörigen Kamera-Koordinatensystem relativ zu einer Position eines Fahrzeuges oder Fahrzeuggespannes mit einem zugehörigen Fahrzeug-Koordinatensystem

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Stein, F u. a.: Efficient Computation of Optical Flow Using the Census Transform; In: Lecture Notes in Computer Science, Springer Berlin/Heidelberg, 2004, Seiten 79 bis 86

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2618305A1 (de) * 2012-01-20 2013-07-24 ESG Elektroniksystem- und Logistik-GmbH Verfahren und Vorrichtung zur Online-Kalibrierung von Fahrzeug-Kameras
WO2013107814A1 (de) * 2012-01-20 2013-07-25 Esg Elektroniksystem- Und Logistik-Gmbh Verfahren und vorrichtung zur online-kalibrierung von fahrzeug-kameras
CN104246825A (zh) * 2012-01-20 2014-12-24 Esg电子系统及逻辑股份有限公司 用于车辆摄像机的在线校准的方法和装置
CN104246825B (zh) * 2012-01-20 2016-01-06 Esg电子系统及逻辑股份有限公司 用于车辆摄像机的在线校准的方法和装置
US9262828B2 (en) 2012-01-20 2016-02-16 Esg Elektroniksystem-Und Logistik-Gmbh Method and device for online calibration of vehicle cameras
DE102013019109A1 (de) 2013-11-14 2015-05-21 Daimler Ag Verfahren zur Bestimmung einer Position und Ausrichtung einer an einem Fahrzeug angeordneten Bilderfassungseinheit
DE102018117290A1 (de) 2018-07-17 2020-01-23 Daimler Ag Verfahren zur Kalibrierung und/oder Justierung mindestens einer Sensoreinheit eines Fahrzeugs
WO2020016092A1 (de) 2018-07-17 2020-01-23 Daimler Ag Verfahren zur kalibrierung und/oder justierung mindestens einer sensoreinheit eines fahrzeugs

Similar Documents

Publication Publication Date Title
DE102012222126B4 (de) Verfahren und Vorrichtung zum Ansteuern einer Reinigungsvorrichtung für eine Fahrzeugkamera, Verfahren zum Reinigen einer Fahrzeugkamera und Kamerasystem für ein Fahrzeug
DE102012005152B4 (de) Bildaufnahmevorrichtung und bildaufnahmeoptik
DE102018116111A1 (de) Ein einheitliches tiefes faltendes neuronales Netzwerk für die Abschätzung von Freiraum, die Abschätzung der Objekterkennung und die der Objektstellung
DE102006003538B3 (de) Verfahren zum Zusammenfügen mehrerer Bildaufnahmen zu einem Gesamtbild in der Vogelperspektive
DE60109858T2 (de) System zur Ungleichheitsmessung von stereoskopischen Bildern
EP3053133B1 (de) Verfahren und vorrichtung zur anzeige der umgebung eines fahrzeugs und fahrerassistenzsystem
DE4411179B4 (de) Bildeinfangvorrichtung
EP2929518A1 (de) Fahrzeugseitiges verfahren und fahrzeugseitige vorrichtung zum erfassen und anzeigen von parklücken für ein fahrzeug
EP2584493B1 (de) Verfahren zur Unterscheidung zwischen einem realen Gesicht und einer zweidimensionalen Abbildung des Gesichts in einem biometrischen Erfassungsprozess
EP1797534B1 (de) Verfahren für die erfassung einer optischen struktur
EP3186952B1 (de) Bildaufnahmevorrichtung und verfahren zur bildaufnahme
DE102012219834B4 (de) Spurverfolgungssystem
DE102004017145B4 (de) Verfahren und Vorrichtung zur Ermittlung von Bewegungvektoren, die Bildbereichen eines Bildes zugeordnet sind
DE102014208664A1 (de) Verfahren und vorrichtung zum verzerrungsfreien anzeigen einer fahrzeugumgebung eines fahrzeuges
EP1368970B1 (de) Verfahren und vorrichtung zum entzerren eines bildes, insbesondere für insassenschutzsysteme
EP2406769B1 (de) Verfahren und vorrichtung zur reduktion des speicherbedarfs bei der bestimmung von disparitätswerten für mindestens zwei stereoskopisch aufgenommene bilder
EP2082687A1 (de) Überlagerte Darstellung von Aufnahmen
WO2006029739A1 (de) Verfahren zur bildbasierten fahreridentifikation in einem kraftfahrzeug
DE102015011914A1 (de) Konturlinienmessvorrichtung und Robotersystem
DE102011101246A1 (de) Redudante objektdetektion für fahrerassistenzsysteme
WO2005048195A2 (de) Verfahren zur korrespondenzanalyse in bilddatensätzen
EP2471040A1 (de) Verfahren und vorrichtung zum zusammenfügen von mehreren digitalen einzelbildern zu einem gesamtbild
EP3328686B1 (de) Verfahren und vorrichtung zum anzeigen einer umgebungsszene eines fahrzeuggespanns
DE112009002658T5 (de) Verfahren und Vorrichtung zur Videorauschreduzierung
DE102008030555A1 (de) Vorrichtung zur Verarbeitung von Stereobildern

Legal Events

Date Code Title Description
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee

Effective date: 20141202