DE102010048143A1 - Verfahren zur Kalibrierung zumindest einer an einem Fahrzeug angeordneten Kamera - Google Patents

Abstract

Die Erfindung betrifft ein Verfahren zur Kalibrierung zumindest einer an einem Fahrzeug angeordneten Kamera, wobei aktuelle Kameraparameter fortlaufend ermittelt werden und ein aktueller Nickwinkel des Fahrzeugs bei der Kalibrierung berücksichtigt wird. Erfindungsgemäß wird ein Nickwinkelkorrekturwert (θ) aus Ist-Fahrzeugdaten ermittelt, wobei als Nickwinkelkorrekturwert (θ) ein statischer Anteil (θ_stat) und ein dynamischer Anteil (θ_dyn) ermittelt werden.

Description

• Die Erfindung betrifft ein Verfahren zur Kalibrierung zumindest einer an einem Fahrzeug angeordneten Kamera, wobei aktuelle Kameraparameter fortlaufend ermittelt werden und ein aktueller Nickwinkel des Fahrzeugs bei der Kalibrierung berücksichtigt wird.
• Aus der EP 1 806 595 A1 ist ein Verfahren zur Entfernungsbestimmung von Objekten in einer Umgebung eines Fahrzeugs mittels einer am Fahrzeug angeordneten Kamera bekannt. Die Kamera erfasst in Echtzeit Einzelbilder der Objekte innerhalb eines Erfassungsbereichs der Kamera, wobei aus den Bildern die Entfernung der Objekte zu dem Fahrzeug bestimmt wird.
• Weiterhin ist aus der DE 10 2004 001 572 A1 ein Verfahren zur Kalibrierung einer bildgebenden Vorrichtung mit wenigstens zwei Kameras bekannt, wobei aktuelle Kameraparameter fortlaufend ermittelt werden. Zur fortlaufenden Ermittlung der aktuellen Kameraparameter werden ein optischer Fluss und eine Stereotiefenvermessung der jeweiligen von den wenigstens zwei Kameras detektierten Bilder gemeinsam ausgewertet. Weiterhin werden als Hilfsparameter aktuelle fahrzeugspezifische Daten ausgewertet, wobei die fahrzeugspezifischen Daten eine Geschwindigkeit, einen aktuellen Lenkwinkel, einen Gierwinkel, einen Wankwinkel und einen Nickwinkel umfassen.
• Der Erfindung liegt die Aufgabe zugrunde, ein gegenüber dem Stand der Technik verbessertes Verfahren zur Kalibrierung zumindest einer an einem Fahrzeug angeordneten Kamera anzugeben.
• Die Aufgabe wird erfindungsgemäß mit einem Verfahren gelöst, welches die in Anspruch 1 angegebenen Merkmale aufweist.
• Vorteilhafte Ausgestaltungen des erfindungsgemäßen Verfahrens sind Gegenstand der Unteransprüche.
• In einem Verfahren zur Kalibrierung zumindest einer an einem Fahrzeug angeordneten Kamera werden aktuelle Kameraparameter fortlaufend ermittelt und ein aktueller Nickwinkel des Fahrzeugs wird bei der Kalibrierung berücksichtigt.
• Erfindungsgemäß wird ein Nickwinkelkorrekturwert aus Ist-Fahrzeugdaten ermittelt, wobei als Nickwinkelkorrekturwert ein statischer Anteil und ein dynamischer Anteil ermittelt werden.
• Daraus ergibt sich in vorteilhafter Weise eine sehr genaue Kalibrierung der bildgebenden Vorrichtung, so dass insbesondere ein verbesserter und zuverlässiger Betrieb von Fahrerassistenzvorrichtungen, welche von der bildgebenden Vorrichtung erfasste Bilder verwenden, möglich ist. Besonders vorteilhaft ist, dass aufgrund der Kenntnis von aus dem Nickwinkel resultierenden Abweichungen eines realen Lagewinkels zu einem Modelllagewinkel der Kamera Entfernungen von Objekten in der Umgebung sehr genau ermittelbar sind und aus Nickbewegungen des Fahrzeugs resultierende Fehler bei der Ermittlung der Entfernung berücksichtigt bzw. eliminiert werden können.
• Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.
• Dabei zeigen:
• 1 schematisch ein mittels einer Kamera erfasstes Bild einer Umgebung eines Fahrzeugs und
• 2 schematisch ein Ablaufdiagramm eines Ausführungsbeispiels des erfindungsgemäßen Verfahrens zur Kalibrierung einer bildgebenden Vorrichtung mit zumindest einer an einem Fahrzeug angeordneten Kamera.
• Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
• 1 zeigt ein Bild B einer Umgebung eines nicht näher dargestellten Fahrzeugs, wobei das Bild B mittels einer ebenfalls nicht näher dargestellten und am Fahrzeug angeordneten Kamera erfasst wurde. Bei der Kamera handelt es sich um eine Mono-Kamera. Alternativ ist die Kamera eine Stereo-Kamera oder eine omnidirektionale Kamera.
• Die Kamera ist Bestandteil einer Fahrerassistenzvorrichtung des Fahrzeugs oder mit dieser gekoppelt, wobei mittels einer nicht gezeigten Bildverarbeitungseinheit eine Entfernung x eines in dem Bild B vorhandenen Objekts O zu dem Fahrzeug, d. h. zu der Kamera, ermittelt wird. Neben der Ermittlung oder Schätzung der Entfernung x der in der Umgebung befindlichen Objekte O zu dem Fahrzeug sind aus dem Bild B weitere Informationen, beispielsweise auch eine Klassifikation des Objekts O mittels einer Mustererkennung, möglich. Bei dem Objekt O kann es sich um ein weiteres Fahrzeug, Personen, Radfahrer und andere Verkehrsteilnehmer, Bauwerke, Randbebauungen, Fahrbahnmarkierungen sowie weitere Objekte handeln.
• Die ermittelte Entfernung x zwischen dem Fahrzeug und dem Objekt O wird beim Betrieb der Fahrerassistenzvorrichtung berücksichtigt. Ist die Fahrerassistenzvorrichtung beispielsweise als automatischer Abstandsregeltempomat, als Einparkhilfe, als Spurhalte- und/oder Spurführungsassistent ausgebildet, wird der Fahrer des Fahrzeugs bei Unterscheitung eines vorgegebenen Mindestabstands zu dem Objekt O aktiv bei der Längs- und/oder Quersteuerung unterstützt und/oder akustisch, optisch und/oder haptisch vor dem Objekt O gewarnt. Somit wird die Entfernung x bzw. der Abstand des Objekts O zu dem Fahrzeug zur Durchführung sicherheitsrelevanter Funktionen verwendet.
• Der Betrieb der Fahrerassistenzvorrichtungen erfolgt dabei allein anhand der von der Kamera erfassten Bilder B oder zusätzlich anhand von mittels weiterer Sensoren, wie beispielsweise Radarsensoren, erfassten Daten. Hierbei werden die Bilddaten der Kamera zur Plausibilisierung der von den weiteren Sensoren erfassten Sensordaten verwendet oder die Sensordaten zur Plausibilisierung der Kameradaten.
• Die Entfernung x des Objekts O zu dem Fahrzeug wird aus einer Größe und Lage des Objekts O unter Modellannahmen, welche eine Lage und Ausrichtung der Kamera im oder am Fahrzeug sowie einen Streckenverlauf und eine Steigung berücksichtigen, geschätzt. Die Entfernung x wird insbesondere anhand einer Anzahl von Bildpunkten BP1 bis BPn, so genannten Pixeln, zwischen dem Fahrzeug und dem Objekt O in dem Bild B oder einer daraus abgeleiteten Zeilenanzahl geschätzt.
• Die Schätzung bzw. Ermittlung der Entfernung x erfolgt in Verbindung mit der Klassifikation des Objekts O mittels der Mustererkennung, wobei mittels der Mustererkennung eine Art des Objekts O und daraus folgend dessen Größe ermittelt wird.
• Um die Entfernung x möglichst exakt bestimmen zu können, ist es erforderlich, während des Betriebs des Fahrzeugs auftretende Nickbewegungen, wie sie insbesondere bei Kameras, die in oder an gefederten Fahrerkabinen schwerer Nutzfahrzeuge befestigt sind, auftreten, zu erfassen und zu berücksichtigen. Somit sind aus den Nickbewegungen resultierende Fehler in Modellannahmen einer statischen Einbaulage der Kamera vermeidbar. Unter einer Nickbewegung wird dabei eine Bewegung des Fahrzeugaufbaus um eine Fahrzeugquerachse verstanden.
• Die statische Einbaulage der Kamera ist durch eine Höhe der Befestigung am Fahrzeug, eine relative Position zum Fahrzeug und eine Ausrichtung am Fahrzeug gekennzeichnet. Die Nickbewegungen des Fahrzeugs werden durch stark schwankende Ladungsunterschiede hervorgerufen, wobei aus den Nickbewegungen des Fahrzeugs und daraus resultierenden Kamerabewegungen und/oder starken dynamischen Kamerabewegungen, welche aus der Bewegung der gefederten Fahrerkabine resultieren, Fehler in der Ermittlung der Entfernung x resultieren können, so dass es zu Fehlfunktionen der Fahrerassistenzvorrichtungen kommen kann.
• Aus diesem Grund werden zur Kalibrierung der zumindest einen Kamera aktuelle Kameraparameter fortlaufend ermittelt und der aktuelle Nickwinkel des Fahrzeugs wird bei der Kalibrierung berücksichtigt. Die Kameraparameter umfassen neben optischen Parametern besonders auch die Parameter der statischen Einbaulage der Kamera.
• Die Ermittlung des Nickwinkels bzw. eines Nickwinkelkorrekturwerts θ zeigt 2 in einem Ablaufdiagramm eines Ausführungsbeispiels des erfindungsgemäßen Verfahrens.
• Dabei werden die Modellannahmen über die statische Einbaulage der Kamera mittels Ist-Fahrzeugdaten gestützt und/oder berichtigt. Die Ist-Fahrzeugdaten umfassen eine Längsbeschleunigung b_Fzg des Fahrzeugs, eine Achslastveränderung ΔFz_H an einer hinteren Radachse und eine Achslastveränderung ΔFz_V an einer vorderen Radachse.
• Weiterhin umfassen die Ist-Fahrzeugdaten eine Federwegänderung Δz_H an der hinteren Radachse und eine Federwegänderung Δz_V an der vorderen Radachse sowie eine Lenkwinkeländerung Δ_LW und eine Geschwindigkeit v_Fzg des Fahrzeugs.
• Zur Berichtigung der Fehler in den Modellannahmen der statischen Einbaulage der Kamera und/oder zur Stützung der Modellannahmen wird der Nickwinkelkorrekturwert θ ermittelt, wobei der Nickwinkelkorrekturwert θ aus einem statischen Anteil θ stat und einem dynamischen Anteil θ_dyn gebildet wird.
• Im dynamischen Anteil θ_dyn wird in Abhängigkeit von der Längsbeschleunigung b_Fzg des Fahrzeugs ein dynamischer Nickwinkel des Fahrzeugs bestimmt, wobei ein Zusammenhang zwischen dem dynamischen Anteil θ_dyn und der Längsbeschleunigung b_Fzg durch Vergleich mit jeweils zugehörigen Referenzwerten ermittelt wird. Diese Referenzwerte sind in einer so genannten LookUp-Table in einem Steuergerät hinterlegt, wobei die Referenzwerte vorzugsweise mittels einer einmaligen Parametrierung in einem Versuchsfahrzeug ermittelt werden.
• Der statische Anteil θ_stat wird aus einer Achslastdifferenz AFz_H – AFz_V zwischen der Achslastveränderung ΔFz_H an der hinteren Radachse und der Achslastveränderung ΔFz_V an der vorderen Radachse des Fahrzeugs ermittelt. Der Zusammenhang zwischen den Achslastveränderungen ΔFz_H, ΔFz_V und dem statischen Anteil θ_stat wird wiederum durch Vergleich mit jeweils zugehörigen Referenzwerten ermittelt, welche ebenfalls in einer LookUp-Table in dem Steuergerät hinterlegt sind. Die Referenzwerte werden vorzugsweise mittels einer einmaligen Parametrierung in einem Versuchsfahrzeug ermittelt.
• Alternativ oder zusätzlich wird der statische Anteil θ_stat aus den jeweils in Klammern dargestellten Federwegänderungen Δz_H an der hinteren Radachse und Federwegänderungen Δz_V an der vorderen Radachse des Fahrzeugs ermittelt. Insbesondere bei einem Fahrzeug mit einer Luftfederung sind die Werte der Federwegänderungen Δz_H, Δz_V als Signal über einen Datenbus, beispielsweise einen CAN-Bus oder LIN-Bus, verfügbar.
• Aus dem statischen Anteil θ_stat und dem dynamischen Anteil θ_dyn wird anschließend der Nickwinkelkorrekturwert θ gebildet, mittels welchem die Modellannahmen der statischen Einbaulage der Kamera derart angepasst werden, dass die Entfernung x unabhängig von Nickbewegungen des Fahrzeugs fehlerfrei ermittelt wird.
• Zusätzlich wird bei der Ermittlung der Kameraparameter ein aktueller Wankwinkel des Fahrzeugs berücksichtigt und ein Wankwinkelkorrekturwert

  

  gebildet. Unter einer Wankbewegung wird dabei eine Bewegung des Fahrzeugaufbaus um eine Fahrzeuglängsachse verstanden.
• Der Wankwinkelkorrekturwert

  

  wird aus der Lenkwinkeländerung Δ_LW, d. h. aus einer jeweils aktuellen Lenkwinkeländerung Δ_LW₁, Δ_LW₂, Δ_LW₃, und der aktuellen Geschwindigkeit v_Fzg des Fahrzeugs ermittelt, wobei mittels des Wankwinkelkorrekturwerts

  

  durch das Wanken hervorgerufene Abweichungen bei der Auswertung des Bildes B berichtigt bzw. eliminiert werden. Der Zusammenhang zwischen den Lenkwinkeländerungen Δ_LW, Δ_LW₁, Δ_LW₂, Δ_LW₃ und der aktuellen Geschwindigkeit v_Fzg und der Zusammenhang zwischen der aktuellen Geschwindigkeit v_Fzg, den Lenkwinkeländerungen Δ_LW, Δ_LW₁, Δ_LW₂, Δ_LW₃ sowie dem Wankwinkelkorrekturwert

  

  wird wiederum durch Vergleich mit jeweils zugehörigen Referenzwerten ermittelt, welche in einer LookUp-Table in dem Steuergerät hinterlegt sind. Die Referenzwerte werden vorzugsweise mittels einer einmaligen Parametrierung in einem Versuchsfahrzeug ermittelt.
• Bezugszeichenliste
• B: Bild
• b_Fzg: Längsbeschleunigung
• BP1 bis BPn: Bildpunkt
• O: Objekt
• x: Entfernung
• v_Fzg: Geschwindigkeit
• ΔFz_H: Achslastveränderung
• ΔFz_H – ΔFz_V: Achslastdifferenz
• ΔFz_V: Achslastveränderung
• Δ_LW: Lenkwinkeländerung
• Δ_LW₁, Δ_LW₂, Δ_LW₃: Lenkwinkeländerung
• Δz_H: Federwegänderung
• Δz_V: Federwegänderung
• θ: Nickwinkelkorrekturwert
• θ_dyn: dynamischer Anteil
• θ_stat: statischer Anteil
• 
  : Wankwinkelkorrekturwert
• ZITATE ENTHALTEN IN DER BESCHREIBUNG
• Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
• Zitierte Patentliteratur
• EP 1806595 A1 [0002]
• DE 102004001572 A1 [0003]

Claims (7)

1. Verfahren zur Kalibrierung zumindest einer an einem Fahrzeug angeordneten Kamera, wobei aktuelle Kameraparameter fortlaufend ermittelt werden und ein aktueller Nickwinkel des Fahrzeugs bei der Kalibrierung berücksichtigt wird, dadurch gekennzeichnet, dass ein Nickwinkelkorrekturwert (θ) aus Ist-Fahrzeugdaten ermittelt wird, wobei als Nickwinkelkorrekturwert (θ) ein statischer Anteil (θ_stat) und ein dynamischer Anteil (θ_dyn) ermittelt werden.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der statische Anteil (θ_stat) aus einer Achslastdifferenz (ΔFz_H – ΔFz_V) zwischen zumindest einer hinteren Radachse und zumindest einer vorderen Radachse des Fahrzeugs ermittelt wird.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass der statische Anteil (θ_stat) aus Federwegänderungen (Δz_H, Δz_V) zumindest einer hinteren Radachse und/oder zumindest einer vorderen Radachse ermittelt wird.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der dynamische Anteil (θ_dyn) in Abhängigkeit einer Längsbeschleunigung (b_Fzg) des Fahrzeugs ermittelt wird.
5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Nickwinkelkorrekturwert (θ) mittels eines Vergleichs des statischen Anteils (θ_stat) und des dynamischen Anteils (θ_dyn) mit jeweils zugehörigen Referenzwerten ermittelt wird.
6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bei der Ermittlung der Kameraparameter ein aktueller Wankwinkel des Fahrzeugs berücksichtigt und ein Wankwinkelkorrekturwert

   

   gebildet wird.
7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass der Wankwinkelkorrekturwert

   

   aus einer Lenkwinkelwinkeländerung (Δ_LW) und einer aktuellen Geschwindigkeit (v_Fzg) des Fahrzeugs ermittelt wird.

Images