DE102019201633A1

DE102019201633A1 - Kalibrierung eines Sensors für ein Fahrzeug basierend auf objektseitigen und bildseitigen Identifikationsindizes eines Referenzobjektes

Info

Publication number: DE102019201633A1
Application number: DE102019201633.2A
Authority: DE
Inventors: Zhihu Chen
Original assignee: ZF Friedrichshafen AG
Current assignee: ZF Friedrichshafen AG
Priority date: 2019-02-08
Filing date: 2019-02-08
Publication date: 2020-08-13
Also published as: WO2020160861A1

Abstract

Vorrichtung (10) zum Kalibrieren eines Sensors (22, 24, 26, 28) für ein Fahrzeug (21, 23), umfassend eine Eingabeschnittstelle (12) zum Eingeben von Bilddaten (18), die zumindest ein von einem Sensor (22, 24, 26, 28) aufgenommenes Bild eines vordefinierten Referenzobjektes (34, 42) enthalten, wobei das Referenzobjekt (34, 42) mehrere objektseitige Referenzteile (P1-P11, J1-J9) umfasst, denen jeweils ein Weltkoordinatenindex und ein objektseitiger Identifikationsindex zugeordnet sind; eine Bildprozessiereinheit (14) zum Erfassen mehrerer, den objektseitigen Referenzteilen (P1-P11, J1-J9) entsprechender bildseitiger Referenzteile (Q1-Q5, K1-K7), wobei die Bildprozessiereinheit (14) dazu ausgebildet ist, für jedes der bildseitigen Referenzteile (Q1-Q5, K1-K7) einen Bildkoordinatenindex und einen mit dem jeweiligen objektseitigen Identifikationsindex verknüpften bildseitigen Identifikationsindex zu detektieren, um basierend auf den objektseitigen und bildseitigen Identifikationsindizes eine Korrelation zwischen den Bildkoordinatenindizes und den Weltkoordinatenindizes zu ermitteln; und eine Ausgabeschnittstelle (16) zum Ausgeben der detektierten bildseitigen Identifikationsindizes.

Description

Die vorliegende Erfindung betrifft eine Vorrichtung zum Kalibrieren eines Sensors für ein Fahrzeug nach Anspruch 1. Ferner betrifft die Erfindung eine Sensoreinrichtung zum Erfassen eines Umfelds eines Fahrzeugs nach Anspruch 13. Die Erfindung betrifft zusätzlich die Verwendung einer solchen Vorrichtung oder einer solchen Sensoreinrichtung in einem Fahrzeug nach Anspruch 14. Außerdem betrifft die Erfindung ein Verfahren zum Kalibrieren eines Sensors für ein Fahrzeug nach Anspruch 15. Schließlich betrifft die Erfindung ein Computerprogrammprodukt nach Anspruch 17.
Sensorsysteme, die einen oder mehrere Sensoren umfassen, werden zunehmend in Fahrzeugen, insbesondere in deren Fahrerassistenzsystemen und Sicherheitssystemen, eingesetzt, um das Umfeld des Fahrzeugs zu erfassen. Derartige Sensoren können beispielsweise Kameras, Radare und/oder Light Detection and Ranging Devices (nachfolgend: Lidare) sein. Ein solcher Sensor dient dazu, Bilder vom Umfeld des Fahrzeugs aufzunehmen und anhand einer Bildauswertung Objekte zu erkennen, die für das Fahrzeug ein potentielles Hindernis beim Fahren darstellen. Es kann anhand einer solchen Objekterkennung der Abstand zwischen dem Fahrzeug und dem Objekt ermittelt werden, um gegebenenfalls beim Unterschreiten eines kritischen Abstandes eine Gegenmaßnahme zu ergreifen, beispielsweise das Fahrzeug zu bremsen oder ein Warnsignal auszulösen. Auf diese Weise können Kollisionen zwischen dem Fahrzeug und Objekten, etwa Personen, Bebauungen, anderen Fahrzeugen oder Vegetationen, vermieden oder zumindest das Risiko hierfür reduziert werden.
Um jedoch eine zuverlässige Objekterkennung zu bewerkstelligen, sind die Sensoren zu kalibrieren. Unter Kalibration wird ein Prozess verstanden, in dem die Korrelation zwischen einem Bildkoordinatensystem, in dem die vom jeweiligen Sensor aufgenommenen Bilder angezeigt werden und das für jeden Sensor spezifisch ist, und einem Weltkoordinatensystem, das sensorunspezifisch und für alle Sensoren allgemein gültig ist, ermittelt wird. Das jeweilige Bildkoordinatensystem wird daher mit dem Weltkoordinatensystem in ein Übersetzungsverhältnis gesetzt, anhand dessen jede Bildkoordinate mittels einer entsprechenden Weltkoordinate darstellbar ist.
Kalibriervorrichtungen und -verfahren sind beispielsweise aus WO 2018/000037 A1 bekannt, die ein System und Verfahren zur Bestimmung einer Kamerahaltung innerhalb einer Fahrzeugszene offenbart. Das dortige Verfahren umfasst einen ersten Schritt, in dem ein Bild der Fahrzeugszene durch die Kamera aufgenommen wird. Das Verfahren umfasst ferner einen zweiten Schritt, in dem Referenzdaten geladen werden, die auf die Fahrzeugszene hindeuten, wobei die Referenzdaten Positionen und Ausrichtungen von bekannten Merkmalen innerhalb der Fahrzeugszene umfassen. Das bekannte Verfahren umfasst außerdem einen dritten Schritt, in dem die geometrische Erscheinung eines oder mehrerer der bekannten Merkmale innerhalb des Bildes identifiziert werden. Schließlich umfasst das bekannte Verfahren einen vierten Schritt, in dem die dreidimensionale Position und Ausrichtung der Kamera relativ zu den bekannten Merkmalen, die im dritten Schritt identifiziert wurden, ausgehend von der geometrischen Erscheinung bestimmt werden und eine Kamerahaltung innerhalb der Fahrzeugszene berechnet wird.
Die bekannten Kalibriervorrichtungen und -verfahren sind jedoch mit dem Nachteil behaftet, dass die Kalibrierung der Sensoren mittels dieser Vorrichtungen bzw. Verfahren den in immer steigenden hohen Anforderungen an die Genauigkeit und Zuverlässigkeit nicht gerecht werden können. Beispielsweise sind diese Kalibriervorrichtungen und -verfahren anfällig gegen Verdeckungen von Objektteilen, bei denen die Referenzobjekte aufgrund ihrer Lage oder anderer im Sichtfeld der Sensoren befindlichen Objekte nicht vollständig vom Sensor erfasst werden können. Dies kann zu fehlerhaften Abstandsmessungen führen, die die Funktionalität der Fahrerassistenz- und Sicherheitssysteme beeinträchtigen und sicherheitskritische Situationen verursachen.
Aufgabe der vorliegenden Erfindung ist daher, die bekannten Kalibriervorrichtungen - und Verfahren dahingehend zu verbessern, dass deren Genauigkeit und Zuverlässigkeit erhöht sind.
Die Aufgabe wird gelöst durch eine Vorrichtung zum Kalibrieren eines Sensors für ein Fahrzeug mit den Merkmalen des Anspruchs 1. Ferner wird die Aufgabe gelöst durch eine Sensoreinrichtung zum Erfassen eines Umfelds eines Fahrzeugs mit den Merkmalen des Anspruchs 13. Zusätzlich wird die Aufgabe gelöst durch die Verwendung einer solchen Vorrichtung in einem Fahrzeug mit den Merkmalen des Anspruchs 14. Außerdem wird die Aufgabe gelöst durch ein Verfahren zum Kalibrieren eines Sensors für ein Fahrzeug mit den Merkmalen des Anspruchs 15. Schließlich wird die Aufgabe gelöst durch ein Computerprogrammprodukt mit den Merkmalen des Anspruchs 16.
Der Sensor, der vorzugsweise am Fahrzeug angebracht ist, ist dazu ausgebildet, ein Bild des Referenzobjektes aufzunehmen. Der Sensor ist beispielsweise eine Kamera, ein Radarsensor, ein Lidarsensor, ein Ultraschallsensor oder ein anderes bildgebendes Gerät. Der Sensor kann in einem Sensorsystem umfassend mehrere Sensoren integriert sein, die beispielsweise an verschiedenen Positionen des Fahrzeugs angebracht sind. Die mehreren Sensoren umfassen eine Kamera, einen Radarsensor, einen Lidarsensor, einen Ultraschallsensor und/oder ein anderes bildgebendes Gerät. In diesem Fall ist die erfindungsgemäße Vorrichtung vorzugsweise dazu ausgebildet, das Sensorsystem zu kalibrieren.
Die vom Sensor erzeugten Bilddaten enthalten zumindest ein Bild des vordefinierten Referenzobjektes. Das Referenzobjekt weist eine bestimmte geometrische Form, beispielsweise eine zweidimensionale oder dreidimensionale Form, und/oder ein bestimmtes zweidimensionales oder dreidimensionales Muster auf. Vorzugsweise ist das Referenzobjekt kreisförmig, ellipsenförmig, quadratisch, hexagonal oder sichelförmig ausgebildet. Weiter vorzugsweise weist das Referenzobjekt einen kreisförmigen, ellipsenförmigen oder quadratischen Kernbereich auf, der einen zick-zack-förmigen Randbereich mit mehreren Eckbereichen umfasst, die jeweils durch zwei sich in einem Eckpunkt schneidenden Seiten radial begrenzt sind.
Das Referenzobjekt kann vollständig oder teilweise im Bild (bzw. in den Bildern) enthalten sein. Dies bedeutet, dass die jeweiligen Bilder zeigen das Referenzobjekt von einer bestimmten Perspektive der jeweiligen Sensoren heraus vollständig oder teilweise.
Die objektseitigen Referenzteile sind auf dem Referenzobjekt räumlich beziehungsweise flächig (im Fall eines zweidimensionalen Referenzobjektes) verteilt. Die objektseitigen Referenzteile sind beispielsweise mehrere Referenzbereiche der Oberfläche des dreidimensionalen Referenzobjektes beziehungsweise mehrere Referenzbereiche des zweidimensionalen Referenzobjektes. Alternativ oder zusätzlich kann zumindest eines der objektseitigen Referenzteile einen Referenzpunkt umfassen, der in einem der Referenzbereiche angeordnet ist. Dies schließt auch den Fall ein, dass ein Referenzpunkt in einem Randabschnitt eines Referenzbereichs oder auf einer Kante eines Referenzbereichs angeordnet ist. Vorzugsweise umfasst zumindest ein Referenzpunkt einen Eckpunkt der vorgenannten Zick-Zack-Form.
Der Weltkoordinatenindex umfasst eine Koordinateninformation der jeweiligen objektseitigen Referenzteile. Hierbei bezieht sich die Koordinateninformation auf ein Weltkoordinatensystem. Das Weltkoordinatensystem ist ein vom Bildkoordinatensystem des Sensors verschiedenes Bezugssystem. Das Weltkoordinatensystem kann beispielsweise ein Koordinatensystem des Fahrzeugs, der Umgebung des Fahrzeugs, des Sensorgehäuses oder eines anderen Gehäuses sein. Das Weltkoordinatensystem kann ein kartesisches oder ein sphärisches Koordinatensystem sein. Das Weltkoordinatensystem ist vorzugsweise so gewählt, dass für mehrere der objektseitigen Referenzteile des Referenzobjektes eine der Koordinaten, beispielsweise entlang der z-Achse, den Wert Null annimmt (z=0).
Für den Fall, dass ein objektseitiges Referenzteil ein Referenzbereich ist, umfasst der Weltkoordinatenindex beispielsweise eine Koordinateninformation eines in diesem Referenzbereich liegenden Punktes respektive des Weltkoordinatensystems. Für den Fall, dass ein objektseitiges Referenzteil ein Referenzpunkt ist, umfasst der Weltkoordinatenindex eine Koordinateninformation des Referenzpunktes respektive des Weltkoordinatensystems.
Der objektseitige Identifikationsindex dient dazu, die objektseitigen Referenzteile zusätzlich zu ihrem Weltkoordinatenindex zu spezifizieren. Der objektseitige Identifikationsindex bezieht sich auf eine oder mehrere Eigenschaften der jeweiligen objektseitigen Referenzteile. Beispielsweise kann sich der objektseitige Identifikationsindex auf eine Position, Orientierung, Form und/oder eine Erscheinungseigenschaft der jeweiligen objektseitigen Referenzteile beziehen.
Der Weltkoordinatenindex und/oder der objektseitige Identifikationsindex können zumindest teilweise zu den Bilddaten gehören. Alternativ oder zusätzlich können der Weltkoordinatenindex und/oder der objektseitige Identifikationsindex zu einem von den Bilddaten separaten Datenpaket gehören, das der Bildprozessiereinheit beispielsweise über die Eingangsschnittstelle zugeführt werden kann.
Durch die Aufnahme des vordefinierten Referenzobjektes mittels des Sensors werden die objektseitigen Referenzteile in die bildseitigen Referenzteile abgebildet. Insofern entsprechen die bildseitigen Referenzteile den objektseitigen Referenzteilen.
Die Bildprozessiereinheit ist dazu ausgebildet, das vordefinierte Referenzobjekt, insbesondere die bildseitigen Referenzteile aus den Bilddaten zu entnehmen. Die objektseitigen Referenzteile sind durch das Design des Referenzobjektes festgelegt. Die bildseitigen Referenzteile können je nach Perspektive des verwendeten Sensors und äußeren Parametern wie Helligkeit vom Bild zum Bild verschieden sein.
Der Bildkoordinatenindex umfasst eine Koordinateninformation der jeweiligen bildseitigen Referenzteile. Die Koordinateninformation bezieht sich hierbei auf ein Bildkoordinatensystem. Das Bildkoordinatensystem ist ein Bezugssystem, relativ zu dem die Bildpunkte des vom Sensor aufgenommenen Bildes, beispielsweise Pixel und/oder Voxel, auf einer Bildanzeigeoberfläche räumlich beziehungsweise flächig definiert sind. Die Koordinateninformation im Bildkoordinatensystem kann eine oder mehrere Koordinaten des Bildkoordinatensystems umfassen.
Für den Fall, dass ein bildseitiges Referenzteil ein Referenzbereich ist, umfasst der Bildkoordinatenindex beispielsweise eine Koordinateninformation eines in diesem Referenzbereich liegenden Punktes im Bildkoordinatensystem. Für den Fall, dass ein bildseitiges Referenzteil ein Referenzpunkt ist, umfasst der Bildkoordinatenindex eine Koordinateninformation des Referenzpunktes im Bildkoordinatensystem.
Die Korrelation zwischen den Weltkoordinatenindizes und den Bildkoordinatenindizes entspricht dem Übersetzungsverhältnis zwischen dem Weltkoordinatensystem und dem Bildkoordinatensystem. Die erfindungsgemäße Kalibriervorrichtung ist also dazu ausgebildet, eine Korrelation zwischen dem Weltkoordinatensystem und dem Bildkoordinatensystem zu ermitteln, anhand derer Koordinaten eines der beiden Koordinatensysteme in das jeweils andere der beiden Koordinatensysteme übersetzt werden können und/oder umgekehrt.
Die Korrelation kann von der Bildprozessiereinheit ermittelt werden. Alternativ oder zusätzlich kann die Korrelation von einer externen Recheneinheit, etwa einem Cloud-System, dem die objektseitigen und bildseitigen Identifikationsindizes zugeführt werden können, basierend auf diesen die Korrelation ermitteln.
Die ermittelte Korrelation kann dazu dienen, Raumparameter wie Positionen und/oder Orientierungen des Sensors beziehungsweise der Sensoren im Weltkoordinatensystem (so genannte extrinsische Parameter) zu bestimmen. Beispielsweise kann die ermittelte Korrelation in einem weiteren Informationsverarbeitungsschritt mittels der von der Bildprozessiereinheit oder einer zusätzlichen Recheneinheit durchzuführenden nicht-linearen Optimierung weiter optimiert werden. Alternativ oder zusätzlich können so genannte intrinsische Parameter von der Bildprozessiereinheit oder der zusätzlichen Recheneinheit verwendet werden, um die extrinsischen Parameter des Sensors zu bestimmen.
Durch die Berücksichtigung der Identifikationsindizes der Referenzteile ist die Kalibrierung des Sensors verbessert. Insbesondere ist eine Kalibrierung selbst dann mit hinreichender Genauigkeit und Zuverlässigkeit durchführbar, wenn das Referenzobjekt teilweise verdeckt ist bzw. nur ein kleiner Teil der Referenzteile des Referenzobjektes vom Sensor erfassbar sind. In diesem Fall können die verdeckten Referenzteile nicht bei der Kalibrierung berücksichtigt werden. Dieses Informationsdefizit kann durch die in den Identifikationsindizes enthaltenen zusätzlichen Informationen der nicht verdeckten Referenzteile vorteilhafterweise kompensiert werden.
Die erfindungsgemäße Kalibriervorrichtung ist dazu ausgebildet, in einer Offline-Kalibrierung verwendet zu werden. Dabei wird eine Kalibrierbühne (beispielsweise ein Fahrzeug), die mit einem zu kalibrierenden Sensorsystem versehen ist, in einem Ort angeordnet, in dem sich zumindest ein Referenzobjekt im Blickfeld des Sensorsystems befindet. Die vom Sensorsystem erzeugten Bilddaten können der erfindungsgemäßen Vorrichtung zwecks Kalibrierung zugeführt werden. Die Kalibriervorrichtung kann an der Kalibrierbühne angebracht sein. Alternativ kann die Kalibriervorrichtung extern angeordnet sein.
Alternativ oder zusätzlich kann die erfindungsgemäße Kalibriervorrichtung in einer Online-Kalibrierung verwendet werden. Dabei handelt es sich bei der der Kalibrierbühne um das Fahrzeug, an dem das zu kalibrierende Sensorsystem angebracht ist. Das Fahrzeug kann entlang einer Strecke fahren, in deren Umgebung zumindest ein Referenzobjekt im Blickfeld des Sensorsystems angeordnet ist.
Vorteilhafte Ausgestaltungen und Weiterbildungen sind in den Unteransprüchen angegeben.
In einer bevorzugten Ausgestaltung umfasst der objektseitige Identifikationsindex einen im Weltkoordinatensystem gemessenen objektseitigen Abstand der jeweiligen objektseitigen Referenzteile zu einem vordefinierten objektseitigen Bezugspunkt, wobei der bildseitige Identifikationsindex einen im Bildkoordinatensystem gemessenen bildseitigen Abstand der jeweiligen bildseitigen Referenzteile zu einem von der Bildprozessiereinheit bestimmten bildseitigen Bezugspunkt umfasst.
Der vordefinierte objektseitige Bezugspunkt ist ein Bezugspunkt im Weltkoordinatensystem, von dem ausgehend der objektseitige Abstand für die jeweiligen objektseitigen Referenzteile gemessen ist. Der objektseitige Bezugspunkt ist vorzugsweise am Referenzobjekt markiert, sodass im Bild des Referenzobjektes der bildseitige Bezugspunkt von der Bildprozessiereinheit vereinfacht bestimmbar ist. Wenn das Referenzobjekt eine Kreisform, eine Ellipsenform oder eine quadratische Form annimmt (beispielsweise mit zick-zack-förmigen Randbereichen), ist der objektseitige Bezugspunkt vorzugsweise der Mittelpunkt der Kreis-, Ellipsenform beziehungsweise der quadratischen Form.
Wenn ein objektseitiges Referenzteil ein Referenzpunkt ist, ist der objektseitige Abstand vorzugsweise der Abstand vom Referenzpunkt zum objektseitigen Bezugspunkt. Wenn ein objektseitiges Referenzteil ein Referenzbereich ist, ist der objektseitige Abstand vorzugsweise der Abstand von einem Mittelpunkt, etwa dem geografischen Mittelpunkt, oder einem Schwerpunkt des Referenzbereichs zum objektseitigen Bezugspunkt.
Der bildseitige Bezugspunkt ist ein Bezugspunkt im Bildkoordinatensystem, von dem aus der bildseitige Abstand für die jeweiligen bildseitigen Referenzteile gemessen ist. Der bildseitige Bezugspunkt kann beispielsweise durch Vergleichen des Bildes des Referenzobjektes mit einer von der Bildprozessiereinheit oder einer mit dieser zusammenwirkenden Recheneinheit erzeugten Kreisform, einer Ellipsenform oder eines Quadrates im Bildkoordinatensystem erfolgen. Dies ist vorteilhaft, wenn das Referenzobjekt eine Kreis-, Ellipsenform oder eine quadratische Form aufweist, deren Außenrand beispielsweise zick-zack-förmig ist. Dabei kann durch Variieren der Größe und/oder Position der Kreis-, Ellipsen- beziehungsweise quadratischen Form der bildseitige Bezugspunkt besonders einfach identifiziert werden. Beispielsweise kann der bildseitige Bezugspunkt als der Mittelpunkt der Kreis-, Ellipsen- beziehungsweise quadratischen Form identifiziert werden, bei dem die Kreis-, Ellipsen- beziehungsweise quadratische Form der Form des Bildes des Referenzobjektes am meisten entspricht.
Vorteilhafterweise liefern die objektseitigen und bildseitigen Abstände geometrische Informationen über das Referenzobjekt, die zur Kalibrierung des Sensors genauigkeitserhöhend genutzt werden.
In einer weiteren bevorzugten Ausgestaltung ist die Bildprozessiereinheit dazu ausgebildet, eine homographische Transformation an den erfassten bildseitigen Referenzteilen durchzuführen.
Die homographische Transformation der bildseitigen Referenzteile dient dazu, ein neues Bild des Referenzobjektes zu erhalten, und zwar derart, als wäre das Bild unter einer anderen Perspektive aufgenommen worden. Beispielsweise werden die bildseitigen Referenzteile auf eine von der Bildprozessiereinheit zu bestimmende Ebene projiziert. Auf diese Weise können ungewollte visuelle Effekte wie Verzerrungen und/oder Verdrehungen des Referenzobjektes im Bild zumindest reduziert werden. Vorzugsweise kann die homographische Transformation durchgeführt werden, bevor die bildseitigen Identifikationsindizes und/oder die Bildkoordinaten der bildseitigen Referenzteile detektiert werden. Dies ist besonders vorteilhaft, da beispielsweise das Festlegen des bildseitigen Bezugspunktes vereinfacht ist, indem die Form des Referenzobjektes im neuen Bild aufgrund des Wegfallens der Verzerrungen beziehungsweise Verdrehungen erhalten bleibt.
In einer weiteren bevorzugten Ausgestaltung trägt das vordefinierte Referenzobjekt mehrere, vorzugsweise zumindest vier Farben.
Vorteilhafterweise können die Farbinformationen des Referenzobjektes zusätzlich zu den Weltkoordinaten zur Kalibrierung des Sensors genauigkeitserhöhend genutzt werden. Die Verwendung von vier Farben ermöglicht eine Kalibrierung mit reduziertem Rechenaufwand bei gleichzeitig erhaltener Zuverlässigkeit.
In einer weiteren bevorzugten Ausgestaltung umfasst der objektseitige Identifikationsindex einen objektseitigen Farbindex der jeweiligen objektseitigen Referenzteile, wobei der bildseitige Identifikationsindex einen in einem Farbindexsystem des Sensors bestimmten bildseitigen Farbindex der jeweiligen bildseitigen Referenzteile umfasst.
Das Referenzobjekt trägt mehrere Farben, sodass jedem objektseitigen Referenzteil eine spezifische Farbe zugeordnet ist. Beispielsweise ist das Referenzobjekt beziehungsweise dessen Oberfläche in mehrere Referenzbereiche unterteilt, wobei jedem Referenzbereich eine Farbe zugeordnet ist. Für den Fall, dass ein Referenzteil ein Referenzbereich ist, ist der objektseitige Farbindex dieses Referenzteils die Farbe des zugehörigen Referenzbereichs. Für den Fall, dass ein Referenzteil ein Referenzpunkt ist, ist der objektseitige Farbindex dieses Referenzteils die Farbe des Referenzbereichs, in dem der Referenzpunkt (beispielsweise ein Eckpunkt) liegt. Der objektseitige Farbindex kann beispielsweise eine Farbbezeichnung sein (beispielsweise „rot“, „grün“ oder „blau“). Alternativ oder zusätzlich kann der objektseitige Farbindex auf einem objektseitigen Farbindexsystem (etwa dem RGB-System) basieren. Die Farben sind dabei so zu verstehen, dass zwei verschiedene Ausgestaltungen einer selben übergeordneten Farbe mit unterschiedlichen Kontrastwerten (beispielsweise Farbausgestaltungen „dunkelblau“ und „hellblau“ zur übergeordneten Farbe „blau“) als zwei unterschiedliche Farben anzusehen sind. Die bildseitigen Farbindizes entstehen vorzugsweise bei der Erfassung der objektseitigen Farbindizes durch den Sensor. Die bildseitigen Farbindizes basieren somit vorzugsweise auf einem Farbindexsystem des Sensors, etwa einem RGB-System. Die Kalibrierung des Sensors ist somit dank der Farbinformationen präziser.
In einer weiteren bevorzugten Ausgestaltung ist die Bildprozessiereinheit dazu ausgebildet, eine bildseitige Abfolge der bildseitigen Identifikationsindizes entlang eines Verlaufs der bildseitigen Referenzteile zu bestimmen.
Die Bildprozessiereinheit ist beispielsweise dazu ausgebildet, zunächst den Verlauf der bildseitigen Referenzteile festzulegen und danach die bildseitige Abfolge der bildseitigen Identifikationsindizes zu bestimmen. Hierbei ergeben beispielsweise die Bildkoordinatenindizes der bildseitigen Referenzteile den Verlauf im Bildkoordinatensystem. Alternativ oder zusätzlich kann der Verlauf in Form einer Nummerierung der bildseitigen Referenzteile vorliegen.
In einer weiteren bevorzugten Ausgestaltung ist die Bildprozessiereinheit dazu ausgebildet, eine objektseitige Abfolge der objektseitigen Identifikationsindizes entlang eines Verlaufs der objektseitigen Referenzteile zu erhalten.
Hierbei ergeben beispielsweise die Weltkoordinatenindizes der objektseitigen Referenzteile den Verlauf im Weltkoordinatensystem. Alternativ oder zusätzlich kann der Verlauf in Form einer Nummerierung der objektseitigen Referenzteile vorliegen.
In einer weiteren bevorzugten Ausgestaltung ist die Bildprozessiereinheit dazu ausgebildet, die bildseitige Abfolge mit der objektseitigen Abfolge zu vergleichen, um einen Korrelationswert zwischen der bildseitigen und objektseitigen Abfolge zu ermitteln.
Der Korrelationswert gibt an, inwieweit die objektseitigen Identifikationsindizes der objektseitigen Abfolge den bildseitigen Identifikationsindizes der bildseitigen Abfolge entsprechen. Der Korrelationswert beruht beispielsweise auf der Anzahl der objektseitigen Identifikationsindizes in der objektseitigen Abfolge, deren Reihenfolge einer Reihenfolge der bildseitigen Identifikationsindizes der bildseitigen Abfolge entspricht.
Für den Fall, dass der objektseitige Identifikationsindex ein objektseitiger Abstand ist, gibt der Korrelationswert an, inwieweit die bildseitige Abfolge der bildseitigen Abstände betragsmäßig (also dimensionslos) durch Multiplizieren der objektseitigen Abfolge der objektseitigen Abstände mit einem gemeinsamen Faktor erhalten werden können. Die Bildprozessiereinheit ist vorzugsweise dazu ausgebildet, die objektseitigen und bildseitigen Abstände jeweils in Einheit eines objektseitigen beziehungsweise bildseitigen Abstandes darzustellen. In diesem Fall ist ein Vergleich zwischen den objektseitigen Abständen und den bildseitigen Abständen dimensionslos und vereinfacht.
In einer weiteren bevorzugten Ausgestaltung ist die Bildprozessiereinheit dazu ausgebildet, den Korrelationswert für mehrere objektseitige Abfolgen jeweils entlang eines zugehörigen Verlaufs der objektseitigen Referenzteile zu ermitteln, um ein Maximum und/oder ein Extremum des Korrelationswertes zu identifizieren.
Unter Umständen kann die Anzahl der bildseitigen Referenzteile geringer als die Anzahl der objektseitigen Referenzteile sein. Dies ist beispielsweise der Fall, wenn das Referenzobjekt bei der Bildaufnahme durch den Sensor aufgrund der Positionierung des Sensors oder des Referenzobjektes durch ein Hindernis teilweise verdeckt ist. In diesem Fall kann es mehr objektseitige Abfolgen mit der gleichen Anzahl an Identifikationsindizes wie in der bildseitigen Abfolge geben, mit denen die bildseitige Abfolge verglichen werden können. Der Korrelationswert kann je nach objektseitiger Abfolge variieren. Das Maximum beziehungsweise Extremum deutet auf einen hohen Grad der Entsprechung zwischen der bildseitigen Abfolge und der objektseitigen Abfolge hin. Dies reduziert das Risiko einer fehlerhaften Wahl der objektseitigen Abfolge, die der zu ermittelnden Korrelation zwischen dem Weltkoordinatensystem und dem Bildkoordinatensystem zugrunde gelegt wird. Die Kalibrierung ist somit zuverlässiger.
In einer weiteren bevorzugten Ausgestaltung ist die Bildprozessiereinheit dazu ausgebildet, die Korrelation zwischen den Bildkoordinatenindizes und den Weltkoordinatenindizes basierend auf einem odometrischen Korrekturfaktor zu ermitteln.
Diese Maßnahme liefert eine Bezugsgröße, mit der das Ergebnis der Kalibrierung verglichen werden kann, um etwaige Fehler bei der Kalibrierung des Sensors zu reduzieren. Vorzugsweise werden odometrische Daten parallel zu den Bilddaten oder als Teil der Bilddaten über die Eingabeschnittstelle der Bildprozessiereinheit zugeführt. In diesem Fall kann die Erfassung des Referenzobjektes aus den Bilddaten die odometrischen Daten mit berücksichtigen, sodass die Kalibrierung von einer frühen Phase an fehlersicher ist.
In einer weiteren bevorzugten Ausgestaltung enthalten die Bilddaten mehrere Bilder, die vom Sensor und von zumindest einem weiteren Sensor zu mehreren Zeitpunkten jeweils synchron aufgenommen sind.
Zu jedem der mehreren Zeitpunkte nehmen die Sensoren jeweils ein Bild synchron auf. Hierdurch entstehen eine Bildsequenz, die mehrere Gruppen von Bildern enthalten, wobei die Bilder jeder dieser Gruppen zu einem bestimmten Zeitpunkt von den Sensoren synchron aufgenommen sind und die Gruppen zueinander zeitlich versetzt sind. Die Bildprozessiereinheit ist vorzugsweise dazu ausgebildet, die mehreren Bilder derart zu prozessieren, um unter Berücksichtigung der zeitlichen Abfolge der Bilder die Kalibrierung durchzuführen. Gegenüber nur zu einem einzigen Zeitpunkt aufgenommenen Bildern liefert die zeitlich Abfolge der Bilder zusätzliche Informationen, die bei der Erkennung der bildseitigen Referenzteile und deren räumlichen und zeitlichen Informationen genutzt werden kann.
In einer weiteren bevorzugten Ausgestaltung umfasst die Bildprozessiereinheit ein künstliches neuronales Netzwerkmodul.
Das künstliche neuronale Netzwerkmodul (KNN-Modul) basiert auf einem künstlichen neuronalen Netzwerk (KNN), welches einen oder mehrere Algorithmen umfasst. Die Algorithmen sind derart mit Daten trainiert, dass es dazu geeignet ist, in der Bildprozessiereinheit verwendet zu werden. Dies ermöglicht ein zuverlässiges Kalibrierverfahren.
In einer weiteren bevorzugten Ausgestaltung ist das künstliche neuronale Netzwerkmodul dazu ausgebildet, das Referenzobjekt gegenüber einem Hintergrund im Bild zu klassifizieren.
Dies erfolgt beispielsweise mittels Bildsegmentierung, vorzugsweise semantischer Segmentierung, was besonders einfach und präzise ist.
In einer weiteren bevorzugten Ausgestaltung ist das künstliche neuronale Netzwerkmodul dazu ausgebildet, die bildseitigen Identifikationsindizes und/oder die Bildkoordinatenindizes zu detektieren und/oder die Korrelation zwischen den Bildkoordinatenindizes und den Weltkoordinatenindizes zu ermitteln.
Dies ermöglicht ein zumindest teils automatisiertes Kalibrierverfahren, was bei zumindest gleichbleibender Genauigkeit das Kalibrieren des Sensors vereinfacht.
Die erfindungsgemäße Trainiervorrichtung ist dazu ausgebildet, ein KNN zu trainieren, sodass dieses in der Lage ist, basierend auf Bilddaten, die zumindest ein sensor-generiertes Bild eines vordefinierten Referenzobjektes enthalten mehrere bildseitige Referenzteile zu erfassen, zu diesen jeweils einen bildseitigen Identifikationsindex und einen Bildkoordinatenindex zu detektieren, und/oder basierend auf den objektseitigen und bildseitigen Identifikationsindizes eine Korrelation zwischen den Bildkoordinatenindizes und den Weltkoordinatenindizes zu ermitteln.
Das erfindungsgemäße Computerprogrammprodukt ist ausgeführt, in einen Speicher eines Computers geladen zu werden und umfasst Softwarecodeabschnitte, mit denen die Verfahrensschritte des erfindungsgemäßen Verfahrens zum Kalibrieren eines Sensors oder die Verfahrensschritte des erfindungsgemäßen Verfahrens zum Tainieren eines künstlichen neuronalen Netzwerks ausgeführt werden, wenn das Computerprogrammprodukt auf dem Computer läuft.
Ein Programm gehört zur Software eines Daten verarbeitenden Systems, zum Beispiel einer Auswerteeinrichtung oder einem Computer. Software ist ein Sammelbegriff für Programme und zugehörigen Daten. Das Komplement zu Software ist Hardware. Hardware bezeichnet die mechanische und elektronische Ausrichtung eines Daten verarbeitenden Systems. Ein Computer ist eine Auswerteeinrichtung.
Computerprogrammprodukte umfassen in der Regel eine Folge von Befehlen, durch die die Hardware bei geladenem Programm veranlasst wird, ein bestimmtes Verfahren durchzuführen, das zu einem bestimmten Ergebnis führt. Wenn das betreffende Programm auf einem Computer zum Einsatz kommt, ruft das Computerprogrammprodukt einen technischen Effekt hervor, nämlich die Genauigkeit und Zuverlässigkeit des Kalibrierens des Sensors zu erhöhen
Das erfindungsgemäße Computerprogrammprodukt ist Plattform unabhängig. Das heißt, es kann auf jeder beliebigen Rechenplattform ausgeführt werden. Bevorzugt wird das Computerprogrammprodukt auf einer erfindungsgemäßen Vorrichtung zum Kalibrieren eines Sensors für ein Fahrzeug oder auf einer erfindungsgemäßen Vorrichtung zum Trainieren eines künstlichen neuronalen Netzwerks ausgeführt.
Die Softwarecodeabschnitte sind in einer beliebigen Programmiersprache geschrieben, zum Beispiel in Python.
Die Erfindung wird in den Figuren beispielhaft erläutert. Es zeigen:

1 eine schematische Darstellung einer erfindungsgemäßen Vorrichtung zum Kalibrieren eines Sensors für ein Fahrzeug gemäß einem Ausführungsbeispiel;
2 eine schematische Darstellung eines Sensorsystems umfassend mehrere Sensoren;
3 eine schematische Darstellung eines Referenzobjektes umfassend mehrere Referenzpu n kte;
4 eine schematische Darstellung eines von einem der Sensoren aus 2 aufgenommenen Bildes des Referenzobjektes aus 3;
5 eine schematische Darstellung eines Referenzobjektes umfassend mehrere Referenzpu n kte;
6 eine schematische Darstellung eines von einem der Sensoren aus 2 aufgenommenen Bildes des Referenzobjektes aus 5;
7 eine schematische Darstellung eines Verfahrens zum Kalibrieren des Sensors gemäß einem Ausführungsbeispiel; und
8 eine schematische Darstellung einer Sensoreinrichtung gemäß einem Ausführungsbeispiel.

In den Figuren beziehen sich gleiche Bezugszeichen auf gleiche oder funktionsähnliche Bezugsteile. In den einzelnen Figuren sind die jeweils relevanten Bezugsteile gekennzeichnet.
1 zeigt eine schematische Darstellung einer erfindungsgemäßen Vorrichtung 10 zum Kalibrieren eines Sensors 22, 24, 26, 28 für ein Fahrzeug 21 gemäß einem Ausführungsbeispiel. Der Sensor 22, 24, 26, 28 und das Fahrzeug 21 sind in 2 schematisch gezeigt.
Die Vorrichtung 10 weist eine Eingangsschnittstelle 12 zum Eingeben von Bilddaten 18 auf, die zumindest ein Bild, hier beispielhaft jedoch mehrere Bilder 19-1, 19-2, 19-3, ... 19-n, enthalten. Das Bild 19-1, 19-2, 19-3, ... 19-n ist vom Sensor 22, 24, 26, 28 aufgenommen und umfasst ein vordefiniertes farbiges Referenzobjekt 34, 42 mit mehreren objektseitigen Referenzteilen P1-P11, J1-J9, wie in 3 und 5 beispielhaft schematisch dargestellt ist. Jedem der objektseitigen Referenzteile P1-P11, J1 - J9 sind ein Weltkoordinatenindex und ein objektseitiger Identifikationsindex zugeordnet.
Die Vorrichtung 10 weist ferner eine Bildprozessiereinheit 14 auf, die dazu ausgebildet ist, mehrere, auf die objektseitigen Referenzteile P1-P11, J1-J9 zurückgehende bildseitige Referenzteile Q1-Q5, K1-K7 (siehe 4 und 6) zu erfassen. Außerdem ist die Bildprozessiereinheit 14 dazu ausgebildet, für jedes der bildseitigen Referenzteile Q1-Q5, K1-K7 einen Bildkoordinatenindex und einen bildseitigen Identifikationsindex zu detektieren, um basierend auf den objektseitigen Identifikationsindizes und den bildseitigen Identifikationsindizes eine Korrelation zwischen den Bildkoordinatenindizes der bildseitigen Referenzteile Q1-Q5, K1-K7 und den Weltkoordinatenindizes der zugehörigen objektseitigen Referenzteile P1-P11, J1-J9 zu ermitteln.
Die Vorrichtung 10 weist des Weiteren eine Ausgabeschnittstelle 16 zum Ausgeben der ermittelten Korrelation an eine externe Entität auf. Die externe Entität, die in 1 nicht gezeigt ist, kann eine weitere Einheit zum Durchführen weiterer Informationsverarbeitungsschritte sein. Beispielsweise kann die weitere Einheit dazu ausgebildet sein, eine nicht-lineare Optimierung der ermittelten Korrelation durchzuführen und/oder mittels intrinsischer Parameter aus der ermittelten Korrelation extrinsische Parameter für den zu kalibrierenden Sensor 22, 24, 26, 28 zu erhalten.
2 zeigt eine schematische Darstellung eines Sensorsystems 25 umfassend mehrere Sensoren 22, 24, 26, 28. Die Sensoren 22, 24, 26, 28 können eine Kamera, einen Radarsensor, einen Lidarsensor und/oder einen Ultraschallsensor umfassen.
Wie in 2 schematisch und beispielhaft gezeigt, befindet sich das Referenzobjekt 34 teilweise im Blickfeld des Sensors 22. Die Erfassung des Referenzobjektes 34, 42 ergibt ein Bild 19 des Referenzobjektes 34, 42, das in 4 näher schematisch gezeigt ist.
3 zeigt eine schematische Darstellung eines Referenzobjektes 34. Hier sind die objektseitigen Referenzteile beispielhaft als Referenzpunkte P1-P11 gezeigt. Die Referenzpunkte P1-P11 liegen jeweils in einem Referenzbereich R1-R11, in die die Oberfläche des Referenzobjektes 34 unterteilt ist. In 3 sind die Referenzbereiche R1-R11 beispielhaft gezeigt. Es können mindestens vier Farben verwendet werden, wobei benachbarte Referenzbereiche R1-R11 gleiche oder unterschiedliche Farben tragen können.
Jedem der Referenzpunkte P1-P11 ist aufgrund ihrer Position in einem Weltkoordinatensystem 36 ein zugehöriger Weltkoordinatenindex zugeordnet. Das Weltkoordinatensystem 36 ist in 3 beispielhaft als kartesisches Koordinatensystem gezeigt. Alternativ kann auch ein anderes, etwa ein sphärisches, Koordinatensystem hierzu verwendet werden.
Des Weiteren ist jedem der Referenzpunkte P1-P11 zusätzlich ein objektseitiger Farbindex zugeordnet. Beispielsweise ist die Farbe eines Referenzbereichs R1-R11 dem zugehörigen Referenzpunkt P1-P11 zugeordnet.
4 zeigt eine schematische Darstellung des vom Sensor 22, 24, 26, 28 aus 2 aufgenommenen Bildes 19 des Referenzobjektes 34 aus 3. Das Bild 19 zeigt einen Teil des Referenzobjektes 34, welcher objektseitig im Blickfeld des Sensors 22 liegt. Im Bild 19 sind entsprechend ein Teil der bildseitigen Referenzteile Q1-Q5 als Referenzpunkte und ihre zugehörigen Referenzbereiche T1-T5 zu sehen. Jeder der bildseitigen Referenzpunkte Q1-Q5 entspricht einem der objektseitigen Referenzpunkte P1-P11, wobei jeder der bildseitigen Referenzbereiche T1-T5 einem der objektseitigen Referenzbereiche R1-R11 entspricht.
Für jeden der bildseitigen Referenzpunkte Q1-Q5 wird ein Bildkoordinatenindex in einem Bildkoordinatensystem 38 bei der Erfassung des Referenzobjektes 34 durch den Sensor 22 identifiziert. In 4 ist als Bildkoordinatensystem ein Koordinatensystem mit drei Bildachsen für die Bildkoordinaten u, v und w gezeigt. Dies ist jedoch nicht einschränkend für die vorliegende Erfindung. Es kann ein beliebiges, beispielsweise ein zweidimensionales, Bildkoordinatensystem verwendet werden.
Für jeden der bildseitigen Referenzpunkte Q1-Q5 wird außerdem ein auf die objektseitigen Farbindizes der objektseitigen Referenzpunkte P1-P11 zurückgehender bildseitiger Farbindex bei der Erfassung des Referenzobjektes 34 durch den Sensor 22 identifiziert. Dies geschieht auf Basis eines sensoreigenen Farbindexsystems, etwa dem RGB-System.
Die Bildprozessiereinheit 14 ist dazu ausgebildet, die Bildkoordinatenindizes und die bildseitigen Farbindizes der bildseitigen Referenzpunkte Q1-Q5 aus den Bilddaten 18 zu entnehmen (detektieren).
5 zeigt eine schematische Darstellung eines weiteren Referenzobjektes 42. Hier sind die objektseitigen Referenzteile beispielhaft als Referenzpunkte J1-J9 gezeigt. Die Referenzpunkte J1-J9 liegen jeweils in einem Referenzbereich M1-M9, in die die Oberfläche des Referenzobjektes 42 unterteilt ist. In 3 sind die Referenzbereiche M1-M9 beispielhaft gezeigt.
Jedem der Referenzpunkte J1-J9 ist aufgrund ihrer Position im Weltkoordinatensystem 36 ein zugehöriger Weltkoordinatenindex zugeordnet. Das Weltkoordinatensystem 36 ist in 3 beispielhaft als kartesisches Koordinatensystem gezeigt. Alternativ kann auch ein anderes, etwa ein sphärisches, Koordinatensystem hierzu verwendet werden.
Des Weiteren ist jedem der Referenzpunkte J1-J9 zusätzlich ein objektseitiger Abstand d1, d5, d7 zugeordnet. In 5 ist aus übersichtlichkeitsgründen nicht alle objektseitigen Abstände mit einem Bezugszeichen gekennzeichnet. Der jeweilige objektseitige Abstand d1, d5, d7 wird im Weltkoordinatensystem 36 gemessen, wobei es sich hierbei um den Abstand zwischen einem objektseitigen Mittelpunkt A und dem jeweiligen objektseitigen Referenzpunkt J1-J9 handelt. Der objektseitige Mittelpunkt A ist hier beispielsweise der Mittelpunkt eines Kreises 44, von dem aus sich die Referenzbereiche M1-M9 radial nach außen bis zum jeweiligen Referenzpunkt J1-J9 mit abnehmender Breite erstrecken.
6 zeigt eine schematische Darstellung des vom Sensor 22, 24, 26, 28 aus 2 aufgenommenen Bildes 27 des Referenzobjektes 42 aus 5. Das Bild 27 zeigt einen Teil des Referenzobjektes 42, welcher objektseitig im Blickfeld des Sensors 22 liegt. Im Bild 27 sind entsprechend ein Teil der bildseitigen Referenzteile K1-K7 als Referenzpunkte und ihre zugehörigen Referenzbereiche N1-N7 zu sehen. Jeder der bildseitigen Referenzpunkte K1-K7 entspricht einem der objektseitigen Referenzpunkte J1-J9, wobei jeder der bildseitigen Referenzbereiche N1-N7 einem der objektseitigen Referenzbereiche M1-M9 entspricht.
Für jeden der bildseitigen Referenzpunkte K1-K7 wird ein Bildkoordinatenindex in einem Bildkoordinatensystem 38 bei der Erfassung des Referenzobjektes 42 durch den Sensor 22 identifiziert. In 4 ist als Bildkoordinatensystem ein Koordinatensystem mit drei Bildachsen für die Bildkoordinaten u, v und w gezeigt. Dies ist jedoch nicht einschränkend für die vorliegende Erfindung. Es kann ein beliebiges, beispielsweise ein zweidimensionales, Bildkoordinatensystem verwendet werden.
Für jeden der bildseitigen Referenzpunkte K1-K7 wird außerdem ein auf die objektseitigen Abstände der objektseitigen Referenzpunkte J1-J9 zurückgehender bildseitiger Abstand I1, I5, I7 durch die Bildprozessiereinheit 14 detektiert. Der jeweilige bildseitige Abstand I1, I5, I7 wird im Bildkoordinatensystem 38 gemessen, wobei es sich hierbei um den Abstand zwischen einem bildseitigen Mittelpunkt B und dem jeweiligen Referenzpunkt K1-K7 handelt. Der bildseitige Mittelpunkt B ist beispielhaft als der Mittelpunkt des Kreises 46 des Bildes des Referenzobjektes 42 gezeigt. Der Kreis 46 geht hier auf den Kreis 44 des Referenzobjektes 42 in 5 zurück.
Die Bildprozessiereinheit 14 ist dazu ausgebildet, die Bildkoordinatenindizes und die bildseitigen Abstände der bildseitigen Referenzpunkte K1-K7 aus den Bilddaten 18 zu entnehmen (detektieren).
7 zeigt schematisch ein erfindungsgemäßes Verfahren 100 zum Kalibrieren des Sensors 22, 24, 26, 28. In einem ersten Schritt S1 werden Bilddaten18 eingegeben, die zumindest ein von einem Sensor 22, 24, 26, 28 aufgenommenes Bild 19-1,2,3, ...,n eines vordefinierten Referenzobjektes 34, 42 enthalten. Das Referenzobjekt 34 umfasst mehrere objektseitige Referenzteile P1-P11, J1-J9, denen jeweils ein Weltkoordinatenindex zugeordnet ist. In einem zweiten Schritt S2 werden aus den Bilddaten mehrere bildseitige Referenzteile Q1-Q5, K1-K7 erfasst, die auf die mehreren objektseitigen Referenzteile P1-P11, J1-J9 zurückgehen. Außerdem wird für jedes der erfassten bildseitigen Referenzteile Q1-Q5, K1-K7 ein Bildkoordinatenindex und ein bildseitiger Identifikationsindex aus den Bilddaten detektiert. In einem dritten Schritt S3 werden die bildseitigen Identifikationsindizes ausgegeben.
Basierend auf den objektseitigen und bildseitigen Identifikationsindizes wird dann eine Korrelation zwischen den Bildkoordinatenindizes der bildseitigen Referenzteile Q1-Q5, K1-K7 und den Weltkoordinatenindizes der objektseitigen Referenzteile P1-P11, J1-J9 ermittelt.
Um die Korrelation zwischen den Bildkoordinaten der bildseitigen Referenzpunkte Q1-Q5, K1-K7 und den Weltkoordinaten der zugehörigen objektseitigen Referenzpunkte P1-P11, J1-J9 zu ermitteln, ist die Bildprozessiereinheit 14 vorzugsweise dazu ausgebildet, eine bildseitige Abfolge der bildseitigen Identifikationsindizes zu bestimmen. Diese bildseitige Abfolge ist die Abfolge der bildseitigen Identifikationsindizes der bildseitigen Referenzpunkte.
Für das in 4 gezeigte Bild 19 entspricht diese bildseitige Abfolge beispielhaft dem (bildseitigen) Verlauf der bildseitigen Referenzpunkte Q1-Q2-Q3-Q4-Q5 (in dieser Reihenfolge). Die zugehörigen bildseitigen Identifikationsindizes hier sind bildseitige Farbindizes FB1, FB2, FB3, FB4, FB5. Daher handelt es sich bei der bildseitigen Abfolge für das in 4 gezeigte Beispiel um die Farbindizesabfolge FB1-FB2-FB3-FB4-FB5.
Für das in 6 gezeigte Bild entspricht die bildseitige Abfolge beispielshaft dem bildseitigen Verlauf K1-K2-K3-K4-K5-K6-K7 (in dieser Reihenfolge). Die zugehörigen bildseitigen Identifikationsindizes hier sind bildseitige Abstände I1, I2, I3, I4, I5, I6, I7. Daher handelt es sich bei der bildseitigen Abfolge für den in 6 gezeigte Beispiel um die Abstandsabfolge I1-I2-I3-I4-I5-I6-I7.
Die Bildprozessiereinheit 14 ist ferner vorzugsweise dazu ausgebildet, eine objektseitige Abfolge der objektseitigen Identifikationsindizes zu bestimmen.
Die objektseitige Abfolge für das in 3 gezeigte Referenzobjekt 34 entspricht beispielhaft jedem beliebigen (objektseitigen) Verlauf der objektseitigen Referenzpunkte P1-P11, wobei im objektseitigen Verlauf die Anzahl der objektseitigen Referenzpunkte P1-P11 der Anzahl der bildseitigen Referenzpunkte Q1 bis Q5 vorzugsweise entspricht und somit fünf beträgt. Beispielsweise kann die objektseitige Abfolge dem objektseitigen Verlauf P1-P2-P3-P4-P5 (in dieser Reihenfolge) entsprechen. Die zugehörigen objektseitigen Identifikationsindizes sind objektseitige Farbindizes FO1, FO2, FO3, FO4, FO5. Daher handelt es sich bei der beispielhaften objektseitigen Abfolge für das in 3 gezeigte Beispiel um die Farbindizesabfolge FO1-FO2-FO3-FO4-FO5.
Die objektseitige Abfolge für das in 5 gezeigte Referenzobjekt 42 entspricht beispielhaft jedem beliebigen (objektseitigen) Verlauf der objektseitigen Referenzpunkte J1-J9, wobei im objektseitigen Verlauf die Anzahl der objektseitigen Referenzpunkte J1-J9 der Anzahl der bildseitigen Referenzpunkte K1-K7 vorzugsweise entspricht und somit sieben beträgt. Beispielsweise kann die objektseitige Abfolge dem objektseitigen Verlauf J1-J2-J3-J4-J5 (in dieser Reihenfolge) entsprechen. Die zugehörigen objektseitigen Identifikationsindizes sind objektseitige Abstände d1, d2, d3, d4, d5, d6, d7. Daher handelt es sich bei der beispielhaften objektseitigen Abfolge für das in 5 gezeigte Beispiel um die Abstandsabfolge d1-d2-d3-d4-d5-d6-d7.
Da die Anzahl der objektseitigen Referenzpunkte größer als die Anzahl der bildseitigen Referenzpunkte ist, kann es mehrere mögliche objektseitige Abfolgen geben. Beispielsweise kann die objektseitige Abfolge für das in 3 gezeigte Beispiel FO6-FO7-FO8-FO9-FO10 lauten. Beispielsweise kann die objektseitige Abfolge für das in 5 gezeigte Beispiel d3-d4-d5-d6-d7-d8-d9 lauten.
Die Bildprozessiereinheit 14 ist vorzugsweise dazu ausgebildet, die bildseitige Abfolge mit jeder der mehreren möglichen objektseitigen Abfolgen zu vergleichen und jeweils einen Korrelationswert zu bestimmen. Der Korrelationswert bemisst sich vorzugsweise daran, inwieweit eine objektseitige Abfolge der bildseitigen Abfolge entspricht.
Für das in 3-4 gezeigte Beispiel wird die bildseitige Farbindizesabfolge FB1-FB2-FB3-FB4-FB5 mit der objektseitigen Farbindizesabfolge FO1-FO2-FO3-FO4-FO5 verglichen. Vorzugsweise werden die bildseitigen und objektseitigen Farbindizes in ein gemeinsames Farbindexsystem übersetzt, sodass ein direkter Vergleich möglich ist. Wenn die beiden Farbindizesabfolgen miteinander bei allen fünf Farbindizes in deren Reihenfolgen übereinstimmen, ist der Korrelationswert am höchsten. Wenn die beiden Farbindizesabfolgen bei vier von den fünf Farbindizes in deren Reihenfolge übereinstimmen, ist der Korrelationswert niedriger. Je höher die Anzahl der Farbindizes beträgt, bei denen die beiden Farbindizesabfolgen miteinander übereinstimmen, desto höher beträgt der Korrelationswert.
Für das in 5-6 gezeigte Beispiel wird die bildseitige Abstandsabfolge I1-I2-I3-I4-I5-I6-I7 mit der objektseitigen Abstandsabfolge d3-d4-d5-d6-d7-d8-d9 vergleichen. Vorzugsweise werden die beiden Abstandsabfolgen betragsmäßig beziehungsweise dimensionslos miteinander verglichen, sodass ein direkter Vergleich zwischen den Abstandsabfolgen möglich ist. Wenn die beiden Abstandsabfolgen miteinander bei allen sieben Abständen in deren Reihenfolgen bis auf einen für alle sieben Werte gemeinsamen Faktor übereinstimmen, ist der Korrelationswert am höchsten. Wenn die beiden Abstandsabfolgen bei sechs von den sieben Abständen in deren Reihenfolge bis auf den gemeinsamen Faktor übereinstimmen, ist der Korrelationswert niedriger. Je höher die Anzahl der Abstände beträgt, bei denen die beiden Abstandsabfolgen miteinander bis auf einen gemeinsamen Faktor übereinstimmen, desto höher beträgt der Korrelationswert.
Die Bildprozessiereinheit 14 ist vorzugsweise dazu ausgebildet, nach dem Ermitteln des Korrelationswertes den objektseitigen Verlauf um ein oder mehrere objektseitige Referenzteile zu ändern und anschließend einen Korrelationswert entsprechend dem geänderten objektseitigen Verlauf zu ermitteln. Dieser Prozess kann solange iterativ fortlaufen bis ein Maximum oder Extremum des Korrelationswertes festgestellt ist.
Die objektseitige Abfolge mit dem höchsten Korrelationswert wird vorzugsweise der Ermittlung der Korrelation zugrunde gelegt. Hierbei werden die Bildkoordinatenindizes der bildseitigen Referenzteile mit den Weltkoordinatenindizes der objektseitigen Referenzteile dieser bestimmten objektseitigen Abfolge in Relation gesetzt, um ein Übersetzungsverhältnis zwischen den beiden Koordinatensystemen zu erhalten.
8 zeigt schematisch eine Sensoreinrichtung 50 umfassend das in 2 gezeigte Sensorsystem 25 mit den mehreren Sensoren 22, 24, 26, 28 und die in 1 gezeigte Kalibriervorrichtung 10 zum Kalibrieren der Sensoren 22, 24, 26, 28. Die Sensoreinrichtung 50 ist an einer Kalibrierbühne 23, die vorzugsweise ein Fahrzeug umfasst, angebracht. Somit ist eine Offline- und/oder Online-Kalibrierung mittels der erfindungsgemäßen Kalibriervorrichtung 10 möglich.
Bezugszeichenliste

10: Kalibriervorrichtung
12: Eingabeschnittstelle
14: Bildprozessiereinheit
16: Ausgabeschnittstelle
18: Bilddaten
19, 27: Bild
19-1,-2,... -n: Bilder
21: Fahrzeug
22, 24, 26, 28: Sensoren
23: Kalibrierbühne
25: Sensorsystem
32: Blickfeld
34, 42: Referenzobjekt
36: Weltkoordinatensystem
38: Bildkoordinatensystem
44: Kreisform des Referenzobjektes
46: Kreisform des Bildes des Referenzobjektes
50: Sensoreinrichtung
100: Kalibrierverfahren
P1 bis P11, J1 bis J9: objektseitige Referenzpunkte
R1 bis R11, M1 bis M9: objektseitige Referenzbereiche
Q1 bis Q5, K1 bis K7: bildseitige Referenzpunkte
T1 bis T5, N1 bis N7: bildseitige Referenzbereiche
S1 bis S3: Verfahrensschritte

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

WO 2018/000037 A1 [0004]

Claims

Vorrichtung (10) zum Kalibrieren eines Sensors (22, 24, 26, 28) für ein Fahrzeug (21, 23), umfassend: - eine Eingabeschnittstelle (12) zum Eingeben von Bilddaten (18), die zumindest ein von einem Sensor (22, 24, 26, 28) aufgenommenes Bild eines vordefinierten Referenzobjektes (34, 42) enthalten, wobei das Referenzobjekt (34, 42) mehrere objektseitige Referenzteile (P1-P11, J1-J9) umfasst, denen jeweils ein Weltkoordinatenindex und ein objektseitiger Identifikationsindex zugeordnet sind; - eine Bildprozessiereinheit (14) zum Erfassen mehrerer, den objektseitigen Referenzteilen (P1-P11, J1-J9) entsprechender bildseitiger Referenzteile (Q1-Q5, K1-K7), wobei die Bildprozessiereinheit (14) dazu ausgebildet ist, für jedes der bildseitigen Referenzteile (Q1-Q5, K1-K7) einen Bildkoordinatenindex und einen mit dem jeweiligen objektseitigen Identifikationsindex verknüpften bildseitigen Identifikationsindex zu detektieren, um basierend auf den objektseitigen und bildseitigen Identifikationsindizes eine Korrelation zwischen den Bildkoordinatenindizes und den Weltkoordinatenindizes zu ermitteln; und - eine Ausgabeschnittstelle (16) zum Ausgeben der detektierten bildseitigen Identifikationsindizes.
Vorrichtung (10) nach Anspruch 1, wobei der objektseitige Identifikationsindex einen im Weltkoordinatensystem gemessenen objektseitigen Abstand der jeweiligen objektseitigen Referenzteile (J1-J9) zu einem vordefinierten objektseitigen Bezugspunkt (A) umfasst, wobei der bildseitige Identifikationsindex einen im Bildkoordinatensystem gemessenen bildseitigen Abstand der jeweiligen bildseitigen Referenzteile (K1-K7) zu einem von der Bildprozessiereinheit (14) bestimmten bildseitigen Bezugspunkt (B) umfasst.
Vorrichtung (10) nach Anspruch 1 oder 2, wobei die Bildprozessiereinheit (14) dazu ausgebildet ist, eine homographische Transformation an den erfassten bildseitigen Referenzteilen (K1-K7) durchzuführen.
Vorrichtung (10) nach einem der Ansprüche 1 bis 3, wobei das vordefinierte Referenzobjekt (34) farbig ist und mehrere, vorzugsweise zumindest vier, Farben trägt.
Vorrichtung (10) nach Anspruch 4, wobei der objektseitige Identifikationsindex einen objektseitigen Farbindex der jeweiligen objektseitigen Referenzteile (P1-P11) umfasst, wobei der bildseitige Identifikationsindex einen in einem Farbindexsystem des Sensors (22, 24, 26, 28) bestimmten bildseitigen Farbindex der jeweiligen bildseitigen Referenzteile (Q1-Q5) umfasst.
Vorrichtung (10) nach einem der Ansprüche 1 bis 5, wobei die Bildprozessiereinheit (14) dazu ausgebildet ist, eine bildseitige Abfolge der bildseitigen Identifikationsindizes entlang eines Verlaufs der bildseitigen Referenzteile (Q1-Q5, K1-K7) zu bestimmen.
Vorrichtung (10) nach Anspruch 6, wobei die Bildprozessiereinheit (14) dazu ausgebildet ist, eine objektseitige Abfolge der objektseitigen Identifikationsindizes entlang eines Verlaufs der objektseitigen Referenzteile (P1-P11, J1-J9) zu bestimmen.
Vorrichtung (10) nach Anspruch 7, wobei die Bildprozessiereinheit (14) dazu ausgebildet ist, die bildseitige Abfolge mit der objektseitigen Abfolge zu vergleichen, um einen Korrelationswert zwischen der bildseitigen und objektseitigen Abfolge zu ermitteln.
Vorrichtung (10) nach Anspruch 8, wobei der Korrelationswert auf einer Anzahl der objektseitigen Identifikationsindizes der objektseitigen Abfolge beruht, deren Reihenfolge einer Reihenfolge der bildseitigen Identifikationsindizes der bildseitigen Abfolge entspricht.
Vorrichtung (10) nach Anspruch 8 oder 9, wobei die Bildprozessiereinheit (14) dazu ausgebildet ist, den Korrelationswert für mehrere objektseitige Abfolgen jeweils entlang eines zugehörigen Verlaufs der objektseitigen Referenzteile (P1-P11, J1-J9) zu ermitteln, um ein Maximum und/oder ein Extremum des Korrelationswertes zu identifizieren.
Vorrichtung (10) nach einem der Ansprüche 1 bis 10, wobei die Bildprozessiereinheit (14) dazu ausgebildet ist, die Korrelation zwischen den Bildkoordinatenindizes und den Weltkoordinatenindizes basierend auf einem odometrischen Korrekturfaktor zu ermitteln.
Vorrichtung (10) nach einem der Ansprüche 1 bis 11, wobei die Bilddaten mehrere Bilder enthalten, die vom Sensor (22, 24, 26, 28) und von zumindest einem weiteren Sensor zu mehreren Zeitpunkten jeweils synchron aufgenommen sind.
Sensoreinrichtung (50) zum Erfassen eines Umfelds eines Fahrzeugs (21, 23), umfassend: - einen Sensor (22, 24, 26, 28) zur Aufnahme eines Bildes eines vordefinierten Referenzobjektes (34, 42); und - eine Vorrichtung (10) nach einem der Ansprüche 1 bis 12 zum Kalibrieren des Sensors (22, 24, 26, 28).
Verwendung einer Vorrichtung (10) nach einem der Ansprüche 1 bis 12 und/oder einer Sensoreinrichtung (50) nach Anspruch 13 in einem Fahrzeug (21, 23).
Verfahren zum Kalibrieren eines Sensors (22, 24, 26, 28) für ein Fahrzeug (21, 23), umfassend: - einen ersten Schritt (S1), in dem Bilddaten (18) eingegeben werden, die zumindest ein von einem Sensor (22, 24, 26, 28) aufgenommenes Bild eines vordefinierten Referenzobjektes (34, 42) enthalten, wobei das Referenzobjekt (34, 42) mehrere objektseitige Referenzteile (P1-P11, J1-J9) umfasst, denen jeweils ein Weltkoordinatenindex und ein objektseitiger Identifikationsindex zugeordnet sind; - einen zweiten Schritt (S2), in dem mehrere, den objektseitigen Referenzteilen (P1-P11, J1-J9) entsprechende bildseitige Referenzteile (Q1-Q5, K1-K7) erfasst werden, wobei die Bildprozessiereinheit (14) dazu ausgebildet ist, für jedes der bildseitigen Referenzteile (Q1-Q5, K1-K7) einen Bildkoordinatenindex und einen mit dem jeweiligen objektseitigen Identifikationsindex verknüpften bildseitigen Identifikationsindex zu detektieren, um basierend auf den objektseitigen und bildseitigen Identifikationsindizes eine Korrelation zwischen den Bildkoordinatenindizes und den Weltkoordinatenindizes zu ermitteln; und - einen dritten Schritt (S3), in dem die detektierten bildseitigen Identifikationsindizes ausgegeben werden.
Computer-Programm-Produkt, das in einem Datenträger gespeichert und dazu ausgebildet ist, um das Verfahren nach Anspruch 15 durchzuführen, wenn das Computer-Programm-Produkt durch einen Rechner ausgeführt wird.