DE102019220049A1

DE102019220049A1 - Verfahren und Vorrichtung zur Kalibrierung mindestens eines Sensors

Info

Publication number: DE102019220049A1
Application number: DE102019220049.4A
Authority: DE
Inventors: Sascha Spee; Mauro DISARO
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2019-12-18
Filing date: 2019-12-18
Publication date: 2021-06-24
Also published as: WO2021121808A1

Abstract

Die Erfindung betrifft ein Verfahren zur Kalibrierung mindestens eines Sensors, insbesondere eines Umfeldsensors, eines Fahrzeugs (1), bei dem mindestens ein Kalibrierobjekt (2) verwendet wird. Erfindungsgemäß werden anstelle einer exakten Positionierung des Sensors in Bezug auf das mindestens eine Kalibrierobjekt (2) die Position des Fahrzeugs (1) und die Position des mindestens einen Kalibrierobjekts (2) erfasst und der Kalibrierung zugrunde gelegt, wobei zur Positionserfassung mindestens eine externe Kamera (3) verwendet wird.Die Erfindung betrifft ferner eine Vorrichtung zur Durchführung des Verfahrens.

Description

Die Erfindung betrifft ein Verfahren zur Kalibrierung mindestens eines Sensors, insbesondere eines Umfeldsensors, eines Fahrzeugs gemäß dem Oberbegriff des Anspruchs 1. Darüber hinaus betrifft die Erfindung eine Vorrichtung zur Durchführung des Verfahrens.
Die Erfindung kann insbesondere in autonom oder teilautonom fahrenden Fahrzeugen zur Anwendung gelangen, die üblicherweise mit einer Vielzahl unterschiedlicher Sensoren, insbesondere Umfeldsensoren, wie beispielsweise Radar-, Lidar-, Ultraschall- und/oder Videosensoren, ausgestattet sind.
Stand der Technik
Die Kalibrierung eines Fahrzeugsensors wird üblicherweise manuell vorgenommen, und zwar mit Hilfe mindestens eines Kalibrierobjekts, das auf den jeweiligen Sensortyp abgestimmt ist. Um die Kalibrierung vorzunehmen, muss der Sensor vorab exakt in Bezug auf das mindestens eine Kalibrierobjekt positioniert bzw. ausgerichtet werden. Bei einer Vielzahl von Sensoren besitzt dieser Vorgang eine gewisse Komplexität. Es hat daher bereits verschiedene Ansätze gegeben, die Kalibrierung von Sensoren weitgehend zu automatisieren.
Aus der Offenlegungsschrift DE 10 2018 203 941 A1 ist beispielsweise ein Verfahren zum automatischen Kalibrieren eines Radarsensors eines Fahrzeugs bekannt, bei dem das Fahrzeug mit Hilfe eines Transportmittels entlang einer Strecke vorbei an einem Reflektor für Radarwellen bewegt wird. Bei dem Transportmittel kann es sich insbesondere um ein Transportband handeln, dessen Position zum Reflektor vorgegeben ist.
Durch entsprechendes Positionieren und Fixieren des Fahrzeugs auf dem Transportband, beispielsweise mittels Schienen, ist somit auch die Position des Fahrzeugs in Bezug auf den Reflektor vorgegeben. Ein aufwändiges Ausrichten des Fahrzeugs bzw. Sensors in Bezug auf den Reflektor kann somit entfallen.
Ausgehend von dem vorstehend genannten Stand der Technik liegt der vorliegenden Erfindung die Aufgabe zugrunde, ein Verfahren zur Kalibrierung mindestens eines Sensors eines Fahrzeugs anzugeben, das einen hohen Automatisierungsgrad ermöglicht und zudem möglichst einfach und kostengünstig umsetzbar ist.
Zur Lösung der Aufgabe wird das Verfahren mit den Merkmalen des Anspruchs 1 vorgeschlagen. Vorteilhafte Weiterbildungen der Erfindung sind den Unteransprüchen zu entnehmen. Darüber hinaus wird eine Vorrichtung zur Durchführung des Verfahrens angegeben.
Offenbarung der Erfindung
Bei dem vorgeschlagenen Verfahren zur Kalibrierung mindestens eines Sensors, insbesondere eines Umfeldsensors, eines Fahrzeugs wird mindestens ein Kalibrierobjekt verwendet. Anstelle einer exakten Positionierung des Sensors in Bezug auf das mindestens eine Kalibrierobjekt werden erfindungsgemäß die Position des Fahrzeugs und die Position des mindestens einen Kalibrierobjekts erfasst und der Kalibrierung zugrunde gelegt. Dabei wird zur Erfassung der Position des Fahrzeugs und der Position des mindestens einen Kalibrierobjekts mindestens eine externe Kamera verwendet.
„Externe Kamera“ bedeutet in diesem Fall, das die Kamera - im Unterschied zum Sensor - entfernt vom Fahrzeug angeordnet ist. Mit Hilfe der Kamera kann somit die Position des Fahrzeugs im Raum bzw. die räumliche Position erfasst werden. Gleiches gilt in Bezug auf die Anordnung der Kamera relativ zu dem mindestens einen Kalibrierobjekt, so dass auch dessen räumliche Position erfassbar ist.
Die vorgeschlagene Positionserfassung ersetzt das aufwändige Ausrichten des Fahrzeugs bzw. des Sensors in Bezug auf das mindestens eine Kalibrierobjekts. Die Kalibrierung des Sensors nimmt somit weniger Zeit in Anspruch. Ferner kann ein hoher Grad der Automatisierung erreicht werden, da es auf eine exakte Positionierung des Fahrzeugs nicht mehr ankommt. Die Position des Fahrzeugs muss lediglich gewährleisten, dass das Fahrzeug von der Kamera erfasst wird.
Vorteilhafterweise werden das Fahrzeug und das mindestens eine Kalibrierobjekt auf einer Fläche positioniert, die einen Kalibrierungsbereich definiert, auf den die mindestens eine externe Kamera ausgerichtet ist. Dadurch ist sichergestellt, dass sowohl das Fahrzeug als auch das mindestens eine Kalibrierobjekt von der mindestens einen Kamera erfasst werden. Das mindestens eine Kalibrierobjekt kann nach dem Positionieren auf der Fläche fest installiert werden, so dass es zu einem festen Bestandteil des Kalibrierungsbereichs wird. Ist nur ein Kalibrierobjekt vorgesehen, muss dieses unter Umständen zwischen mehreren Positionen hin und her bewegt werden. Sofern mehrere Kalibrierobjekte verwendet werden, können diese fest installiert werden.
Bevorzugt werden die mehreren Kalibrierobjekte entlang der Ränder der Fläche aufgestellt, die den Kalibrierungsbereich definiert. Das heißt, dass die Mitte frei bleibt und das Fahrzeug mittig positioniert werden kann. Die mindestens eine externe Kamera ist vorzugsweise ebenfalls in einem Randbereich der Fläche angeordnet. Idealerweise ist sie auf einem Mast angeordnet, der das Fahrzeug und das mindestens eine Kalibrierobjekt überragt. Auf diese Weise kann der Erfassungsbereich der Kamera vergrößertwerden.
Das Verfahren nutzt ein eigenes Referenzsystem, um die mit Hilfe der mindestens einen Kamera ermittelten Positionen des Fahrzeugs und des mindestens einen Kalibrierobjekts in eine Beziehung zueinander zu setzen. Als Ursprung dieses Referenzsystems kann das Fahrzeug, das Kalibrierobjekt oder ein beliebiges Objekt im Erfassungsbereich der mindestens einen Kamera dienen. Sofern mehrere Kameras eingesetzt werden, muss sich das als Ursprung dienende Objekt in einem sich überlappenden Erfassungsbereich von mindestens zwei Kameras liegen.
Des Weiteren wird vorgeschlagen, dass das Fahrzeug - zumindest temporär - geradeaus bewegt wird und über die Bewegungsrichtung die Ausrichtung des Fahrzeugs ermittelt wird. Auf der Grundlage dieser Information kann anschließend die Ausrichtung des zu kalibrierenden Sensors bestimmt werden, wenn dessen Position in oder am Fahrzeug bekannt ist. Bei einer Geradeausfahrt des Fahrzeugs entspricht die Bewegungsrichtung der Längsachse und damit der Ausrichtung des Fahrzeugs.
Idealerweise werden mehrere externe Kameras zur Erfassung der Position des Fahrzeugs und zur Erfassung der Position des mindestens einen Kalibrierobjekts verwendet. Diese werden derart positioniert, dass sich ihre Blickfelder überlappen und/oder der gesamte Kalibrierungsbereich erfasst wird. Die Anforderungen an die Positionierung des Fahrzeugs innerhalb des Kalibrierungsbereichs können somit weiter gesenkt werden.
Bevorzugt werden mit Hilfe der mindestens einen externen Kamera bereits vorhandene oder gezielt platzierte Referenzmerkmale am Fahrzeug und/oder am mindestens einen Kalibrierobjekt erfasst. Bei den Referenzmerkmalen kann es sich beispielsweise um fahrzeugspezifische Merkmale handeln, die durch die Formgebung des Fahrzeugs bzw. Fahrzeugtyps vorgegeben sind. Alternativ oder ergänzend können Referenzmerkmale ergänzt werden. Bei den Referenzmerkmalen des mindestens einen Kalibrierobjekts kann es sich insbesondere um vorhandene Muster und/oder Reflektorflächen handeln, die üblicherweise bei der Kalibrierung eines Sensors, insbesondere Umfeldsensors, eines Fahrzeugs eingesetzt werden.
Ferner bevorzugt werden mit Hilfe der mindestens einen externen Kamera erzeugte Bilddaten mit gespeicherten Bilddaten eines 2D- oder 3D-Modells des Fahrzeugs und/oder des Kalibrierobjekts verglichen. Auf diese Weise kann eine exakte Positionsbestimmung vorgenommen werden.
In Weiterbildung der Erfindung wird vorgeschlagen, dass die mit Hilfe der mindestens einen externen Kamera erzeugten Bilddaten an eine Recheneinheit zur Auswertung übermittelt werden. Der Auswertung liegt ein Referenzsystem zugrunde, das vorzugsweise in einem Speicher der Recheneinheit abgelegt ist. Die Auswertung kann ferner den Vergleich der mit Hilfe der mindestens einen Kamera erzeugten Bilddaten mit gespeicherten Bilddaten eines 2D- oder 3D-Modells des Fahrzeugs und/oder des Kalibrierobjekts umfassen. Die gespeicherten Bilddaten können dabei auf einem internen Speicher der Recheneinheit abgelegt sein. Bevorzugt ist die Recheneinheit Bestandteil einer Vorrichtung zur Kalibrierung des mindestens einen Sensors. Die Ergebnisse der mit Hilfe der Recheneinheit durchgeführten Auswertung stehen in diesem Fall der Vorrichtung unmittelbar zur Verfügung, um sie der Kalibrierung zugrunde zu legen.
Die Recheneinheit kann beispielsweise im Fahrzeug angeordnet sein, insbesondere, wenn mit Hilfe der Recheneinheit auch die Kalibrierung des mindestens einen Sensors durchgeführt wird. Alternativ kann aber auch eine externe Recheneinheit verwendet werden. Diese steht dann einer Vielzahl an Fahrzeugen zur Verfügung, die in den Kalibrierungsbereich einfahren. Die fahrzeugspezifischen Daten können in der Recheneinheit abgelegt sein oder einer externen Datenbank entnommen werden, mit welcher die Recheneinheit in datenübertragender Weise verbindbar ist.
Vorteilhafterweise wird mit Hilfe der mindestens einen externen Kamera zugleich eine Überwachungsfunktion realisiert. Die Überwachungsfunktion kann beispielsweise beinhalten, dass die Kamera erkennt, ob sich fremde Objekte und/oder Personen im Kalibrierungsbereich befinden. Somit erfüllt die Kamera zugleich eine Sicherheitsfunktion. Alternativ oder ergänzend wird vorgeschlagen, dass die Kamera erkennt, ob die Lichtverhältnisse ausreichend für die Kalibrierung des Sensors sind. Andernfalls kann das Verfahren abgebrochen werden.
Die darüber hinaus vorgeschlagene Vorrichtung zur Kalibrierung mindestens eines Sensors, insbesondere eines Umfeldsensors, eines Fahrzeugs ist zur Durchführung des zuvor beschriebenen erfindungsgemäßen Verfahrens geeignet. Sie umfasst hierzu mindestens ein Kalibrierobjekt und mindestens eine Kamera. Vorzugsweise ist bzw. sind das mindestens eine Kalibrierobjekt und/oder die mindestens eine Kamera auf einer Fläche angeordnet, die einen Kalibrierungsbereich definiert. Fährt ein Fahrzeug mit mindestens einem Sensor, insbesondere Umfeldsensor, in den Kalibrierungsbereich ein, kann der Sensor mit Hilfe der Vorrichtung nach dem erfindungsgemäßen Verfahren kalibriert werden. Ein aufwändiges Ausrichten des Fahrzeugs oder des Sensors in Bezug auf das mindestens eine Kalibrierobjekt ist nicht mehr erforderlich.
Bevorzugt umfasst die Vorrichtung ferner eine Recheneinheit zur Auswertung von Bilddaten der mindestens einen Kamera. Zum Empfangen der Bilddaten ist die Recheneinheit mit der mindestens einen Kamera in datenübertragender Weise verbunden.
Die Erfindung wird nachfolgend anhand der beigefügten Zeichnungen näher erläutert. Diese zeigen:

1 eine schematische Darstellung einer ersten Anordnung zur Durchführung eines erfindungsgemäßen Verfahrens,
2 eine schematische Darstellung einer zweiten Anordnung zur Durchführung eines erfindungsgemäßen Verfahrens,
3 eine schematische Darstellung einer dritten Anordnung zur Durchführung eines erfindungsgemäßen Verfahrens und
4 eine schematische Darstellung des Ablaufs eines erfindungsgemäßen Verfahrens.

Ausführliche Beschreibung der Zeichnungen
Der 1 sind die erfindungswesentlichen Komponenten einer Vorrichtung zur Kalibrierung eines Sensors, insbesondere eines Umfeldsensors, eines Fahrzeugs 1 zu entnehmen. Hierbei handelt es sich um ein Kalibrierobjekt 2 und eine Kamera 3, die jeweils entfernt vom Fahrzeug 1 angeordnet sind. Mit Hilfe der Kamera 2 werden die Position des Fahrzeugs 1 sowie die Position des Kalibrierobjekts 2 erfasst und der Kalibrierung zugrunde gelegt. Das Fahrzeug 1 bzw. Sensor des Fahrzeugs 1 muss demzufolge nicht mehr in Bezug auf das Kalibrierobjekt 2 exakt ausgerichtet werden.
Zur genauen Positionserfassung werden mit Hilfe der Kamera 3 Bilddaten erzeugt und mit gespeicherten Bilddaten eines gespeicherten 2D- oder 3D-Modells des Fahrzeugs 1 und/oder des Kalibrierobjekts 2 verglichen. Der Vergleich wird vorzugsweise unter Zuhilfenahme von Referenzmerkmalen 5 durchgeführt, wobei es sich beispielsweise um ein Referenzmuster des Kalibrierobjekts 2 handeln kann, das auch zur Kalibrierung des Sensors eingesetzt wird. Bei den Referenzmerkmalen des Fahrzeugs kann es sich insbesondere um fahrzeugtypische Gestaltungsmerkmale handeln. Aus dem Vergleich der Bilddaten kann somit die exakte räumliche Position (in der 1 angedeutet durch die drei Raumachsen x, y, z) sowohl des Fahrzeugs 1 als auch des Kalibrierobjekts 2 ermittelt werden.
In der 2 ist eine Vorrichtung zur Kalibrierung mindestens eines Sensors eines Fahrzeugs 1 zu entnehmen, die mehrere Kalibrierobjekte 2 sowie mehrere Kameras 3 umfasst, die jeweils um das Fahrzeug 1 herum auf einer Fläche 4 angeordnet sind. Die Fläche 4 definiert einen Kalibrierungsbereich, da nur dieser Bereich von den Kameras 3 erfasst wird. Das Fahrzeug 1 und die Kalibrierobjekte 2 sind daher auf der Fläche 4 angeordnet. Die in der 2 dargestellte Vorrichtung zur Kalibrierung eines Sensors umfasst darüber hinaus eine Recheneinheit 6, mit welcher die Kameras 3 in datenübertragender Weise verbunden sind, so dass sie ihre Bilddaten zur Auswertung an die Recheneinheit 6 übermitteln können. In der Recheneinheit 6 kann ein 2D- oder 3D-Modell des Fahrzeugs 1 und/oder des Kalibrierobjekts 2 abgelegt sein, so dass die übermittelten Bilddaten mit dem jeweiligen Modell verglichen werden können.
Der 3 ist eine weitere Vorrichtung zur Kalibrierung mindestens eines Sensors zu entnehmen. Auf der Fläche 4 ist ein Bereich 7 zum Abstellen des Fahrzeugs 1 ausgewiesen, der geringfügig angehoben ist. Ferner gibt der Bereich 7 eine Richtung vor, so dass das Fahrzeug 1 optimal in Bezug auf die Kameras 3 ausgerichtet ist. Über die Bewegungsrichtung des Fahrzeugs 1 beim Auffahren kann zugleich die Fahrzeuglängsachse bestimmt werden. Die Kameras 3 und Kalibrierobjekte 2 sind um den Bereich 7 herum angeordnet, wobei beispielhaft ein Kalibrierobjekt 2' vorgesehen ist, das zur Kalibrierung mindestens eines weiteren Sensortyps geeignet ist.
Ein möglicher Ablauf eines erfindungsgemäßen Verfahrens wird nachfolgend anhand der 4 beschrieben.
In Schritt 100 wird eine Vorrichtung zur Kalibrierung eines Sensors, die analog einer der in den 1 bis 3 dargestellten Vorrichtungen ausgebildet sein kann, aktiviert. In Schritt 200 wird die Vorrichtung initialisiert, wobei mit Hilfe mindestens eines Referenzmerkmals ein virtueller Raum als Referenzsystem geschaffen wird. Als Referenzmerkmal kann beispielsweise ein bereits vorhandenes Referenzmerkmal 5 eines Kalibrierobjekts 2 genutzt werden. Um sicherzustellen, dass auch das Fahrzeug 1 mindestens ein Referenzmerkmal 5 aufweist, kann in Schritt 300 auf das Fahrzeug 1 ein als Referenzmerkmal 5 dienendes Muster appliziert werden. Alternativ kann mindestens ein fahrzeugspezifisches Merkmal als Referenzmerkmal 5 verwendet werden. Die Position des mindestens einen Referenzmerkmals 5 und des Sensors in Bezug auf das Fahrzeug 1 sind fest vorgegeben und damit bekannt.
Nachdem diese Vorbereitungen getroffen worden sind, kann in Schritt 400 das Fahrzeug 1 auf die Fläche 4 gefahren werden oder autonom auf die Fläche 4 fahren. Dabei wird die Bewegungsrichtung des Fahrzeugs 1 erfasst und in Schritt 500 zur Bestimmung der Ausrichtung des Fahrzeugs 1 im virtuellen Raum genutzt. Optional können hierbei Informationen über die Spureinstellung der Räder - sofern diese vorliegen - mit einfließen.
Im nachfolgenden Schritt 600 wird die genaue Position des Fahrzeugs 1 in Bezug auf den virtuellen Raum bestimmt, wobei als Referenz das zuvor applizierte Referenzmerkmal 5 und/oder ein fahrzeugspezifisches Gestaltungsmerkmal zur Hilfe genommen wird. Als weitere Referenz kann die in Schritt 500 bestimmte Ausrichtung des Fahrzeugs 1 genutzt werden.
In Schritt 700 werden dann die Positionen der Kalibrierobjekte 2 in Bezug auf den virtuellen Raum ermittelt und in Beziehung zur Position des Fahrzeugs 1 gesetzt. Somit ist auch die Position des Sensors in Bezug auf die Kalibrierobjekte 2 bekannt. Mit Hilfe mindestens eines Kalibrierobjekts 2 kann anschließend in Schritt 800 die Kalibrierung durchgeführt werden.
Zur Absicherung kann in Schritt 900 eine erneute die Kalibrierung des Sensors mit mindestens einem weiteren Kalibrierobjekts 2 durchgeführt werden. Sofern das in Schritt 800 genutzte Kalibrierobjekt 2 im Erfassungsbereich mindestens eines weiteren Sensors liegt, können die Kalibrierungsdaten des weiteren Sensors zur Plausibilitätsprüfung verwendet werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102018203941 A1 [0004]

Claims

Verfahren zur Kalibrierung mindestens eines Sensors, insbesondere eines Umfeldsensors, eines Fahrzeugs (1), bei dem mindestens ein Kalibrierobjekt (2) verwendet wird, dadurch gekennzeichnet, dass anstelle einer exakten Positionierung des Sensors in Bezug auf das mindestens eine Kalibrierobjekt (2) die Position des Fahrzeugs (1) und die Position des mindestens einen Kalibrierobjekts (2) erfasst und der Kalibrierung zugrunde gelegt werden, wobei zur Positionserfassung mindestens eine externe Kamera (3) verwendet wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Fahrzeug (1) und das mindestens eine Kalibrierobjekt (2) auf einer Fläche (4) positioniert werden, die einen Kalibrierungsbereich definiert, auf den die mindestens eine externe Kamera (3) ausgerichtet ist.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das Fahrzeug (1) zumindest temporär geradeaus bewegt wird und über die Bewegungsrichtung die Ausrichtung des Fahrzeugs (1) ermittelt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass mehrere externe Kameras (3) zur Positionserfassung verwendet werden, die derart positioniert werden, dass sich ihre Blickfelder überlappen und/oder der gesamte Kalibrierungsbereich erfasst wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass mit Hilfe der mindestens einen externen Kamera (3) bereits vorhandene oder gezielt platzierte Referenzmerkmale (5) am Fahrzeug (1) und/oder am mindestens einen Kalibrierobjekt (2) erfasst werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass mit Hilfe der mindestens einen externen Kamera (3) erzeugte Bilddaten mit gespeicherten Bilddaten eines 2D- oder 3D-Modells des Fahrzeugs (1) und/oder des Kalibrierobjekts (2) verglichen werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die mit Hilfe der mindestens einen externen Kamera (3) erzeugten Bilddaten an eine Recheneinheit (6) zur Auswertung übermittelt werden, wobei vorzugsweise die Recheneinheit (6) Bestandteil einer Vorrichtung zur Kalibrierung des mindestens einen Sensors ist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass mit Hilfe der mindestens einen externen Kamera (3) zugleich eine Überwachungsfunktion realisiert wird, wobei vorzugsweise die Kamera (3) erkennt, ob sich fremde Objekte und/oder Personen im Kalibrierungsbereich befinden und/oder die Lichtverhältnisse ausreichend für die Kalibrierung des Sensors sind.
Vorrichtung zur Kalibrierung mindestens eines Sensors, insbesondere eines Umfeldsensors, eines Fahrzeugs (1), die zur Durchführung eines Verfahrens nach einem der Ansprüche 1 bis 8 mindestens ein Kalibrierobjekt (2) und mindestens eine Kamera (3) umfasst.
Vorrichtung nach Anspruch 9, dadurch gekennzeichnet, dass die Vorrichtung zur Auswertung von Bilddaten der mindestens einen Kamera (3) ferner eine Recheneinheit (6) umfasst, die mit der mindestens einen Kamera (3) in datenübertragender Weise verbunden ist.