DE102020202679A1 - Verfahren und Vorrichtung zum Kalibrieren eines Sensorsystems eines beweglichen Objekts - Google Patents

Verfahren und Vorrichtung zum Kalibrieren eines Sensorsystems eines beweglichen Objekts Download PDF

Info

Publication number
DE102020202679A1
DE102020202679A1 DE102020202679.3A DE102020202679A DE102020202679A1 DE 102020202679 A1 DE102020202679 A1 DE 102020202679A1 DE 102020202679 A DE102020202679 A DE 102020202679A DE 102020202679 A1 DE102020202679 A1 DE 102020202679A1
Authority
DE
Germany
Prior art keywords
sensor
sensors
virtual
individual
detection area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102020202679.3A
Other languages
English (en)
Inventor
Thomas Nuernberg
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102020202679.3A priority Critical patent/DE102020202679A1/de
Priority to US17/184,046 priority patent/US11747439B2/en
Priority to CN202110235167.6A priority patent/CN113341400A/zh
Publication of DE102020202679A1 publication Critical patent/DE102020202679A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G01S7/4004—Means for monitoring or calibrating of parts of a radar system
    • G01S7/4021—Means for monitoring or calibrating of parts of a radar system of receivers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B60R11/0264—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for control means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D18/00—Testing or calibrating apparatus or arrangements provided for in groups G01D1/00 - G01D15/00
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/87—Combinations of radar systems, e.g. primary radar and secondary radar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G01S7/4004—Means for monitoring or calibrating of parts of a radar system
    • G01S7/4026—Antenna boresight
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G01S7/4052—Means for monitoring or calibrating by simulation of echoes
    • G01S7/4082—Means for monitoring or calibrating by simulation of echoes using externally generated reference signals, e.g. via remote reflector or transponder
    • G01S7/4091—Means for monitoring or calibrating by simulation of echoes using externally generated reference signals, e.g. via remote reflector or transponder during normal radar operation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9324—Alternative operation using ultrasonic waves

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Mechanical Engineering (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

Verfahren (300) und Vorrichtung (110) zum Kalibrieren eines Sensorsystems eines beweglichen Objekts (100), wobei das Sensorsystem mehrere einzelne Sensoren (210, 220, 230, 240, 250, 260) umfasst, wobei jeder einzelne Sensor (210, 220, 230, 240, 250, 260) einen einzelnen Erfassungsbereich (211, 221, 231, 241, 251, 261) aufweist, wobei jeder dieser Sensoren (210, 220, 230, 240, 250, 260) mit wenigstens einem weiteren Sensor des Sensorsystems einen sich wenigstens teilweise überlappenden Erfassungsbereich aufweist, umfassend einen Schritt des Bestimmens (310) eines virtuellen Gesamtsensors, basierend auf einer Fusion der einzelnen Erfassungsbereiche jedes einzelnen Sensors (210, 220, 230, 240, 250, 260), einen Schritt des Bestimmens (320) von ersten Koordinaten von mehreren externen Objekten (310, 320, 330, 340, 350, 360) und von zweiten Koordinaten von ausgewählten Punkten des beweglichen Objekts (100), und einen Schritt des Ausrichtens (330) des virtuellen Gesamtsensors, relativ zu dem beweglichen Objekt (100), abhängig von den ersten und zweiten Koordinaten.

Description

  • Die vorliegende Erfindung betrifft unter anderem ein Verfahren und eine Vorrichtung zum Kalibrieren eines Sensorsystems eines beweglichen Objekts, wobei das Sensorsystem mehrere einzelne Sensoren umfasst, wobei jeder einzelne Sensor einen einzelnen Erfassungsbereich aufweist, wobei jeder dieser Sensoren mit wenigstens einem weiteren Sensor des Sensorsystems einen sich wenigstens teilweise überlappenden Erfassungsbereich aufweist.
  • Offenbarung der Erfindung
  • Das erfindungsgemäße Verfahren zum Kalibrieren eines Sensorsystems eines beweglichen Objekts umfasst einen Schritt des Bestimmens eines virtuellen Gesamtsensors, basierend auf einer Fusion der einzelnen Erfassungsbereiche jedes einzelnen Sensors, einen Schritt des Bestimmens von ersten Koordinaten von mehreren externen Objekten und von zweiten Koordinaten von ausgewählten Punkten des beweglichen Objekts, und einen Schritt des Ausrichtens des virtuellen Gesamtsensors, relativ zu dem beweglichen Objekt, abhängig von den ersten und zweiten Koordinaten. Dabei umfasst das Sensorsystem mehrere einzelne Sensoren, wobei jeder einzelne Sensor einen einzelnen Erfassungsbereich aufweist, wobei jeder dieser Sensoren mit wenigstens einem weiteren Sensor des Sensorsystems einen sich wenigstens teilweise überlappenden Erfassungsbereich aufweist.
  • Unter einem Sensor ist ein Video- oder ein Radar- oder ein Lidar- oder ein Ultraschall- oder ein weiterer Sensor - welcher dazu ausgebildet ist, eine Umgebung des Sensors zu erfassen - zu verstehen. Unter einem Sensorsystem, welches mehrere einzelne Sensoren umfasst, ist beispielsweise eine bestimme Anzahl und/oder eine bestimmte Anordnung und/oder eine bestimmte Verteilung von Sensoren zu verstehen, welche von dem beweglichen Objekt umfasst werden. Dabei sind diese Sensoren prinzipiell dazu ausgebildet eine Umgebung des beweglichen Objekts - beispielsweise in Form von Datenwerten - zu erfassen. Unter einem Erfassungsbereich eines Sensors ist dabei der Teil der Umgebung zu verstehen, welcher von diesem Sensor erfasst werden kann. In einer Ausführungsform umfasst das Sensorsystem ausschließlich Sensoren vom gleichen Sensortyp (Lidar, Radar, Video, etc.). In einer weiteren Ausführungsform umfasst das Sensorsystem Sensoren unterschiedlichen Sensortyps (Lidar und Radar, Lidar und Video, Video und Radar, Video und Lidar und Radar, etc.).
  • Unter einer Umfeldsensorik ist wenigstens ein Video- und/oder wenigstens ein Radar- und/oder wenigstens ein Lidar- und/oder wenigste einen Ultraschall- und/oder wenigstens ein weiterer Sensor - welcher dazu ausgebildet ist, eine Umgebung der automatisierten Fahrzeuge in Form von Umgebungsdatenwerten zu erfassen - zu verstehen. Die Umfeldsensorik ist insbesondere dazu ausgebildet, Umgebungsmerkmale in der Umgebung (Straßenverlauf, Verkehrszeichen, Fahrbahnmarkierung, Gebäude, Fahrbahnbegrenzungen, etc.) und/oder Verkehrsobjekte (Fahrzeuge, Radfahrer, Fußgänger, etc.) zu erfassen. In einer Ausführungsform umfasst die Umfeldsensorik beispielsweise eine Recheneinheit (Prozessor, Arbeitsspeicher, Festplatte) mit einer geeigneten Software und/oder ist mit solch einer Recheneinheit verbunden, wodurch diese Umgebungsmerkmale erfasst und/oder klassifiziert bzw. zugeordnet werden können.
  • Das erfindungsgemäße Verfahren löst vorteilhafterweise die Aufgabe, eine umfangreiche Kenntnis über die aktuelle Umgebung eines beweglichen Objekts zu bestimmen. Diese Kenntnis - in Form von Datenwerten - kann über unterschiedliche Sensoren gewonnen werden. Insbesondere sogenannte exterozeptive Sensoren, wie Video-, Lidar- und Radarsensoren werden zur Umgebungserfassung verwendet. Um ein umfassendes Umfeldmodell erstellen zu können, werden nicht nur Sensoren unterschiedlichen Sensortyps, sondern auch mehrere Sensoren desselben Sensortyps mit überlappenden (redundanten) Erfassungsbereichen verwendet.
  • Die von den Sensoren gewonnenen Daten liegen zunächst immer in einem sensoreigenen Koordinatensystem vor. Um die gewonnene Information geeignet in einem Umfeldmodell fusionieren zu können, müssen die Daten in ein gemeinsames Koordinatensystem transformiert werden. Hierfür wird üblicherweise ein festes Koordinatensystem des beweglichen Objekts nach DIN ISO 8855 verwendet, da sich damit eine Bewegung des beweglichen Objekts komfortabel beschreiben lässt. Die Transformationsbeziehungen hängen dabei von der Einbauposition und -orientierung der Sensoren des beweglichen Objekts ab. Konkret lautet die Aufgabe der (extrinsischen) Kalibrierung damit, die Parameter bzw. die Transformationen zwischen den unterschiedlichen Koordinatensystemen präzise zu bestimmen.
  • Diese Aufgabe wird mittels des erfindungsgemäßen vorteilhafterweise Verfahren gelöst, indem sowohl eine Sensor-Sensor-Kalibrierung als auch Sensor-Objekt-Kalibrierung (hier: das bewegliche Objekt) durchgeführt wird.
  • Mit dem Ergebnis einer Sensor-Sensor-Kalibrierung werden die Messdaten aller einzelnen Sensoren fusioniert und so zu den Messdaten eines „virtuellen Gesamtsensors“ zusammengefasst. Mit diesen fusionierten Daten wird anschließend einmalig eine Sensor-Objekt-Kalibrierung durchgeführt und so das Sensorsystem ganzheitlich gegenüber dem Objekt kalibriert. Durch die Sensor-Sensor-Kalibrierung und anschließende Sensor-Objekt-Kalibrierung wird von den jeweiligen Vorteilen beider Verfahren profitiert werden. Dies sind insbesondere:
    • - Eine robuste Bestimmung der Einbauparameter in Objektkoordinaten von Sensoren mit beispielsweise eingeschränkten Erfassungsbereichen in allen Raumdimensionen.
    • - Ganzheitliche Bestimmung der Sensor-Objekt-Transformation für das gesamte Sensorsystem bei gleichzeitiger Bewahrung eines in sich konsistenten Umgebungsabbildes.
    • - Reduktion der Kalibrierungsfehler durch Kombination beider Verfahren.
  • Vorzugsweise ist das bewegliche Objekt ein Fahrzeug. Unter einem Fahrzeug kann jedes fahrende, schwimmende oder fliegende Fahrzeug verstanden werden, welches dazu ausgebildet ist, ein Sensorsystem zu umfassen und die Umgebung dieses Sensorsystems zu erfassen. In einer weiteren Ausführungsform ist unter einem beweglichen Objekt beispielsweise ein Roboter bzw. ein Roboterfahrzeug zu verstehen. In einer weiteren Ausführungsform ist unter einem beweglichen Objekt beispielsweise eine Ladebrücke zu verstehen, wie sie unter anderem zum Be- und Entladen von Containern bei Schiffen verwendet wird, etc. Hierbei dient das Sensorsystem beispielsweise dazu, trotz Wellengang und damit einhergehender Bewegung des Schiffes, an ein statisches Objekt (Container, etc.) anzudocken. Unter einem Fahrzeug ist insbesondere auch ein automatisiertes Fahrzeug, welches gemäß einem der SAE-Level 1 bis 5 (siehe Norm SAE J3016) ausgebildet ist, zu verstehen.
  • Vorzugsweise sind die mehreren externe Objekte in einer geometrischen Form angeordnet, wobei sich das bewegliche Objekt (während der Durchführung des Verfahrens zum Kalibrieren) innerhalb dieser geometrischen Form befindet.
  • Unter externen Objekten sind beispielsweise sogenannte Kalibiertargets zu verstehen. In einer Ausführungsform umfassen die Kalibriertargets beispielsweise Kalibiermuster, um eine Kalibrierung eines Sensors zu ermöglichen.
  • Vorzugsweise umfasst das Bestimmen des virtuellen Sensors die folgenden Schritte (S1 bis S5):
    • S1: Bestimmen eines ausgewählten, ersten Sensors, nach vorgegebenen Kriterien, aus den Sensoren des Sensorsystems;
    • S2: Bestimmen eines zweiten Sensors des Sensorsystems, welcher einen sich wenigstens teilweise überlappenden Erfassungsbereich mit dem ersten Sensor aufweist;
    • S3: Bestimmen einer ersten räumlichen Beziehung zwischen dem ersten Sensor und dem zweiten Sensor;
    • S4: Bestimmen eines ersten virtuellen Sensors, welcher den ersten und den zweiten Sensor repräsentiert, indem der Erfassungsbereich des ersten Sensors und der Erfassungsbereich des zweiten Sensors, abhängig von der ersten räumlichen Beziehung, fusioniert werden; und
    • S5: Wiederholen der Schritt S1 bis S4 für alle Sensoren des Sensorsystems, wobei gemäß Schritt S1 der jeweils vorab bestimmte virtuelle Sensor dem ausgewählten Sensor entspricht, wobei gemäß Schritt S2 jeweils ein noch nicht verwendeter Sensor des Sensorsystems neu ausgewählt wird, wobei dieser neu ausgewählte Sensor einen sich wenigstens teilweise überlappenden Erfassungsbereich mit dem vorab bestimmten virtuellen Sensor aufweist, wobei gemäß Schritt S3 jeweils eine räumliche Beziehung zwischen dem neu ausgewählten Sensor und dem vorab bestimmten virtuellen Sensor bestimmt wird, wobei gemäß Schritt S4 ein weiterer virtueller Sensor bestimmt wird, welcher die Sensoren des vorab bestimmten virtuellen Sensors und den neu ausgewählten Sensor repräsentiert, bis abhängig von allen Sensoren ein virtueller Gesamtsensor bestimmt ist.
  • In einer Ausführungsform umfassen die vorgegebenen Kriterien beispielsweise Leistungsmerkmale der einzelnen Sensoren, wobei als erster Sensor der Sensor ausgewählt wird, welcher die höchste Auflösung und/oder den größten Erfassungsbereich, etc. aufweist.
  • Vorzugsweise umfasst die räumliche Beziehung zwischen einem virtuellen Sensor und einem einzelnen Sensor und/oder zwischen jeweils einzelnen Sensoren drei Translationskoordinaten und/oder drei Rotationskoordinaten, insbesondere relativ zu einem vorgegebenen Koordinatensystem. Unter einem vorgegebenen Koordinatensystem ist beispielsweise ein Sensorkoordinatensystem des virtuellen Sensors oder ein Sensorkoordinatensystem eines einzelnen Sensors oder ein Koordinatensystem des beweglichen Objekts zu verstehen.
  • Die erfindungsgemäße Vorrichtung, insbesondere ein Steuergerät, ist dazu eingerichtet, alle Schritte des Verfahrens gemäß einem der entsprechenden Verfahrensansprüche auszuführen
  • In einer möglichen Ausführungsform umfasst die Vorrichtung eine Recheneinheit (Prozessor, Arbeitsspeicher, Festplatte) sowie eine geeignete Software um das Verfahren gemäß einem der Verfahrensansprüche auszuführen. Zusätzlich umfasst die Vorrichtung beispielsweise eine Sende- und/oder Empfangseinheit, welche dazu ausgebildet ist, Datenwerte mit dem Sensorsystem bzw. mit jedem einzelnen Sensor - per Kabel oder kabellos - auszutauschen. In einer alternativen Ausführungsform ist die Vorrichtung mittels einer geeigneten Schnittstelle mit einer Sende- und/oder Empfangseinrichtung verbunden.
  • Weiterhin wird ein Computerprogramm beansprucht, umfassend Befehle, die bei der Ausführung des Computerprogramms durch einen Computer diesen veranlassen, ein Verfahren zum Kalibrieren eines Sensorsystems eines beweglichen Objekts gemäß einem der Verfahrensansprüche auszuführen. In einer Ausführungsform entspricht das Computerprogramm der von der Vorrichtung umfassten Software.
  • Weiterhin wird ein maschinenlesbares Speichermedium, auf dem das Computerprogramm gespeichert ist, beansprucht.
  • Vorteilhafte Weiterbildungen der Erfindung sind in den Unteransprüchen angegeben und in der Beschreibung aufgeführt.
  • Figurenliste
  • Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und werden in den nachfolgenden Beschreibungen näher erläutert. Es zeigen:
    • 1 ein erstes Ausführungsbeispiel des erfindungsgemäßen Verfahrens;
    • 2 ein zweites Ausführungsbeispiel des erfindungsgemäßen Verfahrens;
    • 3 (3a und 3b) ein drittes Ausführungsbeispiel des erfindungsgemäßen Verfahrens; und
    • 4 (4a und 4b) ein viertes Ausführungsbeispiel des erfindungsgemäßen Verfahrens in Form eines Ablaufdiagramms.
  • Ausführungsformen der Erfindung
  • 1 zeigt ein erstes Ausführungsbeispiel eines Verfahrens 300 zum Kalibrieren eines Sensorsystems eines beweglichen Objekts 100, wobei das bewegliche Objekt 100 hier rein schematisch als Rechteck dargestellt ist. Hierbei könnte es sich beispielsweise um ein Fahrzeug (Sicht von oben) handeln. Das bewegliche Objekt umfasst eine Vorrichtung 110, welche dazu eingerichtet ist, alle Schritte des Verfahrens 300 auszuführen.
  • Weiterhin umfasst das bewegliche Objekt 100 hier beispielhaft sechs Sensoren 210-260, welche in der hier schematisch verwendeten Darstellung außen an dem beweglichen Objekt 100 angebracht sind. In einer möglichen Ausführungsform kann sich beispielsweise wenigstens ein Sensor auf und/oder unter dem beweglichen Objekt 100 und/oder an jeder weiteren beliebigen Position an dem beweglichen Objekt 100 befinden. Die genauen Positionen der Sensoren 210-260 hängen dabei insbesondere von der Art des beweglichen Objekts 100 (Fahrzeug, Roboter, Ladevorrichtung, etc.) und/oder der Ausgestaltung des beweglichen Objekts 100 (Größe, Geschwindigkeitsprofil, Automatisierungsgrad [bspw. gemäß SAE-Level], etc.) ab.
  • 2 zeigt ein zweites Ausführungsbeispiel eines Verfahrens 300 zum Kalibrieren eines Sensorsystems eines beweglichen Objekts 100, wobei hier beispielhaft mehrere Erfassungsbereiche 211, 251, 261 einzelner Sensoren 210, 250, 260 gezeigt sind. Hierbei überlappen sich beispielsweise von jeweils zwei Sensoren (210 und 260 bzw. 250 und 260) zwei Erfassungsbereiche (211 und 261 bzw. 251 und 261) zu sich wenigstens teilweise überlappenden Erfassungsbereichen 280, 290.
  • 3 zeigt ein drittes Ausführungsbeispiel eines Verfahrens 300 zum Kalibrieren eines Sensorsystems eines beweglichen Objekts 100, welches die Vorrichtung 110 zum Ausführen des Verfahrens 300 umfasst.
  • Die 3a und 3b zeigen dabei jeweils beispielhaft mögliche Ausführungsformen (Sechseck bzw. Viereck), wie mehrere externe Objekte 310-360 in einer geometrischen Form angeordnet sind, wobei sich das bewegliche Objekt 100 jeweils innerhalb der geometrischen Form befindet. In weiteren Ausführungsformen sind beliebig viele externe Objekte mit einer Vielzahl von unterschiedlichen - auch nicht regelmäßigen - Anordnungen möglich.
  • 4a zeigt ein viertes Ausführungsbeispiel des erfindungsgemäßen Verfahrens 300 zum Kalibrieren eines Sensorsystems eines beweglichen Objekts 100 in Form eines Ablaufdiagramms. Dabei umfasst das Sensorsystem mehrere einzelne Sensoren 210, 220, 230, 240, 250, 260, wobei jeder einzelne Sensor 210, 220, 230, 240, 250, 260 einen einzelnen Erfassungsbereich 211, 221, 231, 241, 251, 261 aufweist, wobei jeder dieser Sensoren 210, 220, 230, 240, 250, 260 mit wenigstens einem weiteren Sensor des Sensorsystems einen sich wenigstens teilweise überlappenden Erfassungsbereich aufweist.
  • In Schritt 301 startet das Verfahren 300.
  • In Schritt 310 wird ein virtueller Gesamtsensor, basierend auf einer Fusion der einzelnen Erfassungsbereiche jedes einzelnen Sensors 210, 220, 230, 240, 250, 260, bestimmt.
  • In Schritt 320 werden erste Koordinaten von mehreren externen Objekten 310, 320, 330, 340, 350, 360, sowie zweite Koordinaten von ausgewählten Punkten des beweglichen Objekts 100, bestimmt.
  • In Schritt 330 wird der virtuelle Gesamtsensor, relativ zu dem beweglichen Objekt 100, abhängig von den ersten und zweiten Koordinaten, ausgerichtet.
  • In Schritt 340 endet das Verfahren 300.
  • 4b zeigt beispielhaft eine mögliche, detailliertere Ausführungsform des Bestimmens 310 des virtuellen Sensors mit folgenden (Teil-) Schritten (S1 bis S5):
  • In Schritt S1 wird ein ausgewählter, erster Sensor 210, nach vorgegebenen Kriterien, aus den Sensoren 210, 220, 230, 240, 250, 260 des Sensorsystems, bestimmt.
  • In Schritt S2 wird ein zweiter Sensor 220 des Sensorsystems, welcher einen sich wenigstens teilweise überlappenden Erfassungsbereich mit dem ersten Sensor 210 aufweist, bestimmt.
  • In Schritt S3 wird eine erste räumliche Beziehung zwischen dem ersten Sensor 210 und dem zweiten Sensor 220 bestimmt.
  • In Schritt S4 wird ein erster virtueller Sensor, welcher den ersten und den zweiten Sensor 210, 220 repräsentiert, bestimmt, Dies erfolgt indem der Erfassungsbereich 211 des ersten Sensors 210 und der Erfassungsbereich 221 des zweiten Sensors 220, abhängig von der ersten räumlichen Beziehung, fusioniert werden.
  • In Schritt S5 werden die Schritte S1 bis S4 für alle Sensoren 210, 220, 230, 240, 250, 260 des Sensorsystems wiederholt, wobei gemäß Schritt S1 der jeweils vorab bestimmte virtuelle Sensor dem ausgewählten Sensor entspricht, wobei gemäß Schritt S2 jeweils ein noch nicht verwendeter Sensor des Sensorsystems neu ausgewählt wird, wobei dieser neu ausgewählte Sensor einen sich wenigstens teilweise überlappenden Erfassungsbereich mit dem vorab bestimmten virtuellen Sensor aufweist, wobei gemäß Schritt S3 jeweils eine räumliche Beziehung zwischen dem neu ausgewählten Sensor und dem vorab bestimmten virtuellen Sensor bestimmt wird, wobei gemäß Schritt S4 ein weiterer virtueller Sensor bestimmt wird, welcher die Sensoren des vorab bestimmten virtuellen Sensors und den neu ausgewählten Sensor repräsentiert, bis abhängig von allen Sensoren 210, 220, 230, 240, 250, 260 ein virtueller Gesamtsensor bestimmt ist.
  • Beispielhaft wird das Verfahren 300 zum Kalibrieren eines Sensorsystems eines beweglichen Objekts 100 nochmals anhand einer statischen Kalibrierung von sechs Lidar-Sensoren vorgestellt, wobei hier zum Verdeutlichen der einzelnen Schritte als bewegliches Objekt ein Fahrzeug angenommen wird. Vier der Sensoren sind an den Fahrzeugecken mit einem resultierenden Sichtbereich von ca. 270° und zwei auf dem Fahrzeugdach mit einem Sichtbereich von 360° angebracht. Um das Kalibrierungsergebnis nicht durch Synchronisationsfehler der Sensoren zu beeinflussen, das wird Fahrzeug mit allen Sensoren in einem statischen Umfeld platziert. In einem ersten Schritt werden die Transformationsbeziehungen zwischen den Lidar-Sensoren mit überlappendem Erfassungsbereich durch eine Sensor-Sensor-Kalibrierung bestimmt. Dazu werden zunächst zwei Sensoren mit überlappendem Erfassungsbereich ausgewählt, z. B. die Sensoren vorne links und vorne rechts, wovon einer als Pivotsensor definiert wird, z. B. vorne links. Mit einem Standardverfahren zur Punktwolkenregistrierung, z. B. der Normal Distribution Transform, wird die Transformation zwischen diesen beiden Sensoren bestimmt. Anschließend werden die Daten des zweiten Sensors in das Koordinatensystem des Pivotsensors transformiert und zu einer neuen Punktwolke vereinigt. Diese neue Punktwolke wird als Messung eines „virtuellen“ Frontsensors interpretiert. Anschließend wird nach demselben Verfahren die Transformationsbeziehung eines weiteren Sensors, z. B. hinten rechts, zu diesem „virtuellen“ Frontsensor bestimmt und die Daten wiederum zu einem weiteren „virtuellen“ Sensor zusammengefasst. Dies wird solange wiederholt, bis die Daten aller Sensoren zu einem „virtuellen Gesamtsensor“ zusammengefasst sind. Damit sind die Transformationen aller Sensoren zum Pivotsensor bestimmt.
  • Im nächsten Schritt kann für diesen „virtuellen Gesamtsensor“ das Verfahren der Sensor-Fahrzeug-Kalibrierung einmalig angewendet werden. Dazu werden beispielsweise im Umfeld zusätzlich sechs planare rechteckförmige Kalibriertargets, wie in 3a dargestellt, aufgestellt. In diesem Umfeld werden die Daten aller Sensoren zur weiteren Verarbeitung aufgezeichnet. Mit einem externen Referenzmesssystem, z. B. einem Tachymeter, werden die ersten Koordinaten der sechs externen Kalibriertargets und die zweiten Koordinaten der Referenzpunkte auf dem Fahrzeug bestimmt. Abhängig von diesen ersten und zweiten Koordinaten und abhängig von den aufgezeichneten Daten wird der virtuelle Gesamtsensor bezüglich des Fahrzeugs ausgerichtet und so die Transformation zwischen dem Koordinatensystem der Sensor-Sensor-Kalibrierung und dem Fahrzeugkoordinatensystem bestimmt. Abhängig davon werden dann alle weiteren Sensor-Fahrzeug-Transformationen berechnet.

Claims (8)

  1. Verfahren (300) zum Kalibrieren eines Sensorsystems eines beweglichen Objekts (100), wobei das Sensorsystem mehrere einzelne Sensoren (210, 220, 230, 240, 250, 260) umfasst, wobei jeder einzelne Sensor (210, 220, 230, 240, 250, 260) einen einzelnen Erfassungsbereich (211, 221, 231, 241, 251, 261) aufweist, wobei jeder dieser Sensoren (210, 220, 230, 240, 250, 260) mit wenigstens einem weiteren Sensor des Sensorsystems einen sich wenigstens teilweise überlappenden Erfassungsbereich aufweist, umfassend: - Bestimmen (310) eines virtuellen Gesamtsensors, basierend auf einer Fusion der einzelnen Erfassungsbereiche jedes einzelnen Sensors (210, 220, 230, 240, 250, 260); - Bestimmen (320) von ersten Koordinaten von mehreren externen Objekten (310, 320, 330, 340, 350, 360) und von zweiten Koordinaten von ausgewählten Punkten des beweglichen Objekts (100); und - Ausrichten (330) des virtuellen Gesamtsensors, relativ zu dem beweglichen Objekt (100), abhängig von den ersten und zweiten Koordinaten.
  2. Verfahren (300) nach Anspruch 1, dadurch gekennzeichnet, dass das bewegliche Objekt (100) ein Fahrzeug ist.
  3. Verfahren (300) nach Anspruch 1, dadurch gekennzeichnet, dass die mehreren externe Objekte (310, 320, 330, 340, 350, 360) in einer geometrischen Form angeordnet sind, wobei sich das bewegliche Objekt (100) innerhalb dieser geometrischen Form befindet.
  4. Verfahren (300) nach Anspruch 1, dadurch gekennzeichnet, dass das Bestimmen (310) des virtuellen Sensors folgende Schritte (S1 bis S5) umfasst: S1: Bestimmen eines ausgewählten, ersten Sensors (210), nach vorgegebenen Kriterien, aus den Sensoren (210, 220, 230, 240, 250, 260) des Sensorsystems; S2: Bestimmen eines zweiten Sensors (220) des Sensorsystems, welcher einen sich wenigstens teilweise überlappenden Erfassungsbereich mit dem ersten Sensor (210) aufweist; S3: Bestimmen einer ersten räumlichen Beziehung zwischen dem ersten Sensor (210) und dem zweiten Sensor (220); S4: Bestimmen eines ersten virtuellen Sensors, welcher den ersten und den zweiten Sensor (210, 220) repräsentiert, indem der Erfassungsbereich (211) des ersten Sensors (210) und der Erfassungsbereich (221) des zweiten Sensors (220), abhängig von der ersten räumlichen Beziehung, fusioniert werden; und S5: Wiederholen der Schritt S1 bis S4 für alle Sensoren (210, 220, 230, 240, 250, 260) des Sensorsystems, wobei gemäß Schritt S1 der jeweils vorab bestimmte virtuelle Sensor dem ausgewählten Sensor entspricht, wobei gemäß Schritt S2 jeweils ein noch nicht verwendeter Sensor des Sensorsystems neu ausgewählt wird, wobei dieser neu ausgewählte Sensor einen sich wenigstens teilweise überlappenden Erfassungsbereich mit dem vorab bestimmten virtuellen Sensor aufweist, wobei gemäß Schritt S3 jeweils eine räumliche Beziehung zwischen dem neu ausgewählten Sensor und dem vorab bestimmten virtuellen Sensor bestimmt wird, wobei gemäß Schritt S4 ein weiterer virtueller Sensor bestimmt wird, welcher die Sensoren des vorab bestimmten virtuellen Sensors und den neu ausgewählten Sensor repräsentiert, bis abhängig von allen Sensoren (210, 220, 230, 240, 250, 260) ein virtueller Gesamtsensor bestimmt ist.
  5. Verfahren (300) nach Anspruch 4, dadurch gekennzeichnet, dass die räumliche Beziehung zwischen einem virtuellen Sensor und einem einzelnen Sensor (210, 220, 230, 240, 250, 260) und/oder zwischen jeweils einzelnen Sensoren (210, 220, 230, 240, 250, 260) drei Translationskoordinaten und/oder drei Rotationskoordinaten umfasst.
  6. Vorrichtung (110), insbesondere ein Steuergerät, die eingerichtet ist, alle Schritte des Verfahrens (300) gemäß einem der Ansprüche 1 bis 5 auszuführen.
  7. Computerprogramm, umfassend Befehle, die bei der Ausführung des Computerprogramms durch einen Computer diesen veranlassen, ein Verfahren (300) gemäß einem der Ansprüche 1 bis 5 auszuführen.
  8. Maschinenlesbares Speichermedium, auf dem das Computerprogramm nach Anspruch 7 gespeichert ist.
DE102020202679.3A 2020-03-03 2020-03-03 Verfahren und Vorrichtung zum Kalibrieren eines Sensorsystems eines beweglichen Objekts Pending DE102020202679A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE102020202679.3A DE102020202679A1 (de) 2020-03-03 2020-03-03 Verfahren und Vorrichtung zum Kalibrieren eines Sensorsystems eines beweglichen Objekts
US17/184,046 US11747439B2 (en) 2020-03-03 2021-02-24 Method and device for calibrating a sensor system of a moving object
CN202110235167.6A CN113341400A (zh) 2020-03-03 2021-03-03 用于校准运动对象的传感器系统的方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102020202679.3A DE102020202679A1 (de) 2020-03-03 2020-03-03 Verfahren und Vorrichtung zum Kalibrieren eines Sensorsystems eines beweglichen Objekts

Publications (1)

Publication Number Publication Date
DE102020202679A1 true DE102020202679A1 (de) 2021-09-09

Family

ID=77388687

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102020202679.3A Pending DE102020202679A1 (de) 2020-03-03 2020-03-03 Verfahren und Vorrichtung zum Kalibrieren eines Sensorsystems eines beweglichen Objekts

Country Status (3)

Country Link
US (1) US11747439B2 (de)
CN (1) CN113341400A (de)
DE (1) DE102020202679A1 (de)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007005086A1 (de) 2007-02-01 2008-08-07 Robert Bosch Gmbh Verfahren und Vorrichtung zum Ausrichten eines Fahrzeug-Umfeldsensors oder Scheinwerfers
DE102010060942A1 (de) 2010-12-01 2012-06-06 Sick Ag Sensoranordnung zur Objekterkennung
DE102018008792A1 (de) 2018-11-08 2019-05-02 Daimler Ag Vorrichtung zum zeitgleichen Kalibrieren eines Mehrsensorsystems

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3060942B1 (de) * 2013-12-06 2019-10-02 Siemens Aktiengesellschaft Verfahren zur bestimmung einer anordnung zumindest zweier sensoren und sensornetzwerk
ES2927014T3 (es) * 2017-03-31 2022-11-02 A 3 by Airbus LLC Sistemas y métodos para la calibración de sensores en vehículos
US10830871B2 (en) * 2018-03-21 2020-11-10 Zoox, Inc. Sensor calibration
US10916035B1 (en) * 2018-11-30 2021-02-09 Zoox, Inc. Camera calibration using dense depth maps
US11555903B1 (en) * 2018-11-30 2023-01-17 Zoox, Inc. Sensor calibration using dense depth maps
US20200300967A1 (en) * 2019-03-20 2020-09-24 Zenuity Ab Sensor verification
US11340354B2 (en) * 2019-06-26 2022-05-24 Nio Usa, Inc. Methods to improve location/localization accuracy in autonomous machines with GNSS, LIDAR, RADAR, camera, and visual sensors
US20220317288A1 (en) * 2019-08-02 2022-10-06 Mitsubishi Electric Corporation Vehicle-mounted object detection device
US10962630B1 (en) * 2019-10-18 2021-03-30 Toyota Research Institute, Inc. System and method for calibrating sensors of a sensor system
US11520024B2 (en) * 2019-12-24 2022-12-06 Nio Technology (Anhui) Co., Ltd. Automatic autonomous vehicle and robot LiDAR-camera extrinsic calibration

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007005086A1 (de) 2007-02-01 2008-08-07 Robert Bosch Gmbh Verfahren und Vorrichtung zum Ausrichten eines Fahrzeug-Umfeldsensors oder Scheinwerfers
DE102010060942A1 (de) 2010-12-01 2012-06-06 Sick Ag Sensoranordnung zur Objekterkennung
DE102018008792A1 (de) 2018-11-08 2019-05-02 Daimler Ag Vorrichtung zum zeitgleichen Kalibrieren eines Mehrsensorsystems

Also Published As

Publication number Publication date
US20210278500A1 (en) 2021-09-09
CN113341400A (zh) 2021-09-03
US11747439B2 (en) 2023-09-05

Similar Documents

Publication Publication Date Title
DE102018219602A1 (de) Verfahren zum Erkennen von Kartenfehlern
DE102019132150A1 (de) Verfahren zum automatischen Kalibrieren eines Umfeldsensors, insbesondere eines Lidar-Sensors, eines Fahrzeugs auf Grundlage von Belegungskarten sowie Recheneinrichtung
DE102019101405A1 (de) Verfahren zum Bewerten einer Positionsinformation einer Landmarke in einer Umgebung eines Kraftfahrzeugs, Bewertungssystem, Fahrerassistenzsystem und Kraftfahrzeug
DE102020215420A1 (de) Verfahren zum Kalibrieren mindestens einer Kamera
DE102017126495A1 (de) Kalibrierung eines stationären Kamerasystems zur Positionserfassung eines mobilen Roboters
DE102017201796A1 (de) Steuervorrichtung zum Ermitteln einer Eigenbewegung eines Kraftfahrzeugs sowie Kraftfahrzeug und Verfahren zum Bereitstellen der Steuervorrichtung
DE102020202679A1 (de) Verfahren und Vorrichtung zum Kalibrieren eines Sensorsystems eines beweglichen Objekts
DE102016009756A1 (de) Verfahren zum Kalibrieren eines Sensorsystems eines Kraftfahrzeugs sowie Sensorsystem
DE102016223072B4 (de) Bestimmen einer Eigenbewegung eines Fahrzeugs anhand von ortsfesten Objekten
DE102019211459B4 (de) Verfahren und Vorrichtung zum Überprüfen einer Kalibrierung von Umfeldsensoren
EP3596428B1 (de) Verfahren und vorrichtung zum aktualisieren einer digitalen karte zur fahrzeugnavigation
DE102021114734A1 (de) Verbesserte infrastruktur
DE102007021107B4 (de) Vorrichtung und Verfahren zum Bestimmen des Hauptpunktes eines Kamerasystems
DE102007016192A1 (de) Kalibrierung eines fahrzeuggestützten Bildsensors
DE102018122092A1 (de) Verfahren zum Bestimmen zumindest eines Positionsparameters eines Objekts in einer Umgebung eines Kraftfahrzeugs, Computerprogrammprodukt, Fahrerassistenzsystem und Kraftfahrzeug
DE102019201633A1 (de) Kalibrierung eines Sensors für ein Fahrzeug basierend auf objektseitigen und bildseitigen Identifikationsindizes eines Referenzobjektes
WO2020001690A1 (de) Verfahren und system zur erkennung von hindernissen
DE102019209849B4 (de) Verfahren und Steuergerät zur abstandsmessenden Bildverarbeitung für eine Stereokameraeinrichtung für ein Fahrzeug und Stereokamerasystem mit einer Stereokameraeinrichtung und einem Steuergerät
DE102018210079A1 (de) Verfahren zum initialen Kalibrieren eines Sensors für ein Fahrerassistenzsystem eines Fahrzeugs
DE102019214345B4 (de) Verfahren zur Dejustageerkennung wenigstens eines Sensors eines Kraftfahrzeugs
DE102022001120A1 (de) Kalibrierung und Justierung einer Kamera eines Fahrzeugs
DE102021104015A1 (de) Verfahren zum Erfassen von Objekten in einer Umgebung eines Fahrzeugs mit Bestimmung einer Verdeckung der Objekte, Recheneinrichtung sowie Sensorsystem
DE102020211363A1 (de) Verfahren und Vorrichtung zum Erstellen, Bereitstellen und Verwenden einer Gesamtkarte
DE102021126367A1 (de) Verfahren und Vorrichtung zur Positionsbestimmung eines portablen Referenzsensorsystems gegenüber einem Fahrzeug
DE102022001265A1 (de) Verfahren, elektronisches Rechensystem und Computerprogramm zur Zuordnung von fusionierten Objektdarstellungen aus zwei unterschiedlichen Fusionsverfahren

Legal Events

Date Code Title Description
R163 Identified publications notified