DE102019128103A1

DE102019128103A1 - Kalibrierung eines aktiven optischen Sensorsystems

Info

Publication number: DE102019128103A1
Application number: DE102019128103.2A
Authority: DE
Inventors: Marco Heinen; Kai Fischer; Patrick Reichel
Original assignee: Valeo Schalter und Sensoren GmbH
Current assignee: Valeo Schalter und Sensoren GmbH
Priority date: 2019-10-17
Filing date: 2019-10-17
Publication date: 2021-04-22
Also published as: WO2021073907A1

Abstract

Gemäß einem Verfahren zur Kalibrierung eines aktiven optischen Sensorsystems (2) werden eine erste Punktwolke (5) und eine zweite Punktwolke (6) des Sensorsystems (2) bereitgestellt. Eine Recheneinheit (3) führt, abhängig von wenigstens einem Parameter, der potenzielle Trajektorien (7) des Kraftfahrzeugs (1) beschreibt, wenigstens eine Koordinatentransformation der zweiten Punktwolke (6) durch. Die Recheneinheit (3) optimiert eine erste Zielfunktion basierend auf der ersten Punktwolke und einem Ergebnis der Koordinatentransformation, indem ein Parameterwert des wenigstens einen Parameters variiert wird. Wenigstens ein Schätzwert für eine Pose des Sensorsystems (2) wird basierend auf einem Ergebnis der Optimierung bestimmt.

Description

Die vorliegende Erfindung betrifft ein Verfahren zur Kalibrierung eines aktiven optischen Sensorsystems, wobei eine mittels des Sensorsystems zu einem ersten Zeitpunkt erzeugte erste Punktwolke und eine mittels des Sensorsystems zu einem zweiten Zeitpunkt erzeugte zweite Punktwolke bereitgestellt werden. Die Erfindung betrifft ferner eine Sensorvorrichtung für ein Kraftfahrzeug und ein Computerprogramm.
Aktive optische Sensorsysteme, beispielsweise Lidarsysteme, können an oder in Kraftfahrzeugen montiert werden, um vielfältige Funktionen elektronischer Fahrzeugführungssysteme oder Fahrerassistenzsysteme zu realisieren. Diese Funktionen beinhalten teilweise oder vollständig automatisierte Funktionen zum Parken oder Fahren des Kraftfahrzeugs, zur Fahrzeuglokalisierung und zur Umfeldüberwachung.
Abweichungen einer Einbauposition oder Orientierung des Sensorsystems von einer nominalen Position oder Orientierung beeinflussen die Interpretation und Auswertung der Messwerte und damit die Zuverlässigkeit und Genauigkeit der darauf basierenden Funktionen. Insbesondere bei der Punktwolkenfusion, wenn also die Daten verschiedener Sensorsysteme in einer gemeinsamen Punktwolke kombiniert werden, ist die genaue Kenntnis der Relativposition und -orientierung der Sensorsysteme bezüglich des Kraftfahrzeugs beziehungsweise zueinander erforderlich.
Im Dokument US 2018/0357773 A1 wird unter anderem die Kalibrierung eines Lidarsystems anhand eines Kalibriertargets mit aufgedruckten, schachbrettartigen Mustern beschrieben.
Kalibrierungsverfahren, die auf spezielle Kalibriertargets zurückgreifen, können zum einen nur im Stillstand des Kraftfahrzeugs und in spezifischen Kalibrierumgebungen, also „offline“ durchgeführt werden. In anderen Kalibrierungsverfahren werden statische Objekte in der Umgebung des Kraftfahrzeugs als Referenz zur Kalibrierung herangezogen.
In beiden Fällen kann die Kalibrierung nur mit eingeschränkter Häufigkeit wiederholt werden, sodass zum einen die Genauigkeit aufgrund der Anzahl der zur Verfügung stehenden Schätzwerte eingeschränkt ist. Zum anderen können Veränderungen der Position oder Orientierung des Sensorsystems während des Normalbetriebs des Kraftfahrzeugs, also „online“, nicht oder nur eingeschränkt berücksichtigt werden.
Zudem erfordern die genannten Ansätze Kenntnis über den konkreten konstruktiven Aufbau des Sensorsystems, beispielsweise über optische Pfade und Weglängen innerhalb des Sensorsystems. Dementsprechend kann das Kalibrierungsverfahren nicht universell für verschiedene Arten von aktiven optischen Sensorsystemen oder verschiedene Ausführungsformen angewendet werden.
Kalibrierungsverfahren, die auf odometrischen Abschätzungen, beispielsweise basierend auf den Daten von Inertialsensoren, basieren, sind auf die Verfügbarkeit und Genauigkeit dieser zusätzlichen Sensoren angewiesen und daher potenziell ungenau und unzuverlässig.
Vor diesem Hintergrund ist eine Aufgabe der vorliegenden Erfindung, ein verbessertes Konzept zur Kalibrierung eines aktiven optischen Sensorsystems anzugeben, das nicht oder weniger abhängig vom konstruktiven Aufbau des aktiven optischen Sensorsystems ist und das insbesondere eine höhere Genauigkeit ermöglicht.
Erfindungsgemäß wird diese Aufgabe gelöst durch den Gegenstand der jeweiligen unabhängigen Ansprüche. Vorteilhafte Weiterbildungen und bevorzugte Ausführungsformen sind Gegenstand der abhängigen Ansprüche.
Das verbesserte Konzept beruht auf der Idee, in aufeinanderfolgenden Zeiträumen wenigstens zwei entsprechende Punktwolken aufzunehmen und eine Punktmengenregistrierung durchzuführen, indem wenigstens eine Koordinatentransformation auf die zweite Punktwolke angewendet wird und davon abhängig Parameter, die eine mögliche Fahrzeugtrajektorie definieren optimiert werden.
Gemäß dem verbesserten Konzept wird ein, insbesondere computerimplementiertes, Verfahren zur Kalibrierung eines aktiven optischen Sensorsystems, insbesondere eines an oder in einem Kraftfahrzeug montierten aktiven optischen Sensorsystems, angegeben. Eine mittels des Sensorsystems zu einem ersten Zeitpunkt erzeugte erste Punktwolke von Abtastpunkten und eine mittels des Sensorsystems zu einem zweiten Zeitpunkt, der insbesondere nach dem ersten Zeitpunkt liegt, erzeugte zweite Punktwolke werden bereitgestellt, insbesondere einer Recheneinheit bereitgestellt. Mittels der Recheneinheit, die insbesondere eine Recheneinheit des Sensorsystems oder des Kraftfahrzeugs ist, wird abhängig von wenigstens einem Parameter, der potenzielle Trajektorien des Kraftfahrzeugs zwischen dem ersten und dem zweiten Zeitpunkt beschreibt, wenigstens eine Koordinatentransformation der Punkte der zweiten Punktwolke durchgeführt. Mittels der Recheneinheit wird eine erste vorgegebene Zielfunktion basierend auf der ersten Punktwolke und einem Ergebnis der wenigstens einen Koordinatentransformation optimiert, indem wenigstens ein Parameterwert des wenigstens einen Parameters variiert wird. Mittels der Recheneinheit wird wenigstens ein Schätzwert für eine Pose des Sensorsystems, beispielsweise bezüglich eines vorgegebenen Referenzkoordinatensystems, basierend auf einem Ergebnis der Optimierung der ersten Zielfunktion bestimmt.
Die wenigstens eine Koordinatentransformation wird beispielsweise in parametrischer Abhängigkeit von dem wenigstens einen Parameter durchgeführt.
Bei dem ersten und dem zweiten Zeitpunkt kann es sich um diskrete Zeitpunkte oder um Zeiträume, insbesondere Einzelbildzeiträume oder Frames des Sensorsystems, handeln.
Insbesondere tastet das aktive optische Sensorsystem eine Umgebung des Sensorsystems und damit des Kraftfahrzeugs in periodisch aufeinanderfolgenden Einzelbildzeiträumen ab und erzeugt dabei jeweils eine Punktwolke. Während des Erzeugens der Punktwolken zweier aufeinanderfolgender Einzelbildzeiträume bewegt sich das Kraftfahrzeug im Allgemeinen.
Die potenziellen Trajektorien des Kraftfahrzeugs stellen beispielsweise zeitabhängige Raumkoordinaten dreier definierter Punkte des Kraftfahrzeugs, (ein einzelner Punkt legt lediglich die Translation des Fahrzeuges fest. Um auch die Rotation zu erfassen, werden drei (nicht entlang einer gerade liegende) Punkte benötigt) oder dreier bezüglich des Kraftfahrzeugs dreier unbewegter definierter Punkte, zwischen dem ersten und dem zweiten Zeitpunkt dar, die durch den wenigstens einen Parameter, insbesondere näherungsweise, beschrieben werden. Die potenziellen Trajektorien können beispielsweise Kreisbogenabschnitten mit konstantem Krümmungsradius und/oder konstanter Geschwindigkeit entsprechen. Die Trajektorie, auf der sich das Kraftfahrzeug zwischen dem ersten und dem zweiten Zeitpunkt tatsächlich bewegt, ist im Allgemeinen nicht bekannt beziehungsweise für das Verfahren nach dem verbesserten Konzept nicht erforderlich. Es wird vielmehr ausgenutzt, dass sich die tatsächliche Trajektorie in ausreichend kleinen Zeitabschnitten durch einen Kreisbogen annähern lässt.
Insbesondere führen unterschiedliche Parameterwerte des wenigstens einen Parameters zu unterschiedlichen Trajektorien. Die Parameterwerte entsprechen dabei insbesondere konkreten Zahlenwerten für die entsprechenden Parameter des wenigstens einen Parameters.
Unter der Pose des Sensorsystems kann insbesondere eine Kombination einer Position und einer Orientierung des Sensorsystems, insbesondere bezüglich des Referenzkoordinatensystems, verstanden werden. Insbesondere kann die Pose drei Positionskoordinaten des Sensorsystems, beispielsweise Koordinaten eines Koordinatenursprungs eines starr mit dem Sensorsystem verbundenen Sensorkoordinatensystems, sowie drei Winkel, insbesondere einen Rollwinkel, einen Nickwinkel und einen Gierwinkel, des Sensorkoordinatensystems in dem Referenzkoordinatensystem aufweisen.
Der wenigstens eine Schätzwert für die Pose enthält dann wenigstens einen Schätzwert für eine oder mehrere der Positionskoordinaten und/oder für einen oder mehrere der Winkel.
Hier und im Folgenden kann ein aktives optisches Sensorsystem dadurch als solches definiert sein, dass es eine Sendeeinheit mit einer Lichtquelle aufweist, insbesondere zum Aussenden von Licht beziehungsweise Lichtimpulsen. Die Lichtquelle kann insbesondere als Laser ausgestaltet sein. Des Weiteren weist ein aktives optisches Sensorsystem eine Empfangseinheit mit wenigstens einem optischen Detektor auf, insbesondere zum Erfassen von Licht oder Lichtimpulsen, insbesondere zum Erfassen reflektierter Anteile des ausgesendeten Lichts. Das aktive optische Sensorsystem ist dabei insbesondere dazu eingerichtet, basierend auf dem detektierten Licht ein oder mehrere Sensorsignale zu erzeugen, zu verarbeiten und/oder auszugeben.
Hier und im Folgenden kann der Begriff „Licht“ derart verstanden werden, dass damit elektromagnetische Wellen im sichtbaren Bereich, im Infrarotbereich und/oder im ultravioletten Bereich umfasst sind. Dementsprechend kann der Begriff „optisch“ derart verstanden werden, dass er sich auf Licht nach diesem Verständnis bezieht.
Das Licht, welches von dem aktiven optischen Sensorsystem ausgesendet wird, kann insbesondere infrarotes Licht, beispielsweise mit einer Wellenlänge von 905 nm, ungefähr 905 nm, 1200 nm oder ungefähr 1200 nm beinhalten. Diese Wellenlängenangaben können sich dabei jeweils auf einen Wellenlängenbereich mit einer entsprechend breiteren Verteilung beziehen, welche für die entsprechende Lichtquelle typisch ist.
Im vorliegenden Fall des aktiven optischen Sensorsystems kann es sich bei der Lichtquelle beispielsweise um eine Laserlichtquelle handeln. Die genannten Wellenlängen, im Rahmen üblicher Toleranzen, beispielsweise Peak-Wellenlängen des Laserspektrums entsprechen.
Das Sensorsystem kann beispielsweise eine Ablenkvorrichtung, beispielsweise mit einem beweglichen oder drehbar gelagerten Spiegel, beinhalten, mittels der von der Sendeeinheit erzeugtes Licht kontrolliert abgelenkt werden kann. In alternativen Ausführungsformen kann die Ablenkvorrichtung ein um eine oder zwei Achsen kipp- oder schwenkbares Spiegelelement zum Ablenken des Lichts in der Sendeebene aufweisen. Das Spiegelelement kann beispielsweise als mikroelektromechanisches System, MEMS, ausgestaltet sein.
Insbesondere entspricht eine Längsachse des Sensorsystems, welche beispielsweise eine x-Achse des Sensorkoordinatensystems definiert, einer Aussenderichtung der Lichtstrahlen bei einem Aussendewinkel von Null Grad, also beispielsweise bei einer Neutralstellung der Ablenkvorrichtung. Die Ablenkvorrichtung kann von der Neutralstellung abweichende Stellungen annehmen, um das Licht abzulenken, so dass es innerhalb einer Sendeebene aus dem Sensorsystem austritt.
Eine Querachse des Sensorsystems, welche beispielsweise eine y-Achse des Sensorkoordinatensystems definiert, liegt innerhalb der Sendeebene und steht beispielsweise senkrecht auf der Längsachse, welche per Konstruktion ebenfalls innerhalb der Sendeebene liegt. Eine Normalachse des Sensorsystems steht senkrecht auf der Längsachse und auf der Querachse des Sensorsystems. Die Normalachse des Sensorsystems definiert beispielsweise eine z-Achse des Sensorkoordinatensystems.
Mit anderen Worten ist eine Blickrichtung oder Aussenderichtung des Sensorsystems bei Neutralstellung der Ablenkvorrichtung gleich der x-Achse des Sensorkoordinatensystems. Die Sendeebene ist durch die xy-Ebene des Sensorkoordinatensystems gegeben. Das Sensorsystem kann Licht mit unterschiedlichen Aussendewinkeln innerhalb der Sendeebene aussenden.
Je nach Art des Sensorsystems können auch andere Definitionen der Achsen des Sensorkoordinatensystems sinnvoll sein.
Eine Längsachse des Kraftfahrzeugs, welche insbesondere eine x-Achse eines Fahrzeugkoordinatensystems definiert, ist beispielsweise gegeben durch eine Fahrtrichtung des Kraftfahrzeugs bei Neutralstellung eines Lenksystems des Kraftfahrzeugs oder bei einem Lenkwinkel, insbesondere einem Radwinkel oder einem Lenkradwinkel, des Kraftfahrzeugs von Null Grad. Eine Querachse des Kraftfahrzeugs steht senkrecht auf der Längsachse des Kraftfahrzeugs und liegt in einer Ebene, die parallel zur Fahrbahn ist beziehungsweise parallel zu einer Ebene, innerhalb der Auflagepunkte der Räder des Kraftfahrzeugs auf der Fahrbahn liegen. Die Querachse definiert insbesondere eine y-Achse des Fahrzeugkoordinatensystems. Eine Normalachse des Kraftfahrzeugs, welche insbesondere eine z-Achse des Fahrzeugkoordinatensystems definiert, steht senkrecht auf der Longitudinalachse und auf der Querachse des Kraftfahrzeugs.
Eine Gesamtwinkellage des Sensorsystems, also insbesondere die Orientierung des Sensorsystems, kann beispielsweise durch den Gierwinkel, den Nickwinkel und den Rollwinkel des Sensorsystems definiert sein. Diese sind dabei als Rotationswinkel oder Euler-Winkel des Sensorkoordinatensystems bezüglich des Referenzkoordinatensystems nach einer vorgegebenen Konvention definiert.
Die Konvention kann beispielsweise derart sein, dass sich das Sensorkoordinatensystem aus dem nominalen Koordinatensystem durch die folgenden drei Rotationen ergibt, wobei davon ausgegangen wird, dass das Sensorkoordinatensystem und das Referenzkoordinatensystem zunächst identisch sind: Das Sensorkoordinatensystem wird um den Gierwinkel um die z-Achse des nominalen Sensorkoordinatensystems rotiert. Danach wird das resultierende Sensorkoordinatensystem um den Nickwinkel um die resultierende y-Achse des resultierenden Sensorkoordinatensystems rotiert. Danach wird das resultierende Sensorkoordinatensystem um den Rollwinkel um die resultierende x-Achse des resultierenden Sensorkoordinatensystems rotiert. Andere Konventionen sind ebenfalls möglich.
Falls der Rollwinkel und der Nickwinkel gleich Null sind, entspricht der Gierwinkel insbesondere einem Rotationswinkel des Sensorkoordinatensystems um die z-Achse des nominalen Sensorkoordinatensystems. Falls der Rollwinkel und der Gierwinkel gleich Null sind, entspricht der Nickwinkel insbesondere einem Rotationswinkel des Sensorkoordinatensystems um die y-Achse des Referenzkoordinatensystems. Falls der Nickwinkel und der Gierwinkel gleich Null sind, entspricht der Rollwinkel insbesondere einem Rotationswinkel des Sensorkoordinatensystems um die x-Achse des Referenzkoordi n atensystem s.
Das Referenzkoordinatensystem kann beispielsweise durch das Fahrzeugkoordinatensystem gegeben oder definiert sein. Insbesondere kann das Referenzkoordinatensystem durch die Längsachse, die Querachse und die Normalachse des Kraftfahrzeugs gegeben oder definiert sein.
Dabei kann beispielsweise jede Koordinatenachse des nominalen Sensorkoordinatensystems parallel zu der entsprechenden Längsachse, Querachse oder Normalachse des Kraftfahrzeugs sein. Alternativ können die Koordinatenachsen des Referenzkoordinatensystems jeweils vordefinierte Winkel mit der Längsachse, der Querachse und/oder der Normalachse des Kraftfahrzeugs einschließen.
Die wenigstens eine Koordinatentransformation zusammen mit der Optimierung der ersten Zielfunktion kann beispielsweise als Punktmengenregistrierung der ersten und der zweiten Punktwolke verstanden werden.
Eine Abweichung der ersten Punktwolke von der transformierten zweiten Punktwolke kann als Maß für die Qualität der Punktmengenregistrierung verstanden werden. Die Abweichung der ersten von der transformierten zweiten Punktwolke kann beispielsweise von den Abweichungen der einzelnen Abtastpunkte der ersten Punktwolke von zugehörigen Abtastpunkten der transformierten zweiten Punktwolke abhängen. Die Abweichung kann beispielsweise anhand eines Gruppierungsverfahrens (englisch: „Binning“), anhand eines Iterativer-Nächstliegender-Punkt-Algorithmus (englisch: „Iterative Closest Point Algorithm“) oder anhand eines anderen Verfahrens zur Punktmengenregistrierung durchgeführt werden.
Unter dem Ergebnis der wenigstens einen Koordinatentransformation kann insbesondere die anhand der wenigstens einen Koordinatentransformation transformierte zweite Punktwolke verstanden werden.
Durch die Optimierung der Zielfunktion wird also diejenige Trajektorie der potenziellen Trajektorien ermittelt, insbesondere durch Ermitteln der entsprechenden Parameterwerte für den wenigstens einen Parameter, welche die kleinste Abweichung, also insbesondere die beste Punktmengenregistrierung, erzielt.
Das Optimieren kann dabei insbesondere ein Maximieren oder Minimieren der Zielfunktion beinhalten. Aufgrund der mathematischen Äquivalenz von Minimierung und Maximierung wird im Folgenden von einem Minimieren ausgegangen.
Dass die erste Zielfunktion basierend auf der ersten Punktwolke und der transformierten zweiten Punktwolke, also dem Ergebnis der wenigstens einen Koordinatentransformation, optimiert wird, kann derart verstanden werden, dass die Zielfunktion insbesondere von der ersten Punktwolke und der transformierten zweiten Punktwolke, insbesondere von der Abweichung, abhängt.
Das Ergebnis der Optimierung der ersten Zielfunktion beinhaltet insbesondere einen Wert oder einen parametrisch von der Pose abhängigen Ausdruck der ersten Zielfunktion bei denjenigen Parameterwerten des wenigstens einen Parameters, die zur Optimierung führen. Diese Parameter können auch als optimale Parameter bezeichnet werden. Die entsprechende Zielfunktion an dieser Stelle kann als Optimum der ersten Zielfunktion bezeichnet werden.
Der Schätzwert für die Pose des Sensorsystems kann insbesondere als Endergebnis oder Zwischenergebnis des Verfahrens zur Kalibrierung des aktiven optischen Sensorsystems verstanden werden.
Das Bestimmen des wenigstens einen Schätzwerts für die Pose kann als Kalibrieren des aktiven optischen Sensorsystems verstanden werden.
Gemäß dem verbesserten Konzept kann die Kalibrierung des aktiven optischen Sensorsystems ausschließlich basierend auf den mittels des Sensorsystems erzeugten Punktwolken erfolgen. Insbesondere ist keinerlei Kenntnis über externe Objekte oder eine Interpretation der Abtastpunkte erforderlich. Außerdem ist das Verfahren nach dem verbesserten Konzept weitgehend unabhängig von einer tatsächlichen Implementierung des Sensorsystems, also von einer Hardware des Sensorsystems, solange das Sensorsystem dazu in der Lage ist, entsprechende Punktwolken zu unterschiedlichen Zeitpunkten zu erzeugen. Dadurch kann das verbesserte Konzept zu einer erhöhten Genauigkeit und erhöhten Zuverlässigkeit der Kalibrierung führen.
Zudem ist die Durchführung des Kalibrierungsverfahrens online möglich, also während der normalen Fahrt des Kraftfahrzeugs. Da das Verfahren nicht auf bestimmte externe statische Objekte in der Umgebung des Kraftfahrzeugs angewiesen ist, kann das Verfahren prinzipiell beliebig oft und zu jeder Zeit durchgeführt werden. Entsprechend kann eine Mittelung der dadurch erzielten Schätzwerte für die Pose durchgeführt werden, was zu einer weiteren Erhöhung der Genauigkeit führt.
Gemäß dem verbesserten Konzept können Schätzwerte für alle Positionskoordinaten und alle Orientierungswinkel des Sensorsystems bestimmt werden. Sind einzelne dieser Koordinaten oder Winkel jedoch bekannt oder können als bekannt angenommen werden, so kann das Verfahren nach dem verbesserten Konzept auch lediglich auf die verbleibenden Koordinaten und/oder Winkel angewendet werden. Dadurch kann der Rechenaufwand verringert und die Genauigkeit unter Umständen erhöht werden.
Gemäß zumindest einer Ausführungsform des Verfahrens nach dem verbesserten Konzept werden die erste und die zweite Punktwolke mittels des aktiven optischen Sensorsystems erzeugt und bereitgestellt.
Gemäß zumindest einer Ausführungsform wird die wenigstens eine Koordinatentransformation mittels der Recheneinheit basierend auf vorgegebenen Initialwerten für die Pose durchgeführt.
Die Initialwerte können initiale, also geschätzte oder angenommene Werte für die Pose beinhalten, oder beispielsweise Ergebnisse einer vorherigen Iteration des Verfahrens nach dem verbesserten Konzept, also Schätzwerte, die wie oben beschrieben bestimmt wurden.
Die wenigstens eine Koordinatentransformation enthält insbesondere mehrere, beispielsweise fünf, hintereinander folgende einzelne Koordinatentransformationen.
Gemäß zumindest einer Ausführungsform wird mittels der Recheneinheit basierend auf dem Ergebnis der Optimierung der ersten Zielfunktion eine zweite Zielfunktion bestimmt, die, insbesondere parametrisch, von der Pose abhängt. Die zweite Zielfunktion wird mittels der Recheneinheit optimiert, indem wenigstens ein Wert der Pose variiert wird. Mittels der Recheneinheit wird der wenigstens eine Schätzwert für die Pose basierend auf einem Ergebnis der Optimierung der zweiten Zielfunktion bestimmt.
Die zweite Zielfunktion basiert also insbesondere auf dem Optimum der ersten Zielfunktion, hängt also nicht von dem wenigstens einen Parameter ab.
Das Ergebnis der Optimierung der zweiten Zielfunktion beinhaltet insbesondere ein Optimum der zweiten Zielfunktion und/oder optimale Posenwerte für die Pose, also diejenigen Werte für die Pose, welche die zweite Zielfunktion optimieren.
Gemäß zumindest einer Ausführungsform wird die zweite Zielfunktion mittels der Recheneinheit abhängig von einem durch die Optimierung der ersten Zielfunktion bestimmten Optimum der ersten Zielfunktion bestimmt. Die Optimierung der ersten und der zweiten Zielfunktion entspricht also einer verschachtelten Optimierung (englisch: „Nested Optimization“).
Gemäß zumindest einer Ausführungsform wird mittels der Recheneinheit ein durch die Optimierung der zweiten Zielfunktion bestimmtes Optimum der zweiten Zielfunktion mit einem vorgegebenen Grenzwert verglichen, und die Initialwerte für die Pose werden abhängig von einem Ergebnis des Vergleichs angepasst. Mittels der Recheneinheit wird die wenigstens eine Koordinatentransformation basierend auf den angepassten Initialwerten wiederholt, und die Optimierung der ersten Zielfunktion wird basierend auf einem Ergebnis der wiederholten wenigstens einen Koordinatentransformation ebenfalls wiederholt. Mittels der Recheneinheit wird ein weiterer Schätzwert für die Pose des Sensorsystems basierend auf einem Ergebnis der wiederholten Optimierung der ersten Zielfunktion bestimmt.
Der Grenzwert kann beispielsweise ein Maximalwert sein. Die Wiederholung der beschriebenen Schritte kann beispielsweise genau dann durchgeführt werden, wenn das Optimum der zweiten Zielfunktion größer ist als der Grenzwert. Ist das Optimum der zweiten Zielfunktion dagegen kleiner oder gleich dem Grenzwert, so kann der Schätzwert für die Pose als finaler Wert für die Pose angesehen werden.
Insbesondere können die Schritte des Anpassens der Initialwerte und des Wiederholens der Koordinatentransformation sowie der Optimierung der ersten Zielfunktion und gegebenenfalls die Optimierung der zweiten Zielfunktion solange iterativ wiederholt werden, bis das Optimum der zweiten Zielfunktion kleiner oder gleich dem Grenzwert ist.
Gemäß zumindest einer Ausführungsform enthält die wenigstens eine Koordinatentransformation eine erste, eine zweite, eine dritte, eine vierte und/oder eine fünfte Koordinatentransformation.
Gemäß zumindest einer Ausführungsform wird mittels der Recheneinheit die erste Koordinatentransformation der Punkte der zweiten Punktwolke von dem Sensorkoordinatensystem des Sensorsystems in das Fahrzeugkoordinatensystem des Kraftfahrzeugs durchgeführt.
Die erste Koordinatentransformation erfolgt insbesondere von dem Sensorkoordinatensystem in das Fahrzeugkoordinatensystem zu dem zweiten Zeitpunkt.
Gemäß zumindest einer Ausführungsform wird mittels der Recheneinheit die zweite Koordinatentransformation der Punkte der mittels der ersten Koordinatentransformation transformierten zweiten Punktwolke von dem Fahrzeugkoordinatensystem in ein lokales Koordinatensystem der potenziellen Trajektorien zum zweiten Zeitpunkt durchgeführt.
Die zweite Koordinatentransformation geht insbesondere vom Ergebnis der ersten Koordinatentransformation aus, nicht von der zweiten Punktwolke in dem Sensorkoordinatensystem.
Da das lokale Koordinatensystem parametrisch von dem wenigstens einen Parameter abhängt, handelt es sich um ein lokales Koordinatensystem der potenziellen Trajektorien.
Das lokale Koordinatensystem der potenziellen Trajektorien kann beispielsweise als Frenet-Koordinatensystem („begleitendes Dreibein“) ausgestaltet sein.
Gemäß zumindest einer Ausführungsform wird mittels der Recheneinheit die dritte Koordinatentransformation der Punkte der mittels der ersten und der zweiten Koordinatentransformation transformierten zweiten Punktwolke von dem lokalen Koordinatensystem der potenziellen Trajektorien zum zweiten Zeitpunkt in ein lokales Koordinatensystem der potenziellen Trajektorien zum ersten Zeitpunkt durchgeführt.
Die dritte Koordinatentransformation geht insbesondere vom Ergebnis der zweiten Koordinatentransformation aus.
Das lokale Koordinatensystem der potenziellen Trajektorien zum ersten Zeitpunkt kann beispielsweise ebenfalls als Frenet-Koordinatensystem ausgestaltet sein.
Gemäß zumindest einer Ausführungsform wird mittels der Recheneinheit die vierte Koordinatentransformation der Punkte der mittels der ersten, der zweiten und der dritten Koordinatentransformation transformierten zweiten Punktwolke von dem lokalen Koordinatensystem der potenziellen Trajektorien zum zweiten Zeitpunkt in das Fahrzeugkoordinatensystem, insbesondere zum zweiten Zeitpunkt, durchgeführt.
Die vierte Koordinatentransformation geht insbesondere vom Ergebnis der dritten Koordinatentransformation aus.
Die vierte Koordinatentransformation kann insbesondere als Inversion oder Rücktransformation der zweiten Koordinatentransformation angesehen werden.
Gemäß zumindest einer Ausführungsform wird mittels der Recheneinheit die fünfte Koordinatentransformation der Punkte der mittels der ersten, der zweiten, der dritten und der vierten Koordinatentransformation transformierten zweiten Punktwolke von dem Fahrzeugkoordinatensystem in das Sensorkoordinatensystem durchgeführt, insbesondere das Sensorkoordinatensystem zum ersten Zeitpunkt.
Die fünfte Koordinatentransformation geht dabei insbesondere vom Ergebnis der vierten Koordinatentransformation aus.
Die fünfte Koordinatentransformation kann dabei als Rücktransformation oder inverse Transformation der ersten Koordinatentransformation verstanden werden.
Insbesondere kann die wenigstens eine Koordinatentransformation wie folgt beschrieben werden: P2' = (K5 K4 K3 K2 K1) * P2.
Dabei bezeichnet P2 die zweite Punktwolke im Sensorkoordinatensystem, K1 bezeichnet die erste Koordinatentransformation, K2 die zweite Koordinatentransformation, K3 die dritte Koordinatentransformation, K4 die vierte Koordinatentransformation und K5 die fünfte Koordinatentransformation.
Gemäß zumindest einer Ausführungsform wird eine mittels des Sensorsystems zu einem dritten Zeitpunkt erzeugte dritte Punktwolke bereitgestellt, und mittels der Recheneinheit wird abhängig von wenigstens einem Parameter, der potenzielle weitere Trajektorien des Fahrzeugs zwischen dem zweiten und dem dritten Zeitpunkt beschreibt, wenigstens eine weitere Koordinatentransformation der dritten Punktwolke durchgeführt. Mittels der Recheneinheit wird eine vorgegebene weitere erste Zielfunktion basierend auf einem Ergebnis der wenigstens einen weiteren Koordinatentransformation optimiert, indem ein Parameterwert des wenigstens einen weiteren Parameters variiert wird, und der wenigstens eine Schätzwert für die Pose wird basierend auf einem Ergebnis der Optimierung der ersten weiteren Zielfunktion bestimmt.
Die wenigstens eine weitere Koordinatentransformation entspricht dabei der wenigstens einen Koordinatentransformation, jedoch angewendet auf die dritte Punktwolke anstelle der zweiten Punktwolke.
Dadurch kann eine höhere Genauigkeit der Kalibrierung erzielt werden.
Insbesondere können entsprechende Verfahrensschritte für weitere Punktwolken des Sensorsystems durchgeführt werden, um die Genauigkeit weiter zu erhöhen.
Gemäß zumindest einer Ausführungsform wird die wenigstens eine weitere Koordinatentransformation basierend auf den vorgegebenen Initialwerten für die Pose durchgeführt.
Gemäß zumindest einer Ausführungsform enthält die zweite Zielfunktion eine Summe des Optimums der ersten Zielfunktion und eines durch die Optimierung der ersten weiteren Zielfunktion bestimmten Optimums der ersten weiteren Zielfunktion.
Gemäß zumindest einer Ausführungsform enthält der wenigstens eine Parameter eine Längsgeschwindigkeit des Kraftfahrzeugs zwischen dem ersten und dem zweiten Zeitpunkt.
Die Längsgeschwindigkeit wird dabei zwischen dem zweiten und dem zweiten Zeitpunkt insbesondere als konstant angenommen.
Gemäß zumindest einer Ausführungsform enthält der wenigstens eine Parameter einen Krümmungsradius der potenziellen Trajektorien.
Der Krümmungsradius wird dabei zwischen dem zweiten und dem zweiten Zeitpunkt insbesondere als konstant angenommen.
Gemäß zumindest einer Ausführungsform enthält der wenigstens eine Parameter einen Winkel zwischen der Normalachse des Fahrzeugkoordinatensystems und einer Binormalen des lokalen Koordinatensystems der potenziellen Trajektorien.
Der Winkel kann zwischen dem ersten und dem zweiten Zeitpunkt beispielsweise als konstant angenommen werden.
Beispielsweise kann auch angenommen werden, dass die Längsachse des Fahrzeugkoordinatensystems zwischen dem ersten und dem zweiten Zeitpunkt einer Tangentialachse des lokalen Koordinatensystems der potenziellen Trajektorien entspricht.
Gemäß zumindest einer Ausführungsform enthält der wenigstens eine Parameter eine Windung oder Torsion der potenziellen Trajektorien, die zwischen dem ersten und dem zweiten Zeitpunkt beispielsweise als konstant angenommen werden kann.
Gemäß dem verbesserten Konzept wird auch eine Sensorvorrichtung für ein Kraftfahrzeug angegeben. Die Sensorvorrichtung weist ein aktives optisches Sensorsystem auf, das insbesondere an oder in dem Kraftfahrzeug montiert ist und das dazu eingerichtet ist, eine erste Punktwolke zu erzeugen, die eine Umgebung des Kraftfahrzeugs zu einem ersten Zeitpunkt abbildet und eine zweite Punktwolke zu erzeugen, die die Umgebung zu einem zweiten Zeitpunkt abbildet. Die Sensorvorrichtung weist eine Recheneinheit auf, die mit dem Sensorsystem zum Erhalten der Punktwolken gekoppelt ist.
Die Recheneinheit ist dazu eingerichtet, abhängig von wenigstens einem Parameter, der potenzielle Trajektorien des Kraftfahrzeugs zwischen dem ersten und dem zweiten Zeitpunkt beschreibt, wenigstens eine Koordinatentransformation der zweiten Punktwolke durchzuführen. Die Recheneinheit ist dazu eingerichtet, eine erste vorgegebene Zielfunktion basierend auf einem Ergebnis der wenigstens einen Koordinatentransformation der zweiten Punktwolke zu optimieren, indem wenigstens ein Parameterwert des wenigstens einen Parameters variiert wird und wenigstens einen Schätzwert für die Pose des Sensorsystems basierend auf einem Ergebnis der Optimierung der ersten Zielfunktion zu bestimmen.
Weitere Ausführungsformen der Sensorvorrichtung nach dem verbesserten Konzept folgen direkt aus den verschiedenen Ausführungsformen des Verfahrens nach dem verbesserten Konzept und umgekehrt. Insbesondere kann eine Sensorvorrichtung nach dem verbesserten Konzept dazu eingerichtet oder programmiert sein, ein Verfahren nach dem verbesserten Konzept durchzuführen oder die Sensorvorrichtung führt ein Verfahren nach dem verbesserten Konzept durch.
Gemäß dem verbesserten Konzept wird auch ein Kraftfahrzeug mit einer Sensorvorrichtung nach dem verbesserten Konzept angegeben.
Gemäß dem verbesserten Konzept wird ein Computerprogramm mit Befehlen angegeben. Die Befehle veranlassen bei Ausführung des Computerprogramms durch ein Computersystem, insbesondere durch eine Sensorvorrichtung nach dem verbesserten Konzept, beispielsweise durch die Recheneinheit der Sensorvorrichtung, das Computersystem dazu, ein Verfahren nach dem verbesserten Konzept durchzuführen.
Gemäß dem verbesserten Konzept wird ein computerlesbares Speichermedium angegeben, auf dem ein Computerprogramm nach dem verbesserten Konzept gespeichert ist.
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als erfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder von denen abweichen.
In den Figuren zeigen:

1 eine schematische Darstellung eines Kraftfahrzeugs mit einer beispielhaften Ausführungsform einer Sensorvorrichtung nach dem verbesserten Konzept sowie verschiedene Aspekte einer beispielhaften Ausführungsform eines Verfahrens nach dem verbesserten Konzept,
2 ein Ablaufdiagramm einer weiteren beispielhaften Ausführungsform eines Verfahrens nach dem verbesserten Konzept,
3 eine schematische Darstellung von Punktwolken gemäß einer weiteren beispielhaften Ausführungsform eines Verfahrens nach dem verbesserten Konzept; und
4 eine schematische Darstellung von Punktwolken einer weiteren beispielhaften Ausführungsform eines Verfahrens nach dem verbesserten Konzept.

In 1 ist ein Kraftfahrzeug 1 mit einer beispielhaften Ausführungsform einer Sensorvorrichtung 4 nach dem verbesserten Konzept dargestellt.
Ein Fahrzeugkoordinatensystem mit einer Längsachse x_F, einer Querachse y_F und einer Normalachse z_F ist starr mit dem Kraftfahrzeug 1 verbunden. Der Koordinatenursprung beziehungsweise die Orientierung des Fahrzeugkoordinatensystems kann beispielsweise gemäß ISO8855 definiert sein.
Die Sensorvorrichtung 4 weist ein aktives optisches Sensorsystem 2 auf, beispielsweise ein Lidarsystem. Ein starr mit dem Sensorsystem 2 verbundenes Sensorkoordinatensystem hat eine Längsachse x_s, eine Querachse y_s und eine Normalachse z_s. Ein Koordinatenursprung des Sensorkoordinatensystems ist bezüglich des Koordinatenursprungs des Fahrzeugkoordinatensystem um einen Verschiebungsvektor d verschoben.
Beispielhaft sind das Sensorkoordinatensystem und das Sensorsystem 2 außerhalb des Kraftfahrzeugs 1 dargestellt. Dies dient jedoch lediglich der Übersichtlichkeit. In verschiedenen Ausführungen ist das Sensorsystem 2 an oder in dem Kraftfahrzeug 1 montiert.
Die Sensorvorrichtung 4 weist außerdem eine Recheneinheit 3 auf, die mit dem Sensorsystem 2 verbunden ist. Während eines gegebenen Zeitintervalls kann sich das Kraftfahrzeug 1 beispielsweise entlang einer potenziellen Trajektorie 7 bewegen. Ist das Zeitintervall klein genug, so kann die Trajektorie 7 beispielsweise als Kreisbogenabschnitt mit einem konstanten Krümmungsradius R und einem Mittelpunkt M genähert werden. Das Kraftfahrzeug 1 kann sich beispielsweise mit einer näherungsweise konstanten Geschwindigkeit entlang der potenziellen Trajektorie 7 bewegen.
Die potenzielle Trajektorie 7 kann beispielsweise durch ein Frenet-Koordinatensystem, also ein lokales, gegebenenfalls zeitabhängiges, Trajektorienkoordinatensystem beschrieben werden. In 1 ist das Frenet-Koordinatensystem zu Beginn und zum Ende des Zeitintervalls dargestellt. Der Beginn des Zeitintervalls kann auch als erster Zeitpunkt und das Ende des Zeitintervalls als zweiter Zeitpunkt bezeichnet werden.
Zum ersten Zeitpunkt ist das Frenet-Koordinatensystem definiert durch eine Tangentialrichtung t, eine Trajektoriennormalrichtung n und eine Binormalrichtung b. Die Tangentialrichtung t entspricht dabei einer lokalen Tangente an die potenzielle Trajektorie 7. Die Trajektoriennormalrichtung n zeigt beispielsweise zum Mittelpunkt M des Kreisbogenabschnitts. Die Binormalrichtung b steht beispielsweise senkrecht auf der Tangentialrichtung t und der Binormalrichtung b.
Entsprechend ist das Frenet-Koordinatensystem zum zweiten Zeitpunkt gegeben durch die entsprechende Tangentialrichtung t', Trajektoriennormalrichtung n' und Binormalrichtung b'.
Im Allgemeinen schließt die Binormalrichtung b einen Winkel δ mit der Normalachse z_F des Fahrzeugkoordinatensystems ein, der sich entlang der Trajektorie 7 verändern kann. Hier kann beispielsweise angenommen werden, dass der Winkel δ entlang der potenziellen Trajektorie 7 näherungsweise konstant ist.
Die Funktion der Sensorvorrichtung 4 wird im Folgenden anhand beispielhafter Ausführungsformen eines Verfahrens nach dem verbesserten Konzept und insbesondere unter Bezug auf die Figuren 2 bis 4 näher erläutert.
In 2 ist ein Ablaufdiagramm einer beispielhaften Ausführungsform eines Verfahrens nach dem verbesserten Konzept dargestellt.
In Schritt S1 des Verfahrens werden mittels des Sensorsystems 2 wenigstens eine erste Punktwolke 5 (siehe 3 und 4) von Abtastpunkten einer Umgebung des Kraftfahrzeugs 1 zum ersten Zeitpunkt und eine zweite Punktwolke 6 (siehe 3 und 4) von Abtastpunkten der Umgebung des Kraftfahrzeugs 1 zum zweiten Zeitpunkt erzeugt. Der Zeitunterschied zwischen dem zweiten und dem zweiten Zeitpunkt ist dabei insbesondere derart klein, dass die Geschwindigkeit des Kraftfahrzeugs 1, der Radius R sowie der Winkel δ als konstant angenommen werden können. Beispielsweise kann der Zeitunterschied in der Größenordnung von einer oder einigen Zehntelsekunden liegen.
Außerdem wird angenommen, dass sich Orientierung und Position des Sensorsystems 2 bezüglich des Kraftfahrzeugs 1 während des Zeitraums zwischen dem zweiten und dem zweiten Zeitpunkt nicht verändert.
In Schritt S2 werden Initialwerte für eine Pose, also für den Verschiebungsvektor d, einen Nickwinkel, einen Gierwinkel und einen Rollwinkel des Sensorkoordinatensystems bezüglich des Fahrzeugkoordinatensystems vorgegeben, beispielsweise geschätzt oder anhand sonstiger plausibler Annahmen vorgegeben.
In Schritt S3 führt die Recheneinheit 3 eine fünfstufige Koordinatentransformation der zweiten Punktwolke 6 durch, um diese näherungsweise auf die erste Punktwolke 5 abzubilden.
Dazu wird in einer ersten Koordinatentransformation die zweite Punktwolke 6 von dem Sensorkoordinatensystem in das Fahrzeugkoordinatensystem zum zweiten Zeitpunkt transformiert. Da die erste Koordinatentransformation von der Pose des Sensorsystems 2 bezüglich des Fahrzeugkoordinatensystems abhängt, wird diese basierend auf den vorgegebenen Initialwerten für die Pose durchgeführt.
In einer zweiten Koordinatentransformation wird die resultierende transformierte zweite Punktwolke 6 von dem Fahrzeugkoordinatensystem in das Frenet-Koordinatensystem der Trajektorie 7 zum zweiten Zeitpunkt transformiert. Die zweite Koordinatentransformation hängt insbesondere von dem Winkel δ ab.
In einer dritten Koordinatentransformation wird die resultierende transformierte zweite Punktwolke von dem Frenet-Koordinatensystem zum zweiten Zeitpunkt in dem Frenet-Koordinatensystem zum zweiten Zeitpunkt transformiert, insbesondere abhängig von der Geschwindigkeit des Kraftfahrzeugs 1, dem Radius R und gegebenenfalls der Torsion der Trajektorie 7.
In einer vierten Koordinatentransformation wird die resultierende zweite Punktwolke von dem Frenet-Koordinatensystem zum ersten Zeitpunkt zurück in das Fahrzeugkoordinatensystem zum ersten Zeitpunkt transformiert. Dies entspricht einer Rücktransformation der zweiten Koordinatentransformation.
In einer fünften Koordinatentransformation wird die resultierende zweite Punktwolke von dem Fahrzeugkoordinatensystem in das Sensorkoordinatensystem zum ersten Zeitpunkt transformiert, was einer Rücktransformation der ersten Koordinatentransformation entspricht.
Das Ergebnis der fünften Koordinatentransformation und damit der gesamten fünfstufigen Koordinatentransformation ist eine transformierte zweite Punktwolke 6' (siehe 3 und 4).
Im Schritt S4 bestimmt die Recheneinheit 3 eine innere Verlust- oder Kostenfunktion, welche eine Punktmengenregistrierung der ersten Punktwolke 5 und der zweiten Punktwolke 6 quantifiziert, also eine Abweichung der transformierten zweiten Punktwolke 6' von der ersten Punktwolke 5. Die innere Verlustfunktion stellt also ein Maß für die Abweichung der anhand der fünfstufigen Koordinatentransformation transformierten zweiten Punktwolke 6' von der ersten Punktwolke 5 dar.
Im Schritt S4 optimiert die Recheneinheit 3 außerdem die Punktmengenregistrierung der ersten Punktwolke 5 und der zweiten Punktwolke 6, indem die innere Verlustfunktion minimiert wird. Dazu werden insbesondere die Parameter der potenziellen Trajektorie 7, also die Geschwindigkeit des Kraftfahrzeugs 1, der Radius R, die Torsion und/oder der Winkel δ variiert.
Optional können die Schritte S3 und S4 auch für weitere Zeitabschnitte wiederholt werden, zu denen jeweils weitere Punktwolken erzeugt werden.
In Schritt S5 bestimmt die Recheneinheit 3 eine äußere Verlustfunktion basierend auf dem Optimum der inneren Verlustfunktion und gegebenenfalls weiterer innerer Verlustfunktionen der weiteren Punktwolkenregistrierungen.
Insbesondere kann die äußere Verlustfunktion als Summe aller inneren Verlustfunktionen bestimmt werden.
In Schritt S5 optimiert die Recheneinheit 3 die Pose des Sensorsystems 2 durch Minimierung der äußeren Verlustfunktion, indem die angenommenen Werte für die Pose des Sensorsystems 2 variiert werden.
Im Schritt S6 vergleicht die Recheneinheit 3 den Optimalwert der äußeren Verlustfunktion mit einem vorgegebenen Grenzwert. Ist der Optimalwert der äußeren Verlustfunktion größer als der Grenzwert, so wird das Verfahren mit Schritt S2 fortgesetzt, wobei nun angepasste Initialwerte für die Pose des Sensorsystems verwendet werden, nämlich diejenigen, die in der vorhergehenden Iteration die äußere Verlustfunktion optimiert haben.
Wird in Schritt S6 festgestellt, dass der Optimalwert der äußeren Verlustfunktion kleiner oder gleich dem Grenzwert ist, so wird das Verfahren in Schritt S7 beendet. Die zuletzt bestimmten, die äußere Verlustfunktion optimierenden Werte für die Pose können als finale Schätzwerte für die Pose des Sensorsystems 2 und Ergebnis der Kalibrierung angesehen werden.
Zur Durchführung der Optimierungen können bekannte Verfahren eingesetzt werden, insbesondere deterministische Verfahren, wie beispielsweise Downhill-Simplex (auch als Nelder-Mead-Verfahren bezeichnet), stochastische Verfahren, wie beispielsweise Simulated-Annealing, Regressionsverfahren, genetische Algorithmen oder auf maschinellem Lernen basierende Verfahren, wie beispielsweise künstliche neuronale Netzwerke.
In 3 sind Punktwolken 5, 6, 6' gemäß einem Verfahren, wie es bezüglich 2 erläutert wurde, schematisch dargestellt.
In einer ersten Schraffur ist die erste Punktwolke 5 dargestellt, in einer zweiten Schraffur die zweite Punktwolke 6 und die aus der fünfstufigen Koordinatentransformation resultierende transformierte zweite Punktwolke 6' in einer dritten Schraffur.
Wie aus 3 ersichtlich, bestehen zwischen der ersten Punktwolke 5 und der transformierten zweiten Punktwolke 6' signifikante Abweichungen, und auch die potenzielle Trajektorie 7 beschreibt eine im vorliegenden Fall unrealistische Trajektorie.
Dies bedeutet, dass die äußere Verlustfunktion in einer der 3 entsprechenden Iteration noch zu weit von dem Grenzwert entfernt ist, um die Kalibrierung als abgeschlossen anzusehen. Mit anderen Worten stellen die aktuellen Schätzwerte für die Pose des Sensorsystems 2 die tatsächliche Pose noch unzureichend gut dar.
In 4 sind weitere Darstellungen der Punktwolken 5, 6, 6' dargestellt. Die Darstellung der 4 kann beispielsweise einer späteren Iteration entsprechen, wie diejenige der 3.
Wie aus 4 erkennbar ist, ist die Abweichung zwischen den zweiten Punktwolke 5 und der transformierten zweiten Punktwolke 6' deutlich geringer als in 3.
Dementsprechend kann der Wert der äußeren Verlustfunktion gemäß 4 beispielsweise kleiner oder gleich dem vorgegebenen Grenzwert sein. Mit anderen Worten kann der aktuelle Schätzwert für die Pose des Sensorsystems 2 als Ergebnis der Kalibrierung angesehen werden.
Wie beschrieben, kann anhand des verbesserten Konzepts eine Kalibrierung eines aktiven optischen Sensorsystems basierend ausschließlich auf mittels des Sensorsystems erzeugten Punktwolken mit hoher Genauigkeit und unabhängig von der konkreten Implementierung des aktiven optischen Sensorsystems erreicht werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 2018/0357773 A1 [0004]

Claims

Computerimplementiertes Verfahren zur Kalibrierung eines aktiven optischen Sensorsystems (2) eines Kraftfahrzeugs (1), wobei eine mittels des Sensorsystems (2) zu einem ersten Zeitpunkt erzeugte erste Punktwolke (5) und eine mittels des Sensorsystems (2) zu einem zweiten Zeitpunkt erzeugte zweite Punktwolke (6) bereitgestellt werden; dadurch gekennzeichnet, dass mittels einer Recheneinheit (3) - abhängig von wenigstens einem Parameter, der potenzielle Trajektorien (7) des Kraftfahrzeugs (1) zwischen dem ersten und dem zweiten Zeitpunkt beschreibt, wenigstens eine Koordinatentransformation der zweiten Punktwolke (6) durchgeführt wird; - eine erste vorgegebene Zielfunktion basierend auf der ersten Punktwolke und einem Ergebnis der wenigstens einen Koordinatentransformation optimiert wird, indem wenigstens ein Parameterwert des wenigstens einen Parameters variiert wird; und - wenigstens ein Schätzwert für eine Pose des Sensorsystems (2) basierend auf einem Ergebnis der Optimierung der ersten Zielfunktion bestimmt wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die wenigstens eine Koordinatentransformation basierend auf vorgegebenen Initialwerten für die Pose durchgeführt wird.
Verfahren nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass mittels der Recheneinheit (3) - basierend auf dem Ergebnis der Optimierung der ersten Zielfunktion eine zweite Zielfunktion bestimmt wird, die parametrisch von der Pose abhängt; - die zweite Zielfunktion optimiert wird, indem wenigstens ein Wert der Pose variiert wird; und - der wenigstens eine Schätzwert für die Pose basierend auf einem Ergebnis der Optimierung der zweiten Zielfunktion bestimmt wird.
Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass die zweite Zielfunktion abhängig von einem durch die Optimierung der ersten Zielfunktion bestimmten Optimum der ersten Zielfunktion bestimmt wird.
Verfahren nach Anspruch 2 und Anspruch 3 oder 4, dadurch gekennzeichnet, dass mittels der Recheneinheit (2) - ein durch die Optimierung der zweiten Zielfunktion bestimmtes Optimum der zweiten Zielfunktion mit einem vorgegebenen Grenzwert verglichen wird; - die Initialwerte für die Pose abhängig von einem Ergebnis des Vergleichs angepasst werden; - die wenigstens eine Koordinatentransformation basierend auf den angepassten Initialwerten wiederholt wird; - die Optimierung der ersten Zielfunktion basierend auf einem Ergebnis der wiederholten wenigstens einen Koordinatentransformation wiederholt wird; und - ein weiterer Schätzwert für die Pose des Sensorsystems (2) basierend auf einem Ergebnis der wiederholten Optimierung der ersten Zielfunktion bestimmt wird.
Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass mittels der Recheneinheit (2) eine erste Koordinatentransformation der zweiten Punktwolke (6) von einem Sensorkoordinatensystem des Sensorsystems (2) in ein Fahrzeugkoordinatensystem des Kraftfahrzeugs (1) durchgeführt wird.
Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass mittels der Recheneinheit (2) eine zweite Koordinatentransformation der transformierten zweiten Punktwolke von dem Fahrzeugkoordinatensystem in ein lokales Koordinatensystem der potenziellen Trajektorien (7) zum zweiten Zeitpunkt durchgeführt wird.
Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass mittels der Recheneinheit (2) eine dritte Koordinatentransformation der transformierten zweiten Punktwolke von dem lokalen Koordinatensystem der potenziellen Trajektorien (7) zum zweiten Zeitpunkt in ein lokales Koordinatensystem der potenziellen Trajektorien (7) zum ersten Zeitpunkt durchgeführt wird.
Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass mittels der Recheneinheit (2) eine vierte Koordinatentransformation der transformierten zweiten Punktwolke von dem lokalen Koordinatensystem der potenziellen Trajektorien (7) zum ersten Zeitpunkt in das Fahrzeugkoordinatensystem durchgeführt wird.
Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass mittels der Recheneinheit (2) eine fünfte Koordinatentransformation der transformierten zweiten Punktwolke von dem Fahrzeugkoordinatensystem in das Sensorkoordinatensystem durchgeführt wird.
Verfahren nach einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, dass - eine mittels des Sensorsystems (2) zu einem dritten Zeitpunkt erzeugte dritte Punktwolke bereitgestellt wird und mittels der Recheneinheit (2) - abhängig von wenigstens einem weiteren Parameter, der potenzielle weitere Trajektorien des Kraftfahrzeugs (1) zwischen dem zweiten und dem dritten Zeitpunkt beschreibt, wenigstens eine weitere Koordinatentransformation der dritten Punktwolke durchgeführt wird; - eine weitere erste vorgegebene Zielfunktion basierend auf einem Ergebnis der wenigstens einen weiteren Koordinatentransformation optimiert wird, indem wenigstens ein Parameterwert des wenigstens einen weiteren Parameters variiert wird; und - der wenigstens eine Schätzwert für die Pose basierend auf einem Ergebnis der Optimierung der ersten weiteren Zielfunktion bestimmt wird.
Verfahren nach Anspruch 11 und nach Anspruch 4, dadurch gekennzeichnet, dass die zweite Zielfunktion eine Summe des Optimums der ersten Zielfunktion und eines durch die Optimierung der ersten weiteren Zielfunktion bestimmten Optimums der ersten weiteren Zielfunktion enthält.
Verfahren nach einem der Ansprüche 1 bis 12, dadurch gekennzeichnet, dass der wenigstens eine Parameter eine Längsgeschwindigkeit des Kraftfahrzeugs (1), und/oder einen Krümmungsradius der potenziellen Trajektorien (7) enthält.
Sensorvorrichtung für ein Kraftfahrzeug (1), die Sensorvorrichtung (4) aufweisend - ein aktives optisches Sensorsystem (2), das dazu eingerichtet ist, eine erste Punktwolke (5) zu erzeugen, die eine Umgebung des Kraftfahrzeugs (1) zu einem ersten Zeitpunkt abbildet und eine zweite Punktwolke (6) zu erzeugen, die die Umgebung zu einem zweiten Zeitpunkt abbildet; und - eine Recheneinheit (3), die mit dem Sensorsystem (2) zum Erhalten der Punktwolken (5, 6) gekoppelt ist; dadurch gekennzeichnet, dass Recheneinheit (4) dazu eingerichtet ist, - abhängig von wenigstens einem Parameter, der potenzielle Trajektorien (7) des Kraftfahrzeugs (1) zwischen dem ersten und dem zweiten Zeitpunkt beschreibt, wenigstens eine Koordinatentransformation der zweiten Punktwolke (6) durchzuführen; - eine erste vorgegebene Zielfunktion basierend auf einem Ergebnis der wenigstens einen Koordinatentransformation der zweiten Punktwolke (6) zu optimieren, indem wenigstens ein Parameterwert des wenigstens einen Parameters variiert wird; und - wenigstens einen Schätzwert für eine Pose des Sensorsystems (2) basierend auf einem Ergebnis der Optimierung der ersten Zielfunktion zu bestimmen.
Computerprogramm mit Befehlen, welche bei Ausführung des Computerprogramms durch ein Computersystem das Computersystem dazu veranlassen, ein Verfahren nach einem der Ansprüche 1 bis 13 durchzuführen.