DE102022114178A1

DE102022114178A1 - Kalibrierung eines Umfeldsensorsystems einer Infrastrukturvorrichtung

Info

Publication number: DE102022114178A1
Application number: DE102022114178.0A
Authority: DE
Inventors: Jens Koestner; Kai Hacker
Original assignee: Valeo Schalter und Sensoren GmbH
Current assignee: Valeo Schalter und Sensoren GmbH
Priority date: 2022-06-03
Filing date: 2022-06-03
Publication date: 2023-12-14
Also published as: WO2023232582A1

Abstract

Gemäß einem computerimplementierten Verfahren zur Kalibrierung eines Umfeldsensorsystems (5, 5a, 5b, 5c) werden Sensordaten des Umfeldsensorsystems (5, 5a, 5b, 5c) erhalten, basierend darauf werden ein erstes Markierungselement (6, 6a, 6b, 6c, 7, 7a, 7b, 7c) in dem Sichtfeld identifiziert und Poseninformationen des ersten Markierungselements (6, 6a, 6b, 6c, 7, 7a, 7b, 7c) bestimmt. Basierend auf den Sensordaten wird ein zweites Markierungselement (6, 6a, 6b, 6c, 7, 7a, 7b, 7c) in dem Sichtfeld identifiziert und Relativposeninformationen des ersten Markierungselements (6, 6a, 6b, 6c, 7, 7a, 7b, 7c) und des zweiten Markierungselements (6, 6a, 6b, 6c, 7, 7a, 7b, 7c) zueinander werden bestimmt. Es wird ein Abgleich der Relativposeninformationen mit vorgegebenen Soll-Relativposeninformationen durchgeführt und abhängig von einem Ergebnis des Abgleichs und den Poseninformationen des ersten Markierungselements (6, 6a, 6b, 6c, 7, 7a, 7b, 7c) werden gespeicherte Sensorposeninformationen des Umfeldsensorsystems (5, 5a, 5b, 5c) in einem Referenzkoordinatensystem der Infrastrukturvorrichtung (1) korrigiert.

Description

Die vorliegende Erfindung betrifft ein computerimplementiertes Verfahren zur Kalibrierung eines Umfeldsensorsystems einer Infrastrukturvorrichtung, wobei Sensordaten erhalten werden, die ein Sichtfeld des Umfeldsensorsystems darstellen, basierend auf den Sensordaten ein erstes Markierungselement in dem Sichtfeld identifiziert wird und Poseninformationen des ersten Markierungselements bestimmt werden. Die Erfindung betrifft ferner ein Verfahren zum wenigstens teilweise automatischen Führen eines Fahrzeugs, eine Kalibriervorrichtung für ein Umfeldsensorsystem einer Infrastrukturvorrichtung, eine Infrastrukturvorrichtung mit einer solchen Kalibriervorrichtung sowie ein Computerprogrammprodukt.
Bei verschiedenen Anwendungen zum teilweise oder vollständig automatischen Führen von Fahrzeugen werden die mittels der vielfältigen Sensorsysteme des Fahrzeugs erzeugten Sensordaten als Grundlage zur Lokalisierung, Trajektorienplanung, Objekterkennung und für sonstige Aufgaben und Funktionen verwendet.
In anderen Anwendungsfällen, beispielsweise aber nicht ausschließlich beim automatischen fahrerlosen Parken, was auch als automatisches oder autonomes Valet-Parken bezeichnet wird, oder bei Logistikanwendungen, wie beispielsweise der Verladung, dem Transport oder der Produktion von Fahrzeugen, werden Infrastruktursysteme eingesetzt, die eine Vielzahl von Umfeldsensorsystemen, beispielsweise Kameras, aufweisen. Ein vorgegebener befahrbarer Bereich ist dann beispielsweise von den Umfeldsensorsystemen einsehbar und überwachbar. Basierend auf den so erzeugten Sensordaten kann das jeweilige Fahrzeug lokalisiert und geführt werden.
Um das Fahrzeug genau lokalisieren zu können beziehungsweise das Fahrzeug zuverlässig und sicher führen zu können, ist es erforderlich, die exakte Position und Orientierung der einzelnen Umfeldsensorsysteme in einem Referenzkoordinatensystem, beispielsweise einem Koordinatensystem einer Karte oder dergleichen, zu kennen. Ein Problem, das dabei auftreten kann, ist, dass sich die Position und/oder Orientierung des Umfeldsensorsystems nachträglich ändert, beispielsweise durch Vandalismus oder durch Vibrationen oder dergleichen. Solche Abweichungen in der Position und/oder Orientierung können bei Kameras als Umfeldsensorsystemen beispielsweise manuell identifiziert werden, indem Unterschiede in einem aktuellen Kamerabild zu einem Referenzbild oder Kalibrierungsbild identifiziert werden.
Ferner ist es möglich, kameralesbare Markierungselemente, beispielsweise sogenannte ArUco-Marker, in der Umgebung der Kamera anzubringen und basierend auf einem Kamerabild die relative Position und/oder Orientierung des Markierungselements bezüglich der Kamera zu bestimmen. ArUco-Marker werden in der Veröffentlichung S. Garrido-Jurado et al.: „Automatic generation and detection of highly reliable fiducial markers under occlusion", Pattern Recogn. 47, 6 (2014), 2280-2292, beschrieben.
Dokument DE 10 2019 220 364 A1 beschreibt beispielsweise eine Kalibriereinrichtung für eine Vorrichtung mit einem Erfassungselement zum Erfassen von Bilddaten und einer Auswertungseinrichtung, die dazu eingerichtet ist, die Bilddaten hinsichtlich eines Markierungselements auszuwerten und aus den ausgewerteten Bilddaten eine Position und Pose der Vorrichtung zu ermitteln. Dazu werden kollineare Punktgruppen des Markierungselements analysiert.
Bei derartigen Ansätzen muss jedoch davon ausgegangen werden, dass das Markierungselement selbst eine feste Position und Orientierung in dem Referenzkoordinatensystem hat und sich diese auch im Laufe der Zeit nicht verändern. Kommt es nachträglich zu einer Veränderung der Position oder Orientierung des Markierungselements, so kann demzufolge auch die Position beziehungsweise Orientierung der Kamera nicht zuverlässig überprüft werden.
Es ist eine Aufgabe der vorliegenden Erfindung, eine zuverlässigere Möglichkeit zur Kalibrierung eines Umfeldsensorsystems einer Infrastrukturvorrichtung anzugeben, bei der insbesondere die Möglichkeit berücksichtigt wird, dass eine gespeicherte Position und/oder Orientierung eines Markierungselements fehlerbehaftet ist.
Diese Aufgabe wird gelöst durch den jeweiligen Gegenstand der unabhängigen Ansprüche. Weitere Ausführungsformen sind Gegenstand der abhängigen Ansprüche.
Die Erfindung beruht auf der Idee, basierend auf Sensordaten des Umfeldsensorsystems zwei voneinander unabhängige Markierungselemente zu identifizieren und deren Relativposition und/oder Relativorientierung zueinander mit vorgegebenen Sollwerten abzugleichen und abhängig von dem Ergebnis des Abgleichs unter Berücksichtigung der Position und/oder Orientierung eines der Markierungselemente bezüglich des Umfeldsensorsystems dessen Position und/oder Orientierung in einem Referenzkoordinatensystem zu korrigieren.
Gemäß einem Aspekt der Erfindung wird ein computerimplementiertes Verfahren zur Kalibrierung eines Umfeldsensorsystems, insbesondere eines optischen Umfeldsensorsystems, einer Infrastrukturvorrichtung, insbesondere einer Infrastrukturvorrichtung zum wenigstens teilweise automatischen Führen eines Fahrzeugs, angegeben. Gemäß dem computerimplementierten Verfahren werden Sensordaten erhalten, insbesondere von dem Umfeldsensorsystem, die ein Sichtfeld des Umfeldsensorsystems darstellen, beispielsweise abbilden. Basierend auf den Sensordaten wird ein erstes Markierungselement in dem Sichtfeld identifiziert und Poseninformationen des ersten Markierungselements werden bestimmt. Basierend auf den Sensordaten wird ein zweites Markierungselement in dem Sichtfeld identifiziert und Relativposeninformationen des ersten Markierungselements und des zweiten Markierungselements zueinander werden bestimmt. Ein Abgleich der Relativposeninformationen mit vorgegebenen Soll-Relativposeninformationen wird durchgeführt. Abhängig von einem Ergebnis des Abgleichs und abhängig von den Poseninformationen des ersten Markierungselements werden gespeicherte Sensorposeninformationen des Umfeldsensorsystems in einem Referenzkoordinatensystem der Infrastrukturvorrichtung korrigiert.
Sofern nicht anders angegeben, können alle Schritte des computerimplementierten Verfahrens von mindestens einer Recheneinheit durchgeführt werden, die auch als Datenverarbeitungsvorrichtung bezeichnet werden kann. Insbesondere umfasst die Datenverarbeitungsvorrichtung mindestens eine Verarbeitungsschaltung, die dazu eingerichtet oder angepasst ist, die Schritte des computerimplementierten Verfahrens durchführen. Hierzu kann in der Datenverarbeitungsvorrichtung insbesondere ein Computerprogramm gespeichert sein, das Anweisungen umfasst, die bei Ausführung durch die Datenverarbeitungsvorrichtung, insbesondere die mindestens eine Verarbeitungsschaltung, die Datenverarbeitungsvorrichtung veranlassen, das computerimplementierte Verfahren auszuführen.
Aus jeder Ausführungsform des computerimplementierten Verfahrens gemäß der Erfindung lässt sich unmittelbar eine entsprechende Ausführungsform eines Verfahrens zur Kalibrierung des Umfeldsensorsystems ableiten, welches nicht rein computerimplementiert ist, und welches einen Schritt beinhaltet, gemäß dem mittels des Umfeldsensorsystems die Sensordaten erzeugt werden.
Ein Umfeldsensorsystem kann beispielsweise als Sensorsystem verstanden werden, das dazu in der Lage ist, Sensordaten oder Sensorsignale zu erzeugen, welche eine Umgebung Umfeldsensorsystems abbilden, darstellen oder wiedergeben. Insbesondere ist die Fähigkeit, elektromagnetische oder sonstige Signale aus der Umgebung zu erfassen, nicht hinreichend, um ein Sensorsystem als Umfeldsensorsystem zu erachten. Beispielsweise können Kameras, Radarsysteme, Lidarsysteme oder Ultraschallsensorsysteme als Umfeldsensorsysteme aufgefasst werden.
Ein optisches Umfeldsensorsystem kann dementsprechend als Umfeldsensorsystem aufgefasst werden, bei dem es sich bei den elektromagnetischen Signalen um Licht handelt. Der Begriff Licht kann dabei derart verstanden werden, dass davon elektromagnetische Wellen im sichtbaren Bereich, im infraroten Bereich und/oder im ultravioletten Bereich umfasst sind. Dementsprechend kann auch der Begriff optisch derart verstanden werden, dass er sich auf Licht nach diesem Verständnis bezieht.
Demzufolge können beispielsweise Kameras und Lidar-Systeme, insbesondere Flash-Lidar-Systeme, als optische Umfeldsensorsysteme verstanden werden.
Unter einer Pose kann im Allgemeinen die Kombination aus einer Position, insbesondere einer dreidimensionalen Position, und einer Orientierung, insbesondere im dreidimensionalen Raum, verstanden werden. Eine Pose eines Objekts kann daher im dreidimensionalen Raum durch sechs Freiheitsgrade vollständig festgelegt werden, wobei drei der sechs Freiheitsgrade, beispielsweise kartesische oder sonstige dreidimensionale Koordinaten, die Position des Objekts festlegen und drei weitere der sechs Freiheitsgrade, beispielsweise drei Orientierungswinkel, insbesondere Eulerwinkel, die auch als Gierwinkel, Nickwinkel und Rollwinkel bezeichnet werden, die Orientierung des Objekts festlegen.
Unter Poseninformationen können hier und im Folgenden Informationen betreffend die Pose des entsprechenden Objekts, also insbesondere der Markierungselemente beziehungsweise des Umfeldsensorsystems, verstanden werden. Poseninformationen nach diesem Verständnis können also beispielsweise der Pose des jeweiligen Objekts entsprechen oder identisch zu dieser sein. Poseninformationen können aber auch lediglich Teilen der Pose des jeweiligen Objekts entsprechen oder identisch dazu sein.
Bei Poseninformationen kann es sich im Allgemeinen also beispielsweise um die Position des Objekts handeln oder um die Orientierung des Objekts oder um die Pose, also die Kombination aus Position und Orientierung.
In bevorzugten Ausführungsformen handelt es sich bei den Poseninformationen des ersten Markierungselements um eine Pose des ersten Markierungselements, bei den Relativposeninformationen um eine relative Pose des ersten Markierungselements bezüglich des zweiten Markierungselements oder umgekehrt und/oder bei den Sensorposeninformationen um eine Pose des Umfeldsensorsystems. Mit anderen Worten kann der Begriff Poseninformationen in solchen Ausführungsformen durch den Begriff Pose ersetzt werden.
Neben dem Umfeldsensorsystem kann die Infrastrukturvorrichtung eines oder mehrere weitere Umfeldsensorsysteme aufweisen, die baugleich oder verschieden zu dem Umfeldsensorsystem ausgestaltet sein können. Auf diese Weise kann ein Fahrzeug in einem größeren Bereich beziehungsweise genauer geführt, insbesondere lokalisiert, werden. Das computerimplementierte Verfahren kann in analoger Weise wie bezüglich des Umfeldsensorsystems beschrieben für die weiteren Umfeldsensorsysteme der Infrastrukturvorrichtung verwendet werden.
Die Infrastrukturvorrichtung kann einen befahrbaren Bereich für das Fahrzeug, beispielsweise eine oder mehrere Straßen oder Fahrwege, einen Parkplatz oder mehrere Parkplätze für das Fahrzeug, Wände, Gebäudeteile, Beleuchtungsvorrichtungen und so weiter beinhalten. Beispielsweise kann die Infrastrukturvorrichtung als Parkeinrichtung, beispielsweise Parkhaus, für das Fahrzeug ausgestaltet sein, insbesondere als Parkeinrichtung oder Parkhaus zum automatischen fahrerlosen Parken, auch als Valet-Parken bezeichnet, ausgestaltet sein.
Die Art der Sensordaten kann sich je nach Ausgestaltung des Umfeldsensorsystems unterscheiden. Handelt es sich bei dem Umfeldsensorsystem beispielsweise um eine Kamera, so können die Sensordaten beispielsweise eines oder mehrere Kamerabilder der Kamera beinhalten. Handelt es sich bei dem Umfeldsensorsystem beispielsweise um ein Lidar-Sensorsystem, etwa ein Flash-Lidar-Sensorsystem, so können die Sensordaten beispielsweise eine oder mehrere zweidimensionale oder dreidimensionale Punktwolken des Lidar-Sensorsystems beinhalten.
Neben den Poseninformationen des ersten Markierungselements können beispielsweise basierend auf den Sensordaten auch Poseninformationen des zweiten Markierungselements bestimmt werden. Die Relativposeninformationen können dann basierend auf den Poseninformationen des ersten Markierungselements und den Poseninformationen des zweiten Markierungselements bestimmt werden. Es ist jedoch auch denkbar, dass die Relativposeninformationen direkt aus den Sensordaten bestimmt werden.
Die Poseninformationen des ersten und des zweiten Markierungselements sind beispielsweise in einem Sensorkoordinatensystem des Umfeldsensorsystems, welches insbesondere starr mit dem Umfeldsensorsystem verbunden ist, gegeben. Die Poseninformationen des ersten und des zweiten Markierungselements können aber auch in dem Referenzkoordinatensystem der Infrastrukturvorrichtung, bei welchem es sich beispielsweise um ein Koordinatensystem einer digitalen Karte der Infrastrukturvorrichtung handeln kann, gegeben sein.
Die Relativpose kann auch derart verstanden werden, dass sie beispielsweise der Pose des zweiten Markierungselements in einem Koordinatensystem des ersten Markierungselements, also einem mit dem ersten Markierungselement starr verbundenen Koordinatensystem, entspricht oder der Pose des ersten Markierungselements in einem entsprechenden Koordinatensystem des zweiten Markierungselements.
Das erste Markierungselement und das zweite Markierungselement sind voneinander unabhängig, insbesondere voneinander physisch separiert in dem Sichtfeld des Umfeldsensorsystems angeordnet oder anordenbar. Es handelt sich also um zwei voneinander verschiedene Markierungselemente, die unabhängig voneinander positioniert sind. Insbesondere handelt es sich bei den beiden Markierungselementen also nicht um unterschiedliche Teilbereiche eines einzigen Markierungselements oder dergleichen. Dementsprechend kann sich die Position und/oder Orientierung der beiden Markierungselemente relativ zueinander verändern, beispielsweise wenn eines oder beide verschoben oder verdreht werden.
Das Identifizieren des ersten Markers kann beispielsweise derart verstanden werden, dass es nicht lediglich beinhaltet, dass festgestellt wird, dass irgendein Markierungselement sich in dem Sichtfeld befindet, sondern um welches Markierungselement es sich dabei handelt. Das Identifizieren des ersten Markierungselements beinhaltet also insbesondere das Bestimmen einer Identität des ersten Markierungselements. Die Identität des ersten Markierungselements kann beispielsweise als entsprechende Identitätsinformation des ersten Markierungselements auf diesem in einer durch das Umfeldsensorsystem erfassbaren Weise, beispielsweise visuell, gespeichert oder wiedergegeben sein. Die Identitätsinformation kann beispielsweise als zweidimensionaler binärer Code, beispielsweise Schwarz-Weiß-Code oder dergleichen, wie etwa bei einem QR-Code oder einem ArUco-Code, gegeben sein oder durch eine alphanumerische Zeichenfolge und so weiter. Dies gilt analog auch für die Identifizierung des zweiten Markierungselements.
So können also die korrekten gespeicherten Soll-Relativposeninformationen zum Abgleich mit den Relativposeninformationen, die basierend auf den Sensordaten bestimmt werden, ausgewählt werden.
Der Abgleich der Relativposeninformationen mit den Soll-Relativposeninformationen kann einen direkten oder indirekten Vergleich beinhalten. Der Abgleich beinhaltet insbesondere das Bestimmen, ob die Relativposeninformationen mit den Soll-Relativposeninformationen übereinstimmen, beispielsweise bis auf vorgegebene Toleranzen.
Die Sensorposeninformationen sind insbesondere auf einem Datenspeicher der Infrastrukturvorrichtung gespeichert. Zum Korrigieren der Sensorposeninformationen können diese geändert oder durch neue Sensorposeninformationen ersetzt werden. Das Korrigieren der Sensorposeninformationen kann auch als Kalibrierung oder Rekalibrierung des Umfeldsensorsystems verstanden werden.
Neben den Sensorposeninformationen und den Soll-Relativposeninformationen können insbesondere Soll-Poseninformationen des ersten Markierungselements und gegebenenfalls auch des zweiten Markierungselements vorgegeben beziehungsweise gespeichert sein. Zum Korrigieren der Sensorposeninformationen abhängig von den Poseninformationen des ersten Markierungselements kann beispielsweise bestimmt werden, ob die Poseninformationen des ersten Markierungselements den Soll-Poseninformationen des ersten Markierungselements entsprechen, also insbesondere bis auf eventuell vorgegebene Toleranzen identisch zu diesen sind.
Ist dies der Fall, so kann beispielsweise davon ausgegangen werden, dass sich die Pose des Umfeldsensorsystems nicht oder nicht wesentlich von der durch die Sensorposeninformationen spezifizierten Pose unterscheiden. Dies kann erfindungsgemäß aufgrund des Abgleichs der Relativposeninformationen mit den Soll-Relativposeninformationen mit erhöhter Konfidenz angenommen werden, insbesondere wenn als Ergebnis des Abgleichs eine Übereinstimmung der Relativposeninformationen mit den Soll- Relativposeninformationen festgestellt wird. Dementsprechend können die Sensorposeninformationen in diesem Fall beispielsweise unverändert bleiben.
Besteht jedoch eine Abweichung zwischen den Poseninformationen des ersten Markierungselements und den Soll-Poseninformationen des ersten Markierungselements, so können die Sensorposeninformationen des Umfeldsensorsystems entsprechend dieser Abweichung korrigiert werden, sofern die Relativposeninformationen den Soll-Relativposeninformationen entsprechen. In diesem Fall ist nämlich davon auszugehen, dass die Abweichung nicht auf eine nachträgliche Veränderung der Pose des ersten Markierungselements zurückgeht, da sich sonst höchstwahrscheinlich auch die Relativpose verändert hätte, sondern auf eine Veränderung der Pose des Umfeldsensorsystems.
Mit anderen Worten kann anhand der Erfindung ausgenutzt werden, dass aufgrund des Abgleichs der Relativposeninformationen mit den Soll- Relativposeninformationen, insbesondere wenn als Ergebnis des Abgleichs eine Übereinstimmung der Relativposeninformationen mit den Soll- Relativposeninformationen festgestellt wird, aus den Poseninformationen des ersten Markierungselements die Korrektheit oder Fehlerhaftigkeit der gespeicherten Sensorposeninformationen des Umfeldsensorsystems mit erhöhter Zuverlässigkeit geschlossen werden kann.
Insbesondere können die Sensorposeninformationen in entsprechenden Ausführungsformen abhängig von den Poseninformationen des ersten Markierungselements korrigiert werden, wenn, beispielsweise wenn und nur wenn, als Ergebnis des Abgleichs festgestellt wird, dass die Relativposeninformationen den Soll-Relativposeninformationen entsprechen.
Die Relativposeninformationen entsprechen dabei den Soll-Relativposeninformationen insbesondere dann, wenn sie bis auf gegebenenfalls vorgegebene Toleranzen identisch zu diesen sind.
Gemäß zumindest einer Ausführungsform des computerimplementierten Verfahrens werden basierend auf den Sensordaten die Poseninformationen des zweiten Markierungselements bestimmt und die Sensorposeninformationen werden abhängig von dem Ergebnis des Abgleichs der Relativposeninformationen mit den Soll-Relativposeninformationen, abhängig von den Poseninformationen des ersten Markierungselements und abhängig von den Poseninformationen des zweiten Markierungselements korrigiert.
Mit anderen Worten, wenn der Abgleich ergibt, dass die Relativposeninformationen den Soll-Relativposeninformationen entsprechen, kann sowohl eine Abweichung der Poseninformationen des ersten Markierungselements von den entsprechenden Soll-Poseninformationen bestimmt werden als auch eine Abweichung der Poseninformationen des zweiten Markierungselements von entsprechenden Soll-Poseninformationen. Beide Abweichungen können dann der Korrektur der Sensorposeninformationen zugrunde gelegt werden, beispielsweise indem ein Mittelwert der Abweichungen gebildet wird und die Sensorposeninformationen abhängig von dem Mittelwert korrigiert werden. So kann die Zuverlässigkeit und Genauigkeit der Kalibrierung weiter erhöht werden.
Gemäß zumindest einer Ausführungsform wird eine Warnmeldung erzeugt, wenn als Ergebnis des Abgleichs festgestellt wird, dass die Relativposeninformationen den Soll-Relativposeninformationen nicht entsprechen.
In diesem Fall kann mit erhöhter Wahrscheinlichkeit davon ausgegangen werden, dass das erste Markierungselement und/oder das zweite Markierungselement nicht an der vorgesehenen beziehungsweise erwarteten Position sind beziehungsweise nicht die vorgesehene oder erwartete Orientierung aufweist. Würde man in diesem Fall die Poseninformationen des ersten Markierungselements oder des zweiten Markierungselements zugrunde legen, um die Sensorposeninformationen zu korrigieren, so würde dies zu einem falschen Ergebnis führen.
Daher wird in entsprechenden Ausführungsformen stattdessen eine Warnmeldung erzeugt und insbesondere ausgegeben, sodass ein Benutzer die Posen des ersten und/oder zweiten Markierungselements überprüfen und gegebenenfalls korrigieren kann oder die entsprechenden Sollposen korrigieren kann und/oder die Sensorposeninformationen manuell korrigieren kann. Dadurch wird die Zuverlässigkeit der Kalibrierung weiter erhöht.
Gemäß zumindest einer Ausführungsform wird basierend auf den Sensordaten eine geometrische Figur des ersten Markierungselements charakterisiert und die Poseninformationen des ersten Markierungselements werden basierend auf einem Ergebnis der Charakterisierung bestimmt.
Die geometrische Figur ist dabei insbesondere in einer für das Umfeldsensorsystem erfassbaren Form auf dem ersten Markierungselement abgebildet oder dargestellt. Bei der geometrischen Figur kann es sich beispielsweise um ein Rechteck mit bekannten Seitenlängen oder einem Kreis mit bekanntem Radius und so weiter handeln.
Indem die Position der geometrischen Figur in den Sensordaten, beispielsweise in dem Kamerabild, bestimmt wird, kann die Position des ersten Markierungselements bezüglich des Umfeldsensorsystems bestimmt werden. Indem die Form charakterisiert wird, beispielsweise eine Verzerrung der Form der geometrischen Figur basierend auf den Sensordaten bestimmt wird, kann die Orientierung des ersten Markierungselements bezüglich des Umfeldsensorsystems bestimmt werden. Das Charakterisieren der geometrischen Figur kann also insbesondere das Bestimmen der Position der geometrischen Figur in den Sensordaten und/oder das Charakterisieren der Form der geometrischen Figur, insbesondere der Verzerrung der geometrischen Figur, in den Sensordaten beinhalten.
Gemäß zumindest einer Ausführungsform wird basierend auf den Sensordaten eine geometrische Figur des zweiten Markierungselements charakterisiert und die Poseninformationen des zweiten Markierungselements werden basierend auf einem Ergebnis der Charakterisierung bestimmt.
Es sind auch andere Verfahren möglich, um die Poseninformationen des ersten und/oder zweiten Markierungselements, insbesondere deren Orientierung bezüglich des Umfeldsensorsystems, zu bestimmen. Beispielsweise können kollineare Punktgruppen von geometrischen Mustern des Markierungselements ausgewertet werden, wie eingangs beschrieben. Die Charakterisierung der geometrischen Figur zur Bestimmung der Poseninformationen hat jedoch insbesondere den Vorteil, dass die involvierten Rechenschritte wenig komplex sind.
Gemäß zumindest einer Ausführungsform wird basierend auf den Sensordaten eine durch das erste Markierungselement codierte Identitätsinformation bestimmt, um das erste Markierungselement zu identifizieren und/oder es wird basierend auf den Sensordaten eine durch das zweite Markierungselement codierte Identitätsinformation bestimmt, um das zweite Markierungselement zu identifizieren.
Die Identitätsinformationen können beispielsweise über einen zweidimensionalen visuellen Binärcode, wie etwa bei einem QR-Code oder einem ArUco-Marker, codiert sein. Es ist jedoch auch möglich, die Identitätsinformationen beispielsweise über ein alphanumerisches Zeichen oder eine alphanumerische Zeichenkette zu codieren. Beide Arten der Codierung sind insbesondere durch optische Umfeldsensorsysteme wie Kameras oder Flash-Lidar-Systeme lesbar und auswertbar.
Auf diese Weise kann die Identitätsinformation des jeweiligen Markierungselements zuverlässig festgestellt werden, sodass die korrekte Soll-Relativposeninformationen sowie die korrekten Soll-Poseninformationen der Markierungselemente zugrundegelegt werden können.
Für Anwendungsfälle oder Anwendungssituationen, die sich bei dem Verfahren ergeben können und die hier nicht explizit beschrieben sind, kann vorgesehen sein, dass gemäß dem computerimplementierten Verfahren eine Fehlermeldung und/oder eine Aufforderung zur Eingabe einer Nutzerrückmeldung ausgegeben und/oder eine Standardeinstellung und/oder ein vorbestimmter Initialzustand eingestellt wird.
Gemäß einem weiteren Aspekt der Erfindung wird ein Verfahren zum wenigstens teilweise automatischen Führen eines Fahrzeugs, insbesondere eines Kraftfahrzeugs, in einer Infrastrukturvorrichtung, insbesondere in einem befahrbaren Bereich der Infrastrukturvorrichtung, angegeben. Dabei wird ein computerimplementiertes Verfahren zur Kalibrierung eines Umfeldsensorsystems der Infrastrukturvorrichtung gemäß der Erfindung durchgeführt, beispielsweise mittels wenigstens einer Recheneinheit der Infrastrukturvorrichtung. Mittels des Umfeldsensorsystems werden nach der Durchführung des computerimplementierten Verfahrens zur Kalibrierung, beispielsweise nach der Korrektur der Sensorposeninformationen des Umfeldsensorsystems, weitere Sensordaten erzeugt, die das Fahrzeug in dem Sichtfeld darstellen. Das Fahrzeug wird abhängig von den weiteren Sensordaten wenigstens teilweise automatisch geführt.
Neben dem Umfeldsensorsystem und den weiteren Sensordaten können zur wenigstens teilweise automatischen Führung gegebenenfalls entsprechende Sensordaten der weiteren Umfeldsensorsysteme, die das Fahrzeug ebenfalls erfassen können, genutzt werden.
Das wenigstens teilweise automatische Führen des Fahrzeugs kann beispielsweise das Lokalisieren des Fahrzeugs, insbesondere in dem Referenzkoordinatensystem der Infrastrukturvorrichtung, und/oder das Planen einer Trajektorie für das Fahrzeug und/oder das Planen eines Fahrmanövers für das Fahrzeug beinhalten.
Das Lokalisieren, die Planung der Trajektorie und/oder des Fahrmanövers kann durch die wenigstens eine Recheneinheit der Infrastrukturvorrichtung durchgeführt werden. Beispielsweise kann die wenigstens eine Recheneinheit die geplante Trajektorie oder das geplante Fahrmanöver oder davon abgeleitete Informationen an ein elektronisches Fahrzeugführungssystem des Fahrzeugs übermitteln.
Entsprechende Aktuatoren des elektronischen Fahrzeugführungssystems können dann abhängig von den erhaltenen Informationen angesteuert werden, sodass die Trajektorie und/oder das Fahrmanöver des Fahrzeugs realisiert wird, insbesondere indem eine Längs- und/oder Quersteuerung des Fahrzeugs gesteuert wird. Insbesondere kann das Fahrzeug so wenigstens teilweise automatisch, beispielsweise vollautomatisch, geparkt werden.
Gemäß einem weiteren Aspekt der Erfindung wird eine Kalibriervorrichtung für ein Umfeldsensorsystem einer Infrastrukturvorrichtung angegeben. Die Kalibriervorrichtung weist einen Datenspeicher auf, der Sensorposeninformationen des Umfeldsensorsystems in einem Referenzkoordinatensystem der Infrastrukturvorrichtung speichert, sowie wenigstens eine Recheneinheit, die dazu eingerichtet ist, Sensordaten von dem Umfeldsensorsystem zu erhalten, die ein Sichtfeld des Umfeldsensorsystems darstellen, basierend auf den Sensordaten ein erstes Markierungselement in dem Sichtfeld zu identifizieren und Poseninformationen des ersten Markierungselements zu bestimmen. Die wenigstens eine Recheneinheit ist dazu eingerichtet, basierend auf den Sensordaten ein zweites Markierungselement in dem Sichtfeld zu identifizieren und Relativposeninformationen des ersten Markierungselements und des zweiten Markierungselements zueinander zu bestimmen. Die wenigstens eine Recheneinheit ist dazu eingerichtet, einen Abgleich der Relativposeninformationen mit vorgegebenen Soll-Relativposeninformationen durchzuführen und abhängig von einem Ergebnis des Abgleichs und abhängig von den Poseninformationen des ersten Markierungselements die Sensorposeninformationen zu korrigieren.
Weitere Ausführungsformen der erfindungsgemäßen Kalibriervorrichtung folgen unmittelbar aus den verschiedenen Ausgestaltungen des erfindungsgemäßen computerimplementierten Verfahrens und umgekehrt. Insbesondere lassen sich einzelne Merkmale und entsprechende Erläuterungen sowie Vorteile bezüglich der verschiedenen Ausführungsformen zu dem erfindungsgemäßen computerimplementierten Verfahren analog auf entsprechende Ausführungsformen der erfindungsgemäßen Kalibriervorrichtung übertragen. Insbesondere ist die erfindungsgemäße Kalibriervorrichtung zum Durchführen eines erfindungsgemäßen computerimplementierten Verfahrens ausgebildet oder programmiert. Insbesondere führt die erfindungsgemäße Kalibriervorrichtung das erfindungsgemäße computerimplementierte Verfahren durch.
Gemäß einem weiteren Aspekt der Erfindung wird eine Infrastrukturvorrichtung, insbesondere eine Infrastrukturvorrichtung zum wenigstens teilweise automatischen Führen eines Fahrzeugs, angegeben, die ein Umfeldsensorsystem und eine erfindungsgemäße Kalibriervorrichtung für das Umfeldsensorsystem aufweist.
Gemäß zumindest einer Ausführungsform der Infrastrukturvorrichtung beinhaltet die Infrastrukturvorrichtung das erste Markierungselement und beispielsweise das zweite Markierungselement.
Gemäß zumindest einer Ausführungsform bildet das erste Markierungselement eine geometrische Figur ab und beispielsweise bildet das zweite Markierungselement eine weitere geometrische Figur ab. Die wenigstens eine Recheneinheit ist dazu eingerichtet, basierend auf den Sensordaten die geometrische Figur des ersten Markierungselements zu charakterisieren und die Poseninformationen des ersten Markierungselement basierend auf einem Ergebnis der Charakterisierung zu bestimmen.
Beispielsweise ist die wenigstens eine Recheneinheit dazu eingerichtet, basierend auf den Sensordaten die weitere geometrische Figur des zweiten Markierungselements zu charakterisieren und die Poseninformationen des zweiten Markierungselements basierend auf einem Ergebnis der Charakterisierung zu bestimmen.
Die geometrische Figur beziehungsweise die weitere geometrische Figur kann beispielsweise visuell in einer kameraerfassbaren Weise abgebildet sein, wenn das Umfeldsensorsystem als Kamera ausgestaltet ist.
Gemäß zumindest einer Ausführungsform codiert das erste Markierungselement eine mittels des Umfeldsensorsystems erfassbare Identitätsinformation und die wenigstens eine Recheneinheit ist dazu eingerichtet, basierend auf den Sensordaten die Identitätsinformation zu bestimmen, um das erste Markierungselement zu identifizieren.
Beispielsweise codiert das zweite Markierungselement eine mittels des Umfeldsensorsystems erfassbare weitere Identitätsinformation und die wenigstens eine Recheneinheit ist dazu eingerichtet, basierend auf den Sensordaten die weitere Identitätsinformation zu bestimmen, um das zweite Markierungselement zu identifizieren.
Gemäß zumindest einer Ausführungsform beinhaltet die Infrastrukturvorrichtung das Umfeldsensorsystem.
Gemäß zumindest einer Ausführungsform ist das Umfeldsensorsystem als Kamerasystem ausgestaltet.
Gemäß zumindest einer Ausführungsform ist das Umfeldsensorsystem als Lidar-Sensorsystem, insbesondere als Flash-Lidar-System, ausgestaltet.
Gemäß zumindest einer Ausführungsform ist das Umfeldsensorsystem dazu eingerichtet, weitere Sensordaten zu erzeugen, insbesondere nachdem die Sensorposeninformationen korrigiert wurden, wobei die weiteren Sensordaten das Fahrzeug in dem Sichtfeld darstellen. Die wenigstens eine Recheneinheit ist dazu eingerichtet, abhängig von den weiteren Sensordaten das Fahrzeug zu lokalisieren und/oder eine Trajektorie für das Fahrzeug und/oder ein Fahrmanöver für das Fahrzeug zu planen.
Gemäß einem weiteren Aspekt der Erfindung wird ein Fahrzeugführungsanordnung für ein Fahrzeug angegeben, wobei die Fahrzeugführungsanordnung eine erfindungsgemäße Infrastrukturvorrichtung aufweist sowie ein elektronisches Fahrzeugführungssystem für das Fahrzeug.
Unter einem elektronischen Fahrzeugführungssystem kann ein elektronisches System verstanden werden, das dazu eingerichtet ist, ein Fahrzeug vollautomatisch oder vollautonom zu führen, insbesondere ohne dass ein Eingriff in eine Steuerung durch einen Fahrer erforderlich ist. Das Fahrzeug führt alle erforderlichen Funktionen, wie Lenk, Brems- und/oder Beschleunigungsmanöver, die Beobachtung und Erfassung des Straßenverkehrs sowie entsprechende Reaktionen automatisch durch. Insbesondere kann das elektronische Fahrzeugführungssystem einen vollautomatischen oder vollautonomen Fahrmodus des Kraftfahrzeugs nach Stufe 5 der Klassifizierung gemäß SAE J3016 implementieren. Unter einem elektronischen Fahrzeugführungssystem kann auch ein Fahrerassistenzsystem (englisch: „advanced driver assistance system“, ADAS) verstanden werden, welches den Fahrer beim teilweise automatisierten oder teilautonomen Fahren unterstützt. Insbesondere kann das elektronische Fahrzeugführungssystem einen teilweise automatisierten oder teilautonomen Fahrmodus nach Stufe 4 gemäß der SAE J3016-Klassifizierung implementieren. Hier und im Folgenden bezieht sich „SAE J3016“ auf die entsprechende Norm in der Version vom Juni 2018.
Das elektronische Fahrzeugführungssystem ist dabei beispielsweise dazu eingerichtet, die Trajektorie oder Informationen betreffend das Fahrmanöver von der wenigstens einen Recheneinheit der Infrastrukturvorrichtung zu erhalten und das Fahrzeug abhängig von der Trajektorie, insbesondere gemäß oder entlang der Trajektorie wenigstens teilweise automatisch, vorzugsweise vollautomatisch, zu führen oder entsprechend dem Fahrmanöver wenigstens teilweise automatisch, vorzugsweise vollautomatisch, zu führen.
Dazu kann das elektronische Fahrzeugführungssystem beispielsweise die Fahrzeugrecheneinheit aufweisen und die Fahrzeugrecheneinheit kann Steuersignale für die Aktuatoren des Fahrzeugs, insbesondere des elektronischen Fahrzeugführungssystems, erzeugen und an den wenigstens einen Aktuator übermitteln. Der wenigstens eine Aktuator kann dann eine Quer und/oder Längssteuerung des Fahrzeugs abhängig von den Steuersignalen beeinflussen oder durchführen.
Gemäß einem weiteren Aspekt der Erfindung wird ein erstes Computerprogramm mit ersten Befehlen angegeben. Bei Ausführung der ersten Befehle durch wenigstens eine Recheneinheit, beispielsweise die wenigstens eine Recheneinheit einer erfindungsgemäßen Kalibriervorrichtung oder einer erfindungsgemäßen Infrastrukturvorrichtung, veranlassen die ersten Befehle die wenigstens eine Recheneinheit dazu, ein computerimplementiertes Verfahren zur Kalibrierung eines Umfeldsensorsystems einer Infrastrukturvorrichtung gemäß der Erfindung durchzuführen.
Gemäß einem weiteren Aspekt der Erfindung wird ein zweites Computerprogramm mit zweiten Befehlen angegeben. Bei Ausführung der zweiten Befehle durch eine erfindungsgemäße Infrastrukturvorrichtung, insbesondere die wenigstens eine Recheneinheit der erfindungsgemäßen Infrastrukturvorrichtung, veranlassen die zweiten Befehle die Infrastrukturvorrichtung dazu, ein erfindungsgemäßes Verfahren zum wenigstens teilweise automatischen Führen eines Fahrzeugs in der Infrastrukturvorrichtung durchzuführen.
Gemäß einem weiteren Aspekt der Erfindung wird ein computerlesbares Speichermedium angegeben, das ein erstes und/oder ein zweites Computerprogramm gemäß der Erfindung speichert.
Das erste Computerprogramm, das zweite Computerprogramm sowie das computerlesbare Speichermedium können als jeweilige Computerprogrammprodukte mit den ersten beziehungsweise den zweiten Befehlen aufgefasst werden.
Ist im Rahmen der vorliegenden Offenbarung die Rede davon, dass eine Komponente der erfindungsgemäßen Kalibriervorrichtung oder Infrastrukturvorrichtung oder der Fahrzeugführungsanordnung, insbesondere eine Recheneinheit, dazu eingerichtet, ausgebildet, ausgelegt, oder dergleichen ist, eine bestimmte Funktion auszuführen oder zu realisieren, eine bestimmte Wirkung zu erzielen oder einem bestimmten Zweck zu dienen, so kann dies derart verstanden werden, dass die Komponente, über die prinzipielle oder theoretische Verwendbarkeit oder Eignung der Komponente für diese Funktion, Wirkung oder diesen Zweck hinaus, durch eine entsprechende Anpassung, Programmierung, physische Ausgestaltung und so weiter konkret und tatsächlich dazu in der Lage ist, die Funktion auszuführen oder zu realisieren, die Wirkung zu erzielen oder dem Zweck zu dienen.
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren gezeigten Merkmale und Merkmalskombinationen können nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen von der Erfindung umfasst sein. Es können insbesondere auch Ausführungen und Merkmalskombinationen von der Erfindung umfasst sein, die nicht alle Merkmale eines ursprünglich formulierten Anspruchs aufweisen. Es können darüber hinaus Ausführungen und Merkmalskombinationen von der Erfindung umfasst, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder von diesen abweichen.
Die Erfindung wird im Folgenden anhand konkreter Ausführungsbeispiele und zugehöriger schematischer Zeichnungen näher erläutert. In den Figuren können gleiche oder funktionsgleiche Elemente mit denselben Bezugszeichen versehen sein. Die Beschreibung gleicher oder funktionsgleicher Elemente wird gegebenenfalls nicht notwendigerweise bezüglich verschiedener Figuren wiederholt.
In den Figuren zeigen:

1 eine schematische Darstellung einer beispielhaften Ausführungsform einer Infrastrukturvorrichtung gemäß der Erfindung;
2 ein Ablaufdiagramm einer beispielhaften Ausführungsform eines computerimplementierten Verfahrens zur Kalibrierung eines Umfeldsensorsystems gemäß der Erfindung; und
3 eine schematische Darstellung eines Umfeldsensorsystems und von Markierungselementen einer weiteren beispielhaften Ausführungsform einer Infrastrukturvorrichtung gemäß der Erfindung.

In 1 ist eine schematische Draufsicht einer beispielhaften Ausführungsform einer erfindungsgemäßen Infrastrukturvorrichtung 1 gezeigt, die wenigstens ein Umfeldsensorsystem 5a, 5b, 5c aufweist sowie eine erfindungsgemäße Kalibriervorrichtung 9.
Die Umfeldsensorsysteme 5a, 5b, 5c können beispielsweise Kameras beinhalten. Es sind jedoch in anderen Ausführungsformen auch andere Umfeldsensorsysteme möglich, beispielsweise Lidar-Systeme, insbesondere Flash-Lidar-Systeme. Im Folgenden werden die Umfeldsensorsysteme 5a, 5b, 5c exemplarisch als Kameras bezeichnet. Für andere Umfeldsensorsysteme lassen sich die Erläuterungen analog verstehen. Ferner ist die Anzahl der Kameras 5a, 5b, 5c im Beispiel der 1 rein exemplarisch zu verstehen. Insbesondere kann die Infrastrukturvorrichtung 1 auch weitere Umfeldsensorsysteme, beispielsweise weitere Kameras, aufweisen, um einen größeren räumlichen Bereich abdecken zu können.
Die Infrastrukturvorrichtung 1 weist beispielsweise einen für ein Fahrzeug 2 befahrbaren Bereich 3, beispielsweise Straßen und/oder Parkbereiche, mit potentiellen Parkplätzen 4 für das Fahrzeug 2 auf. Einzelne Teile des befahrbaren Bereichs 3 können beispielsweise auch durch Markierungen, Wände oder sonstige Begrenzungen voneinander abgegrenzt sein.
Im Sichtfeld jeder der Kameras 5a, 5b, 5c befindet sich ein entsprechendes erstes Markierungselement 6a, 6b, 6c sowie ein entsprechendes zweites Markierungselement 7a, 7b, 7c. Dementsprechend können die einzelnen Kameras 5a, 5b, 5c jeweils Kamerabilder oder Kamerabilddatenströme erzeugen, welche die ihnen jeweils zugeordneten ersten und zweiten Markierungselemente 6a, 6b, 6c, 7a, 7b, 7c abbilden. Die Markierungselemente 6a, 6b, 6c, 7a, 7b, 7c bilden insbesondere jeweilige individuelle Identitätsinformationen in kameralesbarer Form ab, beispielsweise als zweidimensionale binäre Codes wie etwa QR-Codes oder entsprechende Codes in ArUco-Markern. Vorzugsweise sind die Markierungselemente 6a, 6b, 6c, 7a, 7b, 7c als ArUco-Marker ausgestaltet
Die Kalibriervorrichtung 9 beinhaltet eine Recheneinheit 8 und einen Datenspeicher 10, wobei der Datenspeicher 10 beispielsweise auch Teil der Recheneinheit 8 sein kann. Der Datenspeicher 10 speichert für jede der Kameras 5a, 5b, 5c entsprechende Sensorposeninformationen in einem Referenzkoordinatensystem der Infrastrukturvorrichtung 1. Die Sensorposeninformationen beinhalten vorzugsweise die jeweilige Pose, also Position und Orientierung in drei Raumdimensionen, der entsprechenden Kamera 5a, 5b, 5c.
Darüber hinaus speichert der Datenspeicher 10 für jedes der Markierungselemente 6a, 6b, 6c, 7a, 7b, 7c entsprechende Soll-Poseninformationen vorzugsweise entsprechende Posen des jeweiligen Markierungselements 6a, 6b, 6c, 7a, 7b, 7c, beispielsweise in dem jeweiligen Kamerakoordinatensystem der zugeordneten Kamera 5a, 5b, 5c. Außerdem speichert der Datenspeicher 10 für jede Kamera 5a, 5b, 5c Soll-Relativposeninformationen der der jeweiligen Kamera 5a, 5b, 5c zugeordneten Markierungselemente 6a, 6b, 6c, 7a, 7b, 7c.
Im konkreten Beispiel der 1 speichert der Datenspeicher 10 also Soll-Relativposeninformationen des ersten Markierungselements 6a bezüglich des zweiten Markierungselements 7a, die beide der Kamera 5a zugeordnet sind. Ferner speichert der Datenspeicher 10 Soll-Relativposeninformationen des ersten Markierungselements 6b bezüglich des zweiten Markierungselements 7b, die beide der Kamera 5b zugeordnet sind, sowie Soll-Relativposeninformationen des ersten Markierungselements 6c bezüglich des zweiten Markierungselements 7c, die beide der Kamera 5c zugeordnet sind.
Die Recheneinheit 8 ist dazu eingerichtet, basierend auf den Sensordaten der jeweiligen Kamera 5a, 5b, 5c das entsprechende erste Markierungselement 6a, 6b, 6c und das entsprechende zweite Markierungselement 7a, 7b, 7c zu identifizieren und für jedes der Markierungselemente 6a, 6b, 6c, 7a, 7b, 7c entsprechende Poseninformationen basierend auf den Sensordaten zu bestimmen.
Die Poseninformationen der Markierungselemente 6a, 6b, 6c, 7a, 7b, 7c betreffen die jeweilige Pose des entsprechenden Markierungselements 6a, 6b, 6c, 7a, 7b, 7c, insbesondere sind die Poseninformationen gleich der jeweiligen Pose. Die Poseninformationen der Markierungselemente 6a, 6b, 6c, 7a, 7b, 7c können dabei insbesondere im Kamerakoordinatensystem der entsprechenden Kamera 5a, 5b, 5c gegeben sein.
Die Poseninformationen des ersten Markierungselements 6a und des zweiten Markierungselements 7a sind also beispielsweise in einem Kamerakoordinatensystem der Kamera 5a gegeben, die Poseninformationen des ersten Markierungselements 6b und des zweiten Markierungselements 7b in einem Kamerakoordinatensystem der Kamera 5b und die Poseninformationen des ersten Markierungselements 6c und des zweiten Markierungselements 7c in einem Kamerakoordinatensystem der Kamera 5c. Es versteht sich jedoch, dass die Wahl der Koordinatensysteme an sich beliebig ist, sofern konsistente Koordinatensysteme verwendet werden.
Für jede der Kameras 5a, 5b, 5c bestimmt die Recheneinheit 8 entsprechende Relativposeninformationen des zugehörigen ersten Markierungselements 6a, 6b, 6c und des zugehörigen zweiten Markierungselements 7a, 7b, 7c zueinander. Dazu kann die Recheneinheit 8 beispielsweise die entsprechenden Poseninformationen des ersten Markierungselements 6a, 6b, 6c mit den Poseninformationen des zugehörigen zweiten Markierungselements 7a, 7b, 7c verrechnen. Die Recheneinheit 8 gleicht dann die Relativposeninformationen mit den auf dem Datenspeicher 10 gespeicherten Soll-Relativposeninformationen ab und stellt fest, ob eine Abweichung gegeben ist.
Liegt für eine der Kameras 5a, 5b, 5c beziehungsweise die entsprechenden Markierungselemente 6a, 6b, 6c, 7a, 7b, 7c eine Abweichung vor, so kann mit einer gewissen Wahrscheinlichkeit davon ausgegangen werden, dass sich das entsprechende erste Markierungselement 6a, 6b, 6c und/oder das entsprechende zweite Markierungselement 7a, 7b, 7c nicht an der korrekten Position befindet und/oder deren Orientierung nicht korrekt ist. Dementsprechend kann in diesem Fall nicht mit entsprechender Zuverlässigkeit auf die Poseninformationen der einzelnen Markierungselemente 6a, 6b, 6c, 7a, 7b, 7c zurückgegriffen werden, um die Sensorposeninformationen der entsprechenden Kamera 5a, 5b, 5c zu überprüfen. In diesem Fall kann beispielweise eine Warnmeldung für die betreffende Kamera 5a, 5b, 5c ausgegeben werden, um einen Benutzer zu informieren.
Liegt jedoch keine Abweichung oder keine signifikante Abweichung zwischen den Relativposeninformationen und den gespeicherten Soll-Relativposeninformationen vor, so kann mit einer gewissen Wahrscheinlichkeit davon ausgegangen werden, dass sich die entsprechenden Markierungselemente 6a, 6b, 6c, 7a, 7b, 7c an den korrekten Stellen mit der korrekten Orientierung befinden. Ein Restrisiko bleibt gegebenenfalls bestehen, da auch beide Markierungselemente 6a, 6b, 6c, 7a, 7b, 7c der entsprechenden Kamera 5a, 5b, 5c gleichermaßen verschoben sein könnten oder dergleichen. Die Wahrscheinlichkeit hierfür ist jedoch gering. Ferner kann das Restrisiko gegebenenfalls durch die Berücksichtigung weiterer Markierungselemente im Sichtfeld der Kameras 5a, 5b, 5c weiter reduziert werden.
Liegt also keine signifikante Abweichung vor, so kann die Recheneinheit 8 für eine Kamera 5a, 5b, 5c die Poseninformationen des ersten Markierungselements 6a, 6b, 6c und/oder des zweiten Markierungselements 7a, 7b, 7c, die der entsprechenden Kamera 5a, 5b, 5c zugeordnet sind, heranziehen, um gegebenenfalls die entsprechenden Sensorposeninformationen zu korrigieren. Da die Poseninformationen der Markierungselemente 6a, 6b, 6c, 7a, 7b, 7c in den entsprechenden Kamerakoordinatensystemen bestimmt werden, deutet eine Abweichung der Poseninformationen von den gespeicherten Soll-Poseninformationen der einzelnen Markierungselemente 6a, 6b, 6c, 7a, 7b, 7c darauf hin, dass die Pose der entsprechenden Kamera 5a, 5b, 5c nicht mit der gespeicherten Soll-Poseninformation übereinstimmt. Basierend auf der entsprechenden Abweichung kann die Recheneinheit 8 dann die Sensorposeninformationen korrigieren oder aktualisieren.
Dieser Vorgang ist in 3 schematisch für eine Kamera 5, bei der es sich um eine der Kameras 5a, 5b, 5c handeln kann, und deren entsprechendes erstes Markierungselement 6 und zweites Markierungselement 7 dargestellt.
2 zeigt ein schematisches Ablaufdiagramm eines computerimplementierten Verfahrens zur Kalibrierung gemäß der Erfindung, wie es beispielsweise von der Recheneinheit 8 der Infrastrukturvorrichtung 1 aus 1 durchgeführt werden kann. Eine Ausführungsform des computerimplementierten Verfahrens wird im Folgenden unter Bezugnahme auf die Figuren 1, 2 und 3 erläutert.
In Schritt S1 erhält die Recheneinheit 8 die Sensordaten der Kamera 5. In Schritt S2 identifiziert die Recheneinheit 8 das erste Markierungselement 6 und das zweite Markierungselement 7 und bestimmt deren jeweilige Pose im Kamerakoordinatensystem der Kamera 5, also insbesondere relativ zu der Kamera 5.
In Schritt S3 bestimmt die Recheneinheit 8 die Relativpose der Markierungselemente 6, 7 zueinander und vergleicht diese mit der gespeicherten Soll-Relativpose. Wird hierbei eine signifikante Abweichung festgestellt, so kann die Recheneinheit 8 beispielsweise eine Warnmeldung an einen Benutzer ausgeben, um den Benutzer darauf hinzuweisen, dass die Position der Markierungselemente 6, 7 überprüft werden sollte.
Liegt keine signifikante Abweichung vor, so bestimmt die Recheneinheit 8 beispielsweise, ob die Pose des ersten Markierungselements 6 bezüglich der Kamera 5 der gespeicherten Sollpose des ersten Markierungselements 6 in dem Kamerakoordinatensystem entspricht. Ist dies der Fall, so kann beispielsweise davon ausgegangen werden, dass die tatsächliche Pose der Kamera 5 der gespeicherten Sollpose der Kamera 5 entspricht. Wird jedoch hierbei eine Abweichung festgestellt, so kann aus der Abweichung eine Posenkorrektur bestimmt werden beziehungsweise eine korrigierte Pose für die Kamera 5 bestimmt werden und die gespeicherte Pose für die Kamera 5 entsprechend korrigiert werden.
In 3 ist beispielhaft auch eine Darstellung 5' der Kamera 5 gezeigt, die sich an einer Sollposition befindet, die von der tatsächlichen Position der Kamera 5 abweicht.
Wie beschrieben, insbesondere mit Bezug auf die Figuren, kann durch die Erfindung eine zuverlässige Kalibrierung eines Umfeldsensorsystems in einer Infrastrukturvorrichtung zur wenigstens teilweise automatischen Führung eines Fahrzeugs erreicht werden. Dadurch kann die Genauigkeit der Lokalisierung, Trajektorienplanung oder Fahrmanöverplanung für das Fahrzeug erhöht werden und/oder die Genauigkeit beim Verfolgen oder bei der Lokalisierung des Fahrzeugs kann verbessert werden. Dadurch können letztlich Unfälle zuverlässiger vermieden werden.
In verschiedenen Ausführungsformen kann beispielsweise auch auf die Verwendung von Sensordaten einzelner Umweltsensorsysteme verzichtet werden, wenn die Korrektheit der entsprechenden Sensorposeninformationen nicht zuverlässig bestätigt werden kann, beispielsweise weil die Markierungselemente, die dem entsprechenden Umfeldsensorsystem zugeordnet sind, sich offenbar nicht an der korrekten Position befinden und/oder nicht die korrekte Orientierung aufweisen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102019220364 A1 [0006]

Zitierte Nicht-Patentliteratur

S. Garrido-Jurado et al.: „Automatic generation and detection of highly reliable fiducial markers under occlusion“, Pattern Recogn. 47, 6 (2014), 2280-2292 [0005]

Claims

Computerimplementiertes Verfahren zur Kalibrierung eines Umfeldsensorsystems (5, 5a, 5b, 5c) einer Infrastrukturvorrichtung (1), wobei Sensordaten erhalten werden, die ein Sichtfeld des Umfeldsensorsystems (5, 5a, 5b, 5c) darstellen, basierend auf den Sensordaten ein erstes Markierungselement (6, 6a, 6b, 6c, 7, 7a, 7b, 7c) in dem Sichtfeld identifiziert wird und Poseninformationen des ersten Markierungselements (6, 6a, 6b, 6c, 7, 7a, 7b, 7c) bestimmt werden, dadurch gekennzeichnet, dass - basierend auf den Sensordaten ein zweites Markierungselement (6, 6a, 6b, 6c, 7, 7a, 7b, 7c) in dem Sichtfeld identifiziert wird und Relativposeninformationen des ersten Markierungselements (6, 6a, 6b, 6c, 7, 7a, 7b, 7c) und des zweiten Markierungselements (6, 6a, 6b, 6c, 7, 7a, 7b, 7c) zueinander bestimmt werden; - ein Abgleich der Relativposeninformationen mit vorgegebenen Soll-Relativposeninformationen durchgeführt wird; und - abhängig von einem Ergebnis des Abgleichs und den Poseninformationen des ersten Markierungselements (6, 6a, 6b, 6c, 7, 7a, 7b, 7c) gespeicherte Sensorposeninformationen des Umfeldsensorsystems (5, 5a, 5b, 5c) in einem Referenzkoordinatensystem der Infrastrukturvorrichtung (1) korrigiert werden.
Computerimplementiertes Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Sensorposeninformationen abhängig von den Poseninformationen des ersten Markierungselements (6, 6a, 6b, 6c, 7, 7a, 7b, 7c) korrigiert werden, wenn als Ergebnis des Abgleichs festgestellt wird, dass die Relativposeninformationen den Soll-Relativposeninformationen entsprechen.
Computerimplementiertes Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass - basierend auf den Sensordaten Poseninformationen des zweiten Markierungselements (6, 6a, 6b, 6c, 7, 7a, 7b, 7c) bestimmt werden; und - die Sensorposeninformationen abhängig von dem Ergebnis des Abgleichs, den Poseninformationen des ersten Markierungselements (6, 6a, 6b, 6c, 7, 7a, 7b, 7c) und den Poseninformationen des zweiten Markierungselements (6, 6a, 6b, 6c, 7, 7a, 7b, 7c) korrigiert werden.
Computerimplementiertes Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Warnmeldung erzeugt wird, wenn als Ergebnis des Abgleichs festgestellt wird, dass die Relativposeninformationen den Soll-Relativposeninformationen nicht entsprechen.
Computerimplementiertes Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass basierend auf den Sensordaten eine geometrische Figur des ersten Markierungselements (6, 6a, 6b, 6c, 7, 7a, 7b, 7c) charakterisiert wird und die Poseninformationen des ersten Markierungselements (6, 6a, 6b, 6c, 7, 7a, 7b, 7c) basierend auf einem Ergebnis der Charakterisierung bestimmt werden.
Computerimplementiertes Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass - basierend auf den Sensordaten eine durch das erste Markierungselement (6, 6a, 6b, 6c, 7, 7a, 7b, 7c) kodierte Identitätsinformation bestimmt wird, um das erste Markierungselement (6, 6a, 6b, 6c, 7, 7a, 7b, 7c) zu identifizieren; und/oder - basierend auf den Sensordaten eine durch das zweite Markierungselement (6, 6a, 6b, 6c, 7, 7a, 7b, 7c) kodierte Identitätsinformation bestimmt wird, um das zweite Markierungselement (6, 6a, 6b, 6c, 7, 7a, 7b, 7c) zu identifizieren.
Verfahren zum wenigstens teilweise automatischen Führen eines Fahrzeugs (2) in einer Infrastrukturvorrichtung (1), dadurch gekennzeichnet, dass - ein computerimplementiertes Verfahren zur Kalibrierung eines Umfeldsensorsystems (5, 5a, 5b, 5c) der Infrastrukturvorrichtung (1) nach einem der vorhergehenden Ansprüche durchgeführt wird; - mittels des Umfeldsensorsystems (5, 5a, 5b, 5c) nach der Durchführung des computerimplementierten Verfahrens zur Kalibrierung weitere Sensordaten erzeugt werden, die das Fahrzeug (2) in dem Sichtfeld darstellen; - das Fahrzeug (2) abhängig von den weiteren Sensordaten wenigstens teilweise automatisch geführt wird.
Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass das wenigstens teilweise automatische Führen des Fahrzeugs (2) das Lokalisieren des Fahrzeugs (2) und/oder das Planen einer Trajektorie für das Fahrzeug (2) und/oder eines Fahrmanövers für das Fahrzeug (2) beinhaltet.
Kalibriervorrichtung (9) für ein Umfeldsensorsystem (5, 5a, 5b, 5c) einer Infrastrukturvorrichtung (1), die Kalibriervorrichtung (9) aufweisend einen Datenspeicher, der Sensorposeninformationen des Umfeldsensorsystems (5, 5a, 5b, 5c) in einem Referenzkoordinatensystem der Infrastrukturvorrichtung (1) speichert, sowie wenigstens eine Recheneinheit (8), die dazu eingerichtet ist, Sensordaten von dem Umfeldsensorsystem (5, 5a, 5b, 5c) zu erhalten, die ein Sichtfeld des Umfeldsensorsystems (5, 5a, 5b, 5c) darstellen, basierend auf den Sensordaten ein erstes Markierungselement (6, 6a, 6b, 6c, 7, 7a, 7b, 7c) in dem Sichtfeld zu identifizieren und Poseninformationen des ersten Markierungselements (6, 6a, 6b, 6c, 7, 7a, 7b, 7c) zu bestimmen, dadurch gekennzeichnet, dass die wenigstens eine Recheneinheit (8) dazu eingerichtet ist, - basierend auf den Sensordaten ein zweites Markierungselement (6, 6a, 6b, 6c, 7, 7a, 7b, 7c) in dem Sichtfeld zu identifizieren und Relativposeninformationen des ersten Markierungselements (6, 6a, 6b, 6c, 7, 7a, 7b, 7c) und des zweiten Markierungselements (6, 6a, 6b, 6c, 7, 7a, 7b, 7c) zueinander zu bestimmen; - einen Abgleich der Relativposeninformationen mit vorgegebenen Soll-Relativposeninformationen durchzuführen; und - abhängig von einem Ergebnis des Abgleichs und den Poseninformationen des ersten Markierungselements (6, 6a, 6b, 6c, 7, 7a, 7b, 7c) die Sensorposeninformationen zu korrigieren.
Infrastrukturvorrichtung (1) mit einem Umfeldsensorsystem (5, 5a, 5b, 5c) und einer Kalibriervorrichtung (9) für das Umfeldsensorsystem (5, 5a, 5b, 5c) nach Anspruch 9.
Infrastrukturvorrichtung (1) nach Anspruch 10, dadurch gekennzeichnet, dass - die Infrastrukturvorrichtung (1) das erste Markierungselement (6, 6a, 6b, 6c, 7, 7a, 7b, 7c) beinhaltet und das erste Markierungselement (6, 6a, 6b, 6c, 7, 7a, 7b, 7c) eine geometrische Figur abbildet; und - die wenigstens eine Recheneinheit (8) dazu eingerichtet ist, basierend auf den Sensordaten die geometrische Figur des ersten Markierungselements (6, 6a, 6b, 6c, 7, 7a, 7b, 7c) zu charakterisieren und die Poseninformationen des ersten Markierungselements (6, 6a, 6b, 6c, 7, 7a, 7b, 7c) basierend auf einem Ergebnis der Charakterisierung zu bestimmen.
Infrastrukturvorrichtung (1) nach einem der Ansprüche 10 oder 11, dadurch gekennzeichnet, dass - die Infrastrukturvorrichtung (1) das erste Markierungselement (6, 6a, 6b, 6c, 7, 7a, 7b, 7c) beinhaltet und das erste Markierungselement (6, 6a, 6b, 6c, 7, 7a, 7b, 7c) eine mittels des Umfeldsensorsystems (5, 5a, 5b, 5c) erfassbare Identitätsinformation kodiert; und - die wenigstens eine Recheneinheit (8) dazu eingerichtet ist, basierend auf den Sensordaten die Identitätsinformation zu bestimmen, um das erste Markierungselement (6, 6a, 6b, 6c, 7, 7a, 7b, 7c) zu identifizieren.
Infrastrukturvorrichtung (1) nach einem der Ansprüche 10 bis 12, dadurch gekennzeichnet, dass die Infrastrukturvorrichtung (1) das Umfeldsensorsystem (5, 5a, 5b, 5c) enthält und das Umfeldsensorsystem (5, 5a, 5b, 5c) als Kamerasystem oder Lidarsystem ausgestaltet ist.
Infrastrukturvorrichtung (1) nach einem der Ansprüche 10 bis 13, dadurch gekennzeichnet, dass - die Infrastrukturvorrichtung (1) das Umfeldsensorsystem (5, 5a, 5b, 5c) enthält und das Umfeldsensorsystem (5, 5a, 5b, 5c) dazu eingerichtet ist, weitere Sensordaten zu erzeugen, die ein Fahrzeug (2) in dem Sichtfeld darstellen; - die wenigstens eine Recheneinheit (8) dazu eingerichtet ist, abhängig von den weiteren Sensordaten das Fahrzeug (2) zu lokalisieren und/oder eine Trajektorie für das Fahrzeug (2) und/oder ein Fahrmanöver für das Fahrzeug (2) zu planen.
Computerprogrammprodukt mit Befehlen, die - bei Ausführung durch wenigstens eine Recheneinheit (8) die wenigstens eine Recheneinheit (8) dazu veranlassen, ein computerimplementiertes Verfahren nach einem der Ansprüche 1 bis 6 durchzuführen; und/oder - bei Ausführung durch eine Infrastrukturvorrichtung (1) nach Anspruch 14 die Infrastrukturvorrichtung (1) dazu veranlassen, ein Verfahren nach einem der Ansprüche 7 oder 8 durchzuführen.