-
Die vorliegende Erfindung betrifft ein Verfahren für eine Kalibrierung einer Kamera und einer Lidareinrichtung aufeinander, eine entsprechende Kalibrierungseinrichtung und ein damit ausgestattetes Kraftfahrzeug.
-
Heutzutage weisen Kraftfahrzeuge oftmals unterschiedliche Sensor- oder Erfassungseinrichtungen zum Erfassen einer jeweiligen Umgebung auf. Entsprechende Sensor- oder Umgebungsdaten können dann beispielsweise als Grundlage für automatisierte Assistenzfunktionen dienen. Dabei besteht jedoch die Herausforderung, dass unterschiedliche Sensoreinrichtungen bzw. von diesen gelieferte Sensordaten konsistent zueinander sein müssen. Dies kann beispielsweise eine entsprechende Kalibrierung der Sensoreinrichtungen verlangen. Dies wird bisher oftmals aufwendig und teilweise in Handarbeit gemacht, indem eindeutig identifizierbare Referenzobjekte oder Marker in einer bekannten Position relativ zu dem Kraftfahrzeug angeordnet und mittels der unterschiedlichen Sensoreinrichtungen erfasst werden. Da somit die Position, an der das Referenzobjekt in jeweiligen Sensordaten auftauchen müsste, bekannt ist, ist dann eine entsprechende Kalibrierung der Sensoreinrichtungen möglich. Dies stellt jedoch einen aufwändigen Prozess dar. Insbesondere für Testfahrzeuge oder im Rahmen einer Entwicklung und Erprobung von Fahrzeugen, Sensoreinrichtungen, unterschiedlichen Anordnungen und/oder dergleichen mehr kann ein derartiger aufwendiger Kalibrierungsprozess eine signifikante Hürde darstellen. Beispielsweise können jeweils neue Kalibrierungen notwendig werden bei einem Wechsel oder einer Veränderung des Testfahrzeugs, einer oder mehrerer Sensoreinrichtungen oder deren Ausrichtung beeinflussender Bauteile oder Komponenten ebenso wie bei einer Neuanordnung oder Neuausrichtung einer oder mehrerer Sensoreinrichtungen und dergleichen mehr. Statische Informationen, beispielsweise bezüglich einer vorgesehenen Einbaulage oder Ausrichtung und/oder bezüglich eines Verhaltens der Sensoreinrichtungen ist dabei nicht immer verfügbar oder genau genug, beispielsweise für eine zuverlässige, genaue und robuste Sensorfusion, also eine Fusion oder Kombinierung von Sensordaten unterschiedlicher Sensoreinrichtungen zu einem Gesamtdatensatz.
-
Ansätze, die ohne spezielle manuell positionierte Referenzobjekte auskommen sollen, können ein Sammeln, Auswählen und Annotieren einer Vielzahl von spezifischen, für Kalibrierungszwecke geeigneten oder definierten Referenz- oder Sensordaten erfordern. Dies stellt ebenfalls einen sehr aufwändigen Prozess dar.
-
Ein Ansatz für ein Kalibrierungsverfahren für den Betrieb von autonomen Fahrzeugen ist in der
DE 10 2018 116 107 A1 beschrieben. Dort ist ein Fahrzeug vorgesehen, das Vorrichtungen, die Daten bereitstellen, Sensoren und Stellglieder sowie eine Steuerung umfasst. Die Steuerung erkennt einen stationären Zustand basierend auf der Ausgabe der Sensoren und erhält einen ersten Satz von Daten einer ersten der Vorrichtungen während des stationären Zustands. Die Steuerung filtert horizontale Randbereiche aus diesem ersten Satz heraus und erhält einen zweiten Satz von zweiten Daten von einer zweiten der Vorrichtungen während des stationären Zustands. Durch die Steuerung werden dann Transformationsparameterwerte basierend auf einer Beziehung zwischen dem zweiten Satz und dem gefilterten ersten Satz bestimmt und anschließend die Stellglieder im Fahrzeug autonom in einer Weise betrieben, die von den Transformationsparameterwerten beeinflusst wird.
-
Aufgabe der vorliegenden Erfindung ist es, eine Möglichkeit zur besonders einfachen und automatisierbaren Kamera-Lidar-Kalibrierung aufzuzeigen.
-
Diese Aufgabe wird erfindungsgemäß durch die Gegenstände der unabhängigen Patentansprüche gelöst. Mögliche Ausgestaltungen und Weiterbildungen der vorliegenden Erfindung sind in den abhängigen Patentansprüchen, in der Beschreibung und in der Figur offenbart.
-
Das erfindungsgemäße Verfahren kann, insbesondere automatisch oder teilautomatisch, im Rahmen einer Kalibrierung eines Kamera-Lidar Paars, also einer Kombination aus einer Kamera und einer Lidareinrichtung, die beispielsweise in demselben Kraftfahrzeug angeordnet sein oder für dasselbe Kraftfahrzeug vorgesehen sein können, angewendet werden. In einem Verfahrensschritt des erfindungsgemäßen Verfahrens werden wenigstens ein mono Kamerabild einer Szene und ein Lidardatensatz, der gemessene Abstandsdaten für diese Szene angibt, erfasst. Das Kamerabild kann also mittels einer monookularen Kamera aufgenommen sein oder aufgenommen werden. Der Lidardatensatz kann gemessene Abstände von Punkten oder Objekten der jeweiligen Szene zu einer entsprechenden Lidareinrichtung, mittels welcher der Lidardatensatz aufgenommen wird oder aufgenommen wurde, angeben oder umfassen.
-
Das Erfassen des Kamerabildes und des Lidardatensatzes kann ein jeweiliges Aufnehmen mittels der Kamera und der Lidareinrichtung und/oder ein Abrufen des Kamerabildes und des Lidardatensatzes aus einem Datenspeicher oder über eine Datenschnittstelle bedeuten oder umfassen. Das Kamerabild und der Lidardatensatz müssen dabei nicht notwendigerweise gleichzeitig oder gemeinsam erfasst werden. Bevorzugt können aber, beispielsweise wenn mehrere Kamerabilder und/oder mehrere Lidardatensätze zur Verfügung stehen und/oder Kamerabilder und Lidardatensätze mit unterschiedlichen Aufnahmefrequenzen oder nicht synchronisiert miteinander aufgenommen werden, ein Kamerabild und ein Lidardatensatz verwendet werden, die bezüglich eines Aufnahme- oder Messzeitpunkts einander am nächsten liegen, insbesondere überlappen. Dadurch kann erreicht werden, dass das Kamerabild und der Lidardatensatz so weit wie möglich dieselbe Szene bzw. die Szene im selben Zustand oder vom selben Standort des jeweiligen Kraftfahrzeugs aus abbilden.
-
In einem weiteren Verfahrensschritt des erfindungsgemäßen Verfahrens wird das erfasste Kamerabild als ein Input, also als Eingangsdaten, einem, insbesondere tiefen, künstlichen neuronalen Netz zugeführt oder bereitgestellt. Dieses künstliche neuronale Netz kann also im Rahmen des erfindungsgemäßen Verfahrens oder für das erfindungsgemäße Verfahren vorgegeben und bereitgestellt sein oder werden. Das künstliche neuronale Netz ist dazu trainiert, für Bildpunkte eines mono Kamerabildes Tiefenwerte zu schätzen, also anzugeben, die einen geschätzten Abstand eines in dem jeweiligen Bildpunkt dargestellten Objekts von der Kamera, mittels welcher das jeweilige Kamerabild aufgenommen wurde, angeben. Das künstliche neuronale Netz kann beispielsweise in einem, insbesondere überwachten, Lern- oder Trainingsverfahrens entsprechend trainiert sein, wobei als Trainingsdaten kalibrierte Lidar-Daten und korrespondierende mono Kamerabilder verwendet werden können. Ein solches Training stellt zwar ebenfalls einen gewissen Aufwand dar, muss aber nur einmalig zum Schaffen des trainierten neuronalen Netzes durchgeführt werden. Beispielsweise kann es sich bei dem künstlichen neuronalen Netz um ein faltendes neuronales Netz (englisch: convolutional neural network, CNN) handeln. Ebenso können aber gegebenenfalls andere Topologien oder Architekturen für das künstliche neuronale Netz verwendet werden.
-
In einem weiteren Verfahrensschritt des erfindungsgemäßen Verfahrens wird von dem neuronalen Netz durch Verarbeiten des Kamerabildes eine entsprechende Tiefenkarte, in der die für die Bildpunkte des Kamerabildes geschätzten Tiefenwerte angegeben sind, erzeugt, also als Output ausgegeben oder bereitgestellt. Die Tiefenkarte kann beispielsweise das mit einem zusätzlichen, durch das neuronale Netz geschätzten Tiefenwert je Pixel versehene oder ergänzte Kamerabild sein oder umfassen. Ebenso kann die Tiefenkarte beispielsweise eine verschiedene Tiefen- oder Abstandswerte angebende Heatmap oder dergleichen sein oder umfassen.
-
In einem weiteren Verfahrensschritt des erfindungsgemäßen Verfahrens wird für die Kalibrierung, also etwa als Basis oder Grundlage der Kalibrierung, eine Korrelation zwischen der auf dem Kamerabild basierenden Tiefenkarte bzw. den darin angegebenen Tiefenwerten und den Abstandsdaten des Lidardatensatzes bestimmt. Dies kann gegebenenfalls mit einer vorgegebenen Kalibrierung, also unter Berücksichtigung gegebener Kalibrierungsparameter durchgeführt werden. Hier können also beispielsweise eine zufällig gewählte oder eine angenommene oder eine bisher verwendete Kalibrierung bzw. entsprechende Kalibrierungsparameter angewendet oder zugrunde gelegt werden.
-
Die Kalibrierungsparameter können beispielsweise Werte für eine räumliche Translation, insbesondere in zwei oder drei Raumrichtungen oder Dimensionen, und für Rotationswinkel, insbesondere um eine, zwei oder drei unterschiedliche, insbesondere senkrecht zueinander stehende, räumliche Achsen oder Raumrichtungen angeben. Durch die Kalibrierungsparameter kann also bestimmt werden, wie das Kamerabild und/oder der Lidardatensatz verschoben und/oder rotiert werden sollen, um eine Projektion oder Abbildung in das jeweils andere Koordinatensystem oder ein vorgegebenes gemeinsames Koordinatensystem für eine möglichst gute Überdeckung des Kamerabildes und des Lidardatensatzes zu erreichen. Bei einer perfekten Kalibrierung - korrespondierend zu einer perfekten oder maximalen Korrelation - wäre jeder von einem jeweiligen Objektpunkt stammende Datenpunkt des Lidardatensatzes genau dem entsprechenden Bildpunkt des Kamerabildes, der denselben Objektpunkt abbildet, zugeordnet oder überlagert.
-
Für die Korrelation bzw. das Bestimmen der Korrelation kann beispielsweise eine vorgegebene Verlustfunktion für Bildpunkte des Kamerabildes basierend auf den Abstandsdaten des Lidardatensatzes ausgewertet werden. Ebenso können gegebenenfalls andere Korrelationsmethoden angewendet werden.
-
Die Kalibrierung kann dann auf Basis der bestimmten Korrelation überprüft, durchgeführt und/oder gegebenenfalls angepasst werden.
-
Die Kalibrierung kann insbesondere nur mit den hier angegebenen Daten durchgeführt werden, also ohne Verwendung zusätzlich erfasster Kalibrierungsdaten, die beispielsweise einen separat gemessenen oder vorgegebenen Abstand zu einem Objekt in der Szene relativ zu der Kamera und/oder der Lidareinrichtung bzw. dem Kraftfahrzeug angeben oder dergleichen.
-
Durch die vorliegende Erfindung kann eine Kalibrierung von Kamera und Lidareinrichtung aufeinander besonders einfach, schnell und aufwandsarm ermöglicht werden. Insbesondere sind keine zusätzlichen externen oder manuellen Maßnahmen außerhalb des Aufnehmens des Kamerabildes und des Lidardatensatzes notwendig, wie beispielsweise ein Anordnen eines eindeutig identifizierbaren und lokalisierten Referenzobjekts, ein Sammeln, Auswählen und Annotieren von Umgebungsdaten vorgegebener Landmarken, die für eine Kalibrierung anhand von darin erkennbaren Merkmalen geeignet sind oder dergleichen. Damit eröffnet die vorliegende Erfindung eine größere Flexibilität, insbesondere im Rahmen einer Entwicklung und Erprobung, durch schnellere und einfachere Testmöglichkeiten. Beispielsweise kann durch die Kalibrierung, die durch die vorliegende Erfindung ermöglicht oder im Rahmen der vorliegenden Erfindung durchgeführt wird, eine zuverlässige Sensorfusion von Kameradaten und Lidar-Daten jeweils auch dann ermöglicht werden, wenn eine oder mehrere Komponenten oder Einstellungen des jeweiligen Kraftfahrzeugs verändert werden oder verändert wurden.
-
Für die vorliegende Erfindung, hier also etwa bei Anwendung des erfindungsgemäßen Verfahrens, kann jeweils von der Annahme ausgegangen werden, dass die Kamera und die Lidareinrichtung zumindest teilweise überlappende Sichtfelder aufweisen. Falls die Lidareinrichtung einen im Vergleich zu der Kamera wesentlich größeren Aufnahme- oder Erfassungsbereich aufweist, beispielsweise im Gegensatz zu der Kamera eine Rundumerfassung ermöglicht, kann zudem eine Richtung, in welche die Kamera ausgerichtet ist, vorgegeben sein. Dazu kann beispielsweise eine bestimmungs- oder spezifikationsgemäß vorgesehene oder vorgegebene Richtung oder Winkelangabe zu einer Mitte oder Mittellinie des Aufnahmebereichs, also des Erfassungs- oder Sichtbereiches der Kamera angegeben werden. Darauf basierend kann dann eine Vorauswahl oder eines entsprechenden Teiles oder Teilbereichs des Lidardatensatzes, also eine entsprechende Einschränkung des Lidardatensatzes auf einen korrespondierenden Aufnahme- oder Messbereich automatisch durchgeführt werden, beispielsweise unter Berücksichtigung einer vorgegebenen Fehler- oder Sicherheitsmarge, also mit einer entsprechend erhöhten Größe, um eine maximale Überdeckung oder Überlappung mit dem Kamerabild zu erreichen. Durch eine solche Vorauswahl oder Einschränkung des Lidardatensatzes kann ein Zeit- und Rechenaufwand zum Bestimmen der Korrelation bzw. zum Durchführen oder Optimieren der Kalibrierung reduziert werden.
-
In einer möglichen Ausgestaltung der vorliegenden Erfindung werden das Kamerabild und der Lidardatensatz in einem Normalfahrbetrieb eines Kraftfahrzeugs mittels einer Kamera und einer Lidareinrichtung des Kraftfahrzeugs von einer zufälligen Szene in einer Umgebung des Kraftfahrzeugs aufgenommen. Ein Normalfahrbetrieb in diesem Sinne kann insbesondere außerhalb von Unfallsituationen oder sogenannten edge- oder cornercases, also außerhalb von einmaligen oder nur selten im Fahrbetrieb auftretenden Sonder- oder Randsituationen vorliegen. Mit anderen Worten können hier also unspezifische, das heißt nicht spezifisch oder speziell für die Kalibrierung ausgewählte Daten, also Kamerabilder und Lidardatensätze, verwendet werden. Dies kann eine signifikante Vereinfachung des erfindungsgemäßen Verfahrens bzw. der Kalibrierung sowie eine signifikante Reduktion des bisher für eine entsprechende Kalibrierung notwendigen Aufwandes bedeuten oder ermöglichen. Dies ist der Fall, da zwar Kamerabilder und Lidardatensätze, an die keine besonderen Anforderungen gestellt werden, die also im vorliegenden Sinne in einem Normalbetrieb des Kraftfahrzeugs aufgenommen werden, mit vergleichsweise geringem Aufwand erfasst oder bereitgestellt werden können, dies jedoch nicht für spezifische Kamerabilder und Lidardatensätze genau vorgegebener Szenen, Umgebungen oder Situationen, in denen beispielsweise bestimmte vorgegebene Landmarken oder Merkmale in einer bestimmten Entfernung und relativen Lage gegeben sein müssen, gilt. Durch die Verwendung des entsprechend trainierten künstlichen neuronalen Netzes ermöglicht die vorliegende Erfindung auch basierend auf solchen unspezifischen Kamerabildern und Lidardatensätzen aus einem Normalfahrbetrieb des Kraftfahrzeugs eine Kalibrierung von Kamera und Lidareinrichtung - zumindest mit einer für heutzutage übliche Test- oder Erprobungsanwendungen ausreichenden Genauigkeit und Zuverlässigkeit.
-
In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung fließt in die letztliche Korrelation bzw. deren Bestimmung nur eine Anzahl von Bildpunkten der Tiefenkarte bzw. des jeweiligen Kamerabildes ein, die der Anzahl von einzigartigen Punkten des Lidardatensatzes, für die der Lidardatensatz Abstandsdaten angibt, entspricht. Mit anderen Worten werden für die Korrelierung von Kamerabild oder Tiefenkarte einerseits und Lidardatensatz bzw. dessen Abstandsdaten andererseits nur die von der Lidareinrichtung tatsächlich aufgenommenen Datenpunkte verwendet. Wird das Verfahren für mehrere Kamerabilder, also beispielsweise für mehrere Frames einer Kamerabild- oder Videosequenz hinweg, angewendet, können sich dabei die jeweils verwendeten Bildpunkte zwischen verschiedenen Kamerabildern oder Frames ändern, je nachdem, für welche Bildpunkte oder Bereiche der Lidardatensatz Abstanddaten umfasst, also je nachdem, für welche Bildpunkte oder Bereiche die Lidareinrichtung verwertbare Reflexionen aufgenommen hat. Dadurch kann zum einen ein Rechenaufwand für das Bestimmen der Korrelation reduziert oder begrenzt und zum anderen eine verbesserte Zuverlässigkeit der Korrelation erreicht werden, beispielsweise im Vergleich zu zusätzlichen Verwendung von interpolierten Werten oder einer Verfälschung der Korrelation durch den Versuch, Bildpunkte des Kamerabildes oder Punkte bzw. Tiefenwerte der Tiefenkarte mit Punkten zu korrelieren, für die der Lidardatensatz keine oder nicht verwertbare Daten umfasst.
-
In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung wird die Korrelation oder die dieser zugrundeliegende Kalibrierung anhand eines damit erzielten oder erzielbaren Gewinns an gegenseitiger Information, auch als Transinformation bezeichnet, bewertet. Mit anderen Worten wird hier der Gewinn an gegenseitiger Information, fachsprachlich als mutual information gain bezeichnet, als Bewertungskriterien für die Korrelation oder die Kalibrierung, für die oder unter der die Korrelation bestimmt wurde, oder - wie an anderer Stelle erläutert - für unterschiedliche Korrelationen oder Kalibrierungen verwendet. Dies stellt gemäß einer der vorliegenden Erfindung zugrunde liegenden Erkenntnis eine besonders effektive Möglichkeit dar, um letztlich eine besonders gute oder genaue Kalibrierung zu ermöglichen bzw. zu erreichen oder sicherzustellen. Basierend auf der Bewertung der Korrelation oder der entsprechenden Kalibrierung, also des jeweils verwendeten oder zugrundegelegten Satzes von Kalibrierungsparametern, können dann gegebenenfalls objektiv gerechtfertigte weitere Maßnahmen durchgeführt oder nicht durchgeführt werden. Dies ermöglicht eine robuste, überprüfbare und einfach automatisierbare Anwendung der vorliegenden Erfindung.
-
In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung werden die Korrelationen mehrerer unterschiedlicher, insbesondere zu unterschiedlichen Zeitpunkten aufgenommener, Kamerabilder und Lidardatensätze bestimmt. Mit anderen Worten kann also die jeweilige Korrelation für mehrere unterschiedliche Paare aus jeweils einem Kamerabild und einem Lidardatensatz bestimmt werden. Dabei kann es sich jeweils insbesondere um Sequenzen oder aufeinanderfolgende Frames von Kamerabildern bzw. Sequenzen von Lidardatensätzen oder Lidarscans handeln. In der hier vorgeschlagenen Ausgestaltung der vorliegenden Erfindung wird erst dann oder nur dann, wenn darauf basierend, also basierend auf den mehreren bestimmten Korrelationen, ein vorgegebenes Korrelationskriterium erfüllt - oder, je nach Formulierung, nicht oder nicht mehr erfüllt - ist, eine Anpassung oder Verbesserung der Kalibrierung veranlasst. Dies kann beispielsweise ein automatisches Durchführen einer neue Kalibrierung, ein Anwenden entsprechender verbesserter oder optimierter Kalibrierungsparameter und/oder ein Ausgeben eines entsprechenden Hinweises bedeuten oder umfassen.
-
Beispielsweise kann hier ein Mittelwert oder eine mittlere Korrelation der bestimmten mehreren Korrelationen bestimmt und mit einem vorgegebenen Korrelationsschwellenwert verglichen werden. Zusätzlich oder alternativ kann eine Anzahl oder ein Anteil von einzelnen der mehreren Korrelationen, die unterhalb oder oberhalb eines vorgegebenen Korrelationsschwellenwertes liegen, bestimmt werden. Als das Korrelationskriterium kann dann beispielsweise überprüft werden, ob der Korrelationsschwellenwert durch den bestimmten Mittelwert bzw. die mittlere Korrelation über- oder unterschritten wird und/oder ob die Anzahl bzw. der Anteil entsprechender Korrelationen größer oder kleiner als ein entsprechender vorgegebener Anzahl- oder Anteilsschwellenwert ist. Durch die hier vorgeschlagene Ausgestaltung der vorliegenden Erfindung kann die Robustheit des erfindungsgemäßen Verfahrens verbessert werden. So können beispielsweise letztendlich unnötige oder nicht gerechtfertigte Maßnahmen vermieden oder eingespart werden, die nur durch eine oder vereinzelte Korrelationen indiziert wären, beispielsweise aufgrund von temporären Verfälschungen, vorübergehenden Messfehlern, kurzzeitigen Umgebungseinflüssen und/oder dergleichen mehr.
-
In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung werden die Tiefenkarte und zumindest die Abstandsdaten des Lidardatensatzes einer vorgegebenen Optimierungseinrichtung bereitgestellt oder zugeführt. Die Optimierungseinrichtung durchsucht darauf basierend automatisch einen vorgegebenen Kalibrierungsparameterraum nach optimierten Kalibrierungsparametern oder einer Kombination von optimierten Kalibrierungsparametern, die zu einer größeren, insbesondere maximalen, Korrelation zwischen der jeweiligen Tiefenkarte und den jeweiligen Abstandsdaten bzw. dem jeweiligen Lidardatensatz führen oder führen würden. Der Kalibrierungsparameterraum kann beispielsweise durch mögliche bzw. vorgegebene Wertebereiche für Daten- oder Koordinatentranslationen und/oder -rotationen aufgespannt sein. Gegebenenfalls, wenn die Optimierungseinrichtung also derartige optimierte Kodierungsparameter gefunden, also ermittelt hat, stellt die Optimierungseinrichtung diese gefundenen optimierten Kalibrierungsparameter bereit, gibt diese also aus oder macht diese abrufbar bzw. verfügbar. Der Optimierungseinrichtung kann ebenso der vollständige Lidardatensatz bereitgestellt oder zugeführt werden, der beispielsweise auch punktweise Intensitätswerte umfassen oder angeben kann, die dann durch die Optimierungseinrichtung ebenfalls berücksichtigt werden können. Beispielsweise können bestimmte Punkte oder Objekte in der jeweiligen Szene, also in der jeweiligen Umgebung des Kraftfahrzeugs, eine besonders große Intensität sowohl in dem Kamerabild als auch in dem Lidardatensatz erzeugen, was eine genauere Zuordnung oder Identifizierung ermöglichen kann. Beispielsweise kann die Optimierungseinrichtung eine entsprechende Übergewichtung derartiger Punkte oder Werte und/oder eine entsprechende Untergewichtung von Punkten oder Werten, deren Intensität unterhalb eines vorgegebenen Intensitätsschwellenwertes liegt, bei der Bestimmung der Korrelation und/oder bei der Optimierung der Kalibrierung, also der Suche oder Bestimmung von optimierten Kalibrierungsparametern, vorsehen, also anwenden. Dies kann eine besonders robuste, genaue und zuverlässige Optimierung der Kalibrierung ermöglichen.
-
Bei einem Erfolg der Optimierung, wenn also optimierte Kalibrierungsparameter gefunden oder bestimmt werden, kann eine gegebenenfalls bis dahin verwendete Kalibrierung entsprechend angepasst werden. Wie auch an anderer Stelle beschrieben, können die unterschiedlichen Korrelationen bzw. Kalibrierungen, also die unterschiedlichen Sätze oder Kombinationen von Kalibrierungsparametern, anhand des Gewinns an gegenseitiger Information bewertet bzw. miteinander verglichen werden. Die Optimierungseinrichtung kann also extrinsische Kalibrierungsfehler bezüglich einer Translation und/oder Rotation minimieren, indem sie den Gewinn an gegenseitiger Information zwischen dem Kamerabild bzw. der Tiefenkarte oder den darin angegebenen Tiefenwerten und dem Lidardatensatz bzw. den darin angegebenen gemessenen Abstandsdaten maximiert bzw. zu maximieren versucht. Ebenso kann die Optimierungseinrichtung dazu eingerichtet sein, Parameter einer intrinsischen Kalibrierung, beispielsweise eine Lage von Hauptpunkten, sogenannten principal points, des Kamerabilds, zu optimieren. Die Optimierungseinrichtung kann insbesondere klassisch oder konventionell implementiert sein, muss also nicht auf dem maschinellen Lernen basieren. Es können aber Parameter für die Optimierung anhand vorgegebener Daten, insbesondere automatisch, bestimmt werden. Die Optimierungseinrichtung kann beispielsweise ein entsprechender Optimierungsalgorithmus, ein entsprechendes Programm- und/oder Schaltungs- oder Berechnungsmodul oder dergleichen sein oder umfassen. Damit kann ein zur Anwendung oder Ausführung der Optimierung benötigter Rechenaufwand begrenzt bzw. besonders klein gehalten werden. Zudem können dann besonders einfach Anpassungen der Optimierungseinrichtung implementiert werden.
-
In einer möglichen Weiterbildung der vorliegenden Erfindung ist es vorgesehen, dass die Optimierungseinrichtung den Kalibrierungsparameterraum automatisch in oder gemäß einem vorgegebenen Gitterschema durchsucht - auch als grid search bezeichnet - und/oder die Korrelation nach einem vorgegebenen Gradientenabstiegsverfahren maximiert. Beispielsweise kann in dem ersteren Fall die Optimierungseinrichtung mögliche Translationen in Schritten oder Sprüngen von etwa 2 cm und/oder mögliche Rotationen in Schritten oder Sprüngen von beispielsweise 1° abtasten, also hinsichtlich der resultierenden Korrelationen überprüfen. Dies stellt eine besonders einfache bzw. besonders einfach zu implementierende und aufwandsarm anwendbare Methode zur Optimierung der Korrelation bzw. der Kalibrierung dar. Die Verwendung des Gradientenabstiegsverfahren kann hingegen eine besonders schnelle Ausführung der Optimierung ermöglichen. Dies kann Echtzeitanwendungen ermöglichen, bei denen die Kalibrierung in Echtzeit im Fahrbetrieb des Kraftfahrzeugs automatisch angepasst wird. Damit kann beispielsweise dynamisch auf Erschütterungen durch Fahrbahnunebenheiten, Schlaglöcher, Bordsteinkanten und/oder dergleichen mehr reagiert werden, insbesondere wenn die Kamera und die Lidareinrichtung voneinander beabstandet angeordnet und/oder unabhängig voneinander befestigt oder gehalten sind. Dies kann letztlich zu einer Verbesserung verschiedenster, auf Kamera- und Lidardaten basierender automatisierter Assistenz- oder Fahrfunktionen beitragen.
-
In einer möglichen Weiterbildung der vorliegenden Erfindung wird eine durch die Optimierungseinrichtung bestimmte oder basierend auf einem Ergebnis oder einer Ausgabe der Optimierungseinrichtung bestimmte oder festgelegte optimierte Kalibrierung mit einer bis dahin verwendeten Kalibrierung verglichen. Eine optimierte Kalibrierung in diesem Sinne ist eine Kalibrierung mit oder gemäß den durch die Optimierungseinrichtung bestimmten oder gefundenen optimierten Kalibrierungsparametern. Falls, insbesondere nur falls, der Vergleich eine Ungenauigkeit der bis dahin verwendeten Kalibrierung aufzeigt, wird die bis dahin verwendete Kalibrierung, insbesondere automatisch, durch die optimierte Kalibrierung ersetzt. Mit anderen Worten werden also entsprechende Werte eines oder mehrerer Kalibrierungsparameter durch die von der Optimierungseinrichtung gefundenen optimierten Kalibrierungsparameter ersetzt, wenn beispielsweise eine Abweichung zwischen der bis dahin verwendeten Kalibrierung und der optimierten Kalibrierung einen vorgegebenen Abweichungsschwellenwert erreicht oder darüber liegt. Es kann also eine optimierte extrinsische Kalibrierung bestimmt werden, mittels welcher die jeweilige bisherige oder originale Kalibrierung anhand von Abweichungen validiert, also bestätigt oder verworfen bzw. als ungültig oder unzureichend eingestuft werden kann. Durch die hier vorgeschlagene Ausgestaltung der vorliegenden Erfindung können letztlich unnötige und potenziell für einen jeweiligen Betrieb disruptive Anpassungen oder Veränderungen der Kalibrierung vermieden werden. Zudem kann durch den Vergleich eine Absicherung und somit eine verbesserte Verlässlichkeit oder Zuverlässigkeit der jeweils verwendeten Kalibrierung realisiert werden.
-
Ein weiterer Aspekt der vorliegenden Erfindung ist eine Kalibrierungseinrichtung, die eine Datenschnittstelle zumindest zum Erfassen von Kamerabildern und Lidardatensätzen, einen computerlesbaren Datenspeicher und eine damit gekoppelte Prozessoreinrichtung, also beispielsweise einen Mikrochip, Mikroprozessor oder Mikrocontroller oder dergleichen, sowie ein künstliches neuronales Netz aufweist. Das künstliche neuronale Netz ist dabei wie im Zusammenhang mit dem erfindungsgemäßen Verfahren beschrieben, dazu trainiert, für Bildpunkte eines mono Kamerabildes Tiefenwerte zu schätzen, die einen Abstand eines in dem jeweiligen Bildpunkt dargestellten Objekts von der Kamera, mittels welcher das jeweilige Kamerabild aufgenommen wurde, angeben. Die erfindungsgemäße Kalibrierungseinrichtung ist zum, insbesondere automatischen oder teilautomatischen, Ausführen des erfindungsgemäßen Verfahrens bzw. zumindest einer Weiterbildung oder Ausführungsform des erfindungsgemäßen Verfahrens eingerichtet.
-
Ein weiterer Aspekt der vorliegenden Erfindung ist ein Kraftfahrzeug, das eine mono Kamera und eine Lidareinrichtung mit einander ganz oder teilweise überlappenden Erfassungsbereichen, also Aufnahmebereichen oder Mess- bzw. Sichtfeldern sowie eine damit gekoppelte erfindungsgemäße Kalibrierungseinrichtung aufweist. Das erfindungsgemäße Kraftfahrzeug kann insbesondere das im Zusammenhang mit dem erfindungsgemäßen Verfahren und/oder im Zusammenhang mit der erfindungsgemäßen Kalibrierungseinrichtung genannte Kraftfahrzeug sein oder diesem entsprechen. Dementsprechend kann das erfindungsgemäße Kraftfahrzeug einige oder alle der in diesen Zusammenhängen genannten Merkmale und/oder Eigenschaften aufweisen. Dadurch, dass die Kalibrierungseinrichtung hier als Teil des Kraftfahrzeugs vorgesehen ist, kann die Kalibrierung standortunabhängig, insbesondere auch in einem Fahrbetrieb des Kraftfahrzeugs sowie gegebenenfalls besonders einfach und zuverlässig in Echtzeit durchgeführt werden.
-
Ebenso kann die erfindungsgemäße Kalibrierungseinrichtung aber als fahrzeugexterne Einrichtung ausgebildet sein. Die Kalibrierungseinrichtung kann dann beispielsweise im Bedarfsfall an das Kraftfahrzeug angeschlossen, also mit diesem verbunden oder gekoppelt werden, sei es durch eine kabel- oder leitungsgebundene oder durch eine kabellose Datenverbindung. Dadurch kann entsprechende Komplexität in dem Kraftfahrzeug selbst eingespart und die Kalibrierungseinrichtung beispielsweise für mehrere verschiedene Kraftfahrzeuge verwendet werden. Ebenso kann die Kalibrierungseinrichtung als Servereinrichtung, Cloud-Server oder Backend oder als Teil davon implementiert sein. Dies kann ebenfalls eine zumindest im Wesentlichen von einem jeweils aktuellen Standort des Kraftfahrzeugs unabhängige Nutzung der Kalibrierungseinrichtung ermöglichen, beispielsweise indem das Kamerabild und der Lidardatensatz über eine kabellose Datenverbindung, beispielsweise eine Mobilfunk- oder WLAN-Verbindung oder dergleichen, an die fahrzeugexterne Kalibrierungseinrichtung gesendet oder übermittelt werden. Zudem kann dann besonders einfach und bedarfsgerecht eine typischerweise größere Rechenkapazität zur Durchführung des erfindungsgemäßen Verfahrens verwendet oder bereitgestellt werden, als zumindest in heutzutage üblichen Kraftfahrzeugen typischerweise vorhanden ist.
-
Weitere Merkmale der Erfindung können sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung ergeben. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung und/oder in den Figuren allein gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen.
-
Die Zeichnung zeigt in der einzigen Figur eine schematische Darstellung zur Veranschaulichung einer automatisierbaren Kalibrierung eines Kamera-Lidar-Paars eines Kraftfahrzeugs.
-
1 zeigt eine schematische Übersichtsdarstellung mit einem Kraftfahrzeug 10 und Umgebungsobjekten 12, die sich in einer Umgebung außerhalb des Kraftfahrzeugs 10 befinden. Bei den Umgebungsobjekten 12 kann es sich beispielsweise um Hindernisse, andere Verkehrsteilnehmer oder dergleichen handeln.
-
Das Kraftfahrzeug 10 ist mit einem Umgebungserfassungssystem 14 ausgestattet. Dieses Umgebungserfassungssystem 14 dient dazu, ist also dazu eingerichtet, eine Umgebung des Kraftfahrzeugs 10 zu erfassen, also abzubilden oder zur charakterisieren, vorliegend also etwa die Umgebungsobjekte 12 zu erkennen oder Daten bereitzustellen, aus denen die Anwesenheit der Umgebungsobjekte 12 abgeleitet werden kann. Dazu umfasst das Umgebungserfassungssystem 14 hier eine Kamera 16, deren Erfassungs- oder Aufnahmebereich hier schematisch als Kamerasichtfeld 18 angedeutet ist. Weiter umfasst das Umgebungserfassungssystem 14 eine Lidareinrichtung 20, welche die Umgebung des Kraftfahrzeugs 10 licht- bzw. laserbasiert abtasten kann. Beispielhaft sind hier schematisch einige Lidarabtastungen 22 dargestellt, die von der Lidareinrichtung 20 ausgehende bzw. von unterschiedlichen Punkten der Umgebungsobjekte 12 zu der Lidareinrichtung 20 reflektierte Licht- oder Laserstrahlen repräsentieren können.
-
Die Kamera 16 kann ein jeweiliges Kamerabild 24, das eine jeweilige Szene der Umgebung des Kraftfahrzeugs 10, vorliegend beispielsweise umfassend die Umgebungsobjekte 12, abbildet, ausgeben oder bereitstellen. Analog dazu kann die Lidareinrichtung 20 einen Lidardatensatz 26, der die jeweilige Umgebung oder Szene charakterisiert, bereitstellen oder ausgeben.
-
Das Kamerabild 24 und der Lidardatensatz 26 können, beispielsweise über ein Bordnetz des Kraftfahrzeugs 10, gesendet oder übertragen werden, etwa zu einer Assistenzeinrichtung 28, die darauf basierend eine Fahrzeugeinrichtung 30 steuern oder betreiben kann, und zu einer - fahrzeuginternen oder fahrzeugexternen - Kalibrierungseinrichtung 32.
-
Die Verfügbarkeit sowohl des Kamerabild 24 als auch des Lidardatensatzes 26 kann prinzipiell durch deren Kombination oder Fusion einen Mehrwert bieten. Dies kann beispielsweise eine umfassendere, genauere oder zuverlässigere Charakterisierung der jeweiligen Umgebung, also beispielsweise eine entsprechende Erkennung der Umgebungsobjekte 12, ermöglichen. Eine solche Kombinationen oder Fusion des Kamerabildes 24 mit dem Lidardatensatz 26 ist jedoch nur dann genau und zuverlässig möglich, wenn diese Daten korrekt miteinander in Beziehung gesetzt werden können. Dies kann über eine Kalibrierung der Kamera 16 und der Lidareinrichtung 20 bzw. von entsprechenden Koordinatensystemen miteinander oder mit einem gemeinsamen Referenzkoordinatensystem erreicht werden. Eine solche Kalibrierung kann durch Kalibrierungsparameter bestimmt oder charakterisiert sein, die beispielsweise angeben können, in welchem Maße oder in welcher Weise das jeweilige Kamerabild 24 und/oder der jeweilige Lidardatensatz 26 translatorisch und/oder rotatorisch zu transformieren ist oder sind, um eine korrekte Überdeckung oder Zuordnung zu erreichen.
-
Gerade im Rahmen einer Entwicklung und Erprobung von Fahrzeugen und Sensorsystemen, beispielsweise in entsprechenden Testfahrzeugen, kann es häufig zu Veränderungen kommen, die die Kalibrierung, also die Relation zwischen der Kamera 16 bzw. dem Kamerabild 24 und der Lidareinrichtung 20 bzw. dem Lidardatensatz 26 beeinflussen und dementsprechend nicht zuverlässig durch einmal bestimmte Kalibrierungsdaten oder Kalibrierungsparameter beschrieben oder erfasst werden können. In bisherigen Ansätzen kann versucht werden, dieser Problematik durch aufwändige Maßnahmen zu begegnen. So kann beispielsweise jeweils eine zeit- und arbeitsintensive manuelle Kalibrierung anhand eines Referenzobjekts mit einem eindeutig identifizierbaren und lokalisierten Erkennungsmuster oder dergleichen durchgeführt werden. Zusätzlich oder alternativ kann versucht werden, große Mengen an spezialisierten Sensordaten zu sammeln und darauf basierend eine Kalibrierung durchzuführen, was jedoch ebenfalls einen enormen Zeit-, Kosten- und Arbeitsaufwand bedeutet, etwa zum tatsächlichen Aufnehmen, Sortieren, Auswählen und Annotieren der Sensordaten, und zudem zu unterschiedlich guten, also unterschiedlich qualitativen Kalibrierungen führen und eine manuelle Verifizierung erfordern kann.
-
Es hat sich jedoch gezeigt, dass die Kalibrierung verbessert werden kann mit einem automatischen Verfahren zum Überprüfen und, falls notwendig, Korrigieren der Kalibrierung der Lidareinrichtung 20 zu der Kamera 16 (englisch: cross sensor calibration), das zudem anhand von Sensordaten, also Kamerabildern 24 und Lidardatensätzen 26, durchgeführt werden kann, die nicht spezifisch für diesen Zweck gesammelt oder ausgewählt oder manuell annotiert sein müssen, sondern zufällige bzw. häufig anzutreffende oder durchschnittliche Szenen oder Fahrsituationen abbilden können.
-
Dazu wird vorliegend die Kalibrierungseinrichtung 32 bereitgestellt und verwendet. Die Kalibrierungseinrichtung 32 weist eine Datenschnittstelle 34 zum Erfassen des Kamerabildes 24 und des Lidardatensatzes 26 sowie einen Datenspeicher 36 und einen Prozessor 38 zum Verarbeiten dieser Daten auf. In dem Datenspeicher 36 kann ein entsprechendes vorgegebenes Betriebs- oder Computerprogramm hinterlegt sein, welches das Verfahren bzw. dessen Verfahrensschritte oder Abläufe und/oder Steueranweisungen zu deren Veranlassen implementiert und durch den Prozessor 38 zum, insbesondere automatischen oder teilautomatischen, Durchführen oder Veranlassen des entsprechenden Verfahrens ausführbar ist.
-
Dazu wird in dem Datenspeicher 36 ein künstliches neuronales Netz 40 bereitgestellt, das dazu trainiert ist, für Bildpunkte eines mono Kamerabildes Tiefenwerte zu schätzen, die einen Abstand eines von dem jeweiligen Bildpunkt dargestellten Objekts von einer Kamera, mittels welcher das jeweilige mono Kamerabild aufgenommen wurde, angeben. Das neuronale Netz kann also als Input oder Eingangsdaten hier das Kamerabild 24 empfangen, dieses verarbeiten und daraus als Ausgangsdaten oder Output eine jeweilige Tiefenkarte erzeugen, die für die Bildpunkte des Kamerabildes 24 geschätzte Tiefenwerte angibt. Diese Tiefenwerte geben hier also den geschätzten Abstand beispielsweise der Umgebungsobjekte 12 von der Kamera 16 an. Weiter ist hier ein Optimierungsmodul 42 bereitgestellt.
-
Durch die Kalibrierungseinrichtung 32 kann, insbesondere mittels des Optimierungsmoduls 42, dann eine Korrelation zwischen der durch das neuronale Netz 40 erzeugten Tiefenkarte und dem zu dem zugrundeliegenden Kamerabild 24 korrespondierenden Lidardatensatz 26 bzw. den darin angegebenen Abstandsdaten - hier also beispielsweise zu den Umgebungsobjekt 12 - bestimmt werden. Dies kann beispielsweise unter Verwendung oder Annahme einer vorgegebenen Kalibrierung, also eines vorgegebenen Satzes von Kalibrierungsparametern, durchgeführt werden. Die Korrelation und damit auch die Kalibrierung kann durch die Kalibrierungseinrichtung 32, insbesondere mittels des Optimierungsmoduls 42, automatisch bewertet werden, beispielsweise anhand eines vorgegebenen Korrelations- oder Bewertungskriteriums. Ein solches Korrelations- oder Bewertungskriterium kann insbesondere eine gegenseitige Information bzw. einen Gewinn an gegenseitiger Information durch die oder anhand der Korrelation bestimmen bzw. für die Bewertung berücksichtigen.
-
In die Bewertung können alle Bildpunkte des Kamerabildes 24 bzw. der entsprechenden Tiefenkarte einfließen, für die es unter der aktuellen Kalibrierung zugehörige, also im entsprechenden Koordinatensystemen am selben Ort verortete Datenpunkte oder Abstandsdaten in dem Lidardatensatz 26 gibt. Die verwendeten Bildpunkte können sich also zwischen verschiedenen Kamerabild-Lidardatensatz-Paaren ändern.
-
Die Kalibrierungseinrichtung 32 kann einen vorgegebenen Kalibrierungsparameterraum, der durch die möglichen oder vorgegebene Werte oder Wertebereiche der Kalibrierungsparameter aufgespannt wird, insbesondere mittels des Optimierungsmoduls 42 nach einem Satz von Kalibrierungsparametern durchsuchen, mittels welcher die Korrelation zwischen dem jeweiligen Kamerabild 24 bzw. der darauf basierend erzeugten Tiefenkarte und dem Lidardatensatz 26 bzw. den darin angegebenen Abstandsdaten optimiert, also vergrößert oder maximiert werden kann.
-
Falls solche optimierte Kalibrierungsparameter gefunden werden, kann die Kalibrierung der Lidareinrichtung 20 zu der Kamera 16 damit durchgeführt oder angepasst werden, insbesondere automatisch durch die Kalibrierungseinrichtung 32. Ebenso können entsprechende Kalibrierungsdaten, also beispielsweise die optimierten Kalibrierungsparameter oder entsprechende Steueranweisungen oder dergleichen, von der Kalibrierungseinrichtung 32, insbesondere automatisch, an die Assistenzeinrichtung 28 gesendet werden. Diese kann darauf basierend dann eine entsprechend verbesserte Kombinierung oder Fusion des Kamerabildes 24 und des Lidardatensatzes 26 durchführen.
-
Insgesamt zeigen die beschriebenen Beispiele wie eine automatisierte online Lidar-zu-Kamera-Kalibrierung basierend auf einer Optimierung oder Maximierung eines Gewinns an gegenseitiger Information zwischen automatisch aus einem mono Kamerabild geschätzten Tiefenwerte und lidarbasierten gemessenen punktweisen Abstandsdaten realisiert werden kann.
-
Bezugszeichenliste
-
- 10
- Kraftfahrzeug
- 12
- Umgebungsobjekte
- 14
- Umgebungserfassungssystem
- 16
- Kamera
- 18
- Kamerasichtfeld
- 20
- Lidareinrichtung
- 22
- Lidarabtastungen
- 24
- Kamerabild
- 26
- Lidardatensatz
- 28
- Assistenzeinrichtung
- 30
- Fahrzeugeinrichtung
- 32
- Kalibrierungseinrichtung
- 34
- Datenschnittstelle
- 36
- Datenspeicher
- 38
- Prozessor
- 40
- neuronales Netz
- 42
- Optimierungsmodul
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102018116107 A1 [0004]
