-
Die Erfindung betrifft ein Verfahren zur Kalibrierung eines Lidarsensors eines Fahrzeugs oder eines Roboters.
-
Aus der
DE 10 2016 009 327 A1 sind ist ein Verfahren zur Kalibrierung einer Kamera eines Fahrzeugs bekannt, wobei mittels der Kamera Bilder einer Fahrzeugumgebung erfasst werden. Mittels zumindest eines Lidarsensors wird ein definiertes Muster in die Fahrzeugumgebung in zumindest einen Abschnitt eines Erfassungsbereichs der Kamera ausgesendet, welches mittels der Kamera erfasst wird. Mittels einer mit der Kamera gekoppelten oder in diese integrierten Auswerteeinheit werden zu dem in mittels der Kamera erfassten Bildern enthaltenen Muster Entfernungswerte ermittelt und anhand der Entfernungswerte wird die Kalibrierung der Kamera durchgeführt. Der Lidarsensor ist selbstkalibrierend ausgebildet, wobei die Selbstkalibrierung auf einer Objektverfolgung basiert.
-
Der Erfindung liegt die Aufgabe zu Grunde, ein neuartiges Verfahren zur Kalibrierung eines Lidarsensors eines Fahrzeugs oder eines Roboters anzugeben.
-
Die Aufgabe wird erfindungsgemäß mit einem Verfahren gelöst, welches die im Anspruch 1 angegebenen Merkmale aufweist.
-
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
-
In dem Verfahren zur Kalibrierung eines Lidarsensors eines Fahrzeugs oder eines Roboters wird erfindungsgemäß in einer Referenzkalibrierung ein, eine vorgegebene Reflektivität aufweisendes und in einer vorgegebenen Entfernung zum Lidarsensor befindliches Referenzobjekt mit Laserstrahlung des Lidarsensors beaufschlagt. Weiterhin wird von dem Referenzobjekt reflektierte Laserstrahlung mittels eines Lidarempfängers des Lidarsensors empfangen und der Lidarsensor erzeugt ein mit der Laserstrahlung korrelierendes und eine Referenzintensität aufweisendes Sensorsignal, wobei eine Empfindlichkeit des Lidarempfängers in Abhängigkeit der Referenzintensität kalibriert wird. In einer Betriebskalibrierung wird während eines Betriebs des Fahrzeugs oder Roboters mittels zumindest einer Kamera erfasst, ob im Erfassungsbereich des Lidarsensors zumindest ein Objekt vorhanden ist, dessen Reflektivität der eines Referenzobjekts der Referenzkalibrierung entspricht. Bei Vorhandensein eines solchen Objekts wird mittels des Lidarsensors eine Entfernung zu dem Objekt ermittelt. Ferner wird eine Intensität eines aufgrund einer von dem Objekt reflektierten Laserstrahlung erzeugten Sensorsignals ermittelt, wobei die ermittelte Intensität mit einer zugehörigen Referenzintensität verglichen wird und in Abhängigkeit des Vergleichs der Intensität mit der Referenzintensität die Empfindlichkeit des Lidarempfängers, beispielsweise einer Photonendetektoranordnung, kalibriert wird.
-
Der genannte Roboter ist beispielsweise als fahrender, schwimmender oder liegender Roboter ausgebildet. Beispielsweis ist der Roboter ebenfalls als Fahrzeug, beispielsweise als hoch- oder vollautomatisierter Personenkraftwagen, als hoch- oder vollautomatisiertes Transportfahrzeug oder als hoch- oder vollautomatisierter Lastkraftwagen ausgebildet. Auch kann der Roboter ein Industrieroboter, automatisierter Rasenmäher, Saugroboter, Wischroboter oder automatisiertes Wasserfahrzeug sein.
-
Beispielsweise werden bzw. wird in Abhängigkeit der Kalibrierung die Empfindlichkeit des Lidarempfängers und/oder eine Sendeleistung des Lidarsensors derart modifiziert, dass der Lidarempfänger ein Sensorsignal ausgibt, das bei gleichem Abstand wie bei der Referenzkalibrierung die gleiche Intensität wie bei der Referenzkalibrierung aufweist. Die Sendeleistung und Empfängerempfindlichkeit werden dabei beispielsweise derart angeglichen, dass ein Objekt mit einer gewissen Reflektivität von allen Sende-Empfangseinheiten des Lidars oder über eine Ablenkung einzelner Sende-Empfangseinheiten gleich dargestellt wird.
-
Am Beispiel einer Kalibrierfläche mit einer definierten Lambertsche Reflektivität von 10 % muss in einer gegebenen Entfernung in jedem Abschnitt eines Sichtbereiches des Lidars die gleiche Intensität ermittelt werden, so dass das Objekt überall als das selbige erkannt werden kann. Da die Intensität der Reflexion entfernungsabhängig ist, wird sehr oft auf die Reflektivität kalibriert. In einem konkreten Anwendungsbeispiel weist ein Lastkraftwagen an seinem Heck oft eine lackierte, metallische Fläche, welche von einem hochreflektiven Streifen umrandet ist. Zusätzlich weist der Lastkraftwagen Rückleuchten und ein Nummernschild auf. Da ein Lidar keine Farben erkennt sondern nur Rückstreuintensitäten einer monochromatischen Beleuchtung, spiegelt sich die beschriebene Charakteristik des Hecks des Lastkraftwagen in charakteristischen Verteilungen der Intensität bzw. einer kalibrierten Reflektivität wieder. Diese Eigenheiten sollten sich in allen Abschnitten des Sichtbereichs des Lidars und auch über die Entfernung monoton verhalten, das heißt gleichmäßig skalieren. Wenn nun die Sende-Empfangseinheiten des Lidars unterschiedliche Werte zurückmelden, ändert sich dieses Muster, wodurch das Objekt schwieriger für die Algorithmik zu erkennen ist. Vergleichbare Probleme treten auf, wenn die Intensitätsausgabe einer einzelnen, beispielsweise mittels eines Spiegels über den Sichtbereich abgelenkten Sende-Empfangseinheit schwankt. Die mittels des vorliegenden Verfahrens durchgeführte Kalibrierung der Intensitätsausgabe und damit der daraus abgeleiteten Reflektivität weist diese Probleme nicht auf und ist somit essentiell für eine Verlässlichkeit einer Objekterkennung mittels Lidaren.
-
Neben einer räumlichen Information von Detektionen eines Lidars ist auch eine Intensität von Reflexionen für Algorithmen von Interesse. Je nach Farbe, Material und Orientierung reflektiert ein Objekt unterschiedlich stark, so dass Charakteristika für Objekte abgeleitet werden können, ähnlich zu so genannten HOC-Klassifizierungen in Kameras. Da Lidare häufig eine Mehrzahl an, zumindest teilweise, unabhängigen Lasern und Lidarempfängern hat, welche Fertigungsschwankungen unterliegen, ist die Intensität eines gleichen Objektes je nach Laser/Empfänger-Kombination unterschiedlich. Eine Kalibrierung auf objektive Referenzziele während der Produktion leistet hier Abhilfe, ist aber Komplex und während der Nutzungsdauer nicht ohne weiteres nachprüfbar und korrigierbar.
-
Das Verfahren ermöglicht eine Kalibrierung des Lidarsensors auch während eines Betriebs des Fahrzeugs oder Roboters. Es wird somit eine Kalibriermöglichkeit über eine Nutzungsdauer des Lidarsensors ermöglicht, um auch Alterungseffekte, Abhängigkeiten von Umgebungsbedingungen, beispielsweise Temperaturabhängigkeiten, und/oder Verunreinigungen und/oder Fluktuationen bzw. zeitlichen Schwankungen einer Energieversorgung des Lidarsensors sowie dynamische Änderungen eines Widerstandes im Halbleiter des Lidarsensensors zu erfassen. Somit kann auch im Betrieb des Lidarsensors eine Kalibrierung ausgeführt und nachgeholt werden, was insbesondere auch bei automatisiert, insbesondere hochautomatisiert, autonom oder teilautonom, betriebenen Fahrzeugen oder Robotern vorteilhaft ist. Die Kalibrierung ermöglicht dann eine Einstellung der Empfindlichkeit des Lidarempfängers und/oder der Sendeleistung des Lidarsensors in der Art, dass die Intensität der Sensorsignale angepasst ist.
-
Da im Betrieb des Fahrzeugs oder Roboters von einer vorhandenen Grundkalibrierung des Lidars ausgegangen werden kann, ist nur eine so genannte Nachkalibrierung in der Betriebskalibrierung erforderlich. Hierbei werden beispielsweise die zurückgemeldeten Intensitäts- oder Reflektivitätswerte des Lidars mit Farb- und Konturauswertungen der Kamera überlappt, so dass homogene Flächen identifiziert werden. Zu erwartende Intensitäten werden dann aus Mittelwerten der verbauten Sensoren abgeleitet und können zusätzlich durch Kartendaten verfeinert werden, die die Informationen von anderen Fahrzeugen oder Roboter mit entsprechender Sensorik beinhalten und somit weitere Messpunkte für die Fläche bereitstellen können.
-
Weiterhin ermöglicht das Verfahren eine Kalibrierung der Kamera und des Lidarsensors relativ zueinander, so dass mittels der Kamera und des Lidarsensors erkannte Objekte einander besser zugeordnet werden können und eine Genauigkeit steigt. Wenn die Kamera und der Lidarsensors direkt aufeinander kalibriert werden, reduziert sich ein relativer Fehler zwischen diesen. Durch eine somit erzeugte direkte Kalibrierung der Kamera auf den Lidarsensor und andersherum kann eine direkte Fusion von Rohdaten der Kamera und des Lidarsensors durchgeführt werden. Darüber hinaus wird auch die Fusion von unabhängigen Daten der Kamera und des Lidarsensors verbessert. Ergebnis einer Berücksichtigung der Kalibrierung ist, dass die Kamera und der Lidarsensor das gleiche Objekt am gleichen Ort sehen.
-
Durch den Kalibrierprozess einer Intensitätsausgabe des Lidarsensors wird eine Performance von Klassifikatoren und damit von Erkennungsalgorithmen signifikant verbessert. Durch die Nutzung der Kamera, die mit dem Lidarsensor am oder im Fahrzeug oder Roboter verbaut sind, kann dieser Prozess auch über die Lebensdauer des Lidarsensors durchgeführt werden, um die Kalibrierung zu überprüfen sowie gegebenenfalls zu korrigieren und Alterungseffekte auszugleichen. Beispielsweise kann dies in einem automatisiert, insbesondere hochautomatisiert, autonom oder teilautonom, betriebenen Fahrzeug oder Roboter durchgeführt werden, wenn dieses gerade parkt und beispielsweise an einer Ladestation lädt.
-
In einer möglichen Ausgestaltung des Verfahrens wird während des Betriebs des Fahrzeugs oder Roboters bei sich ändernden Entfernungen des Lidarsensors zu dem Objekt eine Intensität mit der Referenzintensität verglichen, welche bei einer Entfernung ermittelt wurde, die der Entfernung des zugehörigen Referenzobjekts zum Lidarsensor entspricht. Dies ermöglicht, dass die Empfindlichkeit des Lidarempfängers und/oder die Sendeleistung des Lidarsensors derart gesteuert werden können bzw. kann, dass die Intensität eines aktuell ermittelten Sensorsignals mit der Referenzintensität übereinstimmt, das heißt die Abweichung zwischen den verglichenen Intensitäten wird minimiert. Somit können physikalische Eigenschaften des Lidarempfängers derart beeinflusst werden, dass eine aktuelle Intensität des Sensorsignals mit der Referenzintensität des Sensorsignals übereinstimmt, das während der vorangegangenen Referenzkalibrierung für ein Referenzobjekt gleicher Reflexivität und für den gleichen Objektabstand ermittelt wurde.
-
In einer weiteren möglichen Ausgestaltung des Verfahrens wird während des Betriebs des Fahrzeugs oder Roboters bei sich ändernden Entfernungen des Lidarsensors zu dem Objekt eine Intensität mit der Referenzintensität verglichen, welche durch Extrapolation von Intensitäten ermittelt wurde, die bei verschiedenen Entfernungen des Lidarsensors zum Objekt ermittelt wurden. Dies ermöglicht auch dann eine zuverlässige Kalibrierung des Lidarsensors, wenn sich das erfasste Objekt nicht in der gleichen Entfernung zum Lidarsensor befindet wie das Referenzobjekt. Dabei wird beispielsweise die extrapolierte Intensität mit der Referenzintensität verglichen und die Empfindlichkeit des Lidarempfängers und/oder die Sendeleistung des Lidarsensors werden bzw. wird derart gesteuert, dass eine Abweichung zwischen den verglichenen Intensitäten minimal wird.
-
In einer weiteren möglichen Ausgestaltung des Verfahrens wird zur Beaufschlagung des Referenzobjekts und des Objekts die mittels des Lidarsensors ausgesendete Laserstrahlung mittels eines rotierenden Spiegels des Lidarsensors abgelenkt. Dies ermöglicht eine besonders einfache und zuverlässige Beaufschlagung des Referenzobjekts mit der Laserstrahlung.
-
In einer weiteren möglichen Ausgestaltung des Verfahrens wird als auf das Objekt gerichtete Laserstrahlung Infrarot-Laserstrahlung verwendet, so dass eine Erfassung der reflektierten Laserstrahlung mittels der Kamera möglich ist.
-
In einer weiteren möglichen Ausgestaltung des Verfahrens wird zur Erzeugung mittels der Kamera erfasster Bilder zumindest während der Betriebskalibrierung mittels eines kameraeigenen Infrarotlichtfilters auf die Kamera treffende Lichtstrahlung gefiltert. Mittels des Infrarotlichtfilters werden Interferenzen verringert und eine Farbqualität erhöht.
-
In einer weiteren möglichen Ausgestaltung des Verfahrens wird ein Infrarotlichtfilter verwendet, welcher durchlässig für eine von dem Lidarsensor ausgesendete und von Objekt reflektierte Infrarot-Laserstrahlung ist, so dass eine Erfassung der reflektierten Infrarot-Laserstrahlung möglich ist.
-
In einer weiteren möglichen Ausgestaltung des Verfahrens wird ein Infrarotlichtfilter verwendet, welcher in einem Kalibriermodus der Kamera durchlässig für eine von dem Lidarsensor ausgesendete und von dem Objekt reflektierte Infrarot-Laserstrahlung geschaltet wird. Somit kann der Infrarotlichtfilter während eines normalen Betriebs der Kamera zur Verringerung der Interferenzen und zur Erhöhung der Farbqualität verwendet werden und im Kalibriermodus zur optimierten Erfassung der mittels des Lidarsensors ausgesendeten und von dem Objekt reflektierten Infrarot-Laserstrahlung deaktiviert werden.
-
In einer weiteren möglichen Ausgestaltung des Verfahrens wird bei der Erfassung des Objekts mittels der Kamera eine Integration über mehrere nacheinander erfasste Bilder der Kamera durchgeführt. Durch diese Integration wird eine Auflösung der Kamera im Infrarot-Bereich erhöht, was vorteilhaft ist, da eine Kamera herkömmliche Farbkamera ausgebildete Kamera ihre höchste Empfindlichkeit im sichtbaren Lichtbereich aufweist und im Infrarot-Bereich dagegen eine eher geringe Empfindlichkeit aufweist. Weiterhin werden kleine Schwankungen in der Beleuchtung kompensiert. Wenn ein einzelnes Bild von der Kamera genutzt wird und nicht zeitlich integriert wird, so kann aufgrund unterschiedlicher Beleuchtungszeiten von Kamera und Lidar eine Schwebung auftreten, die einen Rolling Shutter Effekt hervorruft. Durch die zeitliche Integration über mehrere Frames, beispielsweise im Stillstand, wird eben dieser Rolling Shutter Effekt mitigiert. Dabei ist es aufgrund der Vielzahl von Messungen über die Frames nicht von Bedeutung, wann die Kamera und das Lidar relativ zueinander gestartet haben und wie genau sie ablaufen. Insbesondere ist das Verfahren auch dazu ausgebildet, dass auch lückenlos scannende Sensoren kalibrierbar sind, das heißt nicht nur Bereiche innerhalb eines Bilds verglichen werden sondern auch mit aktivem und inaktivem Lidar zwischen verschiedenen Frames.
-
Aufgrund der zeitlichen Integration nimmt die Kamera viele Laserimpulse des Lidars auf, so dass Synchronisierungsabweichungen in der Aufnahme der Bilder mittels der Kamera und einem optischem Puls des Lidars ebenfalls ausgeglichen werden. Die Kamera detektiert damit Reflexionsmuster des Lidars. Aus den Bildern der Kamera kann weiterhin die Intensität der Reflexionsmuster ermittelt werden. Aufgrund einer sehr hohen Auflösung von Imagern in der Intensität und einem hohen Dynamikbereich, zusätzlich beispielsweise kombiniert mit einem Verfahren wie High Dynamic Range (kurz: HDR), sind kleinste Intensitätsunterschiede zwischen den verschiedenen Linien ermittelbar und somit eine Kalibrierung auf relative Intensitäten im Lidar vornehmbar. Diese relativen Intensitäten sind sehr wichtig für Objekterkennungsalgorithmen und ähnliches, damit Objekte immer eine vergleichbare Intensität haben, egal, welcher Laserstrahl sie aktuell trifft.
-
In einer weiteren möglichen Ausgestaltung des Verfahrens wird die Kamera zur Kalibrierung des Lidarsensors in einen Kalibriermodus geschaltet.
-
In einer weiteren möglichen Ausgestaltung des Verfahrens wird die Entfernung zu dem Objekt anhand einer Messung einer Laufzeit zwischen einem Zeitpunkt eines Aussendens der Laserstrahlung und einem Zeitpunkt eines Empfangs der vom Objekt reflektierten Laserstrahlung ermittelt. Eine solche Entfernungsermittlung ist sehr einfach und zuverlässig realisierbar und liefert exakte Ergebnisse.
-
Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.
-
Dabei zeigen:
- 1 schematisch eine perspektivische Darstellung eines Fahrzeugs,
- 2 schematisch eine Darstellung eines Lidarempfängers und
- 3 schematisch einen Ablauf einer Betriebskalibrierung eines Lidarsensors.
-
Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
-
In 1 ist eine perspektivische Darstellung eines Fahrzeugs 1 dargestellt. Das Fahrzeug 1 umfasst ein Lidar 2 mit zumindest einem Lidarsensor 2.1 und eine Kamera 3, wobei das Lidar 2 und die Kamera 3 zur Erfassung einer Fahrzeugumgebung ausgebildet sind.
-
Die folgenden Ausführungen sind analog auch auf Roboter, welche zumindest eine Kamera 3 und/oder zumindest einen Lidarsensor 2.1 umfassen, übertragbar. Solche Roboter sind beispielsweise als fahrender, schwimmender oder liegender Roboter ausgebildet. Beispielsweis sind die Roboter ebenfalls als Fahrzeug, beispielsweise als hoch- oder vollautomatisierter Personenkraftwagen, als hoch- oder vollautomatisiertes Transportfahrzeug oder als hoch- oder vollautomatisierter Lastkraftwagen ausgebildet. Auch können die Roboter Industrieroboter, automatisierte Rasenmäher, Saugroboter, Wischroboter oder automatisierte Wasserfahrzeuge sein.
-
2 zeigt eine schematische Darstellung eines als Photodetektoranordnung und zum Empfang von Laserstrahlung ausgebildeten Lidarempfängers 2.1.1 eines Lidarsensors 2.1 und verdeutlicht eine Funktionsweise desselben.
-
Mittels des Lidarsensors 2.1 wird eine Umgebung des Fahrzeugs 1 abgetastet, wobei die Abtastung auf einem Aussenden von Infrarot-Laserstrahlung, insbesondere Infrarot-Laserimpulsen P, und der Detektion einer von Objekten zurückreflektierten Infrarot-Laserstrahlung, insbesondere Infrarot-Laserimpulsen P, beruht. Aus einer Laufzeit zwischen dem Aussenden eines Infrarot-Laserimpulses P und dem Detektieren eines Infrarot-Laserimpulses P wird eine Entfernung des Lidarsensors 2.1 zu dem Objekt ermittelt, an dem der entsprechende Infrarot-Laserimpuls P reflektiert wurde.
-
Der Lidarsensor 2.1 umfasst eine Laseranordnung zum Aussenden der Infrarot-Laserimpulse P, einen rotierenden Spiegel zur Ablenkung der von der Laseranordnung ausgesendeten Infrarot-Laserimpulse P auf einen abzutastenden Erfassungsbereich und den Lidarempfänger 2.1.1 zur Detektion der an Objekten aus dem Erfassungsbereich zurückreflektierten Infrarot-Laserimpulse P. Der Lidarempfänger 2.1.1 wandelt dabei Infrarotstrahlung der empfangenen Infrarot-Laserimpulse P in entsprechende elektrische oder digitale Sensorsignale S um. Eine Intensität I, das heißt eine Impulshöhe bzw. Impulsamplitude oder ein Integral über den Infrarot-Laserimpuls P, der Sensorsignale S kann dabei durch Steuerung einer Empfindlichkeit des Lidarempfängers 2.1.1 und/oder einer Sendeleistung des Lidarsensors 2.1 variiert werden. Die Steuerung der Empfindlichkeit und/oder Sendeleistung kann dabei auf einer Arbeitspunkteinstellung, einer Verstärkungseinstellung oder einer digitalen Signalverarbeitung beruhen und erfolgt über ein entsprechendes Steuersignal C.
-
Eine Kalibrierung des Lidarsensors 2.1, beispielsweise während einer Fahrzeugproduktion, erfolgt beispielsweise an einem Prüfstand und wird als Referenzkalibrierung durchgeführt. Dazu wird ein Referenzobjekt mit vorgegebener Reflektivität in einem vorgegebenen Längsabstand bzw. einer vorgegebenen Entfernung, das heißt einem Referenzabstand, an verschiedenen Positionen eines Erfassungsbereichs des Lidarsensors 2.1 positioniert und es werden Referenzmessungen durchgeführt, bei denen die zum Lidarempfänger 2.1.1 zurückreflektierten Infrarot-Laserimpulse P detektiert werden.
-
In Abhängigkeit der Kalibrierung werden bzw. wird die Empfindlichkeit des Lidarempfängers 2.1.1 und/oder die Sendeleistung des Lidarsensors 2.1 derart modifiziert, dass für die vom gleichen Referenzobjekt bei gleichem Referenzabstand herrührenden Sensorsignale S über den gesamten Erfassungsbereich des Lidarsensors 2.1 die gleiche Intensität I entsteht. Diese Schritte können mit modifiziertem Referenzabstand und/oder mit weiteren Referenzobjekten mit unterschiedlicher Reflektivität wiederholt werden.
-
Die Empfindlichkeit des Lidarempfängers 2.1.1 ist jedoch von Umgebungsbedingungen, beispielsweise einer Temperatur und/oder einer Verschmutzung, sowie von Alterungseffekten abhängig. Diese Umgebungsabhängigkeiten, Verunreinigungen und/oder Alterungseffekte können zu unerwünschten Änderungen der Intensität I der Sensorsignale S führen. Diese Änderungen können in der Referenzkalibrierung nicht berücksichtigt werden.
-
Um unerwünschte Änderungen der Intensität I der Sensorsignale S zu vermeiden, erfolgt zusätzlich zur Referenzkalibrierung eine Betriebskalibrierung während eines Betriebs des Fahrzeugs 1.
-
In der Betriebskalibrierung wird die für die Umgebungserfassung vorgesehene Kamera 3 des Fahrzeugs 1 verwendet, um die Intensität I der Sensorsignale S des Lidarsensors 2.1 während des Betriebs des Fahrzeugs 1 zu kalibrieren. Somit kann eine Nachkalibrierung im Betrieb des Lidarsensors 2.1 erfolgen.
-
Voraussetzung ist hierfür, dass die Intensitäten I der Sensorsignale S, die bei der Referenzkalibrierung für die verschiedenen Referenzobjekte und für den jeweiligen Referenzabstand ermittelt werden, als Referenzwerte gespeichert werden.
-
Zur Betriebskalibrierung wird die Kamera 3 beispielsweise in einen Kalibriermodus geschaltet. In diesem Kalibriermodus wird mittels der Kamera 3 detektiert, ob im Erfassungsbereich des Lidarsensors 2.1 Objekte existieren, die bezüglich ihrer Reflektivität einem der Referenzobjekte entsprechen. Diese Detektion ist mittels der Kamera 3 möglich, da die Kamera 3 Farben erkennt und die Farben einen Rückschluss auf die Reflektivität eines Objekts erlauben. Beispielsweise ist weißes Objekt stark und ein schwarzes Objekt schwach reflektierend.
-
Wenn die mittels der Kamera 3 durchgeführte Detektion ergibt, dass ein derartiges Objekt existiert, wird eine Entfernung zu diesem Objekt mittels des Lidarsensors 2.1 ermittelt. Weiterhin wird eine Intensität I des Sensorsignals S ermittelt, das von der Reflexion eines Infrarot-Laserimpulses P an diesem Objekt herrührt. Zusätzlich werden wird die Intensität I des Sensorsignals S, das während der Referenzkalibrierung für das entsprechende Referenzobjekt mit gleicher Reflektivität erhalten ermittelt wurde, das heißt eine Referenzintensität, und die zugehörige Entfernung zwischen dem Referenzobjekt und dem Lidarsensor 2.1 aus dem Speicher abgerufen.
-
Somit existiert ein aktueller Messwert der Intensität I des Sensorsignals S sowie ein zugehöriger gespeicherter Referenzwert. Diese beiden Werte sind miteinander vergleichbar, weil sie von Objekten gleicher Reflektivität herrühren. Für einen direkten Vergleich muss aber berücksichtigt werden, dass die Intensität I vom Objektabstand, das heißt der Entfernung des Lidarsensors 2.1 vom Objekt bzw. Referenzobjekt, abhängig ist.
-
Aus diesem Grund wird mittels des Lidarsensors 2.1 die Entfernung zu dem Objekt ermittelt.
-
Da sich während einer Bewegung des Fahrzeugs 1 die Entfernung zum Objekt ändert, wird in einer ersten Methode dann, wenn eine Situation auftritt, in der die Entfernung zum Objekt gleich der Referenzentfernung ist, die bei dieser Entfernung ermittelte Intensität I des Sensorsignals S mit der aus dem Speicher abgerufenen Referenzintensität verglichen. Die Empfindlichkeit des Lidarempfängers 2.1.1 und/oder die Sendeleistung des Lidarsensors 2.1 werden bzw. wird anschließend derart gesteuert, dass die Intensität I des aktuell ermittelten Sensorsignals S mit der Referenzintensität übereinstimmt, das heißt die Abweichung zwischen den verglichenen Intensitäten I minimiert ist. Hierbei werden physikalische Eigenschaften des Lidarempfängers 2.1.1 derart beeinflusst, dass die aktuelle Intensität I des Sensorsignals S mit der Intensität I des Sensorsignals S übereinstimmt, das während der vorangegangenen Referenzkalibrierung für ein Referenzobjekt gleicher Reflexivität und für den gleichen Objektabstand, das heißt die gleiche Entfernung zwischen Lidarsensor 2.1 und Referenzobjekt, erhalten wurde.
-
Tritt während der Betriebskalibrierung beispielsweise keine Situation auf, in welcher die Entfernung zum Objekt gleich der Referenzentfernung ist, kann in einer zweiten Methode anhand von bei verschiedenen Objektentfernungen ermittelten Intensitäten I des Sensorsignals S durch eine Extrapolation diejenige Intensität I ermittelt werden, die bei der Referenzentfernung ermittelt werden würde. Diese extrapolierte Intensität I wird mit der aus dem Speicher abgerufenen Referenzintensität verglichen und die Empfindlichkeit des Lidarempfängers 2.1.1 und/oder die Sendeleistung des Lidarsensors 2.1 werden bzw. wird wiederum derart gesteuert, dass die Abweichung zwischen den verglichenen Intensitäten I minimal ist.
-
Somit wird in Abhängigkeit des Vergleichs der Intensität I mit der Referenzintensität die Empfindlichkeit des Lidarempfängers 2.1.1 kalibriert.
-
Damit die Kamera 3 Objekte im Erfassungsbereich des Lidarsensors 2.1 erkennen kann, ist es erforderlich, dass die Kamera 3 ausgebildet ist, die reflektierten Infrarot-Laserimpulse P zu erkennen. Die Kamera 3 weist beispielsweise einen Infrarotlichtfilter auf, um Interferenzen zu verringern und/oder eine Farbqualität zu erhöhen. Dieser Infrarotlichtfilter ist beispielsweise derart ausgelegt, dass er entweder durchlässig für die reflektierten Infrarotlicht-Laserimpulse P ist oder dass er im Kalibriermodus in einen für die Infrarotlicht-Laserimpulse P durchlässigen Zustand schaltbar ist.
-
Da die Kamera für die Umgebungserfassung vorgesehen ist, weist diese ihre höchste Empfindlichkeit im sichtbaren Lichtbereich auf. Im Infrarotlicht-Bereich ist ihre Empfindlichkeit gering. Um im Infrarotlicht-Bereich dennoch eine hohe Auflösung zu erzielen, werden die Messungen der Kamera 3 in einer möglichen Ausgestaltung über mehrere Bilder der Kamera integriert.
-
Ein mögliches Ausführungsbeispiel einer Betriebskalibrierung ist in 3 näher dargestellt.
-
In einem ersten Verfahrensschritt V1 werden die Kamera 3 und das Lidar 2 aktiviert. Die Kamera 3 wird hierbei beispielsweise in den Kalibriermodus geschaltet.
-
In einem zweiten Verfahrensschritt V2 erfolgt eine Integration über mehrere, beispielsweise mindestens zehn, nacheinander erfasste Bilder der Kamera 3.
-
In einem dritten Verfahrensschritt V3 wird eine so genannte Ground Truth ermittelt, welche eine Position, Form und Verteilung einer durch das Lidar 2 erzeugten Beleuchtung umfasst. Hierbei wird die Fahrzeugumgebung berücksichtigt, welche entweder bekannt ist, beispielsweise bei einem Prüfstand am Ende einer Produktionsstätte, oder durch Triangulation, beispielsweise bei einer Verwendung mehrerer Kameras und einer Disparitätsmessung, und/oder Entfernungsmessung, direkte Ermittlung durch das Lidar 2, ermittelt wird. Zusätzlich können hochgenaue Karten herangezogen werden, um eine Geometrie der Umgebung zu ermitteln. Ein zu erwartendes Reflexionsmuster, das heißt eine Verteilung der Intensität I, ergibt sich im Prüfstand erneut aus einer Konstruktion.
-
Anschließend werden in einem vierten Verfahrensschritt V4 Regionen in den Bildern der Kamera 3 und Frames mit erfasster Laserstrahlung des Lidarsensors 2.1 ermittelt.
-
In einem Verfahrensschritt V5 werden bzw. wird ein Weißabgleich und/oder eine Lumineszenz-Messung durchgeführt.
-
In einem sechsten Verfahrensschritt V6 werden eine Lichtintensität und ein Weißwert mittels der Kamera 3 und des Lidars 2 intraline ermittelt.
-
In einem siebten Verfahrensschritt V7 werden eine Lichtintensität und ein Weißwert mittels der Kamera 3 interline ermittelt.
-
Anschließend werden die im sechsten und siebten Verfahrensschritt V6, V7 ermittelten Lichtintensitäten und Weißwerte in einem achten Verfahrensschritt V8 miteinander verglichen und/oder voneinander subtrahiert.
-
In einem neunten Verfahrensschritt V9 erfolgt eine Speicherung zusammengehöriger Werte der Intensität I des Sensorsignals S des Lidarsensors 2.1 und einer zugehörigen Empfindlichkeit der Kamera 3.
-
In einem zehnten Verfahrensschritt V10 erfolgt eine Speicherung von Einstellungen der die Sendeleistung des Lidarsensors 2.1 und der Empfindlichkeit des Lidarempfängers 2.1.1.
-
Bezugszeichenliste
-
- 1
- Fahrzeug
- 2
- Lidar
- 2.1
- Lidarsensor
- 2.1.1
- Lidarempfänger
- 3
- Kamera
- C
- Steuersignal
- I
- Intensität
- P
- Infrarot-Laserimpuls
- S
- Sensorsignal
- V1 bis V10
- Verfahrensschritt
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102016009327 A1 [0002]
