DE102021212949A1

DE102021212949A1 - Verfahren zur Ermittlung einer Kalibrierungsgüte eines Sensorsystems eines Fahrzeugs, Computerprogramm, Steuergerät und Fahrzeug

Info

Publication number: DE102021212949A1
Application number: DE102021212949.8A
Authority: DE
Inventors: Moritz Michael Knorr
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2021-11-18
Filing date: 2021-11-18
Publication date: 2023-05-25

Abstract

Verfahren zur Ermittlung einer Kalibrierungsgüte eines Sensorsystems (110) eines Fahrzeugs (100), aufweisend die folgenden Schritte: Empfang (510) einer Referenzkarte (400) der Umgebung (140) des Fahrzeugs (100); Erfassung (520) von Sensordaten des Sensorsystems (110) des Fahrzeugs (100); Erkennung (530) statischer und/oder bewegter Objekte und/oder Segmente mittels eines neuronalen Netzes in Abhängigkeit der erfassten Sensordaten; Ermittlung (540) von Bewegungsdaten zu erkannten bewegten Objekten und/oder von Abstandsdaten zwischen dem Fahrzeug und erkannten statischen und/oder bewegten Objekten oder erkannten Segmenten in Abhängigkeit der erfassten Sensordaten des Sensorsystems (110) des Fahrzeugs (100); Erzeugung (550) einer Umgebungskarte (200) in Abhängigkeit der ermittelten Abstands- und/oder Bewegungsdaten, wobei die Umgebungskarte (200) wenigstens eine Position und/oder Bewegungsdaten zu wenigstens einem Objekt und/oder Segment sowie zumindest eine erkannte Information zur Identifikation eines erkannten statischen und/oder bewegten Objektes und/oder Segmentes umfasst; Bestimmung (560) wenigstens einer Abweichung zwischen der empfangenen Referenzkarte (400) und der erzeugten Umgebungskarte (200) zumindest bezüglich der Position und/oder der Bewegungsdaten wenigstens eines Objektes und/oder Segmentes in Abhängigkeit zueinander korrelierender Objekte und/oder Segmente; und Ermittlung (580) einer aktuellen Kalibrierungsgüte des Sensorsystems (110) des Fahrzeugs (100) in Abhängigkeit der bestimmten Abweichung.

Description

Die vorliegende Erfindung betrifft ein Verfahren zur Ermittlung einer Kalibrierungsgüte eines Sensorsystems eines Fahrzeugs. Die Erfindung betrifft auch ein Computerprogramm, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, die Schritte des Verfahrens auszuführen. Des Weiteren betrifft die Erfindung ein Steuergerät für ein Fahrzeug mit einer Recheneinheit, wobei die Recheneinheit so konfiguriert ist, dass sie die Schritte des Verfahrens ausführt. Ferner betrifft die Erfindung ein Fahrzeug, umfassend das Steuergerät.
Stand der Technik
Ein Sensorsystem eines Fahrzeugs wird in der Fertigung des Fahrzeugs am Bandende typischerweise kalibriert, wobei in der Regel Kalibrierkörper zum Einsatz kommen und eine hohe Kalibriergüte erreicht wird. Die Stärke von Verfahren auf Basis von Kalibrierkörpern liegt darin, dass ihre Struktur und Position zumindest näherungsweise bekannt sind und nicht bestimmt werden muss. Im Betrieb des Fahrzeugs werden typischerweise zusätzlich Online-Kalibrierverfahren für das Sensorsystem eingesetzt, welche gegenüber der Kalibrierung am Bandende jedoch in der Regel eine geringere Kalibriergüte erreichen. Zusätzlich zu diesen Online-Kalibrierverfahren beziehungsweise der Rekalibrierung ist für eine fortschreitende Automatisierung der Fahrassistenzfunktionen von Fahrzeugen auch bereits die leichtere Erkennung einer Dekalibrierung von Bedeutung.
Systeme zur Unterstützung von Fahrzeugen durch Kommunikation zwischen straßenseitigen Funkeinheiten beziehungsweise Infrastruktureinheiten und Fahrzeugen und die Kommunikation zwischen Fahrzeugen beziehungsweise zwischen einem Fahrzeug und einem Fremdfahrzeug sind grundsätzlich bekannt. Beispielsweise eine V2X- oder eine V2V-Kommunikation. Die Kommunikation zwischen straßenseitigen Funkeinheiten beziehungsweise Infrastruktureinheiten und Fahrzeugen oder zwischen Fahrzeugen soll in der Regel die Verkehrssicherheit erhöhen, zu Energieeinsparungen führen und/oder die Effizienz des Verkehrs stärken. Für diese V2X- oder eine V2V-Kommunikation sind beispielsweise zwei unterschiedliche Kommunikationsverbindungen beziehungsweise Übertragungsarten bekannt. Die erste Übertragungsart ist eine Drahtlos-Direktkommunikation, beispielsweise ein WLAN-Standard für Autos (z.B. DSRC/ITS-G5) oder Cellular-V2X (wie LTE-V, 5G-V2X). Die Drahtlos-Direktkommunikation resultiert in einer niedrigen Latenz für die übertragenden Signale, weist aber im Vergleich zu einer Mobilfunkverbindung eine geringere Reichweite auf. Die zweite Übertragungsart erfolgt über den Mobilfunk. Die Übertragungszeit des Mobilfunks zwischen einem Sender, einer Cloud beziehungsweise einer Servervorrichtung und einem Empfänger ist im Allgemeinen länger als diejenige der WLAN-Verbindung.
Eine sogenannte Punktwolke um das Fahrzeug kann basierend auf Sensordaten eines Sensorsystems ermittelt werden, wobei die Punkte relative Abstandsdaten zu Punkten eines Fahrzeug beziehungsweise Abstandsdaten zwischen Punkten von Objekten in der Umgebung und dem Fahrzeug repräsentieren. Die Sensordaten werden beispielsweise mittels eines Kamera-, Radar- oder Lidarsensors erfasst. Die Punktwolke kann zusätzlich zu den ermittelten Abstandsdaten eine optionale Höheninformation umfassen, wobei die Punktwolke in diesem Fall als dreidimensionale Punktwolke bezeichnet wird.
Die Aufgabe der vorliegenden Erfindung ist es, eine Funktion eines Sensorsystems eines Fahrzeugs zu verbessern.
Offenbarung der Erfindung
Die vorstehende Aufgabe wird erfindungsgemäß entsprechend der unabhängigen Ansprüche 1, 11, 12 und 13 gelöst.
Die Erfindung betrifft ein Verfahren zur Ermittlung einer Kalibrierungsgüte beziehungsweise einer aktuellen Sensordatenqualität eines Sensorsystems eines Fahrzeugs. Das Sensorsystem ist dazu eingerichtet, zumindest einen Teil der Umgebung des Fahrzeugs zu erfassen. Das Sensorsystem umfasst beispielsweise mindestens einen Ultraschallsensor, einen Kamerasensor, einen Radarsensor und/oder einen Lidarsensor. Vorteilhafterweise weist das Sensorsystem zumindest einen Kamerasensor auf, beispielsweise umfasst das Sensorsystem vier Kameras, welche jeweils eine Weitwinkel-Optik beziehungsweise Fisheye-Linsen aufweisen. Beispielsweise ist das Sensorsystem ein System zur Erstellung einer Surround View-Ansicht der Umgebung des Fahrzeugs, wobei das Verfahren eine Ermittlung der Kalibrierungsgüte des Sensorsystems zur Anzeige der Surround View-Ansicht ist, so dass durch das Verfahren mit anderen Worten die aktuelle Qualität des angezeigten Umgebungsmodells ermittelt wird. Alternativ oder zusätzlich umfasst das Sensorsystem einen Mono-Kamerasensor oder zwei Stereo-Kamerasensoren, welche jeweils im Fahrzeug als Frontkamera angeordnet und dazu eingerichtet sind, einen in Fahrtrichtung vor dem Fahrzeug liegenden Bereich der Umgebung des Fahrzeugs zu erfassen.
Das erfindungsgemäße Verfahren umfasst einen Empfang einer digitalen Referenzkarte von der Umgebung des Fahrzeugs von einem Sender, insbesondere einem Fremdfahrzeug, einer Servereinrichtung und/oder einer Infrastruktureinheit, vorzugsweise über eine WLAN-Verbindung beziehungsweise mittels eines WLAN-Kommunikationssignals und/oder über eine Mobilfunkverbindung beziehungsweise mittels eines Mobilfunk-Kommunikationssignals. Mit anderen Worten wird die digitale Referenzkarte insbesondere durch eine WLAN- und/oder Mobilfunkverbindung von dem Sender beziehungsweise dem Fremdfahrzeug, der Servereinrichtung und/oder der Infrastruktureinheit empfangen. Die Referenzkarte basiert vorteilhafterweise auf einer Erfassung der Umgebung durch wenigstens ein Fremdfahrzeug und/oder eine Infrastruktureinheit mittels eines externen Sensorsystems, wobei das externe Sensorsystem von dem Sensorsystem des Fahrzeugs unterschiedlich sein kann. Das externe Sensorsystem einer Infratstruktureinheit kann beispielsweise eine genaue und entsprechend kostenintensive Lidar-Sensorik und das Sensorsystem des Fahrzeugs eine in Fahrtrichtung nach vorne ausgerichtete Stereo-Kamera umfassen. Es kann vorgesehen sein, dass die Referenzkarte in Abhängigkeit einer Datenbank der Servervorrichtung mittels der Servervorrichtung ermittelt wurde, wobei die Datenbank der Servervorrichtung vorteilhafterweise eine hochaufgelöste Referenzkarte und/oder externe Sensordatensätze einer Vielzahl an Fremdfahrzeugen aufweist. Die optionalen externen Sensordatensätze der Datenbank der optionalen Servereinrichtung werden vorteilhafterweise jeweils mittels eines externen Sensorsystems eines jeweiligen Fremdfahrzeugs erfasst und repräsentieren die Umgebung des Fahrzeugs sowie umfassen optional auch die Position und/oder die Bewegungsdaten des jeweiligen Fremdfahrzeugs. Mit anderen Worten kann die Datenbank beispielsweise per Mobilfunk empfangene externe Sensordaten externer Sensorsysteme von wenigstens einem Fremdfahrzeug umfassen, vorteilhafterweise eine Vielzahl an externen Sensordaten von einer Vielzahl an Fremdfahrzeugen. Die Referenzkarte kann bevorzugt hochauflösend sein. Die empfangene Referenzkarte repräsentiert zumindest eine Position beziehungsweise Lage eines statischen oder bewegten Objektes und/oder eine Position beziehungsweise Lage eines Segmentes und/oder eine Bewegung eines bewegten Objektes in der Umgebung des Fahrzeugs. Vorzugsweise umfasst die empfangene Referenzkarte mindestens die Position von einem statischen und/oder bewegten Objekt und/oder Segment. Statische Objekte sind beispielsweise parkende Autos, Schilder, Ampeln, Litfaßsäulen, Bushaltestellen, Häuser und so weiter. Bewegte Objekte sind beispielsweise Fußgänger, Radfahrer, bewegte Fahrzeuge etc. Segmente beziehungsweise semantische Merkmale können Straßenbahnmarkierungen, Verkehrsschilder, Bodenmarkierungen und/oder geometrische Verläufe von Grünflächen, Bordsteinen und/oder Fahrbahnen umfassen. Vorzugsweise umfasst die Referenzkarte optionale Positionsangaben und Ausdehnungen von Objekten und/oder Segmenten sowie deren Status, beispielsweise eine Angabe, ob es sich um ein bewegtes oder unbewegtes Objekt handelt, und gegebenenfalls dessen Geschwindigkeit. Die Referenzkarte umfasst zusätzlich mindestens eine Information zur Identifikation, beispielsweise zur Art, zur Farbe und/oder zur Geometrie, eines jeweiligen Objektes und/oder Segmentes. In einem Schritt des Verfahren werden Sensordaten des Sensorsystems des Fahrzeugs erfasst, beispielsweise Radarsensordaten, Lidardaten, Ultraschallsensordaten und/oder Kamerabilder. Anschließend erfolgt eine Erkennung statischer und/oder bewegter Objekte und/oder Segmente in Abhängigkeit der erfassten Sensordaten, insbesondere mittels eines neuronalen Netzes beziehungsweise eines angelernten maschinellen Erkennungsverfahrens und/oder alternativen Bildanalyseverfahren (z.B. SIFT, SURF, ORB, BRIEF). Anschließend erfolgt eine Ermittlung von Bewegungsdaten zu erkannten bewegten Objekten in der Umgebung und/oder von Abstandsdaten zwischen dem Fahrzeug und erkannten statischen und/oder bewegten Objekten und/oder erkannten Segmenten in Abhängigkeit der erfassten Sensordaten des Sensorsystems des Fahrzeugs. In einem daran anschließenden Verfahrensschritt wird eine digitale Umgebungskarte in Abhängigkeit der ermittelten Abstands- und/oder Bewegungsdaten erzeugt, wobei die erzeugte Umgebungskarte zumindest eine relative Position beziehungsweise Lage eines erfassten statischen und/oder bewegten Objektes und/oder Segmentes zum Fahrzeug und/oder eine Bewegung eines bewegten Objektes in der Umgebung des Fahrzeugs repräsentiert. Die Umgebungskarte wird auch in Abhängigkeit der erkannten statischen und/oder bewegten Objekte und/oder Segmente erzeugt, das heißt die erzeugte Umgebungskarte umfasst zumindest eine Information zur Identifikation eines erkannten jeweiligen Objektes und/oder Segmentes. Die erzeugte Umgebungskarte umfasst mit anderen Worten beispielsweise eine erkannte Art und/oder eine erkannte Farbe und/oder eine ermittelte Geometrie des jeweiligen Objektes, welche dem Objekt und/oder Segment und/oder der Position des Objektes oder Segments in der Umgebungskarte zugeordnet ist. Außerdem wird in einem weiteren Verfahrensschritt eine Abweichung zwischen der empfangenen Referenzkarte und der erzeugten Umgebungskarte in Abhängigkeit jeweils zweier zueinander korrelierender Objekte und/oder Segmente aus der Referenzkarte und der Umgebungskarte beziehungsweise aus beiden Karten bezüglich deren Lage beziehungsweise Position und/oder deren Bewegungsdaten bestimmt. Die Referenzkarte und/oder die Umgebungskarte können eine dreidimensionalen Punktwolke oder andere Merkmalsinformationen (SIFT, SURF, ORB, BRIEF) umfassen, wobei den Punkten oder Merkmalen weitere Informationen, wie die Position beziehungsweise der Abstand zum Fahrzeug, zugeordnet sind. Die Bestimmung der Abweichung kann insbesondere in Abhängigkeit mehrerer unterschiedlicher Objekte und/oder Segmente, welche jeweils in beiden Karten enthalten sind, und/oder in Abhängigkeit eines korrelierten beziehungsweise in beiden Karten enthaltenen Objektes zu mehreren Zeitpunkten erfolgen. Die Korrelation von Objekten und/oder Segmenten zwischen der Referenzkarte und der erzeugten Umgebungskarte erfolgt vorteilhafterweise in Abhängigkeit der basierend auf den Sensordaten des Sensorsystems erkannten Information zur Identifikation des jeweiligen Objektes und/oder Segmentes, beispielsweise deren erkannter Art, Farbe und/oder Geometrie und der in der Referenzkarte hinterlegten beziehungsweise abgespeicherten Information zur Identifikation der Objekte und/oder Segmente. Die Korrelation von Objekten oder Segmenten kann insbesondere punktweise beziehungsweise an erkannten spezifizierten Merkmalen der Objekte, wie Ecken, Kanten etc., erfolgen. Eine Auswahl korrelierter Objekte und/oder Segmente zur Bestimmung der Abweichung kann insbesondere in Abhängigkeit der Art des Sensorsystems des Fahrzeugs und/oder in Abhängigkeit einer zusätzlichen ermittelten Korrelationsgüte der Korrelation zwischen jeweils einem Objekt oder Segment aus beiden Karten erfolgen. Die ermittelte Korrelationsgüte zwischen jeweils einem Objekt oder Segment aus beiden Karten kann, falls das Sensorsystem einen Kamerasensor umfasst, beispielsweise in Abhängigkeit eines in Abhängigkeit der Sensordaten des Kamerasensors ermittelten optischen Flusses bestimmt werden. Es kann optional vorgesehen sein, dass die Abweichung zusätzlich in Abhängigkeit einer erkannten Farbe und/oder einer ermittelten Geometrie des jeweiligen Objektes oder Segmentes bestimmt wird. Danach wird eine aktuelle Kalibrierungsgüte beziehungsweise die aktuelle Sensordatenqualität des Sensorsystems des Fahrzeugs in Abhängigkeit der bestimmten Abweichung ermittelt. Durch die Erfindung resultiert der Vorteil, dass eine Kalibrierungsgüte des Sensorsystems beziehungsweise die aktuelle Sensordatenqualität zuverlässig ermittelt wird. Eine niedrige Kalibrierungsgüte liegt beispielsweise bei einem Hardwareversatz eines Sensors des Sensorsystems oder bei für das Sensorsystem schlechten Umgebungsbedingungen vor, wie Starkregen oder Blendung für einen Kamerasensor. Durch die Erfindung resultiert des Weiteren der Vorteil, dass die Erfassung der Sensordaten von der Umgebung des Fahrzeugs mittels des Sensorsystems des Fahrzeugs durch den Empfang der Referenzkarte unterstützt beziehungsweise überprüft wird, so dass ein Fehler des Sensorsystems leicht erkannt werden kann. Die Referenzkarte kann dabei basierend auf externen Sensordaten eines externen Sensorsystems wenigstens eines Fremdfahrzeugs erstellt sein, welche unmittelbar von dem Fremdfahrzeug oder einer Servereinrichtung empfangen wird, wodurch der Vorteil erreicht wird, dass eine Überprüfung der Kalibrierungsgüte des Sensorsystems des Fahrzeugs in Abhängigkeit aktuell von Fremdfahrzeugen erfasster bewegter Objekte erfolgen kann. Die Ermittlung der Kalibrierungsgüte ist also gegenüber dem Stand der Technik auch basierend auf mehreren bewegten Objekten oder einem bewegten Objekt möglich, welches zu unterschiedlichen Zeitpunkten erfasst wurde.
Vorzugsweise umfasst die Referenzkarte eine Repräsentation des Fahrzeugs beziehungsweise eine Position und/oder Bewegungsdaten des Fahrzeugs, welches die Referenzkarte empfängt. Die Position und/oder die Bewegungsdaten des Fahrzeugs wird insbesondere von dem wenigstens einem Fremdfahrzeug und/oder der Infrastruktureinheit mittels wenigstens eines externen Sensorsystems wenigstens eines Fremdfahrzeugs oder der Infrastruktureinheit erfasst beziehungsweise ermittelt oder ist in wenigstens einem externen Sensordatensatz der Datenbank auf der Servereinrichtung enthalten. Alternativ oder zusätzlich können Kommunikationsdaten zur Position und/oder zu den Bewegungsdaten des Fahrzeugs vor dem Empfang der Referenzkarte zwischen dem Fahrzeug und dem Fremdfahrzeug, der Servereinrichtung und/oder der Infrastruktureinheit per Mobil- oder WLAN-Funkverbindung ausgetauscht und anschließend in die Referenzkarte eingetragen werden. Der Position und/oder den Bewegungsdaten beziehungsweise der Repräsentation des Fahrzeugs wird insbesondere in der Referenzkarte eine ermittelte beziehungsweise erkannte Kennung beziehungsweise ein Identifikationsmerkmal zugeordnet, wobei die Ermittlung beziehungsweise Erkennung des Identifikationsmerkmals vorzugsweise mittels Bildanalyse von Sensordaten eines Kamerasensors oder in Abhängigkeit der Kommunikationsdaten einer Funkverbindung erfolgt. Das Identifikationsmerkmal umfasst vorteilhafterweise eine Angabe zum Nummernschild des Fahrzeugs oder einen elektronischen Identifikationscode des Fahrzeugs. Beispielsweise kann das Nummernschild oder der elektronische Identifikationscode des Fahrzeugs, insbesondere zusammen mit aktuellen Bewegungsdaten und der aktuellen Position des Fahrzeugs, vorab per Funkverbindung beziehungsweise durch die Kommunikationsdaten zwischen dem Fahrzeug und dem Sender der Referenzkarte ausgetauscht und diese Informationen in der Referenzkarte eingetragen worden sein. In dieser Ausgestaltung erfolgt die Bestimmung der Abweichung zwischen der empfangenen Referenzkarte und der erzeugten Umgebungskarte effizienter, da die Referenzkarte und die Umgebungskarte mit der Position und den Bewegungsdaten des Fahrzeugs beziehungsweise der Repräsentation des Fahrzeugs eine definierte Gemeinsamkeit aufweisen, so dass die Abweichungen der Position beziehungsweise des Abstandes und der Bewegungsdaten wenigstens eines korrelierten bewegten und/oder statischen Objektes oder Segmentes zwischen der Umgebungskarte und der Referenzkarte leichter beziehungsweise effizienter ermittelt werden kann.
In einer vorteilhaften Ausführung der Erfindung umfasst die empfangene Referenzkarte zumindest eine Referenzkartenausrichtung. Des Weiteren wird in einem weiteren Verfahrensschritt eine Kompassausrichtung des Fahrzeugs erfasst beziehungsweise ermittelt. Die Erfassung beziehungsweise Ermittlung der Kompassausrichtung erfolgt insbesondere mittels eines elektronischen Kompasses oder einer inertialen Messeinheit. Die Erzeugung der digitalen Umgebungskarte wird anschließend zusätzlich in Abhängigkeit der ermittelten Kompassausrichtung durchgeführt. Ferner wird in dieser Ausführung die Bestimmung der Abweichung zwischen der empfangenen Referenzkarte und der erzeugten Umgebungskarte zusätzlich in Abhängigkeit der ermittelten Kompassausrichtung und der Referenzkartenausrichtung durchgeführt. In einer vorteilhaften Weiterführung dieser Ausführung wird die aktuelle Kalibrierungsgüte des Sensorsystems des Fahrzeugs nur bestimmt, wenn die Güte der ermittelten Kompassausrichtung des Fahrzeugs eine vorgegebene Schwellenwert überschreitet beziehungsweise eine vorgegebene Mindestgenauigkeit überschreitet. Die Güte der Kompassausrichtung kann vorteilhafterweise orts- und/oder zeitabhängig und/oder insbesondere zusätzlich in Abhängigkeit von Navigationsdaten des Fahrzeugs ermittelt werden. Die Bestimmung der aktuellen Kalibrierungsgüte des Sensorsystems des Fahrzeugs erfolgt beispielsweise nur, wenn für eine vorgegebene Zeitspanne eine Schwankung der ermittelten Kompassausrichtung einen vorgegebenen Toleranzwert unterschreitet. Die Kompassausrichtung kann vorteilhafterweise genau bestimmt werden. In dieser Ausgestaltung wird die Abweichung zwischen der empfangenen Referenzkarte und der erzeugten Umgebungskarte effizient bestimmt, da die Referenzkarte und die erzeugte Umgebungskarte in Abhängigkeit der ermittelten Kompassausrichtung und der Referenzkartenausrichtung zueinander ausgerichtet, beispielsweise genordet, werden können. In dieser Ausgestaltung wird die Qualität und Effizienz der Bestimmung der Abweichung erhöht, wenn die Referenzkarte zusätzlich die Position und/oder die Bewegungsdaten des Fahrzeugs umfasst.
In einer bevorzugten Ausgestaltung der Erfindung umfasst die empfangene Referenzkarte zusätzlich eine Information zur Referenzgüte der Referenzkarte und/oder eine Zeitangabe der Referenzkarte, wobei die Zeitangabe insbesondere ein Erstellungsdatum der Referenzkarte repräsentiert. Die empfangene Referenzkarte kann alternativ oder zusätzlich eine Information zum Referenzsensorsystem und/oder einen elektronischen Echtheitsnachweis umfassen. Der elektronische Echtheitsnachweis kann beispielsweise eine Angabe zur Quelle der Referenzkarte, wie eine verschlüsselte Signatur oder Codierung, aufweisen. Die Bestimmung der Abweichung zwischen der empfangenen Referenzkarte und der erzeugten Umgebungskarte und/oder die Ermittlung der aktuellen Kalibrierungsgüte erfolgt in dieser Ausgestaltung zusätzlich in Abhängigkeit der Referenzgüte und/oder der Zeitangabe der Referenzkarte und/oder des Referenzsensorsystems und/oder des Echtheitsnachweises. In dieser Ausgestaltung resultiert der Vorteil, dass die Kalibrierungsgüte des Sensorsystems beziehungsweise die aktuelle Sensordatenqualität zuverlässiger ermittelt wird, da beispielsweise ungenaue Referenzkarten, veraltete Referenzkarten und/oder Referenzkarten, welche auf einem unpassenden oder ungenaueren Referenzsensorsystem basieren, oder Referenzkarten von einer unzuverlässigen Quelle nicht berücksichtigt werden. Eine unzuverlässige Quelle wird beispielsweise interpretiert, wenn die Referenzkarte keinen Echtheitsnachweis aufweist. Beispielsweise erfolgt vorteilhafterweise eine Ermittlung der Kalibrierungsgüte des Sensorsystems beziehungsweise der aktuellen Sensordatenqualität nur dann, wenn die Referenzkarten eine adäquate Genauigkeit und Aktualität aufweisen.
Es kann vorgesehen sein, dass die Ermittlung der aktuellen Kalibrierungsgüte zusätzlich in Abhängigkeit einer erkannten aktuellen Witterung in der Umgebung des Fahrzeugs und/oder in Abhängigkeit einer erkannten aktuellen Beeinträchtigung des Sensorsystems, insbesondere einer Blendung des Kamerasystems, und/oder in Abhängigkeit einer aktuellen Geschwindigkeit des Fahrzeugs durchgeführt wird. In dieser Ausgestaltung resultiert der Vorteil, dass die Kalibrierungsgüte des Sensorsystems beziehungsweise die aktuelle Sensordatenqualität zuverlässiger und genauer ermittelt wird.
In einer bevorzugten Weiterführung wird das Sensorsystems in Abhängigkeit der ermittelten Kalibrierungsgüte und/oder der bestimmten Abweichung kalibriert. Vorzugsweise erfolgt die Kalibrierung nur, wenn die ermittelte Kalibrierungsgüte einen Schwellenwert unterschreitet. Die Kalibrierung wird insbesondere durch eine Anpassung einer Transformationsmatrix zur Entzerrung eines Weitwinkelkamerabildes in Abhängigkeit der bestimmten Abweichung oder durch eine Anpassung von anderen Kalibrierparametern durchgeführt. Dadurch wird eine effiziente online-Kalibrierung im Betrieb des Fahrzeugs ermöglicht und die Erfassungsgenauigkeit verbessert, wodurch wiederum die Ausführung von Fahrassistenzverfahren und/oder die Anzeige eines Umgebungsmodells für eine Surround View-Ansicht verbessert werden können, beispielsweise werden für Letzteres Bildartefakte durch das Verfahren reduziert.
In einer vorteilhaften Ausführung wird bei der Bestimmung der wenigstens einen Abweichung eine Erkennung und Korrelation von spezifischen Merkmalen von Objekten und/oder Segmenten in der empfangenen Referenzkarte und der erzeugten Umgebungskarte und/oder Pixeln und/oder Punkten der Punktwolke durchgeführt. Spezifische Merkmale sind beispielsweise Ecken, Kanten von Objekten und/oder Segmenten oder die spezifische Nachbarschaft von Punkten der Punktwolke usw.. Anschließend wird eine Vielzahl an Positionsabweichungen der spezifischen Merkmale ermittelt. Danach erfolgt eine statistische Auswertung der Vielzahl an Positionsabweichungen, insbesondere bezüglich der Richtung des Positionsversatzes. Des Weiteren wird in dieser Ausführung die aktuelle Kalibrierungsgüte des Sensorsystems in Abhängigkeit der statistischen Auswertung der Vielzahl an Positionsabweichungen ermittelt und/oder die Kalibrierung in Abhängigkeit der statistischen Auswertung der Vielzahl an Positionsabweichungen durchgeführt. In dieser Ausführung werden bei der Bestimmung der Abweichung vorteilhafterweise systematische Abweichungen stärker als stochastische Fehler beziehungsweise Toleranzen und Messungenauigkeiten berücksichtigt, wodurch die Genauigkeit der Ermittlung der Kalibrierungsgüte und/oder die Genauigkeit einer anschließenden Kalibrierung steigt.
In einer Weiterführung des Verfahrens wird eine extern bestimmten Abweichung zwischen einer extern ermittelten Umgebungskarte und der Referenzkarte und/oder eine extern ermittelte Kalibrierungsgüte und/oder eine extern durchgeführte Kalibrierung und/oder ein Validierungssignal mittels einer WLAN- und/oder Mobilfunkverbindung von dem Fremdfahrzeug, der Servereinrichtung und/oder der Infrastruktureinheit empfangen. Mit anderen Worten wird empfangen, welche Abweichung oder Kalibrierungsgüte zwischen externen Sensordaten eines externen Sensorsystems eines Fremdfahrzeugs oder einer Infrastruktureinheit, welche die Referenzkarte versendet hat, und der Referenzkarte von dem Fremdfahrzeug, der Servereinrichtung und/oder der Infrastruktureinheit ermittelt wurde. Anschließend erfolgt die Kalibrierung des Sensorsystems zusätzlich in Abhängigkeit der empfangenen extern bestimmten Abweichung und/oder der extern ermittelten Kalibrierungsgüte und/oder der extern durchgeführten Kalibrierung und/oder dem Validierungssignal. Somit wird in dieser Weiterführung vorteilhafterweise berücksichtig, ob kürzlich eine Kalibrierung eines Fremdfahrzeuges in Abhängigkeit der Referenzkarte durchgeführt wurde. Optional wird von dem Fremdfahrzeug ein Validierungssignal empfangen, so dass in dieser optionalen Ausgestaltung vorteilhafterweise die Kalibrierung des Sensorsystems des Fahrzeugs nur durchgeführt wird, wenn ein Fremdfahrzeug bereits eine erfolgreiche Kalibrierung mit der Referenzkarte durchgeführt hat.
In einer weiteren Ausgestaltung der Erfindung erfolgt die Kalibrierung des Sensorsystems durch eine freie oder begrenzte Anpassung von Parametern. Bei der freien Anpassung von Parametern werden die Parameter zur Kalibrierung des Sensorsystems vorteilhafterweise basierend auf der bestimmten Abweichung frei geschätzt. Im Gegensatz dazu, wird bei der regularisierten beziehungsweise begrenzten Anpassung von Parametern eine Veränderung der Parameter bei der Kalibrierung beschränkt, das heißt, dass sie sich beispielsweise nicht zu stark von den Startwerten der Kalibrierung unterscheiden dürfen. Durch die freie Anpassung von Parametern bei der Kalibrierung wird die Kalibrierung vorteilhafterweise schnell durchgeführt. Durch die begrenzte Anpassung von Parametern bei der Kalibrierung wird die Kalibrierung genauer durchgeführt. Außerdem wird bei der begrenzten Anpassung von Parametern eine fehlerhafte Kalibrierung vorteilhafterweise erschwert, wodurch die Zuverlässigkeit der Kalibrierung steigt.
In einer anderen Weiterführung wird die durchgeführte Kalibrierung des Sensorsystems validiert, wenn bei einer Wiederholung des Verfahrens die nach der Kalibrierung ermittelte Kalibrierungsgüte gegenüber der ermittelten Kalibrierungsgüte vor der Kalibrierung des Sensorsystems steigt. Mit anderen Worten wird in dieser Weiterführung das Verfahren wiederholt. Im Falle, dass bei der Wiederholung des Verfahrens die ermittelte Kalibriergüte gegenüber der vorherigen Kalibriergüte steigt, ist die Kalibrierung validiert, wobei anschließend vorteilhafterweise die Kalibrierung beibehalten wird. Falls bei der Wiederholung des Verfahrens die ermittelte Kalibriergüte allerdings gegenüber der vorherigen Kalibriergüte abnimmt, wird vorteilhafterweise ein ursprünglicher Zustand wiederhergestellt beziehungsweise ein gespeicherter Kalibrierparametersatz von einem Zeitpunkt vor der Kalibrierung geladen. In dieser Weiterführung werden Fehlkalibrierungen verworfen, was die Zuverlässigkeit der Kalibrierung erhöht.
Ferner kann in einer Ausführung ein Umgebungsmodell mittels einer Anzeigevorrichtung für den Fahrer des Fahrzeugs angezeigt werden, insbesondere eine Surround View - Darstellung des Fahrzeugs, welche auf vier Weitwinkelkameras des Sensorsystems basiert. Bei der Anzeige des Umgebungsmodells werden die durchgeführte Kalibrierung, die bestimmte Abweichung und/oder die ermittelte Kalibriergüte und/oder die erzeugte Umgebungskarte und/oder die empfangene Referenzkarte in dem Umgebungsmodell dargestellt. In dieser Ausführung kann der Fahrer vorteilhafterweise die Genauigkeit der erfassten Sensordaten des Sensorsystems des Fahrzeugs selbst einschätzen und im Zweifel einen manuellen Betrieb einem automatisierten oder teilautomatisierten Betrieb des Fahrzeugs vorziehen. Beispielsweise wird der Fahrer des Fahrzeugs in Abhängigkeit der ermittelten Kalibrierungsgüte auf eine schlechte Kalibrierung des Sensorsystems aufmerksam gemacht, optional wird ihm die Deaktivierung einer Fahrfunktion, welche auf dem Sensorsystem basiert, vorgeschlagen.
Die Erfindung betrifft außerdem ein Computerprogramm, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, die Schritte des Verfahrens nach einem der vorhergehenden Ansprüche auszuführen.
Die Erfindung betrifft des Weiteren ein Steuergerät für ein Fahrzeug, umfassend mindestens einen Signaleingang zur Bereitstellung eines ersten Signals, welches Sensordaten eines Sensorsystems des Fahrzeugs repräsentiert. Das Steuergerät umfasst auch eine Empfangseinheit, welche dazu eingerichtet ist, eine digitale Referenzkarte von der Umgebung des Fahrzeugs mittels einer WLAN- und/oder Mobilfunkverbindung von einem Fremdfahrzeug, einer Servereinrichtung und/oder einer Infrastruktureinheit in der Umgebung des Fahrzeugs zu empfangen. Des Weiteren weist das Steuergerät eine Recheneinheit auf, insbesondere einen Prozessor. Die Recheneinheit ist so konfiguriert, dass sie die Schritte des erfindungsgemäßen Verfahrens ausführt.
Die Erfindung betrifft ferner das Fahrzeug, umfassend das Sensorsystem, wobei das Sensorsystem dazu eingerichtet ist, zumindest einen Teil der Umgebung des Fahrzeugs zu erfassen. Das Sensorsystem weist vorzugsweise mindestens einen Ultraschallsensor, einen Kamerasensor, einen Radarsensor und/oder einen Lidarsensor auf. Das Fahrzeug umfasst auch das erfindungsgemäße Steuergerät.
Weitere Vorteile ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen mit Bezug zu den Figuren.

1: Fahrzeug mit Sensorsystem
2: erzeugte Umgebungskarte
3a: Fahrzeug und Fremdfahrzeug
3b: Fahrzeug und Infrastruktureinheit
3c: Fahrzeug und Servereinrichtung
4a: empfangene Referenzkarte, aufweisend eine Punktwolke
4b: empfangene alternative Referenzkarte
5: Ablaufdiagramm des Verfahrens als Blockschaltbild

Ausführungsbeispiele
In 1 ist ein Fahrzeug 100 mit einem Sensorsystem 110 schematisch dargestellt, wobei das Sensorsystem 110 einen Kamerasensor 111 und einen Radarsensor 112 umfasst. Die Frontkamera beziehungsweise der Kamerasensor 111 und der Radarsensor 112 des Sensorsystems 110 des Fahrzeugs 100 sind in Fahrtrichtung 101 des Fahrzeugs 100 nach vorne ausgerichtet. Der Kamersensor 111 und der Radarsensor 112 sind jeweils dazu eingerichtet, einen jeweiligen Bereich der Umgebung vor dem Fahrzeug 100 zu erfassen. Das Fahrzeug 100 weist des Weiteren ein Steuergerät 120 für das Sensorsystem 110 und eine Anzeigevorrichtung 130 auf, wobei das Steuergerät 120 mit dem Sensorsystem 110 und der Anzeigevorrichtung 130 verbunden ist. Mit anderen Worten ist das Sensorsystem 110 dazu eingerichtet, zumindest Sensordaten zu dem Teilbereich 150 der Umgebung 140 des Fahrzeugs 100 zu erfassen, welcher von dem Kamerasensor 111 und dem Radarsensor 112 erfasst wird. Das Steuergerät 120 ist dazu eingerichtet, die Sensordaten des Sensorsystems 110 zu erfassen und zu verarbeiten. Des Weiteren ist das Steuergerät 120 zur Unterstützung des Fahrers beim Fahren des Fahrzeugs 100 beziehungsweise im Betrieb des Fahrzeugs 100 dazu eingerichtet, Steuersignale zu teilautomatisierten oder automatisierten Fahrfunktionen des Fahrzeugs 100 zu erzeugen und/oder dem Fahrer des Fahrzeugs 100 eine virtuelle Darstellung der Umgebung 140 des Fahrzeugs 100 anzuzeigen. Die Steuersignale des Steuergeräts 120 sind vorteilhafterweise dazu eingerichtet, eine Bremse oder einen Motor des Fahrzeugs 100 anzusteuern, beispielsweise zur Längs- und Querführung, insbesondere zur Notbremsung des Fahrzeugs 100. Der gemeinsam von dem Kamerasensor 111 und dem Radarsensor 112 erfasste Teilbereich 150 umfasst in diesem Beispiel ein bewegtes Fremdfahrzeug 160 und ein parkendes beziehungsweise statisches Fremdfahrzeug 170 sowie einen Fußgänger 180 sowie Fahrbahnmarkierungen 190. Das bewegte Fremdfahrzeug 160, das statische Fremdfahrzeug 170 und der Fußgänger 180 sowie die Fahrbahnmarkierungen 190 werden durch ein neuronales Netz beziehungsweise ein angelerntes maschinelles Erkennungsverfahren in Abhängigkeit der erfassten Sensordaten des Kamerasensors 111 und/oder des Radarsensors 112 erkannt. Es kann optional ein elektronischer Kompass 121 vorgesehen sein, beispielsweise eine inertiale Messeinheit. Es kann vorgesehen sein, dass das Fahrzeug 100 eine Referenzkarte 400 von dem erkannten bewegten Fremdfahrzeug 160 empfängt. Die seitlich neben dem Fahrzeug 100 liegende Litfaßsäule 185 wird in der in 1 gezeigten Situation nicht mehr von dem Sensorsystem 110 erfasst, da sie außerhalb des erfassten Teilbereichs 150 der Umgebung 140 des Fahrzeug 100 liegt.
In 2 ist eine zweidimensionale Punktwolke mit Punkten 210 als Beispiel für zumindest einen Ausschnitt einer erzeugte Umgebungskarte 200 zu der in 1 dargestellten Situation schematisch dargestellt. Zu berücksichtigen ist, dass die erzeugte Umgebungskarte 200 typischerweise auch Punkte 210, 213 oder Segmente 190 seitlich und hinter dem Fahrzeug 100 umfasst, welche in der Vergangenheit erfasst und in die Umgebungskarte eingetragen wurden, wobei diese insbesondere für die Zukunft beibehalten werden, falls diese Punkte einem erkannten statischen Objekt, wie der Litfaßsäule 185, zugeordnet wurden beziehungsweise ein solches repräsentieren. Die Punkte 210, 213 repräsentieren mittels des Sensorsystems 110 erfasste Abstände zwischen bewegten und/oder unbewegten Objekten, wie dem bewegten Fahrzeug 160, dem statischen Fremdfahrzeug 170 und dem Fußgänger 180, und dem Fahrzeug 100 und/oder mittels des Kamerasensors erkannte Segmente 190 in der Umgebung 140 des Fahrzeugs 100, wobei beispielsweise die Lage beziehungsweise Position der Segmente 190 in der Umgebung mithilfe von kamerabasierten Bildverarbeitungsalgorithmen aus einer Vielzahl von Kamerabildern geschätzt werden kann, insbesondere durch Anwendung von structure-from-motion-Verfahren. Die Position der Punkte 210 oder die Lage beziehungsweise Position der Segmente 190 repräsentiert demnach vorteilhafterweise den jeweiligen Abstand des erfassten Objekts und/oder des Segments 190 relativ zum Fahrzeug 100. Jedem Punkt 210 kann ein Bewegungsvektor 211 zugeordnet werden, welcher die Bewegung des Punktes beziehungsweise des Objektes repräsentiert, wobei der Bewegungsvektor Null sein kann, das heißt ein statisches Objekt repräsentieren kann. Jedem Punkt 210 kann des Weiteren eine Information zu einem, beispielsweise durch ein neuronales Netz, erkannten Objekt zugeordnet sein, beispielsweise dem Punkt 212 die Information bewegtes Fahrzeug 160. Die Umgebungskarte 200 wird in Abhängigkeit der erfassten Abstands- und Bewegungsdaten erzeugt, welche basierend auf den erfassten Sensordaten des Kamerasensors 111 und/oder des Radarsensors 112 des Sensorsystems 110 ermittelt werden. Beispielsweise können die Abstände zwischen dem Fahrzeug 100 und den Objekten 160, 170 und 180 beziehungsweise die Positionen der Punkte 210 der Punktwolke sowie die Position beziehungsweise Lage des Segments 190 durch ein Structure-from-motion-Verfahren aus einer Abfolge von Kamerabildern des Kamerasensors 111 und/oder den Sensordaten des Radarsensors 112 ermittelt werden. Die Bewegungsdaten beziehungsweise Bewegungsvektoren 211 können beispielsweise basierend auf der Bestimmung des optischen Flusses in Abhängigkeit einer Abfolge von Sensordaten des Kamerasensors 111 des Sensorsystems 110 ermittelt werden. Die Sensordaten des Radarsensors 112 weisen bei bestimmten Witterungsbedingungen in der Umgebung 140 und bezüglich der lateralen Abstände x zwischen den Objekten 160, 170 und 180 und dem Fahrzeug 100 eine höhere Genauigkeit auf als der Kamerasensor 111. Die Sensordaten des Kamerasensors 111 weisen bezüglich des Winkellage beziehungsweise des seitlichen Versatzes beziehungsweise bezüglich des seitlichen Abstandes y zwischen Objekten und der Mittellinie des Fahrzeugs 100 eine höhere Genauigkeit auf als der Radarsensor 112. Um die Genauigkeit der erzeugten Umgebungskarte 200 insgesamt zu erhöhen, wird die Umgebungskarte bevorzugt in Abhängigkeit der Sensordaten des Kamerasensors 111 und in Abhängigkeit der Sensordaten des Radarsensors 112 erzeugt. Mit anderen Worten wird eine Sensordatenfusion durchgeführt. Die in Abhängigkeit der Sensordaten des Kamerasensors 111 erkannten Objekte, das heißt das bewegte Fremdfahrzeug 160, das statische Fremdfahrzeug 170 sowie der Fußgänger 180 können den jeweiligen Punkten 210 der Umgebungskarte 200 und das erkannte Segment 190 als Fahrbahnmarkierung einer Fahrbahn in der Umgebungskarte bezüglich ihrer jeweiligen Position zugeordnet werden. Es kann vorgesehen sein, dass die Umgebungskarte mehrere Schichten beziehungsweise Unterkarten aufweist, beispielsweise eine erste Schicht beziehungsweise erste Unterkarte umfassend statische Objekte und/oder eine zweite Schicht beziehungsweise zweite Unterkarte umfassend bewegte Objekte und/oder eine dritte Schicht beziehungsweise dritte Unterkarte umfassend Segmente. Es kann vorgesehen sein, dass das Fahrzeug 100 mittels des elektronischer Kompass 121 eine Kartenausrichtung 220 erfasst beziehungsweise bestimmt hat, welche der erzeugten Umgebungskarte 200 zugeordnet wird. Es kann weiterhin vorgesehen sein, dass die von dem erkannten bewegten Fremdfahrzeug 160 empfangene Referenzkarte 400 ebenfalls eine Punktwolke mit Punkten 210 zur Position des Fußgängers 180 und/oder des statischen Fremdfahrzeugs 190 und/oder des Fahrzeugs 100 sowie deren Bewegungsvektoren beziehungsweise Bewegungsdaten und/oder die Position des erkannten Segments 190 der Fahrbahnmarkierung umfasst, wobei die Referenzkarte 400 des bewegten Fremdfahrzeug 160 vorzugsweise ebenfalls eine Referenzkartenausrichtung 420 aufweist. Die von dem Fahrzeug 100 erzeugte Umgebungskarte sowie die Referenzkarte 400 können demnach miteinander verglichen und eine Abweichung ermittelt werden, wobei die Abweichung insbesondere einem Vektor mit Richtung und Betrag zu jedem Punkt 210 entspricht, welcher als Differenz zwischen der Position eines jeweiligen Punktes 210 der Punktwolke der Umgebungskarte 200 und der Position eines korrelierenden Punktes 410 der Punktwolke der Referenzkarte 400 ermittelt wird. Die Korrelation zwischen Punkten 210 der Umgebungskarte und Punkten 410 der Referenzkarte 400 kann beispielsweise entsprechend der Merkmalskorrelation aus den bekannten Verfahren zur Bestimmung des optischen Flusses, das heißt basierend auf den Sensordaten des Kamerasensors 112 durchgeführt werden, beispielsweise durch eine pixelweise Bestimmung der Nachbarschaft jedes Bildpunktes, insbesondere zu einem erkannten Objekt.
In den 3a bis 3c sind die verschiedenen Übertragungsarten zur Übertragung beziehungsweise zum Empfang der Referenzkarte 400 von dem Fahrzeug 100 schematisch dargestellt.
3a zeigt schematisch eine direkte Übertragung einer jeweiligen Referenzkarte von jedem der Fremdfahrzeuge 310 zu dem Fahrzeug 100 per WLAN-Funksignal 311 sowie eine zusätzliche, alternative indirekte Übertragung der Referenzkarte von dem jeweiligen Fremdfahrzeug 310 zu dem Fahrzeug 100 durch eine Mobilfunk-Verbindung 312 über einen Mobilfunkmasten 320 mit Antennen 321. Zusätzliche Laufwege des Kommunikationssignals der indirekten Übertragung beziehungsweise der Mobilfunk-Verbindung 312 über Satelliten und/oder mehrere Mobilfunkmasten und/oder eine Bodenstation sind möglich, aber in 3a nicht dargestellt. Das Fahrzeug 100 umfasst zum Empfang der Referenzkarte 400 mindestens eine Empfangseinheit 330 sowie eine optionale Sendeeinheit mit jeweils einer Antenne für WLAN- und/oder Mobilfunk. Die Fremdfahrzeuge 310 umfassen zur Versendung der jeweiligen Referenzkarte mindestens eine Sendeeinheit 340 sowie optional eine Empfangseinheit mit jeweils einer Antenne für WLAN- und/oder Mobilfunk. Es kann vorgesehen sein, dass das Fahrzeug 100 zunächst ein Kommunikationssignal zur Anfrage der Referenzkarte an zumindest eines der Fremdfahrzeuge 310 aussendet und daraufhin die Referenzkarte von dem jeweiligen Fremdfahrzeug 310 versendet und von dem Fahrzeug 100 anschließend empfangen wird. Die WLAN- und/oder Mobilfunk-Verbindung zwischen dem Fahrzeug 100 und einem Fremdfahrzeug 310 kann also bidirektional sein.
In 3b ist ein Fahrzeug 100 dargestellt, welches eine Referenzkarte von einer Infrastruktureinheit 350 empfängt. Die Infrastruktureinheit 350 versendet die Referenzkarte 400 beispielsweise ohne oder mit vorheriger Anfrage an das Fahrzeug 100 und mögliche Fremdfahrzeuge 160, 310 beziehungsweise alle Fahrzeuge 100, 160, 310 in der Umgebung 140 der Infrastruktureinheit 350, insbesondere kontinuierlich in vorgegebenen zeitlichen Abständen, beispielsweise alle 60 Sekunden einmal. Die Versendung der Referenzkarte durch die Infrastruktureinheit 350 an die Fahrzeuge kann per WLAN- oder Mobilfunk-Verbindung 351 erfolgen.
Infrastruktureinheit 350 kann zum Zwecke der Erfassung der Umgebung 140 ein externes Sensorsystem 360 aufweisen, beispielsweise umfassend einen Kamerasensor, insbesondere einen hochauflösenden Stereo-Kamerasensor, welcher dazu eingerichtet ist, die Umgebung 140 der Infrastruktureinheit 350 beziehungsweise des Fahrzeugs 100 zu erfassen. Die Infrastruktureinheit 350 umfasst bevorzugt auch eine Recheneinheit (nicht dargestellt), welche dazu eingerichtet ist, eine Referenzkarte 400 basierend auf der mittels des externen Sensorsystems 360 erfassten externen Sensordaten der Umgebung 140 zu erzeugen beziehungsweise zu ermitteln.
In 3c ist ein Fahrzeug 100 und Servereinrichtung 370 dargestellt, wobei die Servereinrichtung 370 dazu eingerichtet ist, die Referenzkarte 400 von der Umgebung des Fahrzeugs 100 an das Fahrzeug 100 durch eine Mobilfunk-Verbindung zu senden. Die Servereinrichtung umfasst eine Datenbank 375 , auf welcher vorteilhafterweise die Referenzkarte 400 gespeichert ist, wobei die Referenzkarte 400 ein Ausschnitt einer auf der Datenbank gespeicherten Großkarte sein kann, welcher in Abhängigkeit einer gesendeten Anfrage, vorteilhafterweise umfassend die Position des Fahrzeugs 100 und optional die Bewegungsrichtung des Fahrzeugs 100 erzeugt beziehugnsweise ermittelt wird. Die Referenzkarte 400 kann beispielsweise basierend auf externen Sensordaten externer Sensorsysteme einer Vielzahl an Fremdfahrzeugen 160, 310, welche der Servervorrichtung 370 zugesendet werden, laufend angepasst beziehungsweise aktualisiert werden. Es kann alternativ oder zusätzlich vorgesehen sein, dass die Referenzkarte 400 basierend auf externen Sensordaten eines hochauflösenden externen Sensorsystems spezieller Erfassungsfahrzeuge ermittelt wurde, so dass die Referenzkarte 400 die Positionen von Objekten und/oder Segmenten in der Umgebung 140 des Fahrzeugs 100 sehr genau umfasst, beispielsweise eine Position einer erste Ampel und eine Position einer zweiten Ampel und die Position und Geometrie einer Litfaßsäule 382.
In 4a ist eine empfangene Referenzkarte 400, aufweisend eine Punktwolke, zu in den 1 und 2 gezeigten Situation schematisch dargestellt. Die empfangene Referenzkarte 400 wird vorteilhafterweise aus einer Vielzahl an externen Sensordaten von einer Vielzahl an Fahrzeugen beziehungsweise Fremdfahrzeugen ermittelt, welche die externen Sensordaten mittels eines externen Sensorsystems erfasst haben, wobei die Fremdfahrzeuge die Umgebung 140 in der Regel mit unterschiedlichen Perspektiven und/oder verschiedenen Sensorsystemen erfasst haben. Die Referenzkarte 400 umfasst vorteilhafterweise Punkte 410, welchen statische Objekte, wie Ampeln 380, 381 und/oder parkende Fahrzeuge 383 und/oder Bäume 364 etc., sowie bewegliche Objekte, wie bewegte Fremdfahrzeuge 160, 310, zugeordnet sind. Es kann vorgesehen sein, dass den Punkten 410, welchen ein bewegliches Objekt zugeordnet ist, zusätzlich Bewegungsdaten beziehungsweise ein Bewegungsvektor 411 zugeordnet ist. Es kann vorgesehen sein, dass die bewegten Objekte, wie bewegte Fremdfahrzeuge, ihre Position, ihre Geometrie und/oder Bewegungsdaten beispielsweise einer Servereinrichtung 370 gesendet haben, welche diese in die Referenzkarte eingetragen hat, wobei insbesondere die Position eines bewegten Objektes in der Referenzkarte basierend auf den Bewegungsdaten des bewegten Objektes laufend korrigiert wird. Des Weiteren umfasst die Referenzkarte 400 bevorzugt Segmente 190, wie die Fahrbahnmarkierungen. Die Referenzkarte in 4a umfasst eine optionale Referenzkartenausrichtung 420.
In 4b ist eine empfangene alternative Referenzkarte 400 dargestellt. Die Referenzkarte in 4b weist Repräsentationen 430, umfassend vorteilhafterweise deren Geometrien, insbesondere von statischen Objekten sowie deren Position auf. Beispielsweise umfasst die Referenzkarte aus 4b Gebäude 421, eine Litfaßsäule 422, Bäume 433 und die Fahrbahnmarkierungen als Segmente 190. Auch eine in 4b gezeigte Referenzkarte 400 kann mit einer Umgebungskarte 200 umfassend eine Punktwolke verglichen beziehungsweise eine Abweichung der Punkte 210 der Punktewolke der Umgebungskarte von der Referenzkarte 400 ermittelt werden. Die Referenzkarte in 4b umfasst ebenfalls die optionale Referenzkartenausrichtung 420.
In 5 ist ein Ablaufdiagramm des Verfahrens als Blockschaltbild schematisch dargestellt. Das Verfahren umfasst einen Empfang 510 einer Referenzkarte 400 von der Umgebung 140 des Fahrzeugs 100, wobei die empfangene Referenzkarte 400 zumindest eine Position eines statischen oder bewegten Objektes und/oder eine Position eines Segmentes und/oder Bewegungsdaten eines bewegten Objektes in der Umgebung 140 des Fahrzeugs 100 sowie zumindest eine Information zur Identifikation eines Objektes und/oder Segmentes repräsentiert. Die Referenzkarte 400 kann eine optionale Referenzkartenausrichtung 420 umfassen. Die empfangene Referenzkarte 400 umfasst optional zusätzlich eine Information zur Referenzgüte der Referenzkarte 400 und/oder eine Zeitangabe der Referenzkarte 400 und/oder eine Information zum Referenzsensorsystem und/oder einen Echtheitsnachweis. Die Referenzkarte kann eine Punktwolke und/oder Repräsentationen 430 von Objekten oder von Segmenten aufweisen, welche in ihrer jeweiligen Position beziehungsweise Lage zueinander in der Referenzkarte hinterlegt sind. Insbesondere repräsentieren die Punkte der Punktewolke und/oder die Repräsentationen 430 der Referenzkarte 430 statische Objekte oder Segmente oder bewegte Objekte. Vorteilhafterweise weist die Referenzkarte Geometrien von statischen oder bewegten Objekten sowie deren Position auf. In einem weiteren Verfahrensschritt erfolgt die Erfassung 520 von Sensordaten des Sensorsystems 110 des Fahrzeugs 100. Anschließend werden in einem weiteren Schritt 530 statische und/oder bewegte Objekte und/oder Segmente mittels eines neuronalen Netzes beziehungsweise durch ein angelerntes maschinelles Erkennungsverfahren in Abhängigkeit der erfassten Sensordaten erkannt beziehungsweise ermittelt. Dann erfolgt die Ermittlung 540 von Bewegungsdaten zu erkannten bewegten Objekten und/oder von Abstandsdaten zwischen dem Fahrzeug und erkannten statischen und/oder bewegten Objekten oder erkannten Segmenten in Abhängigkeit der erfassten Sensordaten des Sensorsystems 110 des Fahrzeugs 100. Es kann optional vorgesehen sein, dass eine Erfassung 545 einer Kompassausrichtung 220 des Fahrzeugs durchgeführt wird (nicht in 5 dargestellt). Im Schritt 550 wird die Umgebungskarte 200 in Abhängigkeit der ermittelten Abstands- und/oder Bewegungsdaten erzeugt, wobei die Umgebungskarte 200 wenigstens eine Position und/oder Bewegungsdaten zu wenigstens einem Objekt und/oder Segment sowie zumindest eine erkannte Information zur Identifikation eines erkannten statischen und/oder bewegten Objekte und/oder Segmente umfasst. Die Umgebungskarte 200 wird optional in Abhängigkeit der erfassten Kompassausrichtung 220 erzeugt, vorteilhafterweise wird die Umgebungskarte genordet. Es folgt die Bestimmung 560 wenigstens einer Abweichung zwischen der empfangenen Referenzkarte 400 und der erzeugten Umgebungskarte 200 zumindest bezüglich der Position und/oder der Bewegungsdaten wenigstens eines Objektes und/oder Segmentes in Abhängigkeit zueinander korrelierender Objekte und/oder Segmente. Die Bestimmung 560 der Abweichung kann anhand von erfassten beziehungsweise ermittelten Punkten 210, 410 einer Punktwolke erfolgen, denen jeweils eine Information zu dem Objekt zugeordnet ist, welches sie repräsentieren. Die Bestimmung 560 der Abweichung zwischen der empfangenen Referenzkarte und der erzeugten Umgebungskarte erfolgt optional zusätzlich in Abhängigkeit der erfassten Kompassausrichtung 220 und der Referenzkartenausrichtung 420. Besonders bevorzugt erfolgt die Bestimmung 560 der wenigstens einen Abweichung in Abhängigkeit einer Erkennung und Korrelation von spezifischen Merkmalen von Objekten und/oder Segmenten in der empfangenen Referenzkarte und der erzeugten Umgebungskarte und/oder von spezifischen Merkmalen einer Punktewolke der Referenzkarte und/oder der Umgebungskarte, wobei einer Vielzahl an Positionsabweichungen dieser spezifischen Merkmalen ermittelt werden. Optional kann ein Empfang 570 einer extern bestimmten Abweichung zwischen einer extern ermittelten Umgebungskarte und der Referenzkarte und/oder einer extern ermittelten Kalibrierungsgüte mittels einer WLAN- und/oder Mobilfunkverbindung von dem Fremdfahrzeug 160, 310, der Servereinrichtung 370 und/oder der Infrastruktureinheit 350 vorgesehen sein. In einem weiteren Schritt wird eine Ermittlung 580 einer aktuellen Kalibrierungsgüte des Sensorsystems in Abhängigkeit der bestimmten Abweichung durchgeführt. Die Ermittlung 580 der aktuellen Kalibrierungsgüte erfolgt optional zusätzlich in Abhängigkeit der Referenzgüte und/oder der Zeitangabe und/oder des Referenzsensorsystems und/oder des Echtheitsnachweises. Es kann optional des Weiteren vorgesehen sein, dass die Ermittlung 580 der aktuellen Kalibrierungsgüte zusätzlich in Abhängigkeit einer erkannten aktuellen Witterung in der Umgebung 140 des Fahrzeugs 100 und/oder einer erkannten aktuellen Beeinträchtigung des Sensorsystems und/oder in Abhängigkeit einer aktuellen Geschwindigkeit des Fahrzeugs 100 durchgeführt wird. Die Ermittlung 580 der aktuellen Kalibrierungsgüte des Sensorsystems kann vorteilhafterweise auch optional in Abhängigkeit der statistischen Auswertung der Vielzahl an Positionsabweichungen erfolgen. Anschließend kann eine optionale Kalibrierung 590 des Sensorsystems in Abhängigkeit der ermittelten Kalibrierungsgüte und/oder der bestimmten Abweichung erfolgen. Die Kalibrierung 590 kann in Abhängigkeit der statistischen Auswertung der Vielzahl an Positionsabweichungen, insbesondere bezüglich der Richtung des Positionsversatzes, erfolgen. Es kann vorgesehen sein, dass die Kalibrierung 590 des Sensorsystems zusätzlich in Abhängigkeit der empfangenen extern bestimmten Abweichung und/oder einer extern ermittelten Kalibrierungsgüte erfolgt. Die Kalibrierung 590 wird vorteilhafterweise durch eine freie oder begrenzte Anpassung von Parametern durchgeführt. In einem weiteren optionalen Schritt 595 wird die Kalibrierung des Sensorsystems validiert, wenn bei einer Wiederholung des Verfahrens die ermittelte Kalibrierungsgüte gegenüber der vorher ermittelten Kalibrierungsgüte steigt. Des Weiteren kann eine optionale Anzeige 599 eines Umgebungsmodells mittels einer Anzeigevorrichtung 130 für den Fahrer des Fahrzeugs erfolgen, wobei die bestimmte Abweichung, die ermittelte Kalibriergüte und/oder die erzeugte Umgebungskarte und/oder die empfangene Referenzkarte in dem Umgebungsmodell dargestellt werden, beispielsweise als Überlagerung oder Weichzeichnung.

Claims

Verfahren zur Ermittlung einer Kalibrierungsgüte eines Sensorsystems (110) eines Fahrzeugs (100), wobei das Sensorsystem (110) dazu eingerichtet ist, zumindest einen Teilbereich (150) einer Umgebung (140) des Fahrzeugs (100) zu erfassen, wobei das Verfahren folgende Schritte aufweist • Empfang (510) einer Referenzkarte (400) der Umgebung (140) des Fahrzeugs (100), wobei die empfangene Referenzkarte (400) zumindest eine Position eines statischen oder bewegten Objektes und/oder eine Position eines Segmentes und/oder Bewegungsdaten eines bewegten Objektes in der Umgebung (140) des Fahrzeugs (100) sowie zumindest eine Information zur Identifikation eines Objektes und/oder des Segmentes repräsentiert, • Erfassung (520) von Sensordaten des Sensorsystems (110) des Fahrzeugs (100), • Erkennung (530) statischer und/oder bewegter Objekte und/oder Segmente in Abhängigkeit der erfassten Sensordaten, • Ermittlung (540) von Bewegungsdaten zu erkannten bewegten Objekten und/oder von Abstandsdaten zwischen dem Fahrzeug und erkannten statischen und/oder bewegten Objekten oder erkannten Segmenten in Abhängigkeit der erfassten Sensordaten des Sensorsystems (110) des Fahrzeugs (100), • Erzeugung (550) einer Umgebungskarte (200) in Abhängigkeit der ermittelten Abstands- und/oder Bewegungsdaten, wobei die Umgebungskarte (200) wenigstens eine Position und/oder Bewegungsdaten zu wenigstens einem Objekt und/oder Segment sowie zumindest eine erkannte Information zur Identifikation eines erkannten statischen und/oder bewegten Objektes und/oder Segmentes umfasst, • Bestimmung (560) wenigstens einer Abweichung zwischen der empfangenen Referenzkarte (400) und der erzeugten Umgebungskarte (200) zumindest bezüglich der Position und/oder der Bewegungsdaten wenigstens eines Objektes und/oder Segmentes in Abhängigkeit zueinander korrelierender Objekte und/oder Segmente, und • Ermittlung (580) einer aktuellen Kalibrierungsgüte des Sensorsystems (110) des Fahrzeugs (100) in Abhängigkeit der bestimmten Abweichung.
Verfahren nach Anspruch 1, wobei die empfangene Referenzkarte zumindest eine Referenzkartenausrichtung umfasst und folgende Verfahrensschritte durchgeführt werden • Erfassung (545) einer Kompassausrichtung (220) des Fahrzeugs (100), wobei • die Erzeugung (550) der digitalen Umgebungskarte zusätzlich in Abhängigkeit der erfassten Kompassausrichtung (220) erfolgt, und • die Bestimmung (560) der Abweichung zwischen der empfangenen Referenzkarte und der erzeugten Umgebungskarte zusätzlich in Abhängigkeit der erfassten Kompassausrichtung und der Referenzkartenausrichtung durchgeführt wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die empfangene Referenzkarte zusätzlich eine Information zur Referenzgüte der Referenzkarte und/oder eine Zeitangabe der Referenzkarte und/oder eine Information zum Referenzsensorsystem und/oder einen Echtheitsnachweis umfasst, wobei • die Ermittlung (580) der aktuellen Kalibrierungsgüte zusätzlich in Abhängigkeit der Referenzgüte und/oder der Zeitangabe und/oder des Referenzsensorsystems und/oder des Echtheitsnachweises erfolgt.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Ermittlung (580) der aktuellen Kalibrierungsgüte zusätzlich in Abhängigkeit einer erkannten aktuellen Witterung in der Umgebung (140) des Fahrzeugs (100) und/oder einer erkannten aktuellen Beeinträchtigung des Sensorsystems (110) und/oder in Abhängigkeit einer aktuellen Geschwindigkeit des Fahrzeugs (100) durchgeführt wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei folgender Schritt durchgeführt wird • Kalibrierung (590) des Sensorsystems (110) des Fahrzeugs (100) in Abhängigkeit der ermittelten Kalibrierungsgüte und/oder der bestimmten Abweichung.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Bestimmung (560) der wenigstens einen Abweichung eine Erkennung und Korrelation von spezifischen Merkmalen von Objekten und/oder Segmenten in der empfangenen Referenzkarte (400) und der erzeugten Umgebungskarte (200) und/oder von spezifischen Merkmalen einer Punktewolke der Referenzkarte und/oder der Umgebungskarte umfasst, wobei einer Vielzahl an Positionsabweichungen der spezifischen Merkmalen ermittelt werden, und wobei folgende Verfahrensschritte durchgeführt werden • statistische Auswertung der Vielzahl an Positionsabweichungen, insbesondere bezüglich der Richtung des Positionsversatzes, und • Ermittlung (580) der aktuellen Kalibrierungsgüte des Sensorsystems in Abhängigkeit der statistischen Auswertung der Vielzahl an Positionsabweichungen, und/oder • Kalibrierung (590) in Abhängigkeit der statistischen Auswertung der Vielzahl an Positionsabweichungen.
Verfahren nach Anspruch 5 oder 6, wobei folgende Schritte durchgeführt werden • Empfang (570) einer extern bestimmten Abweichung zwischen einer extern ermittelten Umgebungskarte und der Referenzkarte (400) und/oder einer extern ermittelten Kalibrierungsgüte mittels einer WLAN- und/oder Mobilfunkverbindung von dem Fremdfahrzeug, der Servereinrichtung und/oder der Infrastruktureinheit, wobei • die Kalibrierung (580) des Sensorsystems (110) zusätzlich in Abhängigkeit der empfangenen extern bestimmten Abweichung und/oder der extern ermittelten Kalibrierungsgüte erfolgt.
Verfahren nach einem der Ansprüche 5 bis 7, wobei die Kalibrierung (590) des Sensorsystems (110) durch eine freie oder begrenzte Anpassung von Parametern erfolgt.
Verfahren nach einem der Ansprüche 5 bis 8, wobei die durchgeführte Kalibrierung (590) des Sensorsystems (110) validiert wird, wenn bei einer Wiederholung des Verfahrens die ermittelte Kalibrierungsgüte gegenüber der vorher ermittelten Kalibrierungsgüte steigt.
Verfahren nach einem der vorhergehenden Ansprüche, wobei folgender Schritt durchgeführt wird • Anzeige (599) eines Umgebungsmodells mittels einer Anzeigevorrichtung (130) für den Fahrer des Fahrzeugs (100), wobei die bestimmte Abweichung, die ermittelte Kalibriergüte und/oder die erzeugte Umgebungskarte (200) und/oder die empfangene Referenzkarte (400) in dem Umgebungsmodell dargestellt werden.
Computerprogramm, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, die Schritte des Verfahrens nach einem der vorhergehenden Ansprüche auszuführen.
Steuergerät (120) für ein Fahrzeug (100), umfassend mindestens folgende Komponenten • einen Signaleingang zur Bereitstellung eines ersten Signals, welches Sensordaten eines Sensorsystems (110) des Fahrzeugs (100) repräsentiert, • eine Empfangseinheit (330), welche dazu eingerichtet ist, eine Referenzkarte (400) von der Umgebung (140) des Fahrzeugs (100) mittels einer WLAN- und/oder Mobilfunkverbindung von einem Fremdfahrzeug (160, 310), einer Servereinrichtung (370) und/oder einer Infrastruktureinheit (350) in der Umgebung (140) des Fahrzeugs (100) zu empfangen, • eine Recheneinheit, wobei die Recheneinheit so konfiguriert ist, dass sie die Schritte des Verfahrens nach einem der Ansprüche 1 bis 10 ausführt.
Fahrzeug (100), umfassend mindestens folgende Komponenten • ein Sensorsystem (110), wobei das Sensorsystem (110) dazu eingerichtet ist, zumindest einen Teil der Umgebung des Fahrzeugs zu erfassen, und • ein Steuergerät nach Anspruch 12.