-
Die Erfindung betrifft ein computerimplementiertes Verfahren zur Ermittlung einer dreidimensionalen, einer Simulation einer Sensordatenaufnahme zugrundelegbaren Karte einer durch ein Kraftfahrzeug befahrbaren Fahrumgebung, wobei eine die Geometrie und Position von Umfeldmerkmalen in der Fahrumgebung beschreibende, dreidimensionale Punktewolke mittels eines Abstandssensors eines Messfahrzeugs aufgenommen wird. Daneben betrifft die Erfindung ein computerimplementiertes Verfahren zur Simulation einer Sensordatenaufnahme eines Umfeldsensors eines Kraftfahrzeugs unter Verwendung einer derart ermittelten Karte, eine Ermittlungseinrichtung, ein Computerprogramm und einen elektronisch lesbaren Datenträger.
-
Bei der Entwicklung von hochmodernen Fahrzeugfunktionen für Kraftfahrzeuge, beispielsweise von vollständig automatischen Fahrzeugführungsfunktionen (autonomes Fahren), werden Simulationen für Fahrten durch bestimmte, möglichst realistische Fahrumgebungen immer wichtiger, um bereits frühzeitig Informationen zur Funktionsfähigkeit und zur Performance solcher Fahrzeugfunktionen zu erhalten. Nachdem derartige Fahrzeugfunktionen üblicherweise als Eingangsdaten zumindest teilweise Sensordaten von Umfeldsensoren des Kraftfahrzeugs nutzen, müssen auch diese im Rahmen der Simulation erzeugt werden, das bedeutet mit anderen Worten, die Sensordatenaufnahme muss ebenso simuliert werden. Beispielsweise ist es zum Testen von wenigstens teilweise, insbesondere vollständig, automatisierten Fahrzeugführungsfunktionen bekannt, dreidimensionale Straßenraummodelle einer Fahrumgebung zu verwenden. Nachdem die Umfeldsensoren die Schnittstelle zwischen der automatisierten Fahrzeugführungsfunktion und der Außenwelt darstellen, ist ihre Simulation und Modellierung von zentraler Bedeutung. Dies betrifft beispielsweise Umfeldsensoren wie Kameras, Radarsensoren, Lidarsensoren und/oder Ultraschallsensoren.
-
Um eine möglichst genaue und korrekte Simulation in solchen Straßenraummodellen beziehungsweise sonstigen dreidimensionalen Karten einer Fahrumgebung zu ermöglichen, werden die physikalischen Eigenschaften der jeweiligen Materialien benötigt. Diese physikalischen Parameter gehen jedoch über die bisherigen 3D-Modelle aus der Computergraphik hinaus.
-
Um eine Simulation einer Sensordatenaufnahme eines Umfeldsensors eines Kraftfahrzeugs hinsichtlich einer Fahrumgebung zu erlauben, ist es bekannt, dreidimensionale Karten als Straßenraummodelle der realen Fahrumgebung auf Basis von hochgenauen Vermessungen zu ermitteln. Um die Fahrumgebung vermessen zu können, werden beispielsweise sogenannte Mobile-Laser-Scanning-Verfahren durchgeführt, bei denen auf einem Messfahrzeug ein Abstandssensor, insbesondere ein laserbasierter Abstandssensor montiert ist. Abstandssensoren liefern geometrische Informationen in Form von dreidimensionalen Punktewolken. Diese dreidimensionalen Punktewolken, auch wenn sie zusätzlich noch Intensitätswerte und/oder Anzahlen an reflektierten Impulsen in den Messdaten enthalten, sind jedoch nicht ausreichend, um einzelne Materialien in der Fahrumgebung zu differenzieren und somit eine unmittelbar für eine Simulation einer Sensordatenaufnahme eines Umfeldsensors geeignete dreidimensionale Karte bereitzustellen. Dies gilt insbesondere für komplexe, urbane Fahrumgebungen, insbesondere urbane Straßenraum bereiche.
-
US 9 234 618 B1 betrifft die Charakterisierung optisch reflektierender Merkmale mittels eines hyperspektralen Sensors beim Betrieb eines autonomen Fahrzeugs. Ein Lidar-Sensor scannt eine Umgebung des autonomen Fahrzeugs, um eine dreidimensionale Punktewolke der Verteilung reflektierender Punkte im Scanbereich zu erhalten. Ein hyperspektraler Sensor nimmt ein Bild einer Region des Scanbereichs auf, um spektrale Informationen zu einem reflektierenden Merkmal zu erhalten. Die spektrale Information wird genutzt, um zwischen festen und nicht festen reflektierenden Merkmalen zu unterscheiden. Die entstehende Karte wird für Echtzeit-Navigationsentscheidungen des autonomen Fahrzeugs genutzt.
-
In einem Artikel von Russel E. Warren und David B. Cohn, „Chemical detection on surfaces by hyperspectral imaging“, Journal of Applied Remote Sensing, Vol. 11 (2017), Seiten 015013-1 bis 015013-16, wird ein Verfahren vorgeschlagen, hyperspektrale Daten zu verwenden, um chemische Materialien auf beliebigen Oberflächen zu identifizieren und zu lokalisieren, ohne dass hierfür Vorab-Modellierungsannahmen getroffen werden müssen. Mit anderen Worten soll eine Oberflächendetektion ohne Abhängigkeit von Informationen zum Hintergrund erreicht werden. Hierzu wird ein Entmischalgorithmus eingesetzt, um das Spektrum nur der chemischen Substanz zu erhalten, welches dann durch einen SVM-Klassifizierer entsprechend ausgewertet werden kann. Es werden also die Auswirkungen der Hintergrundfläche herausgefiltert, um möglichst robust die chemische Substanz zu detektieren.
-
Der Erfindung liegt die Aufgabe zugrunde, auf möglichst verlässliche Art und Weise automatisch eine dreidimensionale Karte einer Fahrumgebung zu ermitteln, die verbesserte Informationen für eine Simulation einer Sensordatenaufnahme enthält.
-
Zur Lösung dieser Aufgabe ist erfindungsgemäß ein computerimplementiertes Verfahren zur Ermittlung einer dreidimensionalen, einer Simulation einer Sensordatenaufnahme zugrundelegbaren Karte einer durch ein Kraftfahrzeug befahrbaren Fahrumgebung vorgesehen, welches folgende Schritte umfasst:
- - Aufnehmen einer die Geometrie und Position von Umfeldmerkmalen in der Fahrumgebung beschreibenden, dreidimensionalen Punktewolke mittels eines Abstandssensors eines Messfahrzeugs,
- - Aufnehmen von Spektraldaten der Umfeldmerkmale in der Fahrumgebung mittels einer mit dem Abstandssensor registrierten Hyperspektralkamera des Messfahrzeugs,
- - Ermitteln einer Lageinformation der Umfeldmerkmale aus der Punktewolke und einer Materialinformation der Umfeldmerkmale durch Klassifizieren von Materialien der Umfeldmerkmale aus den Spektraldaten, und
- - Erstellen der Karte aus der Lageinformation und der Materialinformation, wobei den jeweiligen Umfeldmerkmalen in der Karte wenigstens ein Teil der Materialinformation und/oder wenigstens ein aus der Materialinformation abgeleiteter, für die Sensordatenaufnahme relevanter physikalischer Parameter zugeordnet wird.
-
Erfindungsgemäß wird mithin vorgeschlagen, Hyperspektralkameras zusätzlich zu einer geometrischen Vermessung einzusetzen, um Materialien von Umfeldmerkmalen bei der Vermessung von Fahrumgebungen, insbesondere urbanen Straßenraumbereichen, verbessert zu charakterisieren und somit eine automatisierte Identifikation von Materialien, mithin Ermittlung von Materialeigenschaften, insbesondere im Hinblick auf die Simulation einer Sensordatenaufnahme, zu erlauben.
-
Die Hyperspektralbildgebung ist im Stand der Technik grundsätzlich bereits bekannt. Während herkömmliche Kameras meist, wie das menschliche Auge, in drei Frequenzbändern des elektromagnetischen Spektrums arbeiten, nämlich lange Wellenlängen (rot), mittlere Wellenlängen (grün) und kurze Wellenlängen (blau), wird bei der hyperspektralen Bildgebung (oft auch nur als Spektralbildgebung bezeichnet) das elektromagnetische Spektrum, welches von der Hyperspektralkamera erfasst wird, in eine Vielzahl von Frequenzbändern zerlegt, für die jeweils Messwerte aufgenommen werden können. So wird für jedes Pixel in einem Bild einer Szene ein Spektrum erhalten. Bildlich gesprochen nimmt eine Hyperspektralkamera Informationen als einen Satz von „Einzelbildern“ auf, wobei jedes Einzelbild einen schmalen Wellenlängenbereich (Frequenzband) des elektromagnetischen Spektrums betrifft. Die Wellenlängenbereiche werden auch oft als Spektralbänder bezeichnet. Diese Einzelbilder werden kombiniert, um einen dreidimensionalen (Zwei Raumkoordinaten und Wellenlänge/Frequenz), hyperspektralen, sogenannten Datenkubus als Spektraldaten zu erhalten. Dabei liefern bestimmte Materialien einzigartige spektrale Signaturen, die die Identifikation dieser Materialien erlauben können.
-
Anders ausgedrückt sind Materialreflexionen abhängig von der Wellenlänge, so dass Materialien durch Hyperspektralkameras viel genauer differenziert werden können. Durch die Montage wenigstens einer Hyperspektralkamera auf dem Messfahrzeug, zusätzlich zu bereits bestehender Sensorik, insbesondere dem wenigstens einem Abstandssensor, werden hyperspektrale Datenkuben als Spektraldaten aufgenommen, welche aufgrund der Registrierung der Hyperspektralkamera mit der übrigen Sensorik mit Messdaten der anderen Sensoren, insbesondere der dreidimensionalen Punktewolke, assoziiert werden können. Während auf Basis der dreidimensionalen Punktewolke mithin die Geometrie der Umfeldmerkmale, also ihre Lageinformation, insbesondere umfassend Position, Orientierung und Form (umfassend Ausdehnung) ermittelt werden kann, wobei hier selbstverständlich auch die Spektraldaten zusätzlich berücksichtigt werden können, ermöglichen es die Spektraldaten der Hyperspektralkamera, Materialien der Umfeldmerkmale zu klassifizieren und eine entsprechende Materialinformation zu bestimmen. Dies ermöglicht es dann, aus der Lageinformation und der Materialinformation eine verbesserte dreidimensionale Karte der Fahrumgebung zu ermitteln, in der den jeweiligen Umfeldmerkmalen Zusatzinformationen, insbesondere also wenigstens ein Teil der Materialinformation und/oder wenigstens ein aus der Materialinformation abgeleiteter, für die Sensordatenaufnahme relevanter physikalischer Parameter, zugeordnet wird. Die Zusatzinformation ist relevant für die Sensordatenaufnahme und ermöglicht es mithin, eine besonders realistische, realitätsgetreue Simulation der Sensordatenaufnahme durchzuführen, beispielsweise im Rahmen des Tests und/oder der Entwicklung einer Fahrzeugfunktion, insbesondere einer wenigstens teilweise, bevorzugt vollständig, automatischen Fahrzeugführungsfunktion. Mit anderen Worten beschreiben der wenigstens eine physikalische Parameter und/oder wenigstens der Teil der Materialinformation Eigenschaften des Umfeldmerkmals, die bei der Messung mit einem zu simulierenden Sensor, also für die Sensormodalität, eine Rolle spielen. Beispielsweise können als physikalische Parameter Brechungsindizes, insbesondere aufgelöst nach Wellenlängen, und/oder eine Permeabilität und/oder ein Radarquerschnitt zugeordnet werden. Der wenigstens eine physikalische Parameter kann der Materialinformation beispielsweise in einer Datenbank zugeordnet sein.
-
In zweckmäßiger Weiterbildung der Erfindung kann vorgesehen sein, dass wenigstens ein Teil der Umfeldmerkmale unter Berücksichtigung der Lageinformation und/oder der Materialinformation in der Karte zu speichernden Umfeldobjekten zugeordnet wird. Dabei kann ein Umgebungsmerkmal selbst bereits ein vollständiges Umgebungsobjekt bilden, denkbar ist es jedoch auch, dass ein Umgebungsobjekt aus mehreren unterschiedlichen Umfeldmerkmalen besteht, beispielsweise bei aus mehreren Materialien zusammengesetzten Umfeldobjekten. Dabei werden vorliegend insbesondere statische Umfeldobjekte betrachtet, beispielsweise Gebäude beziehungsweise Gebäudeteile, Pflanzen, Gehwege, Verkehrsschilder, Pfosten und dergleichen. Techniken und Varianten, mit denen Umfeldmerkmale zu Objekten zugeordnet werden können, sind im Stand der Technik bereits weitgehend bekannt und können auch im Rahmen der vorliegenden Erfindung entsprechend eingesetzt werden.
-
In diesem Kontext ist es besonders vorteilhaft, wenn durch Auswertung wenigstens der Materialinformation wenigstens einem Teil der Umfeldobjekte eine insbesondere semantische Umfeldobjektklasse und/oder Semantikinformation zugeordnet wird. In diesem Zusammenhang kann sich die Materialinformation als äußerst nützlich erweisen, denn Materialien geben einen deutlichen Hinweis zum einen auf die Art des Objekts (Umfeldobjektklasse), zum anderen aber auch hinsichtlich dessen Bedeutung, also der Semantik. Beispielsweise können für Verkehrsschilder und/oder Hinweisschilder Schildtypen, gegebenenfalls auch Schildinhalte, hinterlegt werden, für Bäume die entsprechenden Baumarten und/oder allgemein für Hindernisse, ob diese im Zweifel durchfahrbar sind oder nicht. Dies kann beispielsweise bei Fahrbahnbegrenzungen, Wänden und dergleichen relevant sein.
-
Dabei sei an dieser Stelle angemerkt, dass es besonders bei der Ermittlung von insbesondere semantischen Umfeldobjektklassen und/oder Semantikinformationen besonders zweckmäßig sein kann, die dreidimensionale Karte nach ihrer Erstellung durch einen Menschen prüfen und/oder korrigieren zu lassen. Dies kann im übrigen auch allgemein vorgesehen werden, um die Verlässlichkeit der dreidimensionalen Karte weiter zu erhöhen.
-
Insgesamt erweist sich also die Materialinformation beziehungsweise erweisen sich die Spektraldaten, die durch die Hyperspektralkamera zusätzlich gewonnen werden, auch über die verbesserte Abbildung hinsichtlich der Sensordatenaufnahme hinaus als nützlich. Beispielsweise kann die Materialinformation auch dann Hinweise geben, wenn bei glatten Oberflächen ein Materialwechsel auftritt, welcher einen Wechsel des Umfeldmerkmals/Umfeldobjekts anzeigt, welcher gegebenenfalls allein aus der dreidimensionalen Punktewolke nicht hinreichend sicher feststellbar gewesen wäre. Mithin können die Spektraldaten und/oder die Materialinformation besonders bevorzugt auch bei der Beurteilung, welche Punkte zu welchem Umfeldmerkmal beziehungsweise Umfeldobjekt gehören, berücksichtigt werden. Auf diese Weise ist es beispielsweise verbessert möglich, ein auf einer Wand angeordnetes Schild als eigenes Umfeldmerkmal zu erkennen.
-
In Weiterbildung der Erfindung kann vorgesehen sein, dass die Materialinformation durch Abgleich eines die spektral aufgelöste Reflexion des Umfeldmerkmals beschreibenden Spektraldatensatzes mit insbesondere in einer Datenbank gespeicherten, jeweils einer Materialinformation zugeordneten Vergleichsdatensätzen und/oder durch Verwendung eines trainierten Klassifizierungsalgorithmus der künstlichen Intelligenz ermittelt wird. Beispielsweise können also Vergleichsspektren, die einer bestimmten Materialinformation zugeordnet sind, herangezogen werden, um eine Bestimmung des Materials dadurch zu erreichen, dass das ähnlichste Vergleichsspektrum aufgefunden wird. Andererseits ist es, zusätzlich oder alternativ, auch denkbar, trainierte Klassifizierungsalgorithmen der künstlichen Intelligenz einzusetzen. Entsprechende Vorgehensweisen, die verwendet werden können, wurden im Stand der Technik bereits beschrieben.
-
Eine Ausgestaltung der Erfindung kann auch vorsehen, dass den Umfeldmerkmalen in der Karte zusätzlich auch wenigstens ein Teil der Spektraldaten zugeordnet wird. Das bedeutet, auch das letztlich an bestimmten Orten gemessene Spektrum kann sich als nützliches Hilfsmittel bei der Simulation einer Sensordatenaufnahme erweisen. Dabei sei darauf hingewiesen, dass es grundsätzlich auch denkbar ist, die Ermittlung der Materialinformation zu einem späteren Zeitpunkt, beispielsweise im Rahmen der Simulation selbst, durchzuführen, was jedoch, insbesondere aufgrund der gegenseitigen Synergie und Nützlichkeit von Lageinformation und Materialinformation, wie beschrieben, weniger bevorzugt ist.
-
Mit besonderem Vorteil kann die Hyperspektralkamera eine Snapshot-Hyperspektralkamera sein. Bei Hyperspektralkameras wird üblicherweise zwischen solchen unterschieden, die einen Scanvorgang bezüglich des Ortes und/oder der Frequenz durchführen (scannende Hyperspektralkameras) und solchen, die innerhalb eines Zeitschrittes einen kompletten hyperspektralen Datenkubus aufnehmen. Letztere sind bei der hier vorliegenden Anwendung bevorzugt, da sich üblicherweise das Messfahrzeug bei der Vermessung der Fahrumgebung bewegt, mithin eine möglichst schnelle Aufnahme der Sensordaten unter Vermeidung von Bewegungsartefakten besonders vorteilhaft ist. Eine Übersicht, die auch im Rahmen der vorliegenden Erfindung einsetzbare Snapshot-Hyperspektralkameras beschreibt, findet sich beispielsweise in einem Artikel von Nathan Hagen und Michael W. Kudenov, „Review of Snapshot Spectral Imaging Technologies“, Optical Engineering 52 (2013), Seiten 090901-1 bis 090901-23.
-
Die Hyperspektralkamera kann beispielsweise 20 bis 250, bevorzugt 100 bis 200, Frequenzbänder aufnehmen. Je mehr unterschiedliche Frequenzbänder verwendet werden, desto genauere Ergebnisse können bei der Klassifizierung erwartet werden.
-
In vorteilhafter Ausgestaltung kann die Hyperspektralkamera zur Aufnahme eines 360°-Umkreises, insbesondere von einem Dach des Messfahrzeugs, bewegt werden oder aber es können in bevorzugter Ausgestaltung mehrere Hyperspektralkameras, die einen 360°-Umkreis abdecken, verwendet werden. Messfahrzeuge weisen häufig eine Art Messplattform auf ihrem Dach auf, die bereits den wenigstens einen Abstandssensor enthalten kann. Hier kann auch die wenigstens eine Hyperspektralkamera angeordnet werden, bevorzugt aber mehrere Hyperspektralkameras, die es erlauben, in jedem Zeitschritt den gesamten 360°-Radius um das Messfahrzeug zu vermessen.
-
Die Erfindung betrifft ferner auch ein computerimplementiertes Verfahren zur Simulation einer Sensordatenaufnahme eines Umfeldsensors eines Kraftfahrzeugs unter Verwendung einer mit einem erfindungsgemäßen Ermittlungsverfahren ermittelten dreidimensionalen Karte der Fahrumgebung. Sämtliche Ausführungen bezüglich des erfindungsgemäßen Ermittlungsverfahrens lassen sich analog auf das erfindungsgemäße Simulationsverfahren übertragen. Insbesondere kann das Simulationsverfahren in ein Testverfahren für wenigstens eine Fahrzeugfunktion, insbesondere eine wenigstens teilweise, insbesondere vollständig, automatische Fahrzeugführungsfunktion, eingebunden sein, wobei die durch die Simulation der Sensordatenaufnahme erhaltenen simulierten Umfeldsensordaten als Eingangsdaten für die Fahrzeugfunktion verwendet werden.
-
Eine erfindungsgemäße Ermittlungseinrichtung zur Ermittlung einer dreidimensionalen, einer Simulation einer Sensordatenaufnahme zugrundlegbaren Karte einer durch ein Kraftfahrzeug befahrbaren Fahrumgebung ist ausgebildet zur Durchführung eines erfindungsgemäßen Ermittlungsverfahrens. Auch hierfür gelten die Ausführungen zum Ermittlungsverfahren entsprechend fort.
-
Die Ermittlungseinrichtung kann beispielsweise einen Prozessor und wenigstens ein Speichermittel aufweisen. Sie kann eine Steuereinheit zum Ansteuern des wenigstens einen Abstandssensors und der wenigstens einen Hyperspektralkamera zur Durchführung der jeweiligen Messungen genauso aufweisen wie eine Ermittlungseinheit zur Ermittlung der Lageinformation und der Materialinformation sowie eine Erstellungseinheit zur Erstellung der Karte. Denkbar ist auch eine Simulationseinrichtung, die beispielsweise in einer Testeinrichtung für eine Fahrzeugfunktion eingesetzt werden kann, wobei die Simulationseinrichtung zur Durchführung eines erfindungsgemäßen Simulationsverfahrens ausgebildet ist.
-
Ein erfindungsgemäßes Computerprogramm ist direkt in ein Speichermittel einer Recheneinrichtung, insbesondere einer Ermittlungseinrichtung beziehungsweise Simulationseinrichtung, ladbar und weist Programmmittel auf, um die Schritte eines erfindungsgemäßen Verfahrens durchzuführen, wenn das Computerprogramm auf der Recheneinrichtung ausgeführt wird. Das Computerprogramm kann auf einem erfindungsgemäßen elektronisch lesbaren Datenträger gespeichert sein, der mithin Steuerinformationen enthält, die ein erfindungsgemäßes Computerprogramm umfassen und bei Verwendung des Datenträgers in einer Recheneinrichtung, insbesondere einer Ermittlungseinrichtung beziehungsweise einer Simulationseinrichtung, diese die Schritte eines erfindungsgemäßen Verfahrens durchführen lassen.
-
Weitere Vorteile und Einzelheiten der vorliegenden Erfindung ergeben sich aus den im Folgenden beschriebenen Ausführungsbeispielen sowie anhand der Zeichnung. Dabei zeigen:
- 1 einen Ablaufplan eines erfindungsgemäßen Ermittlungsverfahrens, und
- 2 ein Messfahrzeug in einer Fahrumgebung.
-
1 zeigt einen Ablaufplan eines erfindungsgemäßen Ermittlungsverfahrens zur Ermittlung einer dreidimensionalen, einer Simulation einer Sensordatenaufnahme zugrundelegbaren Karte einer durch ein Kraftfahrzeug befahrbaren Fahrumgebung. Hierbei wird ein Messfahrzeug verwendet, welches, beispielsweise auf seinem Dach, sowohl mit einem Abstandssensor als auch mit wenigstens einer Hyperspektralkamera ausgestattet ist. Bevorzugt werden mehrere, als Snapshot-Hyperspektralkameras ausgestaltete Hyperspektralkameras verwendet, um in einem Zeitschritt jeweils das erfassbare Umfeld in einem 360°-Radius zu vermessen. Dabei nutzt die Hyperspektralkamera bevorzugt 20 bis 250 Frequenzbänder (Spektralbänder), liefert also in jedem spektralen Datenkubus ihrer Spektraldaten 20 bis 250 „Einzelbilder“. Die Hyperspektralkamera und der wenigstens eine Abstandssensor sind miteinander registriert.
-
Es sei angemerkt, dass neben dem wenigstens einen Abstandssensor, welcher beispielsweise ein Laserscanner beziehungsweise ein Lidar-Sensor sein kann, und der wenigstens einen Hyperspektralkamera auch weitere Arten von Sensoren eingesetzt werden können, um die Qualität der Vermessung weiter zu verbessern.
-
In einem Schritt S1 wird das Messfahrzeug durch die Fahrumgebung bewegt und liefert, nachdem seine Bewegung auch nachverfolgt wird, durch den Abstandssensor eine dreidimensionale Punktewolke, die die geometrischen Verhältnisse in der Fahrumgebung beschreibt. Die wenigstens eine Hyperspektralkamera nimmt Spektraldaten der verschiedenen Umfeldmerkmale in der Fahrumgebung, bei der es sich im übrigen vorteilhaft um einen Straßenraumbereich handelt, auf, insbesondere also spektrale Datenkuben.
-
In einem Schritt S2 werden nun zunächst Lageinformationen von Umfeldmerkmalen der Fahrumgebung aus der Punktewolke ermittelt. Lageinformationen können insbesondere die Position, Orientierung und Form (und somit auch Ausdehnung) von Umfeldmerkmalen beschreiben. Insbesondere gleichzeitig wird im Schritt S2 für jedes Umfeldmerkmal eine Materialinformation durch Klassifizieren von Materialien der Umfeldmerkmale aus den Spektraldaten, also den spektralen Datenkuben, ermittelt. Dies kann auch zumindest teilweise in Wechselwirkung erfolgen, insbesondere können Spektraldaten und/oder Materialinformationen dabei unterstützen, einzelne Umfeldmerkmale voneinander zu trennen. Die Materialinformation kann durch Abgleich von die spektralaufgelöste Reflexion des Umfeldmerkmals beschreibenden Spektraldatensätzen mit in einer Datenbank gespeicherten, jeweils einer Materialinformation zugeordneten Vergleichsdatensätzen erfolgen; alternativ oder zusätzlich ist es auch denkbar, einen trainierten Klassifizierungsalgorithmus der künstlichen Intelligenz zu verwenden.
-
In einem Schritt S3 werden die Lageinformationen und die Materialinformationen für die Umfeldmerkmale genutzt, um die dreidimensionale Karte der Fahrumgebung zu erstellen, wobei den jeweiligen Umfeldmerkmalen in der dreidimensionalen Karte wenigstens ein Teil der Materialinformation und/oder ein aus der Materialinformation abgeleiteter, für die Sensordatenaufnahme relevanter physikalischer Parameter zugeordnet wird. Das bedeutet, die dreidimensionale Karte enthält nicht nur Position, Orientierung und Form von Umfeldmerkmalen (beziehungsweise, worauf gleich noch genauer eingegangen werden wird, Umfeldobjekten), sondern enthält zusätzlich eine Beschreibung von für die Sensormodalität des hinsichtlich der Sensordatenaufnahme zu simulierenden Umfeldsensors relevante Eigenschaften, die bereits in der Materialinformation enthalten sein können, aber auch aus der Materialinformation abgeleitete relevante physikalische Parameter umfassen kann. Solche physikalischen Parameter können beispielsweise Brechungsindizes, Permeabilitätswerte, Radarquerschnitte und dergleichen umfassen. In Ausführungsbeispielen kann es auch denkbar sein, Spektraldaten der Hyperspektralkamera selbst mit in die dreidimensionale Karte, dem jeweiligen Umfeldmerkmal zugeordnet, einzufügen.
-
In einem optionalen, aber bevorzugten Schritt S4 werden noch wenigstens ein Teil der Umfeldmerkmale unter Berücksichtigung der Lageinformation und/oder der Materialinformation in der Karte zu speichernden Umfeldobjekten zugeordnet. Beispielsweise können Verkehrsschilder mit einem Pfosten und dem eigentlichen Schild als ein einziges Umfeldobjekt definiert werden. In diesem Zusammenhang ist es besonders vorteilhaft, wenn durch Auswertung wenigstens der Materialinformation wenigstens einem Teil der Umfeldobjekte eine insbesondere semantische Umfeldobjektklasse und/oder Semantikinformation in der dreidimensionalen Karte der Fahrumgebung zugeordnet wird. Beispielsweise können Holzschilder, Metallschilder und dergleichen unterschieden werden oder sogar Inhalte der jeweiligen Schilder ermittelt und in die Karte eingespeichert werden. Insbesondere bei semantischen Umfeldobjektklassen und/oder Semantikinformationen kann es zweckmäßig sein, zur Erhöhung der Verlässlichkeit der Karte eine Überprüfung durch eine menschliche Überprüfungsperson vorzunehmen, die dann gegebenenfalls auch Korrekturen durchführen kann.
-
Die als Ergebnis erhaltene dreidimensionale Karte der Fahrumgebung kann dann genutzt werden, um die Sensordatenaufnahme eines Umfeldsensors eines Kraftfahrzeugs, welches sich virtuell durch die Fahrumgebung bewegt, zu simulieren, wobei zur hochgenauen, realitätsgetreuen Simulation wenigstens der Teil der Materialinformation und/oder die physikalischen Parameter, die den Merkmalen zugeordnet sind, verwendet werden können. Dieses Simulationsverfahren kann in ein Testverfahren für eine Fahrzeugfunktion eingebettet sein.
-
2 zeigt in Form einer Prinzipskizze ein Messfahrzeug 1 in einer beispielhaften Fahrumgebung 2. Für die Fahrumgebung 2 sind beispielhaft eine Mehrzahl von Umgebungsobjekten und Umgebungsmerkmalen 3 dargestellt. Um diese und ihre Eigenschaften zu erfassen, ist auf dem Dach des Messfahrzeugs 1 eine Messplattform 4 vorgesehen, die vorliegend wenigstens einen Abstandssensor 5, insbesondere einen Laserscanner und/oder Lidar-sensor, und wenigstens eine Hyperspektralkamera 6, insbesondere mehrere Hyperspektralkameras 6, enthält. In dem Messfahrzeug 1 ist vorliegend eine erfindungsgemäße Ermittlungseinrichtung 7 verbaut, die zur Durchführung des Ermittlungsverfahrens, wie es zur 1 beschrieben wurde, ausgebildet ist.
-
Hierzu umfasst die Ermittlungseinrichtung 7 eine Steuereinheit 8 zur Ansteuerung des wenigstens einen Abstandssensors 5 und der wenigstens einen Hyperspektralkamera 6 zur Durchführung der jeweiligen Messungen, eine Ermittlungseinheit 9 zur Durchführung des Schrittes S2 (Ermittlung der Lageinformation und der Materialinformation) und eine Erstellungseinheit 10 zur Erstellung der dreidimensionalen Karte aus der Lageinformation und der Materialinformation (Schritte S3 und S4).
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
