DE102019130032A1 - Verfahren zum Erzeugen eines Bilddatensatzes für eine computerimplementierte Simulation - Google Patents

Verfahren zum Erzeugen eines Bilddatensatzes für eine computerimplementierte Simulation Download PDF

Info

Publication number
DE102019130032A1
DE102019130032A1 DE102019130032.0A DE102019130032A DE102019130032A1 DE 102019130032 A1 DE102019130032 A1 DE 102019130032A1 DE 102019130032 A DE102019130032 A DE 102019130032A DE 102019130032 A1 DE102019130032 A1 DE 102019130032A1
Authority
DE
Germany
Prior art keywords
data set
data
light
neural network
artificial neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE102019130032.0A
Other languages
English (en)
Other versions
DE102019130032B4 (de
Inventor
Turgay Isik Aslandere
Matthias Reiter
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Priority to DE102019130032.0A priority Critical patent/DE102019130032B4/de
Priority to CN202011208111.3A priority patent/CN112785717A/zh
Priority to US17/091,815 priority patent/US20210141972A1/en
Publication of DE102019130032A1 publication Critical patent/DE102019130032A1/de
Application granted granted Critical
Publication of DE102019130032B4 publication Critical patent/DE102019130032B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/15—Vehicle, aircraft or watercraft design
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Mathematical Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Computational Mathematics (AREA)
  • Computer Graphics (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Processing Or Creating Images (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Erzeugen eines Bilddatensatzes (BDS) für eine computerimplementierte Simulation, mit den Schritten:
(S100) Einlesen von Kinematikdaten (KD) repräsentativ für Positionen und/oder Geschwindigkeiten und/oder Beschleunigungen einer Lichtquelle (14),
(S200) Verlagern der Lichtquelle (14) gemäß den Kinematikdaten (KD), (S300) Erfassen von Lichtdaten (LD) der Lichtquelle (14),
(S400) Zusammenfassen von den Lichtdaten (LD) und den dazugehörenden Kinematikdaten (KD) zu einem Lichtdatensatz (LDS),
(S500) Trainieren eines künstlichen neuronalen Netzes (20) unter Verwendung des Lichtdatensatzes (LDS), um einen Ergänzungsdatensatz (EDS) zu erzeugen,
(S600) Erzeugen des Ergänzungsdatensatz (EDS) unter Verwendung des trainierten künstlichen neuronalen Netzes (20), und
(S700) Erzeugen des Bilddatensatz (BDS) unter Verwendung von einem Rohbilddatensatz (RDS) gemäß der computerimplementierten Simulation und dem Ergänzungsdatensatz (EDS).

Description

  • Die Erfindung betrifft ein Verfahren zum Erzeugen eines Bilddatensatzes für eine computerimplementierte Simulation. Ferner betrifft die Erfindung ein Computerprogrammprodukt, ein System und einen Messstand sowie eine Datenverarbeitungseinheit für ein derartiges System.
  • Kraftfahrzeuge können zum sogenannten autonomen Fahren ausgebildet sein. Ein autonom fahrendes Kraftfahrzeug ist ein selbstfahrendes Kraftfahrzeug, das ohne Einfluss eines menschlichen Fahrers fahren, steuern und einparken kann (hochautomatisiertes Fahren bzw. autonomes Fahren). Im Falle, dass keinerlei manuelles Steuern seitens des Fahrers nötig ist, wird auch der Begriff Roboterauto verwendet. Dann kann der Fahrersitz leer bleiben; eventuell sind Lenkrad, Brems- und Fahrpedal nicht vorhanden.
  • Derartige autonome Kraftfahrzeuge können mithilfe verschiedener Sensoren ihre Umgebung erfassen und aus den gewonnenen Informationen ihre eigene Position und die der anderen Verkehrsteilnehmer bestimmen, in Zusammenarbeit mit der Navigationssoftware ein Fahrziel ansteuern und Kollisionen auf dem Weg dorthin vermeiden.
  • Um ein derartiges automatisiertes Fahren zu testen werden die Kraftfahrzeuge in der realen Welt getestet. Dies ist jedoch ein kostspieliger Vorgang und die Unfallgefahr ist hoch. Um Unfälle zu vermeiden und gleichzeitig Kosten zu senken, sind Tests in den computergenerierten virtuellen Umgebungen, wie beispielsweise Tests in virtuellen Städten, notwendig. Die VR-Technologie (Virtual-Reality-Technologie) zusammen mit einer virtuellen Umgebung eröffnet viele Möglichkeiten. Der Hauptvorteil der VR-Technologie besteht darin, dass sie einem Nutzer, wie z.B. einem Ingenieur erlaubt, Teil der Tests zu sein, mit dem Testszenario oder den Konfigurationsparametern zu interagieren.
  • Derartige Tests umfassen auch das Simulieren von Nachtfahrten einschließlich der durch die Kraftfahrzeugbeleuchtung verursachten Licht- bzw. Beleuchtungsverhältnisse. Die Licht- bzw. Beleuchtungsverhältnisse, hervorgerufen durch die Kraftfahrzeugbeleuchtung, wie z.B. Scheinwerfer, Fahrtrichtungsanzeiger, Rück- und/oder Bremsleuchten, werden durch Softwaretools simuliert. Jedoch liefern derartige Softwaretool nur Daten repräsentativ für simulierte Lichtstrahlen mit begrenzter Genauigkeit.
  • Aus der DE 10 2017 126 741 B3 ist ein Fahrsimulator, umfassend eine Anzeigefläche zur Anzeige einer Fahrsimulation bekannt, wobei eine Beleuchtungseinrichtung vorgesehen ist, um Blendeffekte zu erzeugen. Die Beleuchtungseinrichtung umfasst wenigstens eine Leuchtanzeige, die über eine Bewegungseinrichtung mechanisch entlang der Anzeigefläche bewegbar ist.
  • Aus der DE 10 2005 061 590 A1 ist ein Verfahren für die Shader-basierte Beleuchtungssimulation technischer Beleuchtungssysteme bekannt. In einer ersten Phase erfolgt eine Projektion einer LSV-Textur in die virtuelle Szenerie mittels Projective Texture Mapping gemäß den Projektionsparametern, welche sich aus den eine asymmetrische Projektion ergebenden Öffnungswinkeln der Lichtquelle ableiten, wobei die Berechnung der Texturkoordinaten für die Abbildung der LSV-Textur auf das Polygonmodell der virtuellen Szenerie in einem Vertex-Shader erfolgt, in dem für jeden Eckpunkt des Polygonmodells die entsprechenden Texturkoordinaten der projizierten LSV-Textur berechnet werden. In der zweiten Phase erfolgt eine Farbberechnung für jedes Pixel zur Darstellung der Beleuchtung der virtuellen Szenerie durch die simulierten Lichtquellen, wobei für die Wiedergabe der Beleuchtung Grautöne für eine Echtfarbdarstellung oder Farbwerte aus dem HSV-Farbmodell für eine Falschfarbdarstellung zum Einsatz kommen.
  • Aus der CN 205104079 U ist ein weiterer Fahrsimulator bekannt, bei dem ein Bilddatensatz auf einer Anzeigeeinrichtung wiedergegeben wird.
  • Es besteht also Bedarf daran, Wege aufzuzeigen, wie die Simulation von Licht- bzw. Beleuchtungsverhältnissen verbessert werden kann.
  • Die Aufgabe der Erfindung wird gelöst durch ein Verfahren zum Erzeugen eines Bilddatensatzes für eine computerimplementierte Simulation, mit den Sch ritten :
    • Einlesen von Kinematikdaten repräsentativ für Positionen und/oder Geschwindigkeiten und/oder Beschleunigungen einer Lichtquelle,
    • Verlagern der Lichtquelle gemäß den Kinematikdaten,
    • Erfassen von Lichtdaten der Lichtquelle,
    • Zusammenfassen von den Lichtdaten und den dazugehörenden Kinematikdaten zu einem Lichtdatensatz,
    • Trainieren eines künstlichen neuronalen Netzes unter Verwendung des Lichtdatensatzes, um einen Ergänzungsdatensatz zu erzeugen,
    • Erzeugen des Ergänzungsdatensatz unter Verwendung des trainierten künstlichen neuronalen Netzes, und
    • Erzeugen des Bilddatensatz unter Verwendung von einem Rohbilddatensatz gemäß der computerimplementierten Simulation und dem Ergänzungsdatensatz.
  • Es wird also zum Trainieren des künstlichen neuronalen Netzes ein Lichtdatensatz verwendet, dessen Lichtdaten auf realen Messungen beruhen, die mit einem Messstand mit einer realen Lichtquelle gewonnen wurden. Die Lichtquelle kann z.B. ein Scheinwerfer, ein Fahrtrichtungsanzeiger, eine Rückleuchte oder eine Bremsleuchte eines Kraftfahrzeugs oder auch die Beleuchtung eines unmotorisierten Verkehrsteilnehmers, wie z.B. eines Radfahrers, sein. Dabei kann vorgesehen sein, dass durch Verlagern der Lichtquelle Bewegungsmuster nachgebildet werden, wie sie in der Realität beim Betrieb von Kraftfahrzeugen auftreten. Nach Abschluss der Trainingsphase der künstlichen neuronalen Netzes wird dieses dann dazu verwendet, um den Ergänzungsdatensatz zu erzeugen, der repräsentativ für die Licht- bzw. Beleuchtungsverhältnisse ist, z.B. in Abhängigkeit von einer bestimmten Fahrsituation. Mit anderen Worten, es werden neben den Lichtdaten auch die Kinematikdaten berücksichtigt, um den Ergänzungsdatensatz zu bestimmen. Der Ergänzungsdatensatz wird dann mit Rohbilddaten fusioniert, die der aktuellen computerimplementierten Simulation entstammen und einem Nutzer eines Fahrsimulators durch eine Anzeigeeinrichtung, wie z.B. einem Bildschirm, visualisiert werden. Statt dem Rohbilddatensatz wird aber dem Nutzer der Fahrsimulator der Bilddatensatz mit dem durch Fusion eingebetteten Ergänzungsdatensatz visualisiert.
  • Dadurch, dass auf reale Messungen beruhende Realdaten zum Trainieren des künstlichen neuronalen Netzes verwendet werden kann die Simulation von Licht- bzw. Beleuchtungsverhältnissen verbessert werden.
  • Gemäß einer Ausführungsform wird die Lichtquelle von einem Roboter gemäß den Kinematikdaten verlagert. Der Roboter kann z.B. ein sechsachsiger Industrieroboter sein, an dessen Manipulatorende die Lichtquelle angeordnet ist. So kann besonders einfach durch Verwendung des Roboters die Lichtquelle gemäß den Kinematikdaten bewegt werden.
  • Gemäß einer weiteren Ausführungsform wird das künstliche neuronale Netz durch unüberwachtes Lernen trainiert. Dabei wird unter unüberwachten Lernen (englisch unsupervised learning) eine Variante des maschinellen Lernen ohne im Voraus bekannte Zielwerte sowie ohne Belohnung durch die Umwelt verstanden. Ein Lernalgorithmus versucht, in den Eingabedaten Muster zu erkennen, die vom strukturlosen Rauschen abweichen. Das künstliche neuronales Netz orientiert sich an der Ähnlichkeit zu den Inputwerten und adaptiert seine Gewichtsfaktoren entsprechend. Hierdurch kann der Aufwand für die Aufbereitung der Lerndaten reduziert werden, mit denen das künstliche neuronale Netz während der Trainingsphase beaufschlagt wird. Das künstliche neuronale Netz kann aber auch durch überwachtes Lernen (supervised learning), halb-überwachtes Lernen (semi-supervised learning) oder bestärkendes Lernen (reinforcement learning) trainiert werden.
  • Gemäß einer weiteren Ausführungsform wird als künstliches neuronale Netz ein GAN verwendet. Unter einem GAN (Generative Adversarial Networks) wird eine Anordnung bestehend aus zwei künstlichen neuronalen Netzwerken verstanden, die während der Trainingsphase ein Nullsummenspiel durchführen. Das erste künstliche neuronale Netzwerk, der Generator, erstellt Kandidaten, während das zweite künstliche neuronale Netzwerk, der Diskriminator, die Kandidaten bewertet. Typischerweise bildet der Generator von einem Vektor aus latente Variablen auf den gewünschten Ergebnisraum ab. Das Ziel des Generators ist es zu lernen, Ergebnisse nach einer bestimmten Verteilung zu erzeugen. Der Diskriminator wird hingegen darauf trainiert, die Ergebnisse des Generators von den Daten aus der echten, vorgegebenen Verteilung zu unterscheiden. Die Zielfunktion des Generators besteht dann darin, Ergebnisse zu erzeugen, die der Diskriminator nicht unterscheiden kann. Dadurch wird sich die erzeugte Verteilung nach und nach der echten Verteilung angleichen. So können besonders einfach Ergänzungsdatensatz erzeugt werden, die von den originalen Lichtdaten kaum zu unterscheiden sind und sich daher besonders gut für Simulationen eignen.
  • Ferner gehören zur Erfindung ein Computerprogrammprodukt, ein System und einen Messstand sowie eine Datenverarbeitungseinheit für ein derartiges System.
  • Es wird nun die Erfindung anhand einer Zeichnung erläutert. Es zeigen:
    • 1 in schematischer Darstellung Komponenten eines Systems Erzeugen eines Bilddatensatzes für eine computerimplementierte Simulation.
    • 2 in schematischer Darstellung weitere Details des in 1 gezeigten Systems.
    • 3 in schematischer Darstellung einen Verfahrensablauf zum Betrieb des in 1 gezeigten Systems.
  • Es wird zunächst auf 1 Bezug genommen.
  • Dargestellt ist ein System 2 zum Erzeugen eines Bilddatensatzes BDS für eine computerimplementierte Simulation einer virtuellen Umgebung.
  • Als virtuelle Realität, kurz VR, wird die Darstellung und gleichzeitige Wahrnehmung der Wirklichkeit und ihrer physikalischen Eigenschaften in einer in Echtzeit computergenerierten, interaktiven virtuellen Umgebung bezeichnet.
  • Um ein Gefühl der Immersion zu erzeugen werden zur Darstellung der virtuellen Umgebung spezielle Ausgabegeräte, wie z.B. Virtual-Reality-Headsets, verwendet. Um einen räumlichen Eindruck zu vermitteln, werden zwei Bilder aus unterschiedlichen Perspektiven erzeugt und dargestellt (Stereoprojektion).
  • Für die Interaktion mit der virtuellen Welt werden spezielle Eingabegeräte (nicht dargestellt) benötigt, wie z.B. 3D-Maus, Datenhandschuh oder Flystick. Der Flystick wird zur Navigation mit einem optischen Trackingsystem genutzt, wobei Infrarot-Kameras durch Erfassung von Markern am Flystick permanent die Position im Raum an das System 2 melden, damit sich ein Nutzer 8 ohne Verkabelung frei bewegen kann. Optische Trackingsysteme können auch für die Erfassung von Werkzeugen und kompletten Menschmodellen eingesetzt werden, um diese innerhalb des VR-Szenarios in Echtzeit manipulieren zu können.
  • Einige Eingabegeräte vermitteln dem Nutzer 8 eine Kraftrückkopplung auf die Hände oder andere Körperteile (Force Feedback), sodass der Nutzer 8 sich durch die Haptik und Sensorik als weitere Sinnesempfindung in der virtuellen Umgebung orientieren kann.
  • Für die Erzeugung einer virtuellen Umgebung ist ferner eine speziell für diesen Zweck entwickelte Software erforderlich. Die Software muss komplexe dreidimensionale Welten in Echtzeit, d.h. mit mindestens 25 Bildern pro Sekunde, in Stereo getrennt für linkes und rechtes Auge des Nutzers 8 berechnen können. Dieser Wert variiert je nach Anwendung - eine Fahrsimulation beispielsweise erfordert mindestens 60 Bilder pro Sekunde, um Übelkeit (Simulatorkrankheit) zu vermeiden.
  • Von den Komponenten des Systems 2 sind in der 1 ein Messstand 4, ein Fahrsimulator 6, ein HMI 8 und eine Datenverarbeitungseinheit 10 dargestellt.
  • Das System 2 sowie der Messstand 4, der Fahrsimulator 6, das HMI 8 und die Datenverarbeitungseinheit 10 können für ihre nachfolgend beschriebenen Aufgaben und Funktionen Hard- und/oder Software-Komponenten aufweisen.
  • Ferner sind das System 2 sowie der Messstand 4, der Fahrsimulator 6, das HMI 8 und die Datenverarbeitungseinheit 10 zum Datenaustausch gemäß einem TCP/IP, UDP oder CAN Protokoll ausgebildet.
  • Der Messstand 4 befindet sich im vorliegenden Ausführungsbeispiel in einem abgedunkelten Raum, um Störungen durch andere Lichtquellen auszuschließen und umfasst einen Roboter 12 mit einer an seinem Manipulatorende angeordneten Lichtquelle 14, vier Kameras 16a, 16b, 16c, 16d und einen Computer 18.
  • Der Roboter 14 ist im vorliegenden Ausführungsbeispiel ein sechsachsiger Industrieroboter, der mittels des Computers 18 derart angesteuert werden kann, dass die Lichtquelle 14 gemäß Kinematikdaten KD repräsentativ für Positionen und/oder Geschwindigkeiten und/oder Beschleunigungen verlagert werden kann.
  • Die Lichtquelle 14 kann z.B. ein Scheinwerfer, ein Fahrtrichtungsanzeiger, eine Rückleuchte oder eine Bremsleuchte eines Kraftfahrzeugs, wie z.B. eines PKWs sein, oder auch die Beleuchtung eines unmotorisierten Verkehrsteilnehmers, wie z.B. eines Radfahrers.
  • Mit den Kameras 16a, 16b, 16c, 16d können Lichtdaten LD der Lichtquelle 14 werden, während die Lichtquelle 14 vom Roboter 12 gemäß den Kinematikdaten KD verlagert wird um eine Bewegung eines Kraftfahrzeugs oder unmotorisierten Verkehrsteilnehmers nachzubilden.
  • Der Computer 18 wiederum ist dazu ausgebildet, die Lichtdaten LD einzulesen und dann die eingelesenen Lichtdaten LD und die dazugehörenden Kinematikdaten KD zu einem Lichtdatensatz LDS zusammenzufassen. Der Lichtdatensatz LDS wird - wie die später noch erläutert wird - der Datenverarbeitungseinheit 10 zur Verfügung gestellt.
  • Der Fahrsimulator 6 ist eine Simulationssoftware oder eine technische Baugruppe verschiedener Komponenten, die zum Simulieren von Fahrprozessen verwendet werden. Der Fahrsimulator 6 kann zur Simulation unterschiedlicher Kraftfahrzeuge, wie z.B. KFZs, LKWS oder Omnibusse, ausgebildet sein. Im vorliegenden Ausführungsbeispiel ist der Fahrsimulator 6 zur Simulation eines PKWs ausgebildet.
  • Als Eingabegeräte des Fahrsimulators 6 kann dieser ein Lenkrad, Pedale und anderen Schaltelemente aufweisen. Allerdings lassen sich einige Fahrsimulatoren 6 auch mit einer Maus, einer Tastatur, einem Gamepad oder einem Joystick bedienen. Einige Fahrsimulatoren 6 setzen Force Feedback für ein realistischeres Fahrgefühl ein. Aufwendige Fahrsimulatoren 6 versuchen den Steuerbereich möglichst originalgetreu nachzubilden.
  • Neuere Fahrsimulatoren 6 bieten neben der Ausgabe über einen oder mehrere Monitore auch die Ausgabe in einer Virtuellen Realität mit einem HMI 8 an, das datenaustauschend mit dem Fahrsimulator 6 verbunden ist und als Head-Mounted Display ausgebildet ist, dass der Nutzer 8 während einer simulierten Fahrt auf dem Kopf trägt.
  • Der Fahrsimulator 6 ist dazu ausgebildet, einen VR-Datensatz repräsentativ für eine virtuelle Umgebung einzulesen und auszuwerten um die virtuelle Umgebung zu erzeugen. Des Weiteren ist der Fahrsimulator 6 dazu ausgebildet, basierend auf einer virtuellen Umgebung einen Rohbilddatensatz RDS bereitzustellen, der eine aktuelle Blickrichtung des Nutzers berücksichtigt und dann von dem HMI 8 dem Nutzer visualisiert wird.
  • Die Datenverarbeitungseinheit 10 ist dazu ausgebildet einen Bilddatensatz BDS z.B. zur Visualisierung mit dem HMI 8 bereitzustellen. Der Bilddatensatz BDS basiert dabei auf dem Rohbilddatensatz RDS, ergänzend um einen Ergänzungsdatensatz EDS, repräsentativ für Licht- bzw. Beleuchtungsverhältnisse, hervorgerufen durch die Lichtquelle 14.
  • Zum Erzeugen des Ergänzungsdatensatzes EDS weist die Datenverarbeitungseinheit 10 ein künstliches neuronales Netz 20 auf, das unter zusätzliche Bezugnahme auf 2 erläutert wird.
  • Bei dem in 2 dargestellten künstlichen neuronalen Netz 20 handelt es sich um ein GAN (Generative Adversarial Networks). Es können jedoch verschiedene Varianten der GANSs verwendet werden, um die Wahrscheinlichkeitsverteilung zu transformieren, wie z. B. die Cycle-GANs. Somit weist das künstliche neuronale Netz 20 zwei künstliche neuronale Netze auf.
  • Das erste künstliche neuronale Netzwerk dabei ist dabei als Generator 22 und das zweite künstliche neuronale Netzwerk ist als Diskriminator 24 ausgebildet.
  • Während der Trainingsphase führen der Generator 22 und der Diskriminator 24 ein Nullsummenspiel durch. Hierbei erzeugt der Generator 22 Kandidatensätze KS, z.B. basierend auf Zufallswerten und den Kinematikdaten KD, während der Diskriminator 24 die Kandidatensätze KD bewertet. Hierzu führt der Diskriminator 24 einen Vergleich der Kandidatensätze KS mit dem Lichtdatensatz LDS durch.
  • Der Diskriminator 24 stellt als Ausgangsgröße eine logische Variable T bereit, der während der Trainingsphase der Wert logisch Eins zugewiesen wird, wenn der Diskriminator 24 innerhalb vorbestimmter Grenzen bzw. Genauigkeiten einen Kandidatensatz KS nicht von einem Lichtdatensatz LDS unterscheiden kann. Andernfalls wird der logischen Variablen T während der Trainingsphase der Wert logisch Null zugewiesen.
  • Mit anderen Worten, der Generator 22 wird darauf trainiert, Ergebnisse, d.h. Ergänzungsdatensätze EDS, nach einer bestimmten Verteilung, d.h. den Lichtdatensätzen LDS, zu erzeugen. Der Diskriminator 24 hingegen wird darauf trainiert, die Ergebnisse des Generators 22 von der echten, vorgegebenen Verteilung zu unterscheiden. So gleicht sich im Verlauf der Trainingsphase die erzeugte Verteilung nach und nach der echten Verteilung an.
  • Dabei wird im vorliegenden Ausführungsbeispiel das künstliche neuronale Netz 20, d.h. der Generator 22 und der Diskriminator 24, mittels unüberwachtem Lernen trainiert. Abweichend vom vorliegenden Ausführungsbeispiel kann aber auch ein Trainieren mittels überwachten Lernen (supervised learning), halb-überwachten Lernen (semi-supervised learning) oder bestärkenden Lernen (reinforcement learning) erfolgen.
  • Es wird nun unter zusätzlicher Bezugnahme auf 3 ein Verfahrensablauf zum Betrieb des Systems 2 erläutert.
  • In einem ersten Schritt S100 einer Datengewinnungsphase des Verfahrens liest der Computer 18 des Messstandes 4 die Kinematikdaten KD, die für Positionen und/oder Geschwindigkeiten und/oder Beschleunigungen der Lichtquelle 14 repräsentativ sind ein, die vom Fahrsimulator 6 an dem Computer 18 geliefert werden.
  • In einem weiteren Schritt S200 der Datengewinnungsphase des Verfahrens verlagert der Roboter 12 des Messestandes 4 die Lichtquelle 14 gemäß den Kinematikdaten KD.
  • In einem weiteren Schritt S300 der Datengewinnungsphase des Verfahrens werden mit den Kameras 16a, 16b, 16c, 16d die Lichtdaten LD der Lichtquelle 14 erfasst und von dem Computer 18 eingelesen, während diese von dem Roboter 12 gemäß den Kinematikdaten KD verlagert wird.
  • In einem weiteren Schritt S400 der Datengewinnungsphase des Verfahrens ordnet der Computer 18 die erfassten Lichtdaten LD zu den dazugehörenden Kinematikdaten KD zu und bildet so den Lichtdatensatz LDS.
  • In einem weiteren Schritt S500 einer Trainingsphase des Verfahrens wird das künstliche neuronale Netz 20 der Datenverarbeitungseinheit 10 mit dem Generator 22 und dem Diskriminator 24 durch unüberwachtes Lernen trainiert. Hierzu wird der von dem Computer 18 bereitgestellte Lichtdatensatz LDS mit den Lichtdaten LD zu den dazugehörenden Kinematikdaten KD verwendet.
  • Nach Abschluss der Trainingsphase ist das künstliche neuronale Netz 20 mit dem Generator 22 und dem Diskriminator 24 dazu eingerichtet, den Ergänzungsdatensatz EDS zu erzeugen, z.B. in Abhängigkeit von den Kinematikdaten KD.
  • In einem weiteren Schritt S600 einer Betriebsphase des Verfahrens wird von der Datenverarbeitungseinheit 10 mit dem künstlichen neuronalen Netz 20 der Ergänzungsdatensatz EDS erzeugt.
  • In einem weiteren Schritt S700 der Betriebsphase des Verfahrens 20 liest die Datenverarbeitungseinheit 10 den Rohbilddatensatz RDS gemäß einer laufenden computerimplementierten Simulation ein und fusioniert ihn mit dem Ergänzungsdatensatz EDS um den Bilddatensatz BDS zu erzeugen.
  • In einem weiteren Schritt S800 der Betriebsphase des Verfahrens 20 wird der Bilddatensatz BDS von Datenverarbeitungseinheit 10 zu dem Fahrsimulator 6 und/oder zu dem HMI 8 und dort dem Nutzer visualisiert.
  • Abweichend vom vorliegenden Ausführungsbeispiel kann die Reihenfolge der Schritte auch eine andere sein. Ferner können mehrere Schritte auch zeitgleich bzw. simultan ausgeführt werden. Des Weiteren können auch abweichend vom vorliegenden Ausführungsbeispiel einzelne Schritte übersprungen oder ausgelassen werden.
  • So können auf reale Messungen beruhende Realdaten zum Trainieren des künstlichen neuronalen Netzes 20 verwendet werden, was die Simulation von Licht- bzw. Beleuchtungsverhältnissen verbessert.
  • Bezugszeichenliste
    • 2
    System
    4
    Messstand
    6
    Fahrsimulator
    8
    HMI
    10
    Datenverarbeitungseinheit
    12
    Roboter
    14
    Lichtquelle
    16a
    Kamera
    16b
    Kamera
    16c
    Kamera
    16d
    Kamera
    18
    Computer
    20
    künstliches neuronales Netz
    22
    Generator
    24
    Diskriminator
    BDS
    Bilddatensatz
    EDS
    Ergänzungsdatensatz
    KD
    Kinematikdaten
    KS
    Kandidatensatz
    LD
    Lichtdaten
    LDS
    Lichtdatensatz
    RDS
    Rohbilddatensatz
    T
    binäre Variable
    S100
    Schritt
    S200
    Schritt
    S300
    Schritt
    S400
    Schritt
    S500
    Schritt
    S600
    Schritt
    S700
    Schritt
    S800
    Schritt
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • DE 102017126741 B3 [0006]
    • DE 102005061590 A1 [0007]
    • CN 205104079 U [0008]

Claims (14)

  1. Verfahren zum Erzeugen eines Bilddatensatzes (BDS) für eine computerimplementierte Simulation, mit den Schritten: (S100) Einlesen von Kinematikdaten (KD) repräsentativ für Positionen und/oder Geschwindigkeiten und/oder Beschleunigungen einer Lichtquelle (14), (S200) Verlagern der Lichtquelle (14) gemäß den Kinematikdaten (KD), (S300) Erfassen von Lichtdaten (LD) der Lichtquelle (14), (S400) Zusammenfassen von den Lichtdaten (LD) und den dazugehörenden Kinematikdaten (KD) zu einem Lichtdatensatz (LDS), (S500) Trainieren eines künstlichen neuronalen Netzes (20) unter Verwendung des Lichtdatensatzes (LDS), um einen Ergänzungsdatensatz (EDS) zu erzeugen, (S600) Erzeugen des Ergänzungsdatensatz (EDS) unter Verwendung des trainierten künstlichen neuronalen Netzes (20), und (S700) Erzeugen des Bilddatensatz (BDS) unter Verwendung von einem Rohbilddatensatz (RDS) gemäß der computerimplementierten Simulation und dem Ergänzungsdatensatz (EDS).
  2. Verfahren nach Anspruch 1, wobei die Lichtquelle (14) von einem Roboter (12) gemäß den Kinematikdaten (KD) verlagert wird.
  3. Verfahren nach Anspruch 1 oder 2, wobei das künstliche neuronale Netz (20) durch unüberwachtes Lernen trainiert wird.
  4. Verfahren nach Anspruch 1, 2 oder 3, wobei als künstliches neuronales Netz (20) ein GANs verwendet wird.
  5. Computerprogrammprodukt, ausgebildet zum Ausführen eines Verfahrens nach einem der Ansprüche 1 bis 4.
  6. System (2) zum Erzeugen eines Bilddatensatzes (BDS) für eine computerimplementierte Simulation, wobei das System (2) dazu ausgebildet ist, Kinematikdaten (KD) repräsentativ für Positionen und/oder Geschwindigkeiten und/oder Beschleunigungen einer Lichtquelle (14) einzulesen, die Lichtquelle (14) gemäß den Kinematikdaten (KD) zu verlagern, Lichtdaten (LD) der Lichtquelle (14) zu fassen, die Lichtdaten (LD) und die dazugehörenden Kinematikdaten (KD) zu einem Lichtdatensatz (LDS) zusammenzufassen, ein künstliches neuronales Netz (20) unter Verwendung des Lichtdatensatzes (LDS) zu trainieren, um einen Ergänzungsdatensatz (EDS) zu erzeugen, den Ergänzungsdatensatz (EDS) unter Verwendung des trainierten künstlichen neuronalen Netzes (20) zu erzeugen und den Bilddatensatz (BDS) unter Verwendung von einem Rohbilddatensatz (RDS) gemäß der computerimplementierten Simulation und dem Ergänzungsdatensatz (EDS) zu erzeugen.
  7. System (2) nach Anspruch 6, wobei die Lichtquelle (14) von einem Roboter (12) gemäß den Kinematikdaten (KD) verlagerbar ist.
  8. System (2) nach Anspruch 6 oder 7, wobei das System (2) dazu ausgebildet ist das künstliche neuronale Netz (20) durch unüberwachtes Lernen zu trainieren.
  9. System (2) nach Anspruch 6, 7 oder 8, wobei das künstliche neuronale Netz (20) ein GANs ist.
  10. Messstand (4) für ein System (2) nach einem der Ansprüche 6 bis 9, wobei der Messstand (4) dazu ausgebildet ist, Kinematikdaten (KD) repräsentativ für Positionen und/oder Geschwindigkeiten und/oder Beschleunigungen einer Lichtquelle (14) einzulesen, die Lichtquelle (14) gemäß den Kinematikdaten (KD) zu verlagern, Lichtdaten (LD) der Lichtquelle (14) zu erfassen und die Lichtdaten (LD) und die dazugehörenden Kinematikdaten (KD) zu einem Lichtdatensatz (LDS) zusammenzufassen.
  11. Messstand (4) nach einem der Anspruch 10, mit einem Roboter (12) zu Verlagern der Lichtquelle (14) gemäß den Kinematikdaten (KD).
  12. Datenverarbeitungseinheit (10) für ein System (2) nach einem der Ansprüche 6 bis 9, wobei die Datenverarbeitungseinheit (10) ein künstliches neuronales Netz (20) aufweist und dazu ausgebildet ist, das künstliche neuronale Netz (20) unter Verwendung des Lichtdatensatzes (LDS) zu trainieren, um einen Ergänzungsdatensatz (EDS) zu erzeugen, den Ergänzungsdatensatz (EDS) unter Verwendung des trainierten künstlichen neuronalen Netzes (20) zu erzeugen und den Bilddatensatz (BDS) unter Verwendung von einem Rohbilddatensatz (RDS) gemäß der computerimplementierten Simulation und dem Ergänzungsdatensatz (EDS) zu erzeugen.
  13. Datenverarbeitungseinheit (10) nach Anspruch 12, wobei die Datenverarbeitungseinheit (10) dazu ausgebildet ist, das künstliche neuronale Netz (20) durch unüberwachtes Lernen zu trainieren.
  14. Datenverarbeitungseinheit (10) nach Anspruch 12 oder 13, wobei das künstliche neuronale Netz (20) ein GANs ist.
DE102019130032.0A 2019-11-07 2019-11-07 Verfahren, Computerprogrammprodukt und System zum Erzeugen eines Bilddatensatzes für eine computerimplementierte Simulation Active DE102019130032B4 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE102019130032.0A DE102019130032B4 (de) 2019-11-07 2019-11-07 Verfahren, Computerprogrammprodukt und System zum Erzeugen eines Bilddatensatzes für eine computerimplementierte Simulation
CN202011208111.3A CN112785717A (zh) 2019-11-07 2020-11-03 生成用于计算机实现的模拟的图像数据集的方法
US17/091,815 US20210141972A1 (en) 2019-11-07 2020-11-06 Method for generating an image data set for a computer-implemented simulation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102019130032.0A DE102019130032B4 (de) 2019-11-07 2019-11-07 Verfahren, Computerprogrammprodukt und System zum Erzeugen eines Bilddatensatzes für eine computerimplementierte Simulation

Publications (2)

Publication Number Publication Date
DE102019130032A1 true DE102019130032A1 (de) 2021-05-12
DE102019130032B4 DE102019130032B4 (de) 2022-04-14

Family

ID=75584195

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102019130032.0A Active DE102019130032B4 (de) 2019-11-07 2019-11-07 Verfahren, Computerprogrammprodukt und System zum Erzeugen eines Bilddatensatzes für eine computerimplementierte Simulation

Country Status (3)

Country Link
US (1) US20210141972A1 (de)
CN (1) CN112785717A (de)
DE (1) DE102019130032B4 (de)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7565006B2 (en) * 2002-08-21 2009-07-21 Gentex Corporation Image acquisition and processing methods for automatic vehicular exterior lighting control
DE102005061590A1 (de) 2005-05-27 2006-11-30 Spin E.V. Verfahren zur Visualisierung komplexer Lichtverteilungssätze technischer Beleuchtungssysteme
CN205104079U (zh) 2015-10-24 2016-03-23 湖南运道信息科技有限公司 一种模拟夜间行驶场景灯光训练仪
DE102017126741B3 (de) 2017-11-14 2019-05-09 Hochschule Aalen Fahrsimulator und Verfahren zur Durchführung einer Fahrsimulation
JP7344568B2 (ja) * 2018-03-30 2023-09-14 ザ リージェンツ オブ ザ ユニバーシティ オブ カリフォルニア ディープラーニングを使用して無標識蛍光画像をデジタル染色する方法及びシステム

Also Published As

Publication number Publication date
DE102019130032B4 (de) 2022-04-14
CN112785717A (zh) 2021-05-11
US20210141972A1 (en) 2021-05-13

Similar Documents

Publication Publication Date Title
DE102017107396B4 (de) Testverfahren und Testvorrichtung für Fahrerassistenzsysteme
DE102018109463C5 (de) Verfahren zur Benutzung einer mehrgliedrigen aktuierten Kinematik, vorzugsweise eines Roboters, besonders vorzugsweise eines Knickarmroboters, durch einen Benutzer mittels einer mobilen Anzeigevorrichtung
EP3438901A1 (de) Testfahrtszenario-datenbanksystem für realitätsnahe virtuelle testfahrtszenarien
EP1701233B1 (de) Generierung virtueller Welten auf Basis einer realen Umgebung
DE102007053501A1 (de) Verfahren zur Entwicklung und/oder zum Testen wenigstens eines Sicherheits- und/oder Fahrerassistenzsystems für ein Kraftfahrzeug und Simulationsumgebung
Park et al. Development of the PNU vehicle driving simulator and its performance evaluation
DE10215885A1 (de) Automatische Prozesskontrolle
CN110930811B (zh) 一种适用于无人驾驶决策学习和训练的系统
JP2007072224A (ja) ドライビングシミュレータ
DE102009029318A1 (de) Verfahren und Vorrichtung zur Erprobung einer Fahrzeugkonstruktion
DE102019130032B4 (de) Verfahren, Computerprogrammprodukt und System zum Erzeugen eines Bilddatensatzes für eine computerimplementierte Simulation
DE102014208352A1 (de) System und Verfahren zum Instruieren eines Teilnehmers eines Fahrertrainings
DE102019125075A1 (de) Verfahren zur computerimplementierten Simulation eines LIDAR-Sensors in einer virtuellen Umgebung
DE102012005880A1 (de) Verfahren zum Auslegen einer Produktionsumgebung
WO2017144049A1 (de) Verfahren zum betrieb einer anzeigevorrichtung und system zur anzeige von realen bildinhalten einer realumgebung überlagerten virtuellen bildinhalten
EP3534240A1 (de) Verfahren und vorrichtung zur daten-annotation
WO2022174952A1 (de) Verfahren zur parametrierung einer bildsynthese aus einem 3d-modell
DE102016216268A1 (de) Erzeugung von sensordaten in einer virtuellen fahrumgebung
AT525369B1 (de) Testumfeld für urbane Mensch-Maschine Interaktion
WO2021130302A2 (de) Verfahren zum steuern einer datenbrille während einer fahrt eines kraftfahrzeugs sowie anzeigevorrichtung, kraftfahrzeug, analyseschaltung und vr-system
DE102020101746A1 (de) Verfahren zur Nutzerinteraktionserfassung von einem Nutzer in einer virtuellen Umgebung
DE102019207090A1 (de) Verfahren zum Bereitstellen einer Objektverfolgungsfunktion
DE102019126401A1 (de) Verfahren zum Durchführen von Tests in einer virtuellen Umgebung
DE102020104359B4 (de) Arbeitsraumbegrenzung für einen Robotermanipulator
DE102015120927A1 (de) Verfahren zur Darstellung einer Simulationsumgebung

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final