DE102016123887A1 - Virtuelle sensordatenerzeugung zur radanschlagdetektion - Google Patents

Virtuelle sensordatenerzeugung zur radanschlagdetektion Download PDF

Info

Publication number
DE102016123887A1
DE102016123887A1 DE102016123887.2A DE102016123887A DE102016123887A1 DE 102016123887 A1 DE102016123887 A1 DE 102016123887A1 DE 102016123887 A DE102016123887 A DE 102016123887A DE 102016123887 A1 DE102016123887 A1 DE 102016123887A1
Authority
DE
Germany
Prior art keywords
virtual
machine learning
sensor data
virtual sensor
ground truth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102016123887.2A
Other languages
English (en)
Inventor
Ashley Elizabeth Micks
Venkatapathi Raju Nallapa
Harpreetsingh Banvait
Scott Vincent Myers
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of DE102016123887A1 publication Critical patent/DE102016123887A1/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/04—Monitoring the functioning of the control system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/006—Theoretical aspects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/006—Theoretical aspects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/006—Theoretical aspects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2400/00—Indexing codes relating to detected, measured or calculated conditions or factors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/20—Ambient conditions, e.g. wind or rain
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9314—Parking operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264—Parking
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Automation & Control Theory (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Transportation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Acoustics & Sound (AREA)
  • Traffic Control Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

Die Offenbarung betrifft Verfahren, Systeme und Vorrichtungen zur virtuellen Sensordatenerzeugung und betrifft insbesondere die Erzeugung von virtuellen Sensordaten zum Trainieren und Testen von Modellen und Algorithmen zum Detektieren von Objekten oder Hindernissen, wie etwa Radanschläge oder Parkbarrieren. Ein Verfahren zum Erzeugen von virtuellen Sensordaten beinhaltet Simulieren einer dreidimensionalen (3D) Umgebung, die ein oder mehrere Objekte umfasst. Das Verfahren beinhaltet Erzeugen von virtuellen Sensordaten für mehrere Positionen eines oder mehrerer Sensoren in der 3D-Umgebung. Das Verfahren beinhaltet Bestimmen der virtuellen Ground-Truth, die jeder der mehreren Positionen entspricht, wobei die Ground-Truth Informationen über mindestens ein Objekt in den virtuellen Sensordaten beinhaltet. Das Verfahren beinhaltet auch Speichern und Assoziieren der virtuellen Sensordaten und der virtuellen Ground-Truth.

Description

  • TECHNISCHES GEBIET
  • Die Offenbarung betrifft allgemein Verfahren, Systeme und Vorrichtungen zur virtuellen Sensordatenerzeugung und betrifft insbesondere die Erzeugung von virtuellen Sensordaten zum Trainieren und Testen von Modellen und Algorithmen zum Detektieren von Objekten oder Hindernissen, wie etwa Radanschläge oder Parkbarrieren.
  • HINTERGRUND
  • Kraftfahrzeuge stellen einen erheblichen Teil des Transports für kommerzielle, staatliche und private Entitäten bereit. Aufgrund des hohen Wertes von Kraftfahrzeugen und der potenziellen Gefahr für Mitfahrer und Fahrer sind die Fahrersicherheit und die Vermeidung von Unfällen oder Kollisionen mit anderen Fahrzeugen oder Objekten äußerst wichtig.
  • KURZE BESCHREIBUNG DER ZEICHNUNGEN
  • Nicht-einschränkende und nicht-erschöpfende Implementierungen der vorliegenden Offenbarung werden unter Bezugnahme auf die folgenden Figuren beschrieben, wobei sich durchweg durch die verschiedenen Ansichten gleiche Bezugszahlen auf gleiche Teile beziehen, sofern nicht anderweitig angegeben. Vorteile der vorliegenden Offenbarung werden im Hinblick auf die folgende Beschreibung und die zugehörigen Zeichnungen verständlicher, wobei:
  • 1 ein schematisches Blockdiagramm ist, das eine Implementierung eines Fahrzeugsteuersystems, das ein automatisiertes Fahr-/Unterstützungssystem beinhaltet, veranschaulicht;
  • 2 ein schematisches Blockdiagramm ist, das eine Implementierung eines Systems zur Sensordatenerzeugung veranschaulicht;
  • 3 eine schematische Darstellung ist, die eine Seitenansicht eines Fahrzeugs veranschaulicht, das sich in der Nähe eines Parkklotzes befindet;
  • 4 eine schematische Draufsichtdarstellung ist, die eine virtuelle Parkplatzumgebung gemäß einer Ausführungsform veranschaulicht;
  • 5 ein beispielhaftes Sensordateneinzelbild ist;
  • 6 ein beispielhaftes komplementäres Einzelbild des in 5 veranschaulichten Einzelbildes gemäß einer Implementierung ist;
  • 7 ein schematisches Blockdiagramm ist, das beispielhafte Komponenten einer Simulationskomponente gemäß einer Implementierung veranschaulicht; und
  • 8 ein schematisches Flussdiagramm ist, das ein Verfahren zum Erzeugen von virtuellen Sensordaten gemäß einer Implementierung veranschaulicht.
  • AUSFÜHRLICHE BESCHREIBUNG
  • Ein sehr häufiger Ort für Kollisionen oder Unfälle von Fahrzeugen findet während des Parkens oder beim Verlassen eines Parkstandortes statt. Aufgrund der Nähe von anderen Fahrzeugen, Fußgängern oder anderen Objekten gibt es nur einen kleinen Fehlerspielraum, wenn ein Schaden an Fahrzeugen, einschließlich Kratzer an Stoßstangen oder Seitenplatten, vermieden werden soll. In vielen Parkplätzen oder bei anderen Parkstandorten sind Parkstellplätze an mindestens einer Seite durch eine Art von Parkbarriere, wie etwa einen Parkklotz, einen Bordstein oder dergleichen, markiert oder begrenzt. Die Parkbarrieren können verwendet werden, so dass Fahrzeuge daran gehindert werden, zu weit nach vorne (oder hinten) in eine andere Reihe von Fahrzeugen zu rollen, und können ein Fahrzeug davon abhalten, sich zu weit zu bewegen, wenn die Räder auf die Barriere stoßen. Eine Parkbarriere kann eine Parkbarriere, einen Parkklotz, einen Parkradanschlag, einen Bordstein oder dergleichen beinhalten oder vorliegend als diese bezeichnet werden.
  • Wenn ein Auto auf einem Parkplatz geparkt wird, kann es auf einen Radanschlag oder eine andere Parkbarriere stoßen. Die Antragsteller haben erkannt, dass die Größe und Höhe von Radanschlägen erheblich variieren kann. In manchen Situationen ist ein Fahrer, ein automatisiertes Fahrsystem oder ein automatisiertes Unterstützungssystem nicht in der Lage, den Radanschlag zu detektieren, und das Fahrzeug kann darüber fahren und die vordere oder hintere Stoßstange oder Schürze beschädigen. Um eine derartige Kollision zu vermeiden, müssen sowohl die Position als auch die Höhe des Radanschlags bekannt sein, so dass ein Zusammenstoßen oder Kratzen der Unterseite des Autos vermieden werden kann.
  • Die Antragsteller haben jedoch erkannt, dass der Detektionsalgorithmus an großen vielfältigen Datenmengen trainiert und getestet werden muss, wenn die Radanschläge oder Parkbarrieren durch eine fahrzeuginterne Wahrnehmung detektiert werden sollen, so dass eine Warnung an den Fahrer, das automatisierte Fahrsystem oder das automatisierte Unterstützungssystem bereitgestellt werden kann oder dass ein autonomes Bremsen wie benötigt initiiert werden kann. Das Erfassen von realen Sensordaten benötigt jedoch beträchtliche Zeit und Ressourcen, indem physische Tests eingerichtet werden oder mit Sensoren herumgefahren wird, um Daten für relevante Szenarios zu sammeln.
  • Die vorliegende Anmeldung offenbart Systeme und Verfahren zum Erzeugen von synthetischen oder virtuellen Sensordaten und/oder assoziierter Ground-Truth. Bei einer Ausführungsform beinhaltet ein Verfahren Simulieren einer dreidimensionalen (3D) Umgebung, die eine oder mehrere Parkbarrieren beinhaltet. Das Verfahren beinhaltet Erzeugen von virtuellen Sensordaten für mehrere Positionen eines oder mehrerer Sensoren in der 3D-Umgebung. Das Verfahren beinhaltet ferner Bestimmen der virtuellen Ground-Truth, die jeder der mehreren Positionen entspricht, wobei die Ground-Truth eine Höhe der mindestens einen der Parkbarrieren beinhaltet. Das Verfahren beinhaltet ferner Speichern und Assoziieren der virtuellen Sensordaten und der virtuellen Ground-Truth.
  • Manche Implementierungen integrieren eine virtuelle Fahrumgebung, die unter Verwendung von 3D-Modellierungs- und -Animationswerkzeugen erschaffen wird, mit Sensormodellen, um virtuelle Sensordaten in einem kurzen Zeitraum in großen Mengen zu erstellen. Relevante Parameter, wie etwa Beleuchtung und Positionierung des Radanschlags, können in den aufgezeichneten Daten zufällig ausgewählt werden, um eine breit gefächerte Datenmenge mit minimaler Beeinflussung sicherzustellen. Bei einer Implementierung ist ein Sensor relativ zu einer Fahrbahn oder einem Parkplatz (oder einer anderen virtuellen Fahrumgebung) gemäß seiner geplanten Positionierung an einem Fahrzeug positioniert. Der virtuelle Sensor kann neu positioniert und/oder entlang eines virtuellen Pfads in der virtuellen Umgebung an Stellen bewegt werden, wo er Objekte oder Hindernisse, wie etwa Radanschläge, beobachten kann.
  • Während der virtuellen Bewegung oder Neupositionierung kann der virtuelle Sensor periodisch Daten aufzeichnen oder virtuelle Sensordaten erzeugen. Für jeden Zeitschritt der aufgezeichneten Daten – zum Beispiel jedes Einzelbild der Kameradaten – werden automatisch Anmerkungen bereitgestellt, damit Ground-Truth-Informationen über die Positionen aller Radanschläge in der Reichweite des Sensors sowie die Höhe jedes Radanschlags aufgezeichnet werden. Im Fall von Kameradaten können Ground-Truth-Daten für jedes Einzelbild der Bilddaten ein komplementäres Einzelbild pixelweiser segmentierter Bilddaten, die die gleiche Ansicht darstellen, beinhalten. Alle Pixel des Radanschlags im komplementärem Einzelbild können zum Beispiel eine einheitliche Farbe mit konstanten Werten aufweisen (z.B. Rot-Grün-Blau (RGB)), so dass genau bekannt ist, welche Pixel zum Radanschlag gehören. Die Ground-Truth-Informationen können zum Trainieren eines Wahrnehmungsalgorithmus mittels überwachtem Lernen oder zum Testen von bestehenden Algorithmen und Quantifizieren ihrer Leistungsfähigkeit verwendet werden. Die Ausführungsformen können einen virtuellen Sensor für eine Kamera, ein Lichtentfernungsmessungs- und -detektions(LIDAR)-System, ein Radarsystem, ein Ultraschallsystem und/oder ein anderes Sensorsystem oder eine andere Sensorart erzeugen.
  • Die vorliegend offenbarten Systeme und Verfahren können erhebliche Vorteile gegenüber realen Daten liefern. Verglichen mit realen Daten sind virtuelle Daten zum Beispiel hinsichtlich Zeit, Geld und Ressourcen billiger. Insbesondere können die vorliegend offenbarten Systeme und Verfahren tausende virtuelle Bilder für eine Vielfalt von Bedingungen innerhalb weniger Minuten erzeugen, im Gegensatz zu Stunden oder Monaten zum Erfassen einer vergleichbaren Anzahl von Bildern in der realen Welt. Die virtuellen Sensordaten mit automatischen Anmerkungen verbessern die Leichtigkeit beim Erhalten der Ground-Truth oder von anderen Daten, die für das Trainieren und Testen der Objektdetektion oder -ortung nützlich sind, wie etwa für Radanschlagdetektionsalgorithmen, erheblich.
  • Obwohl manche Ausführungsformen der vorliegenden Offenbarung Simulationen und virtuelle Daten für eine Detektion, Klassifizierung und/oder Abmessungsbestimmungen von Parkbarrieren besprechen, sind diese nur als Beispiele gegeben. Die vorliegende Offenbarung zieht die Verwendung der vorliegend offenbarten Systeme, Verfahren und Einrichtungen für die Detektion, Klassifizierung, Ortung und Abmessungsdetektion für ein beliebiges Objekt oder Hindernis in Betracht. Virtuelle Repräsentationen eines beliebigen Objekts oder Hindernisses, das durch ein Fahrzeug in einer Fahrumgebung detektiert werden kann, werden vorliegend in Betracht gezogen.
  • Jetzt mit Bezug auf die Figuren veranschaulicht 1 ein beispielhaftes Fahrzeugsteuersystem 100, das zum automatischen Detektieren von Parkbarrieren verwendet werden kann. Das automatisierte Fahr-/Unterstützungssystem 102 kann zum Automatisieren oder Steuern eines Betriebs eines Fahrzeugs oder zum Bereitstellen von Unterstützung für einen menschlichen Fahrer verwendet werden. Das automatisierte Fahr-/Unterstützungssystem 102 kann zum Beispiel das Bremsen und/oder die Lenkung und/oder Beschleunigung und/oder Lichter und/oder Warnungen und/oder Fahrerbenachrichtigungen und/oder Radio und/oder beliebige andere Hilfssysteme des Fahrzeugs steuern. Bei einem anderen Beispiel ist das automatisierte Fahr-/Unterstützungssystem 102 möglicherweise nicht in der Lage, eine Fahrsteuerung (z.B. Lenkung, Beschleunigung oder Bremsen) bereitzustellen, kann aber Benachrichtigungen und Warnungen bereitstellen, um einen menschlichen Fahrer beim sicheren Fahren zu unterstützen. Das automatisierte Fahr-/Unterstützungssystem 102 kann ein neuronales Netzwerk oder ein anderes Modell oder einen anderen Algorithmus verwenden, um zu bestimmen, dass eine Parkbarriere oder ein Parkklotz vorhanden ist, und kann auch eine Größe, Position und/oder Abmessungen eines Objekts oder Hindernisses, wie etwa einer Parkbarriere oder eines Parkklotzes, bestimmen.
  • Das Fahrzeugsteuersystem 100 beinhaltet auch ein oder mehrere Sensorsysteme bzw. eine oder mehrere Sensoreinrichtungen zum Detektieren eines Vorhandenseins von nahegelegenen Objekten oder zum Bestimmen einer Position eines Stammfahrzeugs (z.B. eines Fahrzeugs, das das Fahrzeugsteuersystem 100 beinhaltet). Das Fahrzeugsteuersystem 100 kann zum Beispiel ein oder mehrere Radarsysteme 106, ein oder mehrere LIDAR-Systeme 108, ein oder mehrere Kamerasysteme 110, ein globales Positionierungssystem (GPS) 112 und/oder ein oder mehrere Ultraschallsysteme 114 beinhalten. Das Fahrzeugsteuersystem 100 kann einen Datenspeicher 116 zum Speichern von relevanten oder nützlichen Daten zur Navigation und Sicherheit, wie etwa Kartendaten, ein Fahrtprotokoll oder andere Daten, beinhalten. Das Fahrzeugsteuersystem 100 kann auch einen Sendeempfänger 118 für eine drahtlose Kommunikation mit einem mobilen oder drahtlosen Netzwerk, anderen Fahrzeugen, Infrastruktur oder einem beliebigen anderen Kommunikationssystem beinhalten.
  • Das Fahrzeugsteuersystem 100 kann Fahrzeugsteueraktoren 120 zum Steuern verschiedener Aspekte des Fahrens des Fahrzeugs, wie etwa Elektromotoren, Schalter oder andere Aktoren zum Steuern des Bremsens, der Beschleunigung, der Lenkung oder dergleichen, beinhalten. Das Fahrzeugsteuersystem 100 kann auch einen oder mehrere Anzeigen 122, Lautsprecher 124 oder andere Einrichtungen beinhalten, so dass Benachrichtigungen an einen menschlichen Fahrer oder Mitfahrer geliefert werden können. Eine Anzeige 122 kann eine Heads-Up-Anzeige, eine Armaturenbrettanzeige oder einen Armaturenbrettindikator, einen Anzeigebildschirm oder einen beliebigen anderen visuellen Indikator, der durch einen Fahrer oder Mitfahrer eines Fahrzeugs gesehen werden kann, beinhalten. Die Lautsprecher 124 können einen oder mehrere Lautsprecher einer Lautsprecheranlage eines Fahrzeugs beinhalten oder können einen für Fahrerbenachrichtigungen dedizierten Lautsprecher beinhalten.
  • Es versteht sich, dass die Ausführungsform von 1 nur beispielhalber gegeben ist. Andere Ausführungsformen können weniger oder zusätzliche Komponenten beinhalten, ohne von dem Schutzumfang der Offenbarung abzuweichen. Zusätzlich dazu können veranschaulichte Komponenten ohne Einschränkung kombiniert werden oder in anderen Komponenten enthalten sein.
  • Bei einer Ausführungsform ist das automatisierte Fahr-/Unterstützungssystem 102 dazu konfiguriert, das Fahren oder die Navigation eines Stammfahrzeugs zu steuern. Das automatisierte Fahr-/Unterstützungssystem 102 kann zum Beispiel die Fahrzeugsteueraktoren 120 steuern, um einen Pfad auf einer Straße, einem Parkplatz, einer Zufahrt oder eines anderen Ortes zu fahren. Das automatisierte Fahr-/Unterstützungssystem 102 kann zum Beispiel einen Pfad basierend auf Informationen oder Wahrnehmungsdaten bestimmen, die durch eine beliebige der Komponenten 106–118 geliefert werden. Die Sensorsysteme/-einrichtungen 106–110 und 114 können zum Erhalten von Echtzeitsensordaten verwendet werden, so dass das automatisierte Fahr-/Unterstützungssystem 102 einen Fahrer unterstützen oder ein Fahrzeug in Echtzeit fahren kann. Das automatisierte Fahr-/Unterstützungssystem 102 kann einen Algorithmus implementieren oder ein Modell verwenden, wie etwa ein tiefes neuronales Netzwerk, um die Sensordaten zu verarbeiten und ein Vorhandensein, eine Position, Höhe und/oder Abmessung einer Parkbarriere, eines Objekts oder eines anderen Hindernisses zu identifizieren. Um ein Modell oder einen Algorithmus zu trainieren oder zu testen, werden jedoch möglicherweise große Mengen an Sensordaten benötigt.
  • Jetzt mit Bezug auf 2 ist eine Ausführungsform eines Systems 200 zur Sensordatenerzeugung dargestellt. Das System 200 beinhaltet eine Simulationskomponente 202, einen Speicher 204, eine Trainingskomponente 206 und eine Testkomponente 208. Die Simulationskomponente 202 kann dazu konfiguriert sein, eine Fahrumgebung zu simulieren und virtuelle Sensordaten 210 und eine virtuelle Ground-Truth oder andere Informationen als Anmerkungen 212 für die virtuellen Sensordaten 210 zu erzeugen. Die Anmerkungen können eine beliebige Art von Ground-Truth beinhalten, wie etwa Simulationsbedingungen, die durch die Simulationskomponente 202 zum Erzeugen der Fahrumgebung und/oder der virtuellen Sensordaten 210 verwendet werden. Die virtuelle Ground-Truth kann zum Beispiel einen virtuellen Abstand zwischen einem Sensor und einer virtuellen Parkbarriere, eine oder mehrere Abmessungen der virtuellen Parkbarriere (z.B. die Höhe) oder ein beliebiges anderes Objekt oder Hindernis beinhalten. Gleichermaßen kann die virtuelle Ground-Truth ein oder mehrere Details über Beleuchtungsbedingungen, Wetterbedingungen, die Sensorposition, Sensorausrichtung, Sensorgeschwindigkeit und/oder virtuelle Sensorart (z.B. einen spezifischen Sensortyp) beinhalten. Die Simulationskomponente 202 kann Einzelbilder oder Sätze von virtuellen Sensordaten mit der entsprechenden Ground-Truth annotieren oder die virtuelle Ground-Truth mit einem Hinweis der Sensordaten, zu denen die virtuelle Ground-Truth gehört, speichern.
  • Die virtuellen Sensordaten 210 und/oder jegliche Informationen zur Einbeziehung in den Anmerkungen 212 können im Speicher 204 gespeichert werden. Der Speicher 204 kann einen Langzeitspeicher, wie etwa eine Festplatte, oder einen Maschinenspeicher, wie etwa Direktzugriffsspeicher (RAM), beinhalten. Die virtuellen Sensordaten 210 und jegliche assoziierten Anmerkungen 212 können als Teil derselben Datei oder in separaten Dateien gespeichert werden. Die Trainingskomponente 206 und/oder die Testkomponente 208 kann bzw. können dann auf die virtuellen Sensordaten 210 und/oder die Anmerkungen 212 zum Trainieren oder Testen eines Parkbarrierendetektionsalgorithmus oder -modells zugreifen und diese verwenden.
  • Die Trainingskomponente 206 ist dazu konfiguriert, einen Maschinenlernalgorithmus unter Verwendung von virtuellen Sensordaten und die durch die Simulationskomponente 202 erzeugte Ground-Truth zu trainieren. Die Trainingskomponente 206 kann zum Beispiel einen Maschinenlernalgorithmus oder ein Maschinenlernmodell trainieren, indem sie mindestens einen Teil der virtuellen Sensordaten und die entsprechende virtuelle Ground-Truth bereitstellt, um den Maschinenlernalgorithmus oder das Maschinenlernmodell zu trainieren, damit er bzw. es eine Höhe und/oder eine Position der einen oder mehreren Parkbarrieren, des Objekts oder anderen Hindernisses bestimmt. Die Trainingskomponente 206 kann die virtuellen Sensordaten und die virtuelle Ground-Truth an einen Trainingsalgorithmus für ein neuronales Netzwerk bereitstellen. Die Trainingskomponente 206 kann zum Beispiel ein neuronales Netzwerk unter Verwendung jeweils eines Sensordateneinzelbildes und der assoziierten Ground-Truth trainieren. Bei einer Ausführungsform kann die Trainingskomponente 206 mehrere unterschiedliche Maschinenlernmodelle trainieren, um unterschiedliche Aspekte der virtuellen Sensordaten zu identifizieren. Beispielsweise kann ein Modell verwendet werden, um ein Objekt in einem virtuellen Sensoreinzelbild als eine Parkbarriere zu klassifizieren, während ein oder mehrere andere Modelle verwendet werden können, um eine Position, Ausrichtung, einen Abstand und/oder eine Abmessung der Parkbarriere, des Objekts oder eines anderen Hindernisses zu bestimmen.
  • Die Testkomponente 208 kann einen Maschinenlernalgorithmus oder ein Maschinenlernmodell unter Verwendung der virtuellen Sensordaten und der virtuellen Ground-Truth testen. Die Testkomponente 208 kann zum Beispiel mindestens einen Teil der virtuellen Sensordaten an den Maschinenlernalgorithmus oder das Maschinenlernmodell bereitstellen, um eine Höhe und/oder eine Position der Parkbarriere, des Objekts oder anderen Hindernisses zu bestimmen und eine ermittelte Höhe oder eine ermittelte Position mit der virtuellen Ground-Truth zu vergleichen. Die Testkomponente 208 kann in der Lage sein, akkurat zu bestimmen, wie gut ein Modell oder Algorithmus funktioniert, da eine ermittelte Klassifizierung oder ein ermittelter Wert mit der virtuellen Ground-Truth verglichen werden kann. Falls ein Algorithmus oder Modell ausreichend akkurat ist, kann er bzw. es als Teil eines automatisierten Fahr-/Unterstützungssystems 102 implementiert werden.
  • 3 veranschaulicht eine Seitenansicht eines Fahrzeugs 302 und einer Parkbarriere 304. Falls das Fahrzeug 302 nicht vor der Parkbarriere 304 anhält, kann die Parkbarriere 304 auf eine Stoßstange oder einen anderen Teil des Fahrzeugs 302 auftreffen oder diesen kratzen oder beschädigen. Wenn sich das Fahrzeug der Parkbarriere 304 nähert, ist diese möglicherweise nicht durch eine Windschutzscheibe des Fahrzeugs 302 sichtbar und ein oder mehrere Sensoren, die an oder in der Nähe der Abdeckhaube oder des Daches des Fahrzeugs 302 befestigt sind, sind möglicherweise auch nicht in der Lage, die Parkbarriere 304 zu detektieren. Somit kann es wichtig sein, eine akkurate Höhe und Position der Parkbarriere 304 zu erhalten, solange die Parkbarriere detektierbar ist, so dass ein Kontakt zwischen dem Fahrzeug 302 und der Parkbarriere 304 vermieden werden kann, wenn das Fahrzeug geparkt oder anderweitig in die Nähe der Parkbarriere 304 gefahren wird. Zusätzlich dazu kann die Position der Parkbarriere 304 im Speicher gespeichert werden, so dass ein Fahrer oder das automatisierte Fahr-/Unterstützungssystem 102 an das Vorhandensein und die Position der Parkbarriere 304 erinnert werden kann, wenn der Fahrer zurückkehrt oder das Fahrzeug 302 wieder angestellt wird.
  • 4 ist eine Draufsichtdarstellung einer virtuellen Parkplatzumgebung 400 mit mehreren Parkstandorten und Parkbarrieren 404. Die virtuelle Parkplatzumgebung 400 kann zum Beispiel durch die Simulationskomponente 202 erzeugt und simuliert werden. Somit können die virtuelle Parkplatzumgebung 400 und alle Objekte Computermodelle oder -simulationen repräsentieren, die durch die Simulationskomponente 202 erzeugt werden. Die virtuelle Parkplatzumgebung 400 kann auch eine oder mehrere Lichtquellen oder andere Objekte beinhalten, um eine reale Parkplatzumgebung zu simulieren. Die Beleuchtung kann zum Beispiel unterschiedliche Tageszeiten, verschiedene Wetterarten und/oder Beleuchtungspositionen simulieren. Eine oder mehrere Pflanzen, Bordsteine oder eine umgebende Umwelt für die virtuelle Parkplatzumgebung 400 können auch erzeugt oder simuliert werden.
  • In der virtuellen Parkplatzumgebung 400 ist ein Fahrzeug 402 dargestellt, das sich einem spezifischen Parkstellplatz mit einer Parkbarriere 404 nähert oder in diesen einfährt. Die Parkbarriere 404 beinhaltet einen Parkklotz. Ausführungsformen von Parkklötzen beinhalten Beton, Gummi oder andere Barrieren, die an Parkstandorten platziert werden, damit Fahrzeuge daran gehindert werden, zu weit einzufahren oder zu rollen. Die virtuelle Parkplatzumgebung 400 beinhaltet eine Parkbarriere 404 für jeden Parkstellplatz. Manche Parkplätze können jedoch eine uneinheitliche Einbeziehung von Parkbarrieren aufweisen, so dass ein Fahrer oder ein System nicht annehmen kann, dass ein spezifischer Parkstellplatz, basierend auf anderen Parkstellplätzen, eine Parkbarriere beinhalten kann oder nicht. Gemäß einer Ausführungsform, wie durch die Linie 406 angegeben ist, können ein oder mehrere Sensoren Daten (wie etwa ein Bild oder Einzelbild) erhalten, die einen Teil der Parkbarriere 404 beinhalten, wenn das Fahrzeug 402 in den Parkstellplatz einfährt. Wie oben besprochen, kann die Simulationskomponente 202 ein virtuelles Einzelbild von Wahrnehmungsdaten erzeugen, das simuliert, was ein Sensor am Fahrzeug 402 aufnehmen würde, wenn die virtuelle Parkplatzumgebung 400 eine reale Umgebung wäre.
  • Bei einer Ausführungsform wird das Fahrzeug 402 (mit beliebigen assoziierten virtuellen Sensoren) entlang eines Pfads bewegt oder in der virtuellen Parkplatzumgebung 400 zufällig neu positioniert und zusätzliche Einzelbilder von Wahrnehmungsdaten können erzeugt werden. Gleichermaßen können Informationen, die den simulierten Bedingungen entsprechen, mit den Einzelbildern gespeichert werden, so dass die virtuelle Ground-Truth für jedes Einzelbild verfügbar ist. Bei einer Ausführungsform können die Positionen von Objekten in der virtuellen Parkplatzumgebung 400 und eine oder mehrere andere Bedingungen für mehrere unterschiedliche Einzelbilder zufällig ausgewählt sein. Beispielsweise können die Beleuchtung, Positionen, Wetterbedingungen oder dergleichen zufällig, innerhalb akzeptabler Grenzen, erzeugt werden, damit virtuelle Sensordaten für eine breite Vielfalt von verschiedenen Bedingungen erzeugt werden.
  • Obwohl 4 eine Draufsicht einer virtuellen Parkplatzumgebung 400 veranschaulicht, können Fahrzeuge an einer großen Vielfalt von Orten geparkt werden, an denen Parkbarrieren 404 oder Parkklötze vorhanden sein können. Zum Beispiel können ein Parken am Straßenrand, ein Parken in der Zufahrt oder ein beliebiger anderer Parkstandort auch eine Parkbarriere, einen Parkklotz, einen Radanschlag, einen Bordstein oder ein anderes Objekt zum Definieren von Parkstandorten oder Parkstellplätzen beinhalten. Somit kann ein beliebiger Ort, an dem Fahrzeuge gefahren werden oder geparkt werden können, in einer oder mehreren anderen virtuellen Umgebungen simuliert werden.
  • 5 veranschaulicht ein beispielhaftes Einzelbild 500 von Sensordaten, die durch eine Simulationskomponente 202 erzeugt werden. Das Einzelbild 500 kann zum Beispiel ein virtuelles Bild beinhalten, das durch eine virtuelle Kamera, die sich an einer simulierten Position befindet, in einer virtuellen Umgebung aufgenommen wurde. Das Einzelbild 500 beinhaltet eine Parkbarriere 502, die in einer virtuellen Umgebung positioniert ist. Die Form und Position der Parkbarriere 502 im Einzelbild 500 kann eine Folge der gegenwärtigen Position und Ausrichtung der Parkbarriere 502 sowie einer virtuellen Kamera, die das Einzelbild 500 „aufgenommen“ hat, sein. Die virtuelle Ground-Truth für das Einzelbild 500 kann mit dem Einzelbild 500 gespeichert oder mit dem Einzelbild 500 assoziiert werden, so dass spezifische virtuelle Bedingungen für das Einzelbild 500 bekannt sind. Die virtuelle Ground-Truth kann einen Abstand (z.B. einen simulierten Abstand in Fuß, Meter oder einer anderen Maßeinheit) zwischen einem Sensor und der Parkbarriere 502, eine Ausrichtung des Sensors, eine Ausrichtung der Parkbarriere 502, eine oder mehrere Abmessungen der Parkbarriere 502, ein Material der Parkbarriere 502, spezifische Positionen von sowohl der Parkbarriere 502 als auch eines Sensors, der das Einzelbild 500 aufgenommen hat, simulierte Wetterbedingungen, simulierte Tageszeit, simulierte Beleuchtungspositionen, simulierte Beleuchtungsfarben oder beliebige andere zusätzliche Informationen über eine simulierte Umgebung, in der das Einzelbild 500 aufgenommen wurde, beinhalten.
  • 6 veranschaulicht eine Ausführungsform eines komplementären Einzelbildes 600, das dem Einzelbild 500 von 5 entspricht. Das komplementäre Einzelbild beinhaltet einen Bereich 602 einer einheitlichen Farbe, der einem Bereich des Einzelbildes 500 entspricht, in dem sich die Pixel der Parkbarriere 502 befinden. In 6 ist der Bereich 602 weiß, während der Rest des komplementären Einzelbildes 600 schwarz ist. Andere Ausführungsformen können jedoch dem ursprünglichen Bild ähnlich sein, wobei eine einheitliche Farbe einen Bereich der Parkbarriere 602 bedeckt. Beispielsweise kann eine helle grüne Farbe für den Bereich 602 verwendet werden, während der schwarze Teil des komplementären Einzelbildes 600 möglicherweise nicht schwarz ist, aber identisch zu den entsprechenden Bereichen/Pixeln des ursprünglichen Einzelbildes 500 sein kann. Bei einer Ausführungsform kann das komplementäre Einzelbild 600 in den Ground-Truth-Informationen für das Einzelbild 500 enthalten sein, so dass ein Algorithmus trainiert oder getestet werden kann. Das komplementäre Einzelbild 600 kann zum Beispiel mit dem Einzelbild 500 zum Trainieren eines neuronalen Netzwerkes, das zum Detektieren und/oder Identifizieren von Abmessungen einer Parkbarriere verwendet wird, bereitgestellt werden.
  • Obwohl 5 und 6 oben bezüglich Kamerabildern besprochen werden, werden andere Arten von Sensordateneinzelbildern in Betracht gezogen und fallen in den Schutzumfang der vorliegenden Offenbarung. Beispielsweise können LIDAR-Einzelbilder, Radareinzelbilder, Ultraschalleinzelbilder oder eine beliebige andere Art eines Sensordateneinzelbildes in jeder simulierten Ground-Truth erzeugt und gespeichert werden. Zusätzlich dazu können, obwohl manche vorliegend bereitgestellten Ausführungsformen und Beispiele die Simulation und das Modellieren von Parkbarrieren beinhalten, andere Objektarten oder Daten verwendet werden. Beispielsweise können virtuelle Sensordaten für eine beliebige Objektart, die in einer Fahrumgebung angetroffen werden kann, erzeugt werden. Beispielhafte Objekte oder Hindernisse können Parkbarrieren oder Bordsteine, andere Fahrzeuge, Straßen- oder Spurlinien, Parklinien, Straßenschilder, Fußgänger, Fahrradfahrer, Tiere, Straßenschmutz, Bodenwellen oder Senken in einer Straße oder ein beliebiges anderes Objekt, Hindernis oder Merkmal, das ändern kann, wie ein Fahrzeug funktionieren sollte, oder das einen Pfad eines Fahrzeugs ändert, beinhalten.
  • 7 ist ein Blockdiagramm, das beispielhafte Komponenten einer Simulationskomponente 202 veranschaulicht. Bei der abgebildeten Ausführungsform beinhaltet die Simulationskomponente 202 eine Umgebungskomponente 702, eine Komponente 704 für den virtuellen Sensor, eine Ground-Truth-Komponente 706, eine Speicherkomponente 708 und eine Modellkomponente 710. Die Komponenten 702–710 sind nur zur Veranschaulichung gegeben und sind möglicherweise nicht in allen Ausführungsformen enthalten. Genau genommen können manche Ausführungsformen nur eine oder eine beliebige Kombination von zwei oder mehreren der Komponenten 702–710 beinhalten. Manche der Komponenten 702–710 können sich außerhalb der Simulationskomponente 202 befinden.
  • Die Umgebungskomponente 702 ist dazu konfiguriert, eine virtuelle Umgebung zu erzeugen und/oder zu simulieren. Bei einer Ausführungsform simuliert oder erzeugt die Umgebungskomponente 702 eine 3D-Park- oder -Fahrumgebung. Die Umgebungskomponente 702 kann eine 3D-Spiel- oder -Simulations-Engine zum Erzeugen, Simulieren und/oder Rendern einer Umgebung verwenden, in der ein Fahrzeug gefahren oder geparkt werden kann. Spiel-Engines, die für Fahrspiele oder ein beliebiges anderes Spieldesign verwendet werden, können zum Beispiel zum Simulieren einer realen Umgebung verwendet werden.
  • Bei einer Ausführungsform simuliert die Umgebungskomponente 702 eine Umgebung mit mehreren virtuellen Objekten. Die virtuellen Objekte können Parkbarrieren, Fahrzeuge, Bäume, Pflanzen, Bordsteine, gestrichene Linien, Gebäude, Landschaftsformen, Fußgänger, Tiere oder ein beliebiges anderes Objekt, das in einer Fahr- oder Parkumgebung gefunden werden kann, beinhalten. Die Umgebungskomponente 702 kann beengte räumliche Verhältnisse simulieren, in denen sich eine große Anzahl von Fahrzeugen, Fußgängern oder anderen Objekten befinden. Die Umgebungskomponente 702 kann auch Beleuchtungsbedingungen simulieren. Beispielsweise kann die Umgebungskomponente 702 eine Lichtquelle einschließlich einer Sonne, Mondlicht, Straßenlampen, Gebäudebeleuchtung, Fahrzeugscheinwerfer, Fahrzeugbremslichter oder eine beliebige andere Lichtquelle simulieren. Die Umgebungskomponente 702 kann auch Schatten, Beleuchtungsfarben für die Sonne oder den Mond zu unterschiedlichen Tageszeiten oder Wetterbedingungen simulieren. Die Umgebungskomponente 702 kann zum Beispiel eine Beleuchtung für wolkige, regnerische, schneereiche und andere Wetterbedingungen simulieren. Zusätzlich dazu kann die Umgebungskomponente 702 Nässe oder Schneebedingungen simulieren, bei denen Straßen, Parkplätze und Objekte in einer virtuellen Umgebung nass oder mit Schnee bedeckt sind.
  • Bei einer Ausführungsform kann die Umgebungskomponente 702 simulierte Bedingungen zufällig auswählen. Die Umgebungskomponente 702 kann zum Beispiel eine oder mehrere simulierte Bedingungen periodisch zufällig auswählen, um Umgebungen mit einer breiten Vielfalt von Bedingungen zu erzeugen. Bei einer Ausführungsform kann die Umgebungskomponente 702 unterschiedliche Bedingungen für Beleuchtung und/oder Wetter und/oder eine Position der einen oder mehreren virtuellen Parkbarrieren oder anderen Objekte und/oder die Abmessungen der einen oder mehreren virtuellen Parkbarrieren oder anderen Objekte zufällig erzeugen.
  • Bei einer Ausführungsform kann die Umgebungskomponente 702 eine Position eines Sensors in der virtuellen Umgebung simulieren. Die Umgebungskomponente 702 kann eine Bewegung eines oder mehrerer Sensoren entlang eines Pfads in der virtuellen Umgebung simulieren oder die Sensorpositionierung zufällig auswählen. Die Umgebungskomponente 702 kann zum Beispiel eine Position und/oder Ausrichtung eines Sensors basierend auf einer geplanten Position auf einem Fahrzeug simulieren. Bei einer Ausführungsform kann die Umgebungskomponente 702 eine Position, Höhe, Ausrichtung oder andere Positionierungsaspekte eines Sensors in der virtuellen Umgebung zufällig auswählen. Die zufällig ausgewählten Positionen für den Sensor oder andere simulierte Bedingungen für die virtuelle Umgebung können innerhalb vordefinierter Grenzen zufällig ausgewählt werden, um die Wahrscheinlichkeit zu erhöhen, dass die virtuelle Umgebung Bedingungen ähnlich ist, die Fahrzeuge in realen Situationen antreffen würden.
  • Die Komponente 704 für den virtuellen Sensor ist dazu konfiguriert, Sensordaten oder Wahrnehmungsdaten für einen virtuellen Sensor in einer virtuellen Umgebung, die durch die Umgebungskomponente 702 erzeugt oder simuliert wird, zu erzeugen. Bei einer Ausführungsform kann die Komponente 704 für den virtuellen Sensor ein Modell einer realen Leistungsfähigkeit von einem oder mehreren spezifischen Sensoren, die durch ein Fahrzeug verwendet werden sollen, beinhalten oder verwenden. Ein Sensor kann zum Beispiel ein virtuelles Modell aufweisen, das die reale Leistungsfähigkeit des Sensors simuliert. Die Komponente 704 für den virtuellen Sensor kann simulieren, wie ein Sensor ein Einzelbild erzeugt. Die Komponente 704 für den virtuellen Sensor kann virtuelle Sensordaten erzeugen, die computererzeugte Bilder und/oder computererzeugte Radardaten und/oder computererzeugte LIDAR-Daten und/oder computererzeugte Ultraschalldaten und/oder andere Daten für andere Wahrnehmungssensorarten beinhalten.
  • Bei einer Ausführungsform ist die Komponente 704 für den virtuellen Sensor dazu konfiguriert, Sensoreinzelbilder oder Sensordaten periodisch zu erzeugen. Die Komponente 704 für den virtuellen Sensor kann zum Beispiel ein Bild (oder einen anderen Sensor) mit einem simulierten Intervall erzeugen, das ähnlich der Frequenz ist, mit der eine Kamera ein Bild aufnimmt. Bei einer Ausführungsform erzeugt die Komponente 704 für den virtuellen Sensor Sensordaten für jede Position, die durch die Umgebungskomponente 702 simuliert wird. Die Komponente 704 für den virtuellen Sensor kann zum Beispiel Sensordaten für Positionen entlang eines Pfads, der durch ein virtuelles Fahrzeug in einer virtuellen Umgebung gefahren wird, erzeugen. Bei einer Ausführungsform beinhalten ein oder mehrere der Bilder oder Einzelbilder der Sensordaten einen Teil einer virtuellen Parkbarriere oder eines anderen Objekts. Beispielsweise können computererzeugte Bilder von Parkbarrieren oder anderen Objekten in einer virtuellen Umgebung durch die Komponente 704 für den virtuellen Sensor erzeugt werden.
  • Die Ground-Truth-Komponente 706 ist dazu konfiguriert, die virtuelle Ground-Truth für die virtuellen Sensordaten, die durch die Komponente 704 für den virtuellen Sensor erzeugt werden, zu erzeugen. Die Ground-Truth-Datenponente 706 kann zum Beispiel simulierte Bedingungen für jedes Bild oder Einzelbild, das durch die Komponente 704 für den virtuellen Sensor aufgenommen wird, bestimmen. Bei einer Ausführungsform kann die Umgebungskomponente 702 die simulierten Bedingungen an die Ground-Truth-Datenponente 706 bereitstellen. Die Ground-Truth-Datenponente 706 kann eine oder mehrere simulierte Bedingungen als Ground-Truth auswählen oder die Ground-Truth basierend auf den simulierten Bedingungen für spezifische virtuelle Sensordaten berechnen. Die Ground-Truth-Datenponente 706 kann zum Beispiel eine Abmessung einer Parkbarriere (wie etwa Höhe) als die Ground-Truth für ein computererzeugtes Bild oder Einzelbild auswählen. Als ein weiteres Beispiel kann die Ground-Truth-Datenponente 706 virtuelle Positionen einer Parkbarriere und eines Sensors empfangen und dann einen virtuellen Abstand (z.B. Sichtlinienabstand und/oder horizontalen Abstand) zwischen dem virtuellen Sensor und der Parkbarriere berechnen. Ähnliche Informationen über andere Objekte oder Hindernisse in der virtuellen Umgebung werden auch in Betracht gezogen.
  • Die virtuelle Ground-Truth kann Informationen über eine Position und Ausrichtung eines Sensors, eine Position und Ausrichtung einer Parkbarriere oder eines anderen Objekts, eine oder mehrere Abmessungen einer Parkbarriere oder eines anderen Objekts, Beleuchtungsbedingungen, Wetterbedingungen, einen Abstand zwischen dem Sensor und der Parkbarriere oder des anderen Objekts, eine Sensorart, die zum Erfassen von Sensordaten verwendet wird, oder beliebige andere Informationen über Simulationsbedingungen beinhalten. Bei einer Ausführungsform kann ein einheitlicher Satz der Ground-Truth für jedes Einzelbild oder jeden Satz von Sensordaten, die durch die Komponente 704 für den virtuellen Sensor erzeugt werden, bestimmt werden. Beispielsweise können dieselben Ground-Truth-Informationen (z.B. Sensorhöhe, Abstand usw.) für jede Position, bei der virtuelle Sensordaten erzeugt werden, berechnet werden.
  • Bei einer Ausführungsform kann die Ground-Truth-Datenponente 706 ein komplementäres Einzelbild für ein Einzelbild von Sensordaten, die durch die Komponente 704 für den virtuellen Sensor erzeugt werden, erzeugen (siehe 6). Beispielsweise kann das komplementäre Einzelbild den gleichen Farbwert für Pixel, die der einen oder den mehreren virtuellen Parkbarrieren entsprechen, aufweisen. Jedes Pixel, das einer virtuellen Parkbarriere entspricht, kann zum Beispiel die gleiche Farbe aufweisen, so dass ein Trainingsalgorithmus oder ein Testalgorithmus eindeutig bestimmen kann, welcher Teil der virtuellen Sensordaten einer virtuellen Parkbarriere entspricht. Bei einer Ausführungsform kann jedes Pixel des komplementären Einzelbildes einen Bildpixel-, Radar- oder LIDAR-Vektor oder einen anderen Pixel- oder Matrixwert der virtuellen Sensordaten beinhalten.
  • Die Speicherkomponente 708 ist dazu konfiguriert, die virtuellen Sensordaten, die durch die Komponente 704 für den virtuellen Sensor erzeugt werden, und/oder eine jegliche Ground-Truth, die durch die Ground-Truth-Datenponente 706 bestimmt wird, zu speichern. Beispielsweise kann die Speicherkomponente 708 die virtuellen Sensordaten und/oder die Ground-Truth im Speicher 204 von 2 speichern. Bei einer Ausführungsform kann die Speicherkomponente 708 die virtuellen Sensordaten mit der entsprechenden Ground-Truth oder anderen Informationen über simulierte Bedingungen assoziieren oder annotieren. Die Sensordaten und die Ground-Truth können dann für eine breite Vielfalt von Zwecken verwendet werden, wie etwa zum Trainieren eines Maschinenlernalgorithmus oder -modells oder zum Testen eines Maschinenlernalgorithmus oder -modells.
  • Die Modellkomponente 710 ist dazu konfiguriert, die virtuellen Sensordaten und/oder die Ground-Truth an einen Algorithmus zum Testen oder Trainieren eines Maschinenlernalgorithmus oder -modells bereitzustellen. Beispielsweise kann die Modellkomponente 710 die virtuellen Sensordaten und/oder die Ground-Truth bereitstellen, die durch die Komponente 704 für den virtuellen Sensor und/oder die Ground-Truth-Datenponente 706 an die Trainingskomponente 206 oder die Testkomponente 208 von 2 bereitgestellt werden. Bei einer anderen Ausführungsform kann die Modellkomponente 710 die Trainingskomponente 206 und/oder die Testkomponente 208 beinhalten. Beispielsweise können die virtuellen Sensordaten und/oder die virtuelle Ground-Truth verwendet werden, damit ein neuronales Netzwerk, ein tiefes neuronales Netzwerk und/oder ein neuronales Faltungsnetzwerk zum Detektieren, Identifizieren und Bestimmen einer oder mehrerer Eigenschaften einer Parkbarriere oder eines anderen Objekts trainiert oder getestet werden. Der Maschinenlernalgorithmus oder das Maschinenlernmodell können zum Beispiel zur Einbeziehung in das automatisierte Fahr-/Unterstützungssystem 102 von 1 trainiert oder getestet werden.
  • Jetzt mit Bezug auf 8 ist ein schematisches Flussdiagramm eines Verfahrens 800 zum Erzeugen von virtuellen Sensordaten und einer Ground-Truth veranschaulicht. Das Verfahren 800 kann durch eine Simulationskomponente oder ein System zur Sensordatenerzeugung, wie etwa die Simulationskomponente 202 von den 2 oder 7 oder das System 200 zur Sensordatenerzeugung von 2, durchgeführt werden.
  • Bei 802 beginnt das Verfahren 800 und eine Umgebungskomponente 702 simuliert eine dreidimensionale (3D) Umgebung, die eine oder mehrere Parkbarrieren oder andere Objekte umfasst. Bei 804 erzeugt eine Komponente 704 für den virtuellen Sensor virtuelle Sensordaten für mehrere Positionen eines oder mehrerer Sensoren in der 3D-Umgebung. Bei 806 bestimmt eine Ground-Truth-Datenponente 706 eine virtuelle Ground-Truth, die jeder der mehreren Positionen entspricht. Die Ground-Truth kann Informationen über mindestens ein Objekt in den virtuellen Sensordaten beinhalten, wie etwa ein Objekt mit einem oder mehreren Merkmalen, die in einem Bild oder in anderen Sensordaten erfasst werden. Die Informationen können beliebige Informationen über die vorliegend besprochenen Objekte, wie etwa Abmessungen, Position oder Ausrichtungen von Objekten, beinhalten. Die Ground-Truth kann zum Beispiel eine Höhe der mindestens einen der Parkbarrieren oder der anderen Objekte beinhalten. Bei 808 speichert und assoziiert eine Speicherkomponente 708 die virtuellen Sensordaten und die virtuelle Ground-Truth. Das Verfahren kann auch eine Modellkomponente 710 beinhalten, die die virtuellen Sensordaten und/oder die virtuelle Ground-Truth an eine Trainingskomponente 206 oder eine Testkomponente 208 von 2 zum Trainieren oder Testen eines Maschinenlernalgorithmus oder -modells bereitstellt. Nach dem Trainieren und/oder Testen eines Modells, wie etwa eines tiefen neuronalen Netzwerkes, kann das Modell im Fahrzeugsteuersystem 100 von 1 für eine aktive Objekt- oder Parkbarrierendetektion und Abmessungsschätzung während realer Fahrbedingungen enthalten sein.
  • Beispiele
  • Die folgenden Beispiele betreffen weitere Ausführungsformen.
  • Beispiel 1 ist ein Verfahren, das Simulieren einer 3D-Umgebung, die ein oder mehrere Objekte wie etwa Parkbarrieren enthält, beinhaltet. Das Verfahren beinhaltet Erzeugen von virtuellen Sensordaten für mehrere Positionen eines oder mehrerer Sensoren in der 3D-Umgebung. Das Verfahren beinhaltet Bestimmen einer virtuellen Ground-Truth, die jeder der mehreren Positionen entspricht. Die Ground-Truth beinhaltet Informationen über mindestens ein Objekt in den Sensordaten. Die Ground-Truth kann zum Beispiel eine Höhe der mindestens einen der Parkbarrieren beinhalten. Das Verfahren beinhaltet auch Speichern und Assoziieren der virtuellen Sensordaten und der virtuellen Ground-Truth.
  • Bei Beispiel 2 beinhaltet das Verfahren nach Beispiel 1 ferner Bereitstellen der virtuellen Sensordaten und/oder der virtuellen Ground-Truth zum Trainieren oder Testen eines Maschinenlernalgorithmus oder -modells.
  • Bei Beispiel 3 beinhaltet das Maschinenlernmodell oder der Maschinenlernalgorithmus bei Beispiel 2 ein neuronales Netzwerk.
  • Bei Beispiel 4 beinhaltet das Trainieren des Maschinenlernalgorithmus oder -modells bei einem der Beispiele 2–3 Bereitstellen von mindestens einem Teil der virtuellen Sensordaten und der entsprechenden virtuellen Ground-Truth, damit der Maschinenlernalgorithmus oder das Maschinenlernmodell trainiert wird, um eine Höhe und/oder eine Position der einen oder mehreren Parkbarrieren oder der anderen Objekte zu bestimmen.
  • Bei Beispiel 5 beinhaltet das Testen des Maschinenlernalgorithmus oder -modells bei einem der Beispiele 2–4 Bereitstellen von mindestens einem Teil der virtuellen Sensordaten an den Maschinenlernalgorithmus oder das Maschinenlernmodell, um eine Klassifizierung oder eine Position von mindestens einem Objekt zu bestimmen und die Klassifizierung oder die Position mit der virtuellen Ground-Truth zu vergleichen.
  • Bei Beispiel 6 entsprechen die mehreren Positionen bei einem der Beispiele 1–5 geplanten Sensorpositionen an einem Fahrzeug.
  • Bei Beispiel 7 beinhalten die virtuellen Sensordaten bei einem der Beispiele 1–6 computererzeugte Bilder und/oder computererzeugte Radardaten und/oder computererzeugte LIDAR-Daten und/oder computererzeugte Ultraschalldaten.
  • Bei Beispiel 8 beinhaltet das Simulieren der 3D-Umgebung bei einem der Beispiele 1–7 zufälliges Erzeugen unterschiedlicher Bedingungen für Beleuchtung und/oder Wetter und/oder eine Position des einen oder der mehreren Objekte und/oder eine Klassifizierung oder Art des einen oder der mehreren Objekte.
  • Bei Beispiel 9 beinhaltet Erzeugen der virtuellen Sensordaten bei einem der Beispiele 1–8 periodisches Erzeugen der virtuellen Sensordaten während einer simulierten Bewegung des einen oder der mehreren Sensoren in der 3D-Umgebung.
  • Bei Beispiel 10 beinhaltet das Bestimmen der virtuellen Ground-Truth bei einem der Beispiele 1–9 Erzeugen eines Ground-Truth-Einzelbildes, das komplementär zu einem Einzelbild der virtuellen Sensordaten ist, wobei das Ground-Truth-Einzelbild den gleichen Farbwert für Pixel beinhaltet, die dem einen oder den mehreren Objekten entsprechen.
  • Beispiel 11 ist ein System, das eine Umgebungskomponente, eine Komponente für den virtuellen Sensor, eine Ground-Truth-Datenponente und eine Modellkomponente beinhaltet. Die Umgebungskomponente ist dazu konfiguriert, eine 3D-Umgebung zu simulieren, die ein oder mehrere virtuelle Objekte oder Hindernisse umfasst. Die Komponente für den virtuellen Sensor ist dazu konfiguriert, virtuelle Sensordaten für mehrere Positionen eines oder mehrerer Sensoren in der 3D-Umgebung zu erzeugen. Die Ground-Truth-Datenponente ist dazu konfiguriert, die virtuelle Ground-Truth, die jeder der mehreren Positionen entspricht, zu bestimmen, wobei die Ground-Truth Informationen über mindestens ein Hindernis des einen oder der mehreren Hindernisse beinhaltet. Die Modellkomponente ist dazu konfiguriert, die virtuellen Wahrnehmungsdaten und die Ground-Truth an einen Maschinenlernalgorithmus oder ein Maschinenlernmodell zum Trainieren oder Testen des Maschinenlernalgorithmus oder -modells bereitzustellen.
  • Bei Beispiel 12 ist die Modellkomponente bei Beispiel 11 dazu konfiguriert, den Maschinenlernalgorithmus oder das Maschinenlernmodell zu trainieren, wobei das Trainieren Bereitstellen von mindestens einem Teil der virtuellen Sensordaten und der entsprechenden virtuellen Ground-Truth beinhaltet, damit der Maschinenlernalgorithmus oder das Maschinenlernmodell trainiert wird, um eine Klassifizierung oder Position des mindestens einen Hindernisses zu bestimmen.
  • Bei Beispiel 13 ist die Modellkomponente bei einem der Beispiele 11–12 dazu konfiguriert, den Maschinenlernalgorithmus oder das Maschinenlernmodell zu testen. Das Testen beinhaltet Bereitstellen von mindestens einem Teil der virtuellen Sensordaten an den Maschinenlernalgorithmus oder das Maschinenlernmodell, um eine Klassifizierung oder Position des mindestens einen Hindernisses oder Objekts zu bestimmen, und Vergleichen der Klassifizierung oder der Position mit der virtuellen Ground-Truth.
  • Bei Beispiel 14 ist die Komponente für den virtuellen Sensor bei einem der Beispiele 11–13 dazu konfiguriert, virtuelle Sensordaten zu erzeugen, die computererzeugte Bilder und/oder computererzeugte Radardaten und/oder computererzeugte LIDAR-Daten und/oder computererzeugte Ultraschalldaten umfassen.
  • Bei Beispiel 15 ist die Umgebungskomponente bei einem der Beispiele 11–14 dazu konfiguriert, die 3D-Umgebung durch zufälliges Erzeugen unterschiedlicher Bedingungen für eine oder mehrere der mehreren Positionen zu simulieren, wobei die unterschiedlichen Bedingungen Beleuchtungsbedingungen und/oder Wetterbedingungen und/oder eine Position des einen oder der mehreren Hindernisse oder Objekte und/oder Abmessungen des einen oder der mehreren Hindernisse oder Objekte umfassen.
  • Beispiel 16 ist ein computerlesbares Speichermedium, das Anweisungen speichert, die, wenn sie durch einen oder mehrere Prozessoren ausgeführt werden, bewirken, dass der eine oder die mehreren Prozessoren virtuelle Sensordaten für mehrere Sensorpositionen in einer simulierten 3D-Umgebung, die ein oder mehrere virtuelle Objekte umfasst, erzeugen. Die Anweisungen bewirken, dass der eine oder die mehreren Prozessoren eine oder mehrere simulierte Bedingungen für jede der mehreren Positionen bestimmen, wobei die simulierten Bedingungen eine Klassifizierung und/oder eine Position und/oder eine Abmessung von mindestens einem Objekt des einen oder der mehreren Objekte umfassen. Die Anweisungen bewirken, dass der eine oder die mehreren Prozessoren die virtuellen Sensordaten mit den simulierten Bedingungen speichern und annotieren.
  • Bei Beispiel 17 bewirken die Anweisungen bei Beispiel 16 ferner, dass der eine oder die mehreren Prozessoren einen Maschinenlernalgorithmus oder ein Maschinenlernmodell basierend auf den virtuellen Sensordaten und/oder den simulierten Bedingungen trainieren oder testen.
  • Bei Beispiel 18 bewirken die Anweisungen bei einem der Beispiele 16–17 ferner, dass der Prozessor den Maschinenlernalgorithmus oder das Maschinenlernmodell trainiert, indem er mindestens einen Teil der virtuellen Sensordaten und die entsprechenden simulierten Bedingungen bereitstellt, damit der Maschinenlernalgorithmus oder das Maschinenlernmodell trainiert wird, um eine Klassifizierung und/oder eine Position und/oder eine Abmessung des mindestens einen Objekts zu bestimmen; und/oder den Maschinenlernalgorithmus oder das Maschinenlernmodell testet, indem er mindestens einen Teil der virtuellen Sensordaten an den Maschinenlernalgorithmus oder das Maschinenlernmodell bereitstellt, um eine Klassifizierung und/oder eine Position und/oder eine Abmessung des mindestens einen Objekts zu bestimmen, und eine ermittelte Klassifizierung, eine Position und eine Abmessung des mindestens einen Objekts mit den simulierten Bedingungen vergleicht.
  • Bei Beispiel 19 beinhaltet das Erzeugen der virtuellen Sensordaten bei einem der Beispiele 16–18 Simulieren der 3D-Umgebung durch ein zufälliges Auswählen einer oder mehrerer simulierter Bedingungen für eine oder mehrere der mehreren Positionen, wobei das zufällige Auswählen der einen oder mehreren simulierten Bedingungen ein zufälliges Auswählen der Beleuchtungsbedingungen und/oder Wetterbedingungen und/oder einer Position des einen oder der mehreren virtuellen Objekte und/oder der Abmessungen des einen oder der mehreren virtuellen Objekte umfasst.
  • Bei Beispiel 20 beinhaltet das Bestimmen der simulierten Bedingungen bei einem der Beispiele 16–19 ferner Erzeugen eines Ground-Truth-Einzelbildes, das komplementär zu einem Einzelbild der virtuellen Sensordaten ist, wobei das Ground-Truth-Einzelbild den gleichen Farbwert für Pixel umfasst, die dem mindestens einen Objekt entsprechen.
  • Beispiel 21 ist ein System oder eine Einrichtung, das bzw. die Mittel zum Implementieren eines Verfahrens oder Realisieren eines Systems oder einer Vorrichtung nach einem der Beispiele 1–20 beinhaltet.
  • In der obigen Offenbarung wurde auf die zugehörigen Zeichnungen Bezug genommen, die einen Teil hiervon bilden und in denen zur Veranschaulichung spezifische Implementierungen dargestellt sind, in denen die Offenbarung umgesetzt werden kann. Es versteht sich, dass andere Implementierungen verwendet werden können und strukturelle Änderungen durchgeführt werden können, ohne von dem Schutzumfang der vorliegenden Offenbarung abzuweichen. Verweise in der Patentschrift zu „einer Ausführungsform“, „einem Ausführungsbeispiel“ usw. geben an, dass die beschriebene Ausführungsform ein bestimmtes Merkmal, eine bestimmte Struktur oder Eigenschaft beinhalten kann, jede Ausführungsform aber nicht zwangsläufig das bestimmte Merkmal, die bestimmte Struktur oder Eigenschaft beinhalten kann. Darüber hinaus beziehen sich derartige Formulierungen nicht zwangsläufig auf dieselbe Ausführungsform. Des Weiteren wird, wenn ein bestimmtes Merkmal, eine bestimmte Struktur oder Eigenschaft in Verbindung mit einer Ausführungsform beschrieben ist, unterbreitet, dass ein Fachmann die Kenntnis aufweist, ein derartiges Merkmal, eine derartige Struktur oder Eigenschaft in Verbindung mit anderen Ausführungsformen, ob ausdrücklich beschrieben oder nicht, zu beeinflussen.
  • Wie vorliegend verwendet, kann „autonomes Fahrzeug“ ein Fahrzeug sein, das völlig unabhängig von einem menschlichen Fahrer handelt oder funktioniert; oder es kann ein Fahrzeug sein, das in manchen Fällen unabhängig von einem menschlichen Fahrer handelt oder funktioniert, während ein menschlicher Fahrer in anderen Fällen in der Lage sein kann, das Fahrzeug zu bedienen; oder es kann ein Fahrzeug sein, das überwiegend durch einen menschlichen Fahrer, aber mit der Unterstützung eines automatisierten Fahr-/Unterstützungssystems bedient wird.
  • Implementierungen der vorliegend offenbarten Systeme, Einrichtungen und Verfahren können einen Spezial- oder Allzweckcomputer, der Computerhardware, wie etwa zum Beispiel einen oder mehrere Prozessoren und Systemspeicher, beinhaltet, umfassen oder benutzen, wie vorliegend besprochen wird. Implementierungen innerhalb des Schutzumfangs der vorliegenden Offenbarung können auch physische und andere computerlesbare Medien zum Befördern oder Speichern von computerausführbaren Anweisungen und/oder Datenstrukturen beinhalten. Derartige computerlesbare Medien können beliebige verfügbare Medien sein, auf die durch ein Allzweck- oder Spezialcomputersystem zugegriffen werden kann. Computerlesbare Medien, die computerausführbare Anweisungen speichern, sind Computerspeichermedien(-einrichtungen). Computerlesbare Medien, die computerausführbare Anweisungen befördern, sind Übertragungsmedien. Somit können Implementierungen der Offenbarung beispielhalber und nicht darauf eingeschränkt mindestens zwei merklich unterschiedliche Arten von computerlesbaren Medien umfassen: Computerspeichermedien(-einrichtungen) und Übertragungsmedien.
  • Computerspeichermedien(-einrichtungen) beinhalten RAM, ROM, EEPROM, CD-ROM, Halbleiterfestplatten („SSDs“) (z.B. basierend auf RAM), Flash-Speicher, phasenwechselndern Speicher („PCM“), andere Arten von Speicher, anderen optischen Plattenspeicher, magnetischen Plattenspeicher oder andere magnetische Speichereinrichtungen oder ein beliebiges anderes Medium, das zum Speichern von gewünschten Programmcodemitteln in der Form von computerausführbaren Anweisungen oder Datenstrukturen verwendet werden kann, und auf die durch einen Allzweck- oder Spezialcomputer zugegriffen werden kann.
  • Eine Implementierung der vorliegend offenbarten Einrichtungen, Systeme und Verfahren kann über ein Computernetzwerk kommunizieren. Ein „Netzwerk“ ist als eine oder mehrere Datenverbindungen definiert, die den Transport von elektronischen Daten zwischen Computersystemen und/oder Modulen und/oder anderen elektronischen Einrichtungen ermöglichen. Wenn Informationen über ein Netzwerk oder eine andere Kommunikationsverbindung (entweder festverdrahtet, drahtlos oder eine Kombination aus festverdrahtet oder drahtlos) an einen Computer übermittelt oder bereitgestellt werden, sieht der Computer die Verbindung sachgemäß als ein Übertragungsmedium. Die Übertragungsmedien können ein Netzwerk und/oder Datenverbindungen beinhalten, die dazu verwendet werden können, gewünschte Programmcodemittel in der Form von computerausführbaren Anweisungen oder Datenstrukturen zu befördern und auf die durch einen Allzweck- oder Spezialcomputer zugegriffen werden kann. Kombinationen des oben Genannten sollten auch im Umfang von computerlesbaren Medien enthalten sein.
  • Computerausführbare Anweisungen umfassen zum Beispiel Anweisungen und Daten, die, wenn sie in einem Prozessor ausgeführt werden, verursachen, dass ein Allzweckcomputer, ein Spezialcomputer oder eine Spezialverarbeitungseinrichtung eine bestimmte Funktion oder Gruppe von Funktionen durchführt. Die computerausführbaren Anweisungen können zum Beispiel Binärprogramme, Zwischenformatanweisungen, wie etwa Assemblersprache, oder sogar Quellcode sein. Obwohl der Gegenstand in einer für strukturelle Merkmale und/oder methodische Handlungen spezifischen Sprache beschrieben worden ist, versteht es sich, dass der in den beigefügten Ansprüchen definierte Gegenstand nicht notwendigerweise auf die oben beschriebenen Merkmale oder Handlungen eingeschränkt ist. Vielmehr sind die beschriebenen Merkmale und Handlungen als beispielhafte Formen des Implementierens der Ansprüche offenbart.
  • Fachleute werden erkennen, dass die Offenbarung in Netzwerkdatenverarbeitungsumgebungen mit vielen Arten von Computersystemkonfigurationen umgesetzt werden kann, einschließlich eines Fahrzeugcomputers im Armaturenbrett, Personalcomputern, Desktopcomputern, Laptopcomputern, Nachrichtenprozessoren, Handeinrichtungen, Multiprozessorsystemen, Mikroprozessor-basierter oder programmierbarer Verbraucherelektronik, Netzwerk-PCs, Minicomputern, Großrechnern, Mobiltelefonen, PDAs, Tablets, Pagern, Routern, Schaltern, verschiedenen Speichereinrichtungen und dergleichen. Die Offenbarung kann auch in verteilten Systemumgebungen umgesetzt sein, bei denen lokale und entfernte Computersysteme, die (entweder durch festverdrahtete Datenverbindungen, drahtlose Datenverbindungen oder durch eine Kombination aus festverdrahteten und drahtlosen Datenverbindungen) durch ein Netzwerk verbunden sind, wobei beide Aufgaben ausführen. Bei einer verteilten Systemumgebung können sich Programmmodule sowohl in lokalen als auch entfernten Speichereinrichtungen befinden.
  • Außerdem können die vorliegend beschriebenen Funktionen, wenn angemessen, in Hardware und/oder Software und/oder Firmware und/oder digitalen Komponenten und/oder analogen Komponenten durchgeführt werden. Zum Beispiel können eine oder mehrere anwendungsspezifische integrierte Schaltungen (ASICs) programmiert sein, die vorliegend beschriebenen Systeme und/oder Verfahren auszuführen. Bestimmte Begriffe werden in der Beschreibung und in den Ansprüchen durchgehend verwendet, um bestimmte Systemkomponenten zu bezeichnen. Fachleute werden erkennen, dass Komponenten mit verschiedenen Bezeichnungen bezeichnet werden können. Dieses Dokument beabsichtigt nicht, zwischen Komponenten zu unterscheiden, die zwar unterschiedliche Bezeichnungen, aber die gleiche Funktion aufweisen.
  • Es ist anzumerken, dass die oben besprochenen Sensorausführungsformen Computerhardware, Software, Firmware oder eine beliebige Kombination davon zum Durchführen von mindestens einem Teil ihrer Funktionen umfassen können. Ein Sensor kann zum Beispiel Computercode beinhalten, der dazu konfiguriert ist, von einem oder mehreren Prozessoren ausgeführt zu werden, und kann durch den Computercode gesteuerte Hardwarelogik/elektrische Schaltkreise beinhalten. Diese beispielhaften Einrichtungen sind vorliegend für Zwecke der Veranschaulichung bereitgestellt und nicht als einschränkend anzusehen. Ausführungsformen der vorliegenden Offenbarung können in zusätzlichen Arten von Einrichtungen implementiert werden, wie Fachleuten bekannt sein würde.
  • Zumindest einige Ausführungen der Offenbarung sind auf Computerprogrammprodukte ausgelegt worden, die eine derartige auf einem beliebigen computerverwendbaren Medium gespeicherte Logik (z.B. in der Form von Software) umfassen. Eine derartige Software verursacht, dass eine Einrichtung wie vorliegend beschrieben funktioniert, wenn sie in einer oder mehreren Datenverarbeitungseinrichtungen ausgeführt wird.
  • Obwohl verschiedene Ausführungsformen der vorliegenden Offenbarung zuvor beschrieben worden sind, versteht es sich, dass sie lediglich beispielhalber und ohne Einschränkung präsentiert worden sind. Für Fachleute versteht es sich, dass verschiedene Veränderungen in der Form und in den Einzelheiten darin vorgenommen werden können, ohne von dem Gedanken und dem Schutzumfang der Offenbarung abzuweichen. Somit sollte der Umfang und der Schutzumfang der vorliegenden Offenbarung nicht durch irgendeine der zuvor beschriebenen Ausführungsbeispiele eingeschränkt werden, sondern sollte nur gemäß der folgenden Ansprüche und derer Äquivalente definiert werden. Die vorstehende Beschreibung wurde zu Zwecken der Veranschaulichung und Beschreibung dargelegt. Sie ist nicht als vollständig oder als die Offenbarung auf die exakte, offenbarte Form einschränkend auszulegen. Viele Modifikationen und Variationen sind angesichts der obigen Lehren möglich. Ferner versteht es sich, dass irgendeine oder alle der vorgenannten alternativen Implementierungen in einer beliebigen gewünschten Kombination zum Bilden von zusätzlichen hybriden Implementierungen der Offenbarung verwendet werden können.
  • Obwohl spezifische Implementierungen der Offenbarung beschrieben und veranschaulicht worden sind, ist die Offenbarung jedoch nicht auf die spezifischen Formen oder Anordnungen von so beschriebenen und veranschaulichten Teilen einzuschränken. Der Schutzumfang der Offenbarung soll durch die hier beigefügten Ansprüche, jegliche zukünftigen hier und in anderen Anmeldungen eingereichten Ansprüche und deren Äquivalente definiert werden.

Claims (20)

  1. Verfahren, das Folgendes umfasst: Simulieren einer dreidimensionalen (3D) Umgebung, die ein oder mehrere Objekte umfasst; Erzeugen von virtuellen Sensordaten für mehrere Positionen eines oder mehrerer Sensoren in der 3D-Umgebung; Bestimmen einer virtuellen Ground-Truth, die jeder der mehreren Positionen entspricht, wobei die Ground-Truth Informationen über mindestens ein Objekt in den virtuellen Sensordaten umfasst; und Speichern und Assoziieren der virtuellen Sensordaten und der virtuellen Ground-Truth.
  2. Verfahren nach Anspruch 1, das ferner Bereitstellen der virtuellen Sensordaten und/oder der virtuellen Ground-Truth zum Trainieren oder Testen eines Maschinenlernalgorithmus oder -modells umfasst.
  3. Verfahren nach Anspruch 2, wobei das Maschinenlernmodell oder der Maschinenlernalgorithmus ein neuronales Netzwerk umfasst.
  4. Verfahren nach Anspruch 2, wobei das eine oder die mehreren Objekte eine Parkbarriere umfassen und wobei das Trainieren des Maschinenlernalgorithmus oder -modells Bereitstellen von mindestens einem Teil der virtuellen Sensordaten und der entsprechenden virtuellen Ground-Truth umfasst, damit der Maschinenlernalgorithmus oder das Maschinenlernmodell trainiert wird, um eine Höhe und/oder eine Position der Parkbarriere zu bestimmen.
  5. Verfahren nach Anspruch 2, wobei das Testen des Maschinenlernalgorithmus oder -modells Bereitstellen von mindestens einem Teil der virtuellen Sensordaten an den Maschinenlernalgorithmus oder das Maschinenlernmodell umfasst, um eine Klassifizierung oder eine Position des mindestens einen Objekts zu bestimmen und die Klassifizierung oder die Position mit der virtuellen Ground-Truth zu vergleichen.
  6. Verfahren nach Anspruch 1, wobei die mehreren Positionen geplanten Positionen von Sensoren an einem Fahrzeug entsprechen.
  7. Verfahren nach Anspruch 1, wobei die virtuellen Sensordaten computererzeugte Bilder und/oder computererzeugte Radardaten und/oder computererzeugte LIDAR-Daten und/oder computererzeugte Ultraschalldaten umfassen.
  8. Verfahren nach Anspruch 1, wobei das Simulieren der 3D-Umgebung zufälliges Erzeugen unterschiedlicher Bedingungen für Beleuchtung und/oder Wetter und/oder eine Position des einen oder der mehreren Objekte und/oder eine Klassifizierung oder Art des einen oder der mehreren Objekte umfasst.
  9. Verfahren nach Anspruch 1, wobei das Erzeugen der virtuellen Sensordaten periodisches Erzeugen der virtuellen Sensordaten während einer simulierten Bewegung des einen oder der mehreren Sensoren in der 3D-Umgebung umfasst.
  10. Verfahren nach Anspruch 1, wobei das Bestimmen der virtuellen Ground-Truth Erzeugen eines Ground-Truth-Einzelbildes, das komplementär zu einem Einzelbild der virtuellen Sensordaten ist, umfasst, wobei das Ground-Truth-Einzelbild den gleichen Farbwert für Pixel umfasst, die dem einen oder den mehreren Objekten entsprechen.
  11. System, das Folgendes umfasst: eine Umgebungskomponente, die dazu konfiguriert ist, eine dreidimensionale (3D) Umgebung, die ein oder mehrere Objekte umfasst, zu simulieren; eine Komponente für den virtuellen Sensor, die dazu konfiguriert ist, virtuelle Sensordaten für mehrere Positionen eines oder mehrerer Sensoren in der 3D-Umgebung zu erzeugen; eine Ground-Truth-Datenponente, die dazu konfiguriert ist, die virtuelle Ground-Truth, die jeder der mehreren Positionen entspricht, zu bestimmen, wobei die Ground-Truth Informationen über mindestens ein Hindernis des einen oder der mehreren Hindernisse umfasst; und eine Modellkomponente, die dazu konfiguriert ist, die virtuellen Wahrnehmungsdaten und die Ground-Truth an ein Maschinenlernmodell oder einen Maschinenlernalgorithmus zum Trainieren oder Testen des Maschinenlernmodells oder -algorithmus bereitzustellen.
  12. System nach Anspruch 11, wobei die Modellkomponente dazu konfiguriert ist, den Maschinenlernalgorithmus oder das Maschinenlernmodell zu trainieren, wobei das Trainieren Folgendes umfasst: Bereitstellen von mindestens einem Teil der virtuellen Sensordaten und der entsprechenden virtuellen Ground-Truth, damit der Maschinenlernalgorithmus oder das Maschinenlernmodell trainiert wird, um eine Klassifizierung oder Position des mindestens einen Hindernisses zu bestimmen.
  13. System nach Anspruch 11, wobei die Modellkomponente dazu konfiguriert ist, den Maschinenlernalgorithmus oder das Maschinenlernmodell zu testen, wobei das Testen Folgendes umfasst: Bereitstellen von mindestens einem Teil der virtuellen Sensordaten an den Maschinenlernalgorithmus oder das Maschinenlernmodell, um eine Klassifizierung oder Position des mindestens einen Hindernisses zu bestimmen; und Vergleichen der Klassifizierung oder der Position mit der virtuellen Ground-Truth.
  14. System nach Anspruch 11, wobei die Komponente für den virtuellen Sensor dazu konfiguriert ist, virtuelle Sensordaten, die computererzeugte Bilder und/oder computererzeugte Radardaten und/oder computererzeugte LIDAR-Daten und/oder computererzeugte Ultraschalldaten umfassen, zu erzeugen.
  15. System nach Anspruch 11, wobei die Umgebungskomponente dazu konfiguriert ist, die 3D-Umgebung zu simulieren, indem sie unterschiedliche Bedingungen für eine oder mehrere der mehreren Positionen zufällig erzeugt, wobei die unterschiedlichen Bedingungen eine oder mehrere der folgenden umfasst: Beleuchtungsbedingungen; Wetterbedingungen; eine Position des einen oder der mehreren Hindernisse und Abmessungen des einen oder der mehreren Hindernisse.
  16. Computerlesbare Speichermedien, die Anweisungen speichern, die, wenn sie durch einen oder mehrere Prozessoren ausgeführt werden, bewirken, dass der eine oder die mehreren Prozessoren Folgendes durchführen: Erzeugen von virtuellen Sensordaten für mehrere Sensorpositionen in einer simulierten dreidimensionalen (3D) Umgebung, die ein oder mehrere Objekte umfasst; Bestimmen einer oder mehrerer simulierter Bedingungen für jede der mehreren Positionen, wobei die simulierten Bedingungen eine Klassifizierung und/oder eine Position und/oder eine Abmessung von mindestens einem Objekt des einen oder der mehreren Objekte umfassen; und Speichern und Annotieren der virtuellen Sensordaten mit den simulierten Bedingungen.
  17. Computerlesbarer Speicher nach Anspruch 16, wobei die Anweisungen ferner bewirken, dass der eine oder die mehreren Prozessoren einen Maschinenlernalgorithmus oder ein Maschinenlernmodell basierend auf den virtuellen Sensordaten und/oder den simulierten Bedingungen trainieren oder testen.
  18. Computerlesbarer Speicher nach Anspruch 17, wobei eines oder mehrere der Folgenden zutreffen: die Anweisungen bewirken, dass der eine oder die mehreren Prozessoren den Maschinenlernalgorithmus oder das Maschinenlernmodell trainieren, indem sie mindestens einen Teil der virtuellen Sensordaten und entsprechende simulierte Bedingungen bereitstellen, damit der Maschinenlernalgorithmus oder das Maschinenlernmodell trainiert wird, eine Klassifizierung und/oder eine Position und/oder eine Abmessung des mindestens einen Objekts zu bestimmen; und die Anweisungen bewirken, dass der eine oder die mehreren Prozessoren den Maschinenlernalgorithmus oder das Maschinenlernmodell testen, indem sie mindestens einen Teil der virtuellen Sensordaten an den Maschinenlernalgorithmus oder das Maschinenlernmodell bereitstellen, um eine Klassifizierung und/oder eine Position und/oder eine Abmessung des mindestens einen Objekts zu bestimmen, und eine ermittelte Klassifizierung, Position oder Abmessung des mindestens einen Objekts mit den simulierten Bedingungen vergleichen.
  19. Computerlesbarer Speicher nach Anspruch 16, wobei das Erzeugen der virtuellen Sensordaten Simulieren der 3D-Umgebung durch zufälliges Auswählen einer oder mehrerer der simulierten Bedingungen für eine oder mehrere der mehreren Positionen umfasst, wobei das zufällige Auswählen der einen oder mehreren simulierten Bedingungen ein zufälliges Auswählen von einem oder mehreren der Folgenden umfasst: Beleuchtungsbedingungen; Wetterbedingungen; eine Position des einen oder der mehreren Objekte und Abmessungen des einen oder der mehreren Objekte.
  20. Computerlesbarer Speicher nach Anspruch 16, wobei das Bestimmen der simulierten Bedingungen ferner Erzeugen eines Ground-Truth-Einzelbildes, das komplementär zu einem Einzelbild der virtuellen Sensordaten ist, umfasst, wobei das Ground-Truth-Einzelbild den gleichen Farbwert für Pixel umfasst, die dem mindestens einen Objekt entsprechen.
DE102016123887.2A 2015-12-18 2016-12-08 Virtuelle sensordatenerzeugung zur radanschlagdetektion Withdrawn DE102016123887A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/975,177 2015-12-18
US14/975,177 US9740944B2 (en) 2015-12-18 2015-12-18 Virtual sensor data generation for wheel stop detection

Publications (1)

Publication Number Publication Date
DE102016123887A1 true DE102016123887A1 (de) 2017-06-22

Family

ID=58222038

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102016123887.2A Withdrawn DE102016123887A1 (de) 2015-12-18 2016-12-08 Virtuelle sensordatenerzeugung zur radanschlagdetektion

Country Status (6)

Country Link
US (2) US9740944B2 (de)
CN (1) CN107031656B (de)
DE (1) DE102016123887A1 (de)
GB (1) GB2547745A (de)
MX (1) MX2016016803A (de)
RU (1) RU2016149163A (de)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019201580A1 (de) * 2018-04-17 2019-10-24 Psa Automobiles Sa Erprobung eines fahrzeugs mit simulierten verkehrsteilnehmern
CN111292353A (zh) * 2020-01-21 2020-06-16 成都恒创新星科技有限公司 一种停车状态变化识别方法
WO2024061967A1 (de) * 2022-09-21 2024-03-28 Friedrich-Alexander-Universität Erlangen-Nürnberg System, verfahren, computerprogramm und computerlesbares medium zur erzeugung annotierter daten
EP4411418A3 (de) * 2017-07-19 2024-10-23 INTEL Corporation Kompensation eines sensormangels bei einer heterogenen sensoranordnung

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9836895B1 (en) * 2015-06-19 2017-12-05 Waymo Llc Simulating virtual objects
US20170206426A1 (en) * 2016-01-15 2017-07-20 Ford Global Technologies, Llc Pedestrian Detection With Saliency Maps
US10055675B2 (en) * 2016-06-15 2018-08-21 Ford Global Technologies, Llc Training algorithm for collision avoidance using auditory data
EP4283563A3 (de) * 2016-06-27 2024-05-29 Mobileye Vision Technologies Ltd. Steuerung eines hostfahrzeugs basierend auf erfassten geparkten fahrzeugeigenschaften
CN115686005A (zh) * 2016-06-28 2023-02-03 柯尼亚塔有限公司 训练自动驾驶系统的虚拟模型的系统及计算机执行方法
US10521677B2 (en) * 2016-07-14 2019-12-31 Ford Global Technologies, Llc Virtual sensor-data-generation system and method supporting development of vision-based rain-detection algorithms
US20180025640A1 (en) * 2016-07-19 2018-01-25 Ford Global Technologies, Llc Using Virtual Data To Test And Train Parking Space Detection Systems
US10489529B2 (en) 2016-10-14 2019-11-26 Zoox, Inc. Scenario description language
US10460053B2 (en) * 2017-04-24 2019-10-29 Toyota Research Institute, Inc. Systems and methods for surface property identification using waveform classification
CN106971610B (zh) * 2017-04-28 2018-03-23 北京摩拜科技有限公司 确定物体处于目标区域的方法、停车管理设备和系统
US11487988B2 (en) * 2017-08-31 2022-11-01 Ford Global Technologies, Llc Augmenting real sensor recordings with simulated sensor data
US10831202B1 (en) * 2017-09-01 2020-11-10 Zoox, Inc. Onboard use of scenario description language
US10755142B2 (en) * 2017-09-05 2020-08-25 Cognizant Technology Solutions U.S. Corporation Automated and unsupervised generation of real-world training data
EP3714291A4 (de) 2017-12-07 2021-08-11 Ouster, Inc. Vorrichtung und verwendung eines fahrzeuglichtentfernungsmessungssystems
US10782699B2 (en) * 2018-03-10 2020-09-22 Baidu Usa Llc Real-time perception adjustment and driving adaption based on surrounding vehicles' behavior for autonomous driving vehicles
US11091169B2 (en) 2018-03-23 2021-08-17 Infineon Technologies Ag Advanced driver assistance systems test-interface for automated driving sensors
WO2019191306A1 (en) * 2018-03-27 2019-10-03 Nvidia Corporation Training, testing, and verifying autonomous machines using simulated environments
US10915159B2 (en) * 2018-04-03 2021-02-09 GM Global Technology Operations LLC Method of controlling a vehicle to adjust perception system energy usage
US11354459B2 (en) 2018-05-08 2022-06-07 Microsoft Technology Licensing, Llc Computer vision and speech algorithm design service
US11087176B2 (en) * 2018-05-08 2021-08-10 Microsoft Technology Licensing, Llc Spatial localization design service
US11164016B2 (en) * 2018-05-17 2021-11-02 Uatc, Llc Object detection and property determination for autonomous vehicles
KR102464863B1 (ko) * 2018-06-01 2022-11-09 탈레스 캐나다 아이엔씨 신경망을 사용하는 데이터 인코딩 및/또는 디코딩 시스템 및 방법
US10657656B2 (en) 2018-06-15 2020-05-19 International Business Machines Corporation Virtual generation of labeled motion sensor data
US20200020117A1 (en) * 2018-07-16 2020-01-16 Ford Global Technologies, Llc Pose estimation
US10754344B2 (en) * 2018-07-19 2020-08-25 Toyota Research Institute, Inc. Method and apparatus for road hazard detection
US10762394B2 (en) 2018-07-31 2020-09-01 Intel Corporation System and method for 3D blob classification and transmission
US10887574B2 (en) 2018-07-31 2021-01-05 Intel Corporation Selective packing of patches for immersive video
US10819968B2 (en) * 2018-07-31 2020-10-27 Intel Corporation Neural network based patch blending for immersive video
US11178373B2 (en) 2018-07-31 2021-11-16 Intel Corporation Adaptive resolution of point cloud and viewpoint prediction for video streaming in computing environments
US10893299B2 (en) 2018-07-31 2021-01-12 Intel Corporation Surface normal vector processing mechanism
US11212506B2 (en) 2018-07-31 2021-12-28 Intel Corporation Reduced rendering of six-degree of freedom video
US10816979B2 (en) 2018-08-24 2020-10-27 Baidu Usa Llc Image data acquisition logic of an autonomous driving vehicle for capturing image data using cameras
KR102682524B1 (ko) * 2018-09-11 2024-07-08 삼성전자주식회사 증강 현실에서 가상 객체를 표시하기 위한 측위 방법 및 장치
EP3624001B1 (de) * 2018-09-13 2024-05-01 Volvo Car Corporation Verfahren und systeme zur einparkmarkierungsdetektion und -paarung und zur parkplatzdetektion und -klassifizierung
JP7011082B2 (ja) * 2018-09-21 2022-01-26 本田技研工業株式会社 車両検査システム
US11651244B2 (en) * 2018-10-04 2023-05-16 Here Global B.V. Method and apparatus for predicting sensor error
DE102019127349A1 (de) 2018-10-10 2020-04-16 Intel Corporation Punktwolkencodierungsstandard-konformitätsdefintion in computerumgebungen
US11057631B2 (en) 2018-10-10 2021-07-06 Intel Corporation Point cloud coding standard conformance definition in computing environments
US11734472B2 (en) * 2018-12-07 2023-08-22 Zoox, Inc. System and method for modeling physical objects in a simulation
US10769949B2 (en) * 2018-12-19 2020-09-08 Toyota Motor North America, Inc. Parking facilitation systems and methods
CN109815555B (zh) * 2018-12-29 2023-04-18 百度在线网络技术（北京）有限公司 自动驾驶车辆的环境建模能力评估方法及系统
US10628688B1 (en) * 2019-01-30 2020-04-21 Stadvision, Inc. Learning method and learning device, and testing method and testing device for detecting parking spaces by using point regression results and relationship between points to thereby provide an auto-parking system
US11422265B2 (en) 2019-03-04 2022-08-23 Ouster, Inc. Driver visualization and semantic monitoring of a vehicle using LiDAR data
CN111717193B (zh) * 2019-03-19 2021-09-24 广州汽车集团股份有限公司 一种自动泊车方法和自动泊车系统
US11016496B2 (en) 2019-04-10 2021-05-25 Argo AI, LLC Transferring synthetic LiDAR system data to real world domain for autonomous vehicle training applications
CN110082122B (zh) * 2019-04-29 2020-05-05 清华大学 一种智能网联车测试平台
US11269077B2 (en) * 2019-06-28 2022-03-08 Baidu Usa Llc Flexible test board to improve sensor i/o coverage for autonomous driving platform
US11541882B2 (en) 2019-09-24 2023-01-03 Volvo Car Corporation Low-impact collision detection
US11681032B2 (en) 2020-01-30 2023-06-20 Pony Ai Inc. Sensor triggering based on sensor simulation
US20210245047A1 (en) 2020-02-10 2021-08-12 Intel Corporation Continuum architecture for cloud gaming
US20210390778A1 (en) * 2020-06-10 2021-12-16 Nvidia Corporation Environment generation using one or more neural networks
WO2022139783A1 (en) * 2020-12-21 2022-06-30 Intel Corporation High end imaging radar
CN112289074A (zh) * 2020-12-24 2021-01-29 南京酷朗电子有限公司 基于停车位监控摄像的引导车辆驾驶的方法
US11763497B2 (en) 2021-10-19 2023-09-19 Toyota Motor Engineering & Manufacturing North America, Inc. Methods and systems for generating simulated datasets for fisheye camera applications
US20230204738A1 (en) * 2021-12-27 2023-06-29 Gm Cruise Holdings Llc Emulation of a lidar sensor using historical data collected by a lidar having different intrinsic attributes
CN115100377B (zh) * 2022-07-15 2024-06-11 小米汽车科技有限公司 地图构建方法、装置、车辆、可读存储介质及芯片
CN115743098B (zh) * 2023-01-04 2023-04-28 小米汽车科技有限公司 泊车方法、装置、存储介质、电子设备及车辆

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6236908B1 (en) * 1997-05-07 2001-05-22 Ford Global Technologies, Inc. Virtual vehicle sensors based on neural networks trained using data generated by simulation models
KR100418756B1 (ko) 2000-12-30 2004-02-18 현대자동차주식회사 가상주행 내구 해석방법
ES2391556T3 (es) * 2002-05-03 2012-11-27 Donnelly Corporation Sistema de detección de objetos para vehículo
JP4578795B2 (ja) * 2003-03-26 2010-11-10 富士通テン株式会社 車両制御装置、車両制御方法および車両制御プログラム
KR100561863B1 (ko) * 2004-02-19 2006-03-16 삼성전자주식회사 가상 센서를 이용한 로봇의 네비게이션 방법 및 장치
US7609893B2 (en) * 2004-03-03 2009-10-27 Trw Automotive U.S. Llc Method and apparatus for producing classifier training images via construction and manipulation of a three-dimensional image model
US20080097942A1 (en) * 2004-07-26 2008-04-24 Koninklijke Philips Electronics, N.V. System and Method for Automated Suspicious Object Boundary Determination
US7613569B2 (en) * 2005-07-19 2009-11-03 Toyota Motor Engineering & Manufacturing North America, Inc. Crash prediction network with visual input for vehicle
JP4735841B2 (ja) 2006-04-18 2011-07-27 株式会社デンソー 車両走行試験機
DE102007006041A1 (de) 2006-12-22 2008-06-26 Daimler Ag Bordstein-Prüfstand
US8740692B2 (en) * 2007-05-15 2014-06-03 Shfl Entertainment, Inc. Method and apparatus for variable contribution progressive jackpots
JP2009092383A (ja) 2007-10-03 2009-04-30 Toyota Motor Corp 障害物検知センサ搭載シミュレーション装置、障害物検知センサ搭載シミュレーション方法及び障害物検知センサ搭載シミュレーションプログラム
GB2457267B (en) * 2008-02-07 2010-04-07 Yves Dassas A method and system of indexing numerical data
DE102008001256A1 (de) * 2008-04-18 2009-10-22 Robert Bosch Gmbh Verkehrsobjekt-Erkennungssystem, Verfahren zum Erkennen eines Verkehrsobjekts und Verfahren zum Einrichten eines Verkehrsobjekt-Erkennungssystems
US8190295B1 (en) * 2008-05-14 2012-05-29 Sandia Corporation Apparatus and method for modifying the operation of a robotic vehicle in a real environment, to emulate the operation of the robotic vehicle operating in a mixed reality environment
FR2941537B1 (fr) * 2009-01-29 2016-02-05 Valeo Vision Sas Procede de surveillance de l'environnement d'un vehicule automobile
JP5216690B2 (ja) * 2009-06-01 2013-06-19 株式会社日立製作所 ロボット管理システム、ロボット管理端末、ロボット管理方法およびプログラム
US8306333B2 (en) * 2009-12-17 2012-11-06 National Tsing Hua University Method and system for automatic figure segmentation
US8331650B2 (en) * 2010-07-29 2012-12-11 Sharp Laboratories Of America, Inc. Methods, systems and apparatus for defect detection
JP5667594B2 (ja) * 2012-03-15 2015-02-12 株式会社小松製作所 障害物検出機構付きダンプトラックおよびその障害物検出方法
US9168924B2 (en) 2012-03-26 2015-10-27 GM Global Technology Operations LLC System diagnosis in autonomous driving
AT511131B1 (de) 2012-05-25 2013-09-15 Avl List Gmbh Verfahren zum Testen eines Fahrzeugs oder einer Komponente eines Fahrzeugs
DE102012215057A1 (de) * 2012-08-24 2014-02-27 Robert Bosch Gmbh Fahrerassistenzsystem
EP2712762B1 (de) * 2012-09-28 2021-09-01 Valeo Siemens eAutomotive Germany GmbH Positioniersystem und Verfahren zur Positionierung eines Fahrzeuges
US20140140590A1 (en) * 2012-11-21 2014-05-22 Microsoft Corporation Trends and rules compliance with depth video
KR101515496B1 (ko) * 2013-06-12 2015-05-04 국민대학교산학협력단 가상현실에서 변동되는 장애물 정보를 반영한 무인 자동차의 자율 주행 시뮬레이션 시스템
WO2015013908A1 (en) * 2013-07-31 2015-02-05 Microsoft Corporation Geodesic saliency using background priors
US9720411B2 (en) * 2014-02-25 2017-08-01 Ford Global Technologies, Llc Autonomous driving sensing system and method
US9481295B2 (en) * 2014-03-22 2016-11-01 Ford Global Technologies, Llc Emergency vehicle maneuver communications
US9710925B2 (en) * 2014-06-08 2017-07-18 The Board Of Trustees Of The Leland Stanford Junior University Robust anytime tracking combining 3D shape, color, and motion with annealed dynamic histograms
JP6417804B2 (ja) * 2014-09-11 2018-11-07 富士ゼロックス株式会社 プリンタシステム、プリンタシステム制御プログラム
US20160286351A1 (en) * 2015-03-24 2016-09-29 Exactigo, Inc. Indoor navigation anomaly detection
US20160314224A1 (en) * 2015-04-24 2016-10-27 Northrop Grumman Systems Corporation Autonomous vehicle simulation system
CN105128857B (zh) * 2015-09-02 2017-11-14 郑州宇通客车股份有限公司 一种汽车自主驾驶控制方法和一种汽车自主驾驶系统
US9720415B2 (en) * 2015-11-04 2017-08-01 Zoox, Inc. Sensor-based object-detection optimization for autonomous vehicles
US9507346B1 (en) * 2015-11-04 2016-11-29 Zoox, Inc. Teleoperation system and method for trajectory modification of autonomous vehicles
KR102459677B1 (ko) * 2015-11-05 2022-10-28 삼성전자주식회사 알고리즘 학습 방법 및 장치
US10068385B2 (en) * 2015-12-15 2018-09-04 Intel Corporation Generation of synthetic 3-dimensional object images for recognition systems
US10019652B2 (en) * 2016-02-23 2018-07-10 Xerox Corporation Generating a virtual world to assess real-world video analysis performance

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4411418A3 (de) * 2017-07-19 2024-10-23 INTEL Corporation Kompensation eines sensormangels bei einer heterogenen sensoranordnung
WO2019201580A1 (de) * 2018-04-17 2019-10-24 Psa Automobiles Sa Erprobung eines fahrzeugs mit simulierten verkehrsteilnehmern
CN111292353A (zh) * 2020-01-21 2020-06-16 成都恒创新星科技有限公司 一种停车状态变化识别方法
CN111292353B (zh) * 2020-01-21 2023-12-19 成都恒创新星科技有限公司 一种停车状态变化识别方法
WO2024061967A1 (de) * 2022-09-21 2024-03-28 Friedrich-Alexander-Universität Erlangen-Nürnberg System, verfahren, computerprogramm und computerlesbares medium zur erzeugung annotierter daten

Also Published As

Publication number Publication date
CN107031656B (zh) 2021-12-10
US9740944B2 (en) 2017-08-22
US20170177954A1 (en) 2017-06-22
MX2016016803A (es) 2018-06-15
GB2547745A (en) 2017-08-30
RU2016149163A (ru) 2018-06-20
US20170293816A1 (en) 2017-10-12
US10635912B2 (en) 2020-04-28
CN107031656A (zh) 2017-08-11
GB201621103D0 (en) 2017-01-25

Similar Documents

Publication Publication Date Title
DE102016123887A1 (de) Virtuelle sensordatenerzeugung zur radanschlagdetektion
DE102017115197A1 (de) Erzeugung von virtuellen sensordaten für die erfassung von polleraufnahmen
DE102016120507B4 (de) Prädizieren von fahrzeugbewegungen anhand von fahrerkörpersprache
DE102012207620B4 (de) System und Verfahren für die Lichtsignaldetektierung
DE102018105417A1 (de) Fahrzeugortung unter verwendung von kameras
DE102018121019A1 (de) Erweitern von realen sensoraufzeichnungen mit simulierten sensordaten
DE102019131384A1 (de) Strassenbelagcharakterisierung unter verwendung von posenbeobachtungen von benachbarten fahrzeugen
DE102017100198A1 (de) Fixierungserzeugung für maschinenlernen
DE102016100428A1 (de) In virtuellen Umgebungen verfeinertes autonomes Fahren
DE112018000479T5 (de) Ereignisvorhersagesystem, Ereignisvorhersageverfahren, Aufzeichnungsmedium und sich bewegender Körper
DE102017113572A1 (de) Spurerkennungssysteme und -verfahren
DE102016100416A1 (de) Prüfstand für virtuelle Sensoren
DE102017123180A1 (de) Rückwertige Hinderniserkennung und Abstandsschätzung
DE102017120707A1 (de) Wassertiefenerkennung zur fahrzeugnavigation
DE102016100492A1 (de) Virtueller autonomer Antwortprüfstand
DE102019127229A1 (de) System und verfahren zum bestimmen einer vertrautheit eines fahrzeugdatensatzes
DE102012208974A1 (de) System und Verfahren zum sensorbasierten Aufbauen eines Umgebungsmodells
DE102014220681A1 (de) Verkehrssignalvorhersage
DE102019127190A1 (de) System und verfahren zum beurteilen des bekanntseins eines gelernten fahrzeugdatensatzes eines fahrerassistenzsystems
DE102018108361A1 (de) Laubwerkerfassungstrainingssysteme und -verfahren
DE112021006932B4 (de) Fahrunterstützungsvorrichtung, Fahrunterstützungssystem, Fahrunterstützungsverfahren und Fahrunterstützungsprogramm
DE102013227222A1 (de) Gerät und Verfahren für das Extrahieren eines Merkmalpunktes zum Erkennen eines Hindernisses, wobei ein Laserscanner benutzt wird
DE112019000352T5 (de) Bekannte spurabstände für automatisiertes fahren
DE102021124810A1 (de) Neuronales fahrzeugnetzwerk
DE102021104323A1 (de) Vorfahrtsgewährungentscheidung eines fahrzeugs

Legal Events

Date Code Title Description
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06F0019000000

Ipc: G16Z0099000000

R005 Application deemed withdrawn due to failure to request examination