DE102022103060A1 - Automatisches detektieren von verkehrssignalen unter verwendung von sensordaten - Google Patents

Automatisches detektieren von verkehrssignalen unter verwendung von sensordaten Download PDF

Info

Publication number
DE102022103060A1
DE102022103060A1 DE102022103060.1A DE102022103060A DE102022103060A1 DE 102022103060 A1 DE102022103060 A1 DE 102022103060A1 DE 102022103060 A DE102022103060 A DE 102022103060A DE 102022103060 A1 DE102022103060 A1 DE 102022103060A1
Authority
DE
Germany
Prior art keywords
image
traffic signal
determining
sensor data
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102022103060.1A
Other languages
English (en)
Inventor
Dhananjai Sharma
Bartolomeo Della Corte
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Motional AD LLC
Original Assignee
Motional AD LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Motional AD LLC filed Critical Motional AD LLC
Publication of DE102022103060A1 publication Critical patent/DE102022103060A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18154—Approaching an intersection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B60W60/0016—Planning or execution of driving tasks specially adapted for safety of the vehicle or its occupants
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0133—Traffic data processing for classifying traffic situation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0145—Measuring and analyzing of parameters relative to traffic conditions for specific applications for active traffic flow control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/20—Static objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/60—Traffic rules, e.g. speed limits or right of way
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/07—Controlling traffic signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Atmospheric Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

Es sind Verfahren zum automatischen Detektieren von Verkehrssignalen unter Verwendung von Sensordaten bereitgestellt. Die Verfahren können beinhalten: Erhalten erster Sensordaten und zweiter Sensordaten bezüglich einer Umgebung eines autonomen Fahrzeugs, wobei die ersten Sensordaten mindestens ein Bild der Umgebung repräsentieren, das durch mindestens einen Bildsensor des autonomen Fahrzeugs erzeugt wird, wobei die zweiten Sensordaten eine dreidimensionale Punktwolke repräsentieren, die mit der Umgebung assoziiert ist, und wobei die zweiten Sensordaten durch mindestens einen Entfernungsmessungssensor des autonomen Fahrzeugs erzeugt werden. Das Verfahren kann auch Bestimmen eines Teils des mindestens einen Bildes, der einem Verkehrssignal in der Umgebung entspricht, Bestimmen eines Punktclusters der Punktwolke, der dem Teil des mindestens einen Bildes entspricht, und Bestimmen eines Ortes des Verkehrssignals basierend auf dem Punktcluster beinhalten. Es sind auch Systeme und Computerprogrammprodukte bereitgestellt.

Description

  • HINTERGRUND
  • Verkehrssignale sind Signalisierungsvorrichtungen, die zum Regeln des Verkehrsflusses entlang einer oder mehrerer Straßen verwendet werden. Als ein Beispiel können Verkehrssignale den Fluss von Fahrzeug- und/oder Fußgängerverkehr über eine Kreuzung (z. B. ein Zusammenlauf von zwei oder mehr Straßen) regeln. Beispielsweise können die Verkehrssignale anweisen, dass Verkehr, der in eine erste Richtung fährt, über die Kreuzung fährt, während sie gleichzeitig anweisen, dass Verkehr, der in eine zweite Richtung fährt, vor der Kreuzung anhält, sodass keine Kollision auftritt.
  • Figurenliste
    • 1 ist eine beispielhafte Umgebung, in der ein Fahrzeug, das eine oder mehrere Komponenten eines autonomen Systems beinhaltet, implementiert werden kann;
    • 2 ist ein Diagramm eines oder mehrerer Systeme eines Fahrzeugs, das ein autonomes System beinhaltet;
    • 3 ist ein Diagramm von Komponenten einer oder mehrerer Vorrichtungen und/oder eines oder mehrerer Systeme der 1 und 2;
    • 4 ist ein Diagramm für einen beispielhaften autonomen Fahrzeugcomputer;
    • 5 ist ein Diagramm für ein beispielhaftes Verkehrssignaldetektionssystem;
    • 6A-6C sind Diagramme für beispielhafte Operationen, die durch ein Verkehrssignaldetektionssystem durchgeführt werden;
    • 7A ist ein Diagramm einer Implementierung eines neuronalen Netzwerks;
    • 7B und 7C sind Diagramme, die einen beispielhaften Betrieb eines neuronalen Netzwerks veranschaulichen;
    • 8 ist ein Flussdiagramm eines Prozesses zum automatischen Detektieren von Verkehrssignalen unter Verwendung von Sensordaten.
  • AUSFÜHRLICHE BESCHREIBUNG
  • In der folgenden Beschreibung werden zahlreiche spezifische Einzelheiten dargelegt, um ein umfassendes Verständnis der vorliegenden Offenbarung für Erläuterungszwecke bereitzustellen. Es versteht sich jedoch, dass die durch die vorliegende Offenbarung beschriebenen Ausführungsformen ohne diese spezifischen Einzelheiten umgesetzt werden können. In manchen Fällen sind wohlbekannte Strukturen und Vorrichtungen in Blockdiagrammform veranschaulicht, um zu verhindern, die Aspekte der vorliegenden Offenbarung unnötig unklar zu machen.
  • Spezifische Anordnungen oder Ordnungen schematischer Elemente, wie etwa jenen, die Systeme, Vorrichtungen, Module, Anweisungsblöcke, Datenelemente und/oder dergleichen repräsentieren, sind zur Vereinfachung der Beschreibung in den Zeichnungen veranschaulicht. Fachleute auf dem Gebiet werden jedoch verstehen, dass die spezifische Ordnung oder Anordnung der schematischen Elemente in den Zeichnungen nicht andeuten soll, dass eine spezielle Verarbeitungsreihenfolge oder -abfolge oder Trennung von Prozessen erforderlich ist, insofern nicht ausdrücklich derartig beschrieben. Ferner soll der Einschluss eines schematischen Elements in einer Zeichnung nicht andeuten, dass ein solches Element in allen Ausführungsformen erforderlich ist oder dass die durch ein solches Element repräsentierten Merkmale möglicherweise bei manchen Ausführungsformen nicht in anderen Elementen enthalten sind oder mit diesen kombiniert werden, insofern nicht ausdrücklich derartig beschrieben.
  • Ferner soll in den Zeichnungen, in denen Verbindungselemente wie etwa durchgezogene oder gestrichelte Linien oder Pfeile verwendet werden, um eine Verbindung, Beziehung oder Zuordnung zwischen oder unter zwei oder mehr anderen schematischen Elementen zu veranschaulichen, das Nichtvorhandensein jeglicher solcher Verbindungselemente nicht andeuten, dass keine Verbindung, Beziehung oder Zuordnung bestehen kann. Mit anderen Worten sind manche Verbindungen, Beziehungen oder Zuordnungen zwischen Elementen in den Zeichnungen nicht veranschaulicht, um die Offenbarung nicht unklar zu machen. Zusätzlich kann zur Vereinfachung der Veranschaulichung ein einzelnes Verbindungselement verwendet werden, um mehrere Verbindungen, Beziehungen oder Zuordnungen zwischen Elementen zu repräsentieren. Wenn ein Verbindungselement eine Kommunikation von Signalen, Daten oder Anweisungen (z. B. „Softwareanweisungen“) repräsentiert, sollten Fachleute auf dem Gebiet beispielsweise verstehen, dass ein solches Element einen oder mehrere Signalpfade (z. B. einen Bus) repräsentieren kann, wie erforderlich, um die Kommunikation zu bewirken.
  • Obwohl die Begriffe erster, zweiter, dritter und/oder dergleichen verwendet werden, um verschiedene Elemente zu beschreiben, sollten diese Elemente nicht durch diese Begriffe eingeschränkt werden. Die Begriffe erster, zweiter, dritter und/oder dergleichen werden nur verwendet, um ein Element von einem anderen zu unterscheiden. Beispielsweise könnte ein erster Kontakt als ein zweiter Kontakt bezeichnet werden und gleichermaßen könnte ein zweiter Kontakt als ein erster Kontakt bezeichnet werden, ohne vom Schutzumfang der beschriebenen Ausführungsformen abzuweichen. Sowohl der erste Kontakt als auch der zweite Kontakt sind Kontakte, sie sind aber nicht derselbe Kontakt.
  • Die in der Beschreibung der verschiedenen beschriebenen Ausführungsformen hierin verwendete Terminologie ist nur zum Zweck der Beschreibung spezieller Ausführungsformen enthalten und soll nicht beschränkend sein. Wie in der Beschreibung der verschiedenen beschriebenen Ausführungsformen und in den angehängten Ansprüchen verwendet, sollen die Singularformen „ein“, „eine“ und „der/die/das“ auch die Pluralformen einschließen und können austauschbar mit „ein/e oder mehrere“ oder „mindestens ein/e“ verwendet werden, insofern der Zusammenhang deutlich nicht etwas anderes angibt. Es versteht sich auch, dass sich der Begriff „und/oder“, wie hierin verwendet, auf jegliche und alle möglichen Kombinationen eines oder mehrerer der assoziierten aufgelisteten Punkte bezieht und einschließt. Es versteht sich ferner, dass die Begriffe „beinhaltet“, „einschließlich“, „umfasst“ und/oder „umfassend“, wenn in dieser Beschreibung verwendet, das Vorhandensein genannter Merkmale, Ganzzahlen, Schritte, Operationen, Elemente und/oder Komponenten spezifiziert, aber nicht das Vorhandensein oder den Zusatz eines/einer oder mehrerer anderer Merkmale, Ganzzahlen, Schritte, Operationen, Elemente, Komponenten und/oder Gruppen davon ausschließt.
  • Wie hierin verwendet, beziehen sich die Begriffe „Kommunikation“ und „kommunizieren“ auf den Empfang und/oder den Erhalt und/oder die Übertragung und/oder den Transfer und/oder die Bereitstellung und/oder dergleichen von Informationen (oder Informationen, die beispielsweise durch Daten, Signale, Nachrichten, Anweisungen, Befehle und/oder dergleichen repräsentiert werden). Dass eine Einheit (z. B. eine Vorrichtung, ein System, eine Komponente einer Vorrichtung oder eines Systems, Kombinationen davon und/oder dergleichen) in Kommunikation mit einer anderen Einheit steht, bedeutet, dass die eine Einheit in der Lage ist, direkt oder indirekt Informationen von der anderen Einheit zu empfangen und/oder zu dieser zu senden (z. B. zu übertragen). Dies kann sich auf eine direkte oder indirekte Verbindung beziehen, die drahtgebunden und/oder drahtlos ist. Zusätzlich können zwei Einheiten in Kommunikation miteinander stehen, selbst wenn die übertragenen Informationen zwischen der ersten und zweiten Einheit modifiziert, verarbeitet, weitergeleitet und/oder geroutet werden. Beispielsweise kann eine erste Einheit in Kommunikation mit einer zweiten Einheit stehen, selbst wenn die erste Einheit Informationen passiv empfängt und nicht aktiv Informationen zu der zweiten Einheit überträgt. Als ein anderes Beispiel kann eine erste Einheit in Kommunikation mit einer zweiten Einheit stehen, falls mindestens eine Zwischeneinheit (z. B. eine dritte Einheit, die sich zwischen der ersten Einheit und der zweiten Einheit befindet) von der ersten Einheit empfangene Informationen verarbeitet und die verarbeiteten Informationen zu der zweiten Einheit überträgt. In manchen Ausführungsformen kann sich eine Nachricht auf ein Netzwerkpaket (z. B. ein Datenpaket und/oder dergleichen) beziehen, das Daten beinhaltet.
  • Wie hierin verwendet, soll der Begriff „falls“ optional so ausgelegt werden, dass er in oder Abhängigkeit vom Zusammenhang „wenn“, „bei“, „als Reaktion auf das Bestimmen“, „als Reaktion auf das Detektieren“ und/oder dergleichen bedeutet. Gleichermaßen wird der Ausdruck „falls bestimmt wird“ oder „falls [eine angegebene Bedingung oder ein angegebenes Ereignis] detektiert wird“ optional als „beim Bestimmen“, „als Reaktion auf das Bestimmen“, „beim Detektieren [der angegebenen Bedingung oder des angegebenen Ereignisses]“, „als Reaktion auf das Detektieren [der angegebenen Bedingung oder des angegebenen Ereignisses]“ und/oder dergleichen bedeutend, in Abhängigkeit vom Kontext ausgelegt". Wie hierin verwendet sollen außerdem die Begriffe „hat“, „haben“, „aufweisend“ oder dergleichen offene Begriffe sein. Ferner soll der Ausdruck „basierend auf“ „zumindest teilweise basierend auf'' bedeuten, insofern nichts anderes ausdrücklich angegeben ist.
  • Nun wird ausführlicher Bezug auf Ausführungsformen genommen, von denen Beispiele in den begleitenden Zeichnungen veranschaulicht sind. In der folgenden ausführlichen Beschreibung werden zahlreiche spezifische Einzelheiten dargelegt, um ein umfassendes Verständnis der verschiedenen beschriebenen Ausführungsformen bereitzustellen. Ein Durchschnittsfachmann auf dem Gebiet wird jedoch verstehen, dass die verschiedenen beschriebenen Ausführungsformen ohne diese spezifischen Einzelheiten umgesetzt werden können. In anderen Fällen sind wohlbekannte Verfahren, Prozeduren, Komponenten, Schaltungen und Netzwerke nicht ausführlich beschrieben, damit Aspekte der Ausführungsformen nicht unnötig unklar gemacht werden.
  • Allgemeiner Überblick
  • In manchen Aspekten und/oder Ausführungsformen beinhalten und/oder implementieren hierin beschriebene Systeme, Verfahren und Computerprogrammprodukte Techniken zum automatischen Detektieren von Verkehrssignalen unter Verwendung von Sensordaten. In einer beispielhaften Implementierung ist ein computergestütztes Verkehrssignaldetektionssystem dazu ausgelegt, das Vorhandensein eines oder mehrerer Verkehrssignale zu detektieren und Informationen bezüglich des Ortes und der Orientierung von jedem der detektierten Verkehrssignale zu erzeugen. Informationen bezüglich der detektierten Signale können verwendet werden, um System mit künstlicher Intelligenz dahingehend zu trainieren, Verkehrssignale in einer Umgebung eines autonomen Fahrzeugs automatisch zu identifizieren und/oder die Navigation eines autonomen Fahrzeugs durch eine Umgebung anzuleiten.
  • Als ein veranschaulichendes Beispiel kann ein Verkehrssignaldetektionssignal zweidimensionale Bilddaten (z. B. Bilder, die durch eine oder mehrere Kameras eines autonomen Fahrzeugs erfasst werden) und dreidimensionale Punktwolkendaten (z. B. Punktwolkendaten, die durch einen oder mehrere LiDAR-Sensoren des autonomen Fahrzeugs erfasst werden) empfangen. Durch das Verwenden eines neuronalen Netzwerks kann das System automatisch Teile der Bilder identifizieren, die Verkehrssignalen entsprechen, und Cluster von Punkten identifizieren, die mit den identifizierten Teilen übereinstimmen. Basierend auf den identifizierten Clustern kann das System die Orte und/oder die Orientierungen der Verkehrssignale im dreidimensionalen Raum bestimmen.
  • Einige der Vorteile dieser Techniken beinhalten, dass automatisierten Systemen ermöglicht wird, Verkehrssignale mit einem höheren Genauigkeitsgrad zu detektieren (z. B. im Vergleich zu dem Detektieren von Verkehrssignalen ohne Hilfe der hierin beschriebenen Systeme und Techniken). In manchen Implementierungen ermöglicht dies automatisierten Systemen, Verkehrssignale zu detektieren, ohne auf eine manuelle menschliche Eingabe angewiesen zu sein, was zeitaufwendig und/oder ineffizient sein kann. Ferner können Informationen bezüglich detektierter Verkehrssignale verwendet werden, um die Sicherheit eines autonomen Fahrzeugs zu verbessern. Als ein Beispiel können Informationen bezüglich detektierter Verkehrssignale verwendet werden, um ein maschinelles Lernsystem dahingehend zu trainieren, Verkehrssignale zu erkennen, sodass Verkehrssignale genauer ohne menschliche Eingabe detektiert werden können. Als ein anderes Beispiel können Informationen bezüglich detektierter Verkehrssignale einem Navigationssystem bereitgestellt werden, sodass das Navigationssystem das autonome Fahrzeug gemäß den Verkehrssignalen durch eine Umgebung leiten kann.
  • In manchen Ausführungsformen können die hierin beschriebenen Techniken in Fahrzeugen implementiert werden, wie etwa Fahrzeugen mit autonomen Systemen (z. B. autonomen Fahrzeugen) und/oder Fahrzeugen, die keine autonomen Systeme aufweisen.
  • Jetzt mit Bezug auf 1 ist eine beispielhafte Umgebung 100 veranschaulicht, in der Fahrzeuge, die autonome Systeme beinhalten, sowie Fahrzeuge, die diese nicht beinhalten, betrieben werden. Wie veranschaulicht, beinhaltet die Umgebung 100 Fahrzeuge 102a-102n, Objekte 104a-104n, Routen 106a-106n, einen Bereich 108, eine Fahrzeug-zu-Infrastruktur(V2I)-Vorrichtung 110, ein Netzwerk 112, ein Fern-Autonomes-Fahrzeug-System (Fern-AV-System) 114, ein Flottenmanagementsystem 116 und ein V2I-System 118. Die Fahrzeuge 102a-102n, die Fahrzeug-zu-Infrastruktur(V2I)-Vorrichtung 110, das Netzwerk 112, das Autonome-Fahrzeug(AV)-System 114, das Flottenmanagementsystem 116 und das V2I-System 118 sind über drahtgebundene Verbindungen, drahtlose Verbindungen oder eine Kombination von drahtgebundenen oder drahtlosen Verbindungen miteinander verbunden (z. B. erstellen eine Verbindung zum Kommunizieren und/oder dergleichen). In manchen Ausführungsformen sind die Objekte 104a-104n über drahtgebundene Verbindungen, drahtlose Verbindungen oder eine Kombination von drahtgebundenen oder drahtlosen Verbindungen mit den Fahrzeugen 102a-102n und/oder der Fahrzeug-zu-Infrastruktur(V2I)-Vorrichtung 110 und/oder dem Netzwerk 112 und/oder dem Autonomes-Fahrzeug(AV)-System 114 und/oder dem Flottenmanagementsystem 116 und/oder dem V2I-System 118 verbunden.
  • Die Fahrzeuge 102a-102n (einzeln als Fahrzeug 102 und kollektiv als Fahrzeuge 102 bezeichnet) beinhalten mindestens eine Vorrichtung, die zum Transportieren von Gütern und/oder Menschen ausgelegt ist. In manchen Ausführungsformen sind die Fahrzeuge 102 dazu ausgelegt, sich über das Netzwerk 112 in Kommunikation mit der V2I-Vorrichtung 110, dem Fern-AV-System 114, dem Flottenmanagementsystem 116 und/oder dem V2l-System 118 zu befinden. In manchen Ausführungsformen beinhalten die Fahrzeuge 102 Autos, Busse, Lastkraftwagen, Züge und/oder dergleichen. In manchen Ausführungsformen sind die Fahrzeuge 102 die gleichen oder ähnlich wie die hierin beschriebenen Fahrzeuge 200 (siehe 2). In manchen Ausführungsformen ist ein Fahrzeug 200 eines Satzes von Fahrzeugen 200 mit einem autonomen Flottenmanager assoziiert. In manchen Ausführungsformen fahren die Fahrzeuge 102 entlang jeweiliger Routen 106a-106n (einzeln als Route 106 und kollektiv als Routen 106 bezeichnet), wie hierin beschrieben. In manchen Ausführungsformen beinhalten ein oder mehrere Fahrzeuge 102 ein autonomes System (z. B. ein autonomes System, das das gleiche oder ähnlich ist wie das autonome System 202).
  • Die Objekte 104a-104n (einzeln als Objekt 104 und kollektiv als Objekte 104 bezeichnet) beinhalten beispielsweise mindestens ein Fahrzeug, mindestens einen Fußgänger, mindestens einen Fahrradfahrer, mindestens eine Struktur (z. B. ein Gebäude, ein Schild, einen Hydranten usw.) und/oder dergleichen. Jedes Objekt 104 ist stationär (z. B. befindet sich für einen Zeitraum an einem festen Ort) oder mobil (z. B. mit einer Geschwindigkeit und mit mindestens einer Trajektorie assoziiert). In manchen Ausführungsformen sind die Objekte 104 mit entsprechenden Standorten im Bereich 108 assoziiert.
  • Die Routen 106a-106n (einzeln als Route 106 und kollektiv als Routen 106 bezeichnet) sind jeweils mit einer Sequenz von Handlungen (auch als eine Trajektorie bekannt) assoziiert (z. B. festgelegt), die Zustände verbinden, entlang denen ein AV navigieren kann. Jede Route 106 startet an einem Anfangszustand (z. B. einem Zustand, der einem ersten raumzeitlichen Standort, einer ersten Geschwindigkeit und/oder dergleichen entspricht) und weist einen Endzielzustand (z. B. einem Zustand, der einem zweiten raumzeitlichen Standort entspricht, der sich vom ersten raumzeitlichen Standort unterscheidet) oder ein Zielgebiet (z. B. einen Teilraum akzeptabler Zustände (z. B. Endzustände)) auf. In manchen Ausführungsformen beinhaltet der erste Zustand einen Standort, an dem ein Individuum oder Individuen durch das AV abzuholen ist/sind, und der zweite Zustand oder das Gebiet beinhaltet einen Standort oder Standorte, an dem/denen das Individuum oder die Individuen, das/die durch das AV abgeholt wurde/n, abzusetzen ist/sind. In manchen Ausführungsformen beinhalten die Routen 106 mehrere akzeptable Zustandssequenzen (z. B. mehrere raumzeitliche Standortsequenzen), wobei die mehreren Zustandssequenzen mit mehreren Trajektorien assoziiert sind (z. B. definieren). In einem Beispiel beinhalten die Routen 106 nur Handlungen hoher Ebene oder Standorte mit ungenauem Zustand, wie etwa eine Reihe von verbundenen Straßen, die Abbiegerichtungen an Straßenkreuzungen vorschreiben. Zusätzlich oder alternativ können die Routen 106 genauere Handlungen oder Zustände beinhalten, wie etwa zum Beispiel spezifische Zielspuren oder genaue Standorte innerhalb der Spurbereiche und eine angezielte Geschwindigkeit an diesen Positionen. In einem Beispiel beinhalten die Routen 106 mehrere genaue Zustandssequenzen entlang der mindestens einen Handlungssequenz hoher Ebene mit einem beschränkten Vorausschauhorizont, um Zwischenziele zu erreichen, wobei die Kombination erfolgreicher Iterationen von Zustandssequenzen mit beschränktem Horizont kumulativ mehreren Trajektorien entsprechen, die kollektiv die Route hoher Ebene bilden, um am Endzielzustand oder -gebiet zu enden.
  • Der Bereich 108 beinhaltet einen physischen Bereich (z. B. ein geografisches Gebiet), in dem die Fahrzeuge 102 navigieren können. In einem Beispiel beinhaltet der Bereich 108 mindestens einen Staat (z. B. ein Land, eine Provinz, ein einzelnes Bundesland mehrerer Bundesländer, die in einem Land eingeschlossen sind, usw.), mindestens einen Teil eines Staates, mindestens eine Stadt, mindestens einen Teil einer Stadt usw. In manchen Ausführungsformen beinhaltet der Bereich 108 mindestens eine benannte Durchgangsstraße (hierin als eine „Straße“ bezeichnet), wie etwa eine Landstraße, eine Autobahn, eine Schnellstraße, eine Stadtstraße usw. Zusätzlich oder alternativ beinhaltet der Bereich 108 in manchen Beispielen mindestens eine unbenannte Straße wie etwa eine Einfahrt, einen Abschnitt eines Parkplatzes, einen Abschnitt eines unbebauten und/oder bebauten Grundstücks, einen Feldweg usw. In manchen Ausführungsformen beinhaltet eine Straße mindestens eine Spur (z. B. einen Teil der Straße, der von den Fahrzeugen 102 befahren werden kann). In einem Beispiel beinhaltet eine Straße mindestens eine Spur, die mit mindestens einer Spurmarkierung assoziiert ist (z. B. basierend darauf identifiziert wird).
  • Die Fahrzeug-zu-Infrastruktur(V2I)-Vorrichtung 110 (manchmal als eine Fahrzeug-zu-Infrastruktur(V2X)-Vorrichtung bezeichnet) beinhaltet mindestens eine Vorrichtung, die dazu ausgelegt ist, sich in Kommunikation mit den Fahrzeugen 102 und/oder dem V2I-Infrastruktursystem 118 zu befinden. In manchen Ausführungsformen ist die V2I-Vorrichtung 110 dazu ausgelegt, sich über das Netzwerk 112 in Kommunikation mit den Fahrzeugen 102, dem Fern-AV-System 114, dem Flottenmanagementsystem 116 und/oder dem V2l-System 118 zu befinden. In manchen Ausführungsformen beinhaltet die V2I-Vorrichtung 110 eine Hochfrequenzidentifikation(RFID)-Vorrichtung, Beschilderung, Kameras (z. B. zweidimensionale (2D) und/oder dreidimensionale (3D) Kameras), Spurmarkierungen, Straßenleuchten, Parkuhren usw. In manchen Ausführungsformen ist die V2I-Vorrichtung 110 dazu ausgelegt, direkt mit den Fahrzeugen 102 zu kommunizieren. Zusätzlich oder alternativ ist die V2I-Vorrichtung 110 in manchen Ausführungsformen dazu ausgelegt, über das V2l-System 118 mit den Fahrzeugen 102, dem Fern-AV-System 114 und/oder dem Flottenmanagementsystem 116 zu kommunizieren. In manchen Ausführungsformen ist die V2I-Vorrichtung 110 dazu ausgelegt, über das Netzwerk 112 mit dem V2I-System 118 zu kommunizieren.
  • Das Netzwerk 112 beinhaltet ein oder mehrere drahtgebundene und/oder drahtlose Netzwerke. In einem Beispiel beinhaltet das Netzwerk 112 ein Zellularnetzwerk (z. B. ein Long-Term-Evolution(LTE)-Netzwerk, ein Drittgeneration(3G)-Netzwerk, ein Viertgeneration(4G)-Netzwerk, ein Fünftgeneration(5G)-Netzwerk, ein CDMA(Codemultiplex-Mehrfachzugriff)-Netzwerk usw.), ein öffentliches Landmobilnetz (PLMN), ein Lokalnetzwerk (LAN), ein Weitbereichsnetzwerk (WAN), ein städtisches Netzwerk (MAN), ein Telefonnetz (z. B. das öffentliche Fernsprechnetz (PSTN)), ein privates Netzwerk, ein Ad-Hoc-Netzwerk, ein Intranet, das Internet, ein Faseroptik-basiertes Netzwerk, ein Cloud-Computing-Netzwerk usw., eine Kombination mancher oder aller dieser Netzwerke und/oder dergleichen.
  • Das Fern-AV-System 114 beinhaltet mindestens eine Vorrichtung, die dazu ausgelegt ist, sich über das Netzwerk 112 in Kommunikation mit den Fahrzeugen 102, der V2I-Vorrichtung 110, dem Netzwerk 112, dem Fern-AV-System 114, dem Flottenmanagementsystem 116 und/oder dem V2I-System 118 zu befinden. In einem Beispiel beinhaltet das Fern-AV-System 114 einen Server, eine Gruppe von Servern und/oder andere gleichartige Vorrichtungen. In manchen Ausführungsformen ist das Fern-AV-System 114 mit dem Flottenmanagementsystem 116 kolokalisiert. In manchen Ausführungsformen ist das Fern-AV-System 114 an der Installation eines Teils oder aller Komponenten eines Fahrzeugs beteiligt, einschließlich eines autonomen Systems, eines autonomen Fahrzeugcomputers, Software, die durch einen autonomen Fahrzeugcomputer implementiert wird, und/oder dergleichen. In manchen Ausführungsformen verwaltet (z. B. aktualisiert und/oder ersetzt) das Fern-AV-System 114 solche Komponenten und/oder Software während der Lebensdauer des Fahrzeugs.
  • Das Flottenmanagementsystem 116 beinhaltet mindestens eine Vorrichtung, die dazu ausgelegt ist, sich in Kommunikation mit den Fahrzeugen 102, der V2I-Vorrichtung 110, dem Fern-AV-System 114 und/oder dem V2I-Infrastruktursystem 118 zu befinden. In einem Beispiel beinhaltet das Flottenmanagementsystem 116 einen Server, eine Gruppe von Servern und/oder andere gleichartige Vorrichtungen. In manchen Ausführungsformen ist das Flottenmanagementsystem 116 mit einem Fahrgemeinschaftsunternehmen assoziiert (z. B. einer Organisation, die den Betrieb mehrerer Fahrzeuge steuert (z. B. Fahrzeuge, die autonome Systeme beinhalten, und/oder Fahrzeuge, die keine autonome Systeme beinhalten), und/oder dergleichen).
  • In manchen Ausführungsformen beinhaltet das V2l-System 118 mindestens eine Vorrichtung, die dazu ausgelegt ist, sich über das Netzwerk 112 mit den Fahrzeugen 102, der V2I-Vorrichtung 110, dem Fern-AV-System 114 und/oder dem Flottenmanagementsystem 116 in Kommunikation zu befinden. In manchen Beispielen ist das V2l-System 118 dazu ausgelegt, über eine andere Verbindung als das Netzwerk 112 mit der V2I-Vorrichtung 110 in Kommunikation zu stehen. In manchen Ausführungsformen beinhaltet das V2l-System 118 einen Server, eine Gruppe von Servern und/oder andere gleichartige Vorrichtungen. In manchen Ausführungsformen ist das V2l-System 118 mit einer Stadtverwaltung oder einer privaten Institution (z. B. einer privaten Institution, die die V2I-Vorrichtung 110 verwaltet und/oder dergleichen) assoziiert.
  • Die Anzahl und die Anordnung der in 1 veranschaulichten Elemente sind als ein Beispiel bereitgestellt. Es kann zusätzliche Elemente, weniger Elemente, andere Elemente und/oder anders angeordnete Elemente als die in 1 veranschaulichten geben. Zusätzlich oder alternativ kann mindestens ein Element der Umgebung 100 eine oder mehrere Funktionen durchführen, die als durch mindestens ein anderes Element von 1 durchgeführt beschrieben werden. Zusätzlich oder alternativ kann mindestens ein Satz von Elementen der Umgebung 100 eine oder mehrere Funktionen durchführen, die als durch mindestens einen anderen Satz von Elementen der Umgebung 100 durchgeführt beschrieben werden.
  • Jetzt mit Bezug auf 2 beinhaltet ein Fahrzeug 200 ein autonomes System 202, ein Antriebsstrangsteuersystem 204, ein Lenkungssteuersystem 206 und ein Bremssystem 208. In manchen Ausführungsformen ist das Fahrzeug 200 das gleiche oder ähnlich wie das Fahrzeug 102 (siehe 1). In manchen Ausführungsformen weist das Fahrzeug 102 autonome Fähigkeit auf (z. B. implementiert mindestens eine Funktion, mindestens ein Merkmal, mindestens eine Vorrichtung und/oder dergleichen, die/das dem Fahrzeug 200 ermöglicht, teilweise oder vollständig ohne menschlichen Eingriff betrieben zu werden, einschließlich unter anderem vollautonome Fahrzeuge (z. B. Fahrzeuge, die nicht auf einen menschlichen Eingriff angewiesen sind), hochautonome Fahrzeuge (z. B. Fahrzeuge, die in gewissen Situationen nicht auf einen menschlichen Eingriff angewiesen sind) und/oder dergleichen). Für eine ausführliche Beschreibung von vollautonomen Fahrzeugen und hochautonomen Fahrzeugen kann Bezug auf den Standard J3016 von SAE International: Taxonomy and Definitions for Terms Related to On-Road Motor Vehicle Automated Driving Systems (Klassifizierung und Definitionen für Begriffe bezüglich automatisierter Fahrsysteme für Straßenkraftfahrzeuge) genommen werden, der hiermit in seiner Gesamtheit einbezogen wird. In manchen Ausführungsformen ist das Fahrzeug 200 mit einem autonomen Flottenmanager und/oder einem Fahrgemeinschaftsunternehmen assoziiert.
  • Das autonome System 202 beinhaltet eine Sensorsuite, die eine oder mehrere Vorrichtungen wie etwa Kameras 202a, LiDAR-Sensoren 202b, Radar-Sensoren 202c und Mikrofone 202d beinhaltet. In manchen Ausführungsformen kann das autonome System 202 mehr oder weniger Vorrichtungen und/oder andere Vorrichtungen beinhalten (z. B. Ultraschallsensoren, inertiale Sensoren, GPS-Empfänger (nachstehend besprochen), Hodometriesensoren, die Daten erzeugen, die mit einer Angabe einer durch das Fahrzeug 200 gefahrenen Entfernung assoziiert sind, und/oder dergleichen). In manchen Ausführungsformen verwendet das autonome System 202 die eine oder die mehreren im autonomen System 202 enthaltenen Vorrichtungen, um Daten zu erzeugen, die mit der hierin beschriebenen Umgebung 100 assoziiert sind. Die durch die eine oder die mehreren Vorrichtungen des autonomen Systems 202 erzeugten Daten können durch ein oder mehrere hierin beschriebene Systeme verwendet werden, um die Umgebung (z. B. die Umgebung 100) zu beobachten, in der sich das Fahrzeug 200 befindet. In manchen Ausführungsformen beinhaltet das autonome System 202 eine Kommunikationsvorrichtung 202e, einen autonomen Fahrzeugcomputer 202f und ein Drive-by-Wire(DBW)-System 202h.
  • Die Kameras 202a beinhalten mindestens eine Vorrichtung, die dazu ausgelegt ist, sich über einen Bus (z. B. einen Bus, der der gleiche oder ähnlich ist wie der Bus 302 von 3) in Kommunikation mit der Kommunikationsvorrichtung 202e, dem autonomen Fahrzeugcomputer 202f und/oder einer Sicherheitssteuerung 202g zu befinden. Die Kameras 202a beinhalten mindestens eine Kamera (z. B. eine Digitalkamera, die einen Lichtsensor verwendet, wie etwa eine CCD (Charge-Coupled Device), eine Wärmekamera, eine Infrarot(IR)-Kamera, eine Ereigniskamera und/oder dergleichen), um Bilder aufzunehmen, die physische Objekte (z. B. Autos, Busse, Bordsteinkanten, Menschen und/oder dergleichen) beinhalten. In manchen Ausführungsformen erzeugt die Kamera 202a Kameradaten als Ausgabe. In manchen Beispielen erzeugt die Kamera 202a Kameradaten, die Bilddaten beinhalten, die mit einem Bild assoziiert sind. In diesem Beispiel können die Bilddaten mindestens einen Parameter (z. B. Bildcharakteristiken wie etwa Belichtung, Helligkeit usw., einen Bildzeitstempel und/oder dergleichen) entsprechend dem Bild spezifizieren. In einem solchen Beispiel kann das Bild in einem Format vorliegen (z. B. RAW, JPEG, PNG und/oder dergleichen). In manchen Ausführungsformen beinhaltet die Kamera 202a mehrere unabhängige Kameras, die auf einem Fahrzeug ausgebildet (z. B. positioniert) sind, um Bilder für Stereopsis (Stereosicht) aufzunehmen. In manchen Beispielen beinhaltet die Kamera 202a mehrere Kameras, die Bilddaten erzeugen und die Bilddaten zu dem autonomen Fahrzeugcomputer 202f und/oder einem Flottenmanagementsystem (z. B. einem Flottenmanagementsystem, das das gleiche oder ähnlich ist wie das Flottenmanagementsystem 116 von 1) übertragen. In einem solchen Beispiel bestimmt der autonome Fahrzeugcomputer 202f eine Tiefe zu einem oder mehreren Objekten in einem Sichtfeld von mindestens zwei Kameras der mehreren Kameras basierend auf den Bilddaten von den mindestens zwei Kameras. In manchen Ausführungsformen sind die Kameras 202a dazu ausgelegt, Bilder von Objekten innerhalb eines Abstands von den Kameras 202a (z. B. bis zu 100 Metern, bis zu einem Kilometer und/oder dergleichen) aufzunehmen. Dementsprechend beinhalten die Kameras 202a Merkmale wie etwa Sensoren und Objektive, die zum Wahrnehmen von Objekten optimiert sind, die sich bei einem oder mehreren Abständen von den Kameras 202a befinden.
  • In einer Ausführungsform beinhaltet die Kamera 202a mindestens eine Kamera, die dazu ausgelegt ist, ein oder mehrere Bilder aufzunehmen, die mit einer oder mehreren Ampeln, einem oder mehreren Straßenschildern und/oder anderen physischen Objekten assoziiert sind, die visuelle Navigationsinformationen bereitstellen. In manchen Ausführungsformen erzeugt die Kamera 202a Ampeldaten, die mit einem oder mehreren Bildern assoziiert sind. In manchen Beispielen erzeugt die Kamera 202a TLD-Daten, die mit einem oder mehreren Bildern assoziiert sind, die ein Format (z. B. RAW, JPEG, PNG und/oder dergleichen) beinhalten. In manchen Ausführungsformen unterscheidet sich die Kamera 202a, die TLD-Daten erzeugt, in dem Sinne von anderen hierin beschriebenen Systemen, die Kameras beinhalten, dass die Kamera 202a eine oder mehrere Kameras mit einem weiten Sichtfeld beinhalten kann (z. B. einem Weitwinkelobjektiv, einem Fischaugenobjektiv, einem Objektiv mit einem Sichtwinkel von ungefähr 120 Grad oder mehr und/oder dergleichen), um Bilder über so viele physische Objekte wie möglich zu erzeugen.
  • Die LiDAR(Lichtdetektion und -entfernungsmessung)-Sensoren 202b beinhalten mindestens eine Vorrichtung, die dazu ausgelegt ist, sich über einen Bus (z. B. einen Bus, der der gleiche oder ähnlich ist wie der Bus 302 von 3) in Kommunikation mit der Kommunikationsvorrichtung 202e, dem autonomen Fahrzeugcomputer 202f und/oder der Sicherheitssteuerung 202g zu befinden. Die LiDAR-Sensoren 202b beinhalten ein System, das dazu ausgelegt ist, Licht von einem Lichtemitter (z. B. einem Laser-Sender) zu übertragen. Durch die LiDAR-Sensoren 202b emittiertes Licht beinhaltet Licht (z. B. Infrarotlicht und/oder dergleichen), das sich außerhalb des sichtbaren Spektrums befindet. In manchen Ausführungsformen trifft während des Betriebs Licht, das durch die LiDAR-Sensoren 202b emittiert wird, auf ein physisches Objekt (z. B. ein Fahrzeug) und wird zurück zu den LiDAR-Sensoren 202b reflektiert. In manchen Ausführungsformen dringt das durch die LiDAR-Sensoren 202b emittierte Licht nicht in die physischen Objekte ein, auf die das Licht trifft. Die LiDAR-Sensoren 202b beinhalten auch mindestens einen Lichtdetektor, der das Licht detektiert, das vom Lichtemitter emittiert wurde, nachdem das Licht auf ein physisches Objekt traf. In manchen Ausführungsformen erzeugt mindestens ein Datenverarbeitungssystem, das mit den LiDAR-Sensoren 202b assoziiert ist, ein Bild (z. B. eine Punktwolke, eine kombinierte Punktwolke und/oder dergleichen), das die in einem Sichtfeld der LiDAR-Sensoren 202b enthaltenen Objekte repräsentiert. In manchen Beispielen erzeugt das mindestens eine Datenverarbeitungssystem, das mit den LiDAR-Sensoren 202b assoziiert ist, ein Bild, das die Grenzen eines physischen Objekts, die Oberflächen (z. B. die Topologie der Oberflächen) des physischen Objekts und/oder dergleichen repräsentiert. In einem solchen Beispiel wird das Bild verwendet, um die Grenzen von physischen Objekten im Sichtfeld der LiDAR-Sensoren 202b zu bestimmen.
  • Die Radar(Funkdetektion und -entfernungsmessung)-Sensoren 202c beinhalten mindestens eine Vorrichtung, die dazu ausgelegt ist, sich über einen Bus (z. B. einen Bus, der der gleiche oder ähnlich ist wie der Bus 302 von 3) in Kommunikation mit der Kommunikationsvorrichtung 202e, dem autonomen Fahrzeugcomputer 202f und/oder der Sicherheitssteuerung 202g zu befinden. Die Radar-Sensoren 202c beinhalten ein System, das dazu ausgelegt ist, Funkwellen (entweder gepulst oder kontinuierlich) zu übertragen. Die durch die Radar-Sensoren 202c übertragenen Funkwellen beinhalten Funkwellen, die innerhalb eines vorbestimmten Spektrums liegen. In manchen Ausführungsformen treffen während des Betriebs Funkwellen, die durch die Radar-Sensoren 202c übertragen werden, auf ein physisches Objekt und werden zurück zu den Radar-Sensoren 202c reflektiert. In manchen Ausführungsformen werden die durch die Radar-Sensoren 202c übertragenen Funkwellen nicht durch irgendwelche Objekte reflektiert. In manchen Ausführungsformen erzeugt mindestens ein Datenverarbeitungssystem, das mit den Radar-Sensoren 202c assoziiert ist, Signale, die die in einem Sichtfeld der Radar-Sensoren 202c enthaltenen Objekte repräsentieren. Beispielsweise erzeugt das mindestens eine Datenverarbeitungssystem, das mit den Radar-Sensoren 202c assoziiert ist, ein Bild, das die Grenzen eines physischen Objekts, die Oberflächen (z. B. die Topologie der Oberflächen) des physischen Objekts und/oder dergleichen repräsentiert. In manchen Beispielen wird das Bild verwendet, um die Grenzen von physischen Objekten im Sichtfeld der Radar-Sensoren 202c zu bestimmen.
  • Die Mikrofone 202d beinhalten mindestens eine Vorrichtung, die dazu ausgelegt ist, sich über einen Bus (z. B. einen Bus, der der gleiche oder ähnlich ist wie der Bus 302 von 3) in Kommunikation mit der Kommunikationsvorrichtung 202e, dem autonomen Fahrzeugcomputer 202f und/oder einer Sicherheitssteuerung 202g zu befinden. Die Mikrofone 202d beinhalten ein oder mehrere Mikrofone (z. B. Array-Mikrofone, externe Mikrofone und/oder dergleichen), die Audiosignale erfassen und Daten erzeugen, die mit den Audiosignalen assoziiert sind (z. B. repräsentieren). In manchen Beispielen beinhalten die Mikrofone 202d Wandlervorrichtungen und/oder gleichartige Vorrichtungen. In manchen Ausführungsformen können ein oder mehrere hierin beschriebene Systeme die durch die Mikrofone 202d erzeugten Daten empfangen und eine Position eines Objekts relativ zu dem Fahrzeug 200 (z. B. einen Abstand und/oder dergleichen) basierend auf den mit den Daten assoziierten Audiosignalen bestimmen.
  • Die Kommunikationsvorrichtung 202e beinhaltet mindestens eine Vorrichtung, die dazu ausgelegt ist, sich mit den Kameras 202a, den LiDAR-Sensoren 202b, den Radar-Sensoren 202c, den Mikrofonen 202d, dem autonomen Fahrzeugcomputer 202f, der Sicherheitssteuerung 202g und/oder dem DBW-System 202h in Kommunikation zu befinden. Beispielsweise kann die Kommunikationsvorrichtung 202e eine Vorrichtung beinhalten, die die gleiche oder ähnlich ist wie die Kommunikationsschnittstelle 314 von 3. In manchen Ausführungsformen beinhaltet die Kommunikationsvorrichtung 202e eine Fahrzeug-zu-Fahrzeug(V2V)-Kommunikationsvorrichtung (z. B. eine Vorrichtung, die eine drahtlose Kommunikation von Daten zwischen Fahrzeugen ermöglicht).
  • Der autonome Fahrzeugcomputer 202f beinhaltet mindestens eine Vorrichtung, die dazu ausgelegt ist, sich mit den Kameras 202a, den LiDAR-Sensoren 202b, den Radar-Sensoren 202c, den Mikrofonen 202d, der Kommunikationsvorrichtung 202e, der Sicherheitssteuerung 202g und/oder dem DBW-System 202h in Kommunikation zu befinden. In manchen Beispielen beinhaltet der autonome Fahrzeugcomputer 202f eine Vorrichtung wie etwa eine Client-Vorrichtung, eine mobile Vorrichtung (z. B. ein zellulares Telefon, ein Tablet und/oder dergleichen), einen Server (z. B. eine Rechenvorrichtung, die eine oder mehrere Zentralverarbeitungseinheiten, Grafikverarbeitungseinheiten und/oder dergleichen beinhaltet) und/oder dergleichen. In manchen Ausführungsformen ist der autonome Fahrzeugcomputer 202f dazu ausgelegt, sich in Kommunikation mit einem autonomen Fahrzeugsystem (z. B. einem autonomen Fahrzeugsystem, das das gleiche oder ähnlich ist wie das Fern-AV-System 114 von 1), einem Flottenmanagementsystem (z. B. einem Flottenmanagementsystem, das das gleiche oder ähnlich ist wie das Flottenmanagementsystem 116 von 1), einer V2I-Vorrichtung (z. B. einer V2I-Vorrichtung, die die gleiche oder ähnlich ist wie die V2I-Vorrichtung 110 von 1) und/oder einem V2I-System (z. B. einem V2l-System, das das gleiche oder ähnlich ist wie das V2I-System 118 von 1) zu befinden.
  • Die Sicherheitssteuerung 202g beinhaltet mindestens eine Vorrichtung, die dazu ausgelegt ist, sich mit den Kameras 202a, den LiDAR-Sensoren 202b, den Radar-Sensoren 202c, den Mikrofonen 202d, der Kommunikationsvorrichtung 202e, dem autonomen Fahrzeugcomputer 202f und/oder dem DBW-System 202h in Kommunikation zu befinden. In manchen Beispielen beinhaltet die Sicherheitssteuerung 202g eine oder mehrere Steuerungen (elektrische Steuerungen, elektromechanische Steuerungen und/oder dergleichen), die dazu ausgelegt sind, Steuersignale zum Betreiben einer oder mehrerer Vorrichtungen des Fahrzeugs 200 (z. B. Antriebsstrangsteuersystem 204, Lenkungssteuersystem 206, Bremssystem 208 und/oder dergleichen) zu erzeugen und/oder zu übertragen. In manchen Ausführungsformen ist die Sicherheitssteuerung 202g dazu ausgelegt, Steuersignale zu erzeugen, die gegenüber Steuersignalen Vorrang haben (z. B. überschreiben), die durch den autonomen Fahrzeugcomputer 202f erzeugt und/oder übertragen werden.
  • Das DBW-System 202h beinhaltet mindestens eine Vorrichtung, die dazu ausgelegt ist, mit der Kommunikationsvorrichtung 202e und/oder dem autonomen Fahrzeugcomputer 202f in Kommunikation zu stehen. In manchen Beispielen beinhaltet das DBW-System 202h eine oder mehrere Steuerungen (z. B. elektrische Steuerungen, elektromechanische Steuerungen und/oder dergleichen), die dazu ausgelegt sind, Steuersignale zum Betreiben einer oder mehrerer Vorrichtungen des Fahrzeugs 200 (z. B. Antriebsstrangsteuersystem 204, Lenkungssteuersystem 206, Bremssystem 208 und/oder dergleichen) zu erzeugen und/oder zu übertragen. Zusätzlich oder alternativ sind die eine oder die mehreren Steuerungen des DBW-Systems 202h dazu ausgelegt, Steuersignale zum Betreiben mindestens einer anderen Vorrichtung (z. B. eines Blinkers, Scheinwerfer, Türverriegelungen, Scheibenwischer und/oder dergleichen) des Fahrzeugs 200 zu erzeugen und/oder zu übertragen.
  • Das Antriebsstrangsteuersystem 204 beinhaltet mindestens eine Vorrichtung, die dazu ausgelegt ist, sich in Kommunikation mit dem DBW-System 202h zu befinden. In manchen Beispielen beinhaltet das Antriebsstrangsteuersystem 204 mindestens eine Steuerung, einen Aktor und/oder dergleichen. In manchen Ausführungsformen empfängt das Antriebsstrangsteuersystem 204 Steuersignale vom DBW-System 202h und das Antriebsstrangsteuersystem 204 bewirkt, dass das Fahrzeug 200 anfängt, sich vorwärts zu bewegen, aufhört, sich vorwärts zu bewegen, anfängt, sich rückwärts bewegen, aufhört, sich rückwärts zu bewegen, in eine Richtung beschleunigt, in eine Richtung abbremst, nach links abbiegt, nach rechts abbiegt und/oder dergleichen. In einem Beispiel bewirkt das Antriebsstrangsteuersystem 204, dass die einem Motor des Fahrzeugs bereitgestellte Energie (z. B. Kraftstoff, Elektrizität und/oder dergleichen) zunimmt, gleich bleibt oder abnimmt, wodurch bewirkt wird, dass sich mindestens ein Rad des Fahrzeugs 200 dreht oder nicht dreht.
  • Das Lenkungssteuersystem 206 beinhaltet mindestens eine Vorrichtung, die dazu ausgelegt ist, ein oder mehrere Räder des Fahrzeugs 200 zu drehen. In manchen Beispielen beinhaltet das Lenkungssteuersystem 206 mindestens eine Steuerung, einen Aktor und/oder dergleichen. In manchen Ausführungsformen bewirkt das Lenkungssteuersystem 206, dass sich die zwei Vorderräder und/oder die zwei Hinterräder des Fahrzeugs 200 nach links oder rechts drehen, um zu bewirken, dass das Fahrzeug 200 nach links oder rechts abbiegt.
  • Das Bremssystem 208 beinhaltet mindestens eine Vorrichtung, die dazu ausgelegt ist, eine oder mehrere Bremsen zu betätigen, um zu bewirken, dass das Fahrzeug 200 die Geschwindigkeit reduziert und/oder stationär bleibt. In manchen Beispielen beinhaltet das Bremssystem 208 mindestens eine Steuerung und/oder mindestens einen Aktor, die/der dazu ausgelegt ist, zu bewirken, dass sich ein oder mehrere Bremssattel, die mit einem oder mehreren Rädern des Fahrzeugs 200 assoziiert sind, an einem entsprechenden Rotor des Fahrzeugs 200 schließen. Zusätzlich oder alternativ beinhaltet das Bremssystem 208 in manchen Beispielen ein automatisches Notfallbremssystem (AEB-System), ein regeneratives Bremssystem und/oder dergleichen.
  • In manchen Ausführungsformen beinhaltet das Fahrzeug 200 mindestens einen Plattformsensor (nicht ausdrücklich veranschaulicht), der Eigenschaften eines Status oder eines Zustands des Fahrzeugs 200 misst oder folgert. In manchen Beispielen beinhaltet das Fahrzeug 200 Plattformsensoren wie etwa einen Empfänger eines globalen Positionierungssystem (GPS), eine inertiale Messeinheit (IMU), einen Radgeschwindigkeitssensor, einen Radbremsdrucksensor, einen Raddrehmomentsensor, einen Motordrehmomentsensor, einen Lenkwinkelsensor und/oder dergleichen.
  • Jetzt mit Bezug auf 3 ist ein schematisches Diagramm einer Vorrichtung 300 veranschaulicht. In manchen Ausführungsformen entspricht die Vorrichtung 300 mindestens einer Vorrichtung der Fahrzeuge 102 (z. B. mindestens einer Vorrichtung eines Systems der Fahrzeuge 102) und/ oder des Fahrzeugs 200, mindestens einer Vorrichtung des Fern-AV-Systems 114, des Flottenmanagementsystems 116, des V2I-Systems 118 und/oder einer oder mehrerer Vorrichtungen des Netzwerks 112 (z. B. einer oder mehrerer Vorrichtungen eines Systems des Netzwerks 112). In manchen Ausführungsformen beinhalten eine oder mehrere Vorrichtungen der Fahrzeuge 102 und/oder 202 (z. B. eine oder mehrere Vorrichtungen eines Systems der Fahrzeuge 102 und 202, wie etwa des autonomen Systems 202), des Fern-AV-Systems 114, des Flottenmanagementsystems 116, des V2I-Systems 118 und/oder eine oder mehrere Vorrichtungen des Netzwerks 112 (z. B. eine oder mehrere Vorrichtungen eines Systems des Netzwerks 112) mindestens eine Vorrichtung 300 und/oder mindestens eine Komponente der Vorrichtung 300. In manchen Implementierungen kann ein Verkehrssignaldetektionssystem 500 (z. B. wie ausführlicher mit Bezug auf 5 beschrieben) zumindest unter Verwendung einer oder mehrerer der Vorrichtungen 300 implementiert werden.
  • Wie in 3 gezeigt, beinhaltet die Vorrichtung 300 den Bus 302, den Prozessor 304, den Speicher 306, die Speicherungskomponente 308, die Eingangsschnittstelle 310, die Ausgangsschnittstelle 312 und die Kommunikationsschnittstelle 314.
  • Der Bus 302 beinhaltet eine Komponente, die eine Kommunikation zwischen den Komponenten der Vorrichtung 300 ermöglicht. In manchen Ausführungsformen wird der Prozessor 304 in Hardware, Software oder einer Kombination von Hardware und Software implementiert. In manchen Beispielen beinhaltet der Prozessor 304 einen Prozessor (z. B. eine Zentralverarbeitungseinheit (CPU), eine Grafikverarbeitungseinheit (GPU), eine beschleunigte Verarbeitungseinheit (APU) und/oder dergleichen), ein Mikrofon, einen Digitalsignalprozessor (DSP) und/oder eine beliebige Verarbeitungskomponente (z. B. ein feldprogrammierbares Gate-Array (FPGA), eine anwendungsspezifische integrierte Schaltung (ASIC) und/oder dergleichen), die dahingehend programmiert werden kann, mindestens eine Funktion durchzuführen. Der Speicher 306 beinhaltet Direktzugriffsspeicher (RAM), Nurlesespeicher (ROM) und/oder eine andere Art von dynamischer und/oder statischer Speicherungsvorrichtung (z. B. Flash-Speicher, magnetischer Speicher, optischer Speicher und/oder dergleichen), die Daten und/oder Anweisungen zur Verwendung durch den Prozessor 304 speichert.
  • Die Speicherungskomponente 308 speichert Daten und/oder Software bezüglich des Betriebs und der Verwendung der Vorrichtung 300. In manchen Beispielen beinhaltet die Speicherungskomponente 308 eine Festplatte (z. B. eine Magnetplatte, eine optische Platte, eine magnetooptische Platte, eine Solid-State-Platte und/oder dergleichen), eine Compact Disc (CD), eine Digital Versatile Disc (DVD), eine Diskette, eine Kassette, ein Magnetband, eine CD-ROM, RAM, ROM, EPROM, FLASH-EPROM, NV-RAM und/oder eine andere Art von computerlesbarem Medium zusammen mit einem entsprechenden Laufwerk.
  • Die Eingangsschnittstelle 310 beinhaltet eine Komponente, die der Vorrichtung 300 ermöglicht, Informationen zu empfangen, wie etwa über eine Benutzereingabe (z. B. eine Touchscreen-Anzeige, eine Tastatur, ein Tastenfeld, eine Maus, eine Taste, einen Schalter, ein Mikrofon, eine Kamera und/oder dergleichen). Zusätzlich oder alternativ beinhaltet die Eingangsschnittstelle 310 in manchen Ausführungsformen einen Sensor, der Informationen erfasst (z. B. einen Empfänger eines globalen Positionierungssystems (GPS), einen Beschleunigungsmesser, ein Gyroskop, einen Aktor und/oder dergleichen). Die Ausgangsschnittstelle 312 beinhaltet eine Komponente, die Ausgangsinformationen von der Vorrichtung 300 bereitstellt (z. B. eine Anzeige, einen Lautsprecher, eine oder mehrere Leuchtdioden (LEDs) und/oder dergleichen).
  • In manchen Ausführungsformen beinhaltet die Kommunikationsschnittstelle 314 eine sendeempfängerartige Komponente (z. B. einen Sendeempfänger, einen getrennten Empfänger und Sender und/oder dergleichen), die der Vorrichtung 300 ermöglicht, über eine drahtgebundene Verbindung, eine drahtlose Verbindung oder eine Kombination aus drahtgebundenen und drahtlosen Verbindungen mit anderen Vorrichtungen zu kommunizieren. In manchen Beispielen ermöglicht die Kommunikationsschnittstelle 314 der Vorrichtung 300, Informationen von einer anderen Vorrichtung zu empfangen und/oder einer anderen Vorrichtung Informationen bereitzustellen. In manchen Beispielen beinhaltet die Kommunikationsschnittstelle 314 eine Ethernet-Schnittstelle, eine optische Schnittstelle, eine Koaxialschnittstelle, eine Infrarotschnittstelle, eine Hochfrequenz(HF)-Schnittstelle, eine Universal-Serial-Bus(USB)-Schnittstelle, eine WiFi®-Schnittstelle, eine Zellularnetzschnittstelle und/oder dergleichen.
  • In manchen Ausführungsformen führt die Vorrichtung 300 einen oder mehrere hierin beschriebene Prozesse durch. Die Vorrichtung 300 führt diese Prozesse basierend darauf durch, dass der Prozessor 304 Softwareanweisungen ausführt, die durch ein computerlesbares Medium gespeichert werden, wie etwa den Speicher 305 und/oder die Speicherungskomponente 308. Ein computerlesbares Medium (z. B. ein nichtflüchtiges computerlesbares Medium) ist hierin als eine nichtflüchtige Speichervorrichtung definiert. Eine nichtflüchtige Speichervorrichtung beinhaltet Speicherplatz, der sich innerhalb einer einzelnen physischen Speicherungsvorrichtung befindet, oder Speicherplatz, der über mehrere physische Speicherungsvorrichtungen verteilt ist.
  • In manchen Ausführungsformen werden Softwareanweisungen über die Kommunikationsschnittstelle 314 in den Speicher 306 und/oder die Speicherungskomponente 308 von einem anderen computerlesbaren Medium oder von einer anderen Vorrichtung gelesen. Bei ihrer Ausführung bewirken die im Speicher 306 und/oder in der Speicherungskomponente 308 gespeicherten Softwareanweisungen, dass der Prozessor 304 einen oder mehrere hierin beschriebene Prozesse durchführt. Zusätzlich oder alternativ wird eine festverdrahtete Schaltungsanordnung anstelle von oder in Kombination mit Softwareanweisungen verwendet, um einen oder mehrere hierin beschriebene Prozesse durchzuführen. Somit sind hierin beschriebene Ausführungsformen nicht auf irgendeine spezifische Kombination von Hardwareschaltungsanordnung und Software beschränkt, insofern nicht anderweitig ausführlich dargelegt.
  • Der Speicher 306 und/oder die Speicherungskomponente 308 beinhalten Datenspeicherung oder mindestens eine Datenstruktur (z. B. eine Datenbank und/oder dergleichen). Die Vorrichtung 300 ist in der Lage, Informationen von der Datenspeicherung oder der mindestens einen Datenstruktur im Speicher 306 oder in der Speicherungskomponente 308 zu empfangen, Informationen darin zu speichern, Informationen zu dieser zu kommunizieren oder nach darin gespeicherten Informationen zu suchen. In manchen Beispielen beinhalten die Informationen Netzwerkdaten, Eingangsdaten, Ausgangsdaten oder eine beliebige Kombination davon.
  • In manchen Ausführungsformen ist die Vorrichtung 300 dazu ausgelegt, Softwareanweisungen auszuführen, die entweder im Speicher 306 und/oder im Speicher einer anderen Vorrichtung (z. B. einer anderen Vorrichtung, die die gleiche oder ähnlich ist wie die Vorrichtung 300) gespeichert sind. Wie hierin verwendet, bezieht sich der Begriff „Modul“ auf mindestens eine Anweisung, die im Speicher 306 und/oder im Speicher einer anderen Vorrichtung gespeichert ist, die bei Ausführung durch den Prozessor 304 und/oder durch einen Prozessor einer anderen Vorrichtung (z. B. einer anderen Vorrichtung, die die gleiche oder ähnlich ist wie die Vorrichtung 300) bewirkt, dass die Vorrichtung 300 (z. B. mindestens eine Komponente der Vorrichtung 300) einen oder mehrere hierin beschriebene Prozesse durchführt. In manchen Ausführungsformen wird ein Modul in Software, Firmware, Hardware und/oder dergleichen implementiert.
  • Die Anzahl und die Anordnung der in 3 veranschaulichten Komponenten sind als ein Beispiel bereitgestellt. In manchen Ausführungsformen kann die Vorrichtung 300 zusätzliche Komponenten, weniger Komponenten, andere Komponenten oder anders angeordnete Komponenten wie die in 3 veranschaulichten beinhalten. Zusätzlich oder alternativ kann ein Satz von Komponenten (z. B. eine oder mehrere Komponenten) der Vorrichtung 300 eine oder mehrere Funktionen durchführen, die als durch eine andere Komponente oder einen anderen Satz von Komponenten der Vorrichtung 300 durchgeführt beschrieben werden.
  • Jetzt mit Bezug auf 4 ist ein beispielhaftes Blockdiagramm eines autonomen Fahrzeugcomputers 400 veranschaulicht (manchmal als ein „AV-Stapel“ bezeichnet). Wie veranschaulicht, beinhaltet der autonome Fahrzeugcomputer 400 ein Wahrnehmungssystem 402 (manchmal als ein Wahrnehmungsmodul bezeichnet), ein Planungssystem 404 (manchmal als ein Planungsmodul bezeichnet), ein Lokalisierungssystem 406 (manchmal als ein Lokalisierungsmodul bezeichnet), ein Steuersystem 408 (manchmal als ein Steuermodul bezeichnet) und eine Datenbank 410. In manchen Ausführungsformen sind das Wahrnehmungssystem 402, das Planungssystem 404, das Lokalisierungssystem 406, das Steuersystem 408 und die Datenbank 410 in einem autonomen Navigationssystem eines Fahrzeugs (z. B. autonomen Fahrzeugcomputer 202f des Fahrzeugs 200) enthalten und/oder implementiert. Zusätzlich oder alternativ sind in manchen Ausführungsformen das Wahrnehmungssystem 402, das Planungssystem 404, das Lokalisierungssystem 406, das Steuersystem 408 und die Datenbank 410 in einem oder mehreren unabhängigen Systemen (z. B. einem oder mehreren Systemen, die die gleichen oder ähnlich sind wie ein autonomer Fahrzeugcomputer 400 und/oder dergleichen) enthalten. In manchen Beispielen sind das Wahrnehmungssystem 402, das Planungssystem 404, das Lokalisierungssystem 406, das Steuersystem 408 und die Datenbank 410 in einem oder mehreren unabhängigen Systemen enthalten, die sich in einem Fahrzeug und/oder mindestens einem Fernsystem befinden, wie hierin beschrieben. In manchen Ausführungsformen werden beliebige und/oder alle der im autonomen Fahrzeugcomputer 400 enthaltenen Systeme in Software (z. B. in Softwareanweisungen, die im Speicher gespeichert sind), Computerhardware (z. B. durch Mikroprozessoren, Mikrocontroller, anwendungsspezifische integrierte Schaltungen [ASICs], feldprogrammierbare Gate-Arrays (FPGAs) und/oder dergleichen) oder Kombinationen von Computersoftware und Computerhardware implementiert. Es versteht sich, dass in manchen Ausführungsformen der autonome Fahrzeugcomputer 400 dazu ausgelegt ist, sich in Kommunikation mit einem Fernsystem (z. B. einem autonomen Fahrzeugsystem, das das gleiche oder ähnlich ist wie das Fern-AV-System 114, einem Flottenmanagementsystem 116, das das gleiche oder ähnlich ist wie das Flottenmanagementsystem 116, ein V2I-System, das das gleiche oder ähnlich ist wie das V2I-System 118, und/oder dergleichen) zu befinden.
  • In manchen Ausführungsformen empfängt das Wahrnehmungssystem 402 Daten, die mit mindestens einem physischen Objekt in einer Umgebung assoziiert sind (z. B. Daten, die durch das Wahrnehmungssystem 402 verwendet werden, um das mindestens eine physische Objekt zu detektieren), und klassifiziert das mindestens eine physische Objekt. In manchen Beispielen empfängt das Wahrnehmungssystem 402 Bilddaten, die durch mindestens eine Kamera (z. B. Kameras 202a) aufgenommen werden, wobei das Bild mit einem oder mehreren physischen Objekten in einem Sichtfeld der mindestens einen Kamera assoziiert ist (z. B. dieses repräsentiert). In einem solchen Beispiel klassifiziert das Wahrnehmungssystem 402 mindestens ein physisches Objekt basierend auf einer oder mehreren Gruppierungen physischer Objekte (z. B. Fahrräder, Fahrzeuge, Verkehrsschilder, Fußgänger und/oder dergleichen). In manchen Ausführungsformen überträgt das Wahrnehmungssystem 402 Daten, die mit der Klassifizierung der physischen Objekte assoziiert sind, zu dem Planungssystem 404 basierend darauf, dass das Wahrnehmungssystem 402 die physischen Objekte klassifiziert.
  • In manchen Ausführungsformen empfängt das Planungssystem 404 Daten, die mit einem Bestimmungsort assoziiert sind, und erzeugt Daten, die mit mindestens einer Route (z. B. Routen 106) assoziiert sind, entlang der ein Fahrzeug (z. B. Fahrzeuge 102) in Richtung eines Bestimmungsortes fahren kann. In manchen Ausführungsformen empfängt das Planungssystem 404 Daten periodisch oder kontinuierlich vom Wahrnehmungssystem 402 (z. B. Daten, die mit der Klassifizierung physischer Objekte assoziiert sind, wie oben beschrieben) und das Planungssystem 404 aktualisiert die mindestens eine Trajektorie oder erzeugt mindestens eine andere Trajektorie basierend auf den durch das Wahrnehmungssystem 402 erzeugten Daten. In manchen Ausführungsformen empfängt das Planungssystem 404 Daten, die mit einer aktualisierten Position eines Fahrzeugs (z. B. Fahrzeuge 102) assoziiert sind, vom Lokalisierungssystem 406 und das Planungssystem 404 aktualisiert die mindestens eine Trajektorie oder erzeugt mindestens eine andere Trajektorie basierend auf den durch das Lokalisierungssystem 406 erzeugten Daten.
  • In manchen Ausführungsformen empfängt das Lokalisierungsmodul 406 Daten, die mit einem Standort eines Fahrzeugs (z. B. Fahrzeuge 102) in einem Bereich assoziiert sind (z. B. diese repräsentieren). In manchen Beispielen empfängt das Lokalisierungssystem 406 LiDAR-Daten, die mit mindestens einer Punktwolke assoziiert sind, die durch mindestens einen LiDAR-Sensor (z. B. LiDAR-Sensoren 202b) erzeugt werden. In bestimmten Beispielen empfängt das Lokalisierungsmodul 406 Daten, die mit mindestens einer Punktwolke von mehreren LiDAR-Sensoren assoziiert sind, und das Lokalisierungsmodul 406 erzeugt eine kombinierte Punktwolke basierend auf jeder der Punktwolken. In diesen Beispielen vergleicht das Lokalisierungsmodul 406 die mindestens eine Punktwolke oder die kombinierte Punktwolke mit einer in der Datenbank 410 gespeicherten zweidimensionalen (2D) und/oder einer dreidimensionalen (3D) Karte des Bereichs. Das Lokalisierungssystem 406 bestimmt dann die Position des Fahrzeugs in dem Bereich basierend darauf, dass das System 406 die mindestens eine Punktwolke oder die kombinierte Punktwolke mit der Karte vergleicht. In manchen Ausführungsformen beinhaltet die Karte eine kombinierte Punktwolke des Bereichs, die vor der Navigation des Fahrzeugs erzeugt wird. In manchen Ausführungsformen beinhalten Karten unter anderem Hochpräzisionskarten der geometrischen Eigenschaften der Straße, Karten, die Konnektivitätseigenschaften des Straßennetzes beschreiben, Karten, die physische Eigenschaften der Straße beschreiben (wie etwa Verkehrsgeschwindigkeit, Verkehrsvolumen, die Anzahl von Fahrzeug- und Fahrradfahrer-Verkehrsspuren, Fahrspurbreite, Fahrspurverkehrsrichtungen oder Fahrspurmarkierungsarten und -orte oder Kombinationen davon), und Karten, die die räumlichen Orte von Straßenmerkmalen wie etwa Fußgängerüberwege, Verkehrszeichen oder andere Verkehrssignale verschiedener Arten beschreiben. In manchen Ausführungsformen wird die Karte in Echtzeit basierend auf den durch das Wahrnehmungssystem empfangenen Daten erzeugt.
  • In einem anderen Beispiel empfängt das Lokalisierungssystem 406 Daten eines globalen Satellitennavigationssystems (GNSS), die durch einen Empfänger eines globalen Positionierungssystems (GPS) erzeugt werden. In manchen Beispielen empfängt das Lokalisierungssystem 406 GNSS-Daten, die mit dem Standort des Fahrzeugs in dem Bereich assoziiert sind, und das Lokalisierungssystem 406 bestimmt einen Breitengrad und Längengrad des Fahrzeugs in dem Bereich. In einem solchen Beispiel bestimmt das Lokalisierungssystem 406 die Position des Fahrzeugs in dem Bereich basierend auf dem Breitengrad und dem Längengrad des Fahrzeugs. In manchen Ausführungsformen erzeugt das Lokalisierungssystem 406 Daten, die mit der Position des Fahrzeugs assoziiert sind. In manchen Beispielen erzeugt das Lokalisierungssystem 406 Daten, die mit der Position des Fahrzeugs assoziiert sind, basierend darauf, dass das Lokalisierungssystem 406 die Position des Fahrzeugs bestimmt. In einem solchen Beispiel beinhalten die Daten, die mit der Position des Fahrzeugs assoziiert sind, Daten, die mit einer oder mehreren semantischen Eigenschaften entsprechend der Position des Fahrzeugs assoziiert sind.
  • In manchen Ausführungsformen empfängt das Steuersystem 408 Daten, die mit mindestens einer Trajektorie assoziiert sind, vom Planungssystem 404 und das Steuersystem 408 steuert den Betrieb des Fahrzeugs. In manchen Beispielen empfängt das Steuersystem 408 Daten, die mit mindestens einer Trajektorie assoziiert sind, vom Planungssystem 404 und das Steuersystem 408 steuert den Betrieb des Fahrzeugs durch Erzeugen und Übertragen von Steuersignalen, um zu bewirken, dass ein Antriebsstrangsteuersystem (z. B. DBW-System 202h, Antriebsstrangsteuersystem 204 und/oder dergleichen), ein Lenkungssteuersystem (z. B. Lenkungssteuersystem 206) und/oder ein Bremssystem (z. B. Bremssystem 208) arbeiten. In einem Beispiel, bei dem eine Trajektorie eine Linksabbiegung beinhaltet, überträgt das Steuersystem 408 ein Steuersignal, um zu bewirken, dass das Lenkungssteuersystem 206 einen Lenkwinkel des Fahrzeugs 200 anpasst, wodurch bewirkt wird, dass das Fahrzeug 200 nach links abbiegt. Zusätzlich oder alternativ erzeugt und überträgt das Steuersystem 408 Steuersignale, um zu bewirken, dass andere Vorrichtungen (z. B. Scheinwerfer, Blinker, Türverriegelungen, Scheibenwischer und/oder dergleichen) des Fahrzeugs 200 ihren Zustand ändern.
  • In manchen Ausführungsformen implementieren das Wahrnehmungssystem 402, das Planungssystem 404, das Lokalisierungssystem 406 und/oder das Steuersystem 408 mindestens ein maschinelles Lernmodell (z. B. mindestens einen Multilayer-Perzeptron (MLP), mindestens ein faltendes neuronales Netzwerk (CNN), mindestens ein rekurrentes neuronales Netzwerk (RNN), mindestens einen Autocodierer, mindestens einen Transformator und/oder dergleichen). In manchen Beispielen implementieren das Wahrnehmungssystem 402, das Planungssystem 404, das Lokalisierungssystem 406 und/oder das Steuersystem 408 mindestens ein maschinelles Lernmodell alleine oder in Kombination mit einem oder mehreren der oben angemerkten Systeme. In manchen Beispielen implementieren das Wahrnehmungssystem 402, das Planungssystem 404, das Lokalisierungssystem 406 und/oder das Steuersystem 408 mindestens ein maschinelles Lernmodell als Teil einer Pipeline (z. B. einer Pipeline zum Identifizieren eines oder mehrerer Objekte, die sich in einer Umgebung befinden, und/oder dergleichen). Ein Beispiel einer Implementierung eines maschinellen Lernmodells ist nachstehend mit Bezug auf die 7A-7C enthalten.
  • Die Datenbank 410 speichert Daten, die zu dem Wahrnehmungssystem 402, dem Planungssystem 404, dem Lokalisierungssystem 406 und/oder dem Steuersystem 408 übertragen, von diesen empfangen und/oder durch diese aktualisiert werden. In manchen Beispielen beinhaltet die Datenbank 410 eine Speicherungskomponente (z. B. eine Speicherungskomponente, die die gleiche oder ähnlich ist wie die Speicherungskomponente 308 von 3), die Daten und/oder Software bezüglich des Betriebs speichert und mindestens ein System des autonomen Fahrzeugcomputers 400 verwendet. In manchen Ausführungsformen speichert die Datenbank 410 Daten, die mit 2D- und/oder 3D-Karten mindestens eines Bereichs assoziiert sind. In manchen Beispielen speichert die Datenbank 410 Daten, die mit 2D- und/oder 3D-Karten eines Teils einer Stadt, mehrerer Teile mehrerer Städte, mehrerer Städte, eines Landkreises, eines Staates (z. B. eines Landes) und/oder dergleichen assoziiert sind. In einem solchen Beispiel kann ein Fahrzeug (z. B. ein Fahrzeug, das das gleiche oder ähnlich ist wie die Fahrzeuge 102 und/oder das Fahrzeug 200) entlang eines oder mehrerer befahrbarer Gebiete (z. B. einspurige Straßen, mehrspurige Straßen, Landstraßen, Nebenstraßen, Feldwege und/oder dergleichen) fahren und bewirken, dass mindestens ein LiDAR-Sensor (z. B. ein LiDAR-Sensor, der der gleiche oder ähnlich ist wie die LiDAR-Sensoren 202b) Daten erzeugt, die mit einem Bild assoziiert sind, das die Objekte repräsentiert, die in einem Sichtfeld des mindestens einen LiDAR-Sensors enthalten sind.
  • In manchen Ausführungsformen kann die Datenbank 410 über mehrere Vorrichtungen implementiert werden. In manchen Beispielen ist die Datenbank 410 in einem Fahrzeug (z. B. einem Fahrzeug, das das gleiche oder ähnlich ist wie die Fahrzeuge 102 und/oder das Fahrzeug 200), einem autonomen Fahrzeugsystem (z. B. einem autonomen Fahrzeugsystem, das das gleiche oder ähnlich ist wie das Fern-AV-System 114), einem Flottenmanagementsystem (z. B. einem Flottenmanagementsystem, das das gleiche oder ähnlich ist wie das Flottenmanagementsystem 116 von 1), einem V2I-System (z. B. einem V2I-System, das das gleiche oder ähnlich ist wie das V2I-System 118 von 1) und/oder dergleichen enthalten.
  • Beispielhafte Verkehrsdetektionssysteme
  • 5 zeigt Aspekte für ein beispielhaftes Verkehrssignaldetektionssystem 500. Wie oben beschrieben, ist das Verkehrssignaldetektionssystem 500 dazu ausgelegt, das Vorhandensein eines oder mehrerer Verkehrssignale (z. B. in einer Umgebung eines autonomen Fahrzeugs, wie etwa des Fahrzeugs 200) zu detektieren und Informationen bezüglich des Ortes und der Orientierung von jedem der detektierten Verkehrssignale zu erzeugen. Informationen bezüglich der detektierten Signale können verwendet werden, um System mit künstlicher Intelligenz dahingehend zu trainieren, Verkehrssignale in einer Umgebung eines autonomen Fahrzeugs automatisch zu identifizieren und/oder die Navigation eines autonomen Fahrzeugs durch eine Umgebung anzuleiten.
  • In manchen Ausführungsformen kann das Verkehrssignaldetektionssystem 500 zumindest teilweise als eine oder mehrere Komponenten eines Fahrzeugs 200 implementiert werden. Beispielsweise kann das Verkehrssignaldetektionssystem 500 als ein Teil des autonomen Systems 202 implementiert werden, wie etwa als ein Teil des autonomen Fahrzeugcomputers 202f, 400 und/oder einer oder mehrerer Komponenten davon (z. B. das Wahrnehmungssystem 402, das Planungssystem 404, das Lokalisierungssystem 406, das Steuersystem 408 und/oder die Datenbank 410). Als ein anderes Beispiel kann das Verkehrssignaldetektionssystem 500 zumindest teilweise als eine oder mehrere unabhängige Komponenten des Fahrzeugs 200 implementiert werden.
  • In manchen Ausführungsformen kann das Verkehrssignaldetektionssystem 500 zumindest teilweise als eine oder mehrere Komponenten implementiert werden, die sich entfernt vom Fahrzeug 200 befinden. Als ein Beispiel kann das Verkehrssignaldetektionssystem 500 als eine Komponente des Fern-AV-Systems 114, des Flottenmanagementsystems 116 und/oder des V2I-Systems 118 implementiert werden. Als ein anderes Beispiel kann das Verkehrssignaldetektionssystem 500 zumindest teilweise als ein oder mehrere unabhängige Systeme implementiert werden (z. B. eine oder mehrere Computervorrichtungen, wie etwa ein Cloud-Rechensystem), die sich entfernt vom Fahrzeug 200 befinden.
  • Das Verkehrssignal beinhaltet ein Bildsegmentierungsmodul 502, ein Punktprojektionsmodul 504, ein Annotationsmodul 506 und eine Datenbank 508. Jedes der Module kann in Software, Firmware, Hardware oder einer beliebigen Kombination davon implementiert werden.
  • Während eines beispielhaften Betriebs des Verkehrssignaldetektionssystems 500 empfängt das Verkehrssignaldetektionssystem 500 Bilddaten 510, die ein oder mehrere zweidimensionale Bilder einer Außenumgebung (z. B. einer Umgebung des Fahrzeugs 200) repräsentieren und/oder beinhalten. In manchen Implementierungen können die Bilddaten 510 zumindest teilweise unter Verwendung eines oder mehrerer Bildsensoren (z. B. Standbildkamera, Videokamera usw.) erzeugt werden. Als ein Beispiel können die Bilddaten 510 zumindest teilweise durch eine oder mehrere der Kameras 202a des Fahrzeugs 200 (z. B. wie mit Bezug auf 2 beschrieben) erzeugt und dem Verkehrssignaldetektionssystem 500 bereitgestellt werden. Als ein anderes Beispiel können die Bilddaten 510 zumindest teilweise durch eine oder mehrere Kameras erzeugt werden, die sich entfernt vom Fahrzeug 200 befinden, und dem Verkehrssignaldetektionssystem 500 zur Verarbeitung bereitgestellt werden.
  • Das Bildsegmentierungsmodul 502 segmentiert die Bilddaten 510 in unterschiedliche Teile in Abhängigkeit von den Charakteristiken und/oder Inhalten der Bilddaten 510.
  • Als ein Beispiel kann das Bildsegmentierungsmodul 502 die Inhalte von jedem der Bilder, die durch das Bildsegmentierungsmodul 502 repräsentiert werden, analysieren und Teile des Bildes bestimmen, die einem oder mehreren Verkehrssignalen entsprechen. Ferner kann das Bildsegmentierungsmodul 502 das Bild in zwei oder mehr Bildsegmente (z. B. Teile des Bildes) segmentieren, sodass ein oder mehrere der Bildsegmente, die einem Verkehrssignal entsprechen, von einem oder mehreren anderen Bildsegmenten unterschieden werden, die nicht einem Verkehrssignal entsprechen.
  • In manchen Implementierungen kann das Bildsegmentierungsmodul 502 eine oder mehrere Grenzen bestimmen, die die Bildsegmente voneinander trennen. Als ein Beispiel kann das Bildsegmentierungsmodul 502 einen oder mehrere Begrenzungskästen bestimmen, die ein erstes Bildsegment umschließen, und das erste Bildsegment von einem oder mehreren anderen Bildsegmenten (z. B. Bildsegmenten, die nicht durch den Begrenzungskasten umschlossen werden) unterscheiden. Ein Begrenzungskasten kann eine oder mehrere geschlossene polygonale Umrisslinien beinhalten, die eine oder mehrere zweidimensionale und/oder dreidimensionale Formen bilden. Als ein Beispiel kann ein Begrenzungskasten eine oder mehrere polygonale Umrisslinien beinhalten, die ein oder mehrere Dreiecke, Quadrate, Fünfecke, Sechsecke und/oder eine beliebige andere zweidimensionale Form definieren. Als ein anderes Beispiel kann ein Begrenzungskasten eine oder mehrere polygonale Umrisslinien beinhalten, die ein oder mehrere Polyeder definieren. In manchen Implementierungen kann ein Begrenzungskasten als eine Reihe von Eckpunkten und/oder Linien repräsentiert werden (z. B. repräsentiert als Sätze von Bildkoordinaten, wie etwa x-y-Koordinaten, und/oder Vektoren).
  • Ferner kann für zumindest manche der Bildsegmente das Bildsegmentierungsmodul 502 eine oder mehrere Konfidenzmetriken bestimmen, die jeweils die Wahrscheinlichkeit repräsentieren, dass ein jeweiliges der Bildsegmente einem Verkehrssignal entspricht. Falls beispielsweise das Bildsegmentierungsmodul 502 mit einem hohen Konfidenzgrad bestimmt, dass ein erstes Bildsegment einem Verkehrssignal entspricht, kann das Bildsegmentierungsmodul 502 dem ersten Bildsegment eine hohe Konfidenzmetrik zuweisen. Als ein anderes Beispiel, falls das Bildsegmentierungsmodul 502 mit einem niedrigen Konfidenzgrad bestimmt, dass ein zweites Bildsegment einem Verkehrssignal entspricht, kann das Bildsegmentierungsmodul 502 dem zweiten Bildsegment eine niedrige Konfidenzmetrik zuweisen.
  • Als ein veranschaulichendes Beispiel zeigt 6A (linker Ausschnitt) ein Bild 600 einer Außenumgebung (z. B. ein Bild einer Straße, das durch eine oder mehrere Kameras erzeugt wird). Das Bildsegmentierungsmodul 502 kann die Charakteristiken und Inhalte des Bildes 600 analysieren. Ferner kann das Bildsegmentierungsmodul 502 basierend auf der Analyse das Bild 600 in ein erstes Bildsegment 602a, das einem ersten Verkehrssignal 604a entspricht (z. B. durch einen ersten Begrenzungskasten 606a umschlossen), ein zweites Bildsegment 602b, das einem zweiten Verkehrssignal 604b entspricht (z. B. durch einen zweiten Begrenzungskasten 606b umschlossen), und ein drittes Bildsegment 602c, das dem Rest des Bildes 600 entspricht (z. B. den Teilen des Bildes 600, die nicht durch den ersten Begrenzungskasten 606a oder den zweiten Begrenzungskasten 606b umschlossen werden), segmentieren. Ein beispielhaftes segmentiertes Bild 620 ist in 6A (rechter Ausschnitt) gezeigt.
  • Ferner kann das Bildsegmentierungsmodul 502 für jedes der Bildsegmente 602a und 602b eine jeweilige Konfidenzmetrik bestimmen, die die Wahrscheinlichkeit repräsentiert, dass das Bildsegment einem Verkehrssignal entspricht. Beispielsweise in dem in 6A gezeigten Beispiel bestimmt das Bildsegmentierungsmodul 502, dass die Wahrscheinlichkeit, dass das Bildsegment 602a einem Verkehrssignal entspricht, 98,1 % beträgt (z. B. P = 0,981, wobei P = 1 eine 100%-ige Wahrscheinlichkeit angibt). Ferner bestimmt das Bildsegmentierungsmodul 502, dass die Wahrscheinlichkeit, dass das Bildsegment 602b einem Verkehrssignal entspricht, 99,3 % beträgt (z. B. P = 0,993).
  • In manchen Implementierungen kann das Bildsegmentierungsmodul 502 zumindest einige der hierin beschriebenen Bestimmungen basierend auf einem oder mehreren maschinellen Lernmodellen vornehmen. Beispielsweise kann ein maschinelles Lernmodell dahingehend trainiert werden, Eingabedaten (z. B. Bilddaten, die ein oder mehrere Bilder einer Umgebung repräsentieren) zu empfangen und basierend auf den Eingabedaten Ausgabedaten zu erzeugen, die mit einer oder mehreren Vorhersagen bezüglich der Orte von Verkehrssignalen in diesen Bildern assoziiert sind. Das Bildsegmentierungsmodul 502 kann das Bild basierend auf den Vorhersagen in ein oder mehrere Bildsegmente segmentieren.
  • Als ein Beispiel kann ein maschinelles Lernmodell unter Verwendung von Trainingsdaten trainiert werden, die ein oder mehrere zuvor erzeugte Bilder einer oder mehrerer Außenumgebungen beinhalten (z. B. Trainingsdaten, die in der Datenbank 508 gespeichert sind). In manchen Implementierungen können zumindest manche dieser Bilder durch ein einziges Fahrzeug 200 (z. B. ein Fahrzeug 200, das das Verkehrssignaldetektionssystem 500 implementiert) erzeugt werden. In manchen Implementierungen können zumindest manche dieser Bilder durch ein oder mehrere andere Fahrzeuge oder Systeme (z. B. ein anderes Fahrzeug als das Fahrzeug, das das Verkehrssignaldetektionssystem 500 implementiert, ein Ferncomputersystem usw.) erzeugt werden.
  • Für jedes der Bilder können die Trainingsdaten Daten beinhalten, die repräsentieren, ob irgendwelche Verkehrssignale in diesem Bild dargestellt sind, und falls dem so ist, die Teile des Bildes, die dem einen oder den mehreren Verkehrssignalen entsprechen. Beispielweise können die Trainingsdaten einen oder mehrere Begrenzungskästen beinhalten (z. B. durch eine Reihe von Eckpunkten und/oder Linien repräsentiert), die jeweils ein anderes Verkehrssignal umschließen, das in einem Bild dargestellt ist. Die Eckpunkte und/oder Linien können zum Beispiel als Sätze von Bildkoordinaten (z. B. x-y-Koordinaten) und/oder Vektoren repräsentiert werden.
  • Basierend auf den Trainingsdaten kann das maschinelle Lernmodell dahingehend trainiert werden, Korrelationen, Beziehungen und/oder Tendenzen zwischen (i) den Eingabedaten (z. B. ein oder mehrere Bilder) und (ii) den Teilen der Eingabedaten (falls vorhanden), die Verkehrssignalen entsprechen (z. B. Teilen von Bildern, die ein Verkehrssignal darstellen), zu identifizieren.
  • Sobald das maschinelle Lernmodell trainiert wurde, kann das Bildsegmentierungsmodul 502 dem maschinellen Lernmodell neu erhaltene Eingabedaten bereitstellen (z. B. die Bilddaten 510), um die Teile der Eingabedaten zu bestimmen, die als Verkehrssignalen entsprechend vorhergesagt werden. Ferner kann das Bildsegmentierungsmodul 502 die Bilddaten 510 (z. B. unter Verwendung eines oder mehrerer Begrenzungskästen) segmentieren, um Teile eines Bildes, die Verkehrssignalen entsprechen, von anderen Teilen des Bildes zu unterscheiden, die nicht Verkehrssignalen entsprechen.
  • Beispielhafte maschinelle Lernmodelle sind mit Bezug auf die 7A-7C ausführlicher beschrieben.
  • Erneut mit Bezug auf 5 stellt das Bildsegmentierungsmodul 502 dem Punktprojektionsmodul 504 segmentierte Bilder 512 bereit. Ferner empfängt das Punktprojektionsmodul 504 Punktwolkendaten 514 bezüglich der Außenumgebung (z. B. der Umgebung des Fahrzeugs 200). Beispielsweise können die Punktwolkendaten 514 eine dreidimensionale Wolke der gleichen Außenumgebung repräsentieren und/oder beinhalten wie die, die in den Bildern der Bilddaten 510 und/oder den segmentierten Bildern 512 dargestellt ist.
  • In manchen Implementierungen können die Punktwolkendaten 514 und die Bilddaten 510 gleichzeitig durch ein Sensorsystem erzeugt werden. Beispielsweise kann das Sensorsystem, während das Fahrzeug 200 eine Umgebung befährt, gleichzeitig ein oder mehrere Bilder (z. B. unter Verwendung einer oder mehrerer Kameras) und eine oder mehrere Punktwolken erzeugen, sodass die Bilder und die Punktwolken Objekte im Außenwinkel von demselben Blickpunkt und/oder Blickfeld repräsentieren.
  • In manchen Implementierungen können die Punktewolkendaten 514 zumindest teilweise unter Verwendung eines oder mehrerer Entfernungsmessungssensoren (z. B. LiDAR-Sensoren, Laufzeitsensoren, Radar-Sensoren usw.) erzeugt werden. Als ein Beispiel können die Punktewolkendaten 514 zumindest teilweise durch einen oder mehrere der LiDAR-Sensoren 202b und/oder Radar-Sensoren 202c des Fahrzeugs 200 (z. B. wie mit Bezug auf 2 beschrieben) erzeugt und dem Verkehrssignaldetektionssystem 500 zur Verarbeitung bereitgestellt werden. Als ein anderes Beispiel können die Punktewolkendaten 514 zumindest teilweise durch einen oder mehrere Entfernungsmessungssensoren erzeugt werden, die sich entfernt vom Fahrzeug 200 befinden, und dem Verkehrssignaldetektionssystem 500 zur Verarbeitung bereitgestellt werden.
  • Das Punktprojektionsmodul 504 projiziert zumindest einen Teil der Punktwolkendaten 514 auf die segmentierten Bilder 512. Beispielsweise kann das Punktprojektionsmodul 504 die segmentierten Bilder 512 und die Punktwolkendaten 514 so ausrichten oder registrieren, dass sie kollektiv räumliche Informationen bezüglich eines oder mehrerer Objekte in der Außenumgebung bereitstellen. Als ein Beispiel können die Punktwolkendaten 514 und/oder die segmentierten Bilder 512 rotiert, translatiert, verdreht, verzerrt oder anderweitig manipuliert werden, sodass die segmentierten Bilder 512 und die Punktwolkendaten 514 einen gemeinsamen Teil der Außenumgebung gemäß einem gemeinsamen Blickpunkt und/oder Blickfeld repräsentieren.
  • Ferner kann das Punktprojektionsmodul 504 den Teilsatz der Punkte in den Punktwolkendaten 514 bestimmen, die mit den Bildsegmenten übereinstimmen, die durch das Bildsegmentierungsmodul 502 als Verkehrssignalen entsprechend identifiziert werden. Beispielsweise kann das Punktprojektionsmodul 504, nachdem zumindest ein Teil der Punktwolkendaten 514 auf die segmentierten Bilder 512 projiziert werden, den Teilsatz der Punkte der Punktwolkendaten 514 identifizieren, die durch die Begrenzungskästen umschlossen werden, die durch das Bildsegmentierungsmodul 502 erzeugt werden (z. B. Begrenzungskästen, die einen Teil der Bilddaten 510 umschließen, die Verkehrssignalen entsprechen). Ferner kann das Punktprojektionsmodul 504 die verbleibenden Punkte in den Punktwolkendaten 514 verwerfen oder anderweitig ignorieren.
  • Als ein veranschaulichendes Beispiel zeigt 6B (linker Ausschnitt) ein segmentiertes Bild 620 einer Umgebung. Im Allgemeinen kann das segmentierte Bild 620 dem mit Bezug auf 6A gezeigten und beschriebenen ähneln. Beispielsweise, wie in 6B gezeigt, kann das segmentierte Bild 620 ein Bild einer Straße sein, das durch eine oder mehrere Kameras erzeugt wird, und in unterschiedliche Bildsegmente 602a-602c basierend auf im Bild identifizierten Verkehrssignalen segmentiert wird.
  • Das Punktprojektionsmodul 504 kann Punktwolkendaten bezüglich der Umgebung auf das segmentierte Bild 620 projizieren, sodass jeder der Punkte der Punktwolke zu einem bestimmten Ort auf dem segmentierten Bild 620 (z. B. entsprechend dem räumlichen Ort dieses Punktes in der Umgebung) ausgerichtet oder registriert wird. Ferner, wie in 6B (rechter Ausschnitt) gezeigt, kann das Punktprojektionsmodul 504 Cluster von Punkten 622a und 622b auswählen, die mit den Bildsegmenten 602a und 602b übereinstimmen, die durch das Bildsegmentierungsmodul 502 als Verkehrssignalen entsprechend identifiziert werden. Ferner kann das Punktprojektionsmodul 504 die verbleibenden Punkte in den Punktwolkendaten 514 (in 6B nicht gezeigt) verwerfen oder anderweitig ignorieren.
  • Als ein Beispiel kann das Punktprojektionsmodul 504, nach dem Projizieren eines Teils der Punktwolkendaten auf das segmentierte Bild 620, einen Cluster von Punkten 622a, die durch den Begrenzungskasten 606a umschlossen sind (z. B. dem Verkehrssignal 604a entsprechend), und einen Cluster von Punkten 622b, die durch den Begrenzungskasten 606b umschlossen sind (z. B. dem Verkehrssignal 604b entsprechend), identifizieren. Ferner kann das Punktprojektionsmodul 504 die verbleibenden Punkte in den Punktwolkendaten (z. B. die Punkte, die nicht einem Verkehrssignal entsprechen) verwerfen oder anderweitig ignorieren.
  • Erneut mit Bezug auf 5 stellt das Punktprojektionsmodul 504 Verkehrssignaldaten 516 für jedes der identifizierten Verkehrssignale bereit (z. B. Daten 518, die die Begrenzungskästen repräsentieren, die durch das Bildsegmentierungsmodul 502 erzeugt werden, und die entsprechenden Cluster von Punktwolken, die durch das Punktprojektionsmodul 504 identifiziert werden). Basierend auf den Verkehrssignaldaten 516 erzeugt das Annotationsmodul 506 Annotationen 518 bezüglich jedes der Verkehrssignale, die in den Bilddaten 510 und den Punktwolkendaten 514 repräsentiert werden.
  • Als ein Beispiel kann das Annotationsmodul 506 für jedes der Verkehrssignale eine eindeutige Kennung für dieses Verkehrssignal erzeugen (z. B. falls das Verkehrssignal nicht zuvor schon durch das Verkehrssignaldetektionssystem 500 detektiert wurde) oder kann eine eindeutige Kennung bestimmen, die für dieses Verkehrssignal zuvor erzeugt wurde (z. B. falls das Verkehrssignal zuvor durch das Verkehrssignaldetektionssystem 500 detektiert wurde). In manchen Implementierungen kann die eindeutige Kennung eine alphanumerische Sequenz oder einen alphanumerischen Code beinhalten, die/der das Verkehrssignal von anderen Verkehrssignalen unterscheidet.
  • Ferner kann das Annotationsmodul 506 die eindeutige Kennung mit Daten assoziieren, die den Begrenzungskasten und/oder den Cluster von Punkten für dieses Verkehrssignal repräsentieren.
  • Weiterhin kann das Annotationsmodul 506 für jedes der Verkehrssignale Ortsdaten erzeugen, die den geografischen Ort dieses Verkehrssignals angeben, und die Ortsdaten mit der eindeutigen Kennung des Verkehrssignals assoziieren.
  • Beispielsweise kann das Annotationsmodul 506 auf Daten 520 zugreifen, die den geografischen Ort angeben, an dem die Bilddaten 510 und die Punktwolkendaten 514 erzeugt wurden (z. B. geografische Koordinaten, die den Ort der Kameras und/oder Entfernungsmessungssensoren zu der Zeit angeben, zu der sie Bilder und/oder Punktwolken erzeugten). Ferner kann das Annotationsmodul 506 auf Daten 520 zugreifen, die die Orientierung oder Perspektive der Bilddaten 510 und der Punktwolkendaten 514 angeben (z. B. die Richtung, in die die Kameras und/oder Entfernungsmessungssensoren zu der Zeit zeigten, zu der sie Bilder und/oder Punktwolken erzeugten, wie etwa eine Winkelverschiebung bezüglich einer oder mehrerer Richtungsachsen). In manchen Implementierungen können die Daten 520 in den Bilddaten 510 und/oder den Punktwolkendaten 514 enthalten (z. B. als Metadaten gespeichert) sein. In manchen Implementierungen können die Daten 520 separat von den Bilddaten 510 und/oder den Punktwolkendaten 514 gespeichert sein.
  • Basierend auf den Daten 520 bestimmt das Annotationsmodul 506 den geografischen Ort von jedem der Verkehrssignale, die die Bilddaten 510 und die Punktwolkendaten 514 repräsentieren. Beispielsweise kann das Annotationsmodul 506 den Teil der Bilddaten 510 und/oder der Punktwolkendaten 514 bestimmen, der einem Verkehrssignal entspricht (z. B. die räumliche Position des Verkehrssignals in einem Bild und/oder einer Punktwolke), und einen geografischen Ort bestimmen, der diesem Teil entspricht. In manchen Implementierungen kann das Annotationsmodul 506 den Ort eines Verkehrssignals unter Verwendung geografischer Koordinaten (z. B. Breiten- und Längenkoordinaten) und Elevation (z. B. Distanz über Meeresspiegel, Distanz über dem Boden usw.) angeben.
  • In manchen Implementierungen können die Verkehrssignalannotationen 518 auch, für jedes der Verkehrssignale, die Orientierung dieses Verkehrssignals angeben. Beispielsweise können die Verkehrssignalannotationen 518 die Richtung angeben, in die die visuellen Indikatoren des Verkehrssignals (z. B. die Signalleuchte) zeigen, wie etwa unter Verwendung eines Kompasskurses und/oder eines Richtungsvektors.
  • In manchen Implementierungen kann das Verkehrssignaldetektionssystem 500 die Orientierung eines Verkehrssignals bestimmen, indem der Cluster von Punkten für dieses Verkehrssignal erhalten und eine oder mehrere Ebenen an diesen Cluster von Punkten angepasst wird. Ferner wählt das Verkehrssignaldetektionssystem 500 die Ebene aus, die am besten zu dem Cluster von Punkten passt (z. B. die Ebene mit der nächsten Ausrichtung mit dem Cluster von Punkten), und bestimmt einen Richtungsvektor, der zu dieser Ebene normal ist. Der Richtungsvektor wird als die Orientierung des Verkehrssignals ausgewählt. In einer Implementierung kann ein Ebene an den Cluster von Punkten unter Verwendung einer Regressionstechnik (z. B. lineare Mehrfachregression) angepasst werden.
  • Als ein veranschaulichendes Beispiel zeigt 6C (linker Ausschnitt) einen Cluster von Punkten 640 (z. B. durch einen dreidimensionalen Begrenzungskasten 642 umschlossen), die ein Verkehrssignal repräsentieren. Wie in 6C (rechter Ausschnitt) gezeigt, kann das Verkehrssignaldetektionssystem 500 eine Ebene 644, die am besten zu dem Cluster von Punkten 640 passt, und einen Vektor 646 normal zu der Ebene 644 bestimmen. Der Vektor 646 kann als die Orientierung des Verkehrssignals ausgewählt werden.
  • In manchen Implementierungen können die Verkehrssignalannotationen 518 eine(n) oder mehrere Datensätze oder Datenstrukturen beinhalten, wobei jeder Datensatz oder jede Datenstruktur Informationen bezüglich eines jeweiligen Verkehrssignals angibt. Beispielsweise kann jeder Datensatz oder jede Datenstruktur eine eindeutige Kennung für ein bestimmtes Verkehrssignal, ein oder mehrere Bilder und/oder Punktwolken, die dieses Verkehrssignal repräsentieren, einen Begrenzungskasten für dieses Verkehrssignal, einen geografischen Ort dieses Verkehrssignals und/oder eine Orientierung dieses Verkehrssignals angeben.
  • In manchen Implementierungen kann das Verkehrssignaldetektionssystem 500 selektiv neue Datensätze oder Datenstrukturen für jedes neu detektierte Verkehrssignal erzeugen. Beispielsweise kann das Verkehrssignaldetektionssystem 500 jedes Mal, wenn ein neues Verkehrssignal detektiert wird (z. B. unter Verwendung der hierin beschriebenen Techniken), einen neuen Datensatz oder eine neue Datenstruktur erzeugen. Ferner kann das Verkehrssignaldetektionssystem 500 Informationen bezüglich des Verkehrssignals im Datensatz oder in der Datenstruktur beinhalten, wie etwa eine eindeutige Kennung für dieses Verkehrssignal, ein oder mehrere Bilder und/oder Punktwolken, die dieses Verkehrssignal repräsentieren, einen Begrenzungskasten für dieses Verkehrssignal, einen geografischen Ort dieses Verkehrssignals und/oder eine Orientierung dieses Verkehrssignals.
  • In manchen Implementierungen kann das Verkehrssignaldetektionssystem 500 selektiv einen schon bestehenden Datensatz oder eine schon bestehende Datenstruktur so modifizieren, dass diese zusätzliche Informationen bezüglich eines Verkehrssignals beinhalten. Beispielsweise wenn das Verkehrssignaldetektionssystem 500 ein Verkehrssignal detektiert, das zuvor schon detektiert wurde (z. B. durch das Verkehrssignaldetektionssystem 500 oder ein anderes System), kann das Verkehrssignaldetektionssystem 500 den Datensatz oder die Datenstruktur abrufen, der/die mit dieser Datenstruktur assoziiert ist, und den Datensatz oder die Datenstruktur mit zusätzlichen Informationen bezüglich des Verkehrssignals aktualisieren. Beispielsweise kann das Verkehrssignaldetektionssystem 500 den Datensatz oder die Datenstruktur so aktualisieren, dass diese zusätzliche Bilder und/oder Punktwolken beinhalten, die dieses Verkehrssignal repräsentieren. Als ein anderes Beispiel kann das Verkehrssignaldetektionssystem 500 den Datensatz oder die Datenstruktur so aktualisieren, dass diese einen modifizierten Begrenzungskasten für dieses Verkehrssignal beinhalten (z. B. einen modifizierten Begrenzungskasten, der zumindest teilweise basierend auf zusätzlichen Bilddaten und/oder Punktwolkendaten bezüglich des Verkehrssignals bestimmt wird). Als ein anderes Beispiel kann das Verkehrssignaldetektionssystem 500 den Datensatz oder die Datenstruktur so aktualisieren, dass diese einen modifizierten Ort und/oder eine modifizierte Orientierung dieses Verkehrssignals beinhalten (z. B. einen modifizierten Ort und/oder eine modifizierte Orientierung, der/die zumindest teilweise basierend auf zusätzlichen Bilddaten und/oder Punktwolkendaten bezüglich des Verkehrssignals bestimmt wird).
  • In manchen Implementierungen können die Verkehrssignalannotationen 518 einem Navigationssystem eines autonomen Fahrzeugs bereitgestellt werden, sodass das Navigationssystem das autonome Fahrzeug gemäß den Verkehrssignalen durch eine Umgebung leiten kann. Als ein Beispiel können die Verkehrssignalannotationen 518 dem autonomen Fahrzeugcomputer 202f, 400 bereitgestellt werden. Basierend auf den Verkehrssignalannotationen 518 kann der autonome Fahrzeugcomputer 202f, 400 die geografischen Orte und/oder Orientierungen der Verkehrssignale in der Umgebung des autonomen Fahrzeugs bestimmen, jegliche Anweisungen, die durch die Verkehrssignale signalisiert werden, bestimmen und das autonome Fahrzeug gemäß diesen Anweisungen navigieren. In manchen Implementierungen kann ein autonomer Fahrzeugcomputer 202f, 400 dazu ausgelegt sein, die Detektion von Verkehrssignalen zu priorisieren, die sich näher an dem autonomen Fahrzeug befinden und/oder in Richtung des autonomen Fahrzeugs orientiert sind.
  • In manchen Implementierungen können die Verkehrssignalannotationen 518 verwendet werden, um eine Merkmalskarte (Feature Map) eines bestimmten geografischen Gebiets zu erzeugen, einschließlich Daten bezüglich des geografischen Ortes und/oder der Orientierung jedes der Verkehrssignale in diesem geografischen Gebiet. Als ein Beispiel kann ein Computersystem eine Karte (z. B. zweidimensionale Karte, wie etwa eine Overhead-Karte, oder eine dreidimensionale Karte) eines geografischen Gebiets erzeugen. Ferner kann das Computersystem den geografischen Ort und/oder die Orientierung jedes der Verkehrssignale in der Karte angeben (z. B. unter Verwendung grafischer Symbole, Textinformationen usw.). In manchen Implementierungen kann die Karte einem menschlichen Bediener (z. B. um die manuelle Navigation eines Fahrzeugs zu unterstützen) und/oder einem autonomen Fahrzeug (z. B. um die autonome Navigation des Fahrzeugs zu unterstützen) präsentiert werden.
  • In manchen Implementierungen können die Verkehrssignalannotationen 518 verwendet werden, um ein maschinelles Lernsystem dahingehend zu trainieren, Verkehrssignale in einer Umgebung unter Verwendung von Bildern und/oder Punktwolken zu detektieren. Beispielsweise können die Verkehrssignalannotationen 518 als positive Beispiele (z. B. „Ground-Truth“-Beispiele) von Verkehrssignalen in Bildern und/oder Punktwolken verwendet werden. Basierend auf diesen Beispielen kann ein maschinelles Lernsystem dahingehend trainiert werden, Korrelationen, Beziehungen und/oder Tendenzen zwischen (i) den Charakteristiken oder Bildern und/oder Punktwolken und (ii) den Teilen der Bilder oder Wolken (falls vorhanden), die Verkehrssignalen entsprechen, zu identifizieren. Dementsprechend kann ein maschinelles Lernsystem dahingehend trainiert werden, Verkehr genauer ohne menschliche Eingabe zu erkennen.
  • Zumindest manche der hierin beschriebenen Techniken können unter Verwendung eines oder mehrerer maschineller Lernmodelle implementiert werden. Als ein Beispiel zeigt 7A ein Diagramm einer Implementierung eines maschinellen Lernmodells. Genauer gesagt ist ein Diagramm einer Implementierung eines faltenden neuronalen Netzwerks (CNN - Convolutional Neural Network) 720 veranschaulicht. Für Veranschaulichungszwecke wird die folgende Beschreibung des CNN 720 mit Bezug auf eine Implementierung des CNN 720 durch das Verkehrssignaldetektionssystem 500 stattfinden. Es versteht sich jedoch, dass in manchen Beispielen das CNN 720 (z. B. eine oder mehrere Komponenten des CNN 720) durch andere Systeme verschieden von oder zusätzlich zu dem Zugänglichkeitssystem 210 implementiert wird, wie etwa den autonomen Fahrzeugcomputer 202f. Obwohl das CNN 720 bestimmte Merkmale beinhaltet, wie hierin beschrieben, sind diese Merkmale für Veranschaulichungszwecke bereitgestellt und sollen die vorliegende Offenbarung nicht beschränken.
  • Das CNN 720 beinhaltet mehrere Faltungsschichten einschließlich einer ersten Faltungsschicht 722, einer zweiten Faltungsschicht 724 und einer Faltungsschicht 726. In manchen Ausführungsformen beinhaltet das CNN 720 eine Subsampling-Schicht 728 (manchmal als eine Pooling-Schicht bezeichnet). In manchen Ausführungsformen haben die Subsampling-Schicht 728 und/oder andere Subsampling-Schichten eine Dimension (d. h. eine Menge an Knoten), die kleiner ist als eine Dimension eines Upstream-Systems. Da die Subsampling-Schicht 728 eine Dimension aufweist, die kleiner ist als eine Dimension einer Upstream-Schicht, konsolidiert das CNN 720 die Datenmenge, die mit der initialen Eingabe und/oder der Ausgabe einer Upstream-Schicht assoziiert ist, um dadurch die Menge an Berechnungen zu verringern, die notwendig sind, damit das CNN 720 Downstream-Faltungsoperationen durchführt. Zusätzlich oder alternativ konsolidiert das CNN 720, da die Subsampling-Schicht 728 mit mindestens einer Subsampling-Funktion assoziiert ist (z. B. ausgelegt ist, diese durchzuführen) (wie nachstehend mit Bezug auf die 7B und 7C beschrieben), die Menge an Daten, die mit der initialen Eingabe assoziiert ist.
  • Das Verkehrssignaldetektionssystem 500 führt Faltungsoperationen basierend darauf durch, dass das Verkehrssignaldetektionssystem 500 jeweilige Eingaben und/oder Ausgaben bereitstellt, die mit sowohl der ersten Faltungsschicht 722, der zweiten Faltungsschicht 724 als auch der Faltungsschicht 726 assoziiert sind, um jeweilige Ausgaben zu erzeugen. In manchen Beispielen implementiert das Verkehrssignaldetektionssystem 500 das CNN 720 basierend darauf, dass das Verkehrssignaldetektionssystem 500 Daten als Eingabe in die erste Faltungsschicht 722, die zweite Faltungsschicht 724 und die Faltungsschicht 726 bereitstellt. In einem solchen Beispiel liefert das Verkehrssignaldetektionssystem 500 die Daten als Eingabe in die erste Faltungsschicht 722, die zweite Faltungsschicht 724 und die Faltungsschicht 726 basierend darauf, dass das Verkehrssignaldetektionssystem 500 Daten von einem oder mehreren unterschiedlichen Systemen (z. B. Bilddaten, Punktwolkendaten, Trainingsdaten usw.) empfängt. Eine ausführliche Beschreibung von Faltungsoperationen ist nachstehend mit Bezug auf 7B enthalten.
  • In manchen Ausführungsformen liefert das Verkehrssignaldetektionssystem 500 Daten, die mit einer Eingabe (als eine initiale Eingabe bezeichnet) in die erste Faltungsschicht 722 assoziiert sind, und das Verkehrssignaldetektionssystem 500 erzeugt Daten, die mit einer Ausgabe assoziiert sind, unter Verwendung der ersten Faltungsschicht 722. In manchen Ausführungsformen liefert das Verkehrssignaldetektionssystem 500 eine Ausgabe, die durch eine Faltungsschicht erzeugt wird, als Eingabe in eine andere Faltungsschicht. Beispielsweise liefert das Verkehrssignaldetektionssystem 500 die Ausgabe der ersten Faltungsschicht 722 als Eingabe in die Subsampling-Schicht 728, die zweite Faltungsschicht 724 und/oder die Faltungsschicht 726. In einem solchen Beispiel wird die erste Faltungsschicht 722 als eine Upstream-Schicht bezeichnet und die Subsampling-Schicht 728, die zweite Faltungsschicht 724 und/oder die Faltungsschicht 726 werden als Downstream-Schichten bezeichnet. Gleichermaßen liefert das Verkehrssignaldetektionssystem 500 in manchen Ausführungsformen die Ausgabe der Subsampling-Schicht 728 zu der zweiten Faltungsschicht 724 und/oder der Faltungsschicht 726, und in diesem Beispiel würde die Subsampling-Schicht 728 als eine Upstream-Schicht bezeichnet werden und die zweite Faltungsschicht 724 und/oder die Faltungsschicht 726 würden als Downstream-Schichten bezeichnet werden.
  • In manchen Ausführungsformen verarbeitet das Verkehrssignaldetektionssystem 500 die Daten, die mit der dem CNN 720 bereitgestellten Eingabe assoziiert sind, bevor das Zugänglichkeitssystem 210 die Eingabe zu dem CNN 720 liefert. Beispielsweise verarbeitet das Verkehrssignaldetektionssystem 500 die Daten, die mit der dem CNN 720 bereitgestellten Eingabe assoziiert sind, basierend auf dem Verkehrssignaldetektionssystem 500 und Normieren von Sensordaten (z. B. Bilddaten, Punktwolkendaten, und/oder dergleichen).
  • In manchen Ausführungsformen erzeugt das CNN 720 eine Ausgabe basierend darauf, dass das Verkehrssignaldetektionssystem 500 Faltungsoperationen durchführt, die mit jeder Faltungsschicht assoziiert sind. In manchen Beispielen erzeugt das CNN 720 eine Ausgabe basierend darauf, dass das Verkehrssignaldetektionssystem 500 Faltungsoperationen durchführt, die mit jeder Faltungsschicht und einer initialen Eingabe assoziiert sind. In manchen Ausführungsformen erzeugt das Verkehrssignaldetektionssystem 500 die Ausgabe und liefert die Ausgabe als eine vollständig verbundene Schicht 730. In manchen Beispielen liefert das Verkehrssignaldetektionssystem 500 die Ausgabe der Faltungsschicht 726 als die vollständig verbundene Schicht 730, wobei die vollständig verbundene Schicht 730 Daten beinhaltet, die mit mehreren Merkmalswerten assoziiert sind, bezeichnet als F1, F2 ... FN. In diesem Beispiel beinhaltet die Ausgabe der Faltungsschicht 726 Daten, die mit mehreren Ausgabemerkmalswerten assoziiert sind, die eine Vorhersage repräsentieren.
  • In manchen Ausführungsformen identifiziert das Verkehrssignaldetektionssystem 500 eine Vorhersage aus mehreren Vorhersagen basierend darauf, dass das Verkehrssignaldetektionssystem 500 einen Merkmalswert identifiziert, der mit der höchsten Wahrscheinlichkeit, die korrekte Vorhersage aus den mehreren Vorhersagen zu sein, assoziiert ist. Beispielsweise wenn die vollständig verbundene Schicht 730 Merkmalswerte F1, F2, ... FN beinhaltet und F1 der größte Merkmalswert ist, identifiziert das Verkehrssignaldetektionssystem 500 die mit F1 assoziierte Vorhersage als die korrekte Vorhersage aus den mehreren Vorhersagen. In manchen Ausführungsformen trainiert das Verkehrssignaldetektionssystem 500 das CNN 720 dahingehend, die Vorhersage zu erzeugen. In manchen Beispielen trainiert das Verkehrssignaldetektionssystem 500 das CNN 720 dahingehend, die Vorhersage zu erzeugen, basierend darauf, dass das Verkehrssignaldetektionssystem 500 dem CNN 720 Trainingsdaten, die mit der Vorhersage assoziiert sind, bereitstellt.
  • Eine Vorhersage kann beispielsweise einen vorhergesagten Teil eines Bildes beinhalten, der einem Verkehrssignal entspricht. Als ein anderes Beispiel kann eine Vorhersage einen oder mehrere Begrenzungskästen beinhalten (z. B. als eine Reihe von Eckpunkten und/oder Linien repräsentiert), die einen Teil eines Bildes umschließen, der als einem Verkehrssignal entsprechend vorhergesagt wird.
  • Jetzt mit Bezug auf die 7B und 7C ist ein Diagramm eines beispielhaften Betriebs eines CNN 740 durch das Verkehrssignaldetektionssystem 500 veranschaulicht. In manchen Ausführungsformen ist das CNN 740 (z. B. eine oder mehrere Komponenten des CNN 740) das gleiche oder ähnlich wie das CNN 720 (z. B. eine oder mehrere Komponenten des CNN 720) (siehe 7A).
  • Bei Schritt 750 stellt das Verkehrssignaldetektionssystem 500 Daten als Eingabe in das CNN 740 bereit (Schritt 750). Beispielsweise kann das Verkehrssignaldetektionssystem 500 Daten der Bilddaten 510 und/oder der Punktwolkendaten 514 bereitstellen (z. B. durch eine oder mehrere Kameras 202a und LiDAR-Sensoren 200b erhalten). Als ein anderes Beispiel kann das Verkehrssignaldetektionssystem 500 Daten bereitstellen, die von der Datenbank 508 empfangen werden.
  • Bei Schritt 755 führt das CNN 740 eine erste Faltungsfunktion durch. Beispielsweise führt das CNN 740 die erste Faltungsfunktion basierend darauf durch, dass das CNN 740 die Werte, die die Eingabedaten repräsentieren, als Eingabe in ein oder mehrere Neuronen (nicht ausdrücklich veranschaulicht), die in der ersten Faltungsschicht 742 enthalten sind, bereitstellt. Als ein Beispiel können die Werte, die ein Bild oder Video repräsentieren, Werten entsprechen, die ein Gebiet des Bildes oder Videos repräsentieren (manchmal als ein rezeptives Feld bezeichnet). Als ein anderes Beispiel können Werte, die eine andere Sensormessung repräsentieren, Werten entsprechen, die einen Teil dieser Sensormessung repräsentieren (z. B. einen bestimmten zeitlichen Teil und/oder einen bestimmten spektralen Teil).
  • In manchen Ausführungsformen ist jedes Neuron mit einem Filter (nicht ausdrücklich veranschaulicht) assoziiert. Ein Filter (manchmal als ein Kernel bezeichnet) ist als ein Array von Werten repräsentierbar, das in der Größe den Werten entspricht, die als Eingabe in das Neuron bereitgestellt werden. In einem Beispiel kann ein Filter dazu ausgelegt sein, Kanten in einem Bild (z. B. horizontale Linien, vertikale Linien, gerade Linien und/oder dergleichen) zu identifizieren. In folgenden Faltungsschichten können die mit Neuronen assoziierten Filter dazu ausgelegt sein, sukzessive komplexere Muster in dem Bild (z. B. Bögen, Objekte und/oder dergleichen) zu identifizieren. In einem anderen Beispiel kann ein Filter dazu ausgelegt sein, spektrale Teile eines Audiosignals zu identifizieren (z. B. Teile eines Audiosignals, die bestimmten Frequenzen und/oder Frequenzbereichen entsprechen). In aufeinanderfolgenden Faltungsschichten können die mit Neuronen assoziierten Filter dazu ausgelegt sein, sukzessive komplexere Muster im Audiosignal zu identifizieren (z. B. Muster, die einen Ort einer Quelle des Audios, eine Identität oder einen Typ der Quelle des Audios usw. angeben).
  • In manchen Ausführungsformen führt das CNN 740 die erste Faltungsfunktion basierend darauf durch, dass das CNN 740 die Werte, die jedem des einen oder der mehreren in der ersten Faltungsschicht 742 enthaltenen Neuronen als Eingabe bereitgestellt werden, mit den Werten des Filters, das jedem des einen oder der mehreren Neuronen entspricht, multipliziert. Beispielsweise kann das CNN 740 die Werte, die jedem des einen oder der mehreren in der ersten Faltungsschicht 742 enthaltenen Neuronen als Eingabe bereitgestellt werden, mit den Werten des Filters, das jedem des einen oder der mehreren Neuronen entspricht, multiplizieren, um einen einzelnen Wert oder ein Array von Werten als eine Ausgabe zu erzeugen. In manchen Ausführungsformen wird die kollektive Ausgabe der Neuronen der ersten Faltungsschicht 742 als eine gefaltete Ausgabe bezeichnet. In manchen Ausführungsformen, bei der jedes Neuron das gleiche Filter aufweist, wird die gefaltete Ausgabe als eine Feature Map (Merkmalskarte) bezeichnet.
  • In manchen Ausführungsformen liefert das CNN 740 die Ausgaben jedes Neurons der ersten Faltungsschicht 742 zu Neuronen einer Downstream-Schicht. Für Verdeutlichungszwecke kann eine Upstream-Schicht eine Schicht sein, die Daten zu einer anderen Schicht (als eine Downstream-Schicht bezeichnet) überträgt. Beispielsweise kann das CNN 740 die Ausgaben jedes Neurons der ersten Faltungsschicht 742 zu entsprechenden Neuronen einer Subsampling-Schicht liefern. In einem Beispiel liefert das CNN 740 die Ausgaben jedes Neurons der ersten Faltungsschicht 742 zu entsprechenden Neuronen der ersten Subsampling-Schicht 744. In manchen Ausführungsformen fügt das CNN 740 einen Bias-Wert zu den Aggregaten aller Werte hinzu, die zu jedem Neuron der Downstream-Schicht geliefert werden. Beispielsweise fügt das CNN 740 einen Bias-Wert zu den Aggregaten aller Werte hinzu, die zu jedem Neuron der ersten Subsampling-Schicht 744 geliefert werden. In einem solchen Beispiel bestimmt das CNN 740 einen finalen Wert, der jedem Neuron der ersten Subsampling-Schicht 744 bereitzustellen ist, basierend auf den Aggregaten aller Werte, die jedem Neuron geliefert werden, und einer Aktivierungsfunktion, die mit jedem Neuron der ersten Subsampling-Schicht 744 assoziiert ist.
  • Bei Schritt 760 führt das CNN 740 eine erste Subsampling-Funktion durch. Beispielsweise kann das CNN 740 eine erste Subsampling-Funktion basierend darauf durchführen, dass das CNN 740 die Werte, die durch die erste Faltungsschicht 742 ausgegeben werden, zu entsprechenden Neuronen der ersten Subsampling-Schicht 744 liefert. In manchen Ausführungsformen führt das CNN 740 die erste Subsampling-Funktion basierend auf einer Aggregationsfunktion durch. In einem Beispiel führt das CNN 740 die erste Subsampling-Funktion basierend darauf durch, dass das CNN 740 die maximale Eingabe unter den Werten bestimmt, die zu einem gegebenen Neuron geliefert werden (als eine Max-Pooling-Funktion bezeichnet). In einem Beispiel führt das CNN 740 die erste Subsampling-Funktion basierend darauf durch, dass das CNN 740 die durchschnittliche Eingabe unter den Werten bestimmt, die zu einem gegebenen Neuron geliefert werden (als eine Average-Pooling-Funktion bezeichnet). In manchen Ausführungsformen erzeugt das CNN 740 eine Ausgabe basierend darauf, dass das CNN 740 die Werte zu jedem Neuron der ersten Subsampling-Schicht 744 liefert, wobei die Ausgabe manchmal als eine gefaltete Subsampling-Ausgabe bezeichnet wird.
  • Bei Schritt 765 führt das CNN 740 eine zweite Faltungsfunktion durch. In manchen Ausführungsformen führt das CNN 740 die zweite Faltungsfunktion auf eine ähnliche Weise durch, wie das CNN 740 die oben beschriebene erste Faltungsfunktion durchführte. In manchen Ausführungsformen führt das CNN 740 die zweite Faltungsfunktion basierend darauf durch, dass das CNN 740 die Werte, die durch die erste Subsampling-Schicht 744 ausgegeben werden, als Eingabe in ein oder mehrere Neuronen (nicht ausdrücklich veranschaulicht), die in der zweiten Faltungsschicht 746 enthalten sind, bereitstellt. In manchen Ausführungsformen ist jedes Neuron der zweiten Faltungsschicht 746 mit einem Filter assoziiert, wie oben beschrieben. Das eine oder die mehreren mit der zweiten Faltungsschicht 746 assoziierten Filter können dazu ausgelegt sein, komplexere Muster als das Filter zu identifizieren, das mit der ersten Faltungsschicht 742 assoziiert ist, wie oben beschrieben.
  • In manchen Ausführungsformen führt das CNN 740 die zweite Faltungsfunktion basierend darauf durch, dass das CNN 740 die Werte, die jedem des einen oder der mehreren in der zweiten Faltungsschicht 746 enthaltenen Neuronen als Eingabe bereitgestellt werden, mit den Werten des Filters, das jedem des einen oder der mehreren Neuronen entspricht, multipliziert. Beispielsweise kann das CNN 740 die Werte, die jedem des einen oder der mehreren in der zweiten Faltungsschicht 746 enthaltenen Neuronen als Eingabe bereitgestellt werden, mit den Werten des Filters, das jedem des einen oder der mehreren Neuronen entspricht, multiplizieren, um einen einzelnen Wert oder ein Array von Werten als eine Ausgabe zu erzeugen.
  • In manchen Ausführungsformen liefert das CNN 740 die Ausgaben jedes Neurons der zweiten Faltungsschicht 746 zu Neuronen einer Downstream-Schicht. Beispielsweise kann das CNN 740 die Ausgaben jedes Neurons der ersten Faltungsschicht 742 zu entsprechenden Neuronen einer Subsampling-Schicht liefern. In einem Beispiel liefert das CNN 740 die Ausgaben jedes Neurons der ersten Faltungsschicht 742 zu entsprechenden Neuronen der zweiten Subsampling-Schicht 748. In manchen Ausführungsformen fügt das CNN 740 einen Bias-Wert zu den Aggregaten aller Werte hinzu, die zu jedem Neuron der Downstream-Schicht geliefert werden. Beispielsweise fügt das CNN 740 einen Bias-Wert zu den Aggregaten aller Werte hinzu, die zu jedem Neuron der zweiten Subsampling-Schicht 748 geliefert werden. In einem solchen Beispiel bestimmt das CNN 740 einen finalen Wert, der jedem Neuron der zweiten Subsampling-Schicht 748 bereitzustellen ist, basierend auf den Aggregaten aller Werte, die zu jedem Neuron geliefert werden, und einer Aktivierungsfunktion, die mit jedem Neuron der zweiten Subsampling-Schicht 748 assoziiert ist.
  • Bei Schritt 770 führt das CNN 740 eine zweite Subsampling-Funktion durch. Beispielsweise kann das CNN 740 eine zweite Subsampling-Funktion basierend darauf durchführen, dass das CNN 740 die Werte, die durch die zweite Faltungsschicht 746 ausgegeben werden, zu entsprechenden Neuronen der zweiten Subsampling-Schicht 748 liefert. In manchen Ausführungsformen führt das CNN 740 die zweite Subsampling-Funktion basierend darauf durch, dass das CNN 740 eine Aggregationsfunktion verwendet. In einem Beispiel führt das CNN 740 die erste Subsampling-Funktion basierend darauf durch, dass das CNN 740 die maximale Eingabe oder eine durchschnittliche Eingabe unter den Werten, die einem gegebenen Neuron bereitgestellt werden, bestimmt, wie oben beschrieben. In manchen Ausführungsformen erzeugt das CNN 740 eine Ausgabe basierend darauf, dass das CNN 740 die Werte zu jedem Neuron der zweiten Subsampling-Schicht 748 liefert.
  • Bei Schritt 775 liefert das CNN 740 die Ausgabe jedes Neurons der zweiten Subsampling-Schicht 748 zu vollständig verbundenen Schichten 749. Beispielsweise liefert das CNN 740 die Ausgabe jedes Neurons der zweiten Subsampling-Schicht 748 zu vollständig verbundenen Schichten 749, um zu bewirken, dass die vollständig verbundenen Schichten 749 eine Ausgabe erzeugen. In manchen Ausführungsformen sind die vollständig verbundenen Schichten 749 dazu ausgelegt, eine Ausgabe zu erzeugen, die mit einer Vorhersage (manchmal als eine Klassifikation bezeichnet) assoziiert ist.
  • Als ein Beispiel kann die Ausgabe eine Vorhersage bezüglich des Ortes eines Verkehrssignals in Bilddaten beinhalten. Beispielsweise kann die Ausgabe eine Reihe von Eckpunkten und/oder Linien angeben, die einen Begrenzungskasten repräsentieren, der einen Teil eines Bildes umschließt, der einem Verkehrssignal entspricht. Die Eckpunkte und/oder Linien können zum Beispiel als Sätze von Bildkoordinaten (z. B. x-y-Koordinaten) und/oder Vektoren repräsentiert werden.
  • Als ein anderes Beispiel kann die Ausgabe eine Konfidenzmetrik beinhalten, die die Wahrscheinlichkeit repräsentiert, dass ein jeweiliger der Teile des Bildes (z. B. ein Teil des Bildes, der durch einen Begrenzungskasten umschlossen ist) einem Verkehrssignal entspricht.
  • Jetzt mit Bezug auf 8 ist ein Flussdiagramm eines Prozesses 800 zum automatischen Detektieren von Verkehrssignalen unter Verwendung von Sensordaten veranschaulicht. In manchen Ausführungsformen werden ein oder mehrere der Schritte, die mit Bezug auf den Prozess 800 beschrieben sind, (z. B. vollständig, teilweise und/oder dergleichen) durch das Verkehrssignaldetektionssystem 500 durchgeführt. Zusätzlich oder alternativ werden in manchen Ausführungsformen ein oder mehrere Schritte, die mit Bezug auf den Prozess 800 beschrieben werden, (z. B. vollständig, teilweise und/oder dergleichen) durch eine andere Vorrichtung oder Gruppe von Vorrichtungen separat von oder einschließlich des Verkehrssignaldetektionssystems 500, wie etwa eines Computersystems entfernt von einem Fahrzeug (z. B. einem Servercomputer und/oder einem Cloud-Computersystem), durchgeführt.
  • Weiterhin mit Bezug auf 8 erhält ein System erste Sensordaten und zweite Sensordaten bezüglich einer Umgebung eines autonomen Fahrzeugs (Block 802). Die ersten Sensordaten repräsentieren mindestens ein Bild der Umgebung, das durch mindestens einen Bildsensor des autonomen Fahrzeugs erzeugt wird. Ferner repräsentieren die zweiten Sensordaten eine dreidimensionale Punktwolke, die mit der Umgebung assoziiert ist. Die zweiten Sensordaten werden durch mindestens einen Entfernungsmessungssensor des autonomen Fahrzeugs erzeugt.
  • In manchen Implementierungen kann das Erhalten der ersten Sensordaten Empfangen des mindestens einen Bildes (z. B. eines oder mehrerer zweidimensionaler Bilder und/oder dreidimensionaler Bilder) beinhalten, das durch mindestens eine Standbildkamera oder Videokamera des autonomen Fahrzeugs erzeugt wird.
  • In manchen Implementierungen kann das Erhalten der zweiten Sensordaten Empfangen der Punktwolkendaten beinhalten, die durch mindestens einen LiDAR-Sensor des autonomen Fahrzeugs erzeugt werden.
  • Weiterhin mit Bezug auf 8 bestimmt das System einen Teil des mindestens einen Bildes, der einem Verkehrssignal (z. B. Ampel, rotes Licht usw.) in der Umgebung entspricht (Block 804).
  • Das System bestimmt einen Punktcluster der Punktwolke, der dem Teil des mindestens einen Bildes entspricht (Block 806).
  • In manchen Implementierungen kann das Bestimmen des Teils des mindestens einen Bildes, der dem Verkehrssignal entspricht, Bestimmen eines Begrenzungskastens beinhalten, der das Verkehrssignal in dem mindestens einen Bild umschließt (z. B. zumindest teilweise unter Verwendung eines computergestützten neuronalen Netzwerks).
  • Ferner kann eine Konfidenzmetrik für den Begrenzungskasten bestimmt werden. Die Konfidenzmetrik kann eine Wahrscheinlichkeit repräsentieren, dass der Begrenzungskasten das Verkehrssignal in dem mindestens einen Bild umschließt. In manchen Implementierungen kann die Konfidenzmetrik zumindest teilweise basierend auf einem computergestützten neuronalen Netzwerk bestimmt werden.
  • Ferner kann das Bestimmen des Punktclusters, der dem Teil des mindestens einen Bildes entspricht, auch Bestimmen eines Teilsatzes der Punkte der Punktwolke beinhalten, die mit dem Begrenzungskasten übereinstimmen. Beispielsweise kann das System den Begrenzungskasten und die Punktwolke miteinander registrieren und die Punkte bestimmen, die von dem Begrenzungskasten umschlossen werden.
  • Das System bestimmt einen Ort des Verkehrssignals (z. B. einen geografischen Ort des Verkehrssignals) basierend auf dem Punktcluster (Block 808).
  • In manchen Implementierungen kann das System auch eine Orientierung des Verkehrssignals basierend auf dem Punktcluster bestimmen. Als ein Beispiel kann das System eine Ebene an den Punktcluster anpassen und die Orientierung des Verkehrssignals basierend auf einer Orientierung der Ebene bestimmen. Beispielsweise kann die Orientierung des Verkehrssignals durch einen Normalenvektor der Ebene repräsentiert werden.
  • In manchen Implementierungen kann das System auch Daten, die den Ort des Verkehrssignals repräsentieren, zu einem Navigationssystem des autonomen Fahrzeugs übertragen (um z. B. dem Navigationssystem zu ermöglichen, das AV gemäß dem Verkehrssignal zu navigieren). Als ein Beispiel können die Daten, die den Ort des Verkehrssignals repräsentieren, zu einem autonomen Fahrzeugcomputer, einem Wahrnehmungssystem, einem Planungssystem, einem Lokalisierungssystem oder einer beliebigen anderen Komponente eines autonomen Fahrzeugs übertragen werden, die die Navigation des autonomen Fahrzeugs durch eine Umgebung unterstützen können.
  • In manchen Implementierungen kann das System auch Daten, die den Ort des Verkehrssignals repräsentieren, zu einem Computersystem entfernt vom autonomen Fahrzeug übertragen. Beispielsweise kann das Computersystem dazu ausgelegt sein, eine oder mehrere Merkmalskarten der Umgebung basierend auf der Datenebene zu erzeugen (um z. B. anderen Systemen zu ermöglichen, die Verkehrssignaldaten zu verwenden, wie etwa zum Erzeugen von Trainingsdaten für ein maschinelles Lernsystem, ein allgemeines Kartierungssystem, das Punkte von Interesse in einem geografischen Gebiet identifiziert, usw.).
  • In der vorstehenden Beschreibung wurden Aspekte und Ausführungsformen der vorliegenden Offenbarung mit Bezugnahme auf zahlreiche spezifische Einzelheiten beschrieben, die von Implementierung zu Implementierung variieren können. Dementsprechend sind die Beschreibung und die Zeichnungen als veranschaulichend anstatt beschränkend aufzufassen. Der alleinige und exklusive Indikator des Schutzumfangs der Erfindung, und was durch die Anmelder als der Schutzumfang der Erfindung beabsichtigt wird, ist der wörtliche und äquivalente Schutzumfang des Satzes von Ansprüchen, der sich aus dieser Anmeldung ergibt, in der spezifischen Form, in der solche Ansprüche sich ergeben, einschließlich einer jeglichen anschließenden Korrektur. Jegliche Definitionen, die hierin für in solchen Ansprüchen enthaltenen Begriffe dargelegt sind, sollen die Bedeutung solcher Begriffe, wie in den Ansprüchen verwendet, bestimmen. Zusätzlich, wenn der Begriff „ferner umfassend“ in der vorstehenden Beschreibung oder den folgenden Ansprüchen verwendet wird, kann, was diesem Ausdruck folgt, ein zusätzlicher Schritt oder eine zusätzliche Entität oder ein Teilschritt/eine Teilentität eines zuvor vorgetragenen Schritts oder einer zuvor vorgetragenen Entität sein.

Claims (14)

  1. Verfahren, umfassend: Erhalten, durch mindestens einen Prozessor, erster Sensordaten und zweiter Sensordaten bezüglich einer Umgebung eines autonomen Fahrzeugs, wobei die ersten Sensordaten mindestens ein Bild der Umgebung repräsentieren, das durch mindestens einen Bildsensor des autonomen Fahrzeugs erzeugt wird, und wobei die zweiten Sensordaten eine dreidimensionale Punktwolke repräsentieren, die mit der Umgebung assoziiert ist, wobei die zweiten Sensordaten durch mindestens einen Entfernungsmessungssensor des autonomen Fahrzeugs erzeugt werden; Bestimmen, durch den mindestens einen Prozessor, eines Teils des mindestens einen Bildes, der einem Verkehrssignal in der Umgebung entspricht; Bestimmen, durch den mindestens einen Prozessor, eines Punktclusters der Punktwolke, der dem Teil des mindestens einen Bildes entspricht; und Bestimmen, durch den mindestens einen Prozessor, eines Ortes des Verkehrssignals basierend auf dem Punktcluster.
  2. Verfahren nach Anspruch 1, wobei das Erhalten der ersten Sensordaten Empfangen des mindestens einen Bildes umfasst, das durch mindestens eine Standbildkamera oder Videokamera des autonomen Fahrzeugs erzeugt wird.
  3. Verfahren nach Anspruch 1, wobei das Erhalten der zweiten Sensordaten Empfangen der Punktwolkendaten umfasst, die durch mindestens einen LiDAR-Sensor des autonomen Fahrzeugs erzeugt werden.
  4. Verfahren nach Anspruch 1, wobei das Bestimmen des Teils des mindestens einen Bildes, der dem Verkehrssignal entspricht, Folgendes umfasst: Bestimmen eines Begrenzungskastens, der das Verkehrssignal umschließt, in dem mindestens einen Bild.
  5. Verfahren nach Anspruch 4, wobei das Bestimmen des Begrenzungskastens Bestimmen des Begrenzungskastens unter Verwendung eines computergestützten neuronalen Netzwerks umfasst.
  6. Verfahren nach Anspruch 4, ferner umfassend: Bestimmen einer Konfidenzmetrik, die eine Wahrscheinlichkeit repräsentiert, dass der Begrenzungskasten das Verkehrssignal in dem mindestens einen Bild umschließt.
  7. Verfahren nach Anspruch 6, wobei das Bestimmen der Konfidenzmetrik Bestimmen der Konfidenzmetrik basierend auf einem computergestützten neuronalen Netzwerk umfasst.
  8. Verfahren nach Anspruch 4, wobei das Bestimmen des Punktclusters, der dem Teil des mindestens einen Bildes entspricht, Folgendes umfasst: Bestimmen eines Teilsatzes der Punkte der Punktwolke, die mit dem Begrenzungskasten übereinstimmen.
  9. Verfahren nach Anspruch 1, ferner umfassend Bestimmen einer Orientierung des Verkehrssignals basierend auf dem Punktcluster.
  10. Verfahren nach Anspruch 9, wobei das Bestimmen der Orientierung des Verkehrssignals Folgendes umfasst: Anpassen einer Ebene an den Punktcluster, und Bestimmen der Orientierung des Verkehrssignals basierend auf einer Orientierung der Ebene.
  11. Verfahren nach Anspruch 1, ferner umfassend: Übertragen von Daten, die den Ort des Verkehrssignals repräsentieren, zu einem Navigationssystem des autonomen Fahrzeugs.
  12. Verfahren nach Anspruch 1, ferner umfassend: Übertragen von Daten, die den Ort des Verkehrssignals repräsentieren, zu einem Computersystem entfernt von dem autonomen Fahrzeug, wobei das Computersystem dazu ausgelegt ist, eine oder mehrere Merkmalskarten der Umgebung basierend auf der Datenebene zu erzeugen.
  13. System, umfassend: mindestens einen Prozessor; und mindestens ein nichtflüchtiges Speicherungsmedium, das Anweisungen speichert, die bei Ausführung durch den mindestens einen Prozessor bewirken, dass der mindestens eine Prozessor Folgendes durchführt: Erhalten erster Sensordaten und zweiter Sensordaten bezüglich einer Umgebung eines autonomen Fahrzeugs, wobei die ersten Sensordaten mindestens ein Bild der Umgebung repräsentieren, das durch mindestens einen Bildsensor des autonomen Fahrzeugs erzeugt wird, und wobei die zweiten Sensordaten eine dreidimensionale Punktwolke repräsentieren, die mit der Umgebung assoziiert ist, wobei die zweiten Sensordaten durch mindestens einen Entfernungsmessungssensor des autonomen Fahrzeugs erzeugt werden; Bestimmen eines Teils des mindestens einen Bildes, der einem Verkehrssignal in der Umgebung entspricht; Bestimmen eines Punktclusters der Punktwolke, der dem Teil des mindestens einen Bildes entspricht; und Bestimmen eines Ortes des Verkehrssignals basierend auf dem Punktcluster.
  14. Nichtflüchtiges Speicherungsmedium bzw. nichtflüchtige Speicherungsmedien, die Anweisungen speichern, die bei Ausführung durch mindestens einen Prozessor bewirken, dass der mindestens eine Prozessor Folgendes durchführt: Erhalten erster Sensordaten und zweiter Sensordaten bezüglich einer Umgebung eines autonomen Fahrzeugs, wobei die ersten Sensordaten mindestens ein Bild der Umgebung repräsentieren, das durch mindestens einen Bildsensor des autonomen Fahrzeugs erzeugt wird, und wobei die zweiten Sensordaten eine dreidimensionale Punktwolke repräsentieren, die mit der Umgebung assoziiert ist, wobei die zweiten Sensordaten durch mindestens einen Entfernungsmessungssensor des autonomen Fahrzeugs erzeugt werden; Bestimmen eines Teils des mindestens einen Bildes, der einem Verkehrssignal in der Umgebung entspricht; Bestimmen eines Punktclusters der Punktwolke, der dem Teil des mindestens einen Bildes entspricht; und Bestimmen eines Ortes des Verkehrssignals basierend auf dem Punktcluster.
DE102022103060.1A 2021-12-01 2022-02-09 Automatisches detektieren von verkehrssignalen unter verwendung von sensordaten Pending DE102022103060A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/539,412 2021-12-01
US17/539,412 US20230169780A1 (en) 2021-12-01 2021-12-01 Automatically detecting traffic signals using sensor data

Publications (1)

Publication Number Publication Date
DE102022103060A1 true DE102022103060A1 (de) 2023-06-01

Family

ID=86317299

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102022103060.1A Pending DE102022103060A1 (de) 2021-12-01 2022-02-09 Automatisches detektieren von verkehrssignalen unter verwendung von sensordaten

Country Status (5)

Country Link
US (1) US20230169780A1 (de)
KR (1) KR102631148B1 (de)
CN (1) CN116229703A (de)
DE (1) DE102022103060A1 (de)
GB (2) GB2613400B (de)

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8559673B2 (en) * 2010-01-22 2013-10-15 Google Inc. Traffic signal mapping and detection
CN102117546B (zh) * 2011-03-10 2013-05-01 上海交通大学 车载交通信号灯辅助装置
US8620032B2 (en) * 2011-05-10 2013-12-31 GM Global Technology Operations LLC System and method for traffic signal detection
US8831849B2 (en) * 2012-02-13 2014-09-09 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for traffic signal recognition
US9145140B2 (en) * 2012-03-26 2015-09-29 Google Inc. Robust method for detecting traffic signals and their associated states
DE102012021419B3 (de) * 2012-10-30 2013-07-25 Audi Ag Verfahren zum Warnen eines Fahrers eines Fahrzeugs vor einem Überschreiten einer Geschwindigkeitsbeschränkung und Fahrzeug
EP3123397A4 (de) * 2014-03-27 2017-11-08 The Georgia Tech Research Corporation Systeme und verfahren zur identifizierung von verkehrssteuerungsvorrichtunge und prüfung ihrer rückstrahlung
US20200151611A1 (en) * 2017-05-26 2020-05-14 Google Llc Machine-Learned Model System
US10719641B2 (en) * 2017-11-02 2020-07-21 Airworks Solutions, Inc. Methods and apparatus for automatically defining computer-aided design files using machine learning, image analytics, and/or computer vision
DE112019000383T5 (de) * 2018-03-07 2020-11-12 Robert Bosch Gesellschaft mit beschränkter Haftung Odometriesystem und Verfahren zum Verfolgen von Ampelanlagen
US11056005B2 (en) * 2018-10-24 2021-07-06 Waymo Llc Traffic light detection and lane state recognition for autonomous vehicles
CN109635640B (zh) * 2018-10-31 2020-12-08 百度在线网络技术（北京）有限公司 基于点云的交通灯识别方法、装置、设备及存储介质
CN111238494B (zh) * 2018-11-29 2022-07-19 财团法人工业技术研究院 载具、载具定位系统及载具定位方法
CN111837136A (zh) * 2019-02-19 2020-10-27 深圳市大疆创新科技有限公司 基于本地感测的自主导航以及相关联的系统和方法
US11543534B2 (en) * 2019-11-22 2023-01-03 Samsung Electronics Co., Ltd. System and method for three-dimensional object detection
US10816993B1 (en) * 2019-11-23 2020-10-27 Ha Q Tran Smart vehicle
US11940804B2 (en) * 2019-12-17 2024-03-26 Motional Ad Llc Automated object annotation using fused camera/LiDAR data points
US11335100B2 (en) * 2019-12-27 2022-05-17 Industrial Technology Research Institute Traffic light recognition system and method thereof
CN111724616B (zh) * 2020-06-11 2021-11-05 徐州国云信息科技有限公司 基于人工智能的数据获取及共享的方法与装置
CN112735253B (zh) * 2020-10-22 2023-03-10 深圳安途智行科技有限公司 红绿灯自动标注方法及计算机设备
US20220185324A1 (en) * 2020-12-10 2022-06-16 Motional Ad Llc Merging LiDAR Information and Camera Information
CN113673386A (zh) * 2021-08-06 2021-11-19 南京航空航天大学 一种交通信号灯在先验地图中的标注方法

Also Published As

Publication number Publication date
KR20230083192A (ko) 2023-06-09
GB2613400A (en) 2023-06-07
GB202317203D0 (en) 2023-12-27
CN116229703A (zh) 2023-06-06
KR102631148B1 (ko) 2024-01-30
US20230169780A1 (en) 2023-06-01
GB2613400B (en) 2024-01-10

Similar Documents

Publication Publication Date Title
DE112020000487T5 (de) Automatisches wählen von datenproben zur annotation
DE102020111938A1 (de) Systeme und verfahren zum planen und aktualisieren einer fahrzeugtrajektorie
DE102021133349A1 (de) Einsatzfahrzeugdetektionssystem und -verfahren
DE102022102189A1 (de) Multimodales Segmentierungsnetz für ein verbessertes semantisches Labelingbei einer Kartenerzeugung
DE102021132853A1 (de) Auf deep learning basierende kamerakalibrierung
DE102020134835A1 (de) Langzeit-objektverfolgung zur unterstützung autonomer fahrzeugnavigation
DE102021118316A1 (de) Monokulare 3d-objekterkennung aus bildsemantiknetzwerk
DE102023111485A1 (de) Nachverfolgungssegmentbereinigung nachverfolgter objekte
DE102021131489A1 (de) Semantische annotation von sensordaten unter verwendung unzuverlässiger kartenannotationseingaben
DE102021132082A1 (de) Ende-zu-ende-system-training unter verwendung vereinigter bilder
DE102022131625A1 (de) Bordsteinbasierte merkmalsextraktion für lokalisierung und fahrspurerkennung mittels radar
DE102022122456A1 (de) Auf maschinellem lernen basierte klassifizierung einer punktwolkenausrichtung
DE102022106461A1 (de) Systeme und verfahren zur kameraausrichtung
DE102022105579A1 (de) Graphenerkundung zur regelbuchtrajektorieerzeugung
DE102021132199A1 (de) Bestimmen von Objektmobilitätsparametern unter Verwendung einer Objektsequenz
DE102023108247A1 (de) Tracker-Positionsaktualisierungen zur Erzeugung von Fahrzeugtrajektoren
DE112020000556T5 (de) Verkehrsampelschätzung
DE102022133254A1 (de) Antennenüberwachung und -auswahl
DE102022102187A1 (de) High-fidelity-daten-getriebene multimodale simulation
DE102022100413A1 (de) Objekterkennung unter verwendung von radar-und-lidar-zusammenführung
DE102021133740A1 (de) Erlernen der identifikation sicherheitskritischer szenarien für ein autonomes fahrzeug
DE102022103060A1 (de) Automatisches detektieren von verkehrssignalen unter verwendung von sensordaten
DE102022134446A1 (de) Bewegungsvorhersage in einem autonomen fahrzeug unter verwendung fusionierter synthetischer und kamerabilder
DE102023107247A1 (de) Vorhersage und Steuerung von Objektkreuzungen auf Fahrzeugrouten
DE102022110283A1 (de) Zielpunktbestimmung unter Verwendung einer Augenverfolgungsvorrichtung und LiDAR-Punktwolkendaten