DE102018121122A1 - Systeme und Verfahren zur Fahrzeugsignalleuchtenerfassung - Google Patents

Systeme und Verfahren zur Fahrzeugsignalleuchtenerfassung Download PDF

Info

Publication number
DE102018121122A1
DE102018121122A1 DE102018121122.8A DE102018121122A DE102018121122A1 DE 102018121122 A1 DE102018121122 A1 DE 102018121122A1 DE 102018121122 A DE102018121122 A DE 102018121122A DE 102018121122 A1 DE102018121122 A1 DE 102018121122A1
Authority
DE
Germany
Prior art keywords
vehicle
camera image
signal lights
camera
adjacent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102018121122.8A
Other languages
English (en)
Inventor
Gautier Minster
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of DE102018121122A1 publication Critical patent/DE102018121122A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/04—Systems determining the presence of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0248—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Artificial Intelligence (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Vascular Medicine (AREA)
  • Traffic Control Systems (AREA)

Abstract

Es werden Systeme und Verfahren zur Analyse von Fahrzeugsignalleuchten zur Verfügung gestellt, um ein autonomes Fahrzeug zu steuern. Ein Verfahren beinhaltet das Empfangen eines Bildes von einer Kamera bezüglich eines Fahrzeugs im Umfeld des autonomen Fahrzeugs. Die Daten eines Lidarsensors bezüglich des angrenzenden Fahrzeugs werden verwendet, um Objektinformationen zur Identifizierung eines Teilabschnitts im Kamerabild zu ermitteln. Der identifizierte Teilabschnitt entspricht einem Bereich des benachbarten Fahrzeugs, der ein oder mehrere Fahrzeugsignale enthält. Eine oder mehrere Fahrzeugsignalleuchten des benachbarten Fahrzeugs werden unter Verwendung des identifizierten Kamerabild-Teilabschnitts als Schwerpunktbereich lokalisiert.

Description

  • TECHNISCHES GEBIET
  • Die vorliegende Offenbarung bezieht sich im Allgemeinen auf autonome Fahrzeuge und insbesondere auf Systeme und Verfahren zur Fahrzeug-Lichtsignalerfassung in einem autonomen Fahrzeug.
  • EINLEITUNG
  • Ein autonomes Fahrzeug ist ein Fahrzeug, das in der Lage ist, seine Umgebung zu erfassen und mit geringfügiger oder gar keiner Benutzereingabe zu navigieren. Ein autonomes Fahrzeug erfasst seine Umgebung unter Verwendung von Sensorvorrichtungen, wie beispielsweise Radar-, Lidar-, Bildsensoren und dergleichen. Das autonome Fahrzeugsystem nutzt weiterhin Informationen von globalen Positioniersystemen (GPS), Navigationssystemen, Fahrzeug-Fahrzeug-Kommunikationen, Fahrzeug-Infrastruktur-Technologien und/oder drahtgesteuerten Systemen, um das Fahrzeug zu navigieren.
  • Die Fahrzeugautomatisierung wurde kategorisiert nach nummerischen Ebenen von null, entsprechend keiner Automatisierung mit voller menschlicher Kontrolle, bis Fünf, entsprechend der vollen Automatisierung ohne menschliche Kontrolle. Verschiedene automatisierte Fahrerassistenzsysteme, wie beispielsweise Geschwindigkeitsregelung, adaptive Geschwindigkeitsregelung und Parkassistenzsysteme, entsprechen niedrigeren Automatisierungsebenen, während echte „fahrerlose“ Fahrzeuge mit höheren Automatisierungsebenen übereinstimmen.
  • Einige autonome Fahrzeuge können Systeme beinhalten, die Lichtsignale von Fahrzeugen innerhalb der Fahrumgebung erfassen. Bei diesen Systemen wird typischerweise ein Gesamtbild einer Kamera nach zu erfassenden Fahrzeugsignalen durchsucht. Dieser Ansatz zur Fahrzeugsignalerfassung ist rechenintensiv und teuer, wodurch dieser langsam und sehr zeitaufwendig wird.
  • Dementsprechend ist es wünschenswert, Systeme und Verfahren bereitzustellen, die den Prozess der Fahrzeugsignalerfassung beschleunigen können. Ferner werden andere wünschenswerte Funktionen und Merkmale der vorliegenden Erfindung aus der nachfolgenden ausführlichen Beschreibung und den beigefügten Ansprüchen, in Verbindung mit den beigefügten Zeichnungen, sowie mit dem vorangehenden technischen Gebiet und Hintergrund ersichtlich offensichtlich.
  • KURZDARSTELLUNG
  • Es werden Systeme und Verfahren zur Analyse von Fahrzeugsignalleuchten zur Verfügung gestellt, um ein autonomes Fahrzeug zu steuern. In einer Ausführungsform beinhaltet ein System und Verfahren das Empfangen, durch einen oder mehrere Datenprozessoren, eines Bildes von einer Kamera bezüglich eines Fahrzeugs im Umfeld des autonomen Fahrzeugs. Die Daten eines Lidarsensors bezüglich des benachbarten Fahrzeugs werden verwendet, um Objektinformationen zur Identifizierung eines Teilabschnitts im Kamerabild zu ermitteln. Der identifizierte Teilabschnitt entspricht einem Bereich des benachbarten Fahrzeugs, der ein oder mehrere Fahrzeugsignale enthält. Eine oder mehrere Fahrzeugsignalleuchten des benachbarten Fahrzeugs werden unter Verwendung des identifizierten Kamerabild-Teilabschnitts als Schwerpunktbereich lokalisiert.
  • In weiteren Ausführungsformen beinhaltet ein System und Verfahren das Empfangen, durch einen oder mehrere Datenprozessoren, eines Bildes von einer Kamera bezüglich eines Fahrzeugs im Umfeld des autonomen Fahrzeugs. Die Daten eines Lidarsensors bezüglich des benachbarten Fahrzeugs werden von einem oder mehreren Prozessoren verwendet, um die Objektgeometrie und Positionsinformationen zur Identifizierung eines Teilbereichs im Kamerabild zu ermitteln. Der identifizierte Teilabschnitt entspricht einem Bereich des angrenzenden Fahrzeugs, der ein oder mehrere Fahrzeugsignale enthält. Eine oder mehrere Fahrzeugsignalleuchten des benachbarten Fahrzeugs werden unter Verwendung des identifizierten Kamerabild-Teilabschnitts durch einen oder mehrere Prozessoren als Schwerpunktbereich lokalisiert. Das Verfolgen des benachbarten Fahrzeugs basiert auf den lokalisierten einer oder mehreren Fahrzeugsignalleuchten des benachbarten Fahrzeugs.
  • Figurenliste
  • Die exemplarischen Ausführungsformen werden nachfolgend in Verbindung mit den folgenden Zeichnungen beschrieben, worin gleiche Bezugszeichen gleiche Elemente bezeichnen, und worin gilt:
    • 1 ist ein Funktionsblockdiagramm, das ein autonomes Fahrzeug gemäß verschiedenen Ausführungsformen veranschaulicht;
    • 2 ist ein Funktionsblockdiagramm, das ein Transportsystem mit einem oder mehreren autonomen Fahrzeugen aus 1 gemäß verschiedenen Ausführungsformen veranschaulicht;
    • 3 ist ein Funktionsblockdiagramm, das ein autonomes Antriebssystem (ADS) in Verbindung mit einem autonomen Fahrzeug gemäß verschiedenen Ausführungsformen veranschaulicht;
    • Die 4 und 5 sind Funktionsblockdiagramme, die ein Fahrzeug-Signalverarbeitungssystem gemäß verschiedenen Ausführungsformen zeigt;
    • 6 stellt ein exemplarisches Fahrzeug dar, das eine Vielzahl von Radarvorrichtungen, Kameras und Lidar-Vorrichtungen umfasst, die gemäß verschiedenen Ausführungsformen der vorliegenden Offenbarung um das Fahrzeug herum verteilt sind;
    • 7 ist ein Flussdiagramm, das ein Betriebsszenario darstellt, das eine Fahrzeugsignalerfassung umfasst; und
    • 8 ist ein Funktionsblockdiagramm, das ein Fahrzeug-Signalverarbeitungssystem unter Verwendung von Kameras mit fester Belichtung gemäß verschiedenen Ausführungsformen zeigt.
  • AUSFÜHRLICHE BESCHREIBUNG
  • Die folgende ausführliche Beschreibung dient lediglich als Beispiel und soll die Anwendung und Verwendung in keiner Weise einschränken. Weiterhin besteht keine Absicht, im vorstehenden technischen Bereich, Hintergrund, der Kurzzusammenfassung oder der folgenden detaillierten Beschreibung, an eine ausdrücklich oder implizit vorgestellte Theorie gebunden zu sein. Der hierin verwendete Begriff „Modul“ bezieht sich auf alle Hardware-, Software-, Firmwareprodukte, elektronische Steuerkomponenten, Verarbeitungslogik und/oder Prozessorgeräte, einzeln oder in allen Kombinationen, unter anderem beinhaltend, eine anwendungsspezifische integrierte Schaltung (ASIC), ein feldprogrammierbares Gate-Array (FPGA), eine elektronische Schaltung, einen Prozessor (gemeinsam genutzt, dediziert oder Gruppenprozessor) und einen Speicher, der ein oder mehrere Software- oder Firmwareprogramme, eine kombinatorische Logikschaltung und/oder andere geeignete Komponenten ausführt, welche die beschriebene Funktionalität bieten.
  • Ausführungsformen der vorliegenden Offenbarung können hierin als funktionale und/oder logische Blockkomponenten und verschiedene Verarbeitungsschritte beschrieben sein. Es ist zu beachten, dass derartige Blockkomponenten aus einer beliebigen Anzahl an Hardware-, Software- und/oder Firmware-Komponenten aufgebaut sein können, die zur Ausführung der erforderlichen Funktionen konfiguriert sind. Zum Beispiel kann eine Ausführungsform der vorliegenden Offenbarung eines Systems oder einer Komponente verschiedene integrierte Schaltungskomponenten, beispielsweise Speicherelemente, digitale Signalverarbeitungselemente, Logikelemente, Wertetabellen oder dergleichen, einsetzen, die mehrere Funktionen unter der Steuerung eines oder mehrerer Mikroprozessoren oder anderer Steuervorrichtungen durchführen können. Zudem werden Fachleute auf dem Gebiet erkennen, dass die exemplarischen Ausführungsformen der vorliegenden Offenbarung in Verbindung mit einer beliebigen Anzahl an Systemen eingesetzt werden können, und dass das hierin beschriebene System lediglich eine exemplarische Ausführungsform der vorliegenden Offenbarung darstellt.
  • Der Kürze halber können konventionelle Techniken in Verbindung mit der Signalverarbeitung, Datenübertragung, Signalgebung, Steuerung, maschinellen Lernen, Bildanalyse und weiteren funktionalen Aspekten der Systeme (und den einzelnen Bedienkomponenten der Systeme) hierin nicht im Detail beschrieben werden. Weiterhin sollen die in den verschiedenen Figuren dargestellten Verbindungslinien exemplarische Funktionsbeziehungen und/oder physikalische Verbindungen zwischen den verschiedenen Elementen darstellen. Es sollte beachtet werden, dass viele alternative oder zusätzliche funktionale Beziehungen oder physikalische Verbindungen in einer Ausführungsform der vorliegenden Offenbarung vorhanden sein können.
  • Wie unter Bezugnahme auf 1 ersichtlich, ist ein bei 100 allgemein dargestelltes Steuersystem mit einem Fahrzeug 10 gemäß verschiedenen Ausführungsformen assoziiert. Im Allgemeinen stellt das System 100 eine Verarbeitung von dreidimensionalen Bildern der Umgebung des Fahrzeugs 10 in Form von Punktwolken auf niedrigem Niveau bereit, um die Geschwindigkeit umgebender Objekte zur Verwendung beim Steuern des Fahrzeugs 10 heranzuziehen.
  • Wie in 1 dargestellt, beinhaltet das Fahrzeug 10 im Allgemeinen ein Fahrgestell 12, eine Karosserie 14, Vorderräder 16 und Hinterräder 18. Die Karosserie 14 ist auf dem Fahrgestell 12 angeordnet und umhüllt im Wesentlichen die anderen Komponenten des Fahrzeugs 10. Die Karosserie 14 und das Fahrgestell 12 können gemeinsam einen Rahmen bilden. Die Räder 16-18 sind jeweils mit dem Fahrgestell 12 in der Nähe einer jeweiligen Ecke der Karosserie 14 drehbar verbunden.
  • In verschiedenen Ausführungsformen ist das Fahrzeug 10 ein autonomes Fahrzeug und das System 100 und/oder Komponenten davon in das autonome Fahrzeug 10 (nachfolgend als das autonome Fahrzeug 10 bezeichnet) integriert. Das autonome Fahrzeug 10 ist beispielsweise ein Fahrzeug, das automatisch gesteuert wird, um Passagiere von einem Ort zum anderen zu befördern. Das Fahrzeug 10 ist in der veranschaulichten Ausführungsform als Pkw dargestellt, es sollte jedoch beachtet werden, dass auch jedes andere Fahrzeug, einschließlich Motorräder, Lastwagen, Sportfahrzeuge (SUVs), Freizeitfahrzeuge (RVs), Schiffe, Flugzeuge und dergleichen verwendet werden können.
  • In einer exemplarischen Ausführungsform entspricht das autonome Fahrzeug 10 einem Automatisierungssystem des Levels vier oder Levels fünf gemäß der Standardtaxonomie automatisierter Fahrlevels der Society of Automotive Engineers (SAE) „J3016“. Mit dieser Terminologie bezeichnet ein Level-Vier-System eine „hohe Automatisierung“ unter Bezugnahme auf einen Fahrmodus, bei dem das automatisierte Fahrsystem alle Aspekte der dynamischen Fahraufgabe übernimmt, selbst wenn ein menschlicher Fahrer nicht angemessen auf eine Aufforderung zum Eingreifen reagiert. Ein Level-Fünf-System hingegen zeigt eine „Vollautomatisierung“ und bezeichnet einen Fahrmodus, bei dem das automatisierte Fahrsystem alle Aspekte der dynamischen Fahraufgabe unter allen Fahrbahn- und Umweltbedingungen erfüllt, die ein menschlicher Fahrer bewältigen kann. Es versteht sich, dass die Ausführungsformen gemäß der vorliegenden Thematik nicht auf eine bestimmte Taxonomie oder Rubrik der Automatisierungskategorien beschränkt sind. Darüber hinaus können Systeme gemäß der vorliegenden Ausführungsform in Verbindung mit jedem autonomen oder anderen Fahrzeug verwendet werden, das ein Navigationssystem und/oder andere Systeme zur Routenführung und/oder -implementierung verwendet.
  • Wie dargestellt, beinhaltet das autonome Fahrzeug 10 im Allgemeinen ein Antriebssystem 20, ein Übertragungssystem 22, ein Lenksystem 24, ein Bremssystem 26, ein Sensorsystem 28, ein Stellantriebsystem 30, mindestens einen Datenspeicher 32, mindestens eine Steuerung 34 und ein Kommunikationssystem 36. Das Antriebssystem 20 kann in verschiedenen Ausführungsformen einen Verbrennungsmotor, eine elektrische Maschine, wie beispielsweise einen Traktionsmotor und/oder ein Brennstoffzellenantriebssystem, beinhalten. Das Übertragungssystem 22 ist dazu konfiguriert, Leistung vom Antriebssystem 20 auf die Fahrzeugräder 16 und 18 gemäß den wählbaren Übersetzungsverhältnissen zu übertragen. Gemäß verschiedenen Ausführungsformen kann das Getriebesystem 22 ein Stufenverhältnis-Automatikgetriebe, ein stufenlos verstellbares Getriebe oder ein anderes geeignetes Getriebe beinhalten.
  • Das Bremssystem 26 ist dazu konfiguriert, den Fahrzeugrädern 16 und 18 ein Bremsmoment bereitzustellen. Das Bremssystem 26 kann in verschiedenen Ausführungsformen Reibungsbremsen, Bake-by-Wire, ein regeneratives Bremssystem, wie beispielsweise eine elektrische Maschine und/oder andere geeignete Bremssysteme, beinhalten.
  • Das Lenksystem 24 beeinflusst eine Position der Fahrzeugräder 16 und/oder 18. Während in einigen Ausführungsformen innerhalb des Umfangs der vorliegenden Offenbarung zur Veranschaulichung als ein Lenkrad 25 dargestellt, kann das Lenksystem 24 kein Lenkrad beinhalten.
  • Das Sensorsystem 28 beinhaltet eine oder mehrere Sensorvorrichtungen 40a-40n, die beobachtbare Zustände der äußeren Umgebung und/oder der inneren Umgebung des autonomen Fahrzeugs 10 erfassen. Die Abtastvorrichtungen 40a-40n können Radargeräte, Lidare, globale Positionierungssysteme, optische Kameras, Wärmebildkameras, Ultraschallsensoren und/oder andere Sensoren beinhalten, sind aber nicht darauf beschränkt. Das Stellantriebssystem 30 beinhaltet eine oder mehrere Stellantriebs-Vorrichtungen 42a-42n, die ein oder mehrere Fahrzeugmerkmale, wie zum Beispiel das Antriebssystem 20, das Getriebesystem 22, das Lenksystem 24 und das Bremssystem 26, steuern, jedoch nicht darauf beschränkt sind. In verschiedenen Ausführungsformen kann das autonome Fahrzeug 10 auch Fahrzeug-Innen- und/oder Außenausstattungen beinhalten, die nicht in 1 dargestellt sind, wie beispielsweise verschiedene Türen, Kofferraum- und Kabinenausstattungen, wie Luft, Musik, Beleuchtung, Touchscreen-Display-Komponenten (wie sie in Verbindung mit Navigationssystemen verwendet werden) und dergleichen.
  • Die Datenspeichervorrichtung 32 speichert Daten zur Verwendung beim automatischen Steuern des autonomen Fahrzeugs 10. In verschiedenen Ausführungsformen speichert die Datenspeichervorrichtung 32 definierte Landkarten der navigierbaren Umgebung. In verschiedenen Ausführungsformen werden die definierten Landkarten vordefiniert und von einem entfernten System (in weiteren Einzelheiten in Bezug auf 2 beschrieben) erhalten. So können beispielsweise die definierten Landkarten durch das entfernte System zusammengesetzt und dem autonomen Fahrzeug 10 (drahtlos und/oder drahtgebunden) mitgeteilt und in der Datenspeichervorrichtung 32 gespeichert werden. Routeninformationen können auch in der Datenvorrichtung 32 gespeichert werden - d. h., in einer Reihe von Straßenabschnitten (die geografisch mit einer oder mehreren der definierten Karten verknüpft sind), die zusammen eine Route definieren, die der Benutzer von einem Startort (z. B. dem aktuellen Standort des Benutzers) zu einem Zielort zurücklegen kann. Auch in verschiedenen Ausführungsformen speichert die Datenspeichervorrichtung 32 Verarbeitungsalgorithmen und Daten zum Verarbeiten von dreidimensionalen Punktwolken, um die Geschwindigkeit von Objekten in der Umgebung auf einer Bild-für-Bild-Basis zu ermitteln. Wie ersichtlich ist, kann die Datenspeichervorrichtung 32 ein Teil der Steuerung 34, von der Steuerung 34 getrennt, oder ein Teil der Steuerung 34 und Teil eines separaten Systems sein.
  • Die Steuerung 34 beinhaltet mindestens einen Prozessor 44 und eine computerlesbare Speichervorrichtung oder Medien 46. Der Prozessor 44 kann eine Spezialanfertigung oder ein handelsüblicher Prozessor sein, eine Zentraleinheit (CPU), eine Grafikprozessoreinheit (GPU) unter mehreren Prozessoren verbunden mit der Steuerung 34, ein Mikroprozessor auf Halbleiterbasis (in Form eines Mikrochips oder Chip-Satzes) eine Kombination derselben oder allgemein jede beliebige Vorrichtung zur Ausführung von Anweisungen. Die computerlesbare Speichervorrichtung oder Medien 46 können flüchtige und nicht-flüchtige Speicher in einem Nur-Lese-Speicher (ROM), einem Speicher mit direktem Zugriff (RAM) und einem Keep-Alive-Memory (KAM) beinhalten. KAM ist ein persistenter oder nicht-flüchtiger Speicher, der verwendet werden kann, um verschiedene Betriebsvariablen zu speichern, während der Prozessor 44 ausgeschaltet ist. Die computerlesbare Speichervorrichtung oder Medien 46 können unter Verwendung einer beliebigen einer Anzahl an bekannten Speichervorrichtungen, wie beispielsweise PROMs (programmierbarer Nur-Lese-Speicher), EPROMs (elektrische PROM), EEPROMs (elektrisch löschbarer PROM), Flash-Speicher oder beliebige andere elektrischen, magnetischen, optischen oder kombinierten Speichervorrichtungen implementiert werden, die Daten speichern können, von denen einige ausführbare Anweisungen darstellen, die von der Steuerung 34 beim Steuern des autonomen Fahrzeugs 10 verwendet werden.
  • Die Anweisungen können ein oder mehrere separate Programme beinhalten, von denen jede eine geordnete Auflistung von ausführbaren Anweisungen zum Implementieren von logischen Funktionen umfasst. Die Anweisungen empfangen und verarbeiten, wenn diese vom Prozessor 44 ausgeführt werden, Signale vom Sensorsystem 28, führen Logik, Berechnungen, Verfahren und/oder Algorithmen zur automatischen Steuerung der Komponenten des autonomen Fahrzeugs 10 durch und erzeugen Steuersignale, die an das Stellgliedsystem 30 übertragen werden, um die Komponenten des autonomen Fahrzeugs 10 basierend auf der Logik, den Berechnungen, den Verfahren und/oder Algorithmen automatisch zu steuern. Obwohl in 1 nur eine Steuerung 34 dargestellt ist, können Ausführungsformen des autonomen Fahrzeugs 10 eine beliebige Anzahl an Steuerungen 34 beinhalten, die über ein geeignetes Kommunikationsmedium oder eine Kombination von Kommunikationsmedien kommunizieren und zusammenwirken, um die Sensorsignale zu verarbeiten, Logiken, Berechnungen, Verfahren und/oder Algorithmen durchzuführen, und Steuersignale zu erzeugen, um die Funktionen des autonomen Fahrzeugs 10 automatisch zu steuern. In einer Ausführungsform, wie nachfolgend im Detail erörtert, ist die Steuerung 34 zur Verwendung in der Verarbeitung dreidimensionaler Bildgebungsdaten der Umgebung des Fahrzeugs 10 in Form von Punktwolken konfiguriert, um die Geschwindigkeit zur Verwendung bei der autonomen Steuerung des Fahrzeugs auf einer Bild-für-Bild-Basis zu ermitteln.
  • Das Kommunikationssystem 36 ist konfiguriert, um Informationen drahtlos an und von anderen Einheiten 48, wie beispielsweise, jedoch nicht beschränkt auf andere Fahrzeuge („V2V“-Kommunikation,) Infrastruktur („V2I“-Kommunikation), entfernte Transportsysteme und/oder Benutzervorrichtungen (in Bezug auf 2 näher beschrieben), zu übermitteln. In einer exemplarischen Ausführungsform ist das drahtlose Kommunikationssystem 36 dazu konfiguriert, über ein drahtloses lokales Netzwerk (WLAN) unter Verwendung des IEEE 802.11-Standards, über Bluetooth oder mittels einer mobilen Datenkommunikation zu kommunizieren. Im Geltungsbereich der vorliegenden Offenbarung werden jedoch auch zusätzliche oder alternative Kommunikationsverfahren, wie beispielsweise ein dedizierter Nahbereichskommunikations-(DSRC)-Kanal, berücksichtigt. DSRC-Kanäle beziehen sich auf Einweg- oder Zweiwege-Kurzstrecken- bis Mittelklasse-Funkkommunikationskanäle, die speziell für den Automobilbau und einen entsprechenden Satz von Protokollen und Standards entwickelt wurden.
  • Mit weiterem Bezug auf 2 in verschiedenen Ausführungsformen kann das autonome Fahrzeug 10, das mit Bezug auf 1 beschrieben ist, für den Einsatz im Rahmen eines Taxi- oder Shuttle-Unternehmens in einem bestimmten geografischen Gebiet (z. B. einer Stadt, einer Schule oder einem Geschäftscampus, einem Einkaufszentrum, einem Vergnügungspark, einem Veranstaltungszentrum oder dergleichen) geeignet sein. So kann beispielsweise das autonome Fahrzeug 10 einem autonomen fahrzeugbasierten Transportsystem zugeordnet sein. 2 veranschaulicht eine exemplarische Ausführungsform einer Betriebsumgebung, die im Allgemeinen bei 50 dargestellt ist und ein autonomes fahrzeugbasiertes Transportsystem (oder einfach „entferntes Transportsystem“) 52 beinhaltet, das, wie mit Bezug auf 1 beschrieben, einem oder mehreren autonomen Fahrzeugen 10a-10n zugeordnet ist. In verschiedenen Ausführungsformen beinhaltet die Betriebsumgebung 50 (die ganz oder teilweise den in 1 dargestellten Einheiten 48 entsprechen können) ferner eine oder mehrere Benutzervorrichtungen 54, die mit dem autonomen Fahrzeug 10 und/oder dem entfernten Transportsystem 52 über ein Kommunikationsnetzwerk 56 kommunizieren.
  • Das Kommunikationsnetzwerk 56 unterstützt die Kommunikation zwischen Geräten, Systemen und Komponenten, die von der Betriebsumgebung 50 unterstützt werden (z. B. über physische Kommunikationsverbindungen und/oder drahtlose Kommunikationsverbindungen). So kann beispielsweise das Kommunikationsnetzwerk 56 ein drahtloses Trägersystem 60 beinhalten, wie beispielsweise ein Mobiltelefonsystem, das eine Vielzahl von Mobilfunktürmen (nicht dargestellt), eine oder mehrere Mobilvermittlungsstellen (MSCs) (nicht dargestellt) sowie alle anderen Netzwerkkomponenten beinhalten, die zum Verbinden des drahtlosen Trägersystems 60 mit dem Festnetz erforderlich sind. Jeder Mobilfunkturm beinhaltet Sende- und Empfangsantennen und eine Basisstation, wobei die Basisstationen verschiedener Mobilfünktürme mit den MSC verbunden sind, entweder direkt oder über Zwischenvorrichtungen, wie beispielsweise eine Basisstationssteuerung. Das Drahtlosträgersystem 60 kann jede geeignete Kommunikationstechnologie implementieren, beispielsweise digitale Technologien, wie CDMA (z. B. CDMA2000), LTE (z. B. 4G LTE oder 5G LTE), GSM/GPRS oder andere aktuelle oder neu entstehende drahtlose Technologien. Andere Mobilfunkturm/Basisstation/MSC-Anordnungen sind möglich und könnten mit dem Mobilfunkanbietersystem 60 verwendet werden. So könnten sich beispielsweise die Basisstation und der Mobilfunkturm an derselben Stelle oder entfernt voneinander befinden, jede Basisstation könnte für einen einzelnen Mobilfunkturm zuständig sein oder eine einzelne Basisstation könnte verschiedene Mobilfunktürme bedienen, oder verschiedene Basisstationen könnten mit einer einzigen MSC gekoppelt werden, um nur einige der möglichen Anordnungen zu nennen.
  • Abgesehen vom Verwenden des drahtlosen Trägersystems 60 kann ein zweites drahtloses Trägersystem in Form eines Satellitenkommunikationssystems 64 verwendet werden, um unidirektionale oder bidirektionale Kommunikation mit dem autonomen Fahrzeug 10a-10n bereitzustellen. Dies kann unter Verwendung von einem oder mehreren Kommunikationssatelliten (nicht dargestellt) und einer aufwärts gerichteten Sendestation (nicht dargestellt) erfolgen. Die unidirektionale Kommunikation kann beispielsweise Satellitenradiodienste beinhalten, worin programmierte Inhaltsdaten (Nachrichten, Musik, und dergleichen) von der Sendestation empfangen werden, für das Hochladen gepackt und anschließend zum Satelliten gesendet werden, der die Programmierung an die Teilnehmer ausstrahlt. Die bidirektionale Kommunikation kann beispielsweise Satellitentelefondienste beinhalten, die den Satelliten verwenden, um Telefonkommunikationen zwischen dem Fahrzeug 10 und der Station weiterzugeben. Die Satellitentelefonie kann entweder zusätzlich oder anstelle des Mobilfunkanbietersystems 60 verwendet werden.
  • Ein Festnetz-Kommunikationssystem 62 kann ein konventionelles Festnetz-Telekommunikationsnetzwerk beinhalten, das mit einem oder mehreren Festnetztelefonen verbunden ist und das drahtlose Trägersystem 60 mit dem entfernten Transportsystem 52 verbindet. So kann beispielsweise das Festnetz-Kommunikationssystem 62 ein Fernsprechnetz (PSTN) wie jenes sein, das verwendet wird, um festverdrahtetes Fernsprechen, paketvermittelte Datenkommunikationen und die Internetinfrastruktur bereitzustellen. Ein oder mehrere Segmente des Festnetz-Kommunikationssystems 62 könnten durch Verwenden eines normalen drahtgebundenen Netzwerks, eines Lichtleiter- oder eines anderen optischen Netzwerks, eines Kabelnetzes, von Stromleitungen, anderen drahtlosen Netzwerken, wie drahtlose lokale Netzwerke (WLANs) oder Netzwerke, die drahtlosen Breitbandzugang (BWA) bereitstellen oder jeder Kombination davon implementiert sein. Weiterhin muss das entfernte Transportsystem 52 nicht über das Festnetz-Kommunikationssystem 62 verbunden sein, sondern könnte Funktelefonausrüstung beinhalten, sodass sie direkt mit einem drahtlosen Netzwerk, wie z. B. dem drahtlosen Trägersystem 60, kommunizieren kann.
  • Obwohl in 2 nur eine Benutzervorrichtung 54 dargestellt ist, können Ausführungsformen der Betriebsumgebung 50 eine beliebige Anzahl von Benutzervorrichtungen 54, einschließlich mehrerer Benutzervorrichtungen 54 unterstützen, die das Eigentum einer Person sind, von dieser bedient oder anderweitig verwendet werden. Jede Benutzervorrichtung 54, die von der Betriebsumgebung 50 unterstützt wird, kann unter Verwendung einer geeigneten Hardwareplattform implementiert werden. In dieser Hinsicht kann die Benutzervorrichtung 54 in einem gemeinsamen Formfaktor realisiert werden, darunter auch in: einen Desktop-Computer; einem mobilen Computer (z. B. einem Tablet-Computer, einem Laptop-Computer oder einem Netbook-Computer); einem Smartphone; einem Videospielgerät; einem digitalen Media-Player; eine Komponente eines Heimunterhaltungsgeräts; einer Digitalkamera oder Videokamera; einem tragbaren Computergerät (z. B. einer Smart-Uhr, Smart-Brille, Smart-Kleidung); oder dergleichen. Jede von der Betriebsumgebung 50 unterstützte Benutzervorrichtung 54 ist als computerimplementiertes oder computergestütztes Gerät mit der Hardware-, Software-, Firmware- und/oder Verarbeitungslogik realisiert, die für die Durchführung der hier beschriebenen verschiedenen Techniken und Verfahren erforderlich ist. So beinhaltet beispielsweise die Benutzervorrichtung 54 einen Mikroprozessor in Form einer programmierbaren Vorrichtung, die eine oder mehrere in einer internen Speicherstruktur gespeicherte Anweisungen beinhaltet und angewendet wird, um binäre Eingaben zu empfangen und binäre Ausgaben zu erzeugen. In einigen Ausführungsformen beinhaltet die Benutzervorrichtung 54 ein GPS-Modul, das GPS-Satellitensignale empfangen und GPS-Koordinaten basierend auf diesen Signalen erzeugen kann. In weiteren Ausführungsformen beinhaltet die Benutzervorrichtung 54 eine Mobilfunk-Kommunikationsfunktionalität, sodass die Vorrichtung Sprach- und/oder Datenkommunikationen über das Kommunikationsnetzwerk 56 unter Verwendung eines oder mehrerer Mobilfunk-Kommunikationsprotokolle durchführt, wie hierin erläutert. In verschiedenen Ausführungsformen beinhaltet die Benutzervorrichtung 54 eine visuelle Anzeige, wie zum Beispiel ein grafisches Touchscreen-Display oder eine andere Anzeige.
  • Das entfernte Transportsystem 52 beinhaltet ein oder mehrere Backend-Serversysteme, nicht dargestellt), die an dem speziellen Campus oder dem geografischen Standort, der vom Transportsystem 52 bedient wird, Cloud-basiert, netzwerkbasiert oder resident sein können. Das entfernte Transportsystem 52 kann mit einem Live-Berater, einem automatisierten Berater, einem System der künstlichen Intelligenz oder einer Kombination davon besetzt sein. Das entfernte Transportsystem 52 kann mit den Benutzervorrichtungen 54 und den autonomen Fahrzeugen 10a-10n kommunizieren, um Fahrten zu planen, autonome Fahrzeuge 10a-10n zu versetzen und dergleichen. In verschiedenen Ausführungsformen speichert das entfernte Transportsystem 52 Kontoinformationen, wie zum Beispiel Teilnehmer-Authentisierungsdaten, Fahrzeugkennzeichen, Profilaufzeichnungen, biometrische Daten, Verhaltensmuster und andere entsprechende Teilnehmerinformationen. In einer Ausführungsform, wie nachfolgend näher beschrieben, beinhaltet das entfernte Transportsystem 52 eine Routendatenbank 53, in der Informationen über die Routen des Navigationssystems, einschließlich Fahrbahnmarkierungen für Fahrbahnen entlang der verschiedenen Routen, gespeichert sind und ob und inwieweit bestimmte Streckenabschnitte von Baustellenbereichen oder anderen möglichen Gefahren oder Hindernissen betroffen sind, die von einem oder mehreren autonomen Fahrzeugen 10a-10n erkannt wurden.
  • Gemäß einem typischen Anwendungsfall-Arbeitsablauf kann ein registrierter Benutzer des entfernten Transportsystems 52 über die Benutzervorrichtung 54 eine Fahrtanforderung erstellen. Die Fahrtanforderung gibt typischerweise den gewünschten Abholort des Fahrgastes (oder den aktuellen GPS-Standort), den gewünschten Zielort (der einen vordefinierten Fahrzeugstopp und/oder ein benutzerdefiniertes Passagierziel identifizieren kann) und eine Abholzeit an. Das entfernte Transportsystem 52 empfängt die Fahrtanforderung, verarbeitet die Anforderung und sendet ein ausgewähltes der autonomen Fahrzeuge 10a-10n (wenn und sofern verfügbar), um den Passagier an dem vorgesehenen Abholort und zu gegebener Zeit abzuholen. Das Transportsystem 52 kann zudem eine entsprechend konfigurierte Bestätigungsnachricht oder Benachrichtigung an die Benutzervorrichtung 54 erzeugen und senden, um den Passagier zu benachrichtigen, dass ein Fahrzeug unterwegs ist.
  • Wie ersichtlich, bietet der hierin offenbarte Gegenstand bestimmte verbesserte Eigenschaften und Funktionen für das, was als ein standardmäßiges oder Basislinien autonomes Fahrzeug 10 und/oder ein autonomes fahrzeugbasiertes Transportsystem 52 betrachtet werden kann. Zu diesem Zweck kann ein autonomes fahrzeugbasiertes Transportsystem modifiziert, erweitert oder anderweitig ergänzt werden, um die nachfolgend näher beschriebenen zusätzlichen Funktionen bereitzustellen.
  • Gemäß verschiedener Ausführungsformen realisiert die Steuerung 34 ein autonomes Antriebssystem (ADS) 70, wie in 3 dargestellt. Das heißt, dass geeignete Soft- und/oder Hardwarekomponenten der Steuerung 34 (z. B. der Prozessor 44 und das computerlesbare Speichermedium 46) verwendet werden, um ein autonomes Antriebssystem 70 bereitzustellen, das in Verbindung mit dem Fahrzeug 10 verwendet wird.
  • In verschiedenen Ausführungsformen können die Anweisungen des autonomen Antriebssystems 70 je nach Funktion oder System gegliedert sein. Das autonome Antriebssystem 70 kann beispielsweise, wie in 3 dargestellt, ein Sensorfusionssystem 74, ein Positioniersystem 76, ein Lenksystem 78 und ein Fahrzeugsteuerungssystem 80 beinhalten. Wie ersichtlich ist, können die Anweisungen in verschiedenen Ausführungsformen in beliebig viele Systeme (z. B. kombiniert, weiter unterteilt usw.) gegliedert werden, da die Offenbarung nicht auf die vorliegenden Beispiele beschränkt ist.
  • In verschiedenen Ausführungsformen synthetisiert und verarbeitet das Sensorfusionssystem 74 Sensordaten und prognostiziert Anwesenheit, Lage, Klassifizierung und/oder Verlauf von Objekten und Merkmalen der Umgebung des Fahrzeugs 10. In verschiedenen Ausführungen kann das Sensorfusionssystem 74 Informationen von mehreren Sensoren beinhalten, einschließlich, aber nicht beschränkt auf Kameras, Lidare, Radars und/oder eine beliebige Anzahl anderer Arten von Sensoren.
  • Das Positioniersystem 76 verarbeitet Sensordaten zusammen mit anderen Daten, um eine Position (z. B. eine lokale Position in Bezug auf eine Karte, eine exakte Position in Bezug auf die Fahrspur einer Straße, Fahrzeugrichtung, Geschwindigkeit usw.) des Fahrzeugs 10 in Bezug auf die Umgebung zu ermitteln. Das Leitsystem 78 verarbeitet Sensordaten zusammen mit anderen Daten, um eine Strecke zu ermitteln, dem das Fahrzeug 10 folgen soll. Das Fahrzeugsteuerungssystem 80 erzeugt Steuersignale zum Steuern des Fahrzeugs 10 entsprechend der ermittelten Strecke.
  • In verschiedenen Ausführungsformen implementiert die Steuerung 34 maschinelle Lerntechniken, um die Funktionalität der Steuerung 34 zu unterstützen, wie z. B. Merkmalerkennung/Klassifizierung, Hindernisminderung, Routenüberquerung, Kartierung, Sensorintegration, Boden-Wahrheitsbestimmung und dergleichen.
  • Wie beispielsweise bei 100 in Bezug auf 4 und mit weiterem Bezug auf 3 ausführlich dargestellt, verwendet das System 102 das Sensorsystem 28 eines autonomen Fahrzeugs 104 zur Signalerfassung anderer Fahrzeuge 106. Das System 102 kann auch die Eigenschaften der erfassten Signale analysieren, beispielsweise ob es sich um Bremslichter, Blinker usw. handelt.
  • Das System 102 verwendet den Lidar 108, um feine Details der Objektgeometrie und Position in Bildern der Kamera(s) 110 zu erhalten. Mit diesen Informationen weiß das System 102, wo sich die Rückseite, die Seiten und das Dach des Fahrzeugs befinden. Dies ermöglicht ein effizienteres und weniger rechenintensives Auffinden der Rückleuchten und ein leichteres Herausfiltern von Fehlalarmen. Die Ausgabe des Systems 102 kann für das autonome Fahrzeug 104 für viele Zwecke verwendet werden, einschließlich der Verfolgungssteuerungsvorgänge von autonomen Fahrzeugen 112. Zur Veranschaulichung kann das System 102 den Signalzustand ermitteln, beispielsweise ob die anderen Fahrzeuge bremsen, Gefahrensignale einschalten, Blinker einschalten, usw. Dieses Signalverhalten verbessert die Verfolgung anderer Fahrzeuge in der Nähe des autonomen Fahrzeugs 104.
  • 5 zeigt ein Verfolgungssystem 200, welches das System 102 bei der Erfassungsanalyse der Signale der anderen Fahrzeuge unterstützt. Die Verfolgung durch das System 200 bewirkt die Identifizierung, wo sich andere Fahrzeuge relativ zum autonomen Fahrzeug befinden sollen. Verfolgungsinformationen können Objektdaten wie Geometrie- und Positionsinformationen 202 der anderen Fahrzeuge in Bezug auf das autonome Fahrzeug beinhalten.
  • Das System 102 verwendet die Verfolgungsinformationen, um Bereiche innerhalb eines Kamerabildes für Fahrzeuglichtquellen zu analysieren. Die Analyse erzeugt Fahrzeugbildausschnitte 204 des Kamerabildes, die das System 102 zur Erfassung von Fahrzeugsignalleuchten weiterverarbeiten kann. Eine derartige Weiterverarbeitung kann die Abgrenzung von Lichtquellen innerhalb des Bildrahmens zu engen Bereichen zur Analyse beinhalten.
  • Das System 102 verwendet eine Kombination von Sensoren innerhalb des Sensorsystems 28, um Informationen für die Fahrzeugsignalerfassung und -analyse zu erhalten. Es können viele verschiedene Arten von Sensorkonfigurationen verwendet werden, wie zum Beispiel in 6 dargestellt.
  • 6 stellt ein exemplarisches autonomes Fahrzeug 104 dar, das eine Vielzahl von um das Fahrzeug 104 verteilten Radarvorrichtungen 240a, eine Vielzahl von um das Fahrzeug 104 verteilten Kameras 240b und eine Vielzahl von um das Fahrzeug 104 herum verteilten Lidar-Vorrichtungen 240c umfasst.
  • Die Radarvorrichtungen 240a sind an unterschiedlichen Orten des Fahrzeugs 104 angeordnet und in einer Ausführungsform sind diese symmetrisch um die Längsachse des Fahrzeugs 104 angeordnet, um eine Parallaxe zu bilden. Jede der Radarvorrichtungen 240a kann Komponenten beinhalten oder einbinden, die geeignet konfiguriert sind, um die Umgebung horizontal und drehbar abzutasten, um Radardaten zu erzeugen, die für andere Systeme bereitgestellt werden.
  • Die Kameras 240b sind ebenfalls an verschiedenen Orten angeordnet und so ausgerichtet, dass diese ein unterschiedliches Sichtfeld bereitstellen, das unterschiedliche Teile der Umgebung in der Umgebung des Fahrzeugs 104 erfasst. Zum Beispiel ist eine erste Kamera 240b an der vorderen linken (oder Fahrerseite) des Fahrzeugs 104 positioniert und ihr Sichtfeld ist 45° gegen den Uhrzeigersinn bezüglich der Längsachse des Fahrzeugs 104 in der Vorwärtsrichtung ausgerichtet, und eine andere Kamera 240b kann an der vorderen rechten Seite (oder Beifahrerseite) des Fahrzeugs 104 positioniert sein und ihr Sichtfeld ist um 45° im Uhrzeigersinn relativ zu der Längsachse des Fahrzeugs 104 ausgerichtet. Zusätzliche Kameras 240b sind an den hinteren linken und rechten Seiten des Fahrzeugs 104 positioniert und in ähnlicher Weise von der Längsachse unter 45° relativ zu der Fahrzeuglängsachse weggerichtet, zusammen mit Kameras 240b, die an der linken und rechten Seite des Fahrzeugs 104 positioniert und von der Längsachse senkrecht zur Fahrzeuglängsachse weggerichtet sind. Die dargestellte Ausführungsform umfasst ebenfalls ein Paar Kameras 240b, die an oder nahe der Fahrzeuglängsachse positioniert und ausgerichtet sind, um ein nach vorne schauendes Sichtfeld entlang einer Sichtlinie im Wesentlichen parallel zur Fahrzeuglängsachse zu erfassen.
  • In exemplarischen Ausführungsformen haben die Kameras 240b Sichtwinkel, Brennweiten und andere Attribute, die sich von jenen der einen oder mehreren Kameras 240b unterscheiden. Zum Beispiel können die Kameras 240b auf der rechten und der linken Seite des Fahrzeugs einen Blickwinkel aufweisen, der größer ist als der Blickwinkel, der den Kameras 240b zugeordnet ist, die vorne links, vorne rechts, hinten links oder hinten rechts am Fahrzeug positioniert sind. In einigen Ausführungsformen sind die Sichtwinkel der Kameras 240b so gewählt, dass sich das Sichtfeld der verschiedenen Kameras 240b zumindest teilweise überlappt, um eine Abdeckung des Kameraerfassungsbereichs an bestimmten Stellen oder Ausrichtungen relativ zum Fahrzeug 104 zu gewährleisten.
  • Die Lidar-Vorrichtungen 240c sind ebenfalls an verschiedenen Stellen des Fahrzeugs 104 angeordnet und in einer Ausführungsform sind diese symmetrisch um die Längsachse des Fahrzeugs 104 angeordnet, um eine Parallaxe zu erzielen. Jede der Lidar-Vorrichtungen 240c kann einen oder mehrere Laser, Abtastkomponenten, optische Anordnungen, Fotoerfassungsvorrichtung und andere Komponenten aufweisen oder beinhalten, die in geeigneter Weise konfiguriert sind, um die Umgebung in der Nähe des Fahrzeugs 104 mit einer bestimmten Winkelfrequenz oder Drehgeschwindigkeit horizontal und drehbar abzutasten. Zum Beispiel ist in einer Ausführungsform jede Lidar-Vorrichtung 240c konfiguriert, horizontal um 360° mit einer Frequenz von 10 Hertz (Hz) zu rotieren und abzutasten. Wie hierin verwendet, sollte eine Lidar-Abtastung so verstanden werden, dass diese sich auf eine einzelne Umdrehung einer Lidar-Vorrichtung 240c bezieht.
  • In hierin beschriebenen exemplarischen Ausführungsformen ist die Frequenz oder Rate, mit der die Kameras 240b Bilder erfassen, größer als die Winkelfrequenz der Lidar-Vorrichtungen 240c. Zum Beispiel erfassen in einer Ausführungsform die Kameras 240b neue Bilddaten, die ihrem jeweiligen Sichtfeld entsprechen, mit einer Rate von 30 Hz. Somit kann jede Kamera 240b mehrere Bilder pro Lidar-Abtastung erfassen und die Bilder zu unterschiedlichen Zeiten, unabhängig von der Ausrichtung der Lidar-Vorrichtung 240c oder der Winkelposition innerhalb der Abtastung, erfassen. Dementsprechend wählt der hierin beschriebene Gegenstand ein Bild der jeweiligen Kamera 240b aus, das den Lidarpunktwolkendaten aus einer bestimmten Lidarabtastung zeitlich zugeordnet ist, basierend auf den Zeitstempeln der von der jeweiligen Kamera 240b aufgenommenen Bilder in Bezug auf eine Abtastzeit, zu der die Winkelposition der Lidarabtastung der Sichtlinie einer Lidarvorrichtung 240c entspricht, die im Wesentlichen parallel zur Halbierungslinie (oder Sichtlinie) des Sichtwinkels der jeweiligen Kamera 240b ausgerichtet ist.
  • Das Verfolgungssystem des autonomen Fahrzeugs verwendet die Informationen von diesen unterschiedlichen Arten von Sensoren, um den dreidimensionalen Ort und die Geometrie von Objekten in der Nähe des Fahrzeugs zu verfolgen. In einer exemplarischen Ausführungsform kann das Verfolgungssystem solche Informationen zum Identifizieren von dreidimensionalen Orten von Objekten, Entfernung/Tiefe des Objekts von dem Fahrzeug, Abmessungen und Formen der Objekte, Geschwindigkeit der Objekte usw. erzeugen.
  • 7 veranschaulicht ein Betriebsszenario, in welchem Informationen aus dem Verfolgungssystem zur Erfassung und Analyse der Signalleuchten anderer Fahrzeuge verwendet werden. Der Prozessblock 300 erhält Kamerabilder und Lidarinformationen. Diese Informationen werden vom Prozessblock 302 zum Ermitteln von Objektdaten und anderen Arten von Nachverfolgungsinformationen verwendet.
  • In diesem Betriebsszenario verwendet der Prozessblock 304 die Ausgabe des Verfolgungsprozesses, um sich auf bestimmte Punkte innerhalb des Bildes zu konzentrieren, welche die höchste Wahrscheinlichkeit aufweisen, Fahrzeuglichter zu enthalten. Der Prozessblock 304 identifiziert die Orte mit der höchsten Wahrscheinlichkeit innerhalb des Bildes, indem er die Größe der Lichter kennt, die das System im Bild zu sehen erwartet.
  • Zusätzliche Analysen können den Schwerpunktbereich im Bild weiter verfeinern. Der Prozessblock 306 erhält zusätzliche Fahrzeugumgebungsinformationen 308, um die zielgerichtete Analyse zu erleichtern. Die Zusatzinformationen 308 aus diesem Prozess können Fahrspurinformationen, Fahrzeuggeschwindigkeit usw. beinhalten. So können beispielsweise Fahrspurinformationen die Fahrzeugausrichtung bestimmen (z. B. ob ein nächstgelegenes Fahrzeug in Richtung des autonomen Fahrzeugs zeigt). Dies wiederum bietet einen Filter für die Ermittlung, welche Lichter der anderen benachbarten Fahrzeuge tatsächlich Fahrzeugrückleuchten sind (im Vergleich zu den Scheinwerfern eines Fahrzeugs), sowie für die Auflösung von Fehlalarmen, wie beispielsweise Bilder auf LKWs oder Reflexionen auf Oberflächen. In diesem Betriebsszenario wird darauf hingewiesen, dass sich das andere Fahrzeug innerhalb der Fahrumgebung, vor dem autonomen Fahrzeug, zur Seite oder in einer anderen Ausrichtung zum autonomen Fahrzeug befindet, in der die Fahrzeugsignale für das autonome Fahrzeug ganz oder teilweise sichtbar sind. Die Zusatzinformationen 308 können beispielsweise aus der Fahrzeuglokalisierung bezogen werden. Die Fahrzeuglokalisierung kann das Schätzen der Position und Ausrichtung des Fahrzeugs sowohl in typischen als auch in anspruchsvollen Fahrsituationen beinhalten. Zu diesen anspruchsvollen Antriebsszenarien gehören unter anderem dynamische Umgebungen mit vielen Autos (z. B. dichter Verkehr), Umgebungen mit großflächigen Obstruktionen (z. B. Fahrbahnbaustellen oder Baustellen), Hügel, mehrspurige Straßen, einspurige Straßen, eine Vielzahl von Straßenmarkierungen und Gebäuden oder deren Fehlen (z. B. Wohn- und Geschäftsbezirke) und Brücken und Überführungen (sowohl oberhalb als auch unterhalb eines aktuellen Straßensegments des Fahrzeugs). Die Lokalisierung kann auch neue Daten enthalten, die als Ergebnis von erweiterten Kartenbereichen erfasst werden, die durch fahrzeugeigene Abbildungsfunktionen erhalten werden, die durch das Fahrzeug während des Betriebs ausgeführt werden, und Kartierungsdaten, die über das drahtlose Trägersystem 60 an das Fahrzeug „geschoben“ werden.
  • Die fokussierten Bereiche innerhalb der Kamerabilder ermöglichen eine einfachere und effizientere Identifikation von Signalleuchten und dem Prozessblock 310. Die fokussierten Bereiche innerhalb der Kamerabilder ermöglichen eine einfachere und effizientere Identifikation von Signalleuchten durch den Prozessblock 310. Der Prozessblock 310 kann die Identifikation der Fahrzeugsignalleuchten innerhalb der fokussierten Bereiche auf vielfältige Weise durchführen. So kann beispielsweise ein neuronales Netz, wie ein faltungsneuronales Netz, trainiert werden, um den Zustand der Fahrzeugsignalleuchten zu erkennen. Das faltungsneuronale Netz kann trainiert werden, um die Identifizierung basierend auf den in den fokussierten Bereichen auftretenden Farben sowie anderen Faktoren, wie beispielsweise der Position der Objekte (z. B. „Blobs“) der Farbe innerhalb der fokussierten Bereiche, durchzuführen und zwischen Kreisen und Pfeilen zu unterscheiden, die den Signalleuchten zugeordnet sind.
  • Darüber hinaus kann das neuronale Netz die Symmetrie der Farbobjekte beurteilen. So kann beispielsweise das neuronale Netz trainiert werden, um zu erkennen, dass die Fahrzeugbremsleuchten auf der linken und rechten Seite des Fahrzeugs entlang einer horizontalen Ebene aktiviert wurden. Weitere Positionsinformationen können verwendet werden, beispielsweise die Beurteilung, ob eine rote Bremsleuchte auch in der Heckscheibe des Fahrzeugs aktiviert ist.
  • Die Effizienzsteigerung wird unter anderem dadurch erreicht, dass die Verarbeitung die Schwierigkeit der Fahrzeugsignalerfassung überwindet, indem lediglich nach einem Licht im Bild gesucht wird, da dies zu vielen Reaktionen führen kann. Die Verarbeitung in 7 überwindet dies durch Vermeidung der Analyse nicht relevanter Teile des Bildes, was zu einer Reduzierung der Bildverarbeitungszyklen führt.
  • 8 zeigt die Verwendung von stationären Belichtungskameras 340 am autonomen Fahrzeug zur Erfassung und Analyse des Fahrzeugsignals. Ein Beispiel für eine Kamera mit fester Belichtung ist die Blende des Objektivs der Kamera sowie die Belichtungszeit des Sensors und die Sensorverstärkung. Auf diese Weise ist die Intensität der Lichtquellen gleich und wird stabiler. Dies ermöglicht eine effektivere Nutzung der Schwellenwerte für die Helligkeit. Genauer gesagt, da eine feste Belichtungskamera es ermöglicht, Lichter mit der gleichen Intensität darzustellen, kann eine feste Belichtungskamera Lichtquellen innerhalb des Bildrahmens zu engen Bereichen zur Analyse durch das Fahrzeugsignalerfassungs- und Analysesystem 102 abgrenzen.
  • Während mindestens eine exemplarische Ausführungsform in der vorstehenden ausführlichen Beschreibung dargestellt wurde, versteht es sich, dass es eine große Anzahl an Varianten gibt. Es versteht sich weiterhin, dass die exemplarische Ausführungsform oder die exemplarischen Ausführungsformen lediglich Beispiele sind und den Umfang, die Anwendbarkeit oder die Konfiguration dieser Offenbarung in keiner Weise einschränken sollen. Die vorstehende ausführliche Beschreibung stellt Fachleuten auf dem Gebiet vielmehr einen zweckmäßigen Plan zur Implementierung der exemplarischen Ausführungsform bzw. der exemplarischen Ausführungsformen zur Verfügung. Es versteht sich, dass verschiedene Veränderungen an der Funktion und der Anordnung von Elementen vorgenommen werden können, ohne vom Umfang der Offenbarung, wie er in den beigefügten Ansprüchen und deren rechtlichen Entsprechungen aufgeführt ist, abzuweichen.

Claims (10)

  1. Verfahren zum Analysieren von Fahrzeugsignalleuchten zum Betreiben eines autonomen Fahrzeugs, umfassend: Empfangen eines Bildes von einer Kamera bezüglich eines Fahrzeugs benachbart zum autonomen Fahrzeug durch einen oder mehrere Prozessoren; Verwenden von Daten eines Lidarsensors bezüglich des benachbarten Fahrzeugs durch den einen oder die mehreren Prozessoren, um Objektgeometrie und Positionsinformationen zum Identifizieren eines Teilabschnitts innerhalb des Kamerabildes zu bestimmen, worin der identifizierte Teilabschnitt einem Bereich des benachbarten Fahrzeugs entspricht, der ein oder mehrere Fahrzeugsignale enthält; und Lokalisieren einer oder mehrerer Fahrzeugsignalleuchten des benachbarten Fahrzeugs durch einen oder mehrere Prozessoren unter Verwendung des identifizierten Kamerabild-Teilabschnitts als Schwerpunktbereich; worin das Verfolgen des benachbarten Fahrzeugs basierend auf den lokalisierten einer oder mehreren Fahrzeugsignalleuchten des benachbarten Fahrzeugs erfolgt.
  2. Verfahren nach Anspruch 1, worin die Daten des Lidarsensors Objekttiefen- und Abstandsinformationen bereitstellen; worin der Lidarsensor und die Kamera so kalibriert werden, dass die Tiefe dem Kamerabild zugeordnet werden kann.
  3. Verfahren nach Anspruch 1, worin das Verhalten des benachbarten Fahrzeugs basierend auf den lokalisierten benachbarten Fahrzeugsignalleuchten vorhergesagt wird.
  4. Verfahren nach Anspruch 1, worin das Lokalisieren der einen oder mehreren Fahrzeugsignalleuchten unter Verwendung des identifizierten Kamerabild-Teilabschnitts zum Herausfiltern von Falschmeldungen führt.
  5. Verfahren nach Anspruch 1, worin das Lokalisieren der einen oder mehreren Fahrzeugsignalleuchten die Verwendung von Fahrspurinformationen und Geschwindigkeit des benachbarten Fahrzeugs beinhaltet, um zwischen der Vorderseite des benachbarten Fahrzeugs und der Rückseite des benachbarten Fahrzeugs zu unterscheiden.
  6. Verfahren nach Anspruch 1, worin das Kamerabild von einer Kamera mit feststehender Belichtung stammt.
  7. Verfahren nach Anspruch 1, worin die eine oder die mehreren Fahrzeugsignalleuchten Blinker, Warnblinker und Bremsleuchten beinhalten.
  8. Verfahren nach Anspruch 1, worin das Identifizieren des Teilabschnitts des Kamerabildes das Bestimmen beinhaltet, ob das Kamerabild die Rückseite des benachbarten Fahrzeugs oder die Vorderseite des benachbarten Fahrzeugs beinhaltet, worin das Identifizieren des Teilabschnitts des Kamerabildes basierend auf Größen von Signalleuchten, von denen erwartet wird, dass sie sich innerhalb des Kamerabildes befinden, erfolgt.
  9. Verfahren nach Anspruch 1, worin das Identifizieren des Teilabschnitts des Kamerabildes andere Lichter beseitigt, die keine Fahrzeugsignalleuchten sind, wodurch Verarbeitungszyklen durch Vermeiden der Analyse nicht relevanter Teile des Kamerabildes reduziert werden.
  10. Verfahren nach Anspruch 1, worin sich das benachbarte Fahrzeug vor dem autonomen Fahrzeug oder seitlich zum autonomen Fahrzeug befindet.
DE102018121122.8A 2017-09-01 2018-08-29 Systeme und Verfahren zur Fahrzeugsignalleuchtenerfassung Pending DE102018121122A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/693,956 2017-09-01
US15/693,956 US10163017B2 (en) 2017-09-01 2017-09-01 Systems and methods for vehicle signal light detection

Publications (1)

Publication Number Publication Date
DE102018121122A1 true DE102018121122A1 (de) 2019-03-07

Family

ID=60659466

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102018121122.8A Pending DE102018121122A1 (de) 2017-09-01 2018-08-29 Systeme und Verfahren zur Fahrzeugsignalleuchtenerfassung

Country Status (3)

Country Link
US (1) US10163017B2 (de)
CN (1) CN109426806B (de)
DE (1) DE102018121122A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019212894A1 (de) * 2019-08-28 2021-03-04 Robert Bosch Gmbh Verhaltensprädiktion von Verkehrsteilnehmern
DE102020123920B3 (de) 2020-09-15 2021-08-19 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren und System zum automatischen Labeling von Radardaten

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10133275B1 (en) 2017-03-01 2018-11-20 Zoox, Inc. Trajectory generation using temporal logic and tree search
US10552691B2 (en) * 2017-04-25 2020-02-04 TuSimple System and method for vehicle position and velocity estimation based on camera and lidar data
US10663590B2 (en) * 2017-05-01 2020-05-26 Symbol Technologies, Llc Device and method for merging lidar data
CN108357502B (zh) * 2018-01-25 2020-04-21 浙江吉利汽车研究院有限公司 一种三车道目标显示的调节方法及系统
US10955851B2 (en) 2018-02-14 2021-03-23 Zoox, Inc. Detecting blocking objects
US20210117702A1 (en) * 2018-03-19 2021-04-22 Outsight Methods and systems for identifying material composition of objects
US10414395B1 (en) 2018-04-06 2019-09-17 Zoox, Inc. Feature-based prediction
US11126873B2 (en) * 2018-05-17 2021-09-21 Zoox, Inc. Vehicle lighting state determination
US11341356B2 (en) 2018-06-15 2022-05-24 Uatc, Llc System and method for determining object intention through visual attributes
US10677900B2 (en) 2018-08-06 2020-06-09 Luminar Technologies, Inc. Detecting distortion using known shapes
US10582137B1 (en) * 2018-09-26 2020-03-03 Zoox, Inc. Multi-sensor data capture synchronizaiton
US11451688B2 (en) 2018-09-26 2022-09-20 Zoox, Inc. Image scan line timestamping
DE102018218015A1 (de) * 2018-10-22 2020-04-23 Robert Bosch Gmbh Verfahren und Vorrichtung zum Ermitteln eines Zustands einer Fahrzeugleuchte eines Fahrzeugs
US20200211210A1 (en) * 2019-01-02 2020-07-02 GM Global Technology Operations LLC Intersection of point cloud and image to determine range to colored light sources in vehicle applications
US11361557B2 (en) * 2019-01-18 2022-06-14 Toyota Research Institute, Inc. Attention-based recurrent convolutional network for vehicle taillight recognition
US20200284912A1 (en) * 2019-03-08 2020-09-10 GM Global Technology Operations LLC Adaptive sensor sytem for vehicle and method of operating the same
DE102019209487A1 (de) * 2019-06-28 2020-12-31 Volkswagen Aktiengesellschaft Verfahren zum Anonymisieren von Fahrzeugdaten
CN110634297B (zh) * 2019-10-08 2020-08-07 交通运输部公路科学研究所 基于车载激光雷达的信号灯状态识别及通行控制系统
WO2021111747A1 (ja) * 2019-12-03 2021-06-10 コニカミノルタ株式会社 画像処理装置、監視システム、及び画像処理方法
US11195033B2 (en) 2020-02-27 2021-12-07 Gm Cruise Holdings Llc Multi-modal, multi-technique vehicle signal detection
US20230162508A1 (en) * 2021-11-19 2023-05-25 Waymo Llc Vehicle light classification system

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9383753B1 (en) * 2012-09-26 2016-07-05 Google Inc. Wide-view LIDAR with areas of special attention
US20150088373A1 (en) * 2013-09-23 2015-03-26 The Boeing Company Optical communications and obstacle sensing for autonomous vehicles
US9508260B2 (en) * 2014-10-31 2016-11-29 Toyota Motor Engineering & Manufacturing North America, Inc. Method to improve parking space identification in autonomous driving
JP6361567B2 (ja) * 2015-04-27 2018-07-25 トヨタ自動車株式会社 自動運転車両システム
KR101663511B1 (ko) * 2015-04-30 2016-10-14 엘지전자 주식회사 차량 운전 보조 장치, 차량 운전 보조 장치의 제어 방법 및 차량
KR102366402B1 (ko) * 2015-05-21 2022-02-22 엘지전자 주식회사 운전자 보조 장치 및 그 제어방법
CN106199523B (zh) * 2015-05-27 2020-08-28 松下知识产权经营株式会社 雷达装置及干扰防止方法
US10099705B2 (en) * 2015-08-31 2018-10-16 Uber Technologies, Inc. Control system for autonomous-capable vehicles
US9983591B2 (en) * 2015-11-05 2018-05-29 Ford Global Technologies, Llc Autonomous driving at intersections based on perception data
US10800455B2 (en) * 2015-12-17 2020-10-13 Ford Global Technologies, Llc Vehicle turn signal detection
US9940834B1 (en) * 2016-01-22 2018-04-10 State Farm Mutual Automobile Insurance Company Autonomous vehicle application
US9812008B2 (en) * 2016-02-19 2017-11-07 GM Global Technology Operations LLC Vehicle detection and tracking based on wheels using radar and vision
US10032085B2 (en) * 2016-02-24 2018-07-24 Audi Ag Method and system to identify traffic lights by an autonomous vehicle
US10121367B2 (en) * 2016-04-29 2018-11-06 Ford Global Technologies, Llc Vehicle lane map estimation
US10025319B2 (en) * 2016-08-31 2018-07-17 Ford Global Technologies, Llc Collision-warning system
US10019008B2 (en) * 2016-09-28 2018-07-10 Baidu Usa Llc Sideslip compensated control method for autonomous vehicles

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019212894A1 (de) * 2019-08-28 2021-03-04 Robert Bosch Gmbh Verhaltensprädiktion von Verkehrsteilnehmern
DE102020123920B3 (de) 2020-09-15 2021-08-19 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren und System zum automatischen Labeling von Radardaten

Also Published As

Publication number Publication date
US20170364758A1 (en) 2017-12-21
CN109426806A (zh) 2019-03-05
CN109426806B (zh) 2021-12-14
US10163017B2 (en) 2018-12-25

Similar Documents

Publication Publication Date Title
DE102018121122A1 (de) Systeme und Verfahren zur Fahrzeugsignalleuchtenerfassung
DE102018109366B4 (de) Verfahren zur lichtsignalanlagenerfassung
DE102018132981B4 (de) Autonomes fahrsystem, computerimplementiertes verfahren und autonomes fahrzeug zur ampelzustandsbewertung
DE102018129066B4 (de) Systeme und verfahren für ungeschütztes linksabbiegen in situationen mit hohem verkehrsaufkommen in autonomen fahrzeugen
DE102018129048B4 (de) Verfahren zum durchführen einer autonomen fahrzeugbetriebsanalyse
DE102018129295A1 (de) Systeme und Verfahren zum Abbilden von Fahrbahnstörobjekten in autonomen Fahrzeugen
DE102018121597A1 (de) Boden-referenzbestimmung für den betrieb von autonomen fahrzeugen
DE102018130566A1 (de) Autonomer fahrzeugbetrieb mit automatisierter unterstützung
DE102018112115A1 (de) Verfahren und Systeme zum Ermitteln der Geschwindigkeit von sich bewegenden Objekten
DE102018105693A1 (de) Strassenbau-Erfassungssysteme und -Verfahren
DE102018129074A1 (de) Systeme und verfahren zum umfahren von hindernissen in autonomen fahrzeugen
DE102018107754A1 (de) Objektverfolgung
DE102018121124A1 (de) Verfahren und Systeme zum Erzeugen von Echtzeit-Karteninformationen
DE102018109371A1 (de) Kalibrierungsvalidierung für den betrieb von autonomen fahrzeugen
DE102018106353A1 (de) Vorübergehende datenzuordnungen zum betreiben von autonomen fahrzeugen
DE102018105140A1 (de) Objektverfolgung
DE102018114600A1 (de) Systeme und verfahren zum reagieren auf einsatzfahrzeuge in einem autonomen fahrzeug
DE102018131477A1 (de) Künstliches neuronales netz zum klassifizieren und lokalisieren von fahrspurmerkmalen
DE102018109376A1 (de) Punktzahlwertung beim einparken autonomer fahrzeuge
DE102017130936A1 (de) Expertenmodus für Fahrzeuge
DE102018116001A1 (de) Verfahren und systeme zur erkennung des toten winkels in einem autonomen fahrzeug
DE102018129077A1 (de) Systeme und verfahren zum einfahren in den verkehrsfluss von autonomen fahrzeugen
DE102019100572A1 (de) Systeme und verfahren für die wegplanung in autonomen fahrzeugen
DE102019107485A1 (de) Bewegung eines autonomen fahrzeugs um stationäre fahrzeuge herum
DE102018129064A1 (de) Systeme und verfahren zur geschwindigkeitsanpassung für einen bevorstehenden spurwechsel in autonomen fahrzeugen

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R082 Change of representative

Representative=s name: MANITZ FINSTERWALD PATENT- UND RECHTSANWALTSPA, DE

R016 Response to examination communication