DE102018129846A1 - Systeme und Verfahren zum Erkennen, Klassifizieren und Geolokalisieren von Verkehrsobjekten - Google Patents

Systeme und Verfahren zum Erkennen, Klassifizieren und Geolokalisieren von Verkehrsobjekten Download PDF

Info

Publication number
DE102018129846A1
DE102018129846A1 DE102018129846.3A DE102018129846A DE102018129846A1 DE 102018129846 A1 DE102018129846 A1 DE 102018129846A1 DE 102018129846 A DE102018129846 A DE 102018129846A DE 102018129846 A1 DE102018129846 A1 DE 102018129846A1
Authority
DE
Germany
Prior art keywords
vehicle
data
traffic
image
lidar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102018129846.3A
Other languages
English (en)
Inventor
Andrew J. Lingg
Orhan BULAN
David H. Clifford
Daniel Taylor
Benjamin J. Cool
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of DE102018129846A1 publication Critical patent/DE102018129846A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3841—Data obtained from two or more sources, e.g. probe vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3863—Structures of map data
    • G01C21/387—Organisation of map data, e.g. version management or database structures
    • G01C21/3878—Hierarchical structures, e.g. layering
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19147—Obtaining sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

Systeme und Verfahren zum Abbilden von verkehrsbezogenen Objekten. In einer Ausführungsform beinhaltet ein Verfahren: das Empfangen von Bildsensordaten, die sich auf eine Umgebung beziehen, die einem Fahrzeug zugeordnet ist; das Empfangen von Lidarsensordaten, die sich auf die dem Fahrzeug zugeordnete Umgebung beziehen; das Auswählen mindestens eines Bildbereichs, der ein verkehrsbezogenes Objekt beinhaltet, durch einen Prozessor aus den Bildsensordaten; das selektive Filtern des mindestens einen Bildbereichs, basierend auf den Lidarsensordaten, durch einen Prozessor; und das Erzeugen einer zusammengesetzten Karte, die eine Darstellung des verkehrsbezogenen Objekts beinhaltet, die einer definierten Karte der Umgebung basierend auf der selektiven Filterung überlagert ist, durch einen Prozessor.

Description

  • TECHNISCHES GEBIET
  • Die vorliegende Offenbarung bezieht sich im Allgemeinen auf autonome Fahrzeuge, und insbesondere auf Systeme und Verfahren zum Erkennen und Abbilden von verkehrsbezogenen Objekten, in einem autonomen Fahrzeug.
  • HINTERGRUND
  • Ein autonomes Fahrzeug ist ein Fahrzeug, das in der Lage ist, seine Umgebung zu erfassen und mit geringfügiger oder gar keiner Benutzereingabe zu navigieren. Dies geschieht durch den Einsatz von Sensoren, wie beispielsweise Radar, Lidar, Bildsensoren und dergleichen. Autonome Fahrzeuge nutzen weiterhin Informationen von globalen Positioniersystemen (GPS), Navigationssystemen, Fahrzeug-Fahrzeug-Kommunikationen, Fahrzeug-Infrastruktur-Technologien und/oder drahtgesteuerten Systemen, um das Fahrzeug zu navigieren.
  • Während in den letzten Jahren signifikante Fortschritte bei Navigationssystemen zu verzeichnen waren, könnten solche Systeme in mehrfacher Hinsicht noch verbessert werden. So treffen beispielsweise autonome Fahrzeuge oft auf verkehrsbezogene Objekte entlang einer Route zu einem geplanten Ziel. Es wäre vorteilhaft, das Vorhandensein von verkehrsbezogenen Objekten zu erkennen und abzubilden, die unter anderem bei der Wegeplanung und der zukünftigen Zielplanung hilfreich sind.
  • Dementsprechend ist es wünschenswert, Systeme und Verfahren zum Erkennen, Klassifizieren und Abbilden von verkehrsbezogenen Objekten in autonomen Fahrzeugen bereitzustellen. Ferner werden andere wünschenswerte Funktionen und Merkmale der vorliegenden Erfindung aus der nachfolgenden ausführlichen Beschreibung und den beigefügten Ansprüchen, in Verbindung mit den beigefügten Zeichnungen, sowie mit dem vorangehenden technischen Gebiet und Hintergrund ersichtlich offensichtlich.
  • KURZDARSTELLUNG
  • Systeme und Verfahren zum Abbilden von verkehrsbezogenen Objekten. In einer Ausführungsform beinhaltet ein Verfahren: das Empfangen von Bildsensordaten, die sich auf eine Umgebung beziehen, die einem Fahrzeug zugeordnet ist; das Empfangen von Lidarsensordaten, die sich auf die dem Fahrzeug zugeordnete Umgebung beziehen; das Auswählen mindestens eines Bildbereichs, der ein verkehrsbezogenes Objekt beinhaltet, durch einen Prozessor aus den Bildsensordaten; das selektive Filtern des mindestens einen Bildbereichs, basierend auf den Lidarsensordaten, durch einen Prozessor; und das Erzeugen einer zusammengesetzten Karte, die eine Darstellung des verkehrsbezogenen Objekts beinhaltet, die einer definierten Karte der Umgebung basierend auf der selektiven Filterung überlagert ist, durch einen Prozessor.
  • In einer Ausführungsform wird ein System zum Steuern eines Fahrzeugs bereitgestellt. In einer Ausführungsform beinhaltet das System: einen Bildsensor, der Bilddaten in Bezug auf eine einem Fahrzeug zugeordnete Umgebung erzeugt; einen Lidarsensor, der Lidardaten in Bezug auf die dem Fahrzeug zugeordnete Umgebung erzeugen; und ein Steuermodul mit einem Prozessor, der konfiguriert ist, um mindestens einen Bildbereich mit einem verkehrsbezogenen Objekt aus den Bildsensordaten auszuwählen, den mindestens einen Bildbereich basierend auf den Lidarsensordaten selektiv zu filtern; eine zusammengesetzte Karte mit einer Darstellung des verkehrsbezogenen Objekts zu erzeugen, das einer definierten Karte der Umgebung basierend auf der selektiven Filterung überlagert ist, und das Fahrzeug basierend auf der zusammengesetzten Karte zu steuern.
  • Figurenliste
  • Die exemplarischen Ausführungsformen werden nachfolgend in Verbindung mit den folgenden Zeichnungen beschrieben, worin gleiche Bezugszeichen gleiche Elemente bezeichnen, und worin gilt:
    • 1 ist ein Funktionsblockdiagramm, das ein autonomes Fahrzeug mit einem Verkehrsobjektmanagementsystem gemäß verschiedenen Ausführungsformen veranschaulicht;
    • 2 ist ein Funktionsblockdiagramm, das ein Transportsystem mit einem oder mehreren autonomen Fahrzeugen aus 1 gemäß verschiedenen Ausführungsformen veranschaulicht;
    • 3 ist ein Funktionsblockdiagramm, das ein autonomes Antriebssystem (ADS) in Verbindung mit einem autonomen Fahrzeug gemäß verschiedenen Ausführungsformen veranschaulicht;
    • 4 ist ein Datenflussdiagramm, das ein Verkehrsobjektmanagementsystem gemäß verschiedenen Ausführungsformen veranschaulicht; und
    • 5 ist ein Flussdiagramm, das ein Steuerverfahren zum Steuern eines autonomen Fahrzeugs basierend auf der verkehrsbezogenen Objekten gemäß verschiedenen Ausführungsformen veranschaulicht.
  • AUSFÜHRLICHE BESCHREIBUNG
  • Die folgende ausführliche Beschreibung dient lediglich als Beispiel und soll die Anwendung und Verwendung in keiner Weise einschränken. Weiterhin besteht keine Absicht, im vorstehenden technischen Bereich, Hintergrund, der Kurzzusammenfassung oder der folgenden detaillierten Beschreibung, an eine ausdrücklich oder implizit vorgestellte Theorie gebunden zu sein. Der hierin verwendete Begriff „Modul“ bezieht sich auf alle Hardware-, Software-, Firmwareprodukte, elektronische Steuerkomponenten, Verarbeitungslogik und/oder Prozessorgeräte, einzeln oder in allen Kombinationen, unter anderem beinhaltend, eine anwendungsspezifische integrierte Schaltung (ASIC), ein feldprogrammierbares Gate-Array (FPGA), eine elektronische Schaltung, einen Prozessor (gemeinsam genutzt, dediziert oder Gruppenprozessor) und einen Speicher, der ein oder mehrere Software- oder Firmwareprogramme, eine kombinatorische Logikschaltung und/oder andere geeignete Komponenten ausführt, welche die beschriebene Funktionalität bieten.
  • Ausführungsformen der vorliegenden Offenbarung können hierin als funktionale und/oder logische Blockkomponenten und verschiedene Verarbeitungsschritte beschrieben sein. Es ist zu beachten, dass derartige Blockkomponenten aus einer beliebigen Anzahl an Hardware-, Software- und/oder Firmware-Komponenten aufgebaut sein können, die zur Ausführung der erforderlichen Funktionen konfiguriert sind. Zum Beispiel kann eine Ausführungsform der vorliegenden Offenbarung eines Systems oder einer Komponente verschiedene integrierte Schaltungskomponenten, beispielsweise Speicherelemente, digitale Signalverarbeitungselemente, Logikelemente, Wertetabellen oder dergleichen, einsetzen, die mehrere Funktionen unter der Steuerung eines oder mehrerer Mikroprozessoren oder anderer Steuervorrichtungen durchführen können. Zudem werden Fachleute auf dem Gebiet erkennen, dass die exemplarischen Ausführungsformen der vorliegenden Offenbarung in Verbindung mit einer beliebigen Anzahl an Systemen eingesetzt werden können, und dass das hierin beschriebene System lediglich eine exemplarische Ausführungsform der vorliegenden Offenbarung darstellt.
  • Der Kürze halber können konventionelle Techniken in Verbindung mit der Signalverarbeitung, Datenübertragung, Signalgebung, Steuerung, Maschinenlernmodelle, Radar, Lidar, Bildanalyse und weiteren funktionalen Aspekten der Systeme (und den einzelnen Bedienkomponenten der Systeme) hierin nicht im Detail beschrieben werden. Weiterhin sollen die in den verschiedenen Figuren dargestellten Verbindungslinien exemplarische Funktionsbeziehungen und/oder physikalische Verbindungen zwischen den verschiedenen Elementen darstellen. Es sollte beachtet werden, dass viele alternative oder zusätzliche funktionale Beziehungen oder physikalische Verbindungen in einer Ausführungsform der vorliegenden Offenbarung vorhanden sein können.
  • Unter Bezugnahme auf 1 ist ein bei 100 allgemein dargestelltes Verkehrsobjektmanagementsystem mit einem Fahrzeug 10 gemäß verschiedenen Ausführungsformen assoziiert. Im Allgemeinen ermöglicht das Verkehrsobjektmanagementsystem (oder einfach „System“) 100 das Erkennen, Klassifizieren und Abbilden des Vorhandenseins von verkehrsbezogenen Objekten in der Umgebung eines Fahrzeugs 10.
  • Wie in 1 dargestellt, beinhaltet das Fahrzeug 10 im Allgemeinen ein Fahrgestell 12, eine Karosserie 14, Vorderräder 16 und Hinterräder 18. Die Karosserie 14 ist auf dem Fahrgestell 12 angeordnet und umhüllt im Wesentlichen die anderen Komponenten des Fahrzeugs 10. Die Karosserie 14 und das Fahrgestell 12 können gemeinsam einen Rahmen bilden. Die Räder 16-18 sind jeweils mit dem Fahrgestell 12 in der Nähe einer jeweiligen Ecke der Karosserie 14 drehbar verbunden.
  • In verschiedenen Ausführungsformen ist das Fahrzeug 10 ein autonomes Fahrzeug und das Verkehrsobjektmanagementsystem 100 ist in das autonome Fahrzeug 10 (nachfolgend als das autonomes Fahrzeug 10 bezeichnet) integriert. Das autonome Fahrzeug 10 ist beispielsweise ein Fahrzeug, das automatisch gesteuert wird, um Passagiere von einem Ort zum anderen zu befördern. Das Fahrzeug 10 ist in der veranschaulichten Ausführungsform als Pkw dargestellt, es sollte jedoch beachtet werden, dass auch jedes andere Fahrzeug einschließlich Motorräder, Lastwagen, Sportfahrzeuge (SUVs), Freizeitfahrzeuge (RVs), Schiffe, Flugzeuge usw. verwendet werden können.
  • In einer exemplarischen Ausführungsform entspricht das autonome Fahrzeug 10 einem Automatisierungssystem des Levels vier oder Levels fünf gemäß der Standardtaxonomie automatisierter Fahrlevels der Society of Automotive Engineers (SAE) „J3016“. Mit dieser Terminologie bezeichnet ein Level-Vier-System eine „hohe Automatisierung“ unter Bezugnahme auf einen Fahrmodus, bei dem das automatisierte Fahrsystem alle Aspekte der dynamischen Fahraufgabe übernimmt, selbst wenn ein menschlicher Fahrer nicht angemessen auf eine Aufforderung zum Eingreifen reagiert. Ein Level-Fünf-System hingegen zeigt eine „Vollautomatisierung“ und bezeichnet einen Fahrmodus, bei dem das automatisierte Fahrsystem alle Aspekte der dynamischen Fahraufgabe unter allen Fahrbahn- und Umweltbedingungen erfüllt, die ein menschlicher Fahrer bewältigen kann. Es versteht sich, dass die Ausführungsformen gemäß der vorliegenden Thematik nicht auf eine bestimmte Taxonomie oder Rubrik der Automatisierungskategorien beschränkt sind. Darüber hinaus können Systeme gemäß der vorliegenden Ausführungsform in Verbindung mit jedem Fahrzeug verwendet werden, in dem der vorliegende Gegenstand umgesetzt werden kann, unabhängig von seiner Autonomie.
  • Wie dargestellt, beinhaltet das autonome Fahrzeug 10 im Allgemeinen ein Antriebssystem 20, ein Übertragungssystem 22, ein Lenksystem 24, ein Bremssystem 26, ein Sensorsystem 28, ein Stellantriebsystem 30, mindestens einen Datenspeicher 32, mindestens eine Steuerung 34 und ein Kommunikationssystem 36. Das Antriebssystem 20 kann in verschiedenen Ausführungsformen einen Verbrennungsmotor, eine elektrische Maschine, wie beispielsweise einen Traktionsmotor und/oder ein Brennstoffzellenantriebssystem, beinhalten. Das Übertragungssystem 22 ist dazu konfiguriert, Leistung vom Antriebssystem 20 auf die Fahrzeugräder 16 und 18 gemäß den wählbaren Übersetzungsverhältnissen zu übertragen. Gemäß verschiedenen Ausführungsformen kann das Getriebesystem 22 ein Stufenverhältnis-Automatikgetriebe, ein stufenlos verstellbares Getriebe oder ein anderes geeignetes Getriebe beinhalten.
  • Das Bremssystem 26 ist dazu konfiguriert, den Fahrzeugrädern 16 und 18 ein Bremsmoment bereitzustellen. Das Bremssystem 26 kann in verschiedenen Ausführungsformen Reibungsbremsen, Bake-by-Wire, ein regeneratives Bremssystem, wie beispielsweise eine elektrische Maschine und/oder andere geeignete Bremssysteme, beinhalten.
  • Das Lenksystem 24 beeinflusst eine Position der Fahrzeugräder 16 und/oder 18. Während in einigen Ausführungsformen innerhalb des Umfangs der vorliegenden Offenbarung zur Veranschaulichung als ein Lenkrad 25 dargestellt, kann das Lenksystem 24 kein Lenkrad beinhalten.
  • Das Sensorsystem 28 beinhaltet eine oder mehrere Sensorvorrichtungen 40a-40n, die beobachtbare Zustände der äußeren Umgebung und/oder der inneren Umgebung des autonomen Fahrzeugs 10 (zum Beispiel den Zustand eines oder mehrerer Insassen) erfassen können. Sensorvorrichtungen 40a-40n können, sind jedoch nicht beschränkt auf, Radare (z. B. Langstrecken-, Mittelstrecken-Kurzbereich), Lidare, globale Positionierungssysteme, optische Kameras (z. B. nach vorne gerichtet, 360-Grad, nach hinten gerichtet, seitlich gerichtet, Stereo, usw.), beinhalten, Wärmebildkameras (z. B. Infrarot), Ultraschallsensoren, Geschwindigkeitsmesssensoren (z. B. Encoder) und/oder andere Sensoren, die in Verbindung mit Systemen und Verfahren gemäß dem vorliegenden Gegenstand verwendet werden können.
  • Das Stellantriebssystem 30 beinhaltet ein oder mehrere Stellantriebsvorrichtungen 42a-42n, die ein oder mehrere Fahrzeugeigenschaften, wie zum Beispiel das Antriebssystem 20, das Übertragungssystem 22, das Lenksystem 24 und das Bremssystem 26, steuern, sind aber nicht darauf beschränkt. In verschiedenen Ausführungsformen kann das autonome Fahrzeug 10 auch Fahrzeug-Innen- und/oder Außenausstattungen beinhalten, die nicht in 1 dargestellt sind, wie beispielsweise verschiedene Türen, Kofferraum- und Kabinenausstattungen, wie Luft, Musik, Beleuchtung, Touchscreen-Display-Komponenten (wie sie in Verbindung mit Navigationssystemen verwendet werden) und dergleichen.
  • Die Datenspeichervorrichtung 32 speichert Daten zur Verwendung beim automatischen Steuern des autonomen Fahrzeugs 10. In verschiedenen Ausführungsformen speichert die Datenspeichervorrichtung 32 definierte Landkarten der navigierbaren Umgebung. In verschiedenen Ausführungsformen werden die definierten Landkarten vordefiniert und von einem entfernten System (in weiteren Einzelheiten in Bezug auf 2 beschrieben) erhalten. So können beispielsweise die definierten Landkarten durch das entfernte System zusammengesetzt und dem autonomen Fahrzeug 10 (drahtlos und/oder drahtgebunden) mitgeteilt und in der Datenspeichervorrichtung 32 gespeichert werden. Routeninformationen können auch in der Datenspeichervorrichtung 32 gespeichert werden - d. h. in einer Reihe von Straßenabschnitten (die geografisch mit einer oder mehreren der definierten Karten verknüpft sind), die zusammen eine Route definieren, die der Benutzer von einem Startort (z. B. dem aktuellen Standort des Benutzers) zu einem Zielort zurücklegen kann. Wie ersichtlich ist, kann die Datenspeichervorrichtung 32 ein Teil der Steuerung 34, von der Steuerung 34 getrennt, oder ein Teil der Steuerung 34 und Teil eines separaten Systems sein.
  • Die Steuerung 34 beinhaltet mindestens einen Prozessor 44 und eine computerlesbare Speichervorrichtung oder Medien 46. Der Prozessor 44 kann eine Spezialanfertigung oder ein handelsüblicher Prozessor sein, eine Zentraleinheit (CPU), eine Grafikprozessoreinheit (GPU), eine anwendungsspezifische integrierte Schaltung (ASIC) (z.B. eine benutzerdefinierte ASIC, die ein neuronales Netzwerk implementiert), ein feldprogrammierbares Gate-Array (FPGA), ein Hilfsprozessor unter mehreren Prozessoren, verbunden mit der Steuerung 34, ein Mikroprozessor auf Halbleiterbasis (in Form eines Mikrochips oder Chip-Satzes) eine Kombination derselben oder allgemein jede beliebige Vorrichtung zur Ausführung von Anweisungen. Die computerlesbare Speichervorrichtung oder Medien 46 können flüchtige und nicht-flüchtige Speicher in einem Nur-Lese-Speicher (ROM), einem Speicher mit direktem Zugriff (RAM) und einem Keep-Alive-Memory (KAM) beinhalten. KAM ist ein persistenter oder nicht-flüchtiger Speicher, der verwendet werden kann, um verschiedene Betriebsvariablen zu speichern, während der Prozessor 44 ausgeschaltet ist. Die computerlesbare Speichervorrichtung oder Medien 46 können unter Verwendung einer beliebigen einer Anzahl an bekannten Speichervorrichtungen, wie beispielsweise PROMs (programmierbarer Nur-Lese-Speicher), EPROMs (elektrische PROM), EEPROMs (elektrisch löschbarer PROM), Flash-Speicher oder beliebige andere elektrischen, magnetischen, optischen oder kombinierten Speichervorrichtungen implementiert werden, die Daten speichern können, von denen einige ausführbare Anweisungen darstellen, die von der Steuerung 34 beim Steuern des autonomen Fahrzeugs 10 verwendet werden. In verschiedenen Ausführungsformen ist die Steuerung 34 konfiguriert, um das im Folgenden ausführlich erläuterte Verkehrsobjektmanagementsystem 100 zu implementieren.
  • Die Anweisungen können ein oder mehrere separate Programme beinhalten, von denen jede eine geordnete Auflistung von ausführbaren Anweisungen zum Implementieren von logischen Funktionen beinhaltet. Die Anweisungen empfangen und verarbeiten, wenn diese vom Prozessor 44 ausgeführt werden, Signale vom Sensorsystem 28, führen Logik, Berechnungen, Verfahren und/oder Algorithmen zur automatischen Steuerung der Komponenten des autonomen Fahrzeugs 10 durch und erzeugen Steuersignale, die an das Stellgliedsystem 30 übertragen werden, um die Komponenten des autonomen Fahrzeugs 10 basierend auf der Logik, den Berechnungen, den Verfahren und/oder Algorithmen automatisch zu steuern. Obwohl in 1 nur eine Steuerung 34 dargestellt ist, können Ausführungsformen des autonomen Fahrzeugs 10 eine beliebige Anzahl an Steuerungen 34 beinhalten, die über ein geeignetes Kommunikationsmedium oder eine Kombination von Kommunikationsmedien kommunizieren und zusammenwirken, um die Sensorsignale zu verarbeiten, Logiken, Berechnungen, Verfahren und/oder Algorithmen durchzuführen, und Steuersignale zu erzeugen, um die Funktionen des autonomen Fahrzeugs 10 automatisch zu steuern.
  • Das Kommunikationssystem 36 ist konfiguriert, um Informationen drahtlos an und von anderen Einheiten 48, wie beispielsweise, jedoch nicht beschränkt auf andere Fahrzeuge („V2V“-Kommunikation,) Infrastruktur („V2I“-Kommunikation), Netzwerke („V2N“-Kommunikation), Fußgänger („V2P“-Kommunikation), entfernte Transportsysteme und/oder Benutzervorrichtungen zu übermitteln (näher beschrieben in Bezug auf 2). In einer exemplarischen Ausführungsform ist das drahtlose Kommunikationssystem 36 dazu konfiguriert, über ein drahtloses lokales Netzwerk (WLAN) unter Verwendung des IEEE 802.11-Standards, über Bluetooth oder mittels einer mobilen Datenkommunikation zu kommunizieren. Im Geltungsbereich der vorliegenden Offenbarung werden jedoch auch zusätzliche oder alternative Kommunikationsverfahren, wie beispielsweise ein dedizierter Nahbereichskommunikations-(DSRC)-Kanal, berücksichtigt. DSRC-Kanäle beziehen sich auf Einweg- oder Zweiwege-Kurzstrecken- bis Mittelklasse-Funkkommunikationskanäle, die speziell für den Automobilbau und einen entsprechenden Satz von Protokollen und Standards entwickelt wurden.
  • Mit weiterem Bezug auf 2 in verschiedenen Ausführungsformen kann das autonome Fahrzeug 10, das mit Bezug auf 1 beschrieben ist, für den Einsatz im Rahmen eines Taxi- oder Shuttle-Unternehmens in einem bestimmten geografischen Gebiet (z. B. einer Stadt, einer Schule oder einem Geschäftscampus, einem Einkaufszentrum, einem Vergnügungspark, einem Veranstaltungszentrum oder dergleichen) geeignet sein. So kann beispielsweise das autonome Fahrzeug 10 einem autonomen fahrzeugbasierten Transportsystem zugeordnet sein. 2 veranschaulicht eine exemplarische Ausführungsform einer Betriebsumgebung, die im Allgemeinen bei 50 dargestellt ist und ein autonomes fahrzeugbasiertes entferntes Transportsystem (oder einfach „entferntes Transportsystem“) 52 beinhaltet, das, wie mit Bezug auf 1 beschrieben, einem oder mehreren autonomen Fahrzeugen 10a-10n zugeordnet ist. In verschiedenen Ausführungsformen beinhaltet die Betriebsumgebung 50 (die ganz oder teilweise den in 1 dargestellten Einheiten 48 entsprechen können) ferner eine oder mehrere Benutzervorrichtungen 54, die mit dem autonomen Fahrzeug 10 und/oder dem entfernten Transportsystem 52 über ein Kommunikationsnetzwerk 56 kommunizieren.
  • Das Kommunikationsnetzwerk 56 unterstützt die Kommunikation zwischen Geräten, Systemen und Komponenten, die von der Betriebsumgebung 50 unterstützt werden (z. B. über physische Kommunikationsverbindungen und/oder drahtlose Kommunikationsverbindungen). So kann beispielsweise das Kommunikationsnetzwerk 56 ein Drahtlosträgersystem 60 beinhalten, wie beispielsweise ein Mobiltelefonsystem, das eine Vielzahl von Mobilfunktürmen (nicht dargestellt), eine oder mehrere Mobilvermittlungsstellen (MSCs) (nicht dargestellt) sowie alle anderen Netzwerkkomponenten beinhalten, die zum Verbinden des Drahtlosträgersystems 60 mit dem Festnetz erforderlich sind. Jeder Mobilfunkturm beinhaltet Sende- und Empfangsantennen und eine Basisstation, wobei die Basisstationen verschiedener Mobilfunktürme mit den MSC verbunden sind, entweder direkt oder über Zwischenvorrichtungen, wie beispielsweise eine Basisstationssteuerung. Das Drahtlosträgersystem 60 kann jede geeignete Kommunikationstechnologie implementieren, beispielsweise digitale Technologien, wie CDMA (z. B. CDMA2000), LTE (z. B. 4G LTE oder 5G LTE), GSM/GPRS oder andere aktuelle oder neu entstehende drahtlose Technologien. Andere Mobilfunkturm/Basisstation/MSC-Anordnungen sind möglich und könnten mit dem Drahtlosträgersystem 60 verwendet werden. So könnten sich beispielsweise die Basisstation und der Mobilfunkturm an derselben Stelle oder entfernt voneinander befinden, jede Basisstation könnte für einen einzelnen Mobilfunkturm zuständig sein oder eine einzelne Basisstation könnte verschiedene Mobilfunktürme bedienen, oder verschiedene Basisstationen könnten mit einer einzigen MSC gekoppelt werden, um nur einige der möglichen Anordnungen zu nennen.
  • Abgesehen vom Verwenden des Drahtlosträgersystems 60 kann ein zweites Drahtlosträgersystem in Form eines Satellitenkommunikationssystems 64 verwendet werden, um unidirektionale oder bidirektionale Kommunikation mit dem autonomen Fahrzeug 10a-10n bereitzustellen. Dies kann unter Verwendung von einem oder mehreren Kommunikationssatelliten (nicht dargestellt) und einer aufwärts gerichteten Sendestation (nicht dargestellt) erfolgen. Die unidirektionale Kommunikation kann beispielsweise Satellitenradiodienste beinhalten, worin programmierte Inhaltsdaten (Nachrichten, Musik usw.) von der Sendestation empfangen werden, für das Hochladen gepackt und anschließend zum Satelliten gesendet werden, der die Programmierung an die Teilnehmer ausstrahlt. Die bidirektionale Kommunikation kann beispielsweise Satellitentelefondienste beinhalten, die den Satelliten verwenden, um Telefonkommunikationen zwischen dem Fahrzeug 10 und der Station weiterzugeben. Die Satellitentelefonie kann entweder zusätzlich oder anstelle des Drahtlosträgersystems 60 verwendet werden.
  • Ein Festnetz-Kommunikationssystem 62 kann ein konventionelles Festnetz-Telekommunikationsnetzwerk beinhalten, das mit einem oder mehreren Festnetztelefonen verbunden ist und das Drahtlosträgersystem 60 mit dem entfernten Transportsystem 52 verbindet. So kann beispielsweise das Festnetz-Kommunikationssystem 62 ein Fernsprechnetz (PSTN) wie jenes sein, das verwendet wird, um festverdrahtetes Fernsprechen, paketvermittelte Datenkommunikationen und die Internetinfrastruktur bereitzustellen. Ein oder mehrere Segmente des Festnetz-Kommunikationssystems 62 könnten durch Verwenden eines normalen drahtgebundenen Netzwerks, eines Lichtleiter- oder eines anderen optischen Netzwerks, eines Kabelnetzes, von Stromleitungen, anderen drahtlosen Netzwerken, wie drahtlose lokale Netzwerke (WLANs) oder Netzwerke, die drahtlosen Breitbandzugang (BWA) bereitstellen oder jeder Kombination davon implementiert sein. Weiterhin muss das entfernte Transportsystem 52 nicht über das Festnetz-Kommunikationssystem 62 verbunden sein, sondern könnte Funktelefonausrüstung beinhalten, sodass sie direkt mit einem drahtlosen Netzwerk, wie z. B. dem Drahtlosträgersystem 60, kommunizieren kann.
  • Obwohl in 2 nur eine Benutzervorrichtung 54 dargestellt ist, können Ausführungsformen der Betriebsumgebung 50 eine beliebige Anzahl an Benutzervorrichtungen 54, einschließlich mehrerer Benutzervorrichtungen 54 unterstützen, die das Eigentum einer Person sind, von dieser bedient oder anderweitig verwendet werden. Jede Benutzervorrichtung 54, die von der Betriebsumgebung 50 unterstützt wird, kann unter Verwendung einer geeigneten Hardwareplattform implementiert werden. In dieser Hinsicht kann die Benutzervorrichtung 54 in einem gemeinsamen Formfaktor realisiert werden, darunter auch in: einen Desktop-Computer; einem mobilen Computer (z. B. einem Tablet-Computer, einem Laptop-Computer oder einem Netbook-Computer); einem Smartphone; einem Videospielgerät; einem digitalen Media-Player; eine Komponente eines Heimunterhaltungsgeräts; einer Digitalkamera oder Videokamera; einem tragbaren Computergerät (z. B. einer Smart-Uhr, Smart-Brille, Smart-Kleidung); oder dergleichen. Jede von der Betriebsumgebung 50 unterstützte Benutzervorrichtung 54 ist als computerimplementiertes oder computergestütztes Gerät mit der Hardware-, Software-, Firmware- und/oder Verarbeitungslogik realisiert, die für die Durchführung der hier beschriebenen verschiedenen Techniken und Verfahren erforderlich ist. So beinhaltet beispielsweise die Benutzervorrichtung 54 einen Mikroprozessor in Form einer programmierbaren Vorrichtung, die eine oder mehrere in einer internen Speicherstruktur gespeicherte Anweisungen beinhaltet und angewendet wird, um binäre Eingaben zu empfangen und binäre Ausgaben zu erzeugen. In einigen Ausführungsformen beinhaltet die Benutzervorrichtung 54 ein GPS-Modul, das GPS-Satellitensignale empfangen und GPS-Koordinaten basierend auf diesen Signalen erzeugen kann. In weiteren Ausführungsformen beinhaltet die Benutzervorrichtung 54 eine Mobilfunk-Kommunikationsfunktionalität, sodass die Vorrichtung Sprach- und/oder Datenkommunikationen über das Kommunikationsnetzwerk 56 unter Verwendung eines oder mehrerer Mobilfunk-Kommunikationsprotokolle durchführt, wie hierin erläutert. In verschiedenen Ausführungsformen beinhaltet die Benutzervorrichtung 54 eine visuelle Anzeige, wie zum Beispiel ein grafisches Touchscreen-Display oder eine andere Anzeige.
  • Das entfernte Transportsystem 52 beinhaltet ein oder mehrere Backend-Serversysteme, nicht dargestellt), die an dem speziellen Campus oder dem geografischen Standort, der vom Transportsystem 52 bedient wird, Cloud-basiert, netzwerkbasiert oder resident sein können. Das entfernte Transportsystem 52 kann mit einem Live-Berater, einem automatisierten Berater, einem System der künstlichen Intelligenz oder einer Kombination davon besetzt sein. Das entfernte Transportsystem 52 kann mit den Benutzervorrichtungen 54 und den autonomen Fahrzeugen 10a-10n kommunizieren, um Fahrten zu planen, autonome Fahrzeuge 10a-10n zu versetzen und dergleichen. In verschiedenen Ausführungsformen speichert das entfernte Transportsystem 52 Kontoinformationen, wie zum Beispiel Teilnehmer-Authentisierungsdaten, Fahrzeugkennzeichen, Profilaufzeichnungen, biometrische Daten, Verhaltensmuster und andere entsprechende Teilnehmerinformationen.
  • Gemäß einem typischen Anwendungsfall-Arbeitsablauf kann ein registrierter Benutzer des entfernten Transportsystems 52 über die Benutzervorrichtung 54 eine Fahrtanforderung erstellen. Die Fahrtanforderung gibt typischerweise den gewünschten Abholort des Fahrgastes (oder den aktuellen GPS-Standort), den gewünschten Zielort (der einen vordefinierten Fahrzeugstopp und/oder ein benutzerdefiniertes Passagierziel identifizieren kann) und eine Abholzeit an. Das entfernte Transportsystem 52 empfängt die Fahrtanforderung, verarbeitet die Anforderung und sendet ein ausgewähltes der autonomen Fahrzeuge 10a-10n (wenn und sofern verfügbar), um den Passagier an dem vorgesehenen Abholort und zu gegebener Zeit abzuholen. Das Transportsystem 52 kann zudem eine entsprechend konfigurierte Bestätigungsnachricht oder Benachrichtigung an die Benutzervorrichtung 54 erzeugen und senden, um den Passagier zu benachrichtigen, dass ein Fahrzeug unterwegs ist.
  • Wie ersichtlich, bietet der hierin offenbarte Gegenstand bestimmte verbesserte Eigenschaften und Funktionen für das, was als ein standardmäßiges oder Basislinien autonomes Fahrzeug 10 und/oder ein autonomes fahrzeugbasiertes Transportsystem 52 betrachtet werden kann. Zu diesem Zweck kann ein autonomes fahrzeugbasiertes Transportsystem modifiziert, erweitert oder anderweitig ergänzt werden, um die nachfolgend näher beschriebenen zusätzlichen Funktionen bereitzustellen.
  • Gemäß verschiedenen Ausführungsformen implementiert die Steuerung 34 ein autonomes Antriebssystem (ADS) 70, wie in 3 dargestellt. Das heißt, dass geeignete Soft- und/oder Hardwarekomponenten der Steuerung 34 (z. B. der Prozessor 44 und das computerlesbare Speichermedium 46) verwendet werden, um ein autonomes Antriebssystem 70 bereitzustellen, das in Verbindung mit dem Fahrzeug 10 verwendet wird.
  • In verschiedenen Ausführungsformen können die Anweisungen des autonomen Antriebssystems 70 je nach Funktion oder System gegliedert sein. Das autonome Antriebssystem 70 kann beispielsweise, wie in 3 dargestellt, ein Computer-Sichtsystem 74, ein Positionierungssystem 76, ein Leitsystem 78 und ein Fahrzeugsteuersystem 80 beinhalten. Wie ersichtlich ist, können die Anweisungen in verschiedenen Ausführungsformen in beliebig viele Systeme (z. B. kombiniert, weiter unterteilt usw.) gegliedert werden, da die Offenbarung nicht auf die vorliegenden Beispiele beschränkt ist.
  • In verschiedenen Ausführungsformen synthetisiert und verarbeitet das Computer-Sichtsystem 74 Sensordaten und prognostiziert Anwesenheit, Standort, Klassifizierung und/oder Verlauf von Objekten und Merkmalen der Umgebung des Fahrzeugs 10. In verschiedenen Ausführungsformen kann das Computer-Vision-System 74 Informationen von mehreren Sensoren (z. B. dem Sensorsystem 28) beinhalten, einschließlich, aber nicht beschränkt auf Kameras, Lidars, Radars und/oder eine beliebige Anzahl anderer Arten von Sensoren.
  • Das Positionierungssystem 76 verarbeitet Sensordaten zusammen mit anderen Daten, um eine Position (z. B. eine lokale Position in Bezug auf eine Karte, eine exakte Position in Bezug auf die Fahrspur einer Straße, Fahrzeugrichtung, usw.) des Fahrzeugs 10 in Bezug auf die Umgebung zu bestimmen. Wie zu erkennen ist, können verschiedene Techniken eingesetzt werden, um diese Lokalisierung durchzuführen, beispielsweise simultane Lokalisierung und Kartierung (SLAM), Partikelfilter, Kalman-Filter, Bayes'sche Filter und dergleichen.
  • Das Leitsystem 78 verarbeitet Sensordaten zusammen mit anderen Daten, um eine Strecke zu bestimmen, dem das Fahrzeug 10 folgen soll. Das Fahrzeugsteuerungssystem 80 erzeugt Steuersignale zum Steuern des Fahrzeugs 10 entsprechend der ermittelten Strecke.
  • In verschiedenen Ausführungsformen implementiert die Steuerung 34 maschinelle Lerntechniken, um die Funktionalität der Steuerung 34 zu unterstützen, wie z. B. Merkmalerkennung/Klassifizierung, Hindernisminderung, Routenüberquerung, Kartierung, Sensorintegration, Boden-Wahrheitsbestimmung und dergleichen.
  • In verschiedenen Ausführungsformen kann das Verkehrsobjektmanagementsystem 100 ganz oder teilweise in das Computer-Sichtsystem 74, das Positioniersystem 76, das Leitsystem 78 und/oder das Fahrzeugsteuerungssystem 80 eingebunden werden. Wie vorstehend kurz erwähnt, ist das Verkehrsobjektmanagementsystem 100 von 1 konfiguriert, um das Vorhandensein eines oder mehrerer verkehrsbezogener Objekte in der Umgebung des autonomen Fahrzeugs 10 (z.B. Verkehrskegel, Schilder, Absperrungen oder dergleichen) zu bestimmen und eine zusammengesetzte Karte mit einer Darstellung des verkehrsbezogenen Objekts zu erzeugen, die einer definierten Umgebungskarte überlagert ist - z. B. einer in der Datenspeichervorrichtung 32 von 1 gespeicherten Karte.
  • In dieser Hinsicht stellt 4 ein Datenflussdiagramm bereit, das Funktionen des Verkehrsobjektmanagementsystems 100 gemäß verschiedener Ausführungsformen näher veranschaulicht. Verschiedene Ausführungsformen des Verkehrsobjektmanagementsystems 100 kann gemäß der vorliegenden Offenbarung eine beliebige Anzahl von Modulen beinhalten. Wie zu erkennen ist, können die in 4 dargestellten Module kombiniert und/oder weiter unterteilt werden, um verkehrsbezogene Objekte in ähnlicher Weise zu erkennen, zu klassifizieren und abzubilden. Wie weiterhin zu erkennen ist, können die in 4 dargestellten Module zusätzlich zu den in 3 dargestellten Modulen oder Systemen oder als separate Module eines eigenständigen Systems bereitgestellt werden. Eingaben an das Verkehrsobjektmanagementsystem 100 können vom Sensorsystem 128 empfangen, von anderen Steuerungen des Fahrzeugs 10 empfangen und/oder durch andere Module (nicht dargestellt) des Verkehrsobjektmanagementsystems 100 bestimmt werden. Das Verkehrsobjektmanagementsystem 100 beinhaltet in verschiedenen Ausführungsformen ein Bilddatenverarbeitungsmodul 102, ein Lidar-Datenverarbeitungsmodul 104, ein Ortungsmodul 106, ein Ergebniskartierungsmodul 108 und ein Trainingsmodul 110.
  • In verschiedenen Ausführungsformen kann eines oder mehrere der Module 102-110 als ein oder mehrere maschinelle Lernmodelle implementiert werden, die einem überwachten, unbeaufsichtigten, teilüberwachten oder verstärkten Lernen unterzogen werden und Klassifizierungen (z. B. binäre oder mehrstufige Klassifizierungen), Regression, Clustering, Dimensionalitätsreduktion und/oder solche Aufgaben durchführen. Beispiele für diese Modelle sind künstliche neuronale Netze (ANN) (z. B. rekurrierende neuronale Netze (RNN) und faltungsneuronale Netze (CNN)), Entscheidungsbaummodelle (z. B. Klassifikations- und Regressionsbäume (CART)), Ensemble-Lernmodelle (z. B. Boosting, Bootstrapped Aggregation, Gradienten-Boost-Maschinen und Random Forest), Bayes'sche Netzwerkmodelle (z. B. naive Bayes), Hauptkomponentenanalyse (PCA), Unterstützungsvektormaschinen (SVM), Clustering-Modelle (wie K-Neighbor, K-Mittel, Erwartungsmaximierung, hierarchisches Clustering usw.), lineare Diskriminanzanalysemodelle. In einigen Ausführungsformen erfolgt das Lernen innerhalb eines vom Fahrzeug 10 entfernten Systems (z. B. das System 52 in 2) und wird anschließend für den normalen Betrieb des Fahrzeugs 10 auf das Fahrzeug 10 heruntergeladen. In weiteren Ausführungsformen erfolgt das Lernen zumindest teilweise innerhalb der Steuerung 34 des Fahrzeugs 10 selbst, und das Modell wird anschließend mit externen Systemen und/oder anderen Fahrzeugen einer Flotte geteilt (wie in 2 dargestellt). Trainingsdaten können in ähnlicher Weise vom Fahrzeug 10 erzeugt oder extern erfasst und vor dem Anlernen in Trainings-, Validierungs- und Testsätze aufgeteilt werden. Zu exemplarischen Zwecken wird das Lernen so behandelt, als würde es teilweise am Fahrzeug 10 und teilweise entfernt vom Fahrzeug 10 ausgeführt.
  • In verschiedenen Ausführungsformen empfängt das Bilddatenverarbeitungsmodul 102 als Eingaben Bilddaten 112 vom Sensorsystem 28 (1). In verschiedenen Ausführungsformen beinhalten die Bilddaten 112 ROS-Taschendateien oder andere Formen von Daten. Das Bilddatenverarbeitungsmodul 102 verarbeitet die Bilddaten 112, um Bilder aus den ROS-Taschendateien zu extrahieren, beispielsweise unter Verwendung eines rospkg-Pythonmoduls oder eines anderen Extraktionsmoduls und basierend beispielsweise auf einem den ROS-Taschendateien zugeordneten Zeitstempel. Wie zu erkennen ist, können andere Formen von Bilddaten 112 und/oder andere Verfahren zum Verarbeiten der Bilddaten 112 in verschiedenen Ausführungsformen implementiert werden.
  • Das Bilddatenverarbeitungsmodul 102 wählt dann unter Verwendung eines selektiven Suchalgorithmus aus den extrahierten Bildern geeignete Bildbereiche aus. Das Bilddatenverarbeitungsmodul 102 filtert dann die resultierenden Bereiche nach Bereichsgröße und/oder Seitenverhältnis, um Bildbereiche zu entfernen, die nicht den Erwartungen an interessierende Objekte entsprechen. In verschiedenen Ausführungsformen beinhalten die Erwartungen an die interessierenden Objekte eine Gesamtfläche zwischen 500 und 18000 Pixel, mit einem Seitenverhältnis (Höhenteilungsbreite) zwischen beispielsweise 0,24 und 2,3.
  • Das Bilddatenverarbeitungsmodul 102 verarbeitet dann die gefilterten Bildbereiche mit zwei oder mehr geschulten faltungsneuronalen Netzwerken 114, 116, um die Bildklassifizierung durchzuführen. So kann beispielsweise ein erstes Netzwerk 114 so geschult werden, dass es vorgeschlagene Bereiche mit Verkehrszeichen oder andere Objekte von den vorgeschlagenen Bereichen ohne Verkehrszeichen oder andere Objekte trennt. In einem weiteren Beispiel kann das zweite Netzwerk 116 so geschult werden, dass es vorgeschlagene Bereiche, die Verkehrszeichen oder andere Objekte enthalten, von vorgeschlagenen Bereichen trennt, die keine Verkehrszeichen oder andere Objekte enthalten, aber die vom ersten Netzwerk falsch klassifiziert wurden. Die Klassifizierungen können basierend auf Farben, identifizierten Buchstaben, identifizierten Wörtern, Formen usw. durchgeführt werden, die ein Verkehrsschild identifizieren können. Das Ergebnis der CNNs 114, 116 beinhaltet die Bildbereiche und die entsprechenden Klassifizierungen 118. Wie zu erkennen ist, können andere Verfahren zum Extrahieren von Bildbereichen und zum Klassifizieren der extrahierten Bereiche in verschiedenen Ausführungsformen implementiert werden. So kann beispielsweise anstelle der selektiven Suche und der CNNs ein Regionsvorschlagnetzwerk (RPN) implementiert werden, das gleichzeitig Bereiche erkennt und klassifiziert.
  • Das Lidar-Datenverarbeitungsmodul 104 empfängt als Eingabe-Lidardaten 120, die Bilddaten 112 und die Bildbereiche und deren entsprechende Klassifizierungen 118. In verschiedenen Ausführungsformen beinhalten die Lidardaten 120 Punkte von einem fünf Meter breiten Schwad entlang eines Vektors, der vom Lidar des Fahrzeugs in die ungefähre Richtung des verkehrsbezogenen Objekts bis zu einer Entfernung von etwa vierzig Metern zeigt. Wie zu erkennen ist, kann die Schwadgröße in verschiedenen Ausführungsformen variiert werden. So kann beispielsweise basierend auf einer gemessenen Transformationsmatrix zwischen Kamera und Lidar ein schmalerer Schwad von Punkten realisiert werden. Das Lidar-Datenverarbeitungsmodul 104 wählt eine Teilmenge von Punkten der Lidar-Daten 120 aus, indem es alle Punkte genau auf das Bild projiziert und Punkte, die in die Bildbereiche fallen, beibehält.
  • Das Lidar-Datenverarbeitungsmodul 104 wertet dann die gehaltenen Punkte für andere Attribute aus, die auf ein verkehrsbezogenes Objekt hinweisen können. So bestimmt beispielsweise das Lidar-Datenverarbeitungsmodul 104, ob einer der gehaltenen Punkte in einen bestimmten Höhenbereich fällt und ob einer der gehaltenen Punkte stark reflektierend ist. Wenn bestimmt wird, dass einige der gehaltenen Punkte in einen bestimmten Höhenbereich fallen und einige der gehaltenen Punkte stark reflektierend sind, wird der den gehaltenen Punkten zugeordnete Bildbereich ausgewählt. Wenn bestimmt wird, dass keine der gehaltenen Punkte in einen bestimmten Höhenbereich fallen und keine der gehaltenen Punkte stark reflektierend sind, wird der den gehaltenen Punkten zugeordnete Bildbereich verworfen. Das Lidar-Datenverarbeitungsmodul 104 stellt dann die verbleibenden gehaltenen Bildbereichsklassifizierungen als gefilterte Bereichsklassifizierungen 122 zur Verfügung.
  • Das Lokalisierungsmodul 106 empfängt als Eingabe die gefilterten Bildbereichsklassifizierungen 122 und die entsprechenden ausgewählten Punkte 121. Das Lokalisierungsmodul 108 verwendet dann die Punkte, die der erwarteten Platzierung entsprechen, um das verkehrsbezogene Objekt innerhalb des klassifizierten Bildbereichs zu lokalisieren. So wird beispielsweise erwartet, dass Verkehrszeichen im Infrarot-LIDAR stark reflektierend sind. Der Schwerpunkt der stark reflektierenden ausgewählten Punkte wird als die Position des Zeichens in Bezug auf das Fahrzeug 10 festgelegt. Das Lokalisierungsmodul 106 verwendet dann die Position des Fahrzeugs 10 und die Richtung, um die Lokalisierungsergebnisse in Objektstandort-Weltkoordinaten 124 umzuwandeln. So wird beispielsweise der relative Kurs des Fahrzeugs 10 zum Objekt mit dem absoluten Kurs des Fahrzeugs 10 summiert. Der Weltstandort des Objekts wird ermittelt, indem der Weltstandort des Fahrzeugs 10 mit der relativen Entfernung zum Objekt, die entlang des summierten Kurses projiziert wird, summiert wird.
  • Das Ergebniskartierungsmodul 108 empfängt als Eingabe die Objektpositionen in realen Koordinaten 124 und den zugehörigen Bildbereich aus den gefilterten Bildbereichsklassifizierungen 122. Das Ergebniskartierungsmodul 108 wertet die empfangenen Ergebnisse im Zeitverlauf aus, um die Ergebnisse zu bestätigen. So werden beispielsweise Ergebnisse, die innerhalb von 0,5 Metern oder in einer anderen Entfernung voneinander lokalisiert sind, zu zusammengeführten Ergebnissen 126 zusammengeführt. Das Ergebniskartierungsmodul 108 speichert die zusammengeführten Ergebnisse 126 als zusammengesetzte Karte mit einer Darstellung des verkehrsbezogenen Objekts, das auf einer definierten Umgebungskarte überlagert ist - z. B. einer in der Datenspeichervorrichtung 32 von 1 gespeicherten Karte.
  • Das Schulungsmodul 110 empfängt die zusammengeführten Ergebnisse 126. Das Schulungsmodul 110 lädt die Bereiche der Bilder aus den zusammengeführten Ergebnissen 126 und präsentiert sie über eine interaktive webbasierte Schnittstelle 129 einem menschlichen Etikettierer. Menschliche Etikettierer sind dann in der Lage, jeden Bereich des Bildes zu überprüfen und durch Interaktion mit der Schnittstelle und das Erzeugen von Benutzereingabedaten 130 die zugehörige Klasse zu bestätigen.
  • Aufgrund von Lokalisierungsungenauigkeiten können mehrere Ergebnisse eines gleichen straßenbasierten Schildes oder Objekts noch vorhanden sein. In diesem Fall verwendet das Schulungsmodul 110 andere Clustering-Algorithmen und die Kenntnis der wahrscheinlichen Platzierung von Verkehrsschildern oder Objekten nach Typen, die beispielsweise aus Kartendaten stammen, um zusätzliche Duplikate zu entfernen. Das Schulungsmodul 110 verwendet dann die Endergebnisse, um die Klassifikatoren der neuronalen Netze 114, 116 zu verfeinern.
  • Unter Bezugnahme nun auf 5 und unter erneuter Bezugnahme auf die 1 bis 4 veranschaulicht ein Flussdiagramm ein Verfahren 300, das durch das System 100 gemäß verschiedenen Ausführungsformen durchgeführt werden kann. Wie aus der Offenbarung ersichtlich, ist die Abfolge der Vorgänge innerhalb der Verfahren nicht, wie in 5 veranschaulicht, auf die sequenzielle Abarbeitung beschränkt, sondern kann, soweit zutreffend, in einer oder mehreren unterschiedlichen Reihenfolgen gemäß der vorliegenden Offenbarung ausgeführt werden.
  • Wie weiter zu erkennen ist, kann das Verfahren von 5 so geplant werden, dass es während des Betriebs des Fahrzeugs 10 in vorgegebenen Zeitabständen abläuft, während es offline vom Betrieb des Fahrzeugs 10 und/oder einer Kombination derselben ausgeführt werden kann.
  • In einem Beispiel kann das Verfahren bei 400 beginnen. Die Bilddaten 112 werden bei 410 empfangen. Die Lidar-Daten 120 werden bei 420 empfangen. Die Bilddaten 112 werden bei 430 verarbeitet, um die interessierenden Bildbereiche des Bildes zu bestimmen und zu klassifizieren, wie beispielsweise vorstehend in Bezug auf das Bildverarbeitungsmodul 102 erläutert. Die Lidar-Daten 120 werden bei 440 verarbeitet, um die den Bildbereichen zugeordneten Punkte (z. B. die ausgewählten Punkte 121) zu extrahieren. Die den Bildbereichen zugeordneten Punkte werden dann bei 450 auf Höhen- und/oder Reflexionswerte bewertet. Wenn beispielsweise bestimmt wird, dass einige der Punkte in einen bestimmten Höhenbereich fallen und einige der Punkte stark reflektierend sind, wird der den gehaltenen Punkten zugeordnete Bereich zur weiteren Verarbeitung bei 460-490 ausgewählt.
  • So wird beispielsweise bei 460 das Bild verarbeitet, um Objekte bei 460 zu erkennen und zu klassifizieren, beispielsweise über die vorstehend erläuterten CNNs 114, 116. Kollokierte LIDAR-Punkte werden dann aus den Lidar-Daten 112 bei 470 extrahiert. Die klassifizierten Objekte werden dann lokalisiert und nach ihrer Position bei 480 gefiltert, wie beispielsweise im Hinblick auf das Ergebniskartierungsmodul 108 vorstehend erläutert. Die realen Weltstandorte der lokalisierten Objekte werden dann bei 490 bestimmt. Danach werden die Ergebnisse bei 500 gespeichert. Die Ergebnisse werden über einen menschlichen Etikettierer ausgewertet und dienen zur Umschulung der neuronalen Netze 114, 116 bei 510. Danach kann das Verfahren bei 520 enden.
  • Wenn bei 450 bestimmt wird, dass keine der Punkte in einen bestimmten Höhenbereich fallen und keine der gehaltenen Punkte stark reflektierend sind, wird der den Punkten zugeordnete Bildbereich verworfen und es wird bestimmt, ob bei 530 mehr Bilder zu verarbeiten sind. Wenn bei 530 mehr Bilder zu verarbeiten sind, fährt das Verfahren mit dem Empfangen von Bilddaten 112 und Lidar-Daten 120 bei 410 bzw. 420 fort. Wenn jedoch bei 530 keine Bilder mehr vorhanden sind, fährt das Verfahren mit dem Speichern der Ergebnisse bei 500 fort, die Ergebnisse werden (falls vorhanden) über einen menschlichen Etikettierer bei 510 ausgewertet und zum Umschulen der neuronalen Netze 114, 116 verwendet. Danach kann das Verfahren bei 520 enden.
  • Während mindestens eine exemplarische Ausführungsform in der vorstehenden ausführlichen Beschreibung dargestellt wurde, versteht es sich, dass es eine große Anzahl an Varianten gibt. Es versteht sich weiterhin, dass die exemplarische Ausführungsform oder die exemplarischen Ausführungsformen lediglich Beispiele sind und den Umfang, die Anwendbarkeit oder die Konfiguration dieser Offenbarung in keiner Weise einschränken sollen. Die vorstehende ausführliche Beschreibung stellt Fachleuten auf dem Gebiet vielmehr einen zweckmäßigen Plan zur Implementierung der exemplarischen Ausführungsform bzw. der exemplarischen Ausführungsformen zur Verfügung. Es versteht sich, dass verschiedene Veränderungen an der Funktion und der Anordnung von Elementen vorgenommen werden können, ohne vom Umfang der Offenbarung, wie er in den beigefügten Ansprüchen und deren rechtlichen Entsprechungen aufgeführt ist, abzuweichen.

Claims (10)

  1. Verfahren zum Abbilden von verkehrsbezogenen Objekten, umfassend: Empfangen von Sensordaten in Bezug auf eine mit einem Fahrzeug assoziierte Umgebung; Empfangen von Lidar-Sensordaten in Bezug auf eine mit einem Fahrzeug assoziierte Umgebung; Auswählen mindestens eines Bildbereichs, der ein verkehrsbezogenes Objekt beinhaltet, durch einen Prozessor aus den Bildsensordaten; selektives Filtern des mindestens einen Bildbereichs durch einen Prozessor basierend auf den Lidarsensordaten; und Erzeugen einer zusammengesetzten Karte durch einen Prozessor, die eine Darstellung des verkehrsbezogenen Objekts beinhaltet, das auf einer definierten Karte der Umgebung basierend auf der selektiven Filterung überlagert ist.
  2. Verfahren nach Anspruch 1, ferner umfassend das Lokalisieren des verkehrsbezogenen Objekts basierend auf den Lidar-Daten.
  3. Verfahren nach Anspruch 1, worin das Auswählen des mindestens einen Bildbereichs auf mindestens einem maschinellen Lernverfahren beruht.
  4. Verfahren nach Anspruch 3, worin das maschinelle Lernverfahren ein faltungsneuronales Netzwerk beinhaltet.
  5. Verfahren nach Anspruch 4, ferner umfassend das Schulen des faltungsneuronalen Netzwerks basierend auf den Ergebnissen der selektiven Filterung.
  6. Verfahren nach Anspruch 5, worin das Schulen des faltungsneuronalen Netzwerks ferner auf Daten beruht, die von einem menschlichen Etikettierer erzeugt werden.
  7. Verfahren nach Anspruch 1, worin das selektive Filtern auf einem Höhenattribut von Datenpunkten der Lidar-Daten beruht.
  8. Verfahren nach Anspruch 1, ferner umfassend das selektive Klassifizieren des verkehrsbezogenen Bildes basierend auf einem Farbattribut der Bildsensordaten.
  9. Verfahren nach Anspruch 1, worin das selektive Filtern auf einem Reflexionsattribut von Datenpunkten der Lidar-Daten beruht.
  10. System zum Steuern eines Fahrzeugs, umfassend: einen Bildsensor, der Bilddaten in Bezug auf eine mit einem Fahrzeug assoziierte Umgebung erzeugt; Lidar-Sensor, der Lidar-Daten in Bezug auf eine mit dem Fahrzeug assoziierte Umgebung erzeugt; und ein Steuermodul mit einem Prozessor, der konfiguriert ist, um mindestens einen Bildbereich mit einem verkehrsbezogenen Objekt aus den Bildsensordaten auszuwählen, den mindestens einen Bildbereich basierend auf den Lidarsensordaten selektiv zu filtern; eine zusammengesetzte Karte mit einer Darstellung des verkehrsbezogenen Objekts zu erzeugen, das einer definierten Karte der Umgebung basierend auf der selektiven Filterung überlagert ist, und das Fahrzeug basierend auf der zusammengesetzten Karte zu steuern.
DE102018129846.3A 2017-11-29 2018-11-26 Systeme und Verfahren zum Erkennen, Klassifizieren und Geolokalisieren von Verkehrsobjekten Pending DE102018129846A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/826,294 US10620637B2 (en) 2017-11-29 2017-11-29 Systems and methods for detection, classification, and geolocation of traffic objects
US15/826,294 2017-11-29

Publications (1)

Publication Number Publication Date
DE102018129846A1 true DE102018129846A1 (de) 2019-05-29

Family

ID=66442576

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102018129846.3A Pending DE102018129846A1 (de) 2017-11-29 2018-11-26 Systeme und Verfahren zum Erkennen, Klassifizieren und Geolokalisieren von Verkehrsobjekten

Country Status (3)

Country Link
US (1) US10620637B2 (de)
CN (1) CN109841080B (de)
DE (1) DE102018129846A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111931593A (zh) * 2020-07-16 2020-11-13 上海无线电设备研究所 一种基于深度神经网络和时频图像序列的弱目标检测方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112180395B (zh) * 2019-06-13 2023-04-07 北京百度网讯科技有限公司 道路标记的提取方法、装置、设备及存储介质
CN110909895A (zh) * 2019-11-19 2020-03-24 科大国创软件股份有限公司 一种基于特种设备历史定期检验报告的预警方法及系统
US11940804B2 (en) * 2019-12-17 2024-03-26 Motional Ad Llc Automated object annotation using fused camera/LiDAR data points
CN112818826A (zh) * 2021-01-28 2021-05-18 北京市商汤科技开发有限公司 目标识别方法及装置、电子设备及存储介质
US11836990B2 (en) * 2022-03-18 2023-12-05 GM Global Technology Operations LLC Methods and systems for two-phase camera to lidar alignment
US11675362B1 (en) * 2021-12-17 2023-06-13 Motional Ad Llc Methods and systems for agent prioritization

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2712673A1 (en) * 2008-02-04 2009-08-13 Tele Atlas North America Inc. Method for map matching with sensor detected objects
JP4905512B2 (ja) * 2009-07-09 2012-03-28 株式会社デンソー 物標情報推定装置
US8861842B2 (en) * 2010-02-05 2014-10-14 Sri International Method and apparatus for real-time pedestrian detection for urban driving
CN101823486A (zh) * 2010-04-30 2010-09-08 奇瑞汽车股份有限公司 一种自动驾驶系统
US20130278441A1 (en) * 2012-04-24 2013-10-24 Zetta Research and Development, LLC - ForC Series Vehicle proxying
CN103198302B (zh) * 2013-04-10 2015-12-02 浙江大学 一种基于双模态数据融合的道路检测方法
US9185289B2 (en) * 2013-06-10 2015-11-10 International Business Machines Corporation Generating a composite field of view using a plurality of oblique panoramic images of a geographic area
US9110163B2 (en) * 2013-06-14 2015-08-18 Microsoft Technology Licensing, Llc Lidar-based classification of object movement
KR102136401B1 (ko) * 2013-10-21 2020-07-21 한국전자통신연구원 다-파장 이미지 라이다 센서장치 및 이의 신호처리 방법
US9568611B2 (en) * 2014-08-20 2017-02-14 Nec Corporation Detecting objects obstructing a driver's view of a road
JP6396838B2 (ja) * 2015-03-31 2018-09-26 株式会社デンソー 車両制御装置、及び車両制御方法
US10545229B2 (en) * 2016-04-22 2020-01-28 Huawei Technologies Co., Ltd. Systems and methods for unified mapping of an environment
US10282999B2 (en) * 2017-03-17 2019-05-07 GM Global Technology Operations LLC Road construction detection systems and methods
US10255525B1 (en) * 2017-04-25 2019-04-09 Uber Technologies, Inc. FPGA device for image classification
US10108867B1 (en) * 2017-04-25 2018-10-23 Uber Technologies, Inc. Image-based pedestrian detection
US20180349746A1 (en) * 2017-05-31 2018-12-06 Uber Technologies, Inc. Top-View Lidar-Based Object Detection
US10809361B2 (en) * 2017-05-31 2020-10-20 Uatc, Llc Hybrid-view LIDAR-based object detection
US10444759B2 (en) * 2017-06-14 2019-10-15 Zoox, Inc. Voxel based ground plane estimation and object segmentation
WO2019067193A1 (en) * 2017-09-28 2019-04-04 Apple Inc. NOCTURNAL DETECTION

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111931593A (zh) * 2020-07-16 2020-11-13 上海无线电设备研究所 一种基于深度神经网络和时频图像序列的弱目标检测方法
CN111931593B (zh) * 2020-07-16 2024-04-26 上海无线电设备研究所 一种基于深度神经网络和时频图像序列的弱目标检测方法

Also Published As

Publication number Publication date
US10620637B2 (en) 2020-04-14
CN109841080A (zh) 2019-06-04
US20190163193A1 (en) 2019-05-30
CN109841080B (zh) 2022-01-14

Similar Documents

Publication Publication Date Title
DE102018129066B4 (de) Systeme und verfahren für ungeschütztes linksabbiegen in situationen mit hohem verkehrsaufkommen in autonomen fahrzeugen
DE102018129048B4 (de) Verfahren zum durchführen einer autonomen fahrzeugbetriebsanalyse
DE102018129295A1 (de) Systeme und Verfahren zum Abbilden von Fahrbahnstörobjekten in autonomen Fahrzeugen
DE102018129064A1 (de) Systeme und verfahren zur geschwindigkeitsanpassung für einen bevorstehenden spurwechsel in autonomen fahrzeugen
DE102018129074A1 (de) Systeme und verfahren zum umfahren von hindernissen in autonomen fahrzeugen
DE102018121124A1 (de) Verfahren und Systeme zum Erzeugen von Echtzeit-Karteninformationen
DE102019110184A1 (de) Systeme und verfahren zum autonomen fahren unter verwendung eines auf neuronalen netzwerken basierten fahrerlernens auf tokenizierten sensoreingaben
DE102019100569A1 (de) Systeme und verfahren zum mindern von ungeschützten manövern in autonomen fahrzeugen
DE102018115263A1 (de) Systeme und verfahren zur vorhersage von verkehrsmustern in einem autonomen fahrzeug
DE102018129846A1 (de) Systeme und Verfahren zum Erkennen, Klassifizieren und Geolokalisieren von Verkehrsobjekten
DE102018105693A1 (de) Strassenbau-Erfassungssysteme und -Verfahren
DE102019100572A1 (de) Systeme und verfahren für die wegplanung in autonomen fahrzeugen
DE102018129077A1 (de) Systeme und verfahren zum einfahren in den verkehrsfluss von autonomen fahrzeugen
DE102018121791A1 (de) Systeme und Verfahren zur Bestimmung des Vorhandenseins von Verkehrssteuerungspersonal und Verkehrsleitschildern
DE102018110153A1 (de) Systeme und verfahren zur hindernisvermeidung und wegplanung in autonomen fahrzeugen
DE102018117777A1 (de) Tief integrierte Fusionsarchitektur für automatisierte Fahrsysteme
DE102018121595A1 (de) Unbeaufsichtigtes anlernen von agenten für autonome fahranwendungen
DE102018122459A1 (de) Fernunterstützungsmodus eines fahrzeugs
DE102018121122A1 (de) Systeme und Verfahren zur Fahrzeugsignalleuchtenerfassung
DE102018112115A1 (de) Verfahren und Systeme zum Ermitteln der Geschwindigkeit von sich bewegenden Objekten
DE102018121597A1 (de) Boden-referenzbestimmung für den betrieb von autonomen fahrzeugen
DE102017130936A1 (de) Expertenmodus für Fahrzeuge
DE102018117429A1 (de) Klassifizierungsverfahren und -systeme
DE102018114600A1 (de) Systeme und verfahren zum reagieren auf einsatzfahrzeuge in einem autonomen fahrzeug
DE102018129101A1 (de) Aktiver verkehrsteilnehmer

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R082 Change of representative

Representative=s name: MANITZ FINSTERWALD PATENT- UND RECHTSANWALTSPA, DE

R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06K0009620000

Ipc: G06V0030190000