DE102018105693A1

DE102018105693A1 - Strassenbau-Erfassungssysteme und -Verfahren

Info

Publication number: DE102018105693A1
Application number: DE102018105693.1A
Authority: DE
Inventors: Clement Creusot
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2017-03-17
Filing date: 2018-03-12
Publication date: 2018-09-20
Also published as: CN108628206B; US20170242436A1; CN108628206A; US10282999B2

Abstract

Systeme und Verfahren werden zum Steuern eines Fahrzeugs bereitgestellt. In einer Ausführungsform beinhaltet ein Verfahren zum Erfassen einer Straßenbaustelle das Empfangen von Sensordaten in Bezug auf eine mit einem Fahrzeug assoziierte Umgebung, das Ermitteln, basierend auf den Sensordaten, dass baustellenbezogene Objekte in der Umgebung vorhanden sind, und das Ermitteln, ob ein die Reise beeinträchtigender Baustellenbereich in der Umgebung vorhanden ist, basierend auf dem Vorhandensein der baustellenbezogenen Objekte in der Umgebung.

Description

TECHNISCHES GEBIET
Die vorliegende Offenbarung bezieht sich im Allgemeinen auf autonome Fahrzeuge und insbesondere auf Systeme und Verfahren für die Erfassung und Berücksichtigung einer Straßenbaustelle entlang einer Strecke in einem autonomen Fahrzeug.
HINTERGRUND
Ein autonomes Fahrzeug ist ein Fahrzeug, das in der Lage ist, seine Umgebung zu erfassen und mit geringfügiger oder gar keiner Benutzereingabe zu navigieren. Dies geschieht durch den Einsatz von Sensoren, wie beispielsweise Radar, Lidar, Bildsensoren und dergleichen. Autonome Fahrzeuge nutzen weiterhin Informationen von globalen Positioniersystemen (GPS), Navigationssystemen, Fahrzeug-Fahrzeug-Kommunikationen, Fahrzeug-Infrastruktur-Technologien und/oder drahtgesteuerten Systemen, um das Fahrzeug zu navigieren.
Während in den letzten Jahren signifikante Fortschritte bei Navigationssystemen zu verzeichnen waren, könnten solche Systeme in mehrfacher Hinsicht noch verbessert werden. So stoßen beispielsweise autonome Fahrzeuge auf einer Strecke zu einem geplanten Bestimmungsort oft auf bisher unbekannte Straßenbaustellenbereiche. Dies kann sowohl für den Fahrer als auch für das Navigationssystem unbequem sein, da es dann eine alternative Strecke zu dem Bestimmungsort ermitteln muss. Darüber hinaus sind die derzeitigen Systeme in der Regel nicht in der Lage, andere Fahrzeuge und Benutzer über den angetroffenen Baustellenbereich zu benachrichtigen.
Dementsprechend ist es wünschenswert, Systeme und Verfahren bereitzustellen, die in der Lage sind, das Vorhandensein von Straßenbaustellen entlang einer Strecke zu erfassen und zu berücksichtigen. Ferner werden andere wünschenswerte Funktionen und Merkmale der vorliegenden Erfindung aus der nachfolgenden ausführlichen Beschreibung und den beigefügten Ansprüchen, in Verbindung mit den beigefügten Zeichnungen, sowie mit dem vorangehenden technischen Gebiet und Hintergrund ersichtlich offensichtlich.
KURZDARSTELLUNG
Es werden Systeme und Verfahren zur Steuerung eines ersten Fahrzeugs vorgesehen. In einer Ausführungsform beinhaltet ein Verfahren zum Erfassen einer Straßenbaustelle das Empfangen von Sensordaten in Bezug auf eine mit einem Fahrzeug assoziierte Umgebung, das Ermitteln, basierend auf den Sensordaten, dass baustellenbezogene Objekte in der Umgebung vorhanden sind, und das Ermitteln, ob ein die Reise beeinträchtigender Baustellenbereich in der Umgebung vorhanden ist, basierend auf dem Vorhandensein der baustellenbezogenen Objekte in der Umgebung.
In einer Ausführungsform beinhaltet ein System zum Steuern eines Fahrzeugs ein baustellenbezogenes Objektmodul, das einen Prozessor enthält, der für den Empfang von Sensordaten in Bezug auf eine mit dem Fahrzeug assoziierte Umgebung konfiguriert ist, und basierend auf den Sensordaten zu ermitteln, dass baustellenbezogene Objekte in der Umgebung vorhanden sind. Das System beinhaltet ferner ein Baustellenbereich-Bestimmungsmodul, das so konfiguriert ist, dass es basierend auf dem Vorhandensein der baustellenbezogenen Objekte in der Umgebung ermittelt, ob ein die Reise beeinträchtigender Baustellenbereich in der Umgebung vorhanden ist.
Figurenliste
Die exemplarischen Ausführungsformen werden nachfolgend in Verbindung mit den folgenden Zeichnungen beschrieben, worin gleiche Bezugszeichen gleiche Elemente bezeichnen, und worin gilt:

1 ist ein Funktionsblockdiagramm, das ein autonomes Fahrzeug mit einem Straßenbau-Erfassungssystem gemäß verschiedenen Ausführungsformen darstellt;
2 ist ein Funktionsblockdiagramm, das ein Transportsystem mit einem oder mehreren autonomen Fahrzeugen aus 1 gemäß verschiedenen Ausführungsformen veranschaulicht;
3 ist ein Funktionsblockdiagramm, das ein autonomes Antriebssystem (ADS) in Verbindung mit einem autonomen Fahrzeug gemäß verschiedenen Ausführungsformen veranschaulicht;
4 ist eine konzeptionelle Draufsicht eines Fahrbahn- und Baustellenbereichs gemäß verschiedenen Ausführungsformen;
5 zeigt exemplarische baustellenbezogene Objekte und Indizes, die sich auf einen die Reise beeinträchtigenden Baustellenbereich beziehen, gemäß verschiedenen Ausführungsformen;
6 ist ein Datenflussdiagramm, das ein Baustellen-Erfassungssystem des autonomen Fahrzeugs gemäß verschiedenen Ausführungsformen darstellt; und
7 ist ein Ablaufdiagramm, das ein Steuerverfahren zum Steuern des autonomen Fahrzeugs gemäß verschiedenen Ausführungsformen darstellt;
8 ist ein Blockdiagramm eines exemplarischen konvolutionellen neuralen Netzwerks gemäß verschiedenen Ausführungsformen.

AUSFÜHRLICHE BESCHREIBUNG
Die folgende ausführliche Beschreibung dient lediglich als Beispiel und soll die Anwendung und Verwendung in keiner Weise einschränken. Weiterhin besteht keine Absicht, im vorstehenden technischen Bereich, Hintergrund, der Kurzzusammenfassung oder der folgenden detaillierten Beschreibung, an eine ausdrücklich oder implizit vorgestellte Theorie gebunden zu sein. Der hierin verwendete Begriff „Modul“ bezieht sich auf alle Hardware-, Software-, Firmwareprodukte, elektronische Steuerkomponenten, Verarbeitungslogik und/oder Prozessorgeräte, einzeln oder in allen Kombinationen, unter anderem beinhaltend, eine anwendungsspezifische integrierte Schaltung (ASIC), ein feldprogrammierbares Gate-Array (FPGA), eine elektronische Schaltung, einen Prozessor (gemeinsam genutzt, dediziert oder Gruppenprozessor) und einen Speicher, der ein oder mehrere Software- oder Firmwareprogramme, eine kombinatorische Logikschaltung und/oder andere geeignete Komponenten ausführt, welche die beschriebene Funktionalität bieten.
Ausführungen der vorliegenden Offenbarung können hierin als funktionale und/oder logische Blockkomponenten und verschiedene Verarbeitungsschritte beschrieben sein. Es ist zu beachten, dass derartige Blockkomponenten aus einer beliebigen Anzahl an Hardware-, Software- und/oder Firmware-Komponenten aufgebaut sein können, die zur Ausführung der erforderlichen Funktionen konfiguriert sind. Zum Beispiel kann eine Ausführungsform der vorliegenden Offenbarung eines Systems oder einer Komponente verschiedene integrierte Schaltungskomponenten, beispielsweise Speicherelemente, digitale Signalverarbeitungselemente, Logikelemente, Wertetabellen oder dergleichen, einsetzen, die mehrere Funktionen unter der Steuerung eines oder mehrerer Mikroprozessoren oder anderer Steuervorrichtungen durchführen können. Zudem werden Fachleute auf dem Gebiet erkennen, dass die exemplarischen Ausführungsformen der vorliegenden Offenbarung in Verbindung mit einer beliebigen Anzahl an Systemen eingesetzt werden können, und dass das hierin beschriebene System lediglich eine exemplarische Ausführungsform der vorliegenden Offenbarung darstellt.
Der Kürze halber können konventionelle Techniken in Verbindung mit der Signalverarbeitung, Datenübertragung, Signalgebung, Steuerung, maschinellen Lernen, Bildanalyse und weiteren funktionalen Aspekten der Systeme (und den einzelnen Bedienkomponenten der Systeme) hierin nicht im Detail beschrieben werden. Weiterhin sollen die in den verschiedenen Figuren dargestellten Verbindungslinien exemplarische Funktionsbeziehungen und/oder physikalische Verbindungen zwischen den verschiedenen Elementen darstellen. Es sollte beachtet werden, dass viele alternative oder zusätzliche funktionale Beziehungen oder physikalische Verbindungen in einer Ausführungsform der vorliegenden Offenbarung vorhanden sein können.
Mit Bezugnahme auf 1 ist ein bei 100 allgemein dargestelltes Straßenbau-Erfassungssystem mit einem Fahrzeug 10 gemäß verschiedenen Ausführungsformen assoziiert. Im Allgemeinen erfasst das Straßenbau-Erfassungssystem (oder einfach „System“) 100 das Vorhandensein einer Straßenbaustelle entlang einer Route, stellt eine alternative Strecke für den Benutzer bereit und aktualisiert eine Streckendatenbank, um widerzuspiegeln, dass ein oder mehrere Straßensegmente entlang der Strecke nicht verfügbar sind.
Wie in 1 dargestellt, beinhaltet das Fahrzeug 10 im Allgemeinen ein Fahrgestell 12, eine Karosserie 14, Vorderräder 16 und Hinterräder 18. Die Karosserie 14 ist auf dem Fahrgestell 12 angeordnet und umhüllt im Wesentlichen die anderen Komponenten des Fahrzeugs 10. Die Karosserie 14 und das Fahrgestell 12 können gemeinsam einen Rahmen bilden. Die Räder 16-18 sind jeweils mit dem Fahrgestell 12 in der Nähe einer jeweiligen Ecke der Karosserie 14 drehbar gekoppelt.
In verschiedenen Ausführungsformen ist das Fahrzeug 10 ein autonomes Fahrzeug und das Straßenbau-Erfassungssystem 100 ist in das autonome Fahrzeug 10 (nachfolgend als das autonome Fahrzeug 10 bezeichnet) integriert. Das autonome Fahrzeug 10 ist beispielsweise ein Fahrzeug, das automatisch gesteuert wird, um Passagiere von einem Ort zum anderen zu befördern. Das Fahrzeug 10 ist in der veranschaulichten Ausführungsform als Pkw dargestellt, es sollte jedoch beachtet werden, dass auch jedes andere Fahrzeug einschließlich Motorräder, Lastwagen, Sportfahrzeuge (SUVs), Freizeitfahrzeuge (RVs), Schiffe, Flugzeuge usw. verwendet werden können.
In einer exemplarischen Ausführungsform entspricht das autonome Fahrzeug 10 einem Automatisierungssystem des Levels vier oder Levels fünf gemäß der Standardtaxonomie automatisierter Fahrlevels der Society of Automotive Engineers (SAE) „J3016“. Mit dieser Terminologie bezeichnet ein Level-Vier-System eine „hohe Automatisierung“ unter Bezugnahme auf einen Fahrmodus, bei dem das automatisierte Fahrsystem alle Aspekte der dynamischen Fahraufgabe übernimmt, selbst wenn ein menschlicher Fahrer nicht angemessen auf eine Aufforderung zum Eingreifen reagiert. Ein Level-Fünf-System hingegen zeigt eine „Vollautomatisierung“ und bezeichnet einen Fahrmodus, bei dem das automatisierte Fahrsystem alle Aspekte der dynamischen Fahraufgabe unter allen Fahrbahn- und Umweltbedingungen erfüllt, die ein menschlicher Fahrer bewältigen kann. Es versteht sich, dass die Ausführungsformen gemäß der vorliegenden Thematik nicht auf eine bestimmte Taxonomie oder Rubrik der Automatisierungskategorien beschränkt sind. Darüber hinaus können Straßenbau-Erkennungssysteme gemäß der vorliegenden Ausführungsform in Verbindung mit jedem autonomen Fahrzeug verwendet werden, das ein Navigationssystem zur Streckenführung verwendet.
Wie dargestellt, beinhaltet das autonome Fahrzeug 10 im Allgemeinen ein Antriebssystem 20, ein Übertragungssystem 22, ein Lenksystem 24, ein Bremssystem 26, ein Sensorsystem 28, ein Stellantriebsystem 30, mindestens einen Datenspeicher 32, mindestens eine Steuerung 34 und ein Kommunikationssystem 36. Das Antriebssystem 20 kann in verschiedenen Ausführungsformen einen Verbrennungsmotor, eine elektrische Maschine, wie beispielsweise einen Traktionsmotor und/oder ein Brennstoffzellenantriebssystem, beinhalten. Das Übertragungssystem 22 ist dazu konfiguriert, Leistung vom Antriebssystem 20 auf die Fahrzeugräder 16 und 18 gemäß den wählbaren Übersetzungsverhältnissen zu übertragen. Gemäß verschiedenen Ausführungsformen kann das Getriebesystem 22 ein Stufenverhältnis-Automatikgetriebe, ein stufenlos verstellbares Getriebe oder ein anderes geeignetes Getriebe beinhalten.
Das Bremssystem 26 ist dazu konfiguriert, den Fahrzeugrädern 16 und 18 ein Bremsmoment bereitzustellen. Das Bremssystem 26 kann in verschiedenen Ausführungsformen Reibungsbremsen, Bake-by-Wire, ein regeneratives Bremssystem, wie beispielsweise eine elektrische Maschine und/oder andere geeignete Bremssysteme, beinhalten.
Das Lenksystem 24 beeinflusst eine Position der Fahrzeugräder 16 und/oder 18. Während in einigen Ausführungsformen innerhalb des Umfangs der vorliegenden Offenbarung zur Veranschaulichung als ein Lenkrad 25 dargestellt, kann das Lenksystem 24 kein Lenkrad beinhalten.
Das Sensorsystem 28 beinhaltet eine oder mehrere Sensorvorrichtungen 40a-40n, die beobachtbare Zustände der äußeren Umgebung und/oder der inneren Umgebung des autonomen Fahrzeugs 10 erfassen. Die Abtastvorrichtungen 40a-40n können Radargeräte, Lidare, globale Positionierungssysteme, optische Kameras, Wärmebildkameras, Ultraschallsensoren und/oder andere Sensoren beinhalten, sind aber nicht darauf beschränkt. Das Stellgliedsystem 30 beinhaltet ein oder mehrere Stellgliedvorrichtungen 42a-42n, die ein oder mehrere Fahrzeugeigenschaften, wie zum Beispiel das Antriebssystem 20, das Getriebesystem 22, das Lenksystem 24 und das Bremssystem 26, steuern, sind aber nicht darauf beschränkt. In verschiedenen Ausführungsformen kann das autonome Fahrzeug 10 auch Fahrzeug-Innen- und/oder Außenausstattungen beinhalten, die nicht in 1 dargestellt sind, wie beispielsweise verschiedene Türen, Kofferraum- und Kabinenausstattungen, wie Luft, Musik, Beleuchtung, Touchscreen-Display-Komponenten (wie sie in Verbindung mit Navigationssystemen verwendet werden) und dergleichen.
Die Datenspeichervorrichtung 32 speichert Daten zur Verwendung beim automatischen Steuern des autonomen Fahrzeugs 10. In verschiedenen Ausführungsformen speichert das Datenspeichergerät 32 definierte Landkarten der navigierbaren Umgebung. In verschiedenen Ausführungsformen werden die definierten Landkarten vordefiniert und von einem entfernten System (in weiteren Einzelheiten in Bezug auf 2 beschrieben) erhalten. So können beispielsweise die definierten Landkarten durch das entfernte System zusammengesetzt und dem autonomen Fahrzeug 10 (drahtlos und/oder drahtgebunden) mitgeteilt und in der Datenspeichervorrichtung 32 gespeichert werden. Routeninformationen können auch in der Datenvorrichtung 32 gespeichert werden - d. h. in einer Reihe von Straßenabschnitten (die geografisch mit einer oder mehreren der definierten Karten verknüpft sind), die zusammen eine Route definieren, die der Benutzer von einem Startort (z. B. dem aktuellen Standort des Benutzers) zu einem Zielort zurücklegen kann. Wie ersichtlich ist, kann die Datenspeichervorrichtung 32 ein Teil der Steuerung 34, von der Steuerung 34 getrennt, oder ein Teil der Steuerung 34 und Teil eines separaten Systems sein.
Die Steuerung 34 beinhaltet mindestens einen Prozessor 44 und eine computerlesbare Speichervorrichtung oder Medien 46. Der Prozessor 44 kann eine Spezialanfertigung oder ein handelsüblicher Prozessor sein, eine Zentraleinheit (CPU), eine Grafikprozessoreinheit (GPU) unter mehreren Prozessoren verbunden mit der Steuerung 34, ein Mikroprozessor auf Halbleiterbasis (in Form eines Mikrochips oder Chip-Satzes) eine Kombination derselben oder allgemein jede beliebige Vorrichtung zur Ausführung von Anweisungen. Die computerlesbare Speichervorrichtung oder Medien 46 können flüchtige und nicht-flüchtige Speicher in einem Nur-Lese-Speicher (ROM), einem Speicher mit direktem Zugriff (RAM) und einem Keep-Alive-Memory (KAM) beinhalten. KAM ist ein persistenter oder nichtflüchtiger Speicher, der verwendet werden kann, um verschiedene Betriebsvariablen zu speichern, während der Prozessor 44 ausgeschaltet ist. Die computerlesbare Speichervorrichtung oder Medien 46 können unter Verwendung einer beliebigen einer Anzahl an bekannten Speichervorrichtungen, wie beispielsweise PROMs (programmierbarer Nur-Lese-Speicher), EPROMs (elektrische PROM), EEPROMs (elektrisch löschbarer PROM), Flash-Speicher oder beliebige andere elektrischen, magnetischen, optischen oder kombinierten Speichervorrichtungen implementiert werden, die Daten speichern können, von denen einige ausführbare Anweisungen darstellen, die von der Steuerung 34 beim Steuern des autonomen Fahrzeugs 10 verwendet werden.
Die Anweisungen können ein oder mehrere separate Programme beinhalten, von denen jede eine geordnete Auflistung von ausführbaren Anweisungen zum Implementieren von logischen Funktionen umfasst. Die Anweisungen empfangen und verarbeiten, wenn diese vom Prozessor 44 ausgeführt werden, Signale vom Sensorsystem 28, führen Logik, Berechnungen, Verfahren und/oder Algorithmen zur automatischen Steuerung der Komponenten des autonomen Fahrzeugs 10 durch und erzeugen Steuersignale, die an das Stellgliedsystem 30 übertragen werden, um die Komponenten des autonomen Fahrzeugs 10 basierend auf der Logik, den Berechnungen, den Verfahren und/oder Algorithmen automatisch zu steuern. Obwohl in 1 nur eine Steuerung 34 dargestellt ist, können Ausführungsformen des autonomen Fahrzeugs 10 eine beliebige Anzahl an Steuerungen 34 beinhalten, die über ein geeignetes Kommunikationsmedium oder eine Kombination von Kommunikationsmedien kommunizieren und zusammenwirken, um die Sensorsignale zu verarbeiten, Logiken, Berechnungen, Verfahren und/oder Algorithmen durchzuführen, und Steuersignale zu erzeugen, um die Funktionen des autonomen Fahrzeugs 10 automatisch zu steuern. In einer Ausführungsform, wie unten im Detail erörtert, ist die Steuerung 34 dazu konfiguriert, eine Straßenbaustellen durch das Empfangen von Sensordaten in Bezug auf eine mit einem Fahrzeug assoziierte Umgebung, durch das Ermitteln, basierend auf den Sensordaten, dass baustellenbezogene Objekte in der Umgebung vorhanden sind, und durch das Ermitteln, ob ein die Reise beeinträchtigende Baustellenbereich in der Umgebung vorhanden ist, basierend auf dem Vorhandensein der baustellenbezogenen Objekte in der Umgebung, zu erfassen.
Das Kommunikationssystem 36 ist dazu konfiguriert, Informationen drahtlos an und von anderen Einheiten 48, wie beispielsweise, jedoch nicht beschränkt auf andere Fahrzeuge („V2V“-Kommunikation,) Infrastruktur („V2I“-Kommunikation), entfernte Transportsysteme und/oder Benutzervorrichtungen (in Bezug auf FIG. 2 näher beschrieben), zu übermitteln. In einer exemplarischen Ausführungsform ist das drahtlose Kommunikationssystem 36 dazu konfiguriert, über ein drahtloses lokales Netzwerk (WLAN) unter Verwendung des IEEE 802.11-Standards, über Bluetooth oder mittels einer mobilen Datenkommunikation zu kommunizieren. Im Geltungsbereich der vorliegenden Offenbarung werden jedoch auch zusätzliche oder alternative Kommunikationsverfahren, wie beispielsweise ein dedizierter Nahbereichskommunikations (DSRC)-kanal, berücksichtigt. DSRC-Kanäle beziehen sich auf Einweg- oder Zweiwege-Kurzstrecken- bis Mittelklasse-Funkkommunikationskanäle, die speziell für den Automobilbau und einen entsprechenden Satz von Protokollen und Standards entwickelt wurden.
Mit weiterem Bezug auf 2 in verschiedenen Ausführungsformen kann das autonome Fahrzeug 10, das mit Bezug auf 1 beschrieben ist, für den Einsatz im Rahmen eines Taxi- oder Shuttle-Unternehmens in einem bestimmten geografischen Gebiet (z. B. einer Stadt, einer Schule oder einem Geschäftscampus, einem Einkaufszentrum, einem Vergnügungspark, einem Veranstaltungszentrum oder dergleichen) geeignet sein. So kann beispielsweise das autonome Fahrzeug 10 einem autonomen fahrzeugbasierten Transportsystem zugeordnet sein. 2 veranschaulicht eine exemplarische Ausführungsform einer Betriebsumgebung, die im Allgemeinen bei 50 dargestellt ist und ein autonomes fahrzeugbasiertes Transportsystem (oder einfach „entferntes Transportsystem“) 52 beinhaltet, das, wie mit Bezug auf 1 beschrieben, einem oder mehreren autonomen Fahrzeugen 10a-10n zugeordnet ist. In verschiedenen Ausführungsformen beinhaltet die Betriebsumgebung 50 (die ganz oder teilweise den in 1 dargestellten Einheiten 48 entsprechen können) ferner eine oder mehrere Benutzervorrichtungen 54, die mit dem autonomen Fahrzeug 10 und/oder dem entfernten Transportsystem 52 über ein Kommunikationsnetzwerk 56 kommunizieren.
Das Kommunikationsnetzwerk 56 unterstützt die Kommunikation zwischen Geräten, Systemen und Komponenten, die von der Betriebsumgebung 50 unterstützt werden (z. B. über physische Kommunikationsverbindungen und/oder drahtlose Kommunikationsverbindungen). So kann beispielsweise das Kommunikationsnetzwerk 56 ein drahtloses Trägersystem 60 beinhalten, wie beispielsweise ein Mobiltelefonsystem, das eine Vielzahl von Mobilfunktürmen (nicht dargestellt), eine oder mehrere Mobilvermittlungsstellen (MSCs) (nicht dargestellt) sowie alle anderen Netzwerkkomponenten beinhalten, die zum Verbinden des drahtlosen Trägersystems 60 mit dem Festnetz erforderlich sind. Jeder Mobilfunkturm beinhaltet Sende- und Empfangsantennen und eine Basisstation, wobei die Basisstationen verschiedener Mobilfunktürme mit den MSC verbunden sind, entweder direkt oder über Zwischenvorrichtungen, wie beispielsweise eine Basisstationssteuerung. Das Drahtlosträgersystem 60 kann jede geeignete Kommunikationstechnologie implementieren, beispielsweise digitale Technologien, wie CDMA (z. B. CDMA2000), LTE (z. B. 4G LTE oder 5G LTE), GSM/GPRS oder andere aktuelle oder neu entstehende drahtlose Technologien. Andere Mobilfunkturm/Basisstation/MSC-Anordnungen sind möglich und könnten mit dem Mobilfunkanbietersystem 60 verwendet werden. So könnten sich beispielsweise die Basisstation und der Mobilfunkturm an derselben Stelle oder entfernt voneinander befinden, jede Basisstation könnte für einen einzelnen Mobilfunkturm zuständig sein oder eine einzelne Basisstation könnte verschiedene Mobilfunktürme bedienen, oder verschiedene Basisstationen könnten mit einer einzigen MSC gekoppelt werden, um nur einige der möglichen Anordnungen zu nennen.
Abgesehen vom Verwenden des drahtlosen Trägersystems 60 kann ein zweites drahtloses Trägersystem in Form eines Satellitenkommunikationssystems 64 verwendet werden, um unidirektionale oder bidirektionale Kommunikation mit dem autonomen Fahrzeug 10a-10n bereitzustellen. Dies kann unter Verwendung von einem oder mehreren Kommunikationssatelliten (nicht dargestellt) und einer aufwärts gerichteten Sendestation (nicht dargestellt) erfolgen. Die unidirektionale Kommunikation kann beispielsweise Satellitenradiodienste beinhalten, worin programmierte Inhaltsdaten (Nachrichten, Musik usw.) von der Sendestation empfangen werden, für das Hochladen gepackt und anschließend zum Satelliten gesendet werden, der die Programmierung an die Teilnehmer ausstrahlt. Die bidirektionale Kommunikation kann beispielsweise Satellitentelefondienste beinhalten, die den Satelliten verwenden, um Telefonkommunikationen zwischen dem Fahrzeug 10 und der Station weiterzugeben. Die Satellitentelefonie kann entweder zusätzlich oder anstelle des Mobilfunkanbietersystems 60 verwendet werden.
Ein Festnetz-Kommunikationssystem 62 kann ein konventionelles Festnetz-Telekommunikationsnetzwerk beinhalten, das mit einem oder mehreren Festnetztelefonen verbunden ist und das drahtlose Trägersystem 60 mit dem entfernten Transportsystem 52 verbindet. So kann beispielsweise das Festnetz-Kommunikationssystem 62 ein Fernsprechnetz (PSTN) wie jenes sein, das verwendet wird, um festverdrahtetes Fernsprechen, paketvermittelte Datenkommunikationen und die Internetinfrastruktur bereitzustellen. Ein oder mehrere Segmente des Festnetz-Kommunikationssystems 62 könnten durch Verwenden eines normalen drahtgebundenen Netzwerks, eines Lichtleiter- oder eines anderen optischen Netzwerks, eines Kabelnetzes, von Stromleitungen, anderen drahtlosen Netzwerken, wie drahtlose lokale Netzwerke (WLANs) oder Netzwerke, die drahtlosen Breitbandzugang (BWA) bereitstellen oder jeder Kombination davon implementiert sein. Weiterhin muss das entfernte Transportsystem 52 nicht über das Festnetz-Kommunikationssystem 62 verbunden sein, sondern könnte Funktelefonausrüstung beinhalten, sodass sie direkt mit einem drahtlosen Netzwerk, wie z. B. dem drahtlosen Trägersystem 60, kommunizieren kann.
Obwohl in 2 nur eine Benutzervorrichtung 54 dargestellt ist, können Ausführungsformen der Betriebsumgebung 50 eine beliebige Anzahl an Benutzervorrichtungen 54, einschließlich mehrerer Benutzervorrichtungen 54 unterstützen, die das Eigentum einer Person sind, von dieser bedient oder anderweitig verwendet werden. Jede Benutzervorrichtung 54, die von der Betriebsumgebung 50 unterstützt wird, kann unter Verwendung einer geeigneten Hardwareplattform implementiert werden. In dieser Hinsicht kann die Benutzervorrichtung 54 in einem gemeinsamen Formfaktor realisiert werden, darunter auch in: einen Desktop-Computer; einem mobilen Computer (z. B. einem Tablet-Computer, einem Laptop-Computer oder einem Netbook-Computer); einem Smartphone; einem Videospielgerät; einem digitalen Media-Player; eine Komponente eines Heimunterhaltungsgeräts; einer Digitalkamera oder Videokamera; einem tragbaren Computergerät (z. B. einer Smart-Uhr, Smart-Brille, Smart-Kleidung); oder dergleichen. Jede von der Betriebsumgebung 50 unterstützte Benutzervorrichtung 54 ist als computerimplementiertes oder computergestütztes Gerät mit der Hardware-, Software-, Firmware- und/oder Verarbeitungslogik realisiert, die für die Durchführung der hier beschriebenen verschiedenen Techniken und Verfahren erforderlich ist. So beinhaltet beispielsweise die Benutzervorrichtung 54 einen Mikroprozessor in Form einer programmierbaren Vorrichtung, die eine oder mehrere in einer internen Speicherstruktur gespeicherte Anweisungen beinhaltet und angewendet wird, um binäre Eingaben zu empfangen und binäre Ausgaben zu erzeugen. In einigen Ausführungsformen beinhaltet die Benutzervorrichtung 54 ein GPS-Modul, das GPS-Satellitensignale empfangen und GPS-Koordinaten basierend auf diesen Signalen erzeugen kann. In weiteren Ausführungsformen beinhaltet die Benutzervorrichtung 54 eine Mobilfunk-Kommunikationsfunktionalität, sodass die Vorrichtung Sprach- und/oder Datenkommunikationen über das Kommunikationsnetzwerk 56 unter Verwendung eines oder mehrerer Mobilfunk-Kommunikationsprotokolle durchführt, wie hierin erläutert. In verschiedenen Ausführungsformen beinhaltet die Benutzervorrichtung 54 eine visuelle Anzeige, wie zum Beispiel ein grafisches Touchscreen-Display oder eine andere Anzeige.
Das entfernte Transportsystem 52 beinhaltet ein oder mehrere Backend-Serversysteme, nicht dargestellt), die an dem speziellen Campus oder dem geografischen Standort, der vom Transportsystem 52 bedient wird, Cloud-basiert, netzwerkbasiert oder resident sein können. Das entfernte Transportsystem 52 kann mit einem Live-Berater, einem automatisierten Berater, einem System der künstlichen Intelligenz oder einer Kombination davon besetzt sein. Das entfernte Transportsystem 52 kann mit den Benutzervorrichtungen 54 und den autonomen Fahrzeugen 10a-10n kommunizieren, um Fahrten zu planen, autonome Fahrzeuge 10a-10n zu versetzen und dergleichen. In verschiedenen Ausführungsformen speichert das entfernte Transportsystem 52 Kontoinformationen, wie zum Beispiel Teilnehmerauthentisierungsdaten, Fahrzeugkennzeichen, Profilaufzeichnungen, biometrische Daten, Verhaltensmuster und andere entsprechende Teilnehmerinformationen. In einer Ausführungsform, wie nachfolgend näher beschrieben, beinhaltet das Ferntransportsystem 52 eine Streckendatenbank 53, die Informationen in Bezug auf Navigationssystemstrecken speichert, einschließlich, ob und in welchem Ausmaß bestimmte Streckensegmente durch Baustellenbereiche beeinflusst werden, die von einem oder mehreren autonomen Fahrzeugen 10a-10n erfasst wurden.
Gemäß einem typischen Anwendungsfall-Arbeitsablauf kann ein registrierter Benutzer des entfernten Transportsystems 52 über die Benutzervorrichtung 54 eine Fahrtanforderung erstellen. Die Fahrtanforderung gibt typischerweise den gewünschten Abholort des Fahrgastes (oder den aktuellen GPS-Standort), den gewünschten Zielort (der einen vordefinierten Fahrzeugstopp und/oder ein benutzerdefiniertes Passagierziel identifizieren kann) und eine Abholzeit an. Das entfernte Transportsystem 52 empfängt die Fahrtanforderung, verarbeitet die Anforderung und sendet ein ausgewähltes der autonomen Fahrzeuge 10a-10n (wenn und sofern verfügbar), um den Passagier an dem vorgesehenen Abholort und zu gegebener Zeit abzuholen. Das Transportsystem 52 kann zudem eine entsprechend konfigurierte Bestätigungsnachricht oder Benachrichtigung an die Benutzervorrichtung 54 erzeugen und senden, um den Passagier zu benachrichtigen, dass ein Fahrzeug unterwegs ist.
Wie ersichtlich, bietet der hierin offenbarte Gegenstand bestimmte verbesserte Eigenschaften und Funktionen für das, was als ein standardmäßiges oder Basislinien autonomes Fahrzeug 10 und/oder ein autonomes fahrzeugbasiertes Transportsystem 52 betrachtet werden kann. Zu diesem Zweck kann ein autonomes fahrzeugbasiertes Transportsystem modifiziert, erweitert oder anderweitig ergänzt werden, um die nachfolgend näher beschriebenen zusätzlichen Funktionen bereitzustellen.
Gemäß verschiedener Ausführungsformen realisiert die Steuerung 34 ein autonomes Antriebssystem (ADS) 70, wie in 3 dargestellt. Das heißt, dass geeignete Soft- und/oder Hardwarekomponenten der Steuerung 34 (z. B. der Prozessor 44 und das computerlesbare Speichermedium 46) verwendet werden, um ein autonomes Antriebssystem 70 bereitzustellen, das in Verbindung mit dem Fahrzeug 10 verwendet wird.
In verschiedenen Ausführungsformen können die Anweisungen des autonomen Antriebssystems 70 je nach Funktion oder System gegliedert sein. Das autonome Antriebssystem 70 kann beispielsweise, wie in 3 dargestellt, ein Sensorfusionssystem 74, ein Positioniersystem 76, ein Lenksystem 78 und ein Fahrzeugsteuerungssystem 80 beinhalten. Wie ersichtlich ist, können die Anweisungen in verschiedenen Ausführungsformen in beliebig viele Systeme (z. B. kombiniert, weiter unterteilt usw.) gegliedert werden, da die Offenbarung nicht auf die vorliegenden Beispiele beschränkt ist.
In verschiedenen Ausführungsformen synthetisiert und verarbeitet das Sensorfusionssystem 74 Sensordaten und prognostiziert Anwesenheit, Lage, Klassifizierung und/oder Verlauf von Objekten und Merkmalen der Umgebung des Fahrzeugs 10. In verschiedenen Ausführungen kann das Sensorfusionssystem 74 Informationen von mehreren Sensoren beinhalten, einschließlich, aber nicht beschränkt auf Kameras, Lidars, Radars und/oder eine beliebige Anzahl anderer Arten von Sensoren.
Das Positionierungssystem 76 verarbeitet Sensordaten zusammen mit anderen Daten, um eine Position (z. B. eine lokale Position in Bezug auf eine Karte, eine exakte Position in Bezug auf die Fahrspur einer Straße, Fahrzeugrichtung, Geschwindigkeit usw.) des Fahrzeugs 10 in Bezug auf die Umgebung zu ermitteln. Das Leitsystem 78 verarbeitet Sensordaten zusammen mit anderen Daten, um eine Strecke zu ermitteln, dem das Fahrzeug 10 folgen soll. Das Fahrzeugsteuerungssystem 80 erzeugt Steuersignale zum Steuern des Fahrzeugs 10 entsprechend der ermittelten Strecke.
In verschiedenen Ausführungsformen implementiert die Steuerung 34 maschinelle Lerntechniken, um die Funktionalität der Steuerung 34 zu unterstützen, wie z. B. Merkmalerkennung/Klassifizierung, Hindernisminderung, Routenüberquerung, Kartierung, Sensorintegration, Boden-Wahrheitsbestimmung und dergleichen.
Wie oben kurz erwähnt wurde, erfasst das Straßenbau-Erfassungssystem 100 von 1 das Vorhandensein einer Straßenbaustelle entlang einer Route, stellt eine alternative Strecke für den Benutzer bereit und aktualisiert eine Streckendatenbank, um widerzuspiegeln, dass ein oder mehrere Straßensegmente entlang der Strecke nicht verfügbar sind. In dieser Hinsicht ist 4 eine von oben nach unten gerichtete konzeptionelle Ansicht eines Straßen- und Baustellenbereichs, die zum Beschreiben verschiedener Ausführungsformen nützlich ist, die in Verbindung mit dem ADS 70 von 3 verwendet werden könnten. 5 veranschaulicht exemplarische baustellenbezogene Objekte und Angaben, die sich auf einen die Reise beeinträchtigenden Baustellenbereich gemäß verschiedenen Ausführungsformen beziehen, und 6 ist ein Datenflussdiagramm, das verschiedene Ausführungsformen des Straßenbaustellen-Erfassungssystem 100 veranschaulicht, das in den Steuerung 34 eingebettet sein kann.
Bezugnehmend auf 6 beinhaltet ein exemplarisches Straßenbausystem im Allgemeinen ein baustellenbezogenes Objekterkennungsmodul 320, das Sensordaten 302 in Bezug auf die Fahrzeugumgebung (z. B. Kamerabilder, Lidardaten oder andere Sensordaten, die von den Sensoren 28 empfangen werden) empfängt und als Ausgabe eine Angabe über das Vorhandensein von baustellenbezogenen Objekten in der Umgebung aufweist (dargestellt als ein Satz von Ausgängen 303). Das Baustellenbereich-Bestimmungsmodul 330 nimmt dann diese Ausgaben 303 (z. B. Informationen hinsichtlich der Anzahl und der Arten von beobachteten baustellenbezogenen Objekten) und erzeugt eine Ausgabe 304, die angibt, ob ein die Reise beeinträchtigender Baustellenbereich vorhanden ist. Diesbezüglich versteht es sich, dass verschiedene Ausführungsformen des Systems 100 gemäß der vorliegenden Offenbarung eine beliebige Anzahl an in die Steuerung 34 integrierten Untermodulen beinhalten können. Wie zu erkennen ist, können die in 6 dargestellten Untermodule miteinander kombiniert und/oder weiter unterteilt werden, um Straßenbaustellen in ähnlicher Weise zu erfassen. Eingaben in das System 100 können vom Sensorsystem 28 empfangen werden, die von anderen Steuermodulen (nicht dargestellt) empfangen werden, die dem autonomen Fahrzeug 10 zugeordnet sind, die vom Kommunikationssystem 36 empfangen werden und/oder von anderen Untermodulen (nicht dargestellt), die innerhalb der Steuerung 34 von 1 ermittelt/modelliert werden.
4 und 5 zeigen Beispiele, die zum Verständnis der Funktionsweise des in 6 gezeigten Systems hilfreich sind. Bezugnehmend auf 4 ist ein Fahrzeug 10 so dargestellt, dass es entlang einer Straße 211 fährt (d. h. in der Figur nach rechts). Dargestellt sind auch die Straßen 212 und 213 sowie drei (durch ein Navigationssystem definierte und beispielsweise in der Datenbank 53 gespeicherte) Streckensegmente 221, 222 und 223, die jeweils den Fahrbahnen 211, 212 und 213 entsprechen. In diesem Beispiel wird angenommen, dass Streckeninformationen, die einem Bestimmungsort (nicht dargestellt) zugeordnet sind, Streckensegmente 221 und 223 beinhalten, d. h. der geplante Weg des Fahrzeugs 10 beinhaltet ursprünglich ein Abbiegen nach links an der bevorstehenden Kreuzung, anstatt gerade zum Straßensegment 222 weiterzufahren (Straße 212).
Wie jedoch in 4 veranschaulicht, ist ein Straßenbaustellenbereich 200 entlang der beabsichtigten Strecke vorhanden. Gemäß verschiedenen Ausführungsformen und wie nachstehend ausführlicher beschrieben, ermittelt das Straßenbau-Erfassungssystem 100 (z. B. das baustellenbezogene Objekterkennungsmodul 320) das Vorhandensein von baustellenbezogenen Objekten 270 (Ausgaben 303 in 6) in der Umgebung. Als nächstes wird eine Bestimmung (z. B. über das Baustellenbereich-Bestimmungsmodul 330) vorgenommen, ob der Baustellenbereich 200 von dem Typ ist, der die Bewegung des Fahrzeugs 10 entlang seiner beabsichtigten Strecke beeinflussen könnte (beispielsweise basierend auf der Anzahl und den Arten der baustellenbezogenen Objekte 270 innerhalb des Baustellenbereichs 200). Das Ergebnis dieser Bestimmung ist in 6 als Ausgabe 304 gezeigt.
Wenn ermittelt wird, dass der Baustellenbereich 200 wahrscheinlich die Fahrt des Fahrzeugs 10 beeinflusst, beziehen sich Informationen bezüglich des Baustellenbereichs 200 auf einen externen Server (z. B. Datenbank 53), der dann dem Fahrzeug 10 Informationen bezüglich einer Ausweichstrecke bereitstellt. In der veranschaulichten Ausführungsform könnte die alternative Strecke zum Beispiel das Ersetzen des Streckensegments 223 durch das Streckensegment 222 beinhalten, um den gewünschten Bestimmungsort (nicht dargestellt) zu erreichen, wodurch der die Reise beeinträchtigende Baustellenbereich 200 vermieden wird.
5 zeigt nur einige Beispiele von möglichen baustellenbezogenen Objekten 270, die durch das Modul 320 basierend auf Sensordaten 302 ermittelt werden könnten, einschließlich: einem oder mehreren Pylone 274; eine oder mehrere Leitwände 273; eine oder mehrere Verkehrstonnen 272; Beschilderungen, die typischerweise mit dem Bau verbunden sind, wie beispielsweise ein vorübergehendes Baustellenzeichen 276 oder ein von Hand gehaltenes Schild „Langsam“ 277; ein Helm 279 und/oder eine reflektierende Weste 278, wie sie von einem Bauarbeiter getragen werden könnten; Straßenbaumaschinen 275; und/oder einen oder mehrere Anhänger mit Pfeilanzeigen 271. Es versteht sich, dass die in 5 dargestellten Objekte Artefakte, Text, grafischen Merkmale und Ikonografien nicht einschränkend sein sollen. Basierend auf dem Kontext (z. B. dem Land, in dem das Fahrzeug 10 betrieben wird) kann die Art der baustellenbezogenen Objekte 270 variieren.
Unter jetziger Bezugnahme auf FIG: 7 und fortgesetzter Bezugnahme auf 1-6, veranschaulicht ein Ablaufdiagramm ein Steuerverfahren 700 dar, das von dem System 100 von 6 gemäß der vorliegenden Offenbarung ausgeführt werden kann. Wie aus der Offenbarung ersichtlich, ist die Abfolge der Vorgänge innerhalb des Verfahrens nicht auf die in 7, dargestellte sequenzielle Abarbeitung beschränkt, sondern kann, soweit zutreffend, in einer oder mehreren unterschiedlichen Reihenfolgen gemäß der vorliegenden Offenbarung durchgeführt werden. In verschiedenen Ausführungsformen kann das Verfahren 700 basierend auf einem oder mehreren vordefinierten Ereignissen zur Ausführung geplant werden und/oder kontinuierlich während des Betriebs des autonomen Fahrzeugs 10 ausgeführt werden.
In verschiedenen Ausführungsformen kann das Verfahren bei 701 beginnen, in dem das baustellenbezogene Objekterkennungsmodul 320 geeignet trainiert wird. Dieses Training kann über eine Vielzahl von beaufsichtigten oder unbeaufsichtigten maschinellen Lerntechniken durchgeführt werden. In verschiedenen Ausführungsformen implementiert das Modul 320 ein künstliches neuronales Netzwerk (ANN), das über überwachtes Lernen trainiert wird, indem es mit einem Trainingssatz präsentiert wird, der eine Anzahl an Bildern bekannter baustellenbezogener Objekte beinhaltet. In einer Ausführungsform implementiert das Modul 320 ein konvolutionelles neuronales Netzwerk (CNN), wie es im Folgenden in Verbindung mit 8 ausführlicher beschrieben wird.
Mit fortgesetzter Bezugnahme auf 7 empfängt das Fahrzeug 10 während eines normalen Betriebs Streckeninformationen, die mit einem Bestimmungsort (702) verbunden sind. Dies kann automatisch oder in Reaktion auf eine Anfrage von einem Benutzer durchgeführt werden. Im Allgemeinen enthält die Streckeninformation eine geordnete Liste von Streckensegmenten (wie zum Beispiel die Segmente 221 und 223 in 4).
Wie oben ausgeführt, empfängt das Fahrzeug 10 auch (bei 703) Sensordaten (302 in 6), die sich auf die Fahrzeugumgebung beziehen. In Verbindung mit der dargestellten Ausführungsform enthalten die Sensordaten 302 allgemein optische Bilddaten (wie z. B. diejenigen, die von einer Kamera empfangen werden), können jedoch auch LIDAR-Daten und dergleichen enthalten. Das heißt, während optische Bilddaten bei dem Erkennen von baustellenbezogenen Objekten 270 besonders nützlich sein könnten, könnten Lidar-Sensoren auch verwendet werden, um den Bereich solcher Objekte relativ zu dem Fahrzeug 10 zu ermitteln (z. B. basierend auf einer Punkthäufungsabbildung).
Als Nächstes ermittelt das Modul 320 (6) bei 704 das Vorhandensein von baustellenbezogenen Objekten 270 in der Umgebung. In verschiedenen Ausführungsformen werden die Sensordaten 302 beispielsweise an einen zuvor trainierten CNN (innerhalb des Moduls 320) angewendet, der eine oder mehrere Ausgaben erzeugt, die das Vorhandensein von Objekten 270 anzeigen. So könnten beispielsweise die Ausgaben 303 Paare von Identifizierern und entsprechenden reellen Zahlenwerten enthalten, die die Wahrscheinlichkeit anzeigen, dass ein solches Objekt in der Szene erkannt wurde (z. B. Pylon: 0,87, Baustellenausrüstung: 0,2 usw.). Es versteht sich, dass die Ausgabe 303 in Abhängigkeit von der speziellen Maschinenlerntechnik, die von dem Modul 320 implementiert wird, eine Vielzahl von Formen annehmen kann.
Als Nächstes ermittelt das Modul 330 bei 704, ob ein die Reise beeinträchtigender Baustellenbereich (200) in der Umgebung vorhanden ist. Diese Bestimmung kann eine Vielzahl von Formen annehmen, wird jedoch allgemein auf der Anzahl, der Position und/oder der Art(en) von baustellenbezogenen Objekten basieren, die erkannt werden. Wenn zum Beispiel nur ein einzelner Pylon (274 in 5) in der Nähe des Straßenrandes (z. B. 211 in 4) erfasst wird, kann das Modul 330 ermitteln, dass, selbst wenn in der Umgebung ein baustellenbezoger Bereich existiert, dieser Bereich nicht „die Reise beeinträchtigt“ - d. h. den Fortschritt des Fahrzeugs 10 (und anderer Fahrzeuge) entlang der gewünschten Strecke (Streckensegmente 221 und 223 in 4) nicht blockiert oder signifikant behindert. In einigen Ausführungsformen befindet sich die Erkennung eines Baustellenbereichs nicht ausschließlich in den Verarbeitungseinheiten des Fahrzeugs. Wenn ein oder mehrere Baustellenobjekte erkannt werden, kann das Fahrzeug einen Back-Office-Server kontaktieren, um Daten zu verstärken, wie zum Beispiel die Fahrzeugposition mit bekannten oder anstehenden Baustellenbereichen zusammen mit Verkehrsberichte in Echtzeit, die Baustellenbereiche beinhalten können, die sich nicht in einer bekannten Baustellendatenbank widerspiegeln.
In einer Ausführungsform empfängt das Baustellenbereich-Bestimmungsmodul 330 mit baustellenbezogenen Artefakten und Objekten verknüpfte Ausgaben 303 durch die verschiedenen Sensoren und lokalisiert sie im 3D-Raum durch Kombinieren von Abstandsschätzungen und Strahlprojektion unter Verwendung der extrinsischen Parameter der kalibrierten Sensoren. Die Art und Position der baustellenbezogenen Objekte 270 relativ zu den Fahrbahnspuren werden verwendet, um verschiedene Konfigurationen temporärer Verkehrsokklusion zu ermitteln, einschließlich ohne Einschränkung: Keine (z. B. sind die Objekte nicht auf der Straße, sondern befinden sich auf einem Bürgersteig oder sind mit der Baukonstruktion verbunden), Teilweise (Ein Teil, aber nicht die gesamte Fahrspur ist blockiert, sodass das Auto um das Hindernis herumfahren kann, indem der verfügbare Freiraum unabhängig von den zugeordneten Fahrspurbegrenzungen genutzt wird.) Spur blockiert (z. B. ist eine Spur vollständig blockiert und kann nicht von dem Fahrzeug verwendet werden, und das Fahrzeug wird daher versuchen, die Spur zu wechseln), und Straße blockiert (z. B. sind keine anderen Spuren auf der Straße verfügbar, was dazu führt, dass das Straßensegment für die nachfolgende Streckenführung auf die schwarze Liste kommt). In jedem Fall könnte das autonome Fahrzeug versuchen, einen Weg durch die baustellenbezogenen Objekte zu finden. Wenn das Fahrzeug dazu nicht in der Lage ist, kann es einen Experten per Fernzugriff kontaktieren, um die Bewegung freizugeben. Ein besonderer Fall von Bauartefakten, die unterschiedlich behandelt werden, betrifft die Interpretation von Baustellenzeichen vor dem Eintritt in einen Baustellenbereich, wie zum Beispiel ein Baustellenschild, das vor Bauarbeiten warnt. In der Tat kann die Information eines bevorstehenden Baustellenbereichs 30 m und mehr bekannt sein, bevor die baustellenbezogenen Objekte tatsächlich in dem Sichtfeld des Fahrzeugs erscheinen.
Als nächstes wird bei 706 die Art der den Baustellenbereich 200 betreffenden Information an einen externen Server (z. B. den Streckendatenbankserver 53 in 2) übertragen und dann an andere Module innerhalb des Fahrzeugs weitergegeben, um periphere Verhaltensweisen zu erzeugen, wie z. B. Verringern der Geschwindigkeit, vorbeugende Anrufe an einen entfernten Experten, Warnung des Fahrgastes und/oder dergleichen. Die Baustellenbereichsinformation könnte beispielsweise den geografischen Standort des Bereichs 200 (z. B. Breitengrad, Längengrad usw.), den Schweregrad des Bereichs (z. B. die „blockierte Fahrspur“, „blockierte Straße“, „teilweise“ usw.) und die betroffenen Streckensegmente (z. B. „Streckensegment 223“) beinhalten. Diese Information kann innerhalb des Datenbankservers 53 unter Verwendung einer beliebigen geeigneten Datenstruktur, die in der Technik bekannt ist, gespeichert werden. In einer Ausführungsform sind beispielsweise jedem der Streckensegmente Markierungen zugeordnet, die in dem Server 53 gespeichert sind, was den Status des Segments anzeigt („blockiert“, „langsam“, „Spur blockiert“ usw.). Diese Markierungen können dann von dem Server bei der Planung von Strecken für nachfolgende Anfragen von Fahrzeug 10 und/oder anderen Fahrzeugen verwendet werden. Das heißt, den Streckensegmenten können basierend auf ihren Zuständen Kosten zugeordnet werden, sodass die betroffenen Segmente entweder für zukünftige Strecken „auf der schwarzen Liste sind“ oder ihnen lediglich angemessene Kosten oder Gewicht zugeordnet sind, abhängig von dem Schweregrad des Baustellenbereichs. Solche Markierungen können dann basierend darauf modifiziert werden, ob ein Fahrzeug feststellt, dass der Bereich nicht länger existiert. In verschiedenen Ausführungsformen kann ein menschlicher Benutzer bei der Bewertung, ob der Baustellenbereich gegenwärtig existiert, unterstützen, basierend auf einem von dem System vorgenommenen „Vorschlag“, um den Bereich 200 von den betroffenen Streckensegmenten zu entfernen.
Schließlich empfängt das Fahrzeug 10 (und/oder ein anderes Fahrzeug) bei 707 alternative Streckeninformationen, die dem Ziel zugeordnet sind, wobei Streckensegmente vermieden werden, die von dem die Reise beeinträchtigenden Baustellenbereich 200 betroffen sind. In 4. resultiert dies beispielsweise in einer Strecke, die das Streckensegment 223 nicht enthält.
Wie oben erwähnt, kann das baustellenbezogene Objekterkennungsmodul 320 eine Vielzahl von maschinellen Lernmethoden implementieren, wie zum Beispiel ein bildzentrisches künstliches neuronales Netzwerk, das unter Verwendung eines Satzes von Trainingsbildern, die eine Vielzahl von baustellenbezogenen Objekten beinhalten, einem überwachtem Training unterzogen wird. IN dieser Hinsicht ist 8 ein Blockdiagramm eines exemplarischen konvolutionellen neuralen Netzwerks (CNN) gemäß verschiedenen Ausführungsformen.
Wie in 8 gezeigt, empfängt ein exemplarisches CNN 800 allgemein ein Eingabebild 810 (z. B. ein optisches Bild der Umgebung von den Sensoren 28) und erzeugt eine Reihe von Ausgaben 840, die damit verbunden sind, ob und in welchem Ausmaß bestimmte baustellenbezogene Objekte innerhalb des Bildes erkannt werden. In dieser Hinsicht wird auf die Eingabe 810 ohne Verlust der Allgemeinheit als ein „Bild“ Bezug genommen, obwohl sie eine Vielzahl von Sensordatenarten enthalten könnte.
Im Allgemeinen implementiert der CNN 800 eine Faltungsphase 822, gefolgt von einer Merkmalsextraktion 820 und einer Klassifizierung 830. Die Faltungsphase 822 verwendet einen Faltungsfilter geeigneter Größe, der einen Satz von Merkmalskarten 821 erzeugt, die kleineren Unterteilungen des Eingabebilds 810 entsprechen. Wie bekannt ist, ist die Faltung als ein Prozess translationsinvariant - d. h. Merkmale von Interesse (Verkehrskegel usw.) können unabhängig von ihrer Position innerhalb des Bildes 810 identifiziert werden.
Die Unterabtastung 824 wird dann durchgeführt, um einen Satz von kleineren Merkmalskarten 823 zu erzeugen, die effektiv „geglättet“ werden, um die Empfindlichkeit der Faltungsfilter gegenüber Rauschen und anderen Variationen zu reduzieren. Unterabtastung kann beinhalten, dass ein Durchschnittswert oder ein Maximalwert über eine Stichprobe der Eingaben 821 genommen wird. Die Merkmalskarten 823 durchlaufen dann eine weitere Faltung 828, wie in der Technik bekannt ist, um eine große Menge von kleineren Merkmalskarten 825 zu erzeugen. Die Merkmalskarten 825 werden dann unterabgetastet, um Merkmalskarten 827 zu erzeugen.
Während der Klassifizierungsphase (830) werden die Merkmalskarten 827 verarbeitet, um eine erste Schicht 831 zu erzeugen, gefolgt von einer vollständig verbundenen Schicht 833, von der Ausgaben 840 erzeugt werden. Zum Beispiel könnte die Ausgabe 841 der Wahrscheinlichkeit entsprechen, dass ein Pylon (wie 274 in 5) erkannt wurde, die Ausgabe 842 der Wahrscheinlichkeit entsprechen könnte, dass das Langsam“-Zeichen 277 erkannt wurde usw.
Im Allgemeinen ist das in 8 veranschaulichte CCN (701 in 7) in einem überwachten Modus trainiert, indem es mit einer großen Anzahl (d. h. einem „Korpus“) von Eingabebildern (801) und „klemmenden“ Ausgaben 840 versehen wird, basierend darauf, welche baustellenbezogene Objekten sich in der Szene befinden. Die Rückpropagation, wie sie in der Technik bekannt ist, wird dann verwendet, um das Trainings-CNN 800 zu verfeinern. Das resultierende Modul wird dann in dem Modul 320 von 6 implementiert. Anschließend wird während des normalen Betriebs das trainierte CNN verwendet, um Bilder 810 zu verarbeiten, die empfangen werden, wenn sich das Fahrzeug 10 durch seine Umgebung bewegt, und beobachtet mögliche Baustellenbereiche.
Es versteht sich, dass die vorliegenden Ausführungsformen nicht auf das oben beschriebene CNN-Modell beschränkt sind. Eine Vielzahl von maschinellen Lerntechniken kann verwendet werden, einschließlich beispielsweise wiederkehrender neuronaler Netze (RNN), zufällige Waldklassifizierer, Bayes-Klassifizierer (z. B. naive Bayes), Hauptkomponentenanalyse (PCA), Unterstützungsvektormaschinen, lineare Diskriminantanalyse, und dergleichen.
Während mindestens eine exemplarische Ausführungsform in der vorstehenden ausführlichen Beschreibung dargestellt wurde, versteht es sich, dass es eine große Anzahl an Varianten gibt. Es versteht sich weiterhin, dass die exemplarische Ausführungsform oder die exemplarischen Ausführungsformen lediglich Beispiele sind und den Umfang, die Anwendbarkeit oder die Konfiguration dieser Offenbarung in keiner Weise einschränken sollen. Die vorstehende ausführliche Beschreibung stellt Fachleuten auf dem Gebiet vielmehr einen zweckmäßigen Plan zur Implementierung der exemplarischen Ausführungsform bzw. der exemplarischen Ausführungsformen zur Verfügung. Es versteht sich, dass verschiedene Veränderungen an der Funktion und der Anordnung von Elementen vorgenommen werden können, ohne vom Umfang der Offenbarung, wie er in den beigefügten Ansprüchen und deren rechtlichen Entsprechungen aufgeführt ist, abzuweichen.

Claims

Verfahren zum Erfassen von Straßenbaustellen, umfassend: das Empfangen von Sensordaten in Bezug auf eine mit einem Fahrzeug assoziierte Umgebung; das Ermitteln, dass baustellenbezogene Objekte in der Umgebung basierend auf den Sensordaten vorhanden sind; und das Ermitteln, ob ein die Reise beeinträchtigender Baustellenbereich in der Umgebung vorhanden ist, basierend auf dem Vorhandensein der baustellenbezogenen Objekte in der Umgebung.
Verfahren nach Anspruch 1, ferner beinhaltend das Empfangen von Streckeninformationen an dem Fahrzeug, die mit einem Bestimmungsort verknüpft sind, wobei die Streckeninformationen konfiguriert sind, um den die Reise beeinträchtigenden Baustellenbereich zu vermeiden.
Verfahren nach Anspruch 1, ferner beinhaltend das Übertragen von Informationen bezüglich des die Reise beeinträchtigenden Baustellenbereichs über ein Netzwerk an einen Server.
Verfahren nach Anspruch 1, wobei das Ermitteln, dass die baustellenbezogenen Objekte in der Umgebung vorhanden sind, das Bereitstellen der Sensordaten für ein künstliches neuronales Netzwerkmodell beinhaltet.
Verfahren nach Anspruch 4, wobei die Sensordaten einem konvolutionellem neuralen Netzwerkmodell bereitgestellt werden.
Verfahren nach Anspruch 1, wobei das Ermitteln, dass baustellenbezogene Objekte in der Umgebung vorhanden sind, das Ermitteln des Vorhandenseins mindestens eines von: einem Pylon, einer Leitwand, einer Verkehrstonne, einem Baustellenzeichen, einer reflektierenden Weste, einem Baustellenhelm, eines Anhängers mit Pfeilanzeige und einer Straßenbauausrüstung beinhaltet.
System zur Steuerung eines Fahrzeugs, umfassend: ein baustellenbezogenes Objektmodul, das einen Prozessor enthält, der für den Empfang von Sensordaten in Bezug auf eine mit dem Fahrzeug assoziierte Umgebung konfiguriert ist, und basierend auf den Sensordaten zu ermitteln, dass baustellenbezogene Objekte in der Umgebung vorhanden sind; und ein Baustellenbereich-Bestimmungsmodul, das konfiguriert ist zum Ermitteln, ob ein die Reise beeinträchtigender Baustellenbereich in der Umgebung vorhanden ist, basierend auf dem Vorhandensein der baustellenbezogenen Objekte in der Umgebung.
System nach Anspruch 7, das ferner ein Kommunikationssystem beinhaltet, das dazu konfiguriert ist, Information bezüglich der die Reise beeinträchtigenden Baustellenbereiche über ein Netzwerk zu einem Server zu übertragen.
System nach Anspruch 8, worin das baustellenbezogene Objektmodul ein künstliches neuronales Netzwerkmodell enthält.
System nach Anspruch 9, worin das künstliche neuronale Netzwerkmodell ein konvolutionelles neuronales Netzwerk ist.