DE102018114600A1 - Systeme und verfahren zum reagieren auf einsatzfahrzeuge in einem autonomen fahrzeug - Google Patents

Systeme und verfahren zum reagieren auf einsatzfahrzeuge in einem autonomen fahrzeug Download PDF

Info

Publication number
DE102018114600A1
DE102018114600A1 DE102018114600.0A DE102018114600A DE102018114600A1 DE 102018114600 A1 DE102018114600 A1 DE 102018114600A1 DE 102018114600 A DE102018114600 A DE 102018114600A DE 102018114600 A1 DE102018114600 A1 DE 102018114600A1
Authority
DE
Germany
Prior art keywords
vehicle
processor
value
autonomous vehicle
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102018114600.0A
Other languages
English (en)
Inventor
Valor Yaldo
Xiaofeng F. Song
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of DE102018114600A1 publication Critical patent/DE102018114600A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18Propelling the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0027Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement involving a plurality of vehicles, e.g. fleet or convoy travelling
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0287Control of position or course in two dimensions specially adapted to land vehicles involving a plurality of land vehicles, e.g. fleet or convoy travelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/017Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0965Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages responding to signals from another vehicle, e.g. emergency vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle
    • B60W2556/50External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10General applications
    • H04R2499/13Acoustic transducers and sound field adaptation in vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Traffic Control Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Acoustics & Sound (AREA)

Abstract

Systeme und Verfahren zum Steuern eines autonomen Fahrzeugs werden bereitgestellt. In einer Ausführungsform beinhaltet ein Verfahren: das Empfangen von Bilddaten von einer mit dem autonomen Fahrzeug gekoppelten Kameravorrichtung; Berechnen, durch einen Prozessor, eines Werts basierend auf den Bilddaten; Bestimmen, durch einen Prozessor, eines Vorhandenseins eines Einsatzfahrzeugs basierend auf dem berechneten Wert; Auswählen, durch einen Prozessor, einer ersten Steuerstrategie basierend auf dem bestimmten Vorhandensein eines Einsatzfahrzeugs; und Erzeugen, durch einen Prozessor, mindestens eines Signals, um das autonome Fahrzeug basierend auf der Steuerstrategie autonom zu steuern.

Description

  • TECHNISCHES GEBIET
  • Die vorliegende Offenbarung bezieht sich im Allgemeinen auf autonome Fahrzeuge, und insbesondere auf Systeme und Verfahren zum Erkennen des Vorhandenseins eines Einsatzfahrzeugs und zur autonomen Steuerung des Fahrzeugs darauf basierend.
  • EINLEITUNG
  • Ein autonomes Fahrzeug ist ein Fahrzeug, das in der Lage ist, seine Umgebung zu erfassen und mit geringfügiger oder gar keiner Benutzereingabe zu navigieren. Ein autonomes Fahrzeug erfasst seine Umgebung unter Verwendung von Sensorvorrichtungen, wie beispielsweise Radar-, Lidar-, Bildsensoren und dergleichen. Das autonome Fahrzeugsystem nutzt weiterhin Informationen von globalen Positioniersystemen (GPS), Navigationssystemen, Fahrzeug-Fahrzeug-Kommunikationen, Fahrzeug-Infrastruktur-Technologien und/oder drahtgesteuerten Systemen, um das Fahrzeug zu navigieren.
  • Die Fahrzeugautomatisierung wurde kategorisiert nach nummerischen Ebenen von null, entsprechend keiner Automatisierung mit voller menschlicher Kontrolle, bis fünf, entsprechend der vollen Automatisierung ohne menschliche Kontrolle. Verschiedene automatisierte Fahrerassistenzsysteme, wie beispielsweise Geschwindigkeitsregelung, adaptive Geschwindigkeitsregelung und Parkassistenzsysteme, entsprechen niedrigeren Automatisierungsebenen, während echte „fahrerlose“ Fahrzeuge mit höheren Automatisierungsebenen übereinstimmen.
  • Um ein Fahrzeug vollständig zu automatisieren, muss das Fahrzeug gemeinsame Zeichen und Signale in der Umgebung kennen und darauf reagieren. So erzeugen beispielsweise Einsatzfahrzeuge Warntöne und/oder optische Signale, um die Fahrzeuge auf der Straße zu informieren. Dementsprechend ist es wünschenswert, Systeme und Verfahren vorzusehen, um das Vorhandensein eines Einsatzfahrzeugs zu erkennen und das Fahrzeug darauf basierend autonom zu steuern. Ferner werden weitere wünschenswerte Funktionen und Merkmale der vorliegenden Offenbarung aus der nachfolgenden ausführlichen Beschreibung und den beigefügten Ansprüchen in Verbindung mit den beigefügten Zeichnungen, sowie dem vorangehenden technischen Gebiet und Hintergrund ersichtlich.
  • KURZDARSTELLUNG
  • Systeme und Verfahren zum Steuern eines autonomen Fahrzeugs werden bereitgestellt. In einer Ausführungsform beinhaltet ein Verfahren: das Empfangen von Bilddaten von einer mit dem autonomen Fahrzeug gekoppelten Kameravorrichtung; Berechnen, durch einen Prozessor, eines Werts basierend auf den Bilddaten; Bestimmen, durch einen Prozessor, eines Vorhandenseins eines Einsatzfahrzeugs basierend auf dem berechneten Wert; Auswählen, durch einen Prozessor, einer ersten Steuerstrategie basierend auf dem bestimmten Vorhandensein eines Einsatzfahrzeugs; und Erzeugen, durch einen Prozessor, mindestens eines Signals, um das autonome Fahrzeug basierend auf der Steuerstrategie autonom zu steuern.
  • Figurenliste
  • Die exemplarischen Ausführungsformen werden nachfolgend in Verbindung mit den folgenden Zeichnungen beschrieben, worin gleiche Bezugszeichen gleiche Elemente bezeichnen, und worin gilt:
    • 1A ist ein Funktionsblockdiagramm, das ein autonomes Fahrzeug mit einem Einsatzfahrzeug-Warnsystem gemäß verschiedenen Ausführungsformen veranschaulicht;
    • 1B ist eine Darstellung von Fahrzeugkameras des über das autonome Fahrzeug verteilten Notfall-Erkennungssystems gemäß verschiedenen Ausführungsformen;
    • 2 zeigt ein Funktionsblockdiagramm, das ein Transportsystem mit einem oder mehreren autonomen Fahrzeugen aus 1A gemäß verschiedenen Ausführungsformen veranschaulicht; und
    • 3 ist ein Funktionsblockdiagramm, das ein autonomes Fahrzeugsystem mit einem Einsatzfahrzeug-Warnsystem gemäß verschiedenen Ausführungsformen veranschaulicht; und
    • 4 ist ein Ablaufdiagramm, das ein Steuerverfahren zum Steuern des autonomen Fahrzeugs gemäß verschiedenen Ausführungsformen darstellt.
  • AUSFÜHRLICHE BESCHREIBUNG
  • Die folgende ausführliche Beschreibung dient lediglich als Beispiel und soll die Anwendung und Verwendung in keiner Weise einschränken. Weiterhin besteht keine Absicht, im vorstehenden technischen Bereich, Hintergrund, der Kurzzusammenfassung oder der folgenden ausführlichen Beschreibung an eine ausdrücklich oder implizit vorgestellte Theorie gebunden zu sein. Der hierin verwendete Begriff „Modul“ bezieht sich auf alle Hardware-, Software-, Firmwareprodukte, elektronische Steuerkomponenten, auf die Verarbeitungslogik und/oder Prozessorgeräte, einzeln oder in Kombinationen, unter anderem umfassend, eine anwendungsspezifische integrierte Schaltung (ASIC), eine elektronische Schaltung, einen Prozessor (gemeinsam genutzt, dediziert oder gruppiert) und einen Speicher, der ein oder mehrere Software- oder Firmwareprogramme, eine kombinatorische Logikschaltung und/oder andere geeignete Komponenten ausführt, die die beschriebene Funktionalität bieten.
  • Ausführungen der vorliegenden Offenbarung können hierin als funktionale und/oder logische Blockkomponenten und verschiedene Verarbeitungsschritte beschrieben sein. Es ist zu beachten, dass derartige Blockkomponenten aus einer beliebigen Anzahl an Hardware-, Software- und/oder Firmware-Komponenten aufgebaut sein können, die zur Ausführung der erforderlichen Funktionen konfiguriert sind. Zum Beispiel kann eine Ausführungsform der vorliegenden Offenbarung eines Systems oder einer Komponente verschiedene integrierte Schaltungskomponenten, beispielsweise Speicherelemente, digitale Signalverarbeitungselemente, Logikelemente, Wertetabellen oder dergleichen, einsetzen, die mehrere Funktionen unter der Steuerung eines oder mehrerer Mikroprozessoren oder anderer Steuervorrichtungen durchführen können. Zudem werden Fachleute auf dem Gebiet erkennen, dass die exemplarischen Ausführungsformen der vorliegenden Offenbarung in Verbindung mit einer beliebigen Anzahl an Systemen eingesetzt werden können, und dass das hierin beschriebene System lediglich eine exemplarische Ausführungsform der vorliegenden Offenbarung darstellt.
  • Der Kürze halber sind konventionelle Techniken in Verbindung mit der Signalverarbeitung, Datenübertragung, Signalgebung, Steuerung und weiteren funktionalen Aspekten der Systeme (und den einzelnen Bedienelementen der Systeme) hierin ggf. nicht im Detail beschrieben. Weiterhin sollen die in den verschiedenen Figuren dargestellten Verbindungslinien exemplarische Funktionsbeziehungen und/oder physikalische Verbindungen zwischen den verschiedenen Elementen darstellen. Es sollte beachtet werden, dass viele alternative oder zusätzliche funktionale Beziehungen oder physikalische Verbindungen in einer Ausführungsform der vorliegenden Offenbarung vorhanden sein können.
  • Unter Bezugnahme auf 1A ist ein bei 100 allgemein dargestelltes Einsatzfahrzeug-Erkennungssystem mit einem Fahrzeug 10 gemäß verschiedenen Ausführungsformen assoziiert. Im Allgemeinen empfängt ein Einsatzfahrzeug-Erkennungssystem 100 Sensordaten von integrierten Sensoren, erkennt basierend auf den Sensordaten das Vorhandensein eines Einsatzfahrzeugs, erzeugt Warnmeldungen zum Einsatzfahrzeug und/oder steuert das Fahrzeug 10 basierend auf dem Vorhandensein des Einsatzfahrzeugs.
  • Wie in 1A dargestellt, beinhaltet das Fahrzeug 10 im Allgemeinen ein Fahrgestell 12, eine Karosserie 14, Vorderräder 16 und Hinterräder 18. Die Karosserie 14 ist auf dem Fahrgestell 12 angeordnet und umhüllt im Wesentlichen die anderen Komponenten des Fahrzeugs 10. Die Karosserie 14 und das Fahrgestell 12 können gemeinsam einen Rahmen bilden. Die Räder 16-18 sind jeweils mit dem Fahrgestell 12 in der Nähe einer jeweiligen Ecke der Karosserie 14 drehbar verbunden.
  • In verschiedenen Ausführungsformen ist das Fahrzeug 10 ein autonomes Fahrzeug und das Einsatzfahrzeug-Warnsystem 100 ist in das autonome Fahrzeug 10 (nachfolgend als das autonomes Fahrzeug 10 bezeichnet) integriert. Das autonome Fahrzeug 10 ist beispielsweise ein Fahrzeug, das automatisch gesteuert wird, um Passagiere von einem Ort zum anderen zu befördern. Das Fahrzeug 10 ist in der veranschaulichten Ausführungsform als Pkw dargestellt, es sollte jedoch beachtet werden, dass auch jedes andere Fahrzeug, einschließlich Motorräder, Lastwagen, Sportfahrzeuge (SUVs), Freizeitfahrzeuge (RVs), Schiffe, Flugzeuge usw. verwendet werden können. In einer exemplarischen Ausführungsform ist das autonome Fahrzeug 10 ein sogenanntes Level-Vier oder Level-Fünf Automatisierungssystem. Ein Level-Vier-System zeigt eine „hohe Automatisierung“ unter Bezugnahme auf die Fahrmodus-spezifische Leistung durch ein automatisiertes Fahrsystem aller Aspekte der dynamischen Fahraufgabe an, selbst wenn ein menschlicher Fahrer nicht angemessen auf eine Anforderung einzugreifen, reagiert. Ein Level-Fünf-System zeigt eine „Vollautomatisierung“ an und verweist auf die Vollzeitleistung eines automatisierten Fahrsystems aller Aspekte der dynamischen Fahraufgabe unter allen Fahrbahn- und Umgebungsbedingungen, die von einem menschlichen Fahrer verwaltet werden können.
  • Wie dargestellt, beinhaltet das autonome Fahrzeug 10 im Allgemeinen ein Antriebssystem 20, ein Übertragungssystem 22, ein Lenksystem 24, ein Bremssystem 26, ein Sensorsystem 28, ein Stellantriebsystem 30, mindestens einen Datenspeicher 32, mindestens eine Steuerung 34 und ein Kommunikationssystem 36. Das Antriebssystem 20 kann in verschiedenen Ausführungsformen einen Verbrennungsmotor, eine elektrische Maschine, wie beispielsweise einen Traktionsmotor und/oder ein Brennstoffzellenantriebssystem, beinhalten. Das Übertragungssystem 22 ist dazu konfiguriert, Leistung vom Antriebssystem 20 zu den Fahrzeugrädern 16-18 gemäß den wählbaren Übersetzungen zu übertragen. Gemäß verschiedenen Ausführungsformen kann das Getriebesystem 22 ein Stufenverhältnis-Automatikgetriebe, ein stufenlos verstellbares Getriebe oder ein anderes geeignetes Getriebe beinhalten. Das Bremssystem 26 ist dazu konfiguriert, den Fahrzeugrädern 16-18 ein Bremsmoment bereitzustellen. Das Bremssystem 26 kann in verschiedenen Ausführungsformen Reibungsbremsen, Brake-by-Wire, ein regeneratives Bremssystem, wie beispielsweise eine elektrische Maschine und/oder andere geeignete Bremssysteme beinhalten. Das Lenksystem 24 beeinflusst die Position der Fahrzeugräder 16-18. Während in einigen Ausführungsformen innerhalb des Umfangs der vorliegenden Offenbarung zur Veranschaulichung als ein Lenkrad dargestellt, kann das Lenksystem 24 kein Lenkrad beinhalten.
  • Das Sensorsystem 28 beinhaltet eine oder mehrere Sensorvorrichtungen 31a-31n, die beobachtbare Zustände der äußeren Umgebung und/oder der inneren Umgebung des autonomen Fahrzeugs 10 erfassen. Die Sensoren 31a-31n können Radargeräte, Lidare, globale Positionierungssysteme, optische Kameras, Wärmebildkameras, Ultraschallsensoren, Trägheitsmesseinheiten, Mikrofonen und/oder andere Sensoren beinhalten, sind aber nicht darauf beschränkt. Das Stellantriebssystem 30 beinhaltet eine oder mehrere Stellantriebs-Vorrichtungen 42a-42n, die ein oder mehrere Fahrzeugmerkmale, wie zum Beispiel das Antriebssystem 20, das Getriebesystem 22, das Lenksystem 24 und das Bremssystem 26, steuern, jedoch nicht darauf beschränkt sind. In verschiedenen Ausführungsformen können die Fahrzeugmerkmale, die durch eine oder mehrere Stellgliedvorrichtungen 42a-42n gesteuert werden, ferner Innen- und/oder Außenfahrzeugmerkmale, wie beispielsweise Türen, einen Kofferraum und Innenraummerkmale, wie z. B. Luft, Musik, Beleuchtung usw., beinhalten, sind jedoch nicht auf diese beschränkt (nicht nummeriert).
  • In verschiedenen Ausführungsformen sind eine oder mehrere der Sensorvorrichtungen 31a-31n eine Kamera oder andere Bildgebungsvorrichtungen. Die Kameravorrichtungen sind an eine Außenseite der Karosserie 14 des Fahrzeugs 10 und/oder an eine Innenseite des Fahrzeugs 10 gekoppelt, sodass sie Bilder der Umgebung des Fahrzeugs 10 aufnehmen können. Eine exemplarische Ausführungsform von Sensorvorrichtungen 31a-31j, die Kameravorrichtungen beinhalten, ist beispielsweise über das in 1B dargestellte Fahrzeug 10 verteilt. Wie dargestellt, sind die Sensorvorrichtungen 31a-31j an verschiedenen Stellen positioniert und so ausgerichtet, dass sie verschiedene Bereiche der Umgebung in der Nähe des Fahrzeugs 10 erfassen können. Wie zu sehen ist, können die Sensorvorrichtungen 31a-31j alle den gleichen Typ von Kameravorrichtungen beinhalten oder eine Kombination aus allen Typen von Kameravorrichtungen sein.
  • In dem vorliegenden Beispiel ist eine erste Sensorvorrichtung 31a an der vorderen linken (oder Fahrer)-Seite des Fahrzeugs 10 positioniert und ist 45° gegen den Uhrzeigersinn in Bezug auf die Längsachse des Fahrzeugs 10 in Vorwärtsrichtung ausgerichtet, und eine weitere Sensorvorrichtung 31c kann an der vorderen rechten (oder Beifahrer)-Seite des Fahrzeugs 10 positioniert sein und ist 45° im Uhrzeigersinn in Bezug auf die Längsachse des Fahrzeugs 10 ausgerichtet. Zusätzliche Sensorvorrichtungen 31i, 31j sind an den hinteren linken und rechten Seiten des Fahrzeugs 10 positioniert und ähnlich um 45° gegen den Uhrzeigersinn und im Uhrzeigersinn in Bezug auf die Fahrzeuglängsachse ausgerichtet, sowie Sensorvorrichtungen 31d und 31h, die auf den linken und rechten Seiten des Fahrzeugs 10 positioniert und von der Längsachse weg ausgerichtet sind, um sich entlang einer Achse zu erstrecken, die im Wesentlichen senkrecht zur Fahrzeuglängsachse ist. Die veranschaulichte Ausführungsform beinhaltet auch eine Gruppe von Sensorvorrichtungen 31e-31g, die an oder in der Nähe der Fahrzeuglängsachse positioniert und so ausgerichtet sind, dass sie nach vorne gerichtete Signale in Richtung der Fahrzeuglängsachse ausgeben.
  • In verschiedenen Ausführungsformen ist mindestens einer der Sensorvorrichtungen 31k ein Radargerät (z. B. können beliebig viele Kurz-, Mittel- und Langstreckenradargeräte zur Entfernungsmessung verwendet werden). Das Radargerät 31k ist an eine Außenseite der Karosserie 14 des Fahrzeugs 10 und/oder an eine Innenseite des Fahrzeugs 10 gekoppelt, sodass es Daten aus der Umgebung des Fahrzeugs 10 erfassen kann. Zusätzlich oder alternativ ist mindestens eine der Sensorvorrichtungen 31k eine Lidarvorrichtung, die Abstand und/oder Farben misst. Die Lidarvorrichtung ist mit einer Außenseite der Karosserie 14 so gekoppelt, dass sie Daten aus der Umgebung des Fahrzeugs 10 erfasst.
  • In verschiedenen Ausführungsformen ist mindestens eine der Sensorvorrichtungen 31l ein Mikrofon oder eine andere Schallmessvorrichtung. Das Mikrofon 31l ist an eine Außenseite der Karosserie 14 des Fahrzeugs 10 und/oder an eine Innenseite des Fahrzeugs 10 gekoppelt, sodass es Töne aus der Umgebung des Fahrzeugs 10 erfassen kann. In verschiedenen Ausführungsformen ist mindestens eine der Sensorvorrichtungen eine Lidarvorrichtung.
  • Unter Bezugnahme nun zurück auf 1A ist das Kommunikationssystem 36 konfiguriert, um Informationen drahtlos an und von anderen Einheiten 48, wie beispielsweise, jedoch nicht beschränkt auf andere Fahrzeuge („V2V“-Kommunikation,) Infrastruktur („V2I“-Kommunikation), entfernte Systeme und/oder persönliche Vorrichtungen (in Bezug auf 2 näher beschrieben), zu übermitteln. In einer exemplarischen Ausführungsform ist das drahtlose Kommunikationssystem 36 dazu konfiguriert, über ein drahtloses lokales Netzwerk (WLAN) unter Verwendung des IEEE 802.11-Standards, über Bluetooth oder mittels einer mobilen Datenkommunikation zu kommunizieren. Im Geltungsbereich der vorliegenden Offenbarung werden jedoch auch zusätzliche oder alternative Kommunikationsverfahren, wie beispielsweise ein dedizierter Nahbereichskommunikations-(DSRC)-Kanal, berücksichtigt. DSRC-Kanäle beziehen sich auf Einweg- oder Zweiwege-Kurzstrecken- bis Mittelklasse-Funkkommunikationskanäle, die speziell für den Automobilbau und einen entsprechenden Satz von Protokollen und Standards entwickelt wurden.
  • Die Datenspeichervorrichtung 32 speichert Daten zur Verwendung beim automatischen Steuern des autonomen Fahrzeugs 10. In verschiedenen Ausführungsformen speichert die Datenspeichervorrichtung 32 definierte Landkarten der navigierbaren Umgebung. In verschiedenen Ausführungsformen werden die definierten Landkarten vordefiniert und von einem entfernten System (in weiteren Einzelheiten in Bezug auf 2 beschrieben) erhalten. So können beispielsweise die definierten Landkarten durch das entfernte System zusammengesetzt und dem autonomen Fahrzeug 10 (drahtlos und/oder drahtgebunden) mitgeteilt und in der Datenspeichervorrichtung 32 gespeichert werden. Wie ersichtlich, kann die Datenspeichervorrichtung 32 ein Teil der Steuerung 34, von der Steuerung 34 getrennt, oder ein Teil der Steuerung 34 und Teil eines separaten Systems sein.
  • Die Steuerung 34 beinhaltet mindestens einen Prozessor 44 und eine computerlesbare Speichervorrichtung oder Medien 46. Der Prozessor 44 kann eine Spezialanfertigung oder ein handelsüblicher Prozessor sein, eine Zentraleinheit (CPU), eine Grafikprozessoreinheit (GPU) unter mehreren Prozessoren verbunden mit der Steuerung 34, ein Mikroprozessor auf Halbleiterbasis (in Form eines Mikrochips oder Chip-Satzes), ein Makroprozessor, eine Kombination derselben oder allgemein jede beliebige Vorrichtung zur Ausführung von Anweisungen. Die computerlesbare Speichervorrichtung oder Medien 46 können flüchtige und nicht-flüchtige Speicher in einem Nur-Lese-Speicher (ROM), einem Speicher mit direktem Zugriff (RAM) und einem Keep-Alive-Memory (KAM) beinhalten. KAM ist ein persistenter oder nicht-flüchtiger Speicher, der verwendet werden kann, um verschiedene Betriebsvariablen zu speichern, während der Prozessor 44 ausgeschaltet ist. Die computerlesbare Speichervorrichtung oder Medien 46 können unter Verwendung einer beliebigen einer Anzahl an bekannten Speichervorrichtungen, wie beispielsweise PROMs (programmierbarer Nur-Lese-Speicher), EPROMs (elektrische PROM), EEPROMs (elektrisch löschbarer PROM), Flash-Speicher oder beliebige andere elektrischen, magnetischen, optischen oder kombinierten Speichervorrichtungen implementiert werden, die Daten speichern können, von denen einige ausführbare Anweisungen darstellen, die von der Steuerung 34 beim Steuern des autonomen Fahrzeugs 10 verwendet werden.
  • Die Anweisungen können ein oder mehrere separate Programme beinhalten, von denen jede eine geordnete Auflistung von ausführbaren Anweisungen zum Implementieren von logischen Funktionen beinhaltet. Die Anweisungen empfangen und verarbeiten, wenn diese vom Prozessor 44 ausgeführt werden, Signale vom Sensorsystem 28, führen Logik, Berechnungen, Verfahren und/oder Algorithmen zur automatischen Steuerung der Komponenten des autonomen Fahrzeugs 10 durch und erzeugen Steuersignale an das Stellantriebssystem 30, um die Komponenten des autonomen Fahrzeugs 10 basierend auf der Logik, den Berechnungen, den Verfahren und/oder Algorithmen automatisch zu steuern. Obwohl in 1A nur eine Steuerung 34 dargestellt ist, können Ausführungsformen des autonomen Fahrzeugs 10 eine beliebige Anzahl von Steuerungen 34 beinhalten, die über ein geeignetes Kommunikationsmedium oder eine Kombination von Kommunikationsmedien kommunizieren und zusammenwirken, um die Sensorsignale zu verarbeiten, Logiken, Berechnungen, Verfahren und/oder Algorithmen durchzuführen, und Steuersignale zu erzeugen, um die Funktionen des autonomen Fahrzeugs 10 automatisch zu steuern.
  • In verschiedenen Ausführungsformen sind eine oder mehrere Anweisungen der Steuerung 34 im Einsatzfahrzeug-Erkennungssystem 100 verkörpert und empfangen beim Ausführen durch den Prozessor 44 Bilddaten von den Sensorvorrichtungen 31-31j, wie beispielsweise den Kameravorrichtungen, verarbeiten die Bilddaten zum Erkennen der Anwesenheit eines Einsatzfahrzeugs, verarbeiten Daten von der Sensorvorrichtung 31l (Mikrofon) und/oder der Sensorvorrichtung 31k (Radarsensor) zum Bestimmen einer Steuerstrategie und steuern das Fahrzeug basierend auf der bestimmten Steuerstrategie selektiv. In verschiedenen Ausführungsformen steuern die Anweisungen, wenn sie durch den Prozessor 44 ausgeführt werden, das Fahrzeug 10, um an den Straßenrand oder eine andere Stelle außerhalb des Weges des Einsatzfahrzeugs zu navigieren.
  • Mit weiterem Bezug auf 2 in verschiedenen Ausführungsformen kann das autonome Fahrzeug 10, das mit Bezug auf 1A beschrieben ist, für den Einsatz im Rahmen eines Taxi- oder Shuttle-Unternehmens in einem bestimmten geografischen Gebiet (z. B. einer Stadt, einer Schule oder einem Geschäftscampus, einem Einkaufszentrum, einem Vergnügungspark, einem Veranstaltungszentrum oder dergleichen) geeignet sein. So kann beispielsweise das autonome Fahrzeug 10 einem autonomen fahrzeugbasierten Transportsystem zugeordnet sein. 2 veranschaulicht eine exemplarische Ausführungsform einer Betriebsumgebung, die im Allgemeinen bei 50 dargestellt ist und ein autonomes fahrzeugbasiertes Transportsystem 52 beinhaltet, das, wie mit Bezug auf 1A beschrieben, einem oder mehreren autonomen Fahrzeugen 10a-10n zugeordnet ist. In verschiedenen Ausführungsformen beinhaltet die Betriebsumgebung 50 ferner eine oder mehrere Benutzervorrichtungen 54, die mit dem autonomen Fahrzeug 10 und/oder dem entfernten Transportsystem 52 über ein Kommunikationsnetzwerk 56 kommunizieren.
  • Das Kommunikationsnetzwerk 56 unterstützt die Kommunikation zwischen Geräten, Systemen und Komponenten, die von der Betriebsumgebung 50 unterstützt werden (z. B. über physische Kommunikationsverbindungen und/oder drahtlose Kommunikationsverbindungen). So kann beispielsweise das Kommunikationsnetzwerk 56 ein drahtloses Trägersystem 60 beinhalten, wie beispielsweise ein Mobiltelefonsystem, das eine Vielzahl von Mobilfunktürmen (nicht dargestellt), eine oder mehrere Mobilvermittlungsstellen (MSCs) (nicht dargestellt) sowie alle anderen Netzwerkkomponenten beinhalten, die zum Verbinden des drahtlosen Trägersystems 60 mit dem Festnetz erforderlich sind. Jeder Mobilfunkturm beinhaltet Sende- und Empfangsantennen und eine Basisstation, wobei die Basisstationen verschiedener Mobilfunktürme mit den MSC verbunden sind, entweder direkt oder über Zwischenvorrichtungen, wie beispielsweise eine Basisstationssteuerung. Das Drahtlosträgersystem 60 kann jede geeignete Kommunikationstechnologie implementieren, beispielsweise digitale Technologien, wie CDMA (z. B. CDMA2000), LTE (z. B. 4G LTE oder 5G LTE), GSM/GPRS oder andere aktuelle oder neu entstehende drahtlose Technologien. Andere Mobilfunkturm/Basisstation/MSC-Anordnungen sind möglich und könnten mit dem Mobilfunkanbietersystem 60 verwendet werden. So könnten sich beispielsweise die Basisstation und der Mobilfunkturm an derselben Stelle oder entfernt voneinander befinden, jede Basisstation könnte für einen einzelnen Mobilfunkturm zuständig sein oder eine einzelne Basisstation könnte verschiedene Mobilfunktürme bedienen, oder verschiedene Basisstationen könnten mit einer einzigen MSC gekoppelt werden, um nur einige der möglichen Anordnungen zu nennen.
  • Abgesehen vom Verwenden des drahtlosen Trägersystems 60 kann ein zweites drahtloses Trägersystem in Form eines Satellitenkommunikationssystems 64 verwendet werden, um unidirektionale oder bidirektionale Kommunikation mit dem autonomen Fahrzeug 10a-10n bereitzustellen. Dies kann unter Verwendung von einem oder mehreren Kommunikationssatelliten (nicht dargestellt) und einer aufwärts gerichteten Sendestation (nicht dargestellt) erfolgen. Die unidirektionale Kommunikation kann beispielsweise Satellitenradiodienste beinhalten, worin programmierte Inhaltsdaten (Nachrichten, Musik usw.) von der Sendestation empfangen werden, für das Hochladen gepackt und anschließend zum Satelliten gesendet werden, der die Programmierung an die Teilnehmer ausstrahlt. Die bidirektionale Kommunikation kann beispielsweise Satellitentelefondienste beinhalten, die den Satelliten verwenden, um Telefonkommunikationen zwischen dem Fahrzeug 10 und der Station weiterzugeben. Die Satellitentelefonie kann entweder zusätzlich oder anstelle des Mobilfunkanbietersystems 60 verwendet werden.
  • Ein Festnetz-Kommunikationssystem 62 kann ein konventionelles Festnetz-Telekommunikationsnetzwerk beinhalten, das mit einem oder mehreren Festnetztelefonen verbunden ist und das drahtlose Trägersystem 60 mit dem entfernten Transportsystem 52 verbindet. So kann beispielsweise das Festnetz-Kommunikationssystem 62 ein Fernsprechnetz (PSTN) wie jenes sein, das verwendet wird, um festverdrahtetes Fernsprechen, paketvermittelte Datenkommunikationen und die Internetinfrastruktur bereitzustellen. Ein oder mehrere Segmente des Festnetz-Kommunikationssystems 62 könnten durch Verwenden eines normalen drahtgebundenen Netzwerks, eines Lichtleiter- oder eines anderen optischen Netzwerks, eines Kabelnetzes, von Stromleitungen, anderen drahtlosen Netzwerken, wie drahtlose lokale Netzwerke (WLANs) oder Netzwerke, die drahtlosen Breitbandzugang (BWA) bereitstellen oder jeder Kombination davon implementiert sein. Weiterhin muss das entfernte Transportsystem 52 nicht über das Festnetz-Kommunikationssystem 62 verbunden sein, sondern könnte Funktelefonausrüstung beinhalten, sodass sie direkt mit einem drahtlosen Netzwerk, wie z. B. dem drahtlosen Trägersystem 60, kommunizieren kann.
  • Obwohl in 2 nur eine Benutzervorrichtung 54 dargestellt ist, können Ausführungsformen der Betriebsumgebung 50 eine beliebige Anzahl an Benutzervorrichtungen 54, einschließlich mehrerer Benutzervorrichtungen 54 unterstützen, die das Eigentum einer Person sind, von dieser bedient oder anderweitig verwendet werden. Jede Benutzervorrichtung 54, die von der Betriebsumgebung 50 unterstützt wird, kann unter Verwendung einer geeigneten Hardwareplattform implementiert werden. In dieser Hinsicht kann die Benutzervorrichtung 54 in einem gemeinsamen Formfaktor realisiert werden, darunter auch in: einen Desktop-Computer; einem mobilen Computer (z. B. einem Tablet-Computer, einem Laptop-Computer oder einem Netbook-Computer); einem Smartphone; einem Videospielgerät; einem digitalen Media-Player; einem Bestandteil eines Heimunterhaltungsgeräts; einer Digitalkamera oder Videokamera; einem tragbaren Computergerät (z. B. einer Smart-Uhr, Smart-Brille, Smart-Kleidung); oder dergleichen. Jede von der Betriebsumgebung 50 unterstützte Benutzervorrichtung 54 ist als computerimplementiertes oder computergestütztes Gerät mit der Hardware-, Software-, Firmware- und/oder Verarbeitungslogik realisiert, die für die Durchführung der hier beschriebenen verschiedenen Techniken und Verfahren erforderlich ist. So beinhaltet beispielsweise die Benutzervorrichtung 54 einen Mikroprozessor in Form einer programmierbaren Vorrichtung, die eine oder mehrere in einer internen Speicherstruktur gespeicherte Anweisungen beinhaltet und angewendet wird, um binäre Eingaben zu empfangen und binäre Ausgaben zu erzeugen. In einigen Ausführungsformen beinhaltet die Benutzervorrichtung 54 ein GPS-Modul, das GPS-Satellitensignale empfangen und GPS-Koordinaten basierend auf diesen Signalen erzeugen kann. In weiteren Ausführungsformen beinhaltet die Benutzervorrichtung 54 eine Mobilfunk-Kommunikationsfunktionalität, sodass die Vorrichtung Sprach- und/oder Datenkommunikationen über das Kommunikationsnetzwerk 56 unter Verwendung eines oder mehrerer Mobilfunk-Kommunikationsprotokolle durchführt, wie hierin erläutert. In verschiedenen Ausführungsformen beinhaltet die Benutzervorrichtung 54 eine visuelle Anzeige, wie zum Beispiel ein grafisches Touchscreen-Display oder eine andere Anzeige.
  • Das entfernte Transportsystem 52 beinhaltet ein oder mehrere Backend-Serversysteme, die an dem speziellen Campus oder dem geografischen Standort, der vom Transportsystem 52 bedient wird, Cloud-basiert, netzwerkbasiert oder resident sein können. Das entfernte Transportsystem 52 kann mit einem Live-Berater, einem automatisierten Berater oder einer Kombination aus beidem besetzt sein. Das entfernte Transportsystem 52 kann mit den Benutzervorrichtungen 54 und den autonomen Fahrzeugen 10a-10n kommunizieren, um Fahrten zu planen, autonome Fahrzeuge 10a-10n zu versetzen und dergleichen. In verschiedenen Ausführungsformen speichert das entfernte Transportsystem 52 Kontoinformationen, wie zum Beispiel Teilnehmerauthentifizierungsdaten, Fahrzeugkennzeichen, Profilaufzeichnungen, Verhaltensmuster und andere entsprechende Teilnehmerinformationen.
  • Gemäß einem typischen Anwendungsfall-Arbeitsablauf kann ein registrierter Benutzer des entfernten Transportsystems 52 über die Benutzervorrichtung 54 eine Fahrtanforderung erstellen. Die Fahrtanforderung gibt typischerweise den gewünschten Abholort des Fahrgastes (oder den aktuellen GPS-Standort), den gewünschten Zielort (der einen vordefinierten Fahrzeugstopp und/oder ein benutzerdefiniertes Passagierziel identifizieren kann) und eine Abholzeit an. Das entfernte Transportsystem 52 empfängt die Fahrtanforderung, verarbeitet die Anforderung und sendet ein ausgewähltes der autonomen Fahrzeuge 10a-10n (wenn und sofern verfügbar), um den Passagier an dem vorgesehenen Abholort und zu gegebener Zeit abzuholen. Das entfernte Transportsystem 52 kann zudem eine entsprechend konfigurierte Bestätigungsnachricht oder Benachrichtigung an die Benutzervorrichtung 54 erzeugen und senden, um den Passagier zu benachrichtigen, dass ein Fahrzeug unterwegs ist.
  • Wie ersichtlich, bietet der hierin offenbarte Gegenstand bestimmte verbesserte Eigenschaften und Funktionen für das, was als ein standardmäßiges oder Basislinien autonomes Fahrzeug 10 und/oder ein autonomes fahrzeugbasiertes Transportsystem 52 betrachtet werden kann. Zu diesem Zweck kann ein autonomes fahrzeugbasiertes Transportsystem modifiziert, erweitert oder anderweitig ergänzt werden, um die nachfolgend näher beschriebenen zusätzlichen Funktionen bereitzustellen.
  • Gemäß verschiedener Ausführungsformen realisiert die Steuerung 34 ein autonomes Antriebssystem (ADS) 70, wie in 3 dargestellt. Das heißt, dass geeignete Soft- und/oder Hardwarekomponenten der Steuerung 34 (z. B. der Prozessor 44 und das computerlesbare Speichermedium 46) verwendet werden, um ein autonomes Antriebssystem 70 bereitzustellen, das in Verbindung mit dem Fahrzeug 10 verwendet wird.
  • In verschiedenen Ausführungsformen können die Anweisungen des autonomen Antriebssystems 70 je nach Funktion oder System gegliedert sein. Das autonome Antriebssystem 70 kann beispielsweise, wie in 3 dargestellt, ein Computer-Sichtsystem 74, ein Positionierungssystem 76, ein Leitsystem 78 und ein Fahrzeugsteuersystem 80 beinhalten. Wie ersichtlich ist, können die Anweisungen in verschiedenen Ausführungsformen in beliebig viele Systeme (z. B. kombiniert, weiter unterteilt usw.) gegliedert werden, da die Offenbarung nicht auf die vorliegenden Beispiele beschränkt ist.
  • In verschiedenen Ausführungsformen synthetisiert und verarbeitet das Computer-Sichtsystem 74 die Daten von den Sensorvorrichtungen 31a-31n (1A) und prognostiziert Anwesenheit, Standort, Klassifizierung und/oder Verlauf von Objekten und Merkmalen der Umgebung des Fahrzeugs 10. In verschiedenen Ausführungsformen kann das Computer-Sichtsystem 74 Informationen von mehreren Sensoren beinhalten, einschließlich, aber nicht beschränkt auf Kameras, Lidare, Radare und/oder eine beliebige Anzahl anderer Arten von Sensoren.
  • Das Positionierungssystem 76 verarbeitet Sensordaten zusammen mit anderen Daten, um eine Position (z. B. eine lokale Position in Bezug auf eine Karte, eine exakte Position in Bezug auf die Fahrspur einer Straße, Fahrzeugrichtung, Geschwindigkeit usw.) des Fahrzeugs 10 in Bezug auf die Umgebung zu ermitteln. Das Leitsystem 78 verarbeitet Sensordaten zusammen mit anderen Daten, um eine Strecke zu ermitteln, dem das Fahrzeug 10 folgen soll. Das Fahrzeugsteuerungssystem 80 erzeugt Steuersignale zum Steuern des Fahrzeugs 10 entsprechend der ermittelten Strecke.
  • In verschiedenen Ausführungsformen implementiert die Steuerung 34 maschinelle Lerntechniken, um die Funktionalität der Steuerung 34 zu unterstützen, wie z. B. Merkmalerkennung/Klassifizierung, Hindernisminderung, Routenüberquerung, Kartierung, Sensorintegration, Boden-Wahrheitsbestimmung und dergleichen.
  • Wie vorstehend kurz erwähnt, ist ein Teil des Einsatzfahrzeug-Erkennungssystems 100 aus 1 im ADS 70 integriert, beispielsweise als Einsatzfahrzeug-Erkennungssystem 82. Wie zu erkennen ist, kann das Einsatzfahrzeug-Erkennungssystem 82 zwar als separates System dargestellt werden, aber in verschiedenen Ausführungsformen kann das Einsatzfahrzeug-Erkennungssystem 82 ganz oder teilweise in jedes der Bildverarbeitungssysteme 74, die Position im System 76, das Leitsystem 78 und die Fahrzeugsteuerung 80 integriert werden. Mit dem in 3 dargestellten Beispiel kommuniziert das Einsatzfahrzeug-Erkennungssystem 82 mit dem Bildverarbeitungssystem 74, dem Leitsystem 78 und/oder der Fahrzeugsteuerung 80, um verarbeitete Daten vom Sensorsystem 28 zu empfangen, verarbeitete Bilddaten zum Ermitteln des Vorhandenseins eines Einsatzfahrzeugs, verarbeitete Mikrofon- und/oder Radardaten zum Bestätigen einer Steuerstrategie und/oder zum Steuern des Fahrzeugs 10 basierend auf der ermittelten Steuerstrategie.
  • Das Bildverarbeitungssystem 74 liefert beispielsweise dem Einsatzfahrzeug-Erkennungssystem 82 verarbeitete Sensordaten, welche die aus den Kameravorrichtungen kombinierten Bilddaten beinhalten. In verschiedenen Ausführungsformen verarbeitet das Einsatzfahrzeug-Erkennungssystem 82 die Bilddaten für das Vorhandensein eines Musters, beispielsweise von Rot und Blau in Rahmen der Bilddaten (z. B. das Vorhandensein der Farbe Rot in x aufeinanderfolgenden Rahmen und die Farbe Blau in y aufeinanderfolgenden Rahmen oder jede andere Farbkombination) und bestimmt das Vorhandensein eines Einsatzfahrzeugs basierend auf dem Vorhandensein des Musters. Wie zu erkennen ist, können andere Farbmuster, die mit anderen Einsatzfahrzeugen verbunden sind, in verschiedenen Ausführungsformen erkannt werden.
  • In einem weiteren Beispiel liefert das Bildverarbeitungssystem 74 dem Einsatzfahrzeug-Erkennungssystem 82 verarbeitete Radardaten, die den Bilddaten entsprechen. In verschiedenen Ausführungsformen verarbeitet das Einsatzfahrzeug-Erkennungssystem 82 die Radardaten, um einen Abstand des dem Muster zugeordneten Objekts vom Fahrzeug 10 zu ermitteln.
  • In einem weiteren Beispiel liefert das Bildverarbeitungssystem 74 dem Einsatzfahrzeug-Erkennungssystem 82 verarbeitete Mikrofondaten, die den Bilddaten entsprechen. In verschiedenen Ausführungsformen verarbeitet das Einsatzfahrzeug-Erkennungssystem 82 die Mikrofondaten, um einen Abstand des dem Muster zugeordneten Objekts vom Fahrzeug 10 zu ermitteln.
  • In noch einem weiteren Beispiel übermittelt das Einsatzfahrzeug-Erkennungssystem 82 eine Steuerstrategie an das Leitsystem 78. Das Leitsystem 78 wiederum bestimmt einen Weg zum Straßenrand oder aus dem Weg des Einsatzfahrzeugs und/oder übermittelt Benachrichtigungen an das Transportsystem 52 und/oder die Nutzer des Fahrzeugs 10. In noch einem weiteren Beispiel kommuniziert das Einsatzfahrzeug-Erkennungssystem 82 direkt mit der Fahrzeugsteuerung 80, um eine oder mehrere der Stellgliedvorrichtungen des Stellgliedsystems 30 anzusteuern, damit das Fahrzeug 10 so gesteuert wird, dass es autonom zum Straßenrand oder aus dem Weg des Einsatzfahrzeugs navigiert. In noch einem weiteren Beispiel kommuniziert das Einsatzfahrzeug-Erkennungssystem 82 mit der Fahrzeugsteuerung 80, um eine oder mehrere Stellgliedvorrichtungen des Stellgliedsystems 30 anzusteuern, um das Fahrzeug so zu steuern, dass es autonom zur Route zurück navigiert, die durch die Notfallbedingung verlassen wurde.
  • Wie in Bezug auf 4 und unter fortlaufender Bezugnahme auf die 1A, 1B und 3 dargestellt, veranschaulicht ein Flussdiagramm ein Steuerverfahren 400, das vom Einsatzfahrzeug-Erkennungssystem 82 aus 3 gemäß der vorliegenden Offenbarung ausgeführt werden kann. Wie angesichts der Offenbarung leicht zu verstehen, ist die Reihenfolge des Betriebs innerhalb des Verfahrens nicht auf die sequentielle Ausführung, wie in 4 gezeigt, beschränkt, sondern kann in einer oder mehreren variierenden Reihenfolgen, wie anwendbar, und gemäß der vorliegenden Offenbarung ausgeführt werden. In verschiedenen Ausführungsformen kann das Verfahren 400 basierend auf einem oder mehreren vordefinierten Ereignissen zur Ausführung geplant werden und/oder kontinuierlich während des Betriebs des autonomen Fahrzeugs 10 ausgeführt werden.
  • In einem Beispiel kann das Verfahren bei 405 beginnen. Sensordaten werden von den Kameravorrichtungen, dem Mikrofon, dem Radargerät und/oder der Lidarvorrichtung bei 410 empfangen. Die Bilddaten oder Lidardaten werden verarbeitet, um zu bestimmen, ob ein Muster aus roter und blauer Farbe (oder anderen Farben mit zum Beispiel einem berechneten RGB-Wert) über den Datenrahmen bei 420 liegt. Wenn das Muster bei 430 vorhanden ist, wird bestimmt, ob ein Einsatzfahrzeug im Sichtfeld des Fahrzeugs 10 bei 435 vorhanden ist. Wenn kein Muster existiert, kann das Verfahren bei 470 enden.
  • Wenn ein Muster existiert und ein Einsatzfahrzeug bei 430 und 435 vorhanden ist, wird eine Steuerstrategie bei 440-500 bestimmt.
  • So werden beispielsweise in verschiedenen Ausführungsformen die Bilddaten weiterverarbeitet, um zu bestimmen, ob das Muster in einem der Umgebung hinter dem Fahrzeug 10 zugeordneten Bild (z. B. Bilddaten von rückwärts gerichteten Kameravorrichtungen) für einen Zeitraum (z. B. eine Zeit größer als ein vordefinierter Schwellenwert) oder eine zurückgelegte Strecke (z. B. eine Strecke größer als ein vordefinierter Schwellenwert) bei 440 vorhanden ist, eine erste Pull-over-Steuerstrategie bei 450 ausgewählt ist. Die erste Steuerstrategie kann beispielsweise das Fahrzeug 10 bis zu einem Stopp an einer nächstgelegenen Stelle am Straßenrand steuern und am Stopp verharren, bis das Muster im Sichtfeld nicht mehr vorhanden ist. Daraus wird ersichtlich, dass weitere Steuerstrategien in verschiedenen Ausführungsformen zur Anwendung kommen können. Die Steuersignale werden zum Steuern einer oder mehrerer Stellgliedvorrichtungen basierend auf der ersten Steuerstrategie bei 460 erzeugt. Danach kann das Verfahren bei 470 enden.
  • Wenn bei 440 ermittelt wird, dass ein Muster vorhanden ist, jedoch nicht in einem Bild, das mit der Umgebung hinter dem Fahrzeug 10 oder für einen Zeitraum oder eine zurückgelegte Strecke verbunden ist, wird ermittelt, dass sich das Einsatzfahrzeug nicht direkt hinter dem Fahrzeug 10 bei 465 befindet. Die Audiodaten werden dann verarbeitet, um die Audiodaten (vom Mikrofon) zu bestimmen, die in einem Bereich, der mit einem Sirenengeräusch bei 480 verbunden ist, steigende Dezibel (dBs) anzeigen. Wenn die Dezibel (dBs) innerhalb eines Bereichs, der einem Sirenengeräusch bei 480 zugeordnet ist, ansteigen, dann wird bestimmt, dass sich das Einsatzfahrzeug auf das Fahrzeug 10 bei 490 zubewegt; und eine zweite Steuerstrategie wird bei 500 ausgewählt. Die zweite Steuerstrategie kann beispielsweise das Fahrzeug 10 auf eine Verzögerung oder einen Stopp an einer Stelle am Straßenrand steuern und am Straßenrand weiterfahren, bis die Audiodaten anzeigen, dass die Dezibel nun abnehmen. Daraus wird ersichtlich, dass weitere Steuerstrategien in verschiedenen Ausführungsformen zur Anwendung kommen können. Die Steuersignale werden zum Steuern einer oder mehrerer Stellgliedvorrichtungen basierend auf der zweiten Steuerstrategie bei 500 erzeugt; und das Verfahren kann bei 470 enden.
  • Während mindestens eine exemplarische Ausführungsform in der vorstehenden ausführlichen Beschreibung dargestellt wurde, versteht es sich, dass es eine große Anzahl an Varianten gibt. Es versteht sich weiterhin, dass die exemplarische Ausführungsform oder die exemplarischen Ausführungsformen lediglich Beispiele sind und den Umfang, die Anwendbarkeit oder die Konfiguration dieser Offenbarung in keiner Weise einschränken sollen. Die vorstehende ausführliche Beschreibung stellt Fachleuten auf dem Gebiet vielmehr einen zweckmäßigen Plan zur Implementierung der exemplarischen Ausführungsform bzw. der exemplarischen Ausführungsformen zur Verfügung. Es versteht sich, dass verschiedene Veränderungen an der Funktion und der Anordnung von Elementen vorgenommen werden können, ohne vom Umfang der Offenbarung, wie er in den beigefügten Ansprüchen und deren rechtlichen Entsprechungen aufgeführt ist, abzuweichen.

Claims (10)

  1. Verfahren zum Steuern eines autonomen Fahrzeugs, Folgendes umfassend: Empfangen von Bilddaten von einer mit dem autonomen Fahrzeug gekoppelten Kameravorrichtung; Berechnen, durch einen Prozessor, eines Werts basierend auf den Bilddaten; Bestimmen, durch einen Prozessor, eines Vorhandenseins eines Einsatzfahrzeugs basierend auf dem berechneten Wert; Auswählen, durch einen Prozessor, einer ersten Steuerstrategie basierend auf dem bestimmten Vorhandensein eines Einsatzfahrzeugs; und Erzeugen mindestens eines Signals durch einen Prozessor zum autonomen Steuern des autonomen Fahrzeugs basierend auf der Steuerstrategie.
  2. Verfahren nach Anspruch 1, worin das Berechnen des Werts das Berechnen eines Farbwerts basierend auf den Bilddaten umfasst.
  3. Verfahren nach Anspruch 2, worin der Farbwert ein Rotwert oder ein Blauwert ist.
  4. Verfahren nach Anspruch 2, worin das Berechnen des Werts das Berechnen eines Farbmusters über Rahmen der Bilddaten umfasst.
  5. Verfahren nach Anspruch 4, worin die Farben Rot und Blau umfassen.
  6. Verfahren nach Anspruch 1, worin das Berechnen des Werts das Berechnen eines Farbmusters in einem Bild umfasst, das einer Umgebung hinter dem autonomen Fahrzeug zugeordnet ist.
  7. Verfahren nach Anspruch 1, weiterhin umfassend das Empfangen von Audiodaten von einem mit dem autonomen Fahrzeug gekoppelten Mikrofon, das Berechnen eines Werts aus den Audiodaten und das Bestimmen, durch einen Prozessor, einer Fahrtrichtung des Einsatzfahrzeugs basierend auf dem berechneten Wert.
  8. Verfahren nach Anspruch 7, weiterhin umfassend das Auswählen, durch einen Prozessor, einer zweiten Steuerstrategie basierend auf der Fahrtrichtung.
  9. System zum Steuern eines autonomen Fahrzeugs, umfassend: ein nichtflüchtiges computerlesbares Medium, umfassend: ein erstes Modul, das konfiguriert ist, um über einen Prozessor Bilddaten von einer mit dem autonomen Fahrzeug gekoppelten Kameravorrichtung zu empfangen; ein zweites Modul, das konfiguriert ist, um durch einen Prozessor einen Wert basierend auf den Bilddaten zu berechnen und eine Existenz eines Einsatzfahrzeugs basierend auf dem berechneten Wert zu bestimmen; ein drittes Modul, das konfiguriert ist, um durch einen Prozessor eine erste Steuerstrategie basierend auf der ermittelten Existenz eines Einsatzfahrzeugs auszuwählen; und ein viertes Modul, das konfiguriert ist, um durch einen Prozessor mindestens ein Signal zur autonomen Steuerung des autonomen Fahrzeugs basierend auf der Steuerstrategie zu erzeugen.
  10. System nach Anspruch 9, worin das zweite Modul den Wert durch Berechnen eines Farbwerts basierend auf den Bilddaten berechnet.
DE102018114600.0A 2017-06-19 2018-06-18 Systeme und verfahren zum reagieren auf einsatzfahrzeuge in einem autonomen fahrzeug Pending DE102018114600A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/627,304 US10431082B2 (en) 2017-06-19 2017-06-19 Systems and methods for emergency vehicle response in an autonomous vehicle
US15/627304 2017-06-19

Publications (1)

Publication Number Publication Date
DE102018114600A1 true DE102018114600A1 (de) 2018-12-20

Family

ID=64457257

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102018114600.0A Pending DE102018114600A1 (de) 2017-06-19 2018-06-18 Systeme und verfahren zum reagieren auf einsatzfahrzeuge in einem autonomen fahrzeug

Country Status (3)

Country Link
US (1) US10431082B2 (de)
CN (1) CN109131328A (de)
DE (1) DE102018114600A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019215668A1 (de) * 2019-10-11 2021-04-15 Zf Friedrichshafen Ag Verfahren zur Erfassung und Interpretation von Schallereignissen bei einem autonom fahrenden Fahrzeug

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10247565B2 (en) 2016-04-11 2019-04-02 State Farm Mutual Automobile Insurance Company Traffic risk avoidance for a route selection system
US10019904B1 (en) 2016-04-11 2018-07-10 State Farm Mutual Automobile Insurance Company System for identifying high risk parking lots
US10872379B1 (en) 2016-04-11 2020-12-22 State Farm Mutual Automobile Insurance Company Collision risk-based engagement and disengagement of autonomous control of a vehicle
US11851041B1 (en) 2016-04-11 2023-12-26 State Farm Mutual Automobile Insurance Company System for determining road slipperiness in bad weather conditions
US10486708B1 (en) 2016-04-11 2019-11-26 State Farm Mutual Automobile Insurance Company System for adjusting autonomous vehicle driving behavior to mimic that of neighboring/surrounding vehicles
US10026309B1 (en) 2016-04-11 2018-07-17 State Farm Mutual Automobile Insurance Company Networked vehicle control systems to facilitate situational awareness of vehicles
US10233679B1 (en) * 2016-04-11 2019-03-19 State Farm Mutual Automobile Insurance Company Systems and methods for control systems to facilitate situational awareness of a vehicle
US10222228B1 (en) 2016-04-11 2019-03-05 State Farm Mutual Automobile Insurance Company System for driver's education
US10319228B2 (en) * 2017-06-27 2019-06-11 Waymo Llc Detecting and responding to sirens
US10565873B1 (en) * 2017-08-18 2020-02-18 State Farm Mutual Automobile Insurance Company Emergency vehicle detection and avoidance systems for autonomous vehicles
US10796571B2 (en) * 2019-01-31 2020-10-06 StradVision, Inc. Method and device for detecting emergency vehicles in real time and planning driving routes to cope with situations to be expected to be occurred by the emergency vehicles
JP6931370B2 (ja) * 2019-03-25 2021-09-01 本田技研工業株式会社 車両制御装置、車両制御方法、及びプログラム
US11892835B2 (en) 2019-07-26 2024-02-06 Zoox, Inc. System and method for controlling an autonomous vehicle
CN114341759A (zh) * 2019-07-26 2022-04-12 祖克斯有限公司 用于将远程操作指令提供到自主车辆的系统和方法
US11409278B2 (en) 2019-07-26 2022-08-09 Zoox, Inc. System and method for providing a teleoperation instruction to an autonomous vehicle
US11216689B2 (en) * 2019-07-29 2022-01-04 Waymo Llc Detection of emergency vehicles
US11620903B2 (en) * 2021-01-14 2023-04-04 Baidu Usa Llc Machine learning model to fuse emergency vehicle audio and visual detection
US11768283B2 (en) 2021-05-03 2023-09-26 Waymo Llc Sound source distance estimation
US11952014B2 (en) 2021-10-29 2024-04-09 Waymo Llc Behavior predictions for active emergency vehicles

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2680902B1 (fr) * 1991-08-28 1993-12-03 Centaure Dispositif de simulation de l'apparition d'un obstacle, pour installation d'education et de perfectionnement a la conduite de vehicules automobiles.
US7663504B2 (en) * 2005-12-08 2010-02-16 Sean Robert Votaw Emergency vehicle warning system
US8890674B2 (en) * 2011-06-07 2014-11-18 Continental Automotive Systems, Inc. Driver assistance detection system
US8849557B1 (en) * 2012-11-15 2014-09-30 Google Inc. Leveraging of behavior of vehicles to detect likely presence of an emergency vehicle
US9576208B2 (en) * 2013-12-11 2017-02-21 Continental Automotive Systems, Inc. Emergency vehicle detection with digital image sensor
US9335178B2 (en) * 2014-01-28 2016-05-10 GM Global Technology Operations LLC Method for using street level images to enhance automated driving mode for vehicle
US20160252905A1 (en) * 2014-08-28 2016-09-01 Google Inc. Real-time active emergency vehicle detection
US9278689B1 (en) * 2014-11-13 2016-03-08 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous vehicle detection of and response to emergency vehicles
CA3033242A1 (en) * 2016-08-09 2018-02-15 Contrast, Inc. Real-time hdr video for vehicle control
US10127818B2 (en) * 2017-02-11 2018-11-13 Clear Commute Ventures Pty Ltd Systems and methods for detecting and avoiding an emergency vehicle in the proximity of a substantially autonomous vehicle

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019215668A1 (de) * 2019-10-11 2021-04-15 Zf Friedrichshafen Ag Verfahren zur Erfassung und Interpretation von Schallereignissen bei einem autonom fahrenden Fahrzeug

Also Published As

Publication number Publication date
US10431082B2 (en) 2019-10-01
US20180364732A1 (en) 2018-12-20
CN109131328A (zh) 2019-01-04

Similar Documents

Publication Publication Date Title
DE102018114600A1 (de) Systeme und verfahren zum reagieren auf einsatzfahrzeuge in einem autonomen fahrzeug
DE102018132981B4 (de) Autonomes fahrsystem, computerimplementiertes verfahren und autonomes fahrzeug zur ampelzustandsbewertung
DE102018129066B4 (de) Systeme und verfahren für ungeschütztes linksabbiegen in situationen mit hohem verkehrsaufkommen in autonomen fahrzeugen
DE102018129048B4 (de) Verfahren zum durchführen einer autonomen fahrzeugbetriebsanalyse
DE102018121124A1 (de) Verfahren und Systeme zum Erzeugen von Echtzeit-Karteninformationen
DE102018114596A1 (de) Systeme und verfahren zum reinigen eines fahrzeugs
DE102018121122A1 (de) Systeme und Verfahren zur Fahrzeugsignalleuchtenerfassung
DE102018122588A1 (de) Systeme und verfahren zur zusammenarbeit zwischen autonomen fahrzeugen
DE102018117429A1 (de) Klassifizierungsverfahren und -systeme
DE102018129074A1 (de) Systeme und verfahren zum umfahren von hindernissen in autonomen fahrzeugen
DE102018116001A1 (de) Verfahren und systeme zur erkennung des toten winkels in einem autonomen fahrzeug
DE102018130566A1 (de) Autonomer fahrzeugbetrieb mit automatisierter unterstützung
DE102019110184A1 (de) Systeme und verfahren zum autonomen fahren unter verwendung eines auf neuronalen netzwerken basierten fahrerlernens auf tokenizierten sensoreingaben
DE102019100569A1 (de) Systeme und verfahren zum mindern von ungeschützten manövern in autonomen fahrzeugen
DE102017130936A1 (de) Expertenmodus für Fahrzeuge
DE102018110153A1 (de) Systeme und verfahren zur hindernisvermeidung und wegplanung in autonomen fahrzeugen
DE102018106353A1 (de) Vorübergehende datenzuordnungen zum betreiben von autonomen fahrzeugen
DE102018129064A1 (de) Systeme und verfahren zur geschwindigkeitsanpassung für einen bevorstehenden spurwechsel in autonomen fahrzeugen
DE102018122458A1 (de) Weg-planung eines autonomen fahrzeugs für freihaltezonen
DE102018132982A1 (de) Systeme und verfahren zum ausrichten einer trägheitsmesseinheit in einem fahrzeug
DE102019107485A1 (de) Bewegung eines autonomen fahrzeugs um stationäre fahrzeuge herum
DE102018114040A1 (de) Systeme und verfahren zur implementierung von fahrmodi in autonomen fahrzeugen
DE102018130574A1 (de) Erfassung und neukalibrierung für ein kamerasystem unter verwendung von lidar-daten
DE102018114328A1 (de) Systeme und Verfahren zur externen Warnung durch ein autonomes Fahrzeug
DE102018114327A1 (de) Streckentraversalfähigkeit für automatisiertes Fahrzeug

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R082 Change of representative

Representative=s name: MANITZ FINSTERWALD PATENT- UND RECHTSANWALTSPA, DE

Representative=s name: MANITZ FINSTERWALD PATENTANWAELTE PARTMBB, DE

R016 Response to examination communication