DE102021133349A1

DE102021133349A1 - Einsatzfahrzeugdetektionssystem und -verfahren

Info

Publication number: DE102021133349A1
Application number: DE102021133349.0A
Authority: DE
Inventors: Paul Schmitt; Jugal Buddhadev; Alex Hunter Lang
Original assignee: Motional AD LLC
Current assignee: Motional AD LLC
Priority date: 2021-08-26
Filing date: 2021-12-15
Publication date: 2023-03-02
Also published as: US11364910B1; KR20230031103A; KR102534562B1; CN115718484A; GB2610240A; US20230063047A1

Abstract

In einer Ausführungsform umfasst ein Verfahren: Empfangen eines Umgebungsgeräusches; Bestimmen, ob das Umgebungsgeräusch eine Sirene beinhaltet; gemäß dem Bestimmen, dass das Umgebungsgeräusch eine Sirene beinhaltet, Bestimmen eines ersten Standorts, der mit der Sirene assoziiert ist; Empfangen eines Kamerabildes; Bestimmen, ob das Kamerabild eine Blinkleuchte beinhaltet; gemäß dem Bestimmen, dass das Kamerabild eine Blinkleuchte beinhaltet, Bestimmen eines zweiten Standorts, der mit der Blinkleuchte assoziiert ist; 3D-Daten; Bestimmen, ob die 3D-Daten ein Objekt beinhalten; gemäß dem Bestimmen, dass die 3D-Daten ein Objekt beinhalten, Bestimmen eines dritten Standorts, der mit dem Objekt assoziiert ist; Bestimmen eines Vorhandenseins eines Einsatzfahrzeugs basierend auf der Sirene, der detektierten Blinkleuchte und dem detektierten Objekt; Bestimmen eines geschätzten Standorts des Einsatzfahrzeugs basierend auf dem ersten, zweiten und dritten Standort; und Initiieren einer Handlung bezüglich des Fahrzeugs basierend auf dem bestimmten Vorhandensein und dem Standort.

Description

GEBIET DER ERFINDUNG
Die folgende Beschreibung betrifft autonome Fahrzeugsysteme.
HINTERGRUND
Autonome Fahrzeuge beinhalten mehrere Sensoren (z. B. Kameras, RADAR, LiDAR), die zum Sammeln von Daten über die Betriebsumgebung des Fahrzeugs verwendet werden. Die Daten werden durch das Fahrzeug verwendet, um die Zustände von Agenten in der Betriebsumgebung vorherzusagen und eine Trajektorie für das Fahrzeug in der Betriebsumgebung zu planen und auszuführen, die verschiedene Regeln und Beschränkungen berücksichtigt, wie etwa Kartenbeschränkungen (z. B. befahrbarer Bereich), Sicherheitsbeschränkungen (z. B. Vermeiden von Kollisionen mit anderen Objekten) und Passagierkomfortbeschränkungen (z. B. Minimieren scharfer Kurven, des starken Abbremsens und schneller Beschleunigungen/Verlangsamungen).
In einer typischen Fahrzeugbetriebsumgebung ist es wahrscheinlich, dass das autonome Fahrzeug einem Einsatzfahrzeug (z. B. Feuerwehrfahrzeug, Krankenwagen) begegnen wird. In den Vereinigten Staaten müssen Fahrzeugbetreiber Sirenen und Blinkleuchten von Einsatzfahrzeugen erkennen und auf diese reagieren. Die Reaktion des Fahrzeugbetreibers hängt von dem Standort des Einsatzfahrzeugs ab. Falls sich das Einsatzfahrzeug beispielsweise hinter dem Fahrzeug befindet, muss der Fahrzeugbetreiber dem Einsatzfahrzeug Vorfahrt gewähren. Falls sich das Einsatzfahrzeug vor dem Fahrzeug befindet, vielleicht an einem Notfallort, muss der Fahrzeugbetreiber in vielen Bundesstaaten einen Sicherheitspuffer (z.B. einen Mindestabstand) zwischen dem Fahrzeug und dem Einsatzfahrzeug bereitstellen (z.B. Gesetze hinsichtlich „zur Seite fahren“).
Gegenwärtige Einsatzfahrzeugdetektionssysteme detektieren möglicherweise nur Sirenen oder Blinkleuchten. Obwohl Blinkleuchten das vorherrschende Verfahren ist, werden Blinkleuchten möglicherweise häufig durch Lastkraftwagen, Schilder oder Gebäude von der Sicht blockiert.
KURZDARSTELLUNG
Es sind Techniken für ein Einsatzfahrzeugdetektionssystem und -verfahren bereitgestellt.
In einer Ausführungsform umfasst ein Verfahren: Empfangen, mit mindestens einem Prozessor, eines Umgebungsgeräusches; Bestimmen, mit dem mindestens einen Prozessor, ob das Umgebungsgeräusch ein Sirenengeräusch beinhaltet; gemäß dem Bestimmen, dass das Umgebungsgeräusch ein Sirenengeräusch beinhaltet, Bestimmen, mit dem mindestens einen Prozessor, eines ersten Standorts, der mit dem Sirenengeräusch assoziiert ist; Empfangen, mit dem mindestens einen Prozessor, eines Kamerabildes; Bestimmen, mit dem mindestens einen Prozessor, ob das Kamerabild eine Blinkleuchte beinhaltet; gemäß dem Bestimmen, dass das Kamerabild eine Blinkleuchte beinhaltet, Bestimmen, mit dem mindestens einen Prozessor, eines zweiten Standorts, der mit der Blinkleuchte assoziiert ist; Empfangen, mit dem mindestens einen Prozessor, dreidimensionaler (3D) Daten; Bestimmen, mit dem mindestens einen Prozessor, ob die 3D-Daten ein Objekt beinhalten; gemäß dem Bestimmen, dass die 3D-Daten ein Objekt beinhalten, Bestimmen, mit dem mindestens einen Prozessor, eines dritten Standorts, der mit dem Objekt assoziiert ist; Bestimmen, mit dem mindestens einen Prozessor, eines Vorhandenseins eines Einsatzfahrzeugs basierend auf dem Sirenengeräusch, der detektierten Blinkleuchte und dem detektierten Objekt; Bestimmen, mit dem mindestens einen Prozessor, eines geschätzten Standorts des Einsatzfahrzeugs basierend auf dem ersten, zweiten und dritten Standort; und Initiieren, mit dem mindestens einen Prozessor, einer Handlung bezüglich des Fahrzeugs basierend auf dem bestimmten Vorhandensein und dem Standort des Einsatzfahrzeugs.
In einer Ausführungsform umfasst das Bestimmen, ob das Umgebungsgeräusch ein Sirenengeräusch beinhaltet, ferner: Umwandeln des Umgebungsgeräusches in digitale Signale; Analysieren der digitalen Signale auf Fehler und Blockierungssignaturen; falls Fehler oder Blockierungssignaturen detektiert werden, Benachrichtigen eines Diagnosesystems, um eine Ursache der Fehler oder Blockierungssignaturen zu bestimmen; falls keine Fehler oder Blockierungssignaturen detektiert werden, Analysieren der digitalen Signale auf Sirenengeräusche.
In einer Ausführungsform umfasst das Bestimmen, ob das Umgebungsgeräusch ein Sirenengeräusch beinhaltet, ferner: Umwandeln des Umgebungsgeräusches in digitale Signale; Filtern von Rauschen aus den digitalen Signalen; Vergleichen der digitalen Signale mit Referenzsignalen; und Bestimmen einer Sirenengeräuschdetektion basierend auf Ergebnissen des Vergleichens.
In einer Ausführungsform umfasst das Bestimmen, ob das Umgebungsgeräusch ein Sirenengeräusch beinhaltet, ferner: Umwandeln des Umgebungsgeräusches in digitale Signale; Analysieren, unter Verwendung von maschinellem Lernen, der digitalen Signale; und Bestimmen einer Sirenengeräuschdetektion basierend auf Ergebnissen des Analysierens.
In einer Ausführungsform umfasst das Verfahren ferner Bestimmen eines Konfidenzniveaus der Sirenendetektion.
In einer Ausführungsform wird der erste Standort, der mit einer Quelle des Sirenengeräusches assoziiert ist, basierend auf einer Geräuschlokalisierung auf Basis einer Laufzeit(TOF)-Analyse (TOF: Time of Flight) von Signalen bestimmt, die durch mehrere Mikrofone, die rund um das Fahrzeug positioniert sind, ausgegeben werden.
In einer Ausführungsform wird der erste Standort, der mit der Quelle des Sirenengeräusches assoziiert ist, basierend auf Standorten und Orientierungen mehrerer unidirektionaler Mikrofone bestimmt und der erste Standort wird basierend auf einer Intensität eines Schlüsselsignatursignals bestimmt, das aus einer Analyse von Ausgabesignalen der mehreren unidirektionalen Mikrofone und ihrer jeweiligen Standorte und Orientierungen erhalten wird.
In einer Ausführungsform umfasst das Bestimmen, ob das Kamerabild eine Blinkleuchte beinhaltet, ferner: Analysieren des Kamerabildes auf Fehler und Blockierungssignaturen; falls Fehler oder Blockierungssignaturen detektiert werden, Benachrichtigen eines Diagnosesystems, um eine Ursache der Fehler oder Blockierungssignaturen zu bestimmen; falls keine Fehler oder Blockierungssignaturen detektiert werden, Analysieren des Kamerabildes, um zu bestimmen, ob das Kamerabild eine Blinkleuchte beinhaltet.
In einer Ausführungsform umfasst das Bestimmen, ob das Kamerabild eine Blinkleuchte beinhaltet, ferner: Filtern des Kamerabildes, um Lichtsignale niedriger Intensität zu entfernen, was zu einem Bild hoher Intensität führt; Vergleichen des Bildes hoher Intensität mit einem Referenzbild; und Bestimmen einer Blinkleuchtendetektion basierend auf Ergebnissen des Vergleichens.
In einer Ausführungsform umfasst das Bestimmen, ob das Kamerabild eine Blinkleuchte beinhaltet, ferner: Analysieren, unter Verwendung von maschinellem Lernen, des Kamerabildes; und Vorhersagen einer Blinkleuchtendetektion basierend auf Ergebnissen des Analysierens.
In einer Ausführungsform umfasst das Verfahren ferner Bestimmen eines Konfidenzniveaus der Blinkleuchtendetektion.
In einer Ausführungsform beinhaltet das Analysieren, unter Verwendung von maschinellem Lernen, Analysieren des Kamerabildes unter Verwendung eines neuronalen Netzwerks, das dahingehend trainiert ist, helle Blinkleuchten von anderen hellen Lichtern zu unterscheiden.
In einer Ausführungsform wird der zweite Standort, der mit der Blinkleuchte assoziiert ist, bestimmt durch: Detektieren von Blinkleuchtensignaturen in mehreren Kamerabildern, die durch mehrere Kameras erfasst werden; und Bestimmen eines radialen Standorts der Blinkleuchte basierend auf einer Position und Orientierung jeder Kamera der mehreren Kameras; oder Bestimmen des zweiten Standorts basierend auf einer Triangulation der Positionen und Orientierungen der mehreren Kameras.
In einer Ausführungsform umfasst das Bestimmen, ob die 3D-Daten ein Objekt beinhalten, ferner: Analysieren der 3D-Daten auf Fehler und Blockierungssignaturen; falls Fehler oder Blockierungssignaturen detektiert werden, Benachrichtigen eines Diagnosesystems, um eine Ursache der Fehler oder Blockierungssignaturen zu bestimmen; falls keine Fehler oder Blockierungssignaturen detektiert werden, Analysieren der 3D-Daten, um zu bestimmen, ob die 3D-Daten ein Objekt beinhalten.
In einer Ausführungsform umfasst das Bestimmen, ob die 3D-Daten ein Objekt beinhalten, ferner: Filtern der 3D-Daten, um Rauschen zu entfernen; Aufteilen der 3D-Daten in Gruppen mit ähnlichen Charakteristiken; und Analysieren, unter Verwendung von maschinellem Lernen, der Gruppen, um eine Objektdetektion zu bestimmen.
In einer Ausführungsform umfasst das Verfahren ferner: Bestimmen eines Konfidenzniveaus der Objektdetektion.
In einer Ausführungsform umfasst das Bestimmen des dritten Standorts Bestimmen eines radialen Standorts des Objekts basierend auf einer Analyse einer Sensorposition und Orientierung eines Sensors, der das Objekt detektierte.
In einer Ausführungsform umfasst das Bestimmen des dritten Standorts Bestimmen eines radialen Standorts des Objekts basierend auf einer Analyse einer Sensorposition und Orientierung eines Sensors, der das Objekt detektierte.
In einer Ausführungsform umfasst das Bestimmen des Vorhandenseins und des Standorts des Einsatzfahrzeugs ferner: Vergleichen der Sirenen-, Blinkleuchten- und Objektdetektionen, um zu bestimmen, ob die Sirenen-, Blinkleuchten- und Objektdetektionen übereinstimmen; und gemäß dem Bestimmen einer Übereinstimmung, Erzeugen eines Signals, das das Vorhandensein des Notfalls angibt.
In einer Ausführungsform umfasst das Verfahren ferner Verfolgen des Einsatzfahrzeugs basierend auf dem Standort des Einsatzfahrzeugs.
In einer Ausführungsform umfasst ein System: mindestens einen Prozessor; Speicher, der Anweisungen speichert, die bei Ausführung durch den mindestens einen Prozessor bewirken, dass der mindestens eine Prozessor ein beliebiges der oben angeführten Verfahren durchführt.
In einer Ausführungsform weist ein computerlesbares Speicherungsmedium darauf gespeicherte Anweisung auf, die bei Ausführung durch mindestens einen Prozessor bewirken, dass der mindestens eine Prozessor beliebige der oben angeführten Verfahren durchführt.
Eine oder mehrere der offenbarten Ausführungsformen liefern einen oder mehrere der folgenden Vorteile. Ein Fahrzeug kann das Vorhandensein und den Standort von Einsatzfahrzeugen genau bestimmen und Fahrzeugverhalten als Reaktion auf diese Detektion gemäß bundesstaatlichen Fahrzeugbetreiberbestimmungen, wie etwa Vorfahrt gewähren und zur Seite fahren, ausführen. In einer Ausführungsform kann ein Planer, ein Wahrnehmungsmodul, eine Fahrzeugsteuerung oder eine beliebige andere Anwendung oder ein beliebiges anderes Untersystem eines teilautonomen oder vollautonomen Fahrzeugs genauere Bestimmungen von Agentenzuständen (z. B. Position, vektorielle Geschwindigkeit, Kurs) in der Betriebsumgebung des Fahrzeugs vornehmen, einschließlich unter anderem das Bestimmen, dass andere Fahrzeuge langsamer oder dem Einsatzfahrzeug ausweichen werden. In einer Ausführungsform kann eine Cloud-basierte Fahrzeugfernassistenzfunktion aktiviert werden, um ein Antreffen eines Einsatzfahrzeugs zu überwachen/zu verwalten und falls erforderlich eine Handlung vorzunehmen, wie etwa eine temporäre Steuerung des Fahrzeugs zu übernehmen.
Diese und andere Aspekte, Merkmale und Implementierungen können als Verfahren, Einrichtungen, Systeme, Komponenten, Programmprodukte, Mittel oder Schritte zum Durchführen einer Funktion und auf andere Weisen ausgedrückt werden. Diese und andere Aspekte, Merkmale und Implementierungen werden aus den folgenden Beschreibungen, einschließlich der Ansprüche, ersichtlich werden.
Figurenliste

1 zeigt ein Beispiel eines autonomen Fahrzeugs (AV) mit autonomer Fähigkeit gemäß einer oder mehreren Ausführungsformen.
2 veranschaulicht eine beispielhafte „Cloud“-Rechenumgebung gemäß einer oder mehreren Ausführungsformen.
3 veranschaulicht ein Computersystem gemäß einer oder mehreren Ausführungsformen.
4 zeigt eine beispielhafte Architektur für ein AV gemäß einer oder mehreren Ausführungsformen.
5 ist ein Blockdiagramm eines Einsatzfahrzeugdetektionssystems gemäß einer oder mehreren Ausführungsformen.
6 ist ein Blockdiagramm des in 5 gezeigten Sirenengeräuschdetektions- und -lokalisierungssystems 501 gemäß einer oder mehreren Ausführungsformen.
7 ist ein Blockdiagramm des in 5 gezeigten Blinkleuchtendetektions- und -lokalisierungssystems gemäß einer oder mehreren Ausführungsformen.
8 ist ein Blockdiagramm des in 5 gezeigten Objektdetektions- und -lokalisierungssystems gemäß einer oder mehreren Ausführungsformen.
9 ist ein Flussdiagramm eines Einsatzfahrzeugdetektionsprozesses, der durch das Einsatzfahrzeugdetektionssystem durchgeführt wird, gemäß einer oder mehreren Ausführungsformen.

AUSFÜHRLICHE BESCHREIBUNG
In der folgenden Beschreibung werden für Erläuterungszwecke zahlreiche spezifische Einzelheiten dargelegt, um ein umfassendes Verständnis der vorliegenden Erfindung bereitzustellen. Es versteht sich jedoch, dass die vorliegende Erfindung ohne diese spezifischen Einzelheiten umgesetzt werden kann. In anderen Fällen sind wohlbekannte Strukturen und Vorrichtungen in Blockdiagrammform gezeigt, um zu verhindern, die vorliegende Erfindung unnötig unklar zu machen.
In den Zeichnungen sind spezifische Anordnungen oder Ordnungen schematischer Elemente, wie etwa jenen, die Vorrichtungen, Module, Anweisungsblöcke und Datenelemente repräsentieren, zur Vereinfachung der Beschreibung gezeigt. Fachleute auf dem Gebiet sollten jedoch verstehen, dass die spezifische Ordnung oder Anordnung der schematischen Elemente in den Zeichnungen nicht andeuten soll, dass eine spezielle Verarbeitungsreihenfolge oder -abfolge oder Trennung von Prozessen erforderlich ist. Ferner soll der Einschluss eines schematischen Elements in einer Zeichnung nicht andeuten, dass ein solches Element in allen Ausführungsformen erforderlich ist oder dass die durch ein solches Element repräsentierten Merkmale möglicherweise bei manchen Ausführungsformen nicht in anderen Elementen enthalten sind oder mit diesen kombiniert werden.
Ferner soll in den Zeichnungen, in denen Verbindungselemente wie etwa durchgezogene oder gestrichelte Linien oder Pfeile verwendet werden, um eine Verbindung, Beziehung oder Zuordnung zwischen oder unter zwei oder mehr anderen schematischen Elementen zu veranschaulichen, das Nichtvorhandensein jeglicher solcher Verbindungselemente nicht andeuten, dass keine Verbindung, Beziehung oder Zuordnung bestehen kann. Mit anderen Worten sind manche Verbindungen, Beziehungen oder Zuordnungen zwischen Elementen in den Zeichnungen nicht gezeigt, um die Offenbarung nicht unklar zu machen. Zusätzlich wird zur Vereinfachung der Veranschaulichung ein einzelnes Verbindungselement verwendet, um mehrere Verbindungen, Beziehungen oder Zuordnungen zwischen Elementen zu repräsentieren. Wenn ein Verbindungselement eine Kommunikation von Signalen, Daten oder Anweisungen repräsentiert, sollten Fachleute auf dem Gebiet beispielsweise verstehen, dass ein solches Element einen oder mehrere Signalpfade (z. B. einen Bus) repräsentiert, wie erforderlich, um die Kommunikation zu bewirken.
Nun wird ausführlicher Bezug auf Ausführungsformen genommen, von denen Beispiele in den begleitenden Zeichnungen veranschaulicht sind. In der folgenden ausführlichen Beschreibung werden zahlreiche spezifische Einzelheiten dargelegt, um ein umfassendes Verständnis der verschiedenen beschriebenen Ausführungsformen bereitzustellen. Ein Durchschnittsfachmann auf dem Gebiet wird jedoch verstehen, dass die verschiedenen beschriebenen Ausführungsformen ohne diese spezifischen Einzelheiten umgesetzt werden können. In anderen Fällen sind wohlbekannte Verfahren, Prozeduren, Komponenten, Schaltungen und Netzwerke nicht ausführlich beschrieben, damit Aspekte der Ausführungsformen nicht unnötig unklar gemacht werden.
Nachfolgend sind mehrere Merkmale beschrieben, die jeweils unabhängig voneinander oder mit einer beliebigen Kombination anderer Merkmale verwendet werden können. Ein jegliches individuelles Merkmal spricht jedoch möglicherweise keine der oben besprochenen Probleme an oder könnte nur eines der oben besprochenen Probleme ansprechen. Einige der oben besprochenen Probleme können möglicherweise nicht vollständig durch irgendwelche der hierin beschriebenen Merkmale angesprochen werden. Obwohl Überschriften bereitgestellt sind, können Informationen bezüglich einer speziellen Überschrift, die jedoch nicht in dem Abschnitt mit dieser Überschrift gefunden werden, auch anderweitig in dieser Beschreibung gefunden werden. Ausführungsformen sind hierin gemäß der folgenden Gliederung beschrieben:

1. Allgemeiner Überblick
2. Systemüberblick
3. Architektur eines autonomen Fahrzeugs
4. Einsatzfahrzeugdetektionssystem und -verfahren

Allgemeiner Überblick
Es sind Techniken für ein Einsatzfahrzeugdetektionssystem und -verfahren bereitgestellt. Umgebungsgeräusche, Kamerabilder und dreidimensionale (3D) Sensoren (z. B. LiDAR, RADAR, SONAR) werden erfasst und analysiert, um Sirenengeräusche, Blinkleuchten und Objekte in einer Betriebsumgebung eines Fahrzeugs, wie etwa einer Betriebsumgebung eines autonomen Fahrzeugs, zu detektieren. Zusätzlich werden auch eine Art der Sirene, der Blinkleuchte und ein Typ des Objekts bestimmt. Nach der Detektion werden die Standorte der Sirenengeräusche, Blinkleuchten und Objekte bestimmt. Der geschätzte Standort und die bestimmten Arten werden fusioniert, um ein Vorhandensein und einen Standort eines Einsatzfahrzeugs in der Betriebsumgebung, und in manchen Implementierungen die Art des Einsatzfahrzeugs, zu bestimmen.
Der geschätzte Standort kann durch ein Downstream-System eines autonomen Fahrzeugstapels (z. B. einen Planer, ein Wahrnehmungsmodul, eine Fahrzeugsteuerung) verwendet werden, um eine Route oder Trajektorie des Fahrzeugs in der Betriebsumgebung zu bestimmen. Unter Verwendung des Standorts des Einsatzfahrzeugs kann der Planer, das Wahrnehmungsmodul oder die Fahrzeugsteuerung des Fahrzeugs genauere Bestimmungen von Agentenzuständen in der Betriebsumgebung des Fahrzeugs vornehmen, wie etwa das Bestimmen, dass andere Fahrzeuge langsamer oder dem Einsatzfahrzeug ausweichen werden. Zusätzlich können die Einsatzfahrzeuginformationen eine Fahrzeugfernassistenzfunktion ermöglichen, um ein Antreffen eines Einsatzfahrzeugs zu überwachen/zu verwalten und falls erforderlich Handlungen vorzunehmen (z. B. eine temporäre Steuerung des Fahrzeugs zu übernehmen).
Systemüberblick
1 zeigt ein Beispiel für ein autonomes Fahrzeug 100 mit autonomer Fähigkeit.
Wie hierin verwendet, bezieht sich der Begriff „autonome Fähigkeit“ auf eine Funktion, ein Merkmal oder ein Hilfsmittel, die/das einem Fahrzeug ermöglicht, teilweise oder vollständig ohne menschliche Echtzeit-Eingriffe betrieben zu werden, einschließlich ohne Beschränkung vollautonome Fahrzeuge, hochautonome Fahrzeuge und bedingt autonome Fahrzeuge.
Wie hierin verwendet, ist ein autonomes Fahrzeug (AV: Autonomous Vehicle) ein Fahrzeug, das autonome Fähigkeit besitzt.
Wie hierin verwendet, beinhaltet „Fahrzeug“ Mittel für den Transport von Gütern oder Menschen. Beispielsweise Autos, Busse, Züge, Flugzeuge, Drohnen, Lastkraftwagen, Boote, Schiffe, Unterwasserfahrzeuge, Luftfahrzeuge, Motorräder, Fahrräder usw. Ein fahrerloses Auto ist ein Beispiel für ein Fahrzeug.
Wie hierin verwendet, bezieht sich „Trajektorie“ auf einen Pfad oder eine Route zum Betreiben eines AV von einem ersten raumzeitlichen Ort zu einem zweiten raumzeitlichen Ort. In einer Ausführungsform wird der erste raumzeitliche Ort als Anfangs- oder Startort bezeichnet und wird der zweite raumzeitliche Ort als Bestimmungsort, Endort, Ziel, Zielposition oder Zielort bezeichnet. In manchen Beispielen besteht eine Trajektorie aus einem oder mehreren Segmenten (z. B. Straßenabschnitten), und jedes Segment besteht aus einem oder mehreren Blöcken (z. B. Teilen einer Spur oder Kreuzung). In einer Ausführungsform entsprechen die raumzeitlichen Orte realen Orten. Beispielsweise sind die raumzeitlichen Orte Abhol- oder Absetzorte zum Abholen oder Absetzen von Personen oder Gütern.
Wie hierin verwendet, bezieht sich „Umsetzung“ auf eine Trajektorie, die durch den hierin beschriebenen Sample-basierten Manöverumsetzer erzeugt wird.
Ein „Manöver“ ist eine Änderung der Position, der Geschwindigkeit oder des Lenkwinkels (Kurses) eines AV. Alle Manöver sind Trajektorien, aber nicht alle Trajektorien sind Manöver. Zum Beispiel ist eine AV-Trajektorie, bei der das AV mit einer konstanten Geschwindigkeit auf einem geraden Pfad fährt, kein Manöver.
Wie hierin verwendet, beinhaltet „Sensor(en)“ eine oder mehrere Hardwarekomponenten, die Informationen über die Umgebung im Umfeld des Sensors detektieren. Einige der Hardwarekomponenten können Erfassungskomponenten (z.B. Bildsensoren, biometrische Sensoren), Sende- und/oder Empfangskomponenten (z.B. Laser- oder Hochfrequenzwellensender und -empfänger), elektronische Komponenten wie etwa Analog-Digital-Umsetzer, eine Datenspeicherungsvorrichtung (wie etwa RAM und/oder eine nichtflüchtige Speicherung), Software- oder Firmwarekomponenten und Datenverarbeitungskomponenten wie etwa eine ASIC (anwendungsspezifische integrierte Schaltung), einen Mikroprozessor und/oder einen Mikrocontroller beinhalten.
Wie hierin verwendet, ist eine „Straße“ ein physisches Gebiet, auf dem sich ein Fahrzeug fortbewegen kann, und kann einer benannten Durchgangsstraße (z.B. Stadtstraße, Autobahn usw.) entsprechen oder kann einer unbenannten Durchgangsstraße (z.B. eine Zufahrt eines Hauses oder Bürogebäudes, ein Abschnitt eines Parkplatzes, ein Abschnitt eines unbebauten Grundstücks, ein Feldweg in einem ländlichen Gebiet usw.) entsprechen. Da manche Fahrzeuge (z.B. Allradantrieb-Pickups, Geländewagen usw.) in der Lage sind, sich in einer Vielfalt physischer Gebiete fortzubewegen, die nicht spezifisch für die Fahrt eines Fahrzeugs angepasst sind, kann eine „Straße“ ein physisches Gebiet sein, das nicht formell durch eine Gemeinde oder andere Regierungsstelle oder Verwaltungsbehörde als eine Durchgangsstraße definiert ist.
Wie hierin verwendet, ist eine „Spur“ ein Abschnitt einer Straße, der von einem Fahrzeug befahren werden kann, und kann dem Großteil oder der Gesamtheit des Raums zwischen Spurmarkierungen entsprechen oder kann nur einem Teil (z. B. weniger als 50 %) des Raums zwischen Spurmarkierungen entsprechen. Beispielsweise könnte eine Landstraße, die weit beabstandete Spurmarkierungen aufweist, zwei oder mehr Fahrzeuge zwischen den Markierungen unterbringen, sodass ein Fahrzeug das andere überholen kann, ohne die Spurmarkierungen zu überqueren, und könnte somit als eine Spur schmaler als der Raum zwischen den Spurmarkierungen aufweisend oder zwei Spuren zwischen den Spurmarkierungen aufweisend interpretiert werden. Eine Spur könnte auch bei Nichtvorhandensein von Spurmarkierungen interpretiert werden. Beispielsweise kann eine Spur basierend auf physischen Merkmalen einer Umgebung definiert werden, z.B. Gestein und Bäume entlang einer Durchgangsstraße in einem ländlichen Gebiet.
Wie hierin verwendet, ist ein „Regelbuch“ eine Datenstruktur, die eine Prioritätsstruktur auf einen Satz von Regeln implementiert, die basierend auf ihrer relativen Wichtigkeit angeordnet sind, wobei für eine jegliche spezielle Regel in der Prioritätsstruktur die Regel(n) mit niedrigerer Priorität in der Struktur als die spezielle Regel in der Prioritätsstruktur eine niedrigere Wichtigkeit als die spezielle Regel aufweisen. Mögliche Prioritätsstrukturen beinhalten unter anderem: hierarchische Strukturen (z.B. Gesamtreihenfolge oder Teilreihenfolge für die Regeln), nicht hierarchische Strukturen (z.B. ein Gewichtungssystem für die Regeln) oder eine hybride Prioritätsstruktur, bei der Teilsätze von Regeln hierarchisch sind, aber Regeln in jedem Teilsatz nicht hierarchisch sind. Regeln können Verkehrsrecht, Sicherheitsregeln, ethische Regeln, Lokalkulturregeln, Passagierkomfortregeln und beliebige andere Regeln beinhalten, die verwendet werden könnten, um eine durch eine beliebige Quelle (z.B. Menschen, Text, Vorschriften, Websites) bereitgestellte Trajektorie eines Fahrzeugs zu evaluieren.
Wie hierin verwendet, bezieht sich „Ego-Fahrzeug“ oder „Ego“ auf ein virtuelles Fahrzeug oder AV mit virtuellen Sensoren zum Erfassen einer virtuellen Umgebung, das zum Beispiel von einem Planer genutzt wird, um die Route des virtuellen AV in der virtuellen Umgebung zu planen.
„Ein oder mehr” beinhaltet, dass eine Funktion durch ein Element durchgeführt wird, dass eine Funktion durch mehr als ein Element durchgeführt wird, z.B. auf verteilte Weise, dass mehrere Funktionen durch ein Element durchgeführt werden, dass mehrere Funktionen durch mehrere Elemente durchgeführt werden, oder eine beliebige Kombination des Obenstehenden.
Es versteht sich auch, dass, obwohl die Begriffe erster, zweiter usw. in manchen Fällen hierin verwendet werden, um verschiedene Elemente zu beschreiben, diese Elemente nicht durch diese Begriffe beschränkt werden sollten. Diese Begriffe werden nur zur Unterscheidung eines Elements von einem anderen verwendet. Beispielsweise könnte ein erster Kontakt als ein zweiter Kontakt bezeichnet werden, und gleichermaßen könnte ein zweiter Kontakt als ein erster Kontakt bezeichnet werden, ohne vom Schutzumfang der verschiedenen beschriebenen Ausführungsformen abzuweichen. Sowohl der erste Kontakt als auch der zweite Kontakt sind Kontakte, sie sind aber nicht derselbe Kontakt.
Die in der Beschreibung der verschiedenen beschriebenen Ausführungsformen hierin verwendete Terminologie liegt nur zum Zweck der Beschreibung spezieller Ausführungsformen vor und soll nicht beschränkend sein. Wie in der Beschreibung der verschiedenen beschriebenen Ausführungsformen und den angehängten Ansprüchen verwendet, sollen die Singularformen „ein“, „eine“ und „der/die/das“ auch die Pluralformen beinhalten, insofern der Kontext nicht deutlich anderes angibt. Es versteht sich auch, dass sich der Begriff „und/oder“, wie hierin verwendet, auf jegliche und alle möglichen Kombinationen eines oder mehrerer der assoziierten aufgelisteten Punkte bezieht und einschließt. Es versteht sich ferner, dass die Begriffe „beinhaltet“, „einschließlich“, „enthält“ und/oder „enthaltend“, wenn in dieser Beschreibung verwendet, das Vorhandensein genannter Merkmale, Ganzzahlen, Schritte, Operationen, Elemente und/oder Komponenten spezifiziert, aber nicht das Vorhandensein oder den Zusatz eines/einer oder mehrerer anderer Merkmale, Ganzzahlen, Schritte, Operationen, Elemente, Komponenten und/oder Gruppen davon ausschließt.
Wie hierin verwendet, wird der Begriff „falls“ optional als „wenn“ oder „bei“ oder „als Reaktion auf das Bestimmen“ oder „als Reaktion auf das Detektieren“ bedeutend, in Abhängigkeit vom Kontext, ausgelegt. Gleichermaßen wird der Ausdruck „falls bestimmt wird“ oder „falls [eine angegebene Bedingung oder ein angegebenes Ereignis] detektiert wird“ optional als „beim Bestimmen“ oder „als Reaktion auf das Bestimmen“ oder „beim Detektieren [der angegebenen Bedingung oder des angegebenen Ereignisses]“ oder „als Reaktion auf das Detektieren [der angegebenen Bedingung oder des angegebenen Ereignisses]“ bedeutend, in Abhängigkeit vom Kontext, ausgelegt.
Wie hierin verwendet, bezieht sich ein AV-System auf das AV zusammen mit dem Array von Hardware, Software, gespeicherten Daten und in Echtzeit erzeugten Daten, die den Betrieb des AV unterstützen. In einer Ausführungsform ist das AV-System innerhalb des AV integriert. In einer Ausführungsform ist das AV-System über mehrere Orte verteilt. Beispielsweise wird ein Teil der Software des AV-Systems in einer Cloud-Rechenumgebung ähnlich der unten mit Bezug auf 3 beschriebenen Cloud-Rechenumgebung 300 implementiert.
Allgemein beschreibt dieses Dokument Technologien, die bei beliebigen Fahrzeugen anwendbar sind, die eine oder mehrere autonome Fähigkeiten aufweisen, einschließlich vollautonomer Fahrzeuge, hochautonomer Fahrzeuge und bedingt autonomer Fahrzeuge, wie etwa sogenannte Stufe-5--, Stufe-4- bzw. Stufe-3-Fahrzeuge (siehe den Standard J3016 von der SAE International: Taxonomy and Definitions for Terms Related to On-Road Motor Vehicle Automated Driving Systems (Klassifizierung und Definitionen für Begriffe bezüglich automatisierter Fahrsysteme für Straßenkraftfahrzeuge), der unter Bezugnahme in seiner Gesamtheit aufgenommen wird, für Einzelheiten zu der Klassifizierung von Autonomiestufen bei Fahrzeugen). Die in diesem Dokument beschriebenen Technologien sind auch bei teilautonomen Fahrzeugen und fahrergestützten Fahrzeugen anwendbar, wie etwa sogenannten Stufe-2- und Stufe-1-Fahrzeugen (siehe den Standard J3016 von der SAE International: Taxonomy and Definitions for Terms Related to On-Road Motor Vehicle Automated Driving Systems). In einer Ausführungsform können ein oder mehrere der Stufe-1-, Stufe-2-, Stufe-3-, Stufe-4- und Stufe-5-Fahrzeugsysteme gewisse Fahrzeugoperationen (z. B. Lenkung, Bremsung und Verwendung von Karten) unter gewissen Betriebsbedingungen basierend auf der Verarbeitung von Sensoreingaben automatisieren. Die in diesem Dokument beschriebenen Technologien können für Fahrzeuge in allen Stufen von Vorteil sein, von vollautonomen Fahrzeugen bis hin zu menschlich betriebenen Fahrzeugen.
Mit Bezug auf 1 betreibt ein AV-System 120 das AV 100 entlang einer Trajektorie 198 durch eine Umgebung 190 zu einem Bestimmungsort 199 (manchmal als ein Endort bezeichnet), während es Objekte (z. B. natürliche Objekte 191, Fahrzeuge 193, Fußgänger 192, Fahrradfahrer und andere Hindernisse) vermeidet und Straßenregeln (z. B. Betriebsregeln oder Fahrpräferenzen) einhält.
In einer Ausführungsform beinhaltet das AV-System 120 Vorrichtungen 101, die dahingehend instrumentiert sind, Betriebsbefehle von den Computerprozessoren 146 zu empfangen und darauf zu reagieren. In einer Ausführungsform sind die Rechenprozessoren 146 dem unten mit Bezug auf 3 beschriebenen Prozessor 304 ähnlich. Beispiele für die Vorrichtungen 101 beinhalten Lenksteuerung 102, Bremsen 103, Gänge, Gaspedal oder andere Beschleunigungssteuermechanismen, Scheibenwischer, Türverriegelungen, Fenstersteuerungen und Blinker.
In einer Ausführungsform beinhaltet das AV-System 120 Sensoren 121 zum Messen oder Ableiten von Eigenschaften des Status oder Zustands des AV 100, wie etwa die Position, die Lineargeschwindigkeit und -beschleunigung, Winkelgeschwindigkeit und -beschleunigung und den Steuerkurs (z. B. eine Orientierung des vorderen Endes des AV 100) des AV. Beispiele für die Sensoren 121 sind ein GNSS-Empfänger (globales Satellitennavigationssystem), inertiale Messeinheiten (IMU), die sowohl Fahrzeuglinearbeschleunigungen als auch Winkelraten messen, Radgeschwindigkeitssensoren zum Messen oder Schätzen von Radschlupfverhältnissen, Radbremsdruck- oder Bremsmomentsensoren, Motordrehmoment- oder Raddrehmomentsensoren und Lenkwinkel- und Winkelratensensoren.
In einer Ausführungsform beinhalten die Sensoren 121 auch Sensoren zum Erfassen oder Messen von Eigenschaften der Umgebung des AV. Beispielsweise Monokular- oder Stereo-Videokameras 122 im sichtbaren Lichtspektrum, im Infrarotspektrum oder im thermischen Spektrum (oder beides), LiDAR 123, RADAR, Ultraschallsensoren, TOF-Tiefensensoren (TOF: time-of flight - Laufzeit), Geschwindigkeitssensoren, Temperatursensoren, Feuchtigkeitssensoren und Niederschlagssensor.
In einer Ausführungsform beinhaltet das AV-System 120 eine Datenspeicherungseinheit 142 und einen Speicher 144 zum Speichern von Maschinenanweisungen, die mit den Computerprozessoren 146 assoziiert sind, oder von Daten, die durch die Sensoren 121 gesammelt werden. In einer Ausführungsform ähnelt die Datenspeicherungseinheit 142 dem ROM 308 oder der Speicherungsvorrichtung 310, die unten in Beziehung mit 3 beschrieben sind. In einer Ausführungsform ähnelt der Speicher 144 dem unten beschriebenen Hauptspeicher 306. In einer Ausführungsform speichern die Datenspeicherungseinheit 142 und der Speicher 144 historische, Echtzeit- und/oder prädiktive Informationen über die Umgebung 190. In einer Ausführungsform beinhalten die gespeicherten Informationen Karten, Fahrleistung, Verkehrsüberlastungsaktualisierungen oder Wetterbedingungen. In einer Ausführungsform werden Daten bezüglich der Umgebung 190 mittels eines Kommunikationskanals von einer entfernt lokalisierten Datenbank 134 zu dem AV 100 übertragen.
In einer Ausführungsform beinhaltet das AV-System 120 Kommunikationsvorrichtungen 140 zum Kommunizieren gemessener oder abgeleiteter Eigenschaften der Status und Zustände anderer Fahrzeuge wie etwa Positionen, Linear- und Winkelgeschwindigkeiten, Linear- und Winkelbeschleunigungen und Linear- und Winkelsteuerkurse, zu dem AV 100. Diese Vorrichtungen beinhalten Fahrzeug-zu-Fahrzeug(V2V)- und Fahrzeug-zu-Infrastruktur(V2I)-Kommunikationsvorrichtungen und Vorrichtungen für Drahtloskommunikationen über Punkt-zu-Punkt- oder Ad-hoc-Netzwerke oder beides. In einer Ausführungsform kommunizieren die Kommunikationsvorrichtungen 140 über das elektromagnetische Spektrum (einschließlich Funk- und optischer Kommunikationen) oder anderen Medien (z. B. Luft und akustische Medien). Eine Kombination aus Fahrzeug-zu-Fahrzeug(V2V)- und Fahrzeug-zu-Infrastruktur(V2I)-Kommunikation (und in manchen Ausführungsformen eine oder mehrere andere Arten von Kommunikation) wird manchmal als Fahrzeug-zu-Allem(V2X)-Kommunikation bezeichnet. Eine V2X-Kommunikation entspricht typischerweise einem oder mehreren Kommunikationsstandards zur Kommunikation mit, zwischen oder unter autonomen Fahrzeugen.
In einer Ausführungsform beinhalten die Kommunikationsvorrichtungen 140 Kommunikationsschnittstellen. Beispielsweise drahtgebundene, drahtlose, WiMAX-, WiFi-, Bluetooth-, Satelliten-, zellulare, optische, Nahfeld-, Infrarot- oder Funkschnittstellen. Die Kommunikationsschnittstellen übertragen Daten von einer entfernt lokalisierten Datenbank 134 zu dem AV-System 120. In einer Ausführungsform ist die entfernt lokalisierte Datenbank 134 in einer Cloud-Rechenumgebung 200, wie in 2 beschrieben, eingebettet. Die Kommunikationsschnittstellen 140 übertragen Daten, die von den Sensoren 121 gesammelt werden, oder andere Daten bezüglich des Betriebs des AV 100 zu der entfernt lokalisierten Datenbank 134. In einer Ausführungsform übertragen die Kommunikationsschnittstellen 140 Informationen, die sich auf Teleoperationen beziehen, zu dem AV 100. In manchen Ausführungsformen kommuniziert das AV 100 mit anderen entfernten (z. B. „Cloud“-) Servern 136.
In einer Ausführungsform speichert und überträgt die entfernt lokalisierte Datenbank 134 auch digitale Daten (z. B. speichert Daten wie etwa Landstraßen- und Straßenorte). Solche Daten werden im Speicher 144 am AV 100 gespeichert oder mittels eines Kommunikationskanals von der entfernt lokalisierten Datenbank 134 zu dem AV 100 übertragen.
In einer Ausführungsform speichert und überträgt die entfernt lokalisierte Datenbank 134 historische Informationen über Fahreigenschaften (z. B. Geschwindigkeits- und Beschleunigungsprofile) von Fahrzeugen, die zuvor zu ähnlichen Tageszeiten entlang der Trajektorie 198 gefahren sind. In einer Implementierung können solche Daten im Speicher 144 am AV 100 gespeichert oder mittels eines Kommunikationskanals von der entfernt lokalisierten Datenbank 134 zu dem AV 100 übertragen werden.
Die Rechenvorrichtungen 146, die sich am AV 100 befinden, erzeugen algorithmisch Steuerhandlungen basierend auf sowohl Echtzeit-Sensordaten als auch vorherigen Informationen, was es dem AV-System 120 ermöglicht, seine autonomen Fahrfähigkeiten auszuführen.
In einer Ausführungsform beinhaltet das AV-System 120 Computerperipheriegeräte 132, die mit den Rechenvorrichtungen 146 gekoppelt sind, zum Bereitstellen von Informationen und Warnungen an einen und Empfangen einer Eingabe von einem Benutzer (z. B. einem Insassen oder einem Fernbenutzer) des AV 100. In einer Ausführungsform ähneln die Peripheriegeräte 132 der Anzeige 312, der Eingabevorrichtung 314 und der Cursorsteuerung 316, die unten mit Bezug auf 3 besprochen sind. Die Kopplung ist drahtlos oder drahtgebunden. Zwei oder mehr beliebige der Schnittstellenvorrichtungen können in eine einzige Vorrichtung integriert sein.
Beispielhafte Cloud-Rechenumgebung
2 veranschaulicht eine beispielhafte „Cloud“-Rechenumgebung. Cloud-Computing ist ein Modell zur Dienstbereitstellung zum Ermöglichen eines zweckdienlichen On-Demand-Netzwerkzugangs zu einem gemeinsam genutzten Pool von konfigurierbaren Rechenressourcen (z. B. Netzwerke, Netzwerkbandbreite, Server, Verarbeitung, Speicher, Speicherung, Anwendungen, virtuelle Maschinen und Dienste). In typischen Cloud-Rechensystemen sind die Maschinen, die zum Bereitstellen der durch die Cloud gelieferten Dienste verwendet werden, in einem oder mehreren großen Cloud-Datenzentren untergebracht. Jetzt mit Bezug auf 2 beinhaltet die Cloud-Rechenumgebung 200 Cloud-Datenzentren 204a, 204b und 204c, die über die Cloud 202 miteinander verbunden sind. Die Datenzentren 204a, 204b und 204c stellen Computersystemen 206a, 206b, 206c, 206d, 206e und 206f, die mit der Cloud 202 verbunden sind, Cloud-Rechendienste bereit.
Die Cloud-Rechenumgebung 200 beinhaltet ein oder mehrere Cloud-Datenzentren. Allgemein bezieht sich ein Cloud-Datenzentrum, beispielsweise das in 2 gezeigte Cloud-Datenzentrum 204a, auf die physische Anordnung von Servern, aus denen eine Cloud, beispielsweise die in 2 gezeigte Cloud 202, oder ein spezieller Teil einer Cloud besteht. Beispielsweise sind Server physisch im Cloud-Datenzentrum in Räumen, Gruppen, Reihen und Racks angeordnet. Ein Cloud-Datenzentrum weist eine oder mehrere Zonen auf, die einen oder mehrere Räume von Servern beinhalten. Jeder Raum weist eine oder mehrere Reihen von Servern auf und jede Reihe beinhaltet ein oder mehrere Racks. Jedes Rack beinhaltet einen oder mehrere individuelle Serverknoten. In manchen Implementierungen sind Server in Zonen, Räumen und/oder Reihen basierend auf physischen Infrastrukturanforderungen der Datenzentrumseinrichtung, die Leistungs-, Energie-, thermische, Wärme- und/oder andere Anforderungen beinhalten, in Gruppen angeordnet. In einer Ausführungsform sind die Serverknoten dem in 3 beschriebenen Computersystem ähnlich. Das Datenzentrum 204a weist viele Rechensysteme auf, die über viele Racks verteilt sind.
Die Cloud 202 beinhaltet die Cloud-Datenzentren 204a, 204b und 204c zusammen mit dem Netzwerk und Networking-Ressourcen (zum Beispiel Networking-Ausrüstung, Knoten, Router, Switches und Networking-Kabel), die die Cloud-Datenzentren 204a, 204b und 204c miteinander verbinden und dabei helfen, den Rechensystemen 206a-f zu ermöglichen, auf Cloud-Rechendienste zuzugreifen. In einer Ausführungsform repräsentiert das Netzwerk eine beliebige Kombination eines oder mehrerer Lokalnetzwerke, Weitbereichsnetzwerke oder Internetzwerke, die unter Verwendung drahtgebundener oder drahtloser Links gekoppelt sind, die unter Verwendung terrestrischer oder satellitengestützter Verbindungen eingesetzt werden. Über das Netzwerk ausgetauschte Daten werden unter Verwendung einer beliebigen Anzahl von Netzwerkschichtprotokollen transferiert, wie etwa Internetprotokoll (IP), MPLS (Multiprotocol Label Switching), ATM (Asynchronous Transfer Mode), Frame Relay usw. Ferner werden in Ausführungsformen, bei denen das Netzwerk eine Kombination mehrerer Teilnetzwerke repräsentiert, unterschiedliche Netzwerkschichtprotokolle an jedem der zugrundeliegenden Teilnetzwerke verwendet. In manchen Ausführungsformen repräsentiert das Netzwerk ein oder mehrere miteinander verbundene Internetzwerke, wie etwa das öffentliche Internet.
Die Rechensysteme 206a-f oder Cloud-Rechendienstverbraucher sind über Netzwerklinks und Netzwerkadapter mit der Cloud 202 verbunden. In einer Ausführungsform werden die Rechensysteme 206a-f als verschiedene Rechenvorrichtungen implementiert, beispielsweise Server, Desktops, Laptops, Tablet, Smartphones, Internet-der-Dinge(IoT)-Vorrichtungen, autonome Fahrzeuge (einschließlich Autos, Drohnen, Shuttles, Zügen, Bussen usw.) und Verbraucherelektronik. In einer Ausführungsform werden die Rechensysteme 206a-f in oder als ein Teil von anderen Systemen implementiert.
Computersystem
3 veranschaulicht ein Computersystem 300. In einer Implementierung ist das Computersystem 300 eine Spezialrechenvorrichtung. Die Spezialrechenvorrichtung ist festverdrahtet, um die Techniken durchzuführen, oder beinhaltet digitale elektronische Vorrichtungen wie etwa eine oder mehrere anwendungsspezifische integrierte Schaltungen (ASICs) oder ein oder mehrere feldprogrammierbare Gate-Arrays (FPGAs), die persistent dazu programmiert sind, die Techniken durchzuführen oder kann einen oder mehrere Allzweck-Hardwareprozessoren beinhalten, die dazu programmiert sind, die Techniken entsprechend Programmanweisungen in Firmware, Speicher, anderer Speicherung oder einer Kombination durchzuführen. Solche Spezialrechenvorrichtungen können auch maßgeschneiderte festverdrahtete Logik, ASICs oder FPGAs mit maßgeschneiderter Programmierung kombinieren, um die Techniken zu vollziehen. In verschiedenen Ausführungsformen sind die Spezialrechenvorrichtungen Desktop-Computersysteme, portable Computersysteme, handgehaltene Vorrichtungen, Netzwerkvorrichtungen oder eine beliebige andere Vorrichtung, die festverdrahtete Logik und/oder Programmlogik zum Implementieren der Techniken integriert.
In einer Ausführungsform beinhaltet das Computersystem 300 einen Bus 302 oder einen anderen Kommunikationsmechanismus zum Kommunizieren von Informationen und einen Hardwareprozessor 304, der mit einem Bus 302 gekoppelt ist, zum Verarbeiten von Informationen. Der Hardwareprozessor 304 ist beispielsweise ein Allzweck-Mikroprozessor. Das Computersystem 300 beinhaltet auch einen Hauptspeicher 306, wie etwa einen Direktzugriffsspeicher (RAM) oder eine andere dynamische Speicherungsvorrichtung, die mit dem Bus 302 gekoppelt ist, zum Speichern von Informationen und durch den Prozessor 304 auszuführenden Anweisungen. In einer Implementierung wird der Hauptspeicher 306 zum Speichern temporärer Variablen oder anderer Zwischeninformationen während der Ausführung von durch den Prozessor 304 auszuführenden Anweisungen verwendet. Solche Anweisungen, wenn sie in nicht vorübergehenden Speicherungsmedien gespeichert sind, auf die der Prozessor 304 zugreifen kann, verwandeln das Computersystem 300 in eine Spezialmaschine, die dafür angepasst ist, die in den Anweisungen spezifizierten Operationen durchzuführen.
In einer Ausführungsform beinhaltet das Computersystem 300 ferner einen Nurlesespeicher (ROM) 308 oder eine andere statische Speicherungsvorrichtung, die mit dem Bus 302 gekoppelt ist, zum Speichern statischer Informationen und Anweisungen für den Prozessor 304. Eine Speicherungsvorrichtung 310, wie etwa eine Magnetplatte, eine optische Platte, ein Solid-State-Laufwerk oder dreidimensionaler Crosspoint-Speicher, ist bereitgestellt und mit dem Bus 302 gekoppelt, um Informationen und Anweisungen zu speichern.
In einer Ausführungsform ist das Computersystem 300 über den Bus 302 mit einer Anzeige 312 gekoppelt, wie etwa einer Kathodenstrahlröhre (CRT), einem Flüssigkristalldisplay (LCD), einer Plasma-Anzeige, einer Leuchtdioden(LED)-Anzeige oder einer organischen Leuchtdioden(OLED)-Anzeige zum Anzeigen von Informationen für einen Computerbenutzer. Eine Eingabevorrichtung 314, die alphanumerische und andere Tasten beinhaltet, ist mit dem Bus 302 gekoppelt, zum Kommunizieren von Informationen und Befehlsauswahlen zu dem Prozessor 304. Eine andere Art von Benutzereingabevorrichtung ist eine Cursorsteuerung 316 wie etwa eine Maus, ein Trackball, eine berührungsgestützte Anzeige oder Cursorrichtungstasten zum Kommunizieren von Richtungsinformationen und Befehlsauswahlen zu dem Prozessor 304 und zum Steuern der Cursorbewegung auf der Anzeige 312. Diese Eingabevorrichtung weist typischerweise zwei Freiheitsgrade in zwei Achsen auf, einer ersten Achse (z. B. x-Achse) und einer zweiten Achse (z. B. y-Achse), die der Vorrichtung ermöglicht, Positionen in einer Ebene zu spezifizieren.
Gemäß einer Ausführungsform werden die Techniken hierin durch das Computersystem 300 als Reaktion darauf durchgeführt, dass der Prozessor 304 eine oder mehrere Sequenzen einer oder mehrerer im Hauptspeicher 306 enthaltener Anweisungen ausführt. Solche Anweisungen werden in den Hauptspeicher 306 von einem anderen Speicherungsmedium wie etwa der Speicherungsvorrichtung 310 eingelesen. Die Ausführung der Sequenzen von im Hauptspeicher 306 enthaltenen Anweisungen bewirkt, dass der Prozessor 304 die hierin beschriebenen Prozessschritte durchführt. In alternativen Ausführungsformen wird eine festverdrahtete Schaltungsanordnung anstelle von oder in Kombination mit Softwareanweisungen verwendet.
Der Begriff „Speicherungsmedien“, wie hierin verwendet, bezieht sich auf beliebige nicht vorübergehende Medien, die Daten und/oder Anweisungen speichern, die bewirken, dass eine Maschine auf eine spezifische Weise arbeitet. Solche Speicherungsmedien beinhalten nichtflüchtige Medien und/oder flüchtige Medien. Nichtflüchtige Medien beinhalten zum Beispiel optische Platten, Magnetplatten, Solid-State-Laufwerke oder dreidimensionalen Crosspoint-Speicher, wie etwa die Speicherungsvorrichtung 310. Flüchtige Medien beinhalten dynamischen Speicher, wie etwa den Hauptspeicher 306. Übliche Formen von Speicherungsmedien beinhalten beispielsweise eine Diskette, eine flexible Disk, eine Festplatte, ein Solid-State-Laufwerk, ein Magnetband oder ein beliebiges anderes magnetische Datenspeicherungsmedium, eine CD-ROM, ein beliebiges anderes optisches Datenspeicherungsmedium, ein beliebiges physisches Medium mit Lochmustern, einen RAM, einen PROM und einen EPROM, einen FLASH-EPROM, einen NV-RAM oder einen beliebigen anderen Speicherchip oder eine beliebige andere Speicherkassette.
Speicherungsmedien sind von Übertragungsmedien verschieden, können aber in Verbindung mit diesen verwendet werden. Übertragungsmedien nehmen am Transfer von Informationen zwischen Speicherungsmedien teil. Beispielsweise beinhalten Übertragungsmedien Koaxialkabel, Kupferdraht und Faseroptik, einschließlich der Drähte, die den Bus 302 beinhalten. Übertragungsmedien können auch die Form von Akustik- oder Lichtwellen annehmen, wie etwa jene, die während Funkwellen- und Infrarot-Datenkommunikationen erzeugt werden.
In einer Ausführungsform sind verschiedene Formen von Medien beim Führen einer oder mehrerer Sequenzen einer oder mehrerer Anweisungen zu dem Prozessor 304 zur Ausführung beteiligt. Beispielsweise werden die Anweisungen anfänglich auf einer Magnetplatte oder einem Solid-State-Laufwerk eines Ferncomputers geführt. Der Ferncomputer lädt die Anweisungen in seinen dynamischen Speicher und sendet die Anweisungen über eine Telefonleitung unter Verwendung eines Modems. Ein Modem lokal zu dem Computersystem 300 empfängt die Daten auf der Telefonleitung und verwendet einen Infrarotsender, um die Daten in ein Infrarotsignal umzuwandeln. Ein Infrarotdetektor empfängt die in dem Infrarotsignal geführten Daten und eine geeignete Schaltungsanordnung platziert die Daten auf den Bus 302. Der Bus 302 führt die Daten zu dem Hauptspeicher 306, aus dem der Prozessor 304 die Anweisungen abruft und ausführt. Die durch den Hauptspeicher 306 empfangenen Anweisungen können optional in der Speicherungsvorrichtung 310 entweder bevor oder nach der Ausführung durch den Prozessor 304 gespeichert werden.
Das Computersystem 300 beinhaltet außerdem eine Kommunikationsschnittstelle 318, die mit dem Bus 302 gekoppelt ist. Die Kommunikationsschnittstelle 318 liefert eine Zweiwege-Datenkommunikation, die mit einem Netzwerklink 320 koppelt, der mit einem lokalen Netzwerk 322 verbunden ist. Beispielsweise ist die Kommunikationsschnittstelle 318 eine ISDN-Karte (ISDN: Integrated Services Digital Network - dienstintegrierendes Digitalnetz), ein Kabelmodem, ein Satellitenmodem oder ein Modem zum Bereitstellen einer Datenkommunikationsverbindung mit einer entsprechenden Art von Telefonleitung. Als ein anderes Beispiel ist die Kommunikationsschnittstelle 318 eine LAN-Karte (LAN: Local Area Network - Lokalnetz) zum Bereitstellen einer Datenkommunikationsverbindung mit einem kompatiblen LAN. In manchen Implementierungen werden auch drahtlose Links implementiert. In einer beliebigen solchen Implementierung sendet und empfängt die Kommunikationsschnittstelle 318 elektrische, elektromagnetische oder optische Signale, die digitale Datenströme führen, die verschiedene Arten von Informationen repräsentieren.
Der Netzwerklink 320 stellt typischerweise eine Datenkommunikation über ein oder mehrere Netzwerke zu anderen Datenvorrichtungen bereit. Beispielsweise stellt der Netzwerklink 320 eine Verbindung über das lokale Netzwerk 322 zu einem Hostcomputer 324 oder zu einem Cloud-Datenzentrum oder ein Gerät bereit, das durch einen Internetdienstanbieter (ISP: Internet Service Provider) 326 betrieben wird. Der ISP 326 stellt im Gegenzug Datenkommunikationsdienste durch das weltweite Paketdatenkommunikationsnetzwerk, jetzt gewöhnlich als das „Internet“ 328 bezeichnet, bereit. Sowohl das lokale Netzwerk 322 als auch das Internet 328 verwenden elektrische, elektromagnetische oder optische Signale, die digitale Datenströme führen. Die Signale durch die verschiedenen Netzwerke und die Signale auf dem Netzwerklink 320 und durch die Kommunikationsschnittstelle 318, die die digitalen Daten zu und von dem Computersystem 300 führen, sind beispielhafte Formen von Übertragungsmedien. In einer Ausführungsform enthält das Netzwerk 320 die Cloud 202 oder einen Teil der oben beschriebenen Cloud 202.
Das Computersystem 300 sendet Nachrichten und empfängt Daten, einschließlich Programmcode, durch das eine oder die mehreren Netzwerke, den Netzwerklink 320 und die Kommunikationsschnittstelle 318. In einer Ausführungsform empfängt das Computersystem 300 Code zur Verarbeitung. Der empfangene Code wird durch den Prozessor 304 wie empfangen ausgeführt und/oder in der Speicherungsvorrichtung 310 oder einer anderen nichtflüchtigen Speicherung zur späteren Ausführung gespeichert.
Architektur eines autonomen Fahrzeugs
4 zeigt eine beispielhafte Architektur 400 für ein autonomes Fahrzeug (z. B. das in 1 gezeigte AV 100). Die Architektur 400 beinhaltet ein Wahrnehmungsmodul 402 (manchmal als eine Wahrnehmungsschaltung bezeichnet), ein Planungsmodul 404 (manchmal als eine Planungsschaltung bezeichnet), ein Steuermodul 406 (manchmal als eine Steuerschaltung bezeichnet), ein Lokalisierungsmodul 408 (manchmal als eine Lokalisierungsschaltung bezeichnet) und ein Datenbankmodul 410 (manchmal als eine Datenbankschaltung bezeichnet). Jedes Modul spielt beim Betrieb des AV 100 eine Rolle. Zusammen können die Module 402, 404, 406, 408 und 410 Teil des in 1 gezeigten AV-Systems 120 sein. In manchen Ausführungsformen ist ein beliebiges der Module 402, 404, 406, 408 und 410 eine Kombination aus Computersoftware (z. B. ausführbarer Code, der auf einem computerlesbaren Medium gespeichert ist) und Computerhardware (z. B. ein(e) oder mehrere Mikroprozessoren, Mikrocontroller, anwendungsspezifische integrierte Schaltungen [ASICs]), Hardwarespeichervorrichtungen, anderen Arten von integrierten Schaltungen, anderen Arten von Computerhardware oder einer Kombination beliebiger oder aller dieser Dinge).
Im Gebrauch empfängt das Planungsmodul 404 Daten, die einen Bestimmungsort 412 repräsentieren, und bestimmt Daten, die eine Trajektorie 414 (manchmal als eine Route bezeichnet) repräsentieren, die von dem AV 100 gefahren werden kann, um den Bestimmungsort 412 zu erreichen (z. B. dort anzukommen). Damit das Planungsmodul 404 die Daten bestimmt, die die Trajektorie 414 repräsentieren, empfängt das Planungsmodul 404 Daten von dem Wahrnehmungsmodul 402, dem Lokalisierungsmodul 408 und dem Datenbankmodul 410.
Das Wahrnehmungsmodul 402 identifiziert naheliegende physische Objekte unter Verwendung eines oder mehrerer Sensoren 121, z. B. wie auch in 1 gezeigt. Die Objekte werden klassifiziert (z. B. in Arten wie etwa Fußgänger, Fahrrad, Kraftfahrzeug, Verkehrszeichen usw. gruppiert) und dem Planungsmodul 404 wird eine Szenenbeschreibung einschließlich der klassifizierten Objekte 416 bereitgestellt.
Das Planungsmodul 404 empfängt auch Daten, die die AV-Position 418 repräsentieren, vom Lokalisierungsmodul 408. Das Lokalisierungsmodul 408 bestimmt die AV-Position unter Verwendung von Daten von den Sensoren 121 und Daten vom Datenbankmodul 410 (z. B. geografische Daten), um eine Position zu berechnen. Beispielsweise verwendet das Lokalisierungsmodul 408 Daten von einem GNSS-Empfänger und geografische Daten, um einen Längengrad und Breitengrad des AV zu berechnen. In einer Ausführungsform beinhalten durch das Lokalisierungsmodul 408 verwendete Daten Hochpräzisionskarten der geometrischen Eigenschaften der Straße, Karten, die Konnektivitätseigenschaften des Straßennetzes beschreiben, Karten, die physische Eigenschaften der Straße beschreiben (wie etwa Verkehrsgeschwindigkeit, Verkehrsvolumen, die Anzahl von Fahrzeug- und Fahrradfahrer-Verkehrsspuren, Spurbreite, Spurverkehrsrichtungen oder Spurmarkierungsarten und -orte oder Kombinationen von diesen), und Karten, die die räumlichen Orte von Straßenmerkmalen wie etwa Fußgängerüberwege, Verkehrszeichen oder andere Verkehrssignale verschiedener Arten beschreiben.
Das Steuermodul 406 empfängt die Daten, die die Trajektorie 414 repräsentieren, und die Daten, die die AV-Position 418 repräsentieren, und betreibt die Steuerfunktionen 420a-c (z. B. Lenkung, Gasgeben, Bremsung, Zündung) des AV auf eine Weise, die bewirken wird, dass das AV 100 auf der Trajektorie 414 zu dem Bestimmungsort 412 fährt. Falls beispielsweise die Trajektorie 414 eine Linksabbiegung beinhaltet, wird das Steuermodul 406 die Steuerfunktionen 420a-c auf eine solche Weise betreiben, dass der Lenkwinkel der Lenkfunktion bewirken wird, dass das AV 100 nach links abbiegt, und die Bremsung bewirken wird, dass das AV 100 pausiert und auf passierende Fußgänger oder Fahrzeuge wartet, bevor die Abbiegung vorgenommen wird.
In einer Ausführungsform können beliebige der vorstehenden Module 402, 404, 406, 408 eine Anforderung zu einem regelbasierten Trajektorievalidierungssystem 500 senden, um eine geplante Trajektorie zu validieren und eine Bewertung für die Trajektorie zu empfangen, wie mit Bezug auf die 5-18 ausführlicher beschrieben.
Einsatzfahrzeugdetektionssystem und -verfahren
5 ist ein Blockdiagramm eines Einsatzfahrzeugdetektionssystems 500 gemäß einer oder mehreren Ausführungsformen. Das Einsatzfahrzeugdetektionssystem 500 beinhaltet eine Sirenengeräuschdetektions- und -lokalisierungs-Pipeline 501, eine Blinkleuchtendetektions- und -lokalisierungs-Pipeline 502, eine Objektdetektions- und -lokalisierungs-Pipeline 503 und ein Fusionsmodul 504.
Die Sirenengeräuschdetektions- und -lokalisierungs-Pipeline 501 empfängt Umgebungsaudio, das durch ein oder mehrere Mikrofone erfasst wird, und analysiert das Audio, um das Vorhandensein von Sirenengeräuschen zu detektieren. Falls ein Sirenengeräusch detektiert wird, wird der Standort des Sirenengeräusches in der Betriebsumgebung des Fahrzeugs geschätzt.
Die Blinkleuchtendetektions- und -lokalisierungs-Pipeline 502 empfängt Kamerabilder von einem oder mehreren Kamerasystemen und analysiert die Bilder, um das Vorhandensein von Blinkleuchten zu detektieren. Falls eine Blinkleuchte detektiert wird, wird der Standort der Blinkleuchte in der Betriebsumgebung des Fahrzeugs geschätzt. Die Objektdetektions- und -lokalisierungs-Pipeline 503 empfängt Rückläufe von Licht-, Hochfrequenz(HF)- oder Schallwellen, die in die Umgebung emittiert werden, und analysiert die Rückläufe (Reflexionen von Wellen von Objekten in der Umgebung), um ein oder mehrere Objekte zu detektieren. Falls ein Objekt detektiert wird, wird der Standort des Objekts in der Betriebsumgebung des Fahrzeugs geschätzt.
Die geschätzten Standorte, die durch die Pipelines 501, 502, 503 ausgegeben werden, werden in das Fusionsmodul 504 eingegeben, das bestimmt, ob die geschätzten Standorte übereinstimmen. Falls die geschätzten Standorte bis zu innerhalb eines spezifizierten Übereinstimmungskriteriums übereinstimmen, kann der abgeglichene Standort des Einsatzfahrzeugs durch Downstream-Systeme oder -Anwendungen verwendet werden. Beispielsweise können ein Wahrnehmungsmodul 402, ein Planer 404 und/oder ein Steuerungsmodul 406 des AV 100 den geschätzten Standort des Einsatzfahrzeugs verwenden, um Verhalten anderer Agenten in der Betriebsumgebung vorherzusagen, wie etwa Vorfahrt gewähren oder zur Seite der Straße fahren, und dann eine Route oder Trajektorie in der Betriebsumgebung für das Fahrzeug basierend auf der Vorhersage der Agentenverhalten zu planen. Die Pipelines 501, 502 und der 503 werden nun mit Bezug auf die 6-8 ausführlicher beschrieben.
6 ist ein Blockdiagramm des in 5 gezeigten Sirenengeräuschdetektions- und -lokalisierungssystems 501 gemäß einer oder mehreren Ausführungsformen. Eine Audioschnittstelle 601 empfängt Umgebungsgeräusche und übersetzt die Geräusche in digitale Signale. In einer Ausführungsform beinhaltet ein Umgebungsgeräuschempfänger ein analoges Frontend (AFE), das mit einem oder mehreren Mikrofonen oder Mikrofonarrays (z. B. ein Phased-Mikrofonarray, MEMS-Mikrofonarray, Linear-Mikrofonarray, Strahlformungs-Mikrofonarray) gekoppelt ist. Jedes Mikrofon ist mit einem Vorverstärker (z. B. einem Zweistufen-Differenzverstärker) gekoppelt, der Bandpassfilterung beinhaltet, um einen ebenen Frequenzgang zwischen zum Beispiel 1,6 Hz und 24 kHz zu geben. Ein Vorverstärker erhöht die Verstärkung eines Mikrofonausgangssignals und verbindet das Signal differenziell mit einem Analog-DigitalWandler (ADC). In einer Ausführungsform ist der ADC ein Mehrbit-Sigma-Delta-ADC (z. B. 24-Bits). Der ADC kann durch den gleichen Takt versorgt werden, um geringes Jitter zu gewährleisten, was für zeitlich korrelierte Signale und den TDOA-basierten Algorithmus (TDOA: Time-Difference-of-Arrival - Ankunftszeitdifferenz) wichtig ist, der nachstehend ausführlicher beschrieben ist. Ein Anwendungsprozessor oder eine Logikschaltungsanordnung, wie etwa ein feldprogrammierbares Gate-Array (FPGA), ist mit den Ausgängen eines oder mehrerer ADCs über serielle oder parallele Busschnittstellen (z. B. SPI (Serial Peripheral Interface)) gekoppelt.
In einer Ausführungsform empfängt eine Anwendung, die in den einen oder die mehreren Prozessoren oder das FPGA eingebettet ist, die durch den einen oder die mehreren ADCs ausgegebenen digitalen Signale und fügt Metadaten hinzu, wie etwa Kanalnummern, Zeiten und Fehlerdetektionscodes (z. B. CRC-Codes (CRC: Cyclic Redundancy Check - zyklische Redundanzprüfung)). Die digitalen Signale werden in einen Datenprüfer 602 eingegeben, der in Software oder Logik implementiert werden kann.
Der Datenprüfer 602 analysiert die digitalen Signale auf Fehler und Blockierungssignaturen, einschließlich unter anderem: fehlende Daten, gedämpfte Signale und fehlerhafte Protokolle. Fehlende oder kompromittierte Daten können zum Beispiel durch Fehlerdetektions-/-korrekturcodes oder durch fallengelassene Pakete usw. detektiert werden. Gedämpfte Signale können durch Überwachen von Abfällen (Abfällen, die unerwartet sind und nicht einem erwarteten Muster für eine bekannte Sirene folgen usw., unten besprochen) im Signalpegel usw. detektiert werden. Falls Fehler detektiert werden, wird ein Diagnosesystem benachrichtigt, sodass der Fehler gemeldet, analysiert und/oder falls möglich behoben werden kann. Die Ausgabe des Datenprüfers 602 wird in einen Sirenengeräuschdetektor 603 eingegeben.
Der Sirenengeräuschdetektor 602 analysiert die Signale auf Sirenengeräusche. Diese Analyse beinhaltet unter anderem: Filtern von Rauschen (z. B. Windgeräusche, Straßengeräusche, Reifengeräusche, „städtische“ Geräusche), Vergleichen der gefilterten Signale mit bekannten Sirenensignalen. Ein solches Vergleichen kann ermöglicht werden, indem zuerst die Signale in einen Frequenzbereich transformiert werden, zum Beispiel unter Verwendung einer schnellen Fourier-Transformation (FFT), um das Spektrum des Signals zu bestimmen, und dann nach Energie in spezifischen Frequenzbändern gesucht wird, von denen bekannt ist, dass sie Sirenengeräusche enthalten. In einer Ausführungsform können Frequenzabgleichalgorithmen verwendet werden, um die Frequenzspektren der Signale mit Referenzfrequenzspektren für Sireneninhalt abzugleichen. In einer Ausführungsform können Charakteristiken von Referenzfrequenzspektren für unterschiedliche Sirenenarten (z. B. Yelp-, Wail-, Martin-Horn-, Power-Call-, Druckluftsignalhorn- und Howler-Sirenengeräusche) gespeichert und durch die Abgleichalgorithmen verwendet werden.
In einer Ausführungsform wird ein maschinelles Lernmodell (z. B. ein neuronales Netzwerk) verwendet, um Sirenengeräusche in den durch den Datenprüfer 602 ausgegebenen Signalen zu detektieren. In einer Ausführungsform wird auch ein Konfidenzniveau der Sirenendetektion geschätzt (z. B. eine Wahrscheinlichkeit der Sirenengeräuschdetektion) und durch das maschinelle Lernmodell ausgegeben. In einer Ausführungsform wird dann, falls ein bestimmtes Konfidenzniveau einer Sirenengeräuschdetektion unter einer definierten Konfidenzschwelle liegt, die Sirenengeräuschdetektion als eine Falschdetektion angesehen und von der Eingabe in das Fusionsmodul 504 ausgeschlossen.
Falls ein Sirenengeräusch durch den Sirenengeräuschdetektor 603 mit einem Konfidenzniveau über der Konfidenzschwelle detektiert wird, schätzt ein Geräuschquellenlokalisierer 604 den Standort der Sirenengeräuschquelle. Der Standort einer Sirenengeräuschquelle kann unter Verwendung mehrerer Sensoren (z. B. direktionaler Mikrofone, Phased-Mikrofonarrays, MEMS-Mikrofone), die an unterschiedlichen Orten rund um das Fahrzeug platziert sind, und Anwenden eines Geräuschquellenlokalisierungsverfahrens an den Mikrofonsignalen bestimmt werden. Einige Beispiele für Geräuschquellenlokalisierungsverfahren beinhalten unter anderem: TOA-Messungen (TOA: Time-of-Arrival - Ankunftszeit), TDOA-Messungen oder DOA-Schätzungen (DOA: Direction-of-Arrival - Ankunftsrichtung) oder durch Verwenden einer SRP-Funktion (SRP: Steered Response Power). In einer Ausführungsform wird eine dreidimensionale (3D) Geräuschquellenlokalisierung durch den Geräuschquellenlokalisierer 604 unter Verwendung beispielsweise von Mikrofonarrays, maschinellen Lernmodellen, Maximum Likelihood, MUSIC (Multi-Signal Classification), AVS-Arrays (AVS: Acoustic Vector Sensor - Akustikvektorsensor), gelenkte Strahlformer (z. B. einen DAS-Strahlformer (DAS: Delay-and-Sum)) implementiert. In einer Ausführungsform ist jeder Sensor ein unidirektionales Mikrofon mit einem Strahlmuster (Hauptkeule), das entlang eines schmalen Audio-„Sichtfeldes“ empfindlich ist. Eine Lokalisierung kann durch Vergleichen der Intensitäten der Mikrofonsignale und der Zeigerichtung des Mikrofons, das ein Signal mit der höchsten Intensität unter allen Mikrofonsignalen ausgibt, bestimmt werden.
Nach der Detektion und Lokalisierung einer Sirenengeräuschquelle wird eine Standortschätzung der Sirenengeräuschquelle in das Fusionsmodul 504 eingegeben.
7 ist ein Blockdiagramm des in 5 gezeigten Blinkleuchtendetektions- und -lokalisierungssystems 502 gemäß einer oder mehreren Ausführungsformen. Eine Kameraschnittstelle 701 empfängt Kamerabilder und wandelt die Kamerabilder in digitale Signale um. In einer Ausführungsform ist die Kameraschnittstelle 701 ein Kamerasystem, das einen Bildsensor beinhaltet, der einfallendes Licht (Photonen) empfängt, das durch ein Objektiv oder andere Optik fokussiert wird. Ein oder mehrere Sensoren (z. B. CMOS-Sensoren) wandeln die Photonen in Elektronen, Elektronen in analoge Spannungen und dann analoge Spannungen in digitale Werte unter Verwendung eines oder mehrerer ADCs um. Ein Anwendungsprozessor oder eine Logikschaltungsanordnung, wie etwa ein FPGA, ist mit den Ausgängen des einen oder der mehreren ADCs über serielle oder parallele Busschnittstellen (z.B. SPI-Schnittstellen)) gekoppelt.
In einer Ausführungsform empfängt eine Anwendung, die in dem einen oder den mehreren Prozessoren oder dem FPGA eingebettet ist, die durch den einen oder die mehreren ADCs ausgegebenen digitalen Signale. Die digitalen Signale werden in einen Datenprüfer 702 eingegeben, der in Software oder Logik implementiert werden kann. Der Datenprüfer 702 analysiert die digitalen Signale auf Fehler und Blockierungssignaturen, einschließlich unter anderem: fehlende Daten, gedämpfte Signale und fehlerhafte Protokolle. Fehlende oder kompromittierte Daten können durch Fehlerdetektions-/-korrekturcodes oder fallengelassene Pakete usw. detektiert werden. Gedämpfte Signale können durch Überwachen von Abfällen im Signalpegel usw. detektiert werden. Falls Fehler detektiert werden, wird ein Diagnosesystem benachrichtigt, sodass der Fehler gemeldet, analysiert und/oder falls möglich behoben werden kann. Die Ausgabe des Datenprüfers 702 wird in einen Blinkleuchtendetektor 703 eingegeben.
Der Blinkleuchtendetektor 703 analysiert die Signale auf Blinkleuchten. Diese Analyse beinhaltet unter anderem: Filtern einer Sequenz von Kamerabildern nach Lichtsignalen niedriger Intensität, Vergleichen der resultierenden Sequenz von Bildern hoher Intensität mit einer Sequenz von Referenzbildern bekannter Blinkleuchten. Falls ein oder mehrere Kamerabilder hoher Intensität innerhalb eines definierten Übereinstimmungskriterium mit einem oder mehreren Referenzbildern übereinstimmen, dann wird die Blinkleuchtendetektion als erfolgt erachtet.
In einer Ausführungsform wird ein maschinelles Lernmodell (z. B. ein neuronales Netzwerk) zum Detektieren von Blinkleuchten verwendet. Die Ausgabe des maschinellen Lernmodells kann ein Konfidenzniveau (z. B. eine Wahrscheinlichkeit) sein, dass eine Blinkleuchte detektiert wurde. In einer Ausführungsform wird dann, falls ein bestimmtes Konfidenzniveau einer bestimmten Blinkleuchtendetektion unter einer definierten Konfidenzschwelle liegt, die Blinkleuchtendetektion als eine Falschdetektion angesehen und von der Eingabe des Fusionsmoduls 504 ausgeschlossen. Einige Beispiele für geeignete tiefe faltende neuronale Netzwerke beinhalten unter anderem: Bochkovskiy, A., Wang, C-Y., Hong-Yuan, M. L. YOLOv4: „Optimal Speed and Accuracy of Object Detection“, abgerufen von http://arxiv.org/pdf/2004.10934.pdf; Shaoqing, R., Kaiming, H., Girshick R., Sun, J. „Faster R-CNN: Towards Real-Time Object Detection with Regional Proposal Networks“, abgerufen von http://arxiv.org/pdf/1506.01497.pdf; und Liu, W., Anguelov, D., Erhan, D., Szegedy, C., Reed, S., Fu, C-Y, Berg, A. „SSD:Single Shot MultiBox Detector“, abgerufen unter http://arxiv.org/pdf/1512.02325.pdf.
Falls eine Blinkleuchte durch den Blinkleuchtendetektor 703 mit einem Konfidenzniveau (z. B. einer Detektionswahrscheinlichkeit) über der Konfidenzschwelle detektiert wird, schätzt ein Blinkleuchtenquellenlokalisierer 704 den Standort der Blinkleuchtenquelle. In einer Ausführungsform kann ein geschätzter Standort der Blinkleuchtenquellen durch Detektieren eines Objekts in einem Bild und zusätzliches Schätzen seines radialen Abstands erreicht werden. Dies, kombiniert mit der bekannten Kameraposition, kann zu einem Standort in Weltkoordinaten transformiert werden. In einer anderen Ausführungsform kann eine Schätzung des Standorts der Blinkleuchte unter Verwendung von Triangulation bestimmt werden, bei der mehrere Kamerasysteme rund um das Fahrzeug positioniert sind und eine Lokalisierung durch Beobachten von Schlüsselsignaturen in den durch die mehreren Kameras erzeugten Kamerabildern bestimmt wird. Beispielsweise können die Schlüsselsignaturen eine Gruppe blinkender Pixel hoher Intensität in den Kamerabildern sein.
In einer Ausführungsform können Verfahren zum Detektieren blinkender Ampeln verwendet werden, um Blinkleuchten von Einsatzfahrzeugen in Echtzeit unter Verwendung einer oder mehrerer Hochgeschwindigkeitskameras zu detektieren, wie zum Beispiel in Yabuuchi K., Hirano M., Senoo T., Kishi N., Ishikawa M. „Real-Time Traffic Light Detection with Frequency Patterns Using a High-speed Camera“, Sensors (Basel), 2020;20(14):4035, veröffentlicht 20. Juli 2020, DOI:10.3390/s20144035, beschrieben. In einer alternativen Ausführungsform wird für alle Objekte gleichzeitig die Position, Größe und Klassifizierung des Objekts in einem Single Shot (Einzelschuss) unter Verwendung eines neuronalen Netzwerks erlernt. Für jene Objekte von Interesse, die Blinkleuchten aufweisen können, wie etwa Einsatzfahrzeuge, wird ein zusätzliches bedingtes Attribut durch das neuronale Netzwerk basierend darauf erlernt, ob Blinkleuchten detektiert werden. Das Durchführen von diesem in einem Single Shot ermöglicht eine schnelle Inferenzzeit, während das Lernen eines bedingten Attributs eine Verwechslung mit anderen Blinkleuchten reduziert, da das neuronale Netzwerk nur lernen wird, Blinkleuchten zu assoziieren, die schon Teil eines Objekts sind.
Unter Verwendung der in Yabuuchi K. et al beschriebenen Verfahren werden die Kamerabilder in Graustufen umgewandelt und ein Bandpassfilter wird auf die Graustufen-Kamerabilder im Frequenzbereich angewendet, um die blinkenden Bereiche in den Kamerabildern zu verbessern. Ein Binarisierungsmodul schätzt (z. B. unter Verwendung eines Kalman-Filters) den Zustand der Blinkleuchtendynamiken, was Blinkamplitude, Offset und Phase beinhaltet. Die Zustandsschätzung wird zum Bestimmen einer Schwelle zur Binarisierung der gefilterten Bilder verwendet. Die gefilterten Bilder werden dann unter Verwendung der geschätzten Schwelle in Binärbilder umgewandelt. Ein Puffermodul leitet die Binärbilder zu einem Detektionsmodul weiter, das aus dem spitzenbinarisierten Bild Konturen extrahiert und dann die Konturen verwendet, um Kandidatenpixel auszuschließen, damit Falschdetektionen verhindert werden. Ein Klassifizierungsmodul (z. B. eine Support-Vektor-Maschine) wird dann verwendet, um die Lichtfarbe unter Verwendung der Konturen und der ursprünglichen RGB-Kamerabilder in drei Klassen mit Labeln von Rot, Gelb und Grün zu klassifizieren. Die Orte von Pixeln mit Label „Rot“ können dann als Schlüsselsignaturen zur Lokalisierung verwendet werden, wie oben beschrieben. Diese Technik könnte auch durch den Blinkleuchtendetektor 603 zur Blinkleuchtendetektion verwendet werden, wie oben beschrieben.
8 ist ein Blockdiagramm des in 5 gezeigten Objektdetektions- und -lokalisierungssystems 503 gemäß einer oder mehreren Ausführungsformen.
Eine 3D-Sensorschnittstelle 801 empfängt Rücklaufsignale von einem oder mehreren 3D-Objektdetektionssensoren (z. B. LiDAR, RADAR, Ultraschall) und übersetzt die Rücklaufsignale in digitale Signale. In einer Ausführungsform ist die 3D-Sensorschnittstelle 801 ein LiDAR-System, das einen oder mehrere Sensoren beinhaltet, die einfallendes Licht (Photonen) empfangen, die von Objekten in der Fahrzeugbetriebsumgebung zurückgegeben/reflektiert werden. Der eine oder die mehreren Sensoren wandeln die Photonen in Elektronen, dann von Elektronen in eine analoge Spannung und dann von einer analogen Spannung in digitale Signale unter Verwendung eines oder mehrerer ADCs um. Diese digitalen Signale werden auch als eine „Punktwolke“ bezeichnet. Ein Anwendungsprozessor oder eine Logikschaltungsanordnung, wie etwa ein FPGA, ist mit den Ausgängen des einen oder der mehreren ADCs über serielle oder parallele Busschnittstellen (z. B. SPI-Schnittstellen) gekoppelt. In einer Ausführungsform empfängt eine Anwendung, die in dem einen oder den mehreren Prozessoren oder dem FPGA eingebettet ist, die durch den einen oder die mehreren ADCs ausgegebenen digitalen Signale.
Die digitalen Signale werden in einen Datenprüfer 802 eingegeben, der in Software oder Logik implementiert werden kann. Der Datenprüfer 802 analysiert die digitalen Signale auf Fehler und Blockierungssignaturen, einschließlich unter anderem: fehlende Daten, gedämpfte Signale und fehlerhafte Protokolle. Fehlende oder kompromittierte Daten können durch Fehlerdetektions-/-korrekturcodes oder fallengelassene Pakete usw. detektiert werden. Gedämpfte Signale können durch Überwachen von Abfällen im Signalpegel usw. detektiert werden. Falls Fehler detektiert werden, wird ein Diagnosesystem des Fahrzeugs oder eine Cloud-basierte Diagnoseanwendung benachrichtigt, sodass der Fehler gemeldet, analysiert und/oder falls möglich behoben werden kann.
Ein Objektdetektor 802 (ein tiefes faltendes neuronales Netzwerk) empfängt die Sensordaten vom Datenprüfer 802 und analysiert die Sensordaten auf Objekte. In einer Ausführungsform filtert der Objektdetektor 802 Rauschen aus den Sensordaten, wie etwa Rückläufe von Staub, Blättern, Schnee, Regen, Luftfeuchtigkeit usw., und kombiniert oder gruppiert die Rückläufe mit ähnlichen Charakteristiken, wie etwa Entfernung, Entfernungsrate, Höhe, lokale Dichte usw. Die kombinierten oder gruppierten Rückläufe werden dann als Objektdetektionen klassifiziert.
In einer Ausführungsform wird maschinelles Lernen für die Objektdetektion verwendet. Beispielsweise kann ein trainiertes tiefes faltendes neuronales Netzwerk (CNN) (z. B. ein VGG-16-Netzwerk) verwendet werden, um die Rückläufe zu analysieren und gelabelte Begrenzungskästen (Bounding Boxes) rund um detektierte Objekte auszugeben. Ein Konfidenzniveau der Objektdetektionen (z. B. eine Wahrscheinlichkeit einer Objektdetektion) kann auch durch das CNN ausgegeben werden. Falls die Konfidenz niedrig ist, dann wird das detektierte Objekt als eine Falschdetektion erachtet und von der Eingabe des Fusionsmodells 504 ausgeschlossen. Ein Objektlokalisierer 804 empfängt dann die Objektdaten vom Objektdetektor 803 und bestimmt eine Entfernung und einen Azimut des Objekts durch eine Bestimmung eines radialen Standorts mittels einer Analyse von Sensorposition und -orientierung oder durch eine Bestimmung eines Entfernungs-Standorts mittels einer Analyse von Sensorrückläufen über TOF und/oder Rücklaufintensitätsanalyse.
Die geschätzten Standorte, die durch die Pipelines 501, 502, 503 ausgegeben werden, werden in das Fusionsmodul 504 eingegeben, das bestimmt, ob die geschätzten Standorte übereinstimmen. Falls die geschätzten Standorte bis zu innerhalb eines spezifizierten Übereinstimmungskriteriums übereinstimmen, kann der abgeglichene Standort des Einsatzfahrzeugs durch Downstream-Systeme oder -Anwendungen verwendet werden. Beispielsweise können ein Wahrnehmungsmodul 402, ein Planer 404 und/oder ein Steuerungsmodul 406 des AV 100 den geschätzten Standort des Einsatzfahrzeugs verwenden, um Verhalten anderer Agenten in der Betriebsumgebung vorherzusagen, wie etwa Vorfahrt gewähren oder zur Seite der Straße fahren, und dann eine Route oder Trajektorie in der Betriebsumgebung für das Fahrzeug basierend auf der Vorhersage der Agentenverhalten zu planen.
In einer Ausführungsform empfängt das Fusionsmodul 504 als Eingabe Sirenen-, Blinkleuchten- und/oder Objektdetektionen und gleicht die Sirenen-, Blinkleuchten- und/oder Objektdetektionen ab durch: 1) Vergleichen einer ähnlichen Entfernung, eines ähnlichen Azimuts, einer ähnlichen Entfernungsrate, einer ähnlichen Intensität usw., 2) Vergleichen der Sirenenart mit einem Fahrzeugtyp und/oder 3) Vergleichen der Detektionen unter Verwendung eines trainierten tiefen faltenden neuronalen Netzwerks.
In einer Ausführungsform erzeugt und sendet das Fusionsmodul 504 ein Einsatzfahrzeug-Vorhandenseinsignal zu einem oder mehreren Downstream-Modulen, wie etwa dem Planungsmodul 402, dem Wahrnehmungsmodul 404 oder dem Steuerungsmodul 406. Beispielsweise kann das Vorhandenseinsignal „vorhanden“, „vorhanden und nahe“, „vorhanden und weit entfernt“, „eine Anzahl detektierter Einsatzfahrzeuge“, Entfernung, Entfernungsrate, Azimut usw. angeben.
Beispielhafte Prozesse
9 ist ein Flussdiagramm eines Einsatzfahrzeugdetektionsprozesses 900 gemäß einer oder mehreren Ausführungsformen. Der Prozess 900 kann zum Beispiel unter Verwendung des mit Bezug auf 3 beschriebenen Computersystems 300 implementiert werden.
Der Prozess 900 beginnt mit Empfangen von Eingabedaten von verschiedenen Sensoren eines Fahrzeugs (901). Die Eingabedaten können unter anderem beinhalten: ein Umgebungsgeräusch, das durch ein oder mehrere Mikrofone erfasst wird, Kamerabilder, die durch eine oder mehrere Kameras erfasst werden, und Rückläufe von Lichtwellen, HF-Wellen oder akustischen Wellen, die in die Umgebung emittiert werden.
Der Prozess 900 wird fortgesetzt mit Prüfen der Eingabedaten auf Fehler und Blockierungssignaturen (902). Beispielsweise werden das Umgebungsgeräusch, Blinkleuchten und Lichtrückläufe in digitale Signale umgewandelt, die auf Fehler und Blockierungssignaturen analysiert werden. Falls Fehler oder Blockierungssignaturen infolge der Analyse detektiert werden, wird ein lokales Fahrzeugdiagnosesystem und/oder ein Cloudbasiertes Diagnosesystem verwendet, um die Ursache der Fehler oder Blockierungssignaturen zu bestimmen. Falls jedoch keine Fehler oder Blockierungssignaturen detektiert werden, werden die digitalen Signale auf Sirenengeräusche, Blinkleuchten und Objekte analysiert.
Der Prozess 900 wird fortgesetzt mit Detektieren des Vorhandenseins eines Einsatzfahrzeugs basierend auf den Eingabedaten (903). Beispielsweise wird das durch ein oder mehrere Mikrofone erfasste Umgebungsgeräusch analysiert, um das Vorhandensein eines Sirenengeräusches zu bestimmen, durch die eine oder die mehreren Kameras erfassten Kamerabilder werden analysiert, um das Vorhandensein von Blinkleuchten zu detektieren, und 3D-Daten von dem einen oder den mehreren 3D-Sensoren werden analysiert, um das Vorhandensein statischer oder dynamischer Objekte in der Umgebung zu bestimmen, wie ausführlicher mit Bezug auf die 6-8 beschrieben. Falls ein Einsatzfahrzeug basierend auf einer Detektion eines Sirenengeräusches und einer Blinkleuchte detektiert wird (904), wird der Standort des Einsatzfahrzeugs basierend auf dem Standort des Sirenengeräusches und der Blinkleuchte geschätzt (905). Beispielsweise empfängt das Fusionsmodul 505 als Eingabe Sirenen-, Blinkleuchten- und/oder Objektdetektionen und gleicht die Sirenen-, Blinkleuchten- und/oder Objektdetektionen ab durch: 1) Vergleichen einer ähnlichen Entfernung, eines ähnlichen Azimuts, einer ähnlichen Entfernungsrate, einer ähnlichen Intensität der Standorte, 2) Vergleichen der Sirenenart mit einem Einsatzfahrzeugtyp unter Verwendung von Frequenzsignaturen und/oder 3) Vergleichen der Detektionen unter Verwendung eines oder mehrerer tiefer CNNs, die an Sirenengeräusch-, Blinkleuchten- und/oder Objektdetektionen als Trainingsdaten trainiert sind. Die Trainingsdaten können erweitert werden, um verschiedene Umgebungen (z. B. dicht besiedelte Stadt, ländlich) und Umgebungsbedingungen (z. B. Nacht, Tag, regnerisch, neblig, verschneit) abzudecken, um die Genauigkeit der durch die CNNs ausgegebenen Vorhersagen zu erhöhen. Die Detektion eines Sirenengeräusches, einer Blinkleuchte und eines Objekts an dem gleichen geschätzten Standort in der Umgebung liefert ein höheres Konfidenzniveau einer Einsatzfahrzeugdetektion als sich alleinig auf eine Sirenengeräuschdetektion, eine Blinkleuchtendetektion oder eine Objektdetektion zu verlassen.
In einer Ausführungsform sagt die Objektdetektions-Pipeline 503 2D- oder 3D-Begrenzungskästen für Objekte vorher, die mit einem Einsatzfahrzeugtyp gelabelt sind (z. B. Polizeiauto, Feuerwehrfahrzeug, Krankenwagen), basierend auf dem physischen Erscheinungsbild des Einsatzfahrzeugs (z. B. Form, Größe, Farbe, Profil und/oder dergleichen) und erweitert das Label mit Daten, die angeben, ob eine oder mehrere Leuchten des Einsatzfahrzeugs blinken, basierend auf der Ausgabe der Pipeline 502 und/oder darauf, ob die Sirene aktiviert ist, basierend auf der Ausgabe der Pipeline 501. Die 2D- oder 3D-Begrenzungskästen können zum Beispiel durch das Planungsmodul 404 des AV 100 verwendet werden, um eine Route oder Trajektorie in der Betriebsumgebung zu planen. Falls beispielsweise das Vorhandensein eines Einsatzfahrzeugs detektiert wird, kann das Planungsmodul 404 planen, zu der Seite der Straße zu manövrieren, basierend auf dem geschätzten Standort des Einsatzfahrzeugs und den physischen und emotionalen Zuständen anderer Agenten (z. B. anderer Fahrzeuge) in der Betriebsumgebung, die auf eine vorhersagbare Weise auf das Sirenengeräusch oder die Blinkleuchten des Einsatzfahrzeugs (z. B. Spurwechsel, Anhalten, an den Straßenrand fahren) gemäß bundesstaatlichen Bestimmungen reagieren können.
In der vorstehenden Beschreibung wurden Ausführungsformen der Erfindung mit Bezugnahme auf zahlreiche spezifische Einzelheiten beschrieben, die von Implementierung zu Implementierung variieren können. Die Beschreibung und die Zeichnungen sind dementsprechend als veranschaulichend anstatt beschränkend aufzufassen. Der alleinige und exklusive Indikator des Schutzumfangs der Erfindung, und was durch die Anmelder als der Schutzumfang der Erfindung beabsichtigt wird, ist der wörtliche und äquivalente Schutzumfang des Satzes von Ansprüchen, der sich aus dieser Anmeldung ergibt, in der spezifischen Form, in der solche Ansprüche sich ergeben, einschließlich jeglicher anschließender Korrektur. Jegliche Definitionen, die hierin für in solchen Ansprüchen enthaltenen Begriffe dargelegt sind, sollen die Bedeutung solcher Begriffe, wie in den Ansprüchen verwendet, bestimmen. Zusätzlich, wenn der Begriff „ferner einschließlich“ in der vorstehenden Beschreibung oder den folgenden Ansprüchen verwendet wird, kann, was diesem Ausdruck folgt, ein zusätzlicher Schritt oder eine zusätzliche Entität oder ein Teilschritt/eine Teilentität eines zuvor vorgetragenen Schritts oder einer zuvor vorgetragenen Entität sein.
Beansprucht wird:

Claims

Verfahren, umfassend: Empfangen, mit mindestens einem Prozessor, eines Umgebungsgeräusches; Bestimmen, mit dem mindestens einen Prozessor, ob das Umgebungsgeräusch ein Sirenengeräusch beinhaltet; gemäß dem Bestimmen, dass das Umgebungsgeräusch ein Sirenengeräusch beinhaltet, Bestimmen, mit dem mindestens einen Prozessor, eines ersten Standorts, der mit dem Sirenengeräusch assoziiert ist; Empfangen, mit dem mindestens einen Prozessor, eines Kamerabildes; Bestimmen, mit dem mindestens einen Prozessor, ob das Kamerabild eine Blinkleuchte beinhaltet; gemäß dem Bestimmen, dass das Kamerabild eine Blinkleuchte beinhaltet, Bestimmen, mit dem mindestens einen Prozessor, eines zweiten Standorts, der mit der Blinkleuchte assoziiert ist; Empfangen, mit dem mindestens einen Prozessor, dreidimensionaler (3D) Daten; Bestimmen, mit dem mindestens einen Prozessor, ob die 3D-Daten ein Objekt beinhalten; gemäß dem Bestimmen, dass die 3D-Daten ein Objekt beinhalten, Bestimmen, mit dem mindestens einen Prozessor, eines dritten Standorts, der mit dem Objekt assoziiert ist; Bestimmen, mit dem mindestens einen Prozessor, eines Vorhandenseins eines Einsatzfahrzeugs basierend auf dem Sirenengeräusch, der detektierten Blinkleuchte und dem detektierten Objekt; Bestimmen, mit dem mindestens einen Prozessor, eines geschätzten Standorts des Einsatzfahrzeugs basierend auf dem ersten, zweiten und dritten Standort; und Initiieren, mit dem mindestens einen Prozessor, einer Handlung bezüglich des Fahrzeugs basierend auf dem bestimmten Vorhandensein und dem Standort des Einsatzfahrzeugs.
Verfahren nach Anspruch 1, wobei das Bestimmen, ob das Umgebungsgeräusch ein Sirenengeräusch beinhaltet, ferner Folgendes umfasst: Umwandeln des Umgebungsgeräusches in digitale Signale; Analysieren der digitalen Signale auf Fehler und Blockierungssignaturen; falls Fehler oder Blockierungssignaturen detektiert werden, Benachrichtigen eines Diagnosesystems, um eine Ursache der Fehler oder Blockierungssignaturen zu bestimmen; falls keine Fehler oder Blockierungssignaturen detektiert werden, Analysieren der digitalen Signale auf Sirenengeräusche.
Verfahren nach Anspruch 1, wobei das Bestimmen, ob das Umgebungsgeräusch ein Sirenengeräusch beinhaltet, ferner Folgendes umfasst: Umwandeln des Umgebungsgeräusches in digitale Signale; Filtern von Rauschen aus den digitalen Signalen; Vergleichen der digitalen Signale mit Referenzsignalen; und Bestimmen einer Sirenengeräuschdetektion basierend auf Ergebnissen des Vergleichens.
Verfahren nach Anspruch 1, wobei das Bestimmen, ob das Umgebungsgeräusch ein Sirenengeräusch beinhaltet, ferner Folgendes umfasst: Umwandeln des Umgebungsgeräusches in digitale Signale; Analysieren, unter Verwendung von maschinellem Lernen, der digitalen Signale; und Bestimmen einer Sirenengeräuschdetektion basierend auf Ergebnissen des Analysierens.
Verfahren nach Anspruch 4, ferner umfassend: Bestimmen eines Konfidenzniveaus der Sirenendetektion.
Verfahren nach Anspruch 1, wobei der erste Standort, der mit einer Quelle des Sirenengeräusches assoziiert ist, basierend auf einer Geräuschlokalisierung auf Basis einer Laufzeit(TOF)-Analyse (TOF: Time of Flight) von Signalen bestimmt wird, die durch mehrere Mikrofone, die rund um das Fahrzeug positioniert sind, ausgegeben werden.
Verfahren nach Anspruch 1, wobei der erste Standort, der mit der Quelle des Sirenengeräusches assoziiert ist, basierend auf Standorten und Orientierungen mehrerer unidirektionaler Mikrofone bestimmt wird und der erste Standort basierend auf einer Intensität eines Schlüsselsignatursignals bestimmt wird, das aus einer Analyse von Ausgangssignalen der mehreren unidirektionalen Mikrofone und ihrer jeweiligen Standorte und Orientierungen erhalten wird.
Verfahren nach Anspruch 1, wobei das Bestimmen, ob das Kamerabild eine Blinkleuchte beinhaltet, ferner Folgendes umfasst: Analysieren des Kamerabildes auf Fehler und Blockierungssignaturen; falls Fehler oder Blockierungssignaturen detektiert werden, Benachrichtigen eines Diagnosesystems, um eine Ursache der Fehler oder Blockierungssignaturen zu bestimmen; falls keine Fehler oder Blockierungssignaturen detektiert werden, Analysieren des Kamerabildes, um zu bestimmen, ob das Kamerabild eine Blinkleuchte beinhaltet.
Verfahren nach Anspruch 1, wobei das Bestimmen, ob das Kamerabild eine Blinkleuchte beinhaltet, ferner Folgendes umfasst: Filtern des Kamerabildes, um Lichtsignale niedriger Intensität zu entfernen, was zu einem Bild hoher Intensität führt; Vergleichen des Bildes hoher Intensität mit einem Referenzbild; und Bestimmen einer Blinkleuchtendetektion basierend auf Ergebnissen des Vergleichens.
Verfahren nach Anspruch 1, wobei das Bestimmen, ob das Kamerabild eine Blinkleuchte beinhaltet, ferner Folgendes umfasst: Analysieren, unter Verwendung von maschinellem Lernen, des Kamerabildes; und Vorhersagen einer Blinkleuchtendetektion basierend auf Ergebnissen des Analysierens.
Verfahren nach Anspruch 10, ferner umfassend: Bestimmen eines Konfidenzniveaus der Blinkleuchtendetektion.
Verfahren nach Anspruch 11, wobei das Analysieren, unter Verwendung von maschinellem Lernen, Analysieren des Kamerabildes unter Verwendung eines neuronalen Netzwerks beinhaltet, das dahingehend trainiert ist, helle Blinkleuchten von anderen hellen Lichtern zu unterscheiden.
Verfahren nach Anspruch 1, wobei der zweite Standort, der mit der Blinkleuchte assoziiert ist, durch Folgendes bestimmt wird: Detektieren von Blinkleuchtensignaturen in mehreren Kamerabildern, die durch mehrere Kameras erfasst werden; und Bestimmen eines radialen Standorts der Blinkleuchte basierend auf einer Position und Orientierung jeder Kamera der mehreren Kameras; oder Bestimmen des zweiten Standorts basierend auf einer Triangulation der Positionen und Orientierungen der mehreren Kameras.
Verfahren nach Anspruch 13, wobei das Bestimmen, ob die 3D-Daten ein Objekt beinhalten, ferner Folgendes umfasst: Analysieren der 3D-Daten auf Fehler und Blockierungssignaturen; falls Fehler oder Blockierungssignaturen detektiert werden, Benachrichtigen eines Diagnosesystems, um eine Ursache der Fehler oder Blockierungssignaturen zu bestimmen; falls keine Fehler oder Blockierungssignaturen detektiert werden, Analysieren der 3D-Daten, um zu bestimmen, ob die 3D-Daten ein Objekt beinhalten.
Verfahren nach Anspruch 13, wobei das Bestimmen, ob die 3D-Daten ein Objekt beinhalten, ferner Folgendes umfasst: Filtern der 3D-Daten, um Rauschen zu entfernen; Aufteilen der 3D-Daten in Gruppen mit ähnlichen Charakteristiken; und Analysieren, unter Verwendung von maschinellem Lernen, der Gruppen, um eine Objektdetektion zu bestimmen.
Verfahren nach Anspruch 15, ferner umfassend: Bestimmen eines Konfidenzniveaus der Objektdetektion.
Verfahren nach Anspruch 13, wobei das Bestimmen des dritten Standorts Folgendes umfasst: Bestimmen eines radialen Standorts des Objekts basierend auf einer Analyse einer Sensorposition und -orientierung eines Sensors, der das Objekt detektierte.
Verfahren nach Anspruch 13, wobei das Bestimmen des dritten Standorts Folgendes umfasst: Bestimmen eines radialen Standorts des Objekts basierend auf einer Analyse einer Sensorposition und -orientierung eines Sensors, der das Objekt detektierte.
Verfahren nach Anspruch 1, wobei das Bestimmen des Vorhandenseins und des Standorts des Einsatzfahrzeugs ferner Folgendes umfasst: Vergleichen von Sirenen-, Blinkleuchten- und Objektdetektionen, um zu bestimmen, ob die Sirenen-, Blinkleuchten- und Objektdetektionen übereinstimmen; und gemäß dem Bestimmen einer Übereinstimmung, Erzeugen eines Signals, das das Vorhandensein des Notfalls angibt.
Verfahren nach Anspruch 19, ferner umfassend Verfolgen des Einsatzfahrzeugs basierend auf dem Standort des Einsatzfahrzeugs.
System, umfassend: mindestens einen Prozessor; Speicher, der Anweisungen speichert, die bei Ausführung durch den mindestens einen Prozessor bewirken, dass der mindestens eine Prozessor Operationen durchführt, die Folgendes umfassen: Empfangen eines Umgebungsgeräusches; Bestimmen, ob das Umgebungsgeräusch ein Sirenengeräusch beinhaltet, gemäß dem Bestimmen, dass das Umgebungsgeräusch ein Sirenengeräusch beinhaltet, Bestimmen eines ersten Standorts, der mit dem Sirenengeräusch assoziiert ist; Empfangen eines Kamerabildes; Bestimmen, ob das Kamerabild eine Blinkleuchte beinhaltet; gemäß dem Bestimmen, dass das Kamerabild eine Blinkleuchte beinhaltet, Bestimmen eines zweiten Standorts, der mit der Blinkleuchte assoziiert ist; Empfangen dreidimensionaler (3D) Daten; Bestimmen, ob die 3D-Daten ein Objekt beinhalten; gemäß dem Bestimmen, dass die 3D-Daten ein Objekt beinhalten, Bestimmen eines dritten Standorts, der mit dem Objekt assoziiert ist; Bestimmen eines Vorhandenseins eines Einsatzfahrzeugs basierend auf dem Sirenengeräusch, der detektierten Blinkleuchte und dem detektierten Objekt; Bestimmen eines geschätzten Standorts des Einsatzfahrzeugs basierend auf dem ersten, zweiten und dritten Standort; und Initiieren einer Handlung bezüglich des Fahrzeugs basierend auf dem bestimmten Vorhandensein und dem Standort des Einsatzfahrzeugs.
Computerlesbares Speicherungsmedium mit darauf gespeicherten Anweisungen, die bei Ausführung durch mindestens einen Prozessor bewirken, dass der mindestens eine Prozessor Operationen durchführt, die Folgendes umfassen: Empfangen eines Umgebungsgeräusches; Bestimmen, ob das Umgebungsgeräusch ein Sirenengeräusch beinhaltet; gemäß dem Bestimmen, dass das Umgebungsgeräusch ein Sirenengeräusch beinhaltet, Bestimmen eines ersten Standorts, der mit dem Sirenengeräusch assoziiert ist; Empfangen eines Kamerabildes; Bestimmen, ob das Kamerabild eine Blinkleuchte beinhaltet; gemäß dem Bestimmen, dass das Kamerabild eine Blinkleuchte beinhaltet, Bestimmen eines zweiten Standorts, der mit der Blinkleuchte assoziiert ist; Empfangen dreidimensionaler (3D) Daten; Bestimmen, ob die 3D-Daten ein Objekt beinhalten; gemäß dem Bestimmen, dass die 3D-Daten ein Objekt beinhalten, Bestimmen eines dritten Standorts, der mit dem Objekt assoziiert ist; Bestimmen eines Vorhandenseins eines Einsatzfahrzeugs basierend auf dem Sirenengeräusch, der detektierten Blinkleuchte und dem detektierten Objekt; Bestimmen eines geschätzten Standorts des Einsatzfahrzeugs basierend auf dem ersten, zweiten und dritten Standort; und Initiieren einer Handlung bezüglich des Fahrzeugs basierend auf dem bestimmten Vorhandensein und dem Standort des Einsatzfahrzeugs.