DE102018125713A1 - Identifikation von Audiosignalen in umgebenden Tönen und Führung eines autonomen Fahrzeugs als Reaktion darauf - Google Patents

Identifikation von Audiosignalen in umgebenden Tönen und Führung eines autonomen Fahrzeugs als Reaktion darauf Download PDF

Info

Publication number
DE102018125713A1
DE102018125713A1 DE102018125713.9A DE102018125713A DE102018125713A1 DE 102018125713 A1 DE102018125713 A1 DE 102018125713A1 DE 102018125713 A DE102018125713 A DE 102018125713A DE 102018125713 A1 DE102018125713 A1 DE 102018125713A1
Authority
DE
Germany
Prior art keywords
vehicle
audio
audio signal
frames
microphones
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102018125713.9A
Other languages
English (en)
Inventor
Tobias Bocklet
Mithil Ramteke
Sarang Akotkar
Siva Subramanian Sundaram
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Motor Co
Kia Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of DE102018125713A1 publication Critical patent/DE102018125713A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/24—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being the cepstrum
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/01—Input selection or mixing for amplifiers or loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/03—Connection circuits to selectively connect loudspeakers or headphones to amplifiers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/13—Acoustic transducers and sound field adaptation in vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Otolaryngology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Medical Informatics (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Game Theory and Decision Science (AREA)
  • Quality & Reliability (AREA)
  • Traffic Control Systems (AREA)

Abstract

Ausführungsformen enthalten Geräte, Systeme und Verfahren für ein System zum computergestützten oder autonomen Fahren (CA/AD) zum Identifizieren eines und Reagieren auf ein Audiosignal, z. B. ein Notfallalarmsignal. In den Ausführungsformen kann das CA/AD-Fahrsystem eine Vielzahl von Mikrofonen enthalten, angeordnet zum Erfassen des Audiosignals in umgebenden Tönen eines halbautonomen oder autonomen (SA/AD) Fahrzeugs. In den Ausführungsformen kann eine Audioanalyseeinheit das Audiosignal empfangen, um Audiomerkmale aus dem Audiosignal zu extrahieren. In den Ausführungsformen kann ein neuronales Netzwerk wie ein tiefes neuronales Netzwerk (NDD) die extrahierten Audiomerkmale von der Audioanalyseeinheit empfangen und eine Wahrscheinlichkeitskennziffer erzeugen, um eine Identifikation des Audiosignals zu gestatten. In den Ausführungsformen kann das CA/AD-Fahrsystem Fahrelemente des SA/AD-Fahrzeugs steuern, das SA/AD-Fahrzeug als Reaktion auf die Identifikation autonom oder halbautonom zu fahren. Andere Ausführungsformen können ebenfalls beschrieben und beansprucht werden.

Description

  • Gebiet
  • Ausführungsformen der vorliegenden Erfindung betreffen allgemein das technische Gebiet der Audioanalyse und insbesondere das Detektieren von Rettungsfahrzeugen und/oder anderen Spezialfahrzeugen oder dringenden Situationen in einer Umgebung eines halbautonomen oder autonomen (SA/AD) Fahrzeugs basierend mindestens teilweise auf einer Analyse von Audiosignalen, die das SA/AD-Fahrzeug umgeben oder ihm nahe sein können.
  • Hintergrund
  • Die hierin bereitgestellte Beschreibung des Hintergrunds dient dem Zweck, den Kontext der Offenbarung allgemein zu präsentieren. Arbeiten der gegenwärtig namentlich genannten Erfinder zu dem Ausmaß, wie sie in diesem Hintergrundabschnitt beschrieben werden, sowie Aspekte der Beschreibung, die ansonsten zum Zeitpunkt der Einreichung unter Umständen nicht als Stand der Technik eingestuft werden können, werden weder ausdrücklich noch implizit gegen die vorliegende Offenbarung als Stand der Technik anerkannt. Wenn hierin nicht anders angegeben, sind die in diesem Abschnitt beschriebenen Konzepte kein Stand der Technik für die Ansprüche in der vorliegenden Offenbarung und werden durch Aufnahme in diesen Abschnitt nicht als Stand der Technik anerkannt.
  • Experten sagen voraus, dass in den nächsten paar Jahren 10 Millionen halbautonom oder autonom fahrende (SA/AD) Fahrzeuge auf den Straßen sein können. Für SA/AD-Fahrzeuge kann es kritisch sein, die Umgebung zu überwachen und mit wenig oder ohne jede menschliche Eingabe auf eine Vielfalt von gefährlichen oder unvorhergesehenen Vorfällen zu reagieren. Ein Beispiel enthält eine angemessene Reaktion auf dringende Situationen wie z. B. ein sich näherndes Rettungsfahrzeug oder anderes Spezialfahrzeug, das einen Alarm und/oder Blinklichter abgibt.
  • Figurenliste
  • Die Ausführungsformen werden durch die nachstehende ausführliche Beschreibung in Verbindung mit den beigefügten Zeichnungen einfach verstanden werden. Zur Erleichterung dieser Beschreibung verweisen gleiche Bezugszeichen auf gleiche strukturelle Elemente. Die Ausführungsformen werden in den Figuren der beigefügten Zeichnungen beispielhaft und nicht als Einschränkungen dargestellt.
    • 1 zeigt ein Blockdiagramm 100, assoziiert mit einem computergestützten oder autonomen (CA/AD) Fahrsystem eines halbautonom oder autonom fahrenden (SA/AD) Fahrzeugs gemäß verschiedenen Ausführungsformen.
    • 2 zeigt ein Blockdiagramm 200, das das CA/AD-Fahrsystem von 1 gemäß verschiedenen Ausführungsformen darstellt.
    • 3 zeigt ein Blockdiagramm 300, das mit dem CA/AD-Fahrsystem der 1 und 2 assoziierte Ausführungsformen ausführlicher darstellt.
    • 4 zeigt ein Diagramm eines mit den 1-3 assoziierten Klassifikators 400 eines neuronalen Netzwerks gemäß verschiedenen Ausführungsformen.
    • 5 zeigt ein beispielhaftes System 500 gemäß verschiedenen Ausführungsformen.
    • 6 zeigt ein Speichermedium 600 mit Anweisungen zum Praktizieren von Verfahren, beschrieben unter Verweis auf die 1-5, gemäß verschiedenen Ausführungsformen.
    • 7 zeigt eine beispielhafte Umgebung 700, in der verschiedene Ausführungsformen praktiziert werden können.
  • Ausführliche Beschreibung
  • In der nachstehenden ausführlichen Beschreibung wird auf die beigefügten Zeichnungen Bezug genommen, die einen Teil hiervon bilden, wobei durchgehend gleiche Bezugszeichen auf gleiche Teile verweisen, und in denen Ausführungsformen, die praktiziert werden können, veranschaulicht werden. Es muss verstanden werden, dass andere Ausführungsformen genutzt und strukturelle oder logische Veränderungen vorgenommen werden können, ohne den Schutzumfang der vorliegenden Offenbarung zu verlassen. Daher darf die nachstehende ausführliche Beschreibung nicht in einem einschränkenden Sinn verstanden werden, und der Schutzumfang der Ausführungsformen wird durch die beigefügten Ansprüche und ihre Äquivalente definiert.
  • Verschiedene Operationen können als mehrere diskrete Aktionen oder Operationen der Reihe nach in einer Weise, die zum Verständnis des beanspruchten Gegenstands am hilfsreichsten ist, beschrieben werden. Die Reihenfolge der Beschreibung darf jedoch nicht so aufgefasst werden, dass sie impliziert, dass diese Operationen tatsächlich von der Reihenfolge abhängig sind. Insbesondere müssen diese Operationen nicht in der Reihenfolge der Präsentation durchgeführt werden. Beschriebene Operationen können in einer anderen Reihenfolge als die beschriebene Ausführungsform durchgeführt werden. In zusätzlichen Ausführungsformen können verschiedene zusätzliche Operationen durchgeführt und/oder beschriebene Operationen ausgelassen werden.
  • Die Formulierungen „A und/oder B“ und „A oder B“ bedeuten für die Zwecke der vorliegenden Offenbarung (A), (B) oder (A und B). Die Formulierung „A, B und/oder C“ bedeutet für die Zwecke der vorliegenden Offenbarung (A), (B), (C), (A und B), (A und C), (B und C) oder (A, B und C).
  • Die Beschreibung kann die Formulierungen „in einer Ausführungsform“ oder „in Ausführungsformen“ verwenden, die auf eine oder mehrere der gleichen oder von verschiedenen Ausführungsformen verweisen können. Des Weiteren sind die Begriffe „umfassend“, „enthaltend“, „aufweisend“ und dergleichen, wie in Bezug auf Ausführungsformen der vorliegenden Offenbarung verwendet, synonym. Es ist zu beachten, dass „nah“ unweit, auf, über, unter, angebracht an, gekoppelt an, in der Nähe von, umgebend, teilweise umgebend oder dergleichen bedeuten kann. Der Begriff „Schaltungen“, wie hierin verwendet, kann auf eine anwendungsspezifische integrierte Schaltung (ASIC), eine elektronische Schaltung, einen Prozessor (geteilt, dediziert oder Gruppe) oder Speicher (geteilt, dediziert oder Gruppe), der ein oder mehrere Software- oder Firmwareprogramme ausführt, eine Schaltung kombinatorischer Logik und/oder andere geeignete Hardwarekomponenten, die die gleiche Funktionalität bereitstellen, verweisen, davon Teil sein oder diese/n enthalten. „Computerimplementiertes Verfahren“, wie hierin verwendet, kann auf jedes Verfahren verweisen, das durch einen oder mehrere Prozessoren, ein Computersystem mit einem oder mehreren Prozessoren, eine Mobilvorrichtung wie ein Smartphone (das einen oder mehrere Prozessoren enthalten kann), ein Tablet, einen Laptopcomputer, eine Settop-Box, eine Spielkonsole und so weiter ausgeführt wird. Hierin beschriebene Ausführungsformen enthalten ein System für computergestütztes oder autonomes Fahren (CA/AD) zum Identifizieren eines und Reagieren auf ein Audiosignal, das außerhalb eines oder nahe einem halbautonom oder autonom fahrenden (SA/AD) Fahrzeug entsteht. In Ausführungsformen kann das Audiosignal in umgebenden Tönen enthalten sein, durch die das SA/AD-Fahrzeug fahren kann. Dementsprechend kann das SA/AD-Fahrzeug in Ausführungsformen eine Vielzahl von Mikrofonen enthalten, die angeordnet sein können, das Audiosignal zu erfassen. Eine Audioanalyseeinheit oder ein Audioanalysemodul kann in Ausführungsformen das Audiosignal von der Vielzahl von Mikrofonen oder von einer geeigneten Kombination eines oder mehrerer der Vielzahl von Mikrofonen empfangen und das Audiosignal in eine Vielzahl von Rahmen (auch als „Audioanalyserahmen“ bezeichnet) aufteilen, um Extraktion von Audiomerkmalen aus einem oder mehreren der Vielzahl von Rahmen zu gestatten. In Ausführungsformen kann ein Neuronennetzwerkklassifikator wie ein tiefes neuronales Netzwerk (DNN) an das Audioanalysemodul gekoppelt sein, um die extrahierten Audiomerkmale zu empfangen und um eine Wahrscheinlichkeitskennziffer für einen oder mehrere der Vielzahl von Rahmen zu erzeugen, um den einen oder die mehreren der Vielzahl von Rahmen zu klassifizieren, um Identifikation des Audiosignals zu gestatten. In Ausführungsformen kann das CA/AD-Fahrsystem ferner eine an das SA/AD-Fahrzeug gekoppelte Videoverarbeitungskamera enthalten, um Video in einer Richtung zu erfassen, aus der ein mit dem Audiosignal assoziierter Alarmrahmen erfasst werden kann. In Ausführungsformen kann das CA/AD-Fahrsystem nicht nur ein mit einem Rettungsfahrzeug assoziiertes Alarmsignal identifizieren, sondern kann das SA/AD-Fahrzeug auch unterstützen, auf das Alarmsignal zu reagieren. Der Begriff halbautonomes Fahren ist, wie hierin verwendet, mit computergestütztem Fahren synonym. Der Begriff bedeutet nicht, dass exakt 50 % der Fahrfunktionen automatisiert sind. Der Prozentanteil der automatisierten Fahrfunktionen kann ein Bruchteil eines Prozents bis fast 100 % für eine Fahroperation betragen und/oder er kann vorübergehend 100 % für einen Bruchteil der Fahroperation betragen.
  • 1 zeigt ein Blockdiagramm 100, assoziiert mit einen computergestützten oder autonomen (CA/AD) Fahrsystem 101 gemäß verschiedenen Ausführungsformen. In Ausführungsformen kann das CA/AD-Fahrsystem 101 eines halbautonom oder autonom fahrenden (SA/AD) Fahrzeugs 102 unter anderem ein Audiosignal identifizieren, z. B. das Audiosignal 104, das von einem Rettungsfahrzeug 106 außerhalb von oder nahe dem SA/AD-Fahrzeug 102 stammen kann. In Ausführungsformen kann das CA/AD-Fahrsystem 101 eine Vielzahl von Mikrofonen enthalten (in 2 dargestellt), gekoppelt an das SA/AD-Fahrzeug 102 oder in anderer Weise damit assoziiert und angeordnet, das Audiosignal 104 zu erfassen. In Ausführungsformen kann das SA/AD-Fahrzeug 102 durch umgebende Töne fahren und das Audiosignal 104 kann in den umgebenden Tönen enthalten sein. Es ist zu beachten, dass das Audiosignal 104 in verschiedenen anderen Ausführungsformen ein Audiosignal sein kann, das von anderen Quellen als ein Rettungsfahrzeug stammen kann, z. B. eine Nachrichtenrundsendung von einem anderen SA/AD- oder einem anderen Fahrzeug an vorbeifahrende oder in der Nähe befindliche SA/AD-Fahrzeuge. In Ausführungsformen kann eine Vielzahl von Sensoren eines ersten Blocks 108, z. B. eine Vielzahl von Mikrofonen, in, an oder um dem/das SA/AD-Fahrzeug 102 angeordnet sein, um das Audiosignal 104 in den umgebenden Tönen zu erfassen. In Ausführungsformen kann eine Kommunikationsschnittstelle von der Vielzahl von Mikrofonen ein Audiosignal empfangen, das in umgebenden Tönen nahe dem SA/AD-Fahrzeug enthalten ist.
  • In der Ausführungsform kann das CA/AD-Fahrsystem 101, wie dargestellt, ferner ein Audioanalysemodul in einem nächsten Block 110 zum Empfangen des Audiosignals von der Vielzahl von Mikrofonen oder anderen Quellen und zum Aufteilen des Audiosignals in eine Vielzahl von Rahmen, z. B. eine endliche Anzahl von Datenabtastungen des Audiosignals, in der Ausführungsform enthalten. In Ausführungsformen kann das Audioanalysemodul von Block 110 dann Audiomerkmale aus einem oder mehreren der Vielzahl von Rahmen extrahieren. Als Nächstes kann für die Ausführungsform ein Klassifikator in Block 112, wie zum Beispiel ein neuronales Netzwerk wie ein tiefes neuronales Netzwerk (DNN), gekoppelt sein, um die extrahierten Audiomerkmale von dem Audioanalysemodul zu empfangen. In Ausführungsformen kann das DNN eine Wahrscheinlichkeitskennziffer für einen oder mehrere der Vielzahl von Rahmen erzeugen, um die Identifikation des Audiosignals 104 zu gestatten. In Ausführungsformen kann in Block 114 eine Entscheidungseinheit eine Identität des Audiosignals 104 bestätigen und/oder anschließend Fahrelemente des SA/AD-Fahrzeugs 102 steuern, um auf eine mit dem Audiosignal 104 assoziierte Situation, z. B. ein Ort des SA/AD-Fahrzeugs 102, zu reagieren.
  • 2 zeigt ein Blockdiagramm 200, das ferner das CA/AD-Fahrsystem 101 von 1 gemäß verschiedenen Ausführungsformen darstellt. Wie vorstehend kurz unter Bezugnahme auf das Blockdiagramm von 1 beschrieben, kann das CA/AD-Fahrsystem 101 des SA/AD-Fahrzeugs 102 eine Vielzahl von Mikrofonen 201 enthalten, die eine oder mehrere an ein Fahrzeugsteuersystem oder einen fahrzeugseitigen Computer 218 gekoppelte Mikrofonanordnungen enthalten können. Es ist zu beachten, dass der fahrzeugseitige Computer 218 der Darstellung halber in einem vorderen Abschnitt des Fahrzeugs 102 angeordnet ist, der fahrzeugseitige Computer 218 kann jedoch an jedem anderen geeigneten Ort des Fahrzeugs 102 in verschiedenen Ausführungsformen angeordnet sein. Gleichermaßen kann in verschiedenen Ausführungsformen die Vielzahl von Mikrofonen 201 an verschiedenen Orten in, an oder um dem/das Fahrzeug 102 verteilt sein, um Audiosignale aus einem im Wesentlichen 360-Grad-Bereich zu erfassen. In einigen Ausführungsformen können ein Audioanalysemodul und ein Klassifikator (z. B. das Audioanalysemodul von Block 110 und der Klassifikator von Block 112 von 1) mit einem oder mehreren der Mikrofone der Vielzahl von Mikrofonen 201 integriert und/oder darin, daran enthalten, nahe dazu angeordnet oder in anderer Weise damit angeordnet oder daran gekoppelt sein, um eine Audioanalyse an einem Audiosignal durchzuführen, z. B. das von der Vielzahl von Mikrofonen 201 empfangene Audiosignal 104. Demgemäß kann die Vielzahl von Mikrofonen 201 in derartigen Ausführungsformen eine lokale Verarbeitungseinheit zum Durchführen von Funktionen des Audioanalysemoduls und/oder des Klassifikators an dem Audiosignal enthalten. In anderen Ausführungsformen können das Audioanalysemodul und der Klassifikator in einem fahrzeugseitigen Computer 218 in dem SA/AD-Fahrzeug 102 enthalten sein, um das Audiosignal von der Vielzahl von Mikrofonen 201 zu empfangen. In einigen Ausführungsformen können eine oder mehrere Kommunikationsschnittstellen 206 konfiguriert sein, das Audiosignal 104 von der Vielzahl von Mikrofonen 201 zu empfangen. Die Kommunikationsschnittstelle 206 kann ähnlich der unter Bezugnahme auf 5 weiter diskutierten Kommunikationsschnittstelle 510 sein. In Ausführungsformen können die eine oder mehreren Kommunikationsschnittstellen 206 außerdem andere Sensordaten wie Videokameradaten, jeweils durch eine Kamera erfasste GPS-Daten oder andere Daten, die das CA/AD-Fahrsystem unterstützen können, das Audiosignal zu identifizieren, empfangen.
  • In Ausführungsformen kann das CA/AD-Fahrsystem 101 ferner Fahrelemente 209 enthalten. Die Fahrelemente 209 können in den Ausführungsformen einen Verbrennungsmotor 211, einen Elektromotor 213, ein Getriebe 215, ein Bremssystem 217, ein Antriebssystem 219, eine Batterie 221 und Räder 223 enthalten. In Ausführungsformen kann der fahrzeugseitige Computer 218 eine Entscheidungseinheit 220, ein Kommunikationssteuermodul 222, ein Navigationssteuersystem 226 und ein Lenksteuermodul 228 enthalten. Es ist zu beachten, dass in einigen Ausführungsformen, wie bei 202 angegeben, die Vielzahl von Mikrofonen 201 ihre eigene Entscheidungseinheit 220 enthalten kann. Demgemäß kann in derartigen Ausführungsformen die Vielzahl von Mikrofonen 201 eine lokale Verarbeitungseinheit enthalten, um mit der Entscheidungseinheit 220 assoziierte Funktionen und/oder die Funktionen eines Audioanalysemoduls und eines Klassifikators (wie vorstehend angeführt) durchzuführen. Es ist zu beachten, dass in einigen Ausführungsformen die Vielzahl von Mikrofonen 201 semiintelligent sein kann und z. B. dem fahrzeugseitigen Computer 218 intermediäre Klassifizierungsausgänge von dem Klassifikator (in Verbindung mit 4) bereitstellen kann. In verschiedenen Ausführungsformen kann der fahrzeugseitige Computer 218 noch eine eigene Entscheidungseinheit 220 enthalten. In einigen Ausführungsformen kann die Entscheidungseinheit 220 zusätzlich zu nachstehend beschriebenen Funktionen Informationen, die durch eines oder mehrere der Vielzahl von Mikrofonen 201 zugeführt werden, zusammenfassen und verarbeiten. In Ausführungsformen kann das CA/AD-Fahrsystem 101 das SA/AD-Fahrzeug 102 enthalten. Dementsprechend kann der fahrzeugseitige Computer 218 in Ausführungsformen gekoppelt sein, als Reaktion auf eine Richtung von der Entscheidungseinheit 220 das SA/AD-Fahrzeug 102 autonom oder halbautonom zu fahren. In Ausführungsformen kann das CA/AD-Fahrsystem 200 eine Ausgangsschnittstelle (nicht dargestellt) des fahrzeugseitigen Computers 218 enthalten, gekoppelt, Signale an die Fahrelemente 209 zu senden, um eine Navigation des SA/AD-Fahrzeugs 102 als Reaktion auf die Klassifizierung des einen oder der mehreren Rahmen eines detektierten Audiosignals autonom oder halbautonom zu steuern (unter Bezugnahme auf 4 weiter diskutiert). Es ist zu beachten, dass in einigen Ausführungsformen eines oder mehrere der Vielzahl von Mikrofonen 201 Strahlformung durchführen kann, um einen Audiostrahl in eine mit einem detektierten Audiosignal assoziierte Richtung zu lenken.
  • Demgemäß kann die Entscheidungseinheit 220 in einigen Ausführungsformen gekoppelt sein, eine Wahrscheinlichkeitskennziffer von dem Klassifikator zu empfangen und ein Tiefpassfilter und ein Schwellenwertvergleichsmodul zu implementieren, um zu entscheiden, ob ein assoziiertes Audiosignal ein Notfallalarmsignal („Alarmsignal“) enthält. Dementsprechend kann in Ausführungsformen, in denen eine Vielzahl von Mikrofonen 201 mit der Entscheidungseinheit 220 integriert sein und/oder diese enthalten kann, eine Entscheidung oder nächste Aktion unabhängig von der Vielzahl von Mikrofonen 201 bestimmen, und der Block 218 kann dann benachrichtigt werden. In Ausführungsformen kann die Entscheidungseinheit 220 außerdem die Bestimmung einer nächsten Aktion für das SA/AD-Fahrzeug 102 als Reaktion auf das Alarmsignal unterstützen. Zum Beispiel kann in einigen Ausführungsformen die Entscheidungseinheit 220 mit dem Navigationssteuersystem 226 sowie mit Informationen aus einer Cloud (z. B. die Cloud 705 von 7) arbeiten, um einen Ort zu bestimmen, von dem sich das Alarmsignal und demgemäß das Rettungsfahrzeug nähern. Zum Beispiel können in einigen Ausführungsformen andere SA/AD-Fahrzeuge 102s dem SA/AD-Fahrzeug 102 direkt oder über die Cloud Ergebnisse der Audioanalyse von Audiosignalen, die in umgebenden Tönen in ihrer Umgebung enthalten sind, bereitstellen, um das SA/AD-Fahrzeug 102 bei der Identifikation von Audiosignalen zu unterstützen. Gleichermaßen kann das SA/AD-Fahrzeug 102 anderen SA/AD-Fahrzeugen 102s in dem Gebiet Ergebnisse seiner eigenen Audioanalyse von Audiosignalen, die in umgebenden Tönen in seiner Nähe enthalten sind, direkt oder über die Cloud bereitstellen. Demgemäß kann die Entscheidungseinheit 220 in Ausführungsform zusätzlich zu der durch die Entscheidungseinheit 220 von dem DNN erhaltenen Wahrscheinlichkeitskennziffer Datenpakete von anderen CA/AD-Fahrsystemen 101s, die in anderen SA/AD-Fahrzeugen 102s (nicht dargestellt) enthalten sind, Datenpakete und/oder Datenströme aus der Cloud und/oder Netzwerkinfrastruktur (z. B. Kernnetzwerkelemente eines zellularen Kommunikationsnetzwerks usw.), Navigationssignale/-daten von fahrzeugseitigen Navigationssystemen (z. B. globales Navigationssatellitensystem (GNSS), globales Positionierungssystem (GPS) usw.) und/oder dergleichen empfangen.
  • Des Weiteren kann in Ausführungsformen das Navigationssteuersystem 226 ein Lenksteuermodul 228 steuern, um beim Steuern bestimmter Fahrelemente 209 zu unterstützen, um das SA/AD-Fahrzeug 102 gemäß dem Vorstehenden zu führen. Zum Beispiel kann das Navigationssteuersystem 225 einen ungefähren Ort eines Rettungsfahrzeugs empfangen, und um das Lenksteuermodul 228 zu steuern, einem mit dem Audiosignal assoziierten Rettungsfahrzeug zu gestatten, das SA/AD-Fahrzeug 102 zu passieren. Dementsprechend kann in Ausführungsformen mindestens eines einer sichtbasierten Kamera, eines Radar- und eines Lichtdetektions- und Entfernungsmessungs- bzw. LIDAR-Sensors, die jeweils bei z. B. 225 am SA/AD-Fahrzeug 102 angeordnet sein können, an das Navigationssteuersystem 225 gekoppelt sein, um beim Führen des SA/AD-Fahrzeugs 102 zu einem Ort als Reaktion auf ein Alarmsignal zu unterstützen. Es ist zu beachten, dass die vorstehende Technologie für beispielhafte Zwecke präsentiert wird und dass jede geeignete Technologie, die geeignete Bilderfassungs- oder Sensordaten zum Unterstützen des SA/AD-Fahrzeugs 102 bei der Navigation bereitstellen kann, erwogen werden kann.
  • Dementsprechend kann die Entscheidungseinheit 220 ferner mit dem Navigationssteuersystem 226 arbeiten, um zu bestimmen, wie und wann das SA/AD-Fahrzeug 102 auf das Alarmsignal reagieren sollte, z. B. ob es verlangsamen oder zu einer Straßenseite fahren oder eine andere Maßnahme ergreifen sollte. In einigen Ausführungsformen kann die Entscheidungseinheit 220 bestimmen, dass Kommunikation mit einem Rettungsfahrzeug eingeleitet werden sollte. Dementsprechend kann das Kommunikationssteuermodul 222 (Komponenten davon sind in Verbindung mit den 5 und 7 weiter zu beschreiben) eine Nachricht an ein oder von einem Rettungsfahrzeug übertragen oder empfangen, um eine Reaktion durch das SA/AD-Fahrzeug 102 auf einen Ort des Rettungsfahrzeugs zu koordinieren.
  • Als Nächstes zeigt 3 ein Blockdiagramm 300, das mit dem CA/AD-Fahrsystem 101 der 1 und 2 assoziierte Ausführungsformen in weiteren Einzelheiten darstellt. Wie dargestellt, kann das SA/AD-Fahrzeug 102 in Ausführungsformen in Block 305 eine Vielzahl von Mikrofonen 301 enthalten, die ein oder mehrere Mikrofone oder Mikrofonanordnungen enthalten, die in, an oder nahe zu einem Äußeren des SA/AD-Fahrzeugs 102 montiert oder angeordnet sind. In Ausführungsformen kann die Vielzahl von Mikrofonen 301 angeordnet sein, Audiosignale in umgebenden Tönen des SA/AD-Fahrzeugs 102 zu erfassen. Zum Beispiel kann, wie in 3 dargestellt, die Vielzahl von Mikrofonen 301 in Ausführungsformen ein oder mehrere Mikrofone, die in, an oder nahe einer Rückseite des SA/AD-Fahrzeugs 102 montiert oder angeordnet sind, ein oder mehrere Mikrofone, die in, an oder nahe einer oder mehreren Seiten des SA/AD-Fahrzeugs 102 montiert oder angeordnet sind, und ein oder mehrere Mikrofone, die in, an oder nahe einer Vorderseite des SA/AD-Fahrzeugs 102 montiert oder angeordnet sind, enthalten. In Ausführungsformen kann die Vielzahl von Mikrofonen 301 Mikrofone enthalten, die in einer Weise angeordnet sind, um einen im Wesentlichen 360-Grad-Bereich von Audiosignalen, die das SA/AD-Fahrzeug 102 umgeben, zu erfassen. Es ist zu beachten, dass, während in einigen Ausführungsformen ein im Wesentlichen 350-Grad-Bereich erwogen wird, anerkannt werden sollte, dass in anderen Ausführungsformen ausgewählte Mikrofone verwendet werden können, um einen kleineren Abtastbereich zu erhalten. Zum Beispiel kann in einigen Ausführungsformen eine besondere Analyse weniger Eingang oder einen stärker fokussierten Eingang erfordern, wie Empfangen und Analysieren von Tönen bezüglich einer bestimmten Region des SA/AD-Fahrzeugs 102, z. B. ein Radgehäuse oder eine andere Fahrzeugkomponente.
  • In einigen Ausführungsformen können ein Audioanalysemodul und ein Neuronennetzwerkklassifikator (z. B. das Audioanalysemodul 110 und der Klassifikator 112 von 1) in einem oder mehreren der Mikrofone 301 enthalten, damit integriert und/oder darin oder daran enthalten, nahe dazu platziert oder in anderer Weise damit angeordnet oder gekoppelt sein, um Audioanalyse an einem Audiosignal durchzuführen, z. B. das Audiosignal 104 von 1, empfangen von der Vielzahl von Mikrofonen 201. In anderen Ausführungsformen können das Audioanalysemodul und der Neuronennetzwerkklassifikator in einem fahrzeugseitigen Computer 218 oder einer in dem SA/AD-Fahrzeug 102 eingebetteten oder daran gekoppelten anderen Computervorrichtung enthalten sein, um ein Audiosignal von der Vielzahl von Mikrofonen 201 zu empfangen. Demgemäß kann das Audioanalysemodul in Ausführungsformen in einem Block 307 ein Audiosignal von der Vielzahl von Mikrofonen 301 empfangen und kann das Audiosignal in eine Vielzahl von Rahmen aufteilen. In einigen Ausführungsformen kann das Audioanalysemodul das Audiosignal in Rahmen aufteilen, die eine Dauer von ungefähr 20-70 Millisekunden (ms) mit einem geeigneten Größenschritt aufweisen. In Ausführungsformen kann das Audioanalysemodul das Audiosignal über eine Fensterfunktion in Segmente einer festen Länge aufteilen. In Ausführungsformen können die Segmente überlappen, so dass eine Schrittgröße von einer Fenstergröße verschieden sein kann. Zum Beispiel kann in einigen Ausführungsformen eine Fenstergröße einen Bereich von ungefähr 20-70 ms mit einem Schrittgrößenbereich von ungefähr 5-20 ms enthalten. Es sollte verstanden werden, dass diese Bereiceh ungefähr sind und nur zu beispielhaften Zwecken bereitgestellt werden, da die Fenstergröße und/oder Schrittgröße variieren kann, wie für die Leistung der Audioanalyse für ein bestimmtes Audiosignal angemessen.
  • In Ausführungsformen kann das Audioanalysemodul dann Audiomerkmale (z. B. Mel-Frequenz-Cepstrum-Koeffizient- bzw. MFCC-Audiomerkmale) aus dem einen oder den mehreren Rahmen extrahieren. In Ausführungsformen können die MFCC-Audiomerkmale gegenüber Störungen robust sein. Dementsprechend kann in Ausführungsformen eine Vielzahl von MFCCs extrahiert werden, z. B. können 13 MFCCs alle z. B. 10 Millisekunden (ms) extrahiert und dann durch eine Cepstrum-Mittelwertnormalisierung weiter verarbeitet werden. In Ausführungsformen kann eine schnelle Fouriertransformation (FFT) ein Hamming- oder Hanning-gefenstertes Signal von 10 ms in die Frequenzdomäne umwandeln. Es kann dann in eine Mel-Skala umgewandelt und durch eine diskrete Cosinustransformation (DCT) mit einer Ausgangsmerkmaldimension von z. B. 24 in verschiedenen Ausführungsformen weiter verarbeitet werden. In Ausführungsformen kann das Audioanalysemodul in einem nächsten Block 309 eine Vielzahl von MFCC-Merkmalsvektoren für eine Vielzahl von Rahmen über einem linken und über einem rechten des einen oder der mehreren Audioanalyserahmen anordnen, um mit dem Audiosignal assoziierte Zeitmuster zu erfassen. In Ausführungsformen kann das Audioanalysemodul eine Anzahl von Rahmen übereinander anordnen, um mit einer Dauer eines Audiosignals zu korrespondieren. Zum Beispiel können in Ausführungsformen MFCC-Merkmalsvektoren, die mit z. B. jedem von 37 Audiorahmen assoziiert sind, die vor einem gegenwärtigen Analyserahmen vorkommen, und MFCC-Merkmalsvektoren von z. B. jedem von 37 Audiorahmen, die nach dem gegenwärtigen Analyserahmen vorkommen, für insgesamt 75 MFCC-Merkmalsvektoren übereinander angeordnet werden. In Ausführungsformen kann das Audioanalysemodul die MFCC-Merkmalsvektoren zusammen übereinander anordnen, um einen mit dem einen oder den mehreren Audiorahmen assoziierten dimensionalen Merkmalsvektor zu berechnen. In der gegenwärtigen Ausführungsform kann ein dimensionaler Merkmalsvektor von zum Beispiel 1800 berechnet werden (75 x 24).
  • Dementsprechend kann das Audioanalysemodul in Ausführungsformen in einem Block 311 ferner den dimensionalen Vektor von 1800 durch eine zusätzliche DCT weiter reduzieren. Zum Beispiel kann der dimensionale Vektor in einigen Ausführungsformen durch ein Rahmenreduktionsverhältnis von 0,16 reduziert werden, um in einer Ausgangsmerkmaldimension von 288 zu resultieren. In einigen Ausführungsformen kann die zusätzliche DCT eine Anzahl von Ausgangsmerkmaldimensionen reduzieren, um die Berechnungen zu vereinfachen oder zu reduzieren. Es sollte verstanden werden, dass sämtliche der vorstehend bereitgestellten Zahlen nur für beispielhafte Zwecke dienen und dass andere geeignete Wertebereiche gemäß z. B. einer Dauer des Audiosignals und/oder einem Typ der Analyse, die anzuwenden ist, erwogen werden können.
  • Als Nächstes zeigt 4 ein Diagramm eines mit den 1-3 assoziierten beispielhaften Neuronennetzwerkklassifikators gemäß verschiedenen Ausführungsformen. In Ausführungsformen kann ein Neuronennetzwerkklassifikator 400 ein tiefes neuronales Netzwerk (DNN) sein, enthaltend eine Vielzahl von versteckten Schichten 405. In Ausführungsformen kann in einem links gelegenen Feld 402 eine Ausgangsmerkmaldimension von 288 (z. B. im Fall von 13 MFCCs, extrahiert alle 10 ms, und einer Ausgangsmerkmaldimension von 24 in dem Beispiel von 3) ein Eingang in den Neuronennetzwerkklassifikator 400 sein. In Ausführungsformen kann der Neuronennetzwerkklassifikator 400, wie dargestellt, eine Vielzahl von versteckten Schichten 405 enthalten, die jeweils eine Vielzahl von Neuronen wie zum Beispiel 96 Neuronen enthalten können. Wie in der Ausführungsform von 4 dargestellt, kann der Neuronennetzwerkklassifikator vier versteckte Schichten mit neun Ausgangsklassen 409 enthalten. In einigen Ausführungsformen kann der Neuronennetzwerkklassifikator 400 unter Verwendung von Rückpropagierung mit einer substanziellen Anzahl von positiven Audioabtastungen (z. B. Alarmsignale) und negativen Abtastungen (z. B. Nichtalarmsignale) trainiert werden. Erneut sollte verstanden werden, wie in Verbindung mit 3 erwähnt, dass sämtliche der vorstehend bereitgestellten Zahlen nur für beispielhafte Zwecke dienen und dass jeder andere geeignete Bereich von Werten für versteckte Schichten des DNN, die Anzahlen von Neuronen in jeder Schicht und die Ausgangsklassen variieren können.
  • In Ausführungsformen kann der Neuronennetzwerkklassifikator 400 ein DNN umfassen, das vorher mit einer Vielzahl von Audioausgangsabtastungen trainiert wurde, enthaltend mindestens eines von Alarmtönen, impulsiven Tönen, Tiertönen, Haushaltshintergrundtönen, Baby- und Kindertönen, Erwachsenentönen, Medientönen einschließlich von Sprache, Fernsehen, Rundfunk und anderen häufig vorkommenden Audiosignalen. In einigen Ausführungsformen kann das DNN vorher mit einigen oder mehreren der vorstehend erwähnten Vielzahl von Audioausgangsabtastungen und/oder Kategorien von Tönen trainiert werden, die das DNN beim Erzeugen der Wahrscheinlichkeitskennziffer unterstützen können. Es ist zu beachten, dass, obwohl in 4 nur vier versteckte Schichten 405 gezeigt werden, die versteckten Schichten 405 eine Vielzahl von versteckten Schichten einer variierenden Anzahl sowie einer variierenden Anzahl von Neuronen und Ausgangsklassen repräsentieren können. Wie in Verbindung mit 1 erwähnt, kann das DNN in Ausführungsformen eine Wahrscheinlichkeitskennziffer erzeugen, um anzugeben, ob das eine oder die mehreren der Vielzahl von Rahmen einen Alarm- oder Nichtalarmrahmen enthalten.
  • Es ist zu beachten, dass der Neuronennetzwerkklassifikator sich in verschiedenen Ausführungsformen über ein Vorwärtskopplung-DNN hinaus erstrecken und ein oder mehrere faltende neuronale Netzwerke (CNNs), rekurrente neuronale Netzwerke (RNNs), neuronale Netzwerke mit langem Kurzzeitspeicher (LSTM) und/oder Kombinationen davon enthalten kann. Es ist zu beachten, dass Rückpropagierung vorstehend für beispielhafte Zwecke verwendet wird und dass ein anderes Training verwendet werden kann. Zum Beispiel können in einigen Ausführungsformen zusätzliche Verfahren und Regularisierungen verwendet werden, den Neuronennetzwerkklassifikator wirksam zu trainieren. In Ausführungsformen können einige Beispiele Gewichtszerfall, L1/L2-Regularisierung, Minipartie-Lernen, Aussetzen und Vortrainieren enthalten. In verschiedenen Ausführungsformen können derartige zusätzliche Verfahren und Regularisierungen Überanpassung verhindern.
  • 5 zeigt eine beispielhafte Berechnungsvorrichtung 500, die zur Verwendung geeignet sein kann, um ausgewählte Aspekte der vorliegenden Offenbarung zu praktizieren. In Ausführungsformen kann die Berechnungsvorrichtung 500 in einem CA/AD-Fahrsystem des SA/AD-Fahrzeug enthalten sein, wie vorstehend in Bezug auf die 1-4 beschrieben. In Ausführungsformen kann das CA/AD-Fahrsystem in einem halbautonom oder autonom fahrenden (SA/AD) Fahrzeug enthalten sein, das durch umgebende Töne fährt, und das CA/AD-Fahrsystem kann eine Vielzahl von Mikrofonen enthalten, angeordnet zum Erfassen eines in den umgebenden Tönen enthaltenen Audiosignals. In einigen Ausführungsformen kann die Berechnungsvorrichtung 500 ein Fahrzeugsteuersystem oder einen fahrzeugseitigen Computer, z. B. den fahrzeugseitigen Computer 218, enthalten. In einigen Ausführungsformen können ein oder mehrere Elemente der Berechnungsvorrichtung 500 in einer Vielzahl von Mikrofonen, z. B. die Vielzahl von Mikrofonen 201 oder 301, enthalten sein.
  • In der dargestellten Ausführungsform kann das System 500 einen oder mehrere Prozessoren oder Prozessorkerne 502 und einen Speicher 504 enthalten. Für die Zwecke dieser Anmeldung einschließlich der Ansprüche bezieht sich der Begriff „Prozessor“ auf einen physikalischen Prozessor und können die Begriffe „Prozessor“ und „Prozessorkern“ als synonym angesehen werden, außer wenn der Kontext es deutlich anders erfordert. Zusätzlich kann die Berechnungsvorrichtung 500 Massenspeichervorrichtungen 506 (wie Diskette, Festplatte, Kompaktplatten-Nur-Lese-Speicher (CD-ROM) und so weiter), Kommunikationsschnittstellen 510 (wie Netzwerkschnittstellenkarten, Modems, Infrarotempfänger, Funkempfänger (z. B. Bluetooth) und so weiter) enthalten. Die Elemente können über einen Systembus 512, der einen oder mehrere Busse repräsentieren kann, aneinander gekoppelt sein. Im Fall von mehreren Bussen können diese durch eine oder mehrere Busbrücken (nicht dargestellt) verbrückt sein.
  • In Ausführungsformen können Kommunikationsschnittstellen 510 in z. B. dem Kommunikationssteuermodul 222 von 2 enthalten sein und einen oder mehrere Kommunikationschips enthalten und drahtgebundene und/oder drahtlose Kommunikation für den Transfer von Daten zu und von der Berechnungsvorrichtung 500 ermöglichen. In einigen Ausführungsformen können die Kommunikationsschnittstellen 510 einen Transceiver, der einen Sender und einen Empfänger enthält, oder einen Kommunikationschip, der den Transceiver enthält, enthalten. Der Begriff „drahtlos“ und seine Ableitungen können verwendet werden, Schaltungen, Vorrichtungen, Systeme, Verfahren, Techniken, Kommunikationskanäle usw. zu beschreiben, die Daten durch die Verwendung von modulierter elektromagnetischer Ausstrahlung durch ein nicht feststoffliches Medium kommunizieren kann. Der Begriff impliziert nicht, dass die assoziierten Vorrichtungen keine Drähte enthalten, obwohl sie diese in einigen Ausführungsformen unter Umständen nicht enthalten. Die Kommunikationsschnittstellen 510 können beliebige einer Anzahl von Drahtlos-Standards oder -Protokollen implementieren, einschließlich von IEEE 702.20, Langzeitevolution (LTE), LET Erweitert (LTE-A), allgemeiner Paketfunkdienst (GPRS), Entwicklung datenoptimiert (Ev-DO), entwickelter Hochgeschwindigkeit-Paketzugriff (HSPA+), entwickelter Hochgeschwindigkeit-Abwärtsstrecken-Paketzugriff (HSDPA+), entwickelter Hochgeschwindigkeit-Aufwärtsstrecken-Paketzugriff (HSUPA+), globales System für Mobilkommunikation (GSM), erweiterte Datenraten für GSM Entwicklung (EDGE), Codemultiplexzugriff (CDMA), Zeitmultiplexzugriff (DTMA), digitale erweiterte kabellose Telekommunikation (DECT), weltweite Interoperabilität für Mikrowellenzugriff (WiMAX), Bluetooth, Ableitungen davon, sowie beliebige andere Drahtlos-Protokolle, die für 3G, 4G, 5G und darüber hinaus konzipiert sind, aber nicht darauf beschränkt. Die Kommunikationsschnittstellen 510 können eine Vielzahl von Kommunikationschips enthalten. Zum Beispiel kann ein erster Kommunikationschip für drahtlose Kommunikation in einem kürzeren Bereich wie Wi-Fi und Bluetooth vorgesehen sein und ein zweiter Kommunikationschip kann für drahtlose Kommunikation in einem längeren Bereich wie GPS, EDGE, GPRS, CDMA, WiMAX, LTE, Ev-DO und andere vorgesehen sein.
  • Jedes dieser vorstehend beschriebenen Elemente kann seine im Fachgebiet bekannten konventionellen Funktionen durchführen. Insbesondere kann das CA/AD-Fahrsystem eingesetzt werden, Programmierungsanweisungen zu speichern und deren Ausführung zu beherbergen, die die Operationen implementieren, die mit Erfassen eines Audiosignals, Extrahieren von Audiomerkmalen aus einem oder mehreren Audiorahmen des Audiosignals und Klassifizieren, durch ein DNN, basierend auf den extrahierten Audiomerkmalen, des einen oder der mehreren Audiorahmen als einen Alarm- oder Nichtalarmrahmen assoziiert sind, um die Anwesenheit oder Abwesenheit eines Rettungsfahrzeugs anzugeben, wie in Verbindung mit den 1-4 beschrieben. In anderen Ausführungsformen kann das CA/AD-Fahrsystem eingesetzt werden, Programmierungsanweisungen zu speichern und deren Ausführung zu beherbergen, die die Operationen implementieren, die mit Bestimmen einer Reaktion und Steuern von Fahrelementen eines SA/AD-Fahrzeugs assoziiert sind, um das SA/AD-Fahrzeug als Reaktion auf ein Notfallalarmsignal autonom oder halbautonom zu fahren, wie in Verbindung mit den 1-4 beschrieben.
  • In Ausführungsformen können die vorstehend erwähnten Programmierungsanweisungen zusammen als Berechnungslogik 522 bezeichnet werden, die die Fähigkeit der in der gegenwärtigen Offenbarung beschriebenen Ausführungsformen bereitstellt. Die verschiedenen Elemente können durch Assembler-Anweisungen, die durch den (die) Prozessor(en) 502 unterstützt werden, oder höhere Sprachen wie zum Beispiel C, die zu derartigen Anweisungen kompiliert werden können, implementiert werden. Operationen, die mit Steuern eines Leistungsverbrauchs basierend auf Leistungsinformationen für eine Anwendung, die in dem einen oder den mehreren Prozessoren zu betreiben ist, die nicht in Software implementiert sind, können in Hardware implementiert sein, z. B. über den Hardwarebeschleuniger 505. Aspekte von Operationen, die mit dem Steuern von Fahrelementen assoziiert sind, oder Bestimmen einer Dienstanbieterzuweisung, die nicht in Software implementiert sind, wie in Verbindung mit den 1-4 beschrieben, können in dem Hardwarebeschleuniger implementiert sein.
  • Die Anzahl, Fähigkeit und/oder Kapazität dieser Elemente 502-522 kann variieren, abhängig von der Anzahl anderer Vorrichtungen, die zu unterstützen die Berechnungsvorrichtung 500 konfiguriert ist. Ansonsten ist die Zusammensetzung der Elemente 502-522 bekannt und wird dementsprechend nicht weiter beschrieben.
  • Wie durch einen Fachmann im Fachgebiet anerkannt werden wird, kann die vorliegende Offenbarung als Verfahren oder Computerprogrammprodukte verkörpert werden. Dementsprechend kann die vorliegende Offenbarung, zusätzlich dazu, dass sie in Hardware verkörpert wird, wie vorstehend beschrieben, mindestens teilweise die Form einer Software-Verkörperung (einschließlich von Firmware, residenter Software, Mikrocode usw.) oder einer Verkörperung, die Software- und Hardwareaspekte kombiniert, die allgemein als eine „Schaltung“, ein „Modul“ oder ein „System“ bezeichnet werden kann, annehmen.
  • Des Weiteren kann die vorliegende Offenbarung die Form eines Computerprogrammprodukts annehmen, verkörpert in einem materiellen oder nicht vergänglichen Ausdrucksmedium, das in dem Medium verkörperten computerverwendbaren Programmcode aufweist. 5 zeigt ein beispielhaftes computerlesbares, nicht vergängliches Speichermedium, das zum Speichern von Anweisungen geeignet sein kann, die bewirken, dass ein Gerät als Reaktion auf die Ausführung der Anweisungen durch das Gerät ausgewählte Aspekte der vorliegenden Offenbarung praktiziert. Wie dargestellt, kann das nicht vergängliche computerlesbare Speichermedium 602 eine Anzahl von Programmierungsanweisungen 604 enthalten. Die Programmierungsanweisungen 604 können konfiguriert sein, einer Vorrichtung, z. B. dem CA/AD-Fahrsystem 101, zu ermöglichen, als Reaktion auf Ausführen der Programmierungsanweisungen z. B. verschiedene Operationen durchzuführen, wie in den 1-4 diskutiert.
  • In alternativen Ausführungsformen können die Programmierungsanweisungen 604 stattdessen auf mehreren computerlesbaren, nicht vergänglichen Speichermedien 602 angeordnet sein. In alternativen Ausführungsformen können die Programmierungsanweisungen 604 in computerlesbaren, vergänglichen Speichermedien 602 wie Signale angeordnet sein. Jede beliebige Kombination eines oder mehrerer computerverwendbarer oder computerlesbarer Medien kann genutzt werden. Das computerverwendbare oder computerlesbare Medium kann zum Beispiel ein elektronisches, magnetisches, optisches, elektromagnetisches, Infrarot- oder Halbleitersystem, -gerät, -vorrichtung oder -ausbreitungsmedium sein, ist aber nicht darauf beschränkt. Weitere spezifische Beispiele (eine unvollständige Liste) des computerlesbaren Mediums würden die folgenden enthalten: eine elektrische Verbindung mit einem oder mehreren Drähten, eine tragbare Computerdiskette, eine Festplatte, ein Direktzugriffspeicher (RAM), ein Nur-Lese-Speicher (ROM), ein löschbarer programmierbarer Nur-Lese-Speicher (EPROM oder Flash-Speicher), eine optische Faser, ein tragbarer Kompaktplatten-Nur-Lese-Speicher (CD-ROM), eine optische Speichervorrichtung, ein Übertragungsmedium wie diejenigen, die das Internet oder ein Intranet unterstützen, oder eine magnetische Speichervorrichtung. Es ist zu beachten, dass das computerverwendbare oder computerlesbare Medium sogar Papier oder ein anderes geeignetes Medium sein könnte, auf dem das Programm gedruckt ist, da das Programm elektronisch erfasst, zum Beispiel über optisches Abtasten des Papiers oder anderen Mediums, dann kompiliert, interpretiert oder in anderer Weise auf eine geeignete Weise verarbeitet, falls erforderlich, und dann in einem Computerspeicher gespeichert werden kann. Im Kontext dieses Dokuments kann ein computerverwendbares oder computerlesbares Medium jedes Medium sein, das das Programm durch Verwendung durch oder in Verbindung mit dem Anweisungsausführungssystem, der -vorrichtung oder dem -gerät enthalten, speichern, kommunizieren, verbreiten oder transportieren kann. Das computerverwendbare Medium kann ein verbreitetes Datensignal mit dem darin verkörperten computerverwendbaren Programmcode enthalten, entweder im Basisband oder als Teil einer Trägerwelle. Der computerverwendbare Programmcode kann unter Verwendung jedes geeigneten Mediums übertragen werden, einschließlich von drahtlos, drahtgebunden, optisches Faserkabel, HF usw., aber nicht darauf beschränkt.
  • Computerprogrammcode zum Ausführen von Operationen der vorliegenden Offenbarung kann in jeder Kombination einer oder mehrerer Programmiersprachen geschrieben sein, einschließlich einer objektorientierten Sprache wie Java, Smalltalk, C++ oder dergleichen und konventioneller prozeduraler Programmiersprachen wie die Programmiersprache „C“ oder ähnlicher Programmiersprachen. Der Programmcode kann vollständig in dem Computer des Benutzers, teilweise in dem Computer des Benutzers, als ein unabhängiges Softwarepaket, teilweise in dem Computer des Benutzers und teilweise in einem entfernten Computer oder vollständig in dem entfernten Computer oder Server ausgeführt werden. In dem letztgenannten Szenarium kann der entfernte Computer durch jeden Typ von Netzwerk, einschließlich eines Nahbereichsnetzwerks (LAN) oder eines Weitbereichsnetzwerks (WAN), mit dem Computer des Benutzers verbunden sein oder die Verbindung kann zu einem externen Computer (zum Beispiel durch das Internet unter Verwendung eines Internetdienstanbieters) hergestellt werden.
  • Die vorliegende Offenbarung wird unter Bezugnahme auf Ablaufdiagrammdarstellungen und/oder Blockdiagrammen von Verfahren, Geräten (Systemen) und Computerprogrammprodukten gemäß Ausführungsformen der Offenbarung beschrieben. Es versteht sich, dass jeder Block der Ablaufdiagrammdarstellungen und/oder Blockdiagramme sowie Kombinationen von Blöcken in den Ablaufdiagrammdarstellungen und/oder Blockdiagrammen durch Computerprogrammanweisungen implementiert werden kann. Diese Computerprogrammanweisungen können einem Prozessor eines Allzweckcomputers, eines Spezialcomputers oder eines anderen programmierbaren Datenverarbeitungsgeräts bereitgestellt werden, um eine Maschine zu produzieren, so dass die Anweisungen, die über den Prozessor des Computers oder anderen programmierbaren Datenverarbeitungsgeräts ausgeführt werden, Mittel zum Implementieren der in dem oder den Ablaufdiagramm- und/oder Blockdiagrammblöcken spezifizierten Funktionen/Handlungen erzeugen.
  • Diese Computerprogrammanweisungen können auch in einem computerlesbaren Medium, das einen Computer oder ein anderes programmierbares Datenverarbeitungsgerät anweist, in einer besonderen Weise zu funktionieren, gespeichert werden, so dass die in dem computerlesbaren Medium gespeicherten Anweisungen einen Fertigungsartikel produzieren, der Anweisungsmittel enthält, die die in dem oder den Ablaufdiagramm- und/oder Blockdiagrammblöcken spezifizierte Funktion/Handlung implementieren.
  • Diese Computerprogrammanweisungen können auch in einen Computer oder ein anderes programmierbares Datenverarbeitungsgerät geladen werden, um zu bewirken, dass eine Reihe von Betriebsschritten in dem Computer oder anderen programmierbaren Gerät durchgeführt wird, um einen computerimplementierten Prozess derart zu produzieren, dass die Anweisungen, die in dem Computer oder anderem programmierbaren Gerät ausgeführt werden, Prozesse zum Implementieren der in dem oder den Ablaufdiagramm- und/oder Blockdiagrammblöcken spezifizierten Funktionen/Handlungen bereitstellen.
  • Die Ablaufdiagramme und Blockdiagramme in den Figuren stellen die Architektur, die Funktionalität und den Betrieb von möglichen Implementierungen von Systemen, Verfahren und Computerprogrammprodukten gemäß verschiedenen Ausführungsformen der vorliegenden Offenbarung dar. In dieser Hinsicht kann jeder Block in den Ablaufdiagrammen oder Blockdiagrammen ein Modul, ein Segment oder einen Abschnitt von Code repräsentieren, das/der eine oder mehrere ausführbare Anweisungen zum Implementieren der spezifizierten logischen Funktion(en) umfasst. Es ist außerdem zu beachten, dass die in dem Block angeführten Funktionen in einigen alternativen Ausführungsformen außerhalb der in den Figuren angeführten Reihenfolge vorkommen können. Zum Beispiel können zwei Blöcke, die nacheinander angezeigt werden, in der Tat im Wesentlichen gleichzeitig ausgeführt werden, oder die Blöcke können manchmal in der umgekehrten Reihenfolge ausgeführt werden, abhängig von der beteiligten Funktionalität. Es ist des Weiteren zu beachten, dass jeder Block der Blockdiagramme und/oder Ablaufdiagrammdarstellungen und Kombinationen von Blöcken in den Blockdiagrammen und/oder Ablaufdiagrammdarstellungen durch spezielle hardwarebasierte Systeme, die die spezifizierten Funktionen oder Handlungen durchführen, oder durch Kombinationen von spezieller Hardware und Computeranweisungen implementiert werden können.
  • 7 zeigt eine Umgebung 700, in der verschiedene unter Bezugnahme auf die 1-6 beschriebene Ausführungsformen praktiziert werden können. Die Umgebung 700 enthält das Fahrzeug 702, einen drahtlosen Zugangsknoten 703 und Cloud-Berechnungsdienste/-systeme 705. In Ausführungsformen kann das Fahrzeug 702 ein SA/AD-Fahrzeug sein, das ein CA/AD-Fahrsystem 711 enthält, enthaltend Fahrelemente und eine Vielzahl von Mikrofonen zum Detektieren eines Audiosignals und eine Verarbeitungsmaschine, die gekoppelt ist, das detektierte Audiosignal von der Vielzahl von Mikrofonen zu empfangen und Audiomerkmale aus dem detektierten Audiosignal zu extrahieren. In Ausführungsformen kann ein DNN den einen oder die mehreren Rahmen des detektierten Audiosignals klassifizieren. In Ausführungsformen kann das SA/AD-Fahrzeug eine Ausgangsschnittstelle des fahrzeugseitigen Computers enthalten, gekoppelt zum Senden von Signalen an die Fahrelemente, um eine Navigation des SA/AD-Fahrzeugs als Reaktion auf die Klassifizierung des einen oder der mehreren Rahmen des detektierten Audiosignals autonom oder halbautonom zu steuern.
  • In einigen Ausführungsformen kann das CA/AD-Fahrsystem 711 bestimmen, dass Kommunikation mit einem Rettungsfahrzeug eingeleitet werden sollte. Dementsprechend kann das CA/AD-Fahrsystem 711 ein Kommunikationssteuermodul enthalten, das eine Nachricht an ein Rettungsfahrzeug übertragen oder von dort empfangen kann, um eine Reaktion durch das SA/AD-Fahrzeug 702 auf einen Ort des Rettungsfahrzeugs zu koordinieren. In Ausführungsformen kann das CA/AD-Fahrsystem 711 ein Fahrzeugsteuersystem umfassen, um Elemente des SA/AD-Fahrzeugs an einen Ort als Reaktion auf eine Richtung eines Notfallalarmsignals oder einen bestimmten Ort des Rettungsfahrzeugs zu fahren. In verschiedenen Ausführungsformen kann eine Entscheidungseinheit, z. B. die Entscheidungseinheit 220, mit der Cloud 705 für Unterstützung beim Bestimmen einer Vorgehensweise kommunizieren, um auf ein Alarmsignal zu reagieren.
  • Zu Zwecken der Veranschaulichung wurde die nachstehende Beschreibung bereitgestellt, die das Fahrzeug 702 als einen Personenkraftwagen in einer Straßenumgebung darstellt. Die hierin beschriebenen Ausführungsformen sind jedoch auch auf jeden anderen Fahrzeugtyp anwendbar wie Lastkraftwagen, Busse, Motorräder, Boote oder Motorboote und/oder jede andere motorisierte Vorrichtung, die aus einem CA/AD-Fahrsystem, wie in Verbindung mit den 1-6 beschrieben, Nutzen ziehen kann. Zum Beispiel können Wasserfahrzeuge wie Boote, Schnellboote, Fähren, Frachtkähne, Luftkissenboote, andere Wasserfahrzeuge usw. aus der Identifikation eines Audiosignals in umgebenden Tönen ebenfalls Nutzen ziehen. Die hierin beschriebenen Ausführungsformen können innerhalb des Wesens der beschriebenen Ausführungsformen ebenfalls auf fliegende Objekte wie Raumraketen, Flugzeuge, Drohnen, unbemannte Luftfahrzeuge (UAVs) und/oder beliebige andere ähnliche motorisierte Vorrichtungen anwendbar sein, die aus der Identifikation eines Audiosignals, das in umgebenden Tönen nahe derartigen motorisierten Vorrichtungen enthalten sein kann, Nutzen ziehen können.
  • Das Fahrzeug 702 kann ein beliebiger Typ eines/einer für den Transport von Personen oder Gütern verwendeten motorisierten Fahrzeugs oder Vorrichtung sein, das/die mit Bedienelementen ausgerüstet sein kann, die zum Fahren, zum Parken, für den Fahrgastkomfort und/oder die Sicherheit usw. verwendet werden. Die Begriffe „Motor“, „motorisiert“ usw., wie hierin verwendet, können auf Vorrichtungen verweisen, die eine Form von Energie in mechanische Energie umwandeln, und können Verbrennungsmotoren (ICE), Kompressionsverbrennungsmotoren (CCE), Elektromotoren und Hybride (die z. B. einen ICE/CCE und Elektromotor(en) enthalten) enthalten. Obwohl 7 nur ein einziges Fahrzeug 702 zeigt, kann das Fahrzeug 702 eine Vielzahl von einzelnen Motorfahrzeugen unterschiedlicher Fabrikate, Modelle, Ausstattung usw. repräsentieren, die hierin zusammen als das „Fahrzeug 702“ bezeichnet werden können.
  • In Ausführungsformen kann das Fahrzeug 702 ein CA/AD-Fahrsystem 711 enthalten, das Fahrelemente enthalten kann, gekoppelt an einen fahrzeugseitigen Computer und eine Ausgangsschnittstelle des fahrzeugseitigen Computers, gekoppelt zum Senden von Signalen an die Fahrelemente, um das Fahrzeug autonom oder halbautonom zu fahren, an den Dienstanbieter, um auf ein Alarmsignal zu reagieren. In Ausführungsformen kann der fahrzeugseitige Computer ein beliebiger Typ einer Computervorrichtung sein, die an einem Fahrzeug montiert ist, darin eingebaut ist oder in anderer Weise darin eingebettet ist und imstande ist, mit einem halbautonomen oder autonomen Fahrzeug assoziierte komplexe Befehls- und Steuerfunktionen zu steuern. Wie vorstehend angeführt, können in Ausführungsformen Daten, die durch den fahrzeugseitigen Computer erhalten werden, Sensordaten von einem oder mehreren Mikrofonen, die in, an oder um dem/das Fahrzeug 702 eingebettet sind, Datenpakete von anderen fahrzeugseitigen Computern, die in anderen Fahrzeugen 702 (nicht dargestellt) enthalten sind, Datenpakete und/oder Datenströme von der Cloud 705 und/oder Netzwerkinfrastruktur (z. B. Kernnetzwerkelemente eines zellularen Kommunikationsnetzwerks usw.), Navigationssignalisierung/-daten von fahrzeugseitigen Navigationssystemen (z. B. globales Navigationssatellitensystem (GNSS), globales Positionierungssystem (GPS) usw.), und/oder dergleichen enthalten.
  • Zum Beispiel kann, wie in Verbindung mit 2 angeführt, das Fahrzeug 702 zum Beispiel einen LIDAR-Sensor 725 enthalten (um z. B. sich selbst und andere Objekte in einer Umgebung zu lokalisieren). In Ausführungsformen können Signale vom LIDAR-Sensor 725 sowie von einer oder mehreren Videokameras (nicht dargestellt) eingehende Sensordaten zu dem fahrzeugseitigen Computer umfassen. Es ist zu beachten, dass eine LIDAR-Technologie für beispielhafte Zwecke präsentiert wird und dass jede geeignete Technologie, die geeignete Bilderfassung oder Sensordaten bereitstellen kann, um das Fahrzeug 702 bei der Navigation zu unterstützen, erwogen werden kann. In Ausführungsformen können empfindliche Vorrichtungen hoher Leistung, z. B. wie zum Beispiel Zentralverarbeitungseinheiten (CPUs), Grafikverarbeitungseinheiten (GPUs), feldprogrammierbare Gatteranordnungen (FPGAs), aber nicht darauf beschränkt, zusammenarbeiten, um die eingehenden Sensordaten zu analysieren.
  • In Ausführungsformen kann der fahrzeugseitige Computer des CA/AD-Systems 711 außerdem Kommunikationsschaltungen und/oder Ein-/Ausgabe- bzw. E/A-Schnittstellenschaltungen enthalten oder in Verbindung damit arbeiten, um Daten für die verschiedenen Quellen zu erhalten. Die Kommunikationsschaltungen des Fahrzeugs 702 können über einen drahtlosen Zugangsknoten 703 mit der Cloud 705 kommunizieren. Der drahtlose Zugangsknoten 703 kann eine oder mehrere Hardware-Computervorrichtungen sein, konfiguriert, Mobilvorrichtungen (zum Beispiel der fahrzeugseitige Computer im Fahrzeug 702 oder eine andere geeignete Vorrichtung) innerhalb eines/einer mit dem drahtlosen Zugangsknoten 703 assoziierten Abdeckungsbereich oder -zelle drahtlose Kommunikationsdienste bereitzustellen. Der drahtlose Zugangsknoten 703 kann einen Sender/Empfänger (oder alternativ einen Transceiver) enthalten, verbunden mit einer oder mehreren Antennen, einer oder mehreren Speichervorrichtungen, einem oder mehreren Prozessoren, einer oder mehreren Netzwerkschnittstellensteuerungen und/oder anderen ähnlichen Komponenten. Der eine oder die mehreren Sender/Empfänger können konfiguriert sein, Datensignale zu/von einer oder mehreren Mobilvorrichtungen über eine Verknüpfung (z. B. Verknüpfung 707) zu übertragen/zu empfangen. Des Weiteren können eine oder mehrere Netzwerkschnittstellensteuerungen konfiguriert sein, mit verschiedenen Netzwerkelementen (z. B. ein oder mehrere Server in einem Kernnetzwerk usw.) über eine andere Rücktransportverbindung (nicht dargestellt) zu übertragen/zu empfangen. In Ausführungsformen kann der fahrzeugseitige Computer Daten erzeugen und über die Verknüpfung 707 an den drahtlosen Zugangsknoten 703 übertragen, und der drahtlose Zugangsknoten 703 kann der Cloud die Daten über die Rücktransportverknüpfung 709 bereitstellen. Zusätzlich kann der drahtlose Zugangsknoten 703 während des Betriebs des Fahrzeugs 703 Daten, die für den fahrzeugseitigen Computer vorgesehen sind, über die Verknüpfung 709 von der Cloud 705 erhalten und diese Daten, z. B. zusätzliche Daten, um Informationen über den Ort eines Rettungsfahrzeugs zu ergänzen, (oder zusätzliche Informationen, um die Entscheidungseinheit 220 zu unterstützen, eine nächste Maßnahme zu bestimmen) dem fahrzeugseitigen Computer über die Verknüpfung 707 bereitstellen. Die Kommunikationsschaltungen in dem Fahrzeug 702 können mit dem drahtlosen Zugangsknoten 703 gemäß einem oder mehreren Protokollen für drahtlose Kommunikation kommunizieren, wie hierin diskutiert.
  • Als ein Beispiel kann der drahtlose Zugangsknoten 703 eine mit einem zellularen Netzwerk (z. B. ein eNB in einem LTE-Netzwerk, ein gNB in einem Netzwerk einer neuen Funkzugangstechnologie (NR), eine WiMAX-Basisstation usw.) assoziierte Basisstation, eine RSU, ein entfernter Funkkopf, eine Relaisfunkvorrichtung, eine Basisstation einer kleinen Zelle (z. B. eine Femtozelle, Picozelle, ein entwickelter Heim-B-Knoten (HeNB) und dergleichen) oder ein anderes ähnliches Netzwerkelement sein. In Ausführungsformen, in denen der drahtlose Zugangsknoten eine Basisstation ist, kann der drahtlose Zugangsknoten 703 im Freien eingesetzt werden, um dem Fahrzeug 702 Kommunikation bereitzustellen, wenn das Fahrzeug 702 im Allgemeinen betrieben wird, zum Beispiel wenn es auf öffentlichen Straßen, Fernstraßen, Autobahnen usw. eingesetzt wird.
  • In einigen Ausführungsformen kann der drahtlose Zugangsknoten 703 eine Gateway- bzw. GW-Vorrichtung sein, die einen oder mehrere Prozessoren, Kommunikationssysteme (z. B. einschließlich von Netzwerkschnittstellensteuerungen, einen oder mehrere Sender/Empfänger, verbunden mit einer oder mehreren Antennen, und dergleichen) und computerlesbare Medien enthalten kann. In derartigen Ausführungsformen kann das GW ein drahtloser Zugangspunkt (WAP), ein Heim-/Unternehmensserver (mit oder ohne Funkfrequenz- bzw. RF-Kommunikationsschaltungen), ein Router, eine Vermittlungseinrichtung, ein Verteiler, ein Funkbaken und/oder eine beliebige andere Netzwerkvorrichtung sein. In Ausführungsformen, in denen der drahtlose Zugangsknoten 703 ein GW ist, kann der drahtlose Zugangsknoten 703 innerhalb von Räumlichkeiten wie eine Garage, eine Fabrik, ein Laboratorium oder eine Prüfeinrichtung eingesetzt werden und kann verwendet werden, Kommunikation im geparkten Zustand, vor dem Verkauf auf dem freien Markt oder bei anderem nicht allgemeinen Betrieb bereitzustellen.
  • In Ausführungsformen kann die Cloud 705 das Internet, ein oder mehrere zellulare Netzwerke, ein Nahbereichsnetzwerk (LAN) oder ein Weitbereichsnetzwerk (WAN) einschließlich von proprietären und/oder Unternehmensnetzwerken, ein Übertragungssteuerungsprotokoll (TCP)/Internetprotokoll (IP)-basiertes Netzwerk oder Kombinationen davon repräsentieren. In derartigen Ausführungsformen kann die Cloud 705 mit einem Netzwerkbetreiber assoziiert sein, der Ausrüstung und andere Elemente besitzt oder kontrolliert, die notwendig sind, um netzwerkbezogene Dienst bereitzustellen, wie eine oder mehrere Basisstationen oder Zugangspunkte (z. B. der drahtlose Zugangsknoten 703), ein oder mehrere Server zum Leiten von digitalen Daten oder Telefonanrufen (zum Beispiel ein Kernnetzwerk oder Backbone-Netzwerk) usw. Implementierungen, Komponenten und Protokolle, die verwendet werden, über derartige Dienste zu kommunizieren, können die im Fachgebiet bekannten sein und werden hierin der Kürze halber ausgelassen.
  • In einigen Ausführungsformen kann die Cloud 705 ein System von Computervorrichtungen (z. B. Server, Speichervorrichtungen, Anwendungen usw. in einem Datenzentrum oder Datenlager oder damit assoziiert) sein, das Zugriff auf eine Zusammenstellung von Berechnungsbetriebsmitteln bereitstellt. Der Begriff „Berechnungsbetriebsmittel“ kann auf eine physikalische oder virtuelle Komponenten in einer Berechnungsumgebung und/oder in einer bestimmten Computervorrichtung verweisen, wie Speicherplatz, Prozessorzeit, elektrische Leistung, Ein-/Ausgabeoperationen, Anschlüsse oder Netzwerkbuchsen und dergleichen. In diesen Ausführungsformen kann die Cloud 705 eine private Cloud sein, die einer einzelnen Organisation Cloud-Dienste bereitstellt; eine öffentliche Cloud, die Berechnungsbetriebsmitteln der allgemeinen Öffentlichkeit bereitstellt und Berechnungsbetriebsmittel über alle Kunden/Benutzer teilt; oder eine Hybrid-Cloud oder virtuelle private Cloud, die einen Abschnitt von Betriebsmitteln nutzt, um öffentliche Cloud-Dienste bereitzustellen, während sie andere dedizierte Betriebsmittel nutzt, um private Cloud-Dienste bereitzustellen. Zum Beispiel kann die Hybrid-Cloud einen privaten Cloud-Dienst enthalten, der außerdem einen oder mehrere öffentliche Cloud-Dienste für bestimmte Anwendungen oder Benutzer nutzt, wie Bereitstellen, Erhalten von Daten von verschiedenen Datenspeichern oder Datenquellen. In Ausführungsformen kann eine gemeinsame Cloud-Verwaltungsplattform (z. B. implementiert als verschiedene virtuelle Maschinen und Anwendungen, untergebracht über die Cloud 705, und Datenbanksysteme) die Zuführung von Daten zu dem fahrzeugseitigen Computer des Fahrzeugs 702 koordinieren. Implementierungen, Komponenten und Protokolle, die zur Kommunikation über derartige Dienste verwendet werden, können die im Fachgebiet bekannten sein und werden hierin der Kürze halber ausgelassen.
  • Nachstehend werden einige nicht einschränkende Beispiele bereitgestellt.
    • Beispiel 1 ist ein computergestützt oder autonom fahrendes (CA/AD) Gerät zum Identifizieren eines Audiosignals, enthalten in umgebenden Tönen nahe einem halbautonom oder autonom fahrenden (SA/AD) Fahrzeug, das CA/AD-Fahrgerät umfassend eine Kommunikationsschnittstelle zum Empfangen des Audiosignals von einer Vielzahl von an das SA/AD-Fahrzeug gekoppelten Mikrofonen; eine Audioanalyseeinheit, gekoppelt zum Empfangen des Audiosignals von der Kommunikationsschnittstelle und zum Aufteilen des Audiosignals in eine Vielzahl von Rahmen; und Extrahieren von Audiomerkmalen aus einem oder mehreren der Vielzahl von Rahmen; und einen Neuronennetzwerkklassifikator, gekoppelt zum Empfangen der extrahierten Audiomerkmale von der Audioanalyseeinheit und zum Erzeugen einer Wahrscheinlichkeitskennziffer für einen oder mehrere der Vielzahl von Rahmen, um den einen oder die mehreren der Vielzahl von Rahmen zu klassifizieren, um Identifikation des Audiosignals zu gestatten.
    • Beispiel 2 ist das CA/AD-Fahrgerät von Beispiel 1, ferner umfassend die Vielzahl von Mikrofonen, und zum Enthalten eines oder mehrerer Mikrofone, die in, an, um oder nahe einem Äußeren des SA/AD-Fahrzeugs angeordnet sind.
    • Beispiel 3 ist das CA/AD-Fahrgerät von Beispiel 1, wobei der Neuronennetzwerkklassifikator ein tiefes neuronales Netzwerk (DNN) umfasst, das vorher mit einer Vielzahl von Audioausgangsabtastungen trainiert wurde, enthaltend mindestens eines von Alarmtönen, impulsiven Tönen, Tiertönen, Haushaltshintergrundtönen, Baby- und Kindertönen, Erwachsenentönen, Medientönen einschließlich von Sprache, Fernsehen, Rundfunk und dergleichen.
    • Beispiel 4 ist das CA/AD-Fahrgerät von Beispiel 1, wobei die Wahrscheinlichkeitskennziffer zum Angeben dient, ob der eine oder die mehreren der Vielzahl von Rahmen einen Alarm- oder Nichtalarmrahmen enthalten, und wobei das CA/AD-Fahrgerät ferner einen fahrzeugseitigen Computer zum Empfangen der Wahrscheinlichkeitskennziffer und zum Bestimmen, ob das Audiosignal mit einem Rettungsfahrzeug assoziiert ist, umfasst.
    • Beispiel 5 ist das CA/AD-Fahrgerät von Beispiel 1, wobei die Audioanalyseeinheit zum Extrahieren von Audiomerkmalen dient, die eine Vielzahl von Mel-Frequenz-Cepstrum-Koeffizient- bzw. MFCC-Rahmenvektoren umfassen.
    • Beispiel 6 ist das CA/AD-Fahrgerät von Beispiel 1, ferner umfassend die Vielzahl von Mikrofonen und eine lokale Verarbeitungseinheit, mit der Vielzahl von Mikrofonen integriert, daran gekoppelt oder in anderer Weise nah dazu, wobei die lokale Verarbeitungseinheit dient, die Audioanalyseeinheit und den Neuronennetzwerkklassifikator zu umfassen.
    • Beispiel 7 ist das CA/AD-Fahrgerät von Beispiel 1, wobei eines oder mehrere der Vielzahl von Mikrofonen dazu dienen, Strahlformung durchzuführen, um einen Audiostrahl in eine mit dem Audiosignal assoziierte Richtung zu lenken.
    • Beispiel 8 ist das CA/AD-Fahrgerät von Beispiel 1, ferner umfassend eine an das SA/AD-Fahrzeug gekoppelte Videoverarbeitungskamera zum Erfassen von Video aus einer Richtung, aus der ein mit dem Audiosignal assoziierter Alarmrahmen erfasst wird.
    • Beispiel 9 ist das CA/AD-Fahrgerät eines der Beispiele 1-8, wobei das CA/AD-Fahrgerät das SA/AD-Fahrzeug umfasst und wobei die Fahrelemente eines oder mehrere eines Verbrennungsmotors, eines Elektromotors, eines Bremssystems, eines Antriebssystems, von Rädern, eines Getriebes und einer Batterie enthalten.
    • Beispiel 10 ist das CA/AD-Fahrgerät eines der Beispiele 1-8, wobei das CA/AD-Fahrgerät das SA/AD-Fahrzeug umfasst und ferner ein Navigationssteuermodul umfasst zum Empfangen eines ungefähren Orts eines Rettungsfahrzeugs und zum Steuern eines Lenkmoduls, um einem mit dem Audiosignal assoziierten Rettungsfahrzeug zu gestatten, das SA/AD-Fahrzeug zu passieren.
    • Beispiel 11 ist das CA/AD-Fahrgerät eines der Beispiele 1-8, wobei das CA/AD-Fahrgerät das SA/AD-Fahrzeug umfasst und das CA/AD-Fahrgerät dazu dient, Fahrelemente des SA/AD-Fahrzeugs zu steuern, das SA/AD-Fahrzeug als Reaktion auf Identifikation des Audiosignal autonom oder halbautonom zu fahren.
    • Beispiel 12 ist das CA/AD-Fahrgerät eines der Beispiele 1-8, ferner umfassend mindestens eines einer sichtbasierten Kamera, eines Radar- und eines Lichtdetektions- und Entfernungsmessungs- bzw. LIDAR-Sensors, gekoppelt an ein Navigationssteuermodul zum Unterstützen beim Führen des SA/AD-Fahrzeugs als Reaktion auf einen Ort eines mit dem Audiosignal assoziierten Rettungsfahrzeugs.
    • Beispiel 13 ist ein Verfahren zum Identifizieren eines Alarmsignals, um ein halbautonom oder autonom fahrendes (SA/AD) Fahrzeug auf die Anwesenheit eines Rettungsfahrzeugs aufmerksam zu machen, das Verfahren umfassend Erfassen, durch eine Anordnung von Mikrofonen, gekoppelt an das SA/AD-Fahrzeug und angeordnet zum Erfassen, eines Audiosignals, das das SA/AD-Fahrzeug mindestens teilweise umgibt oder ihm nah ist; Bereitstellen, durch die Anordnung von Mikrofonen, des Audiosignals für eine Analyseeinheit; Empfangen, durch die Analyseeinheit, des Audiosignals von der Anordnung von Mikrofonen; Extrahieren, durch die Analyseeinheit, von Audiomerkmalen aus einem oder mehreren Audiorahmen des Audiosignals und Bereitstellen der Audiomerkmale für ein neuronales Netzwerk; und Klassifizieren, durch das neuronale Netzwerk, basierend auf den extrahierten Audiomerkmalen, des einen oder der mehreren Audiorahmen als einen Alarm- oder Nichtalarmrahmen, um die Anwesenheit oder Abwesenheit eines Rettungsfahrzeugs anzugeben.
    • Beispiel 14 ist das Verfahren von Beispiel 13, wobei das neuronale Netzwerk ein tiefes neuronales Netzwerk (DNN) ist und wobei Klassifizieren, durch das DNN, des einen oder der mehreren Audiorahmen als den Alarm- oder Nichtalarmrahmen umfasst, eine mit jedem des einen oder der mehreren Audiorahmen assoziierte Wahrscheinlichkeitskennziffer zu erzeugen.
    • Beispiel 15 ist das Verfahren von Beispiel 13, wobei Extrahieren, durch die Analyseeinheit, von Audiomerkmalen umfasst, eine Vielzahl von Mel-Frequenz-Cepstrum-Koeffizient- bzw. MFCC-Merkmalsvektoren aus dem einen oder den mehreren Audiorahmen zu extrahieren.
    • Beispiel 16 ist das Verfahren von Beispiel 15, wobei Extrahieren, durch die Analyseeinheit, von Audiomerkmalen umfasst, eine Vielzahl von MFCC-Merkmalsvektoren für eine Vielzahl von Rahmen über einem linken und über einem rechten des einen oder der mehreren Audiorahmen anzuordnen, um einen mit dem einen oder den mehreren Audiorahmen assoziierten dimensionalen Merkmalsvektor zu berechnen.
    • Beispiel 17 ist das Verfahren von Beispiel 16, ferner umfassend, eine diskrete Cosinustransformation (DCT) durchzuführen, um eine Dimensionalität des dimensionalen Merkmalsvektors zu reduzieren.
    • Beispiel 18 ist ein nicht vergänglicher computerlesbares Medium oder mehrere nicht vergängliche computerlesbare Medien, die darin gespeicherte Anweisungen enthalten, um zu bewirken, dass ein System für computergestütztes oder autonomes Fahren (CA/AD) als Reaktion auf Ausführen der Anweisungen Folgendes durchführt: Erfassen, durch eine Vielzahl von Mikrofonen, eines Audiosignals, wobei die Vielzahl von Mikrofonen an ein SA/AD-Fahrzeug zu koppeln ist und angeordnet ist zum Erfassen eines Audiosignals, das in umgebenden Tönen des SA/AD-Fahrzeugs enthalten ist; Bereitstellen, durch die Vielzahl von Mikrofonen, des Audiosignals für ein Audioanalysemodul; Extrahieren, durch das Audioanalysemodul, von Audiomerkmalen aus einem oder mehreren Audiorahmen des Audiosignals zum Angeben einer Wahrscheinlichkeit einer Anwesenheit eines Rettungsfahrzeugs in einer Nähe des SA/AD-Fahrzeugs; und Steuern, durch das CA/AD-Fahrsystem, eines Fahrzeugsteuersystems zum halbautonomen oder autonomen Fahren des SA/AD-Fahrzeugs, um auf einen Ort eines Rettungsfahrzeugs zu reagieren, wenn die Wahrscheinlichkeit der Anwesenheit des Rettungsfahrzeugs angegeben wird.
    • Beispiel 19 ist das computerlesbare Medium von Beispiel 18, wobei die Anweisungen zum Steuern, durch das CA/AD-Fahrsystem, des Fahrzeugsteuersystems zum halbautonomen oder autonomen Fahren des SA/AD-Fahrzeugs Anweisungen enthalten zum Bestimmen, durch ein Navigationssteuersystem, der Navigation des SA/AD-Fahrzeugs als Reaktion auf die Anwesenheit des Rettungsfahrzeugs.
    • Beispiel 20 ist das computerlesbare Medium von Beispiel 18, wobei die Anweisungen zum Extrahieren von Audiomerkmalen aus einem oder mehreren Audiorahmen des Audiosignals durch das Audioanalysemodul Anweisungen zum Extrahieren einer Vielzahl von Mel-Frequenz-Cepstrum-Koeffizient- bzw. MFCC-Merkmalsvektoren aus dem einen oder den mehreren Audiorahmen umfassen.
    • Beispiel 21 ist das computerlesbare Medium eines der Beispiele 18-20, wobei die Anweisungen zum Extrahieren von Audiomerkmalen aus dem einen oder den mehreren Audiorahmen durch das CA/AD-Fahrsystem ferner Anweisungen zum Bereitstellen der Audiomerkmale für ein tiefes neuronales Netzwerk (DNN) zur Klassifizierung als einen Alarm- oder Nichtalarmrahmen enthalten.
    • Beispiel 22 ist das computerlesbare Medium eines der Beispiele 18-21, wobei die Anweisungen zum Extrahieren von Audiomerkmalen aus dem einen oder den mehreren Audiorahmen durch das CA/AD-Fahrsystem ferner Anweisungen zum Aufteilen des Audiosignals in Rahmen, die eine Dauer von ungefähr 20-30 Millisekunden aufweisen, enthalten.
    • Beispiel 23 ist ein System, umfassend: Mittel zum Erfassen eines Audiosignals, enthalten in umgebenden Tönen eines halbautonom oder autonom fahrenden (SA/AD) Fahrzeugs, wobei das SA/AD-Fahrzeug durch die umgebenden Töne zu fahren hat; und Mittel zum Extrahieren von Audiomerkmalen aus einem oder mehreren Audiorahmen des Audiosignals, um eine Wahrscheinlichkeit einer Anwesenheit eines Rettungsfahrzeugs in einer Nähe des SA/AD-Fahrzeugs anzugeben.
    • Beispiel 24 ist das System von Beispiel 23, ferner umfassend Mittel zum Steuern eines Fahrzeugsteuersystems, Fahrelemente des SA/AD-Fahrzeugs zu steuern, auf die Anwesenheit eines Rettungsfahrzeugs zu reagieren.
    • Beispiel 25 ist das System von Beispiel 23, wobei das Mittel zum Erfassen des Audiosignals dient, Mittel zum Durchführen von Strahlformung zu enthalten, um einen Audiostrahl in eine mit dem Audiosignal assoziierte Richtung zu lenken.
    • Beispiel 26 ist ein System für computergestütztes oder autonomes Fahren (CA/AD) zum Unterstützen eines halbautonom oder autonom fahrenden (SA/AD) Fahrzeugs zum Identifizieren eines Audiosignals in umgebenden Tönen des SA/AD-Fahrzeugs, das CA/AD-System umfassend: Fahrelemente, eine Vielzahl von Mikrofonen, gekoppelt an die Fahrelemente und nahe einem Äußeren des SA/AD-Fahrzeugs angeordnet, um das Audiosignal zu detektieren; einen fahrzeugseitigen Computer, gekoppelt zum Empfangen des detektierten Audiosignals von der Vielzahl von Mikrofonen und zum: Extrahieren von Audiomerkmalen aus dem detektierten Audiosignal; und Bereitstellen der extrahierten Audiomerkmale für ein tiefes neuronales Netzwerk (DNN), um dem DNN zu gestatten, den einen oder die mehreren Rahmen des detektierten Audiosignals zu klassifizieren; und eine Ausgangsschnittstelle des fahrzeugseitigen Computers, gekoppelt zum Senden von Signalen an die Fahrelemente, um eine Navigation des SA/AD-Fahrzeugs als Reaktion auf die Klassifizierung des einen oder der mehreren Rahmen des detektierten Audiosignals autonom oder halbautonom zu steuern.
    • Beispiel 27 ist das CA/AD-System von Beispiel 26, wobei das CA/AD-System das SA/AD-Fahrzeug umfasst und die Fahrelemente eines oder mehrere eines Verbrennungsmotors, eines Elektromotors, eines Bremssystems, eines Antriebssystems, von Rädern, eines Getriebes und einer Batterie enthalten.
    • Beispiel 28 ist das CA/AD-System von Beispiel 26, wobei das CA/AD-System das SA/AD-Fahrzeug umfasst und ferner ein Navigationssteuermodul zum Empfangen eines ungefähren Orts eines sich nähernden Rettungsfahrzeugs und zum Steuern eines Lenkmoduls umfasst, um das SA/AD-Fahrzeug zu fahren, um dem sich nähernden Rettungsfahrzeug zu gestatten, das SA/AD-Fahrzeug zu passieren.
    • Beispiel 29 ist das CA/AD-System von Beispiel 26, wobei der fahrzeugseitige Computer das DNN umfasst und der fahrzeugseitige Computer ferner dient, eine Wahrscheinlichkeitskennziffer bereitzustellen, die mit einem Typ von Ton assoziiert ist, enthalten in einem von mindestens neun Ausgangsklassen.
    • Beispiel 30 ist das CA/AD-System von Beispiel 26, wobei der fahrzeugseitige Computer ferner dient, ein Tiefpassfilter und ein Schwellenwertvergleichsmodul zu implementieren, um einen mit der Wahrscheinlichkeitskennziffer assoziierten Typ von Ton zu bestimmen.
    • Beispiel 31 ist das CA/AD-System eines der Beispiele 26-30, wobei das CA/AD-System das SA/AD-Fahrzeug umfasst und ferner ein Navigationssteuermodul umfasst, um einen ungefähren Ort eines mit dem detektierten Audiosignal assoziierten Rettungsfahrzeugs zu empfangen und um die Fahrelemente zu steuern, dem Rettungsfahrzeug zu gestatten, auf einen Ort des Rettungsfahrzeugs zu reagieren.
    • Beispiel 32 ist das CA/AD-System von Beispiel 31, ferner umfassend mindestens eines einer sichtbasierten Kamera, eines Radar- und eines Lichtdetektions- und Entfernungsmessungs- bzw. LIDAR-Sensors, gekoppelt an ein Navigationssteuermodul zum Unterstützen beim Führen des SA/AD-Fahrzeugs an einen physikalischen Ort, bestimmt als Reaktion auf eine ungefähre Richtung des Audiosignals.
    • Beispiel 33 ist das CA/AD-System eines der Beispiele 26-31, wobei das DNN ein DNN enthält, vorher mit einer Vielzahl von Audioausgangsabtastungen trainiert, enthaltend mindestens eines oder mehrere von Alarmtönen, impulsiven Tönen, Tiertönen, Haushaltshintergrundtönen, Baby- und Kindertönen, Erwachsenentönen, Medientönen einschließlich von Sprache, Fernsehen, Rundfunk und dergleichen.
  • Obwohl hierin bestimmte Ausführungsformen zu Zwecken der Beschreibung veranschaulicht und beschrieben wurden, soll diese Anmeldung jegliche Anpassungen oder Variationen der hierin diskutierten Ausführungsformen abdecken. Daher ist ausdrücklich beabsichtigt, dass hierin beschriebene Ausführungsformen nur durch die Ansprüche begrenzt werden. Wenn die Offenbarung „ein“ oder „ein erstes“ Element oder das Äquivalent davon anführt, enthält eine derartige Offenbarung ein oder mehrere derartige Elemente, wobei zwei oder mehr derartige Element weder erforderlich sind noch ausgeschlossen werden. Ferner werden Ordnungsangaben (z. B. erstes, zweites oder drittes) für identifizierte Elemente verwendet, zwischen den Elementen zu unterscheiden, und geben keine erforderliche oder begrenzte Anzahl derartiger Elemente an oder implizieren diese nicht, und ebenso wenig geben sie eine besondere Position oder Reihenfolge derartiger Elemente an, außer wenn spezifisch anders angegeben.
  • Wie vorstehend angeführt, veranschaulichen die Ablaufdiagramme und Blockdiagramme in den Figuren die Architektur, die Funktionalität und den Betrieb von möglichen Implementierungen von Systemen, Verfahren und Computerprogrammprodukten gemäß verschiedenen Ausführungsformen der vorliegenden Offenbarung. In dieser Hinsicht kann jeder Block in den Ablaufdiagrammen oder Blockdiagrammen ein Modul, ein Segment oder einen Abschnitt von Code repräsentieren, das/der eine oder mehrere ausführbare Anweisungen zum Implementieren der spezifizierten logischen Funktion(en) umfasst. Es ist außerdem zu beachten, dass die in dem Block angeführten Funktionen in einigen alternativen Ausführungsformen außerhalb der in den Figuren angeführten Reihenfolge vorkommen können. Zum Beispiel können zwei Blöcke, die nacheinander angezeigt werden, in der Tat im Wesentlichen gleichzeitig ausgeführt werden, oder die Blöcke können manchmal in der umgekehrten Reihenfolge ausgeführt werden, abhängig von der beteiligten Funktionalität. Es ist des Weiteren zu beachten, dass jeder Block der Blockdiagramme und/oder Ablaufdiagrammdarstellungen und Kombinationen von Blöcken in den Blockdiagrammen und/oder Ablaufdiagrammdarstellungen durch spezielle hardwarebasierte Systeme, die die spezifizierten Funktionen oder Handlungen durchführen, oder durch Kombinationen von spezieller Hardware und Computeranweisungen implementiert werden können. „Computerimplementiertes Verfahren“, wie hierin verwendet, kann auf jedes Verfahren verweisen, das durch einen oder mehrere Prozessoren, ein Computersystem mit einem oder mehreren Prozessoren, eine Mobilvorrichtung wie ein Smartphone (die eine oder mehrere Prozessoren enthalten kann), ein Tablet, einen Laptop-Computer, eine Settop-Box, eine Spielkonsole und so weiter ausgeführt werden kann.
  • Obwohl hierin bestimmte Ausführungsform zu Zwecken der Beschreibung veranschaulicht und beschrieben wurden, soll diese Anmeldung jegliche Anpassungen oder Variationen der hierin diskutierten Ausführungsformen abdecken. Daher ist ausdrücklich beabsichtigt, dass hierin beschriebene Ausführungsformen nur durch die Ansprüche begrenzt werden. Wenn die Offenbarung „ein“ oder „ein erstes“ Element oder das Äquivalent davon anführt, enthält eine derartige Offenbarung ein oder mehrere derartige Elemente, wobei zwei oder mehr derartige Element weder erforderlich sind noch ausgeschlossen werden. Ferner werden Ordnungsangaben (z. B. erstes, zweites oder drittes) für identifizierte Elemente verwendet, zwischen den Elementen zu unterscheiden, und geben keine erforderliche oder begrenzte Anzahl derartiger Elemente an oder implizieren diese nicht, und ebenso wenig geben sie eine besondere Position oder Reihenfolge derartiger Elemente an, außer wenn spezifisch anders angegeben.

Claims (25)

  1. Gerät für computergestütztes oder autonomes Fahren (CA/AD) zum Identifizieren eines Audiosignals, enthalten in umgebenden Tönen nahe einem halbautonom oder autonom fahrenden (SA/AD) Fahrzeug, das CA/AD-Fahrgerät umfassend: eine Kommunikationsschnittstelle zum Empfangen, von einer an das SA/AD-Fahrzeug gekoppelten Vielzahl von Mikrofonen, des Audiosignals; eine Audioanalyseeinheit, gekoppelt zum Empfangen des Audiosignals von der Kommunikationsschnittstelle und zum: Aufteilen des Audiosignals in eine Vielzahl von Rahmen; und Extrahieren von Audiomerkmalen aus einem oder mehreren der Vielzahl von Rahmen; und einen Neuronennetzwerkklassifikator, gekoppelt zum Empfangen der extrahierten Audiomerkmale von der Audioanalyseeinheit und zum Erzeugen einer Wahrscheinlichkeitskennziffer für einen oder mehrere der Vielzahl von Rahmen, um den einen oder die mehreren der Vielzahl von Rahmen zu klassifizieren, um eine Identifikation des Audiosignals zu gestatten.
  2. CA/AD-Fahrgerät nach Anspruch 1, ferner umfassend die Vielzahl von Mikrofonen, und zum Enthalten eines: oder mehrerer Mikrofone, die in, an, um oder nahe einem Äußeren der SA/AD-Fahzeugs angeordnet sind.
  3. CA/AD-Fahrgerät nach Anspruch 1, wobei der Neuronennetzwerkklassifikator ein tiefes neuronales Netzwerk (DNN) umfasst, das vorher mit einer Vielzahl von Audioausgangsabtastungen trainiert wurde, enthaltend mindestens eines von Alarmtönen, impulsiven Tönen, Tiertönen, Haushaltshintergrundtönen, Baby- und Kindertönen, Erwachsenentönen, Medientönen einschließlich von Sprache, Fernsehen, Rundfunk und dergleichen.
  4. CA/AD-Fahrgerät nach Anspruch 1, wobei die Wahrscheinlichkeitskennziffer zum Angeben dient, ob der eine oder die mehreren der Vielzahl von Rahmen einen Alarm- oder Nichtalarmrahmen enthalten, und wobei das CA/AD-Fahrgerät ferner einen fahrzeugseitigen Computer zum Empfangen der Wahrscheinlichkeitskennziffer und zum Bestimmen, ob das Audiosignal mit einem Rettungsfahrzeug assoziiert ist, umfasst.
  5. CA/AD-Fahrgerät nach Anspruch 1, wobei die Audioanalyseeinheit zum Extrahieren von Audiomerkmalen dient, die eine Vielzahl von Mel-Frequenz-Cepstrum-Koeffizient- bzw. MFCC-Rahmenvektoren umfassen.
  6. CA/AD-Fahrgerät nach Anspruch 1, ferner umfassend die Vielzahl von Mikrofonen und eine lokale Verarbeitungseinheit, mit der Vielzahl von Mikrofonen integriert, daran gekoppelt oder in anderer Weise nah dazu, wobei die lokale Verarbeitungseinheit dient, die Audioanalyseeinheit und den Neuronennetzwerkklassifikator zu umfassen.
  7. CA/AD-Fahrgerät nach Anspruch 1, wobei eines oder mehrere der Vielzahl von Mikrofonen dazu dienen, Strahlformung durchzuführen, um einen Audiostrahl in eine mit dem Audiosignal assoziierte Richtung zu lenken.
  8. CA/AD-Fahrgerät nach Anspruch 1, ferner umfassend eine an das SA/AD-Fahrzeug gekoppelte Videoverarbeitungskamera zum Erfassen von Video aus einer Richtung, aus der ein mit dem Audiosignal assoziierter Alarmrahmen erfasst wird.
  9. CA/AD-Fahrgerät nach einem der Ansprüche 1-8, wobei das CA/AD-Fahrgerät das SA/AD-Fahrzeug umfasst und wobei die Fahrelemente eines oder mehrere eines Verbrennungsmotors, eines Elektromotors, eines Bremssystems, eines Antriebssystems, von Rädern, eines Getriebes und einer Batterie enthalten.
  10. CA/AD-Fahrgerät nach einem der Ansprüche 1-8, wobei das CA/AD-Fahrgerät das SA/AD-Fahrzeug umfasst und ferner ein Navigationssteuermodul umfasst zum Empfangen eines ungefähren Orts eines Rettungsfahrzeugs und zum Steuern eines Lenkmoduls, um einem mit dem Audiosignal assoziierten Rettungsfahrzeug zu gestatten, das SA/AD-Fahrzeug zu passieren.
  11. CA/AD-Fahrgerät nach einem der Ansprüche 1-8, wobei das CA/AD-Fahrgerät das SA/AD-Fahrzeug umfasst und das CA/AD-Fahrgerät dazu dient, Fahrelemente des SA/AD-Fahrzeugs zu steuern, das SA/AD-Fahrzeug als Reaktion auf Identifikation des Audiosignals autonom oder halbautonom zu fahren.
  12. CA/AD-Fahrgerät nach einem der Ansprüche 1-8, ferner umfassend mindestens eines einer sichtbasierten Kamera, eines Radar- und eines Lichtdetektions- und Entfernungsmessungs- bzw. LIDAR-Sensors, gekoppelt an ein Navigationssteuermodul zum Unterstützen beim Führen des SA/AD-Fahrzeugs als Reaktion auf einen Ort eines mit dem Audiosignal assoziierten Rettungsfahrzeugs.
  13. Verfahren zum Identifizieren eines Alarmsignals, um ein halbautonom oder autonom fahrendes (SA/AD) Fahrzeug auf die Anwesenheit eines Rettungsfahrzeugs aufmerksam zu machen, das Verfahren umfassend: Erfassen, durch eine Anordnung von Mikrofonen, gekoppelt an das SA/AD-Fahrzeug und angeordnet zum Erfassen, eines Audiosignals, das das SA/AD-Fahrzeug mindestens teilweise umgibt oder ihm nah ist; Bereitstellen, durch die Anordnung von Mikrofonen, des Audiosignals für eine Analyseeinheit; Empfangen, durch die Analyseeinheit, des Audiosignals von der Anordnung von Mikrofonen; Extrahieren, durch die Analyseeinheit, von Audiomerkmalen aus einem oder mehreren Audiorahmen des Audiosignals und Bereitstellen der Audiomerkmale einem neuronalen Netzwerk; und Klassifizieren, durch das neuronale Netzwerk, basierend auf den extrahierten Audiomerkmalen, des einen oder der mehreren Audiorahmen als einen Alarm- oder Nichtalarmrahmen, um die Anwesenheit oder Abwesenheit eines Rettungsfahrzeugs anzugeben.
  14. Verfahren nach Anspruch 13, wobei das neuronale Netzwerk ein tiefes neuronales Netzwerk (DNN) ist und wobei Klassifizieren, durch das DNN, des einen oder der mehreren Audiorahmen als den Alarm- oder Nichtalarmrahmen umfasst, eine mit jedem des einen oder der mehreren Audiorahmen assoziierte Wahrscheinlichkeitskennziffer zu erzeugen.
  15. Verfahren nach Anspruch 13, wobei Extrahieren, durch die Analyseeinheit, von Audiomerkmalen umfasst, eine Vielzahl von Mel-Frequenz-Cepstrum-Koeffizient- bzw. MFCC-Merkmalsvektoren aus dem einen oder den mehreren Audiorahmen zu extrahieren.
  16. Verfahren nach Anspruch 15, wobei Extrahieren, durch die Analyseeinheit, von Audiomerkmalen umfasst, eine Vielzahl von MFCC-Merkmalsvektoren für eine Vielzahl von Rahmen über einem linken und über einem rechten des einen oder der mehreren Audiorahmen anzuordnen, um einen mit dem einen oder den mehreren Audiorahmen assoziierten dimensionalen Merkmalsvektor zu berechnen.
  17. Verfahren nach Anspruch 16, ferner umfassend, eine diskrete Cosinustransformation (DCT) durchzuführen, um eine Dimensionalität des dimensionalen Merkmalsvektors zu reduzieren.
  18. Computerlesbares Medium oder mehrere nicht vergängliche computerlesbare Medien, die darin gespeicherte Anweisungen enthalten, um zu bewirken, dass ein System für computergestütztes oder autonomes Fahren (CA/AD) als Reaktion auf Ausführen der Anweisungen Folgendes durchführt: Erfassen, durch eine Vielzahl von Mikrofonen, eines Audiosignals, wobei die Vielzahl von Mikrofonen an ein SA/AD-Fahrzeug zu koppeln ist und angeordnet ist zum Erfassen eines Audiosignals, das in umgebenden Tönen des SA/AD-Fahrzeugs enthalten ist; Bereitstellen, durch die Vielzahl von Mikrofonen, des Audiosignals für ein Audioanalysemodul; Extrahieren, durch das Audioanalysemodul, von Audiomerkmalen aus einem oder mehreren Audiorahmen des Audiosignals zum Angeben einer Wahrscheinlichkeit einer Anwesenheit eines Rettungsfahrzeugs in einer Nähe des SA/AD-Fahrzeugs; und Steuern, durch das CA/AD-Fahrsystem, eines Fahrzeugsteuersystems zum halbautonomen oder autonomen Fahren des SA/AD-Fahrzeugs, um auf einen Ort eines Rettungsfahrzeugs zu reagieren, wenn die Wahrscheinlichkeit der Anwesenheit des Rettungsfahrzeugs angegeben wird.
  19. Computerlesbares Medium nach Anspruch 18, wobei die Anweisungen zum Steuern, durch das CA/AD-Fahrsystem, des Fahrzeugsteuersystems zum halbautonomen oder autonomen Fahren des SA/AD-Fahrzeugs Anweisungen enthalten zum Bestimmen, durch ein Navigationssteuersystem, der Navigation des SA/AD-Fahrzeugs als Reaktion auf die Anwesenheit des Rettungsfahrzeugs.
  20. Computerlesbares Medium nach Anspruch 18, wobei die Anweisungen zum Extrahieren von Audiomerkmalen aus einem oder mehreren Audiorahmen des Audiosignals durch das Audioanalysemodul Anweisungen zum Extrahieren einer Vielzahl von Mel-Frequenz-Cepstrum-Koeffizient- bzw. MFCC-Merkmalsvektoren aus dem einen oder den mehreren Audiorahmen umfassen.
  21. Computerlesbares Medium nach einem der Ansprüche 18-20, wobei die Anweisungen zum Extrahieren von Audiomerkmalen aus dem einen oder den mehreren Audiorahmen durch das CA/AD-Fahrsystem ferner Anweisungen zum Bereitstellen der Audiomerkmal für ein tiefes neuronales Netzwerk (DNN) zur Klassifizierung als einen Alarm- oder Nichtalarmrahmen enthalten.
  22. Computerlesbares Medium nach einem der Ansprüche 18-21, wobei die Anweisungen zum Extrahieren von Audiomerkmalen aus dem einen oder den mehreren Audiorahmen durch das CA/AD-Fahrsystem ferner Anweisungen zum Aufteilen des Audiosignals in Rahmen, die eine Dauer von ungefähr 20-30 Millisekunden aufweisen, enthalten.
  23. System, umfassend: Mittel zum Erfassen eines Audiosignals, enthalten in umgebenden Tönen eines halbautonom oder autonom fahrenden (SA/AD) Fahrzeugs, wobei das SA/AD-Fahrzeug durch die umgebenden Töne zu fahren hat; und Mittel zum Extrahieren von Audiomerkmalen aus einem oder mehreren Audiorahmen des Audiosignals, um eine Wahrscheinlichkeit einer Anwesenheit eines Rettungsfahrzeugs in einer Nähe des SA/AD-Fahrzeugs anzugeben.
  24. System nach Anspruch 23, ferner umfassend Mittel zum Steuern eines Fahrzeugsteuersystems, Fahrelemente des SA/AD-Fahrzeugs zu steuern, auf die Anwesenheit eines Rettungsfahrzeugs zu reagieren.
  25. System nach einem der Ansprüche 23 und 24, wobei das Mittel zum Erfassen des Audiosignals dient, Mittel zum Durchführen von Strahlformung zu enthalten, um einen Audiostrahl in eine mit dem Audiosignal assoziierte Richtung zu lenken.
DE102018125713.9A 2017-11-17 2018-10-17 Identifikation von Audiosignalen in umgebenden Tönen und Führung eines autonomen Fahrzeugs als Reaktion darauf Pending DE102018125713A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/816,835 2017-11-17
US15/816,835 US10747231B2 (en) 2017-11-17 2017-11-17 Identification of audio signals in surrounding sounds and guidance of an autonomous vehicle in response to the same

Publications (1)

Publication Number Publication Date
DE102018125713A1 true DE102018125713A1 (de) 2019-05-23

Family

ID=65274943

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102018125713.9A Pending DE102018125713A1 (de) 2017-11-17 2018-10-17 Identifikation von Audiosignalen in umgebenden Tönen und Führung eines autonomen Fahrzeugs als Reaktion darauf

Country Status (3)

Country Link
US (1) US10747231B2 (de)
CN (2) CN109803207A (de)
DE (1) DE102018125713A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019215668A1 (de) * 2019-10-11 2021-04-15 Zf Friedrichshafen Ag Verfahren zur Erfassung und Interpretation von Schallereignissen bei einem autonom fahrenden Fahrzeug
DE102020116507A1 (de) 2020-06-23 2021-12-23 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren zur Ermittlung einer Zielgröße

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019113477A1 (en) * 2017-12-07 2019-06-13 Lena Foundation Systems and methods for automatic determination of infant cry and discrimination of cry from fussiness
WO2019133732A1 (en) * 2017-12-28 2019-07-04 Knowles Electronics, Llc Content-based audio stream separation
KR102605736B1 (ko) * 2018-03-15 2023-11-27 한국전자통신연구원 주파수 변화에 강인한 음향 이벤트 검출 방법 및 그 장치
IT201800007193A1 (it) * 2018-07-13 2020-01-13 "Procedimento di generazione di un segnale audio, in particolare per il controllo attivo del suono del motore di un veicolo terrestre, e relativo apparato"
US20220041101A1 (en) * 2018-10-11 2022-02-10 Semiconductor Energy Laboratory Co., Ltd. Vehicle alarm device
US10970899B2 (en) * 2018-10-23 2021-04-06 International Business Machines Corporation Augmented reality display for a vehicle
US11776539B2 (en) 2019-01-08 2023-10-03 Universal Electronics Inc. Voice assistant with sound metering capabilities
US11567510B2 (en) 2019-01-24 2023-01-31 Motional Ad Llc Using classified sounds and localized sound sources to operate an autonomous vehicle
KR102635469B1 (ko) 2019-03-18 2024-02-13 한국전자통신연구원 컨볼루션 뉴럴 네트워크에 기반한 음향 이벤트 인식 방법 및 장치
CN110097755B (zh) * 2019-04-29 2021-08-17 东北大学 基于深度神经网络的高速公路交通流量状态识别方法
US11614753B2 (en) * 2019-05-31 2023-03-28 Lyft, Inc. Approaches for mapping geographic regions
CN110415724A (zh) * 2019-08-08 2019-11-05 中南大学湘雅二医院 报警数据的传输方法、装置、系统及计算机可读存储介质
US11237241B2 (en) * 2019-10-10 2022-02-01 Uatc, Llc Microphone array for sound source detection and location
CN110602626B (zh) * 2019-10-23 2021-09-21 维沃移动通信有限公司 麦克风孔的误插入检测方法、电子设备
US11609576B2 (en) * 2019-12-05 2023-03-21 Baidu Usa Llc Emergency vehicle audio detection
US11467273B2 (en) 2019-12-31 2022-10-11 Gm Cruise Holdings Llc Sensors for determining object location
US11295757B2 (en) * 2020-01-24 2022-04-05 Motional Ad Llc Detection and classification of siren signals and localization of siren signal sources
US11711648B2 (en) 2020-03-10 2023-07-25 Intel Corporation Audio-based detection and tracking of emergency vehicles
KR20210147155A (ko) * 2020-05-27 2021-12-07 현대모비스 주식회사 조향계 소음 판별 장치
US11367458B2 (en) 2020-08-21 2022-06-21 Waymo Llc Accelerometer inside of a microphone unit
US20220122620A1 (en) * 2020-10-19 2022-04-21 Argo AI, LLC Emergency siren detection for autonomous vehicles
CN112706691B (zh) * 2020-12-25 2022-11-29 奇瑞汽车股份有限公司 车辆提醒的方法和装置
CN112572474A (zh) * 2020-12-29 2021-03-30 联合汽车电子有限公司 自动驾驶冗余系统
US11430466B2 (en) * 2021-01-13 2022-08-30 Baidu Usa Llc Sound source detection and localization for autonomous driving vehicle
US20220219736A1 (en) * 2021-01-14 2022-07-14 Baidu Usa Llc Emergency vehicle audio and visual detection post fusion
US11765506B2 (en) * 2021-03-01 2023-09-19 Tymphany Worldwide Enterprises Limited Automobile audio system
US11364910B1 (en) 2021-08-26 2022-06-21 Motional Ad Llc Emergency vehicle detection system and method
CN114420163B (zh) * 2022-01-18 2023-04-07 小米汽车科技有限公司 声音识别方法、装置、存储介质、电子设备及车辆

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10124088A (ja) * 1996-10-24 1998-05-15 Sony Corp 音声帯域幅拡張装置及び方法
US8233352B2 (en) * 2009-08-17 2012-07-31 Broadcom Corporation Audio source localization system and method
US8907195B1 (en) * 2012-01-14 2014-12-09 Neset Arda Erol Method and apparatus for musical training
US9062983B2 (en) * 2013-03-08 2015-06-23 Oshkosh Defense, Llc Terrain classification system for a vehicle
US9275136B1 (en) * 2013-12-03 2016-03-01 Google Inc. Method for siren detection based on audio samples
US10580401B2 (en) * 2015-01-27 2020-03-03 Google Llc Sub-matrix input for neural network layers
US9701239B2 (en) * 2015-11-04 2017-07-11 Zoox, Inc. System of configuring active lighting to indicate directionality of an autonomous vehicle
US9792907B2 (en) * 2015-11-24 2017-10-17 Intel IP Corporation Low resource key phrase detection for wake on voice
US10347244B2 (en) * 2017-04-21 2019-07-09 Go-Vivace Inc. Dialogue system incorporating unique speech to text conversion method for meaningful dialogue response
US10922566B2 (en) * 2017-05-09 2021-02-16 Affectiva, Inc. Cognitive state evaluation for vehicle navigation
US10210756B2 (en) * 2017-07-24 2019-02-19 Harman International Industries, Incorporated Emergency vehicle alert system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019215668A1 (de) * 2019-10-11 2021-04-15 Zf Friedrichshafen Ag Verfahren zur Erfassung und Interpretation von Schallereignissen bei einem autonom fahrenden Fahrzeug
DE102020116507A1 (de) 2020-06-23 2021-12-23 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren zur Ermittlung einer Zielgröße

Also Published As

Publication number Publication date
US20190049989A1 (en) 2019-02-14
CN109803207A (zh) 2019-05-24
CN115038018A (zh) 2022-09-09
US10747231B2 (en) 2020-08-18

Similar Documents

Publication Publication Date Title
DE102018125713A1 (de) Identifikation von Audiosignalen in umgebenden Tönen und Führung eines autonomen Fahrzeugs als Reaktion darauf
DE102018129066B4 (de) Systeme und verfahren für ungeschütztes linksabbiegen in situationen mit hohem verkehrsaufkommen in autonomen fahrzeugen
DE102018129048B4 (de) Verfahren zum durchführen einer autonomen fahrzeugbetriebsanalyse
DE102018121595B4 (de) Unbeaufsichtigtes anlernen von agenten für autonome fahranwendungen
DE102019110184A1 (de) Systeme und verfahren zum autonomen fahren unter verwendung eines auf neuronalen netzwerken basierten fahrerlernens auf tokenizierten sensoreingaben
DE112020002602T5 (de) Multi-objektverfolgung mit hilfe von korrelationsfiltern in videoanalyseanwendungen
DE102020104360A1 (de) Fahrzeug mit externem audio-lautsprecher und mikrofon
DE102018114600A1 (de) Systeme und verfahren zum reagieren auf einsatzfahrzeuge in einem autonomen fahrzeug
DE102018129295A1 (de) Systeme und Verfahren zum Abbilden von Fahrbahnstörobjekten in autonomen Fahrzeugen
DE102018117777A1 (de) Tief integrierte Fusionsarchitektur für automatisierte Fahrsysteme
DE102018102285A1 (de) System und verfahren zum beurteilen des innenraums eines autonomen fahrzeugs
DE102018105693A1 (de) Strassenbau-Erfassungssysteme und -Verfahren
DE112017007713T5 (de) Systeme und Verfahren zur Fahrzeugbelegungsverwaltung
DE102018121124A1 (de) Verfahren und Systeme zum Erzeugen von Echtzeit-Karteninformationen
DE102020113756A1 (de) Systeme und verfahren zur akustischen steuerung eines fahrzeuginnenraums
DE102017105903A1 (de) Fussgängerdetektion und Bewegungsvorhersage mit nach hinten gerichteter Kamera
DE102018129064A1 (de) Systeme und verfahren zur geschwindigkeitsanpassung für einen bevorstehenden spurwechsel in autonomen fahrzeugen
DE102018117429A1 (de) Klassifizierungsverfahren und -systeme
DE102018121791A1 (de) Systeme und Verfahren zur Bestimmung des Vorhandenseins von Verkehrssteuerungspersonal und Verkehrsleitschildern
DE102018117529A1 (de) Ladesysteme für autonome Fahrzeuge
DE102018128278A1 (de) Leitfahrzeugüberwachung für eine adaptive geschwindigkeitsregelung
DE102018123464A1 (de) Verfahren und systeme zur radar-lokalisierung in autonomen fahrzeugen
DE102019113389A1 (de) Systeme und verfahren für ein vorhersage-entitätenverhalten
DE102021129528A1 (de) Erkennung von Einsatzfahrzeugen für Anwendungen im Bereich des autonomen Fahrens
DE102018123467A1 (de) Verfahren und systeme zur radar-lokalisierung in autonomen fahrzeugen

Legal Events

Date Code Title Description
R130 Divisional application to

Ref document number: 102018010496

Country of ref document: DE

R081 Change of applicant/patentee

Owner name: KIA CORPORATION, KR

Free format text: FORMER OWNER: INTEL CORPORATION, SANTA CLARA, CALIF., US

Owner name: HYUNDAI MOTOR COMPANY, KR

Free format text: FORMER OWNER: INTEL CORPORATION, SANTA CLARA, CALIF., US

R082 Change of representative

Representative=s name: HOFFMANN - EITLE PATENT- UND RECHTSANWAELTE PA, DE

R081 Change of applicant/patentee

Owner name: KIA CORPORATION, KR

Free format text: FORMER OWNERS: HYUNDAI MOTOR CO., SEOUL, SEOCHO-GU, KR; KIA CORPORATION, SEOUL, KR

Owner name: HYUNDAI MOTOR COMPANY, KR

Free format text: FORMER OWNERS: HYUNDAI MOTOR CO., SEOUL, SEOCHO-GU, KR; KIA CORPORATION, SEOUL, KR