DE102022100538A1

DE102022100538A1 - Sprachfilterung für masken

Info

Publication number: DE102022100538A1
Application number: DE102022100538.0A
Authority: DE
Inventors: Scott Andrew Amman; Cynthia M. Neubecker; Joshua Wheeler; Pietro Buttolo; Brian Bennie; John Robert Van Wiemeersch
Original assignee: Ford Global Technologies LLC
Current assignee: Ford Global Technologies LLC
Priority date: 2021-01-11
Filing date: 2022-01-11
Publication date: 2022-07-14
Also published as: US11404061B1; US20220223145A1; CN114764322A

Abstract

Ein Computer beinhaltet einen Prozessor und einen Speicher, der Anweisungen speichert, die durch den Prozessor ausführbar sind, um Sensordaten eines Insassen eines Fahrzeugs zu empfangen, einen von dem Insassen getragenen Maskentyp auf Grundlage der Sensordaten zu identifizieren, einen Schallfilter gemäß dem Maskentyp aus einer Vielzahl von in dem Speicher gespeicherten Schallfiltern auszuwählen, Schalldaten zu empfangen, den ausgewählten Schallfilter auf die Schalldaten anzuwenden und einen Vorgang unter Verwendung der gefilterten Schalldaten durchzuführen.

Description

GEBIET DER TECHNIK
Die Offenbarung betrifft im Allgemeinen Spracherkennungssysteme für Fahrzeuge und insbesondere ein Sprachfiltersystem und -verfahren, wenn ein Fahrzeuginsasse eine Maske trägt.
ALLGEMEINER STAND DER TECHNIK
Viele moderne Fahrzeuge beinhalten Spracherkennungssysteme. Ein derartiges System beinhaltet ein Mikrofon. Das System wandelt durch das Mikrofon detektierte gesprochene Wörter in Text oder eine andere Form um, mit der ein Befehl abgeglichen werden kann. Erkannte Befehle können das Einstellen von Klimasteuerungen, das Auswählen von abzuspielenden Medien usw. beinhalten.
KURZDARSTELLUNG
Ein Computer beinhaltet einen Prozessor und einen Speicher, der Anweisungen speichert, die durch den Prozessor ausführbar sind, um Sensordaten eines Insassen eines Fahrzeugs zu empfangen, einen von dem Insassen getragenen Maskentyp auf Grundlage der Sensordaten zu identifizieren, einen Schallfilter gemäß dem Maskentyp aus einer Vielzahl von in dem Speicher gespeicherten Schallfiltern auszuwählen, Schalldaten zu empfangen, den ausgewählten Schallfilter auf die Schalldaten anzuwenden und einen Vorgang unter Verwendung der gefilterten Schalldaten durchzuführen.
Die Sensordaten können Bilddaten sein, die den Insassen zeigen.
Der Vorgang kann ein Identifizieren eines Sprachbefehls zum Aktivieren eines Merkmals sein.
Der Vorgang kann ein Übertragen der gefilterten Schalldaten in einem Telefonanruf sein.
Der Vorgang kann ein Ausgeben der gefilterten Schalldaten durch einen Lautsprecher des Fahrzeugs sein.
Die Anweisungen können Anweisungen beinhalten, um den Vorgang unter Verwendung der Schalldaten ungefiltert durchzuführen, wenn bestimmt wird, dass der Insasse keine Maske trägt.
Die Anweisungen können das Auswählen eines generischen Schallfilters aus der Vielzahl von Schallfiltern beinhalten, wenn der Maskentyp als unbekannter Typ identifiziert wird. Die Anweisungen können Anweisungen beinhalten, um ein Update an einen entfernten Server zu übertragen, wenn der Maskentyp als der unbekannte Typ identifiziert wird. Das Update kann Bilddaten der Maske beinhalten.
Die Anweisungen können Anweisungen beinhalten, um den durch den Insassen getragenen Maskentyp auf Grundlage einer Eingabe durch den Insassen zu identifizieren. Die Anweisungen können Anweisungen zum Überschreiben der Identifizierung auf Grundlage der Sensordaten mit der Identifizierung auf Grundlage der Eingabe bei Empfangen der Eingabe beinhalten.
Die Anweisungen können Anweisungen beinhalten, um den Insassen aufzufordern, die Eingabe bereitzustellen, wenn bestimmt wird, dass der Insasse eine Maske trägt.
Die Anweisungen können Anweisungen beinhalten, um den Insassen aufzufordern, die Eingabe bereitzustellen, wenn bestimmt wird, dass einer der Insassen einen Maskentyp trägt, der mit einem unter einem Konfidenzschwellenwert liegenden Konfidenzwert identifiziert wurde, oder der Maskentyp ein unbekannter Typ ist.
Die Anweisungen können Anweisungen zum Übertragen eines Updates an einen entfernten Server als Reaktion darauf beinhalten, dass die Eingabe angibt, dass der Maskentyp nicht zu den im Speicher gespeicherten Maskentypen gehört.
Die Anweisungen können Anweisungen beinhalten, um den Insassen, für den der Maskentyp zu identifizieren ist, aus einer Vielzahl von Insassen auf Grundlage von Schalldatenlautstärken von jeweiligen Mikrofonen auszuwählen.
Die Anweisungen können Anweisungen beinhalten, um den Insassen, für den der Maskentyp zu identifizieren ist, aus einer Vielzahl von Insassen auf Grundlage dessen auszuwählen, dass sich der Insasse sich in einem vorbestimmten Bereich der Bilddaten befindet.
Jeder Schallfilter kann eine Lautstärke der Schalldaten um ein Maß einstellen, das je nach Frequenz variiert. Jeder Schallfilter erhöht die Lautstärke der Schalldaten bei mindestens einer Frequenz.
Die Anweisungen können Anweisungen beinhalten, um ein Update von einem entfernten Server zu empfangen, der die Vielzahl von in dem Speicher gespeicherten Schallfiltern ändert.
Ein Verfahren beinhaltet Empfangen von Sensordaten eines Insassen eines Fahrzeugs, Identifizieren eines von dem Insassen getragenen Maskentyp auf Grundlage der Sensordaten, Auswählen eines Schallfilters gemäß dem Maskentyp aus einer Vielzahl von in dem Speicher gespeicherten Schallfiltern, Empfangen von Schalldaten, Anwenden der ausgewählten Schallfilter auf die Schalldaten und Durchführen eines Vorgangs unter Verwendung der gefilterten Schalldaten.
Figurenliste

1 ist eine Draufsicht auf ein beispielhaftes Fahrzeug mit einem zur Veranschaulichung freigelegten Fahrgastraum.
2 ist ein Blockdiagramm eines Systems des Fahrzeugs.
3 ist ein Prozessflussdiagramm eines beispielhaften Prozesses zur Sprachfilterung bei einem eine Maske tragendem Insassen des Fahrzeugs.
4 ist ein Verlauf des Schalldrucks gegenüber der Frequenz für Sprache für eine Vielzahl von Masken, während eine Maske getragen wird.

DETAILLIERTE BESCHREIBUNG
Unter Bezugnahme auf die Figuren beinhaltet ein Computer 100 einen Prozessor und einen Speicher, der Anweisungen speichert, die durch den Prozessor ausführbar sind, um Sensordaten eines Insassen eines Fahrzeugs 102 zu empfangen, einen von dem Insassen getragenen Maskentyp auf Grundlage der Sensordaten zu identifizieren, einen Schallfilter gemäß dem Maskentyp aus einer Vielzahl von in dem Speicher gespeicherten Schallfiltern auszuwählen, Schalldaten zu empfangen, den ausgewählten Schallfilters auf die Schalldaten anzuwenden und einen Vorgang unter Verwendung der gefilterten Schalldaten durchzuführen.
Der Computer 100 kann dazu verwendet werden, die Sprachklarheit von einem Insassen zu verbessern, der eine Maske trägt, indem der Maskentyp ausgewählt und dadurch der Filter angewendet wird, der am besten geeignet ist, um die Sprache auszugleichen. Die Wahl des Filters ermöglicht, dass die durch diese bestimmte Maske gedämpften Frequenzen verstärkt werden. Die gefilterten Schalldaten können somit zuverlässig dazu verwendet werden, Vorgänge wie etwa einen Sprachbefehl zum Aktivieren eines Merkmals des Fahrzeugs 102, eine Übertragung in einem Telefonanruf oder eine Übertragung als Telekommunikation an einen Lautsprecher 114 an einer anderen Stelle im Fahrzeug 102 durchzuführen. Der Sprachbefehl kann zuverlässig erkannt werden, der Telefonanruf kann von der Person am anderen Ende des Insassen zuverlässig verstanden werden und die Telekommunikationsnachricht kann von dem anderen Insassen des Fahrzeugs 102 zuverlässig verstanden werden.
Unter Bezugnahme auf 1 kann es sich bei dem Fahrzeug 102 um eine beliebige geeignete Art von Kraftfahrzeug handeln, z. B. einen Personen- oder Nutzkraftwagen, wie etwa eine Limousine, ein Coupe, einen Lastwagen, einen Geländewagen, ein Crossover-Fahrzeug, einen Van, einen Minivan, ein Taxi, einen Bus usw. Das Fahrzeug 102 kann zum Beispiel autonom sein. Anders ausgedrückt kann das Fahrzeug 102 autonom betrieben werden, sodass das Fahrzeug 102 ohne ständige Aufmerksamkeit eines Fahrers gefahren werden kann, d. h., das Fahrzeug 102 kann ohne menschliche Eingabe selbst fahren.
Das Fahrzeug 102 beinhaltet eine Fahrgastzelle 104 zum Unterbringen der Insassen des Fahrzeugs 102. Die Fahrgastzelle 104 beinhaltet einen oder mehrere Vordersitze 106, die vorn in der Fahrgastzelle 104 angeordnet sind, und einen oder mehrere Rücksitze 106, die hinter den Vordersitzen 106 angeordnet sind. Die Fahrgastzelle 104 kann zudem eine dritte Sitzreihe 106 (nicht gezeigt) im einem hinteren Teil der Fahrgastzelle 104 beinhalten.
Das Fahrzeug 102 beinhaltet mindestens eine Kamera 108. Die Kamera 108 kann elektromagnetische Strahlung in einem gewissen Bereich von Wellenlängen detektieren. Zum Beispiel kann die Kamera 108 sichtbares Licht, Infrarotstrahlung, ultraviolettes Licht oder einen gewissen Bereich von Wellenlängen detektieren, der sichtbares, infrarotes und/oder ultraviolettes Licht umfasst. Zum Beispiel kann die Kamera 108 eine Wärmebildkamera sein.
Die Kamera 108 ist so positioniert, dass das Sichtfeld der Kamera 108 mindestens einen der Sitze 106, z. B. den Fahrersitz 106 oder die Vorder- oder Rücksitze 106, umfasst. Zum Beispiel kann die Kamera 108 auf einem Armaturenbrett 118 oder einem Rückspiegel positioniert und relativ zur Fahrgastzelle 104 nach hinten ausgerichtet sein.
Das Fahrzeug 102 beinhaltet mindestens ein Mikrofon 110, z. B. ein erstes Mikrofon 110a und ein zweites Mikrofon 110b. Die Mikrofone 110 sind Wandler, die Schall in elektrische Signale umwandeln. Die Mikrofone 110 können ein beliebiger geeigneter Typ von Mikrofonen zur Sprachdetektion bei Insassen des Fahrzeugs 102 sein, z. B. dynamisches, Kondensator-, Kontaktmikrofon usw.
Die Mikrofone 110 können an entsprechenden Stellen oder Positionen in der Fahrgastzelle 104 angeordnet sein, um gemeinsam Sprache von Insassen auf unterschiedlichen Sitzen 106 zu detektieren. Zum Beispiel kann das erste Mikrofon 110a in dem Armaturenbrett 118 positioniert sein und das zweite Mikrofon 110b kann zwischen den Vordersitzen 106 positioniert und dazu ausgerichtet sein, Schall von den Rücksitzen 106 abzunehmen.
Eine Benutzerschnittstelle 112 präsentiert einem Insassen des Fahrzeugs 102 Informationen und empfängt Informationen von diesem. Die Benutzerschnittstelle 112 kann sich z. B. an einem Armaturenbrett 118 in einer Fahrgastzelle 104 des Fahrzeugs oder an einer beliebigen Stelle befinden, an der sie ohne Weiteres von dem Insassen gesehen werden kann. Die Benutzerschnittstelle 112 kann Zifferblätter, Digitalanzeigen, Bildschirme, Lautsprecher 114 und so weiter zum Bereitstellen von Informationen an den Insassen beinhalten, z. B. Elemente einer Mensch-Maschine-Schnittstelle (human-machine interface - HMI), wie sie bekannt sind. Die Benutzerschnittstelle 112 kann Schaltflächen, Knöpfe, Tastenfelder, die Mikrofone 110 und so weiter zum Empfangen von Informationen von dem Insassen beinhalten.
Die Lautsprecher 114 sind elektroakustische Wandler, die elektrische Signale in Schall umwandeln. Die Lautsprecher 114 können ein beliebiger geeigneter Typ sein, um einen für die Insassen hörbaren Schall zu erzeugen, z.B. dynamisch. Die Lautsprecher 114 können an entsprechenden Stellen oder Positionen in der Fahrgastzelle 104 angeordnet sein, um gemeinsam Schall für Insassen in jeweiligen Sitzen 106 zu erzeugen.
Unter Bezugnahme auf 2 handelt es sich bei dem Computer 100 um eine mikroprozessorbasierte Rechenvorrichtung, z. B. eine generische Rechenvorrichtung, die einen Prozessor und einen Speicher beinhaltet, eine elektronische Steuerung oder dergleichen, ein feldprogrammierbares Gate-Array (FPGA), eine anwendungsspezifische integrierte Schaltung (application-specific integrated circuit - ASIC) usw. Der Computer 100 kann somit einen Prozessor, einen Speicher usw. beinhalten. Der Speicher des Computers 100 kann Medien zum Speichern von Anweisungen, die durch den Prozessor ausgeführt werden können, sowie zum elektronischen Speichern von Daten und/oder Datenbanken beinhalten und/oder der Computer 100 kann Strukturen beinhalten, wie etwa die Vorangehenden, durch die eine Programmierung bereitgestellt wird. Der Computer 100 kann aus mehreren miteinander gekoppelten Computern bestehen.
Der Computer 100 kann Daten über ein Kommunikationsnetz 116 übertragen und empfangen, wie etwa einen Controller-Area-Network-(CAN-)Bus, Ethernet, WiFi®, ein Local Interconnect Network (LIN), einen On-Board-Diagnoseanschluss (OBD-II) und/oder über ein beliebiges anderes drahtgebundenes oder drahtloses Kommunikationsnetz. Der Computer 100 kann über das Kommunikationsnetz 116 kommunikativ an die Kamera 108, die Mikrofone 110, die Benutzerschnittstelle 112, die Lautsprecher 114, einen Sender/Empfänger 118 und andere Komponenten gekoppelt sein.
Der Sender/Empfänger 118 kann mit dem Kommunikationsnetz verbunden sein. Der Sender/Empfänger 118 kann dazu ausgelegt sein, Signale drahtlos mittels eines beliebigen geeigneten drahtlosen Kommunikationsprotokolls zu übertragen, wie etwa Mobilfunk, Bluetooth®, Bluetoothü Low Energy (BLE), Ultrabreitband (UWB), WiFi, IEEE 802.11a/b/g, andere HF(Hochfrequenz)-Kommunikationen usw. Der Sender/Empfänger 118 kann dazu ausgelegt sein, mit einem entfernten Server 120 zu kommunizieren, d. h. einem Server, der von dem Fahrzeug 102 getrennt und beabstandet ist. Der entfernte Server 120 kann sich außerhalb des Fahrzeugs 102 befinden. Der entfernte Server 120 kann zum Beispiel einem anderen Fahrzeug (z. B. V2V-Kommunikation), einer Infrastrukturkomponente (z. B. V2I-Kommunikation über dedizierte Nahbereichskommunikation (Dedicated Short-Range Communications - DSRC) oder dergleichen), einem Nothelfer, einer mobilen Vorrichtung, die dem Eigentümer des Fahrzeugs 102 zugeordnet ist, usw. zugeordnet sein. Der Sender/Empfänger 118 kann eine Vorrichtung sein oder kann einen separaten Sender und Empfänger beinhalten.
Unter Bezugnahme auf 4 speichert der Computer 100 eine Vielzahl von Schallfiltern im Speicher. Jeder Schallfilter gibt an, in welchem Maße ein Schalldruck, d. h. die Lautstärke, von Schalldaten gemäß einer Frequenz eingestellt werden soll, z. B. stellt jeder Schallfilter Schalldruck als eine mathematische Funktion der Frequenz SP = F(j) bereit, wobei SP Schalldruck ist, F der Schallfilter ist und ƒ die Frequenz ist. Der Schallfilter F_i kann eine Differenz eines Grundschalldrucks SP_base und eines Schalldrucks für einen Maskentyp SP_i sein, d. h. F_i(ƒ) = SP_base(ƒ) - SP_i(ƒ), wobei i ein Index des Maskentyps ist. Masken haben oft eine geringe Auswirkung auf die Lautstärke, wenn die Frequenz 500 Hz oder weniger beträgt und dämpfen Schall erheblicher bei 1000 Hz und höher in einem Ausmaß, das vom Maskentyp abhängt. Einer der im Speicher gespeicherten Schallfilter ist dem unbekannten Maskentyp zugeordnet, und dieser Schallfilter kann ein generischer Schallfilter sein, z. B. ein Durchschnitt der anderen im Speicher gespeicherten Schallfilter.
Die im Speicher gespeicherten Schallfilter können von dem entfernten Server 120 aktualisiert werden, z. B. ein Over-the-Air-Update (OTA-Update) über den Sender/Empfänger 118. Ein Update kann neue Schallfilter für einen neue Maskentyp hinzufügen, für den noch kein Schallfilter vom Computer 100 gespeichert wird. Alternativ oder zusätzlich dazu kann das Update einen oder mehrere der bereits durch den Computer 100 gespeicherten Schallfilter ändern. Somit können die durch den Computer 100 gespeicherten Schallfilter aktualisiert werden, wenn neue Maskentypen eingeführt werden, sich die Materialien bestehender Masken ändern usw. Das Update kann periodisch oder bei Bedarf erfolgen.
3 ist ein Prozessflussdiagramm eines beispielhaften Prozesses 300 zur Sprachfilterung bei einem eine Maske tragendem Insassen des Fahrzeugs 102. Auf dem Speicher des Computers 100 sind ausführbare Anweisungen zum Durchführen der Schritte des Prozesses 300 gespeichert und/oder eine Programmierung kann in Strukturen wie vorstehend erläutert umgesetzt sein. Als allgemeine Übersicht über den Prozess 300 empfängt der Computer 100 Daten von der Kamera 108 und den Mikrofonen 110, detektiert eine von einem Insassen getragene Maske auf Grundlage der Daten und identifiziert den Maskentyp. Wenn der Insasse eine Maske eines Typs trägt, der mit einem Konfidenzwert über einem Konfidenzschwellenwert identifiziert wird, wählt der Computer 100 einen Schallfilter aus, der dem Maskentyp entspricht. Wenn der Insasse eine Maske eines Typs trägt, der mit einem Konfidenzwert über einem Konfidenzschwellenwert identifiziert wird, fordert der Computer 100 den Insassen zur Eingabe des Maskentyps auf und wählt einen Schallfilter aus, der dem Maskentyp entspricht, der entweder vom Insassen eingegeben oder vom Computer 100 identifiziert wurde. Der Computer 100 wendet den ausgewählten Schallfilter auf Schalldaten an und führt einen Vorgang unter Verwendung der gefilterten Schalldaten durch. Wenn keine Masken vorhanden sind, führt der Computer 100 den Vorgang auf Grundlage der ungefilterten Schalldaten durch.
Der Prozess 300 beginnt in einem Block 305, in dem der Computer 100 Sensordaten von mindestens einem Insassen des Fahrzeugs 102 empfängt, z. B. Bilddaten von der Kamera 108, welche die Insassen zeigen, und/oder Schalldaten von den Mikrofonen 110 der Sprache der Insassen.
Als Nächstes detektiert der Computer 100 in einem Block 310 eine Maske, die von einem der Insassen getragen wird. Wenn sich eine Vielzahl von Insassen in der Fahrgastzelle 104 befindet, wählt der Computer 100 einen der Insassen aus. Zum Beispiel kann der Computer 100 den Insassen auf Grundlage dessen auswählen, dass sich der Insasse in einem vorbestimmten Bereich der Bilddaten befindet, z. B. entsprechend einem Insassen, der auf einem bestimmten Sitz 106, wie etwa einem Fahrersitz 106, sitzt, und dann die von diesem Insassen getragene Maske detektieren. Dies kann es dem Computer 100 ermöglichen, eine durch den Führer des Fahrzeugs 102 getragene Maske zu detektieren. Als weiteres Beispiel kann der Computer 100 den Insassen auf Grundlage von Schalldatenlautstärken von den jeweiligen Mikrofonen 110, z.B. auf Grundlage des Mikrofons 110 mit der höchsten Lautstärke, auswählen und dann die Maske detektieren, die von dem Insassen getragen wird, der dem Mikrofon 110 am nächsten ist. Dies kann es dem Computer 100 ermöglichen, eine Maske zu detektieren, die von einem Insassen getragen wird, der am wahrscheinlichsten zum Durchführen des Vorgangs spricht, z. B. einem Insassen, der auf dem Rücksitz 106 sitzt, wenn die Lautstärke vom Mikrofon 110b größer ist als vom Mikrofon 110a. Der Computer 100 kann die Maske oder ein unmaskiertes Gesicht unter Verwendung herkömmlicher Bilderkennungstechniken identifizieren, z. B. eines neuronalen Faltungsnetzwerks, das dazu programmiert ist, Bilder als Eingabe zu akzeptieren und ein identifiziertes Objekt auszugeben. Die Bilddaten von der Kamera 108 können als Eingabe verwendet werden. Das neuronale Faltungsnetzwerk kann Bilder von Insassen von Fahrzeugen verwenden, die Masken tragen und nicht tragen, die von Kameras erzeugt werden, die sich an derselben Stelle wie die Kamera 108 befinden. Ein neuronales Faltungsnetzwerk beinhaltet eine Reihe von Schichten, wobei jede Schicht die vorherige Schicht als Eingabe verwendet. Jede Schicht enthält eine Vielzahl von Neuronen, die als Eingabe Daten empfangen, die durch eine Teilmenge der Neuronen der vorherigen Schichten generiert wurden, und eine Ausgabe erzeugen, die an Neuronen in der nächsten Schicht gesendet wird. Zu Arten von Schichten gehören Faltungsschichten, die ein Punktprodukt aus einer Gewichtung und einer kleinen Region von Eingabedaten berechnen; Poolschichten, die einen Downsampling-Vorgang entlang räumlicher Abmessungen durchführen; und vollständig verbundene Schichten, die Ausgaben auf Grundlage der Ausgabe aller Neuronen der vorangehenden Schicht erzeugen. Die letzte Schicht des neuronalen Faltungsnetzwerks erzeugt einen Konfidenzwert für die Maske und für das unmaskierte Gesicht, und die endgültige Ausgabe ist dasjenige der Maske oder des unmaskierten Gesichts, das den höchsten Konfidenzwert aufweist. Für die Zwecke dieser Offenbarung ist ein „Konfidenzwert“ ein Maß einer Wahrscheinlichkeit, dass die Identifizierung korrekt ist. Die Identifizierung des Gesichts eines Insassen als maskiert oder unmaskiert kann für jeweilige Insassen in der Fahrgastzelle 104 durchgeführt werden. Alternativ oder zusätzlich dazu kann der Computer 100 Masken detektieren, die von mehreren Insassen getragen werden.
Als Nächstes identifiziert der Computer 100 in einem Block 315 die von den Insassen getragenen Maskentypen. Der Computer 100 kann ein neuronales Faltungsnetzwerk, wie vorstehend beschrieben, für jede detektierte Maske unter Verwendung der Bilddaten ausführen, und die Ausgabe ist der Maskentyp mit dem höchsten Konfidenzwert für jeden Insassen. Das neuronale Faltungsnetzwerk kann mit den Bilddaten der Maske oder alternativ mit Bilddaten eines Logos auf der Maske arbeiten. Die Maskentypen können z. B. durch Hersteller und Modell spezifiziert werden, z. B. 3M 1860, 3M 1870, Kimberly-Clark 49214, Scott Xcel usw. Einer der möglichen Maskentypen ist ein unbekannter Typ, d. h. eine Maske, die keine der im Speicher gespeicherten Masken ist. Alternativ dazu kann ein einzelnes neuronales Faltungsnetzwerk für die Blöcke 310 und 315 ausgeführt werden, und die Ausgabe für jeden Insassen ist einer der Maskentypen, der unbekannte Typ oder das unmaskierte Gesicht, je nachdem, was die höchste Konfidenzbewertung aufweist. Alternativ oder zusätzlich dazu kann der Computer 100 von mehreren getragene Maskentypen (oder ein unmaskiertes Gesicht) detektieren. Wenn der Maskentyp als der unbekannte Typ identifiziert wird, überträgt der Computer 100 ein Update über den Sender/Empfänger 118 an den entfernten Server 120. Das Update kann die Bilddaten beinhalten, welche die Maske unbekannten Typs zeigen.
Als Nächstes bestimmt der Computer 100 in einem Entscheidungsblock 320, ob der Insasse eine Maske trägt, das heißt, ob die Ausgabe des/der neuronalen Faltungsnetzwerk(e) eine Maske und/oder ein Maskentyp für den Insassen ist, und der Computer 100 bestimmt, ob der Konfidenzwert des Maskentyps über einem Konfidenzschwellenwert liegt. Der Konfidenzschwellenwert kann ausgewählt sein, um eine hohe Wahrscheinlichkeit anzugeben, dass der Maskentyp korrekt identifiziert wird. Nach Bestimmen, dass der Insasse eine Maske trägt und dass der Konfidenzwert für den Maskentyp unter dem Schwellenwertwert liegt (oder wenn der identifizierte Maskentyp der unbekannte Typ ist), geht der Prozess 300 zu einem Block 325 über. Nach Bestimmen, dass der Insasse eine Maske trägt und dass der Konfidenzwert für den Maskentyp über dem Schwellenwertwert liegt, geht der Prozess 300 zu einem Block 335 über. Nach Bestimmen, dass der Insasse keine Maske trägt, geht der Prozess 300 zu einem Block 355 über.
Im Block 325 fordert der Computer 100 die Insassen auf, eine Eingabe über die Benutzerschnittstelle 112 bereitzustellen, die einen Maskentyp spezifiziert, den der Insasse trägt. Zum Beispiel kann die Benutzerschnittstelle 112 eine Liste von Maskentypen präsentieren, aus denen der Insasse auswählen kann. Die Liste kann eine im Speicher gespeicherte Standardliste sein. Alternativ dazu kann die Liste die Maskentypen mit den höchsten Konfidenzwerten beinhalten, wie im Block 315 bestimmt, oder die Benutzerschnittstelle 112 kann einen einzelnen Maskentyp mit dem höchsten Konfidenzwert anzeigen und den Insassen dazu auffordern, zu bestätigen, dass der Maskentyp korrekt ist. Die Liste kann eine Option, z. B. „Sonstige“, beinhalten, um anzugeben, dass der Maskentyp nicht zu den durch den Computer 100 gespeicherten Maskentypen gehört. Das Auswählen dieser Option kann so behandelt werden, als hätte der Insasse ausgewählt, dass der Maskentyp der unbekannte Typ ist. Ist diese Option ausgewählt, kann der Computer 100 ein Update über den Sender/Empfänger 118 an den entfernten Server 120 übertragen, wenn der Computer 100 dies nicht bereits im Block 315 vorgenommen hat. Das Update kann die Bilddaten beinhalten, welche die Maske unbekannten Typs zeigen.
Als Nächstes bestimmt der Computer 100 in einem Entscheidungsblock 330, ob der Insasse als Reaktion auf die Aufforderung im Block 325 einen Maskentyp eingegeben hat. Der Insasse stellt die Eingabe bereit, indem er den Maskentyp aus der Liste auswählt, und der Insasse kann die Eingabe nicht bereitstellen, indem er eine Option auswählt, die ablehnt, einen Maskentyp bereitzustellen, z. B. eine Option mit der Bezeichnung „Maske automatisch auswählen“, oder durch Nichtauswählen eines Maskentyps innerhalb eines Zeitschwellenwerts. Der Zeitschwellenwert kann gewählt sein, um dem Insassen ausreichend Zeit zum Reagieren auf die Aufforderung bereitzustellen. Wenn der Insasse keinen Maskentyp ausgewählt hat, geht der Prozess 300 zu einem Block 335 über. Wenn der Insasse einen Maskentyp ausgewählt hat, geht der Prozess 300 zu einem Block 340 über.
Im Block 335 wählt der Computer 100 einen Schallfilter gemäß dem im Block 315 identifizierten Maskentyp aus der Vielzahl der im Speicher gespeicherten Schallfilter aus. Das Auswählen aus der Vielzahl von Schallfiltern kann einen Schallfilter bereitstellen, der die Schalldaten am genauesten auf das Grundpegel einstellt.
Alternativ dazu kann der Computer 100, wenn der Computer 100 mehrere Maskentypen identifiziert hat, mehrere Schallfilter auswählen, die jeweils einem der identifizierten Maskentypen zugeordnet sind. Der Computer 100 kann die Schallfilter miteinander kombinieren, z. B. durch einfache Mittelwertbildung oder durch Gewichtung. Die Schallfilter können auf Grundlage von Positionen der die Masken tragenden Insassen relativ zu einem der Mikrofone 110, die Schalldaten erzeugen, gewichtet werden, z.B. auf Grundlage von Lautstärken der Schalldaten von den jeweiligen Mikrofonen 110. Wenn das erste Mikrofon 110a Schalldaten mit einer größeren Lautstärke als das zweite Mikrofon 110b erzeugt, werden die Schallfilter gemäß relativen Abständen der Masken jedes Typs von dem ausgewählten Mikrofon 110a gewichtet. Wenn zum Beispiel eine Maske eines Typs 1 sich in einem Abstand d₁ vom ausgewählten Mikrofon 110a befindet und eine Maske eines Typs 2 sich in einem Abstand d₂ von dem ausgewählten Mikrofon 110a befindet, dann können die Gewichtungen w₁ = d₁/(d₁₊d₂) und w₂ = d₂/(d₁+d₂) sein und der kombinierte Schallfilter kann F_kombiniert(ƒ) = w₁*F₁(ƒ) + w₂*F₂(ƒ) sein. Nach Block 335 geht der Prozess 300 zu einem Block 345 über.
Im Block 340 identifiziert der Computer 100 den Maskentyp auf Grundlage der Eingabe durch den Insassen und wählt den Schallfilter aus dem Speicher aus, der dem identifizierten Maskentyp zugeordnet ist. Anders ausgedrückt überschreibt der Computer 100 die Identifizierung auf Grundlage der Bilddaten oder Schalldaten mit der Identifizierung auf Grundlage der Eingabe bei Empfangen der Eingabe, indem der Block 340 anstelle des Blocks 335 ausgeführt wird. Nach Block 340 geht das Verfahren 300 zu einem Block 345 über.
Im Block 345 empfängt der Computer 100 Schalldaten von den Mikrofonen 110. Die Schalldaten können Sprache durch die Insassen beinhalten.
Als Nächstes wendet der Computer 100 in einem Block 350 den ausgewählten Schallfilter oder die Kombination der ausgewählten Schallfilter auf die Schalldaten an. Der Schallfilter stellt eine Lautstärke der Schalldaten um ein Maß ein, das je nach Frequenz variiert. Zum Beispiel stellt der Schallfilter für jede Frequenz ƒ der Schalldaten den Schalldruck, d. h. die Lautstärke, um den Wert des Schallfilters für diese Frequenz ein, z. B. SP_filt(ƒ) = F(ƒ) + SP_unfilt(ƒ). Zum Beispiel kann der Schallfilter die Lautstärke nur geringfügig anpassen, wenn die Frequenz 500 Hz oder weniger beträgt, und die Lautstärke bei 1000 Hz und höher um ein Maß erhöhen, das vom Maskentyp abhängt. Nach Block 350 geht der Prozess 300 zu einem Block 360 über.
Im Block 355, d. h. nachdem keine Masken detektiert wurden, empfängt der Computer 100 Schalldaten von den Mikrofonen 110. Die Schalldaten können Sprache durch die Insassen beinhalten. Nach Block 355 geht der Prozess 300 zum Block 360 über.
Im Block 360 führt der Computer 100 einen Vorgang unter Verwendung der Schalldaten durch, entweder der gefilterten Schalldaten aus dem Block 350 oder der ungefilterten Schalldaten aus dem Block 355. Zum Beispiel kann der Vorgang das Identifizieren eines Sprachbefehls zum Aktivieren eines Merkmals sein, z. B. das Umwandeln der Schalldaten in Text, wie etwa „Pizza-Laden anrufen“, „Podcast abspielen“, „Temperatur senken“ usw. (oder in äquivalente Daten, die den Befehl identifizieren). Die Verwendung der gefilterten Schalldaten kann dem Computer 100 dabei helfen, den Sprachbefehl genau zu identifizieren. Als weiteres Beispiel kann der Vorgang das Übertragen der Schalldaten in einem Telefonanruf sein. Ein Mobiltelefon kann mit der Benutzerschnittstelle 112 gekoppelt sein und dazu verwendet werden, einen Telefonanruf zu tätigen. Das Verwenden der gefilterten Schalldaten kann es dem Empfänger des Anrufs leicht machen, zu verstehen, was der Insasse sagt. Als weiteres Beispiel kann der Vorgang das Ausgeben der gefilterten Schalldaten durch einen oder mehrere der Lautsprecher 114 sein. Schalldaten, die von dem ersten Mikrofon 110 stammen, können durch den Lautsprecher 114 an einer Rückseite der Fahrgastzelle 104 verwendet und ausgegeben werden; anders ausgedrückt bilden das erste Mikrofon 110 und der Lautsprecher 114 eine Telekommunikation. Das Verwenden der gefilterten Schalldaten kann es einem Insassen auf dem Rücksitz 106 leichter machen, zu verstehen, was der Insasse auf dem Vordersitz 106 sagt, als den Insassen direkt zu hören, wenn er durch die Maske gedämpft wird. Nach dem Block 360 endet der Prozess 300.
Computerausführbare Anweisungen können von Computerprogrammen zusammengestellt oder interpretiert werden, die unter Verwendung einer Vielfalt von Programmiersprachen und/oder -techniken erstellt wurden, darunter unter anderem, entweder allein oder in Kombination, Java™, C, C++, Visual Basic, Java Script, Perl, HTML usw. Im Allgemeinen empfängt ein Prozessor (z. B. ein Mikroprozessor) Anweisungen z. B. von einem Speicher, einem Computer(100)-lesbaren Medium usw. und führt diese Anweisungen aus, wodurch er einen oder mehrere Prozesse durchführt, darunter einen oder mehrere der hierin beschriebenen Prozesse. Derartige Anweisungen und andere Daten können unter Verwendung vielfältiger computerlesbarer Medien gespeichert und übertragen werden. Eine Datei in einer vernetzten Vorrichtung ist im Allgemeinen eine Sammlung von Daten, die auf einem computerlesbaren Medium, wie etwa einem Speichermedium, einem Direktzugriffsspeicher usw. gespeichert sind. Ein computerlesbares Medium umfasst ein beliebiges Medium, das an der Bereitstellung von Daten (z. B. Anweisungen) beteiligt ist, die von einem Computer gelesen werden können. Ein derartiges Medium kann viele Formen annehmen, die nichtflüchtige Medien, flüchtige Medien usw. umfassen können, ohne darauf beschränkt zu sein. Nichtflüchtige Medien umfassen zum Beispiel optische oder magnetische Festplatten und andere Dauerspeicher. Flüchtige Medien beinhalten dynamischen Direktzugriffsspeicher (dynamic random access memory - DRAM), der in der Regel einen Hauptspeicher darstellt. Gängige Formen computerlesbarer Medien umfassen zum Beispiel: eine Diskette, eine Folienspeicherplatte, eine Festplatte, ein Magnetband, ein beliebiges anderes magnetisches Medium, eine CD-ROM, eine DVD, ein beliebiges anderes optisches Medium, Lochkarten, Lochstreifen, ein beliebiges anderes physisches Medium mit Lochmustern, einen RAM, einen PROM, einen EPROM, einen FLASH-EEPROM, einen beliebigen anderen Speicherchip oder eine beliebige andere Speicherkassette oder ein beliebiges anderes Medium, das von einem Computer gelesen werden kann.
Die Offenbarung wurde auf veranschaulichende Weise beschrieben und es versteht sich, dass die verwendete Terminologie ihrem Wesen nach beschreibend und nicht einschränkend sein soll. Die Verwendung von „als Reaktion auf und „wenn bestimmt wird“ gibt eine kausale Beziehung an, nicht nur eine rein temporale Beziehung. Die Adjektive „erstes“ und „zweites“ werden in der gesamten Schrift als Identifikatoren verwendet und sollen keine Bedeutung, Reihenfolge oder Anzahl angeben. In Anbetracht der vorstehenden Lehren sind viele Modifikationen und Variationen der vorliegenden Offenbarung möglich und kann die Offenbarung anders als konkret beschrieben umgesetzt werden.
Gemäß der vorliegenden Erfindung wird ein Computer bereitgestellt, der einen Prozessor und einen Speicher aufweist, der Anweisungen speichert, die durch den Prozessor ausführbar sind, um Sensordaten eines Insassen eines Fahrzeugs zu empfangen, einen von dem Insassen getragenen Maskentyp auf Grundlage der Sensordaten zu identifizieren, einen Schallfilter gemäß dem Maskentyp aus einer Vielzahl von in dem Speicher gespeicherten Schallfiltern auszuwählen, Schalldaten zu empfangen, den ausgewählten Schallfilters auf die Schalldaten anzuwenden und einen Vorgang unter Verwendung der gefilterten Schalldaten durchzuführen.
Gemäß einer Ausführungsform sind die Sensordaten Bilddaten, die den Insassen zeigen.
Gemäß einer Ausführungsform ist der Vorgang ein Identifizieren eines Sprachbefehls zum Aktivieren eines Merkmals.
Gemäß einer Ausführungsform ist der Vorgang ein Übertragen der gefilterten Schalldaten in einem Telefonanruf.
Gemäß einer Ausführungsform ist der Vorgang ein Ausgeben der gefilterten Schalldaten durch einen Lautsprecher des Fahrzeugs.
Gemäß einer Ausführungsform beinhalten die Anweisungen Anweisungen, um den Vorgang unter Verwendung der Schalldaten ungefiltert durchzuführen, wenn bestimmt wird, dass der Insasse keine Maske trägt.
Gemäß einer Ausführungsform beinhalten die Anweisungen Anweisungen zum Auswählen eines generischen Schallfilters aus der Vielzahl von Schallfiltern, wenn der Maskentyp als unbekannter Typ identifiziert wird.
Gemäß einer Ausführungsform beinhalten die Anweisungen Anweisungen, um ein Update an einen entfernten Server zu übertragen, wenn der Maskentyp als der unbekannte Typ identifiziert wird.
Gemäß einer Ausführungsform beinhaltet das Update Bilddaten der Maske.
Gemäß einer Ausführungsform beinhalten die Anweisungen Anweisungen, um den durch den Insassen getragenen Maskentyp auf Grundlage einer Eingabe durch den Insassen zu identifizieren.
Gemäß einer Ausführungsform beinhalten die Anweisungen Anweisungen zum Überschreiben der Identifizierung auf Grundlage der Sensordaten mit der Identifizierung auf Grundlage der Eingabe bei Empfangen der Eingabe.
Gemäß einer Ausführungsform beinhalten die Anweisungen Anweisungen, um den Insassen aufzufordern, die Eingabe bereitzustellen, wenn bestimmt wird, dass der Insasse eine Maske trägt.
Gemäß einer Ausführungsform beinhalten die Anweisungen Anweisungen, um den Insassen aufzufordern, die Eingabe bereitzustellen, wenn bestimmt wird, dass einer der Insassen einen Maskentyp trägt, der mit einem unter einem Konfidenzschwellenwert liegenden Konfidenzwert identifiziert wurde, oder der Maskentyp ein unbekannter Typ ist.
Gemäß einer Ausführungsform ist beinhalten die Anweisungen Anweisungen zum Übertragen eines Updates an einen entfernten Server als Reaktion darauf, dass die Eingabe angibt, dass der Maskentyp nicht zu den im Speicher gespeicherten Maskentypen gehört.
Gemäß einer Ausführungsform beinhalten die Anweisungen Anweisungen, um den Insassen, für den der Maskentyp zu identifizieren ist, aus einer Vielzahl von Insassen auf Grundlage von Schalldatenlautstärken von jeweiligen Mikrofonen auszuwählen.
Gemäß einer Ausführungsform beinhalten die Anweisungen Anweisungen, um den Insassen, für den der Maskentyp zu identifizieren ist, aus einer Vielzahl von Insassen auf Grundlage dessen auszuwählen, dass sich der Insasse sich in einem vorbestimmten Bereich der Bilddaten befindet.
Gemäß einer Ausführungsform stellt jeder Schallfilter eine Lautstärke der Schalldaten um ein Maß ein, das je nach Frequenz variiert.
Gemäß einer Ausführungsform erhöht jeder Schallfilter die Lautstärke der Schalldaten bei mindestens einer Frequenz.
Gemäß einer Ausführungsform beinhalten die Anweisungen Anweisungen, um ein Update von einem entfernten Server zu empfangen, der die Vielzahl von in dem Speicher gespeicherten Schallfiltern ändert.
Gemäß einer Ausführungsform beinhaltet ein Verfahren Folgendes: Empfangen von Sensordaten eines Insassen eines Fahrzeugs; Identifizieren eines von dem Insassen getragenen Maskentyp auf Grundlage der Sensordaten; Auswählen eines Schallfilters gemäß dem Maskentyp aus einer Vielzahl von in dem Speicher gespeicherten Schallfiltern; Empfangen von Schalldaten; Anwenden der ausgewählten Schallfilter auf die Schalldaten; und Durchführen eines Vorgangs unter Verwendung der gefilterten Schalldaten.

Claims

Verfahren, umfassend: Empfangen von Sensordaten eines Insassen eines Fahrzeugs; Identifizieren eines durch den Insassen getragenen Maskentyps auf Grundlage der Sensordaten; Auswählen eines Schallfilters gemäß dem Maskentyp aus einer Vielzahl von im Speicher gespeicherten Schallfiltern; Empfangen von Schalldaten; Anwenden des ausgewählten Schallfilters auf die Schalldaten; und Durchführen eines Vorgangs unter Verwendung der gefilterten Schalldaten.
Verfahren nach Anspruch 1, wobei die Sensordaten Bilddaten sind, die den Insassen zeigen.
Verfahren nach Anspruch 1, wobei der Vorgang ein Identifizieren eines Sprachbefehls zum Aktivieren eines Merkmals ist.
Verfahren nach Anspruch 1, wobei der Vorgang ein Übertragen der gefilterten Schalldaten in einem Telefonanruf ist.
Verfahren nach Anspruch 1, wobei der Vorgang ein Ausgeben der gefilterten Schalldaten durch einen Lautsprecher des Fahrzeugs ist.
Verfahren nach Anspruch 1, ferner umfassend Durchführen des Vorgangs, wobei die Schalldaten ungefiltert verwenden werden, wenn bestimmt wird, dass der Insasse keine Maske trägt.
Verfahren nach Anspruch 1, ferner umfassend Auswählen eines generischen Schallfilters aus der Vielzahl von Schallfiltern, wenn der Maskentyp als unbekannter Typ identifiziert wird.
Verfahren nach Anspruch 1, ferner umfassend Identifizieren des durch den Insassen getragenen Maskentyps auf Grundlage einer Eingabe durch den Insassen.
Verfahren nach Anspruch 8, ferner umfassend Überschreiben der Identifizierung auf Grundlage der Sensordaten mit der Identifizierung auf Grundlage der Eingabe bei Empfangen der Eingabe.
Verfahren nach Anspruch 9, ferner umfassend Auffordern des Insassen, die Eingabe bereitzustellen, wenn bestimmt wird, dass der Insasse eine Maske trägt.
Verfahren nach Anspruch 9, ferner umfassend Auffordern des Insassen, die Eingabe bereitzustellen, wenn bestimmt wird, dass einer der Insassen einen Maskentyp trägt, der mit einem unter einem Konfidenzschwellenwert liegenden Konfidenzwert identifiziert wurde, oder der Maskentyp ein unbekannter Typ ist.
Verfahren nach Anspruch 1, ferner umfassend Auswählen des Insassen, für den der Maskentyp zu identifizieren ist, aus einer Vielzahl von Insassen auf Grundlage von Schalldatenlautstärken von jeweiligen Mikrofonen.
Verfahren nach Anspruch 1, ferner umfassend Auswählen des Insassen, für den der Maskentyp zu identifizieren ist, aus einer Vielzahl von Insassen auf Grundlage dessen, dass sich der Insasse sich in einem vorbestimmten Bereich der Bilddaten befindet.
Verfahren nach Anspruch 1, wobei jeder Schallfilter eine Lautstärke der Schalldaten um ein Maß einstellt, das je nach Frequenz variiert.
Computer, der einen Prozessor und einen Speicher umfasst, auf dem Anweisungen gespeichert sind, die durch den Prozessor ausgeführt werden können, um das Verfahren nach einem der Ansprüche 1-14 durchzuführen.