DE102020208206A1

DE102020208206A1 - Inertialsensoreinheit und Verfahren zum Detektieren einer Sprachaktivität

Info

Publication number: DE102020208206A1
Application number: DE102020208206.5A
Authority: DE
Inventors: Sergej Scheiermann; Rainer Dorsch; Omar Elrhoul
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2020-07-01
Filing date: 2020-07-01
Publication date: 2022-01-05
Also published as: CN113884176A; US20220005495A1

Abstract

Die Erfindung betrifft eine Inertialsensoreinheit, mindestens umfassend ein Sensorelement zum Erfassen und Umwandeln von Bewegungen und Vibrationen in ein elektrisches Sensorsignal, Signalverarbeitungsmittel zur Auswertung des Sensorsignals, insbesondere mit dem Ziel der Detektion von Vibrationen, die durch eine Sprachaktivität hervorgerufen werden, und eine Schnittstelle zum Signalisieren einer detektierten Sprachaktivität, wobei die Signalverarbeitungsmittel eine erste Verarbeitungsstufe und eine zweite Verarbeitungsstufe für das Sensorsignal umfassen, wobei die erste Verarbeitungsstufe dafür ausgelegt ist, ein erstes Kriterium für das Vorliegen einer Sprachaktivität zu prüfen und die zweite Verarbeitungsstufe dafür ausgelegt ist, mindestens ein weiteres, zweites Kriterium für das Vorliegen einer Sprachaktivität zu prüfen, wobei die zweite Verarbeitungsstufe nur durchlaufen wird, wenn das Sensorsignal die erste Verarbeitungsstufe durchlaufen hat und das erste Kriterium für das Vorliegen einer Sprachaktivität erfüllt ist, und wobei die Signalverarbeitungsmittel dafür ausgelegt sind, die Schnittstelle nur dann zum Signalisieren einer Sprachaktivität anzusteuern, wenn das Sensorsignal die zweite Verarbeitungsstufe durchlaufen hat und das mindestens eine weitere, zweite Kriterium für das Vorliegen einer Sprachaktivität erfüllt ist.

Description

Die Erfindung betrifft eine Inertialsensoreinheit und ein Verfahren zum Detektieren einer Sprachaktivität mit Hilfe einer Inertialsensoreinheit. Insbesondere betrifft die Erfindung eine Inertialsensoreinheit für ein am Kopf tragbares Gerät.
Stand der Technik
Beschleunigungssensoren (Akzelerometer) können bei der Sprachaktivitätserkennung zum Einsatz kommen, um die Qualität der Spracherkennung zu verbessern. Die Signale der Beschleunigungssensoren können etwa verwendet werden, um das Signal-zu-Rauschverhältnis zu verbessern oder um eine automatische Verstärkungsregelung durchzuführen.
Aus der US 2017/263267 A1 sind ein System und ein Verfahren zur Durchführung einer automatischen Verstärkungsregelung unter Verwendung eines Beschleunigungssensors in einem Kopfhörer bekannt. Hierbei wird ein Sprachsignal durch die Auswertung der Beschleunigungssignale des Beschleunigungssensors detektiert. In einem ersten Schritt erfolgt dabei eine Signalvorverarbeitung mittels Hochpass- und Tiefpassfilter. In einem zweiten Schritt erfolgt die Auswertung des Beschleunigungssignals durch einen Schwellenvergleich der absoluten Amplitude bzw. extrahierten Hüllkurve. Die Spracherkennung kann durch Schwellenvergleich der Korrelation der Beschleunigungssignale bezüglich zweier Achsen über ein kurzes Zeitfenster erfolgen.
Die US 2013/196715 A1 betrifft eine angepasste Rauschunterdrückung für eine Sprachaktivitätserkennung.
Aus der US 10397687 B2 ist eine Signalverarbeitungsvorrichtung zur Ohrhörer-Spracherkennung bekannt. Hierbei werden Sprachcharakteristika auf Basis von Signalen von Beschleunigungssensoren ermittelt. Ein Mikrofonsignal wird anhand der ermittelten Sprachcharakteristika angesteuert, etwa durch Verwenden von Kalmanfiltern, durch Signal-zu-Rausch-Verhältnis-Schätzung und dergleichen.
Die US 2014/093091 A1 bezieht sich auf ein System zur Erkennung der Sprachaktivität eines Benutzers unter Verwendung eines Beschleunigungssensors. Sowohl die Signale von Beschleunigungssensoren als auch die Signale von Mikrofonen werden bei der Sprachaktivitätserkennung berücksichtigt.
US 2017/365249 A1 betrifft ein System zur Durchführung automatischer Spracherkennung unter Verwendung von Endpunktmarkierungen, die mit Hilfe eines auf einem Beschleunigungssensor basierenden Sprachaktivitätsdetektors erzeugt werden. Die Sprachaktivitätserkennung erfolgt anhand von Signalen von Beschleunigungssensoren sowie von Signalen von Mikrofonen.
Bei batterie- bzw. akkubetriebenen Geräten, etwa Ohrhörern, erfordern mikrofonbasierte Systeme, welche zur Schlüsselworterkennung oder Spracherkennung dauerhaft Audiodaten erfassen, einen hohen Energieaufwand, welcher zur Datenerfassung und Sprachverarbeitung benötigt wird. Die Spracherkennungsalgorithmen laufen hierbei normalerweise auf externen digitalen Signalprozessoren (englisch: digital signal processor, DSP), welche Signale von Mikrofonen und Beschleunigungssensoren kombinieren.
Weiter kommt hinzu, dass auf Mikrofonen basierende Sprachaktivitätserkennung aufgrund der bestehenden Störgeräusche insbesondere in lauten Umgebungen anfällig für fehlerhafte Spracherkennung ist.
Offenbarung der Erfindung
Die Erfindung betrifft eine Inertialsensoreinheit und ein Verfahren zum Detektieren einer Sprachaktivität mit Hilfe einer Inertialsensoreinheit mit den Merkmalen der unabhängigen Patentansprüche.
Bevorzugte Ausführungsformen sind Gegenstand der jeweiligen Unteransprüche.
Gemäß einem ersten Aspekt betrifft die Erfindung demnach eine Inertialsensoreinheit. Die Inertialsensoreinheit umfasst ein Sensorelement zum Erfassen und Umwandeln von Bewegungen und Vibrationen in ein elektrisches Sensorsignal. Die Inertialsensoreinheit umfasst weiter Signalverarbeitungsmittel zur Auswertung des Sensorsignals, insbesondere mit dem Ziel der Detektion von Vibrationen, die durch eine Sprachaktivität hervorgerufen werden. Weiter umfasst die Inertialsensoreinheit eine Schnittstelle zum Signalisieren einer detektierten Sprachaktivität. Die Signalverarbeitungsmittel umfassen eine erste Verarbeitungsstufe und eine zweite Verarbeitungsstufe für das Sensorsignal, wobei die erste Verarbeitungsstufe dafür ausgelegt ist, ein erstes Kriterium für das Vorliegen einer Sprachaktivität zu prüfen, und die zweite Verarbeitungsstufe dafür ausgelegt ist, mindestens ein weiteres, zweites Kriterium für das Vorliegen einer Sprachaktivität zu prüfen. Die zweite Verarbeitungsstufe wird nur durchlaufen, wenn das Sensorsignal die erste Verarbeitungsstufe durchlaufen hat und das erste Kriterium für das Vorliegen einer Sprachaktivität erfüllt ist. Die Signalverarbeitungsmittel sind dafür ausgelegt, die Schnittstelle nur dann zum Signalisieren einer Sprachaktivität anzusteuern, wenn das Sensorsignal die zweite Verarbeitungsstufe durchlaufen hat und das mindestens eine weitere, zweite Kriterium für das Vorliegen einer Sprachaktivität erfüllt ist.
Gemäß einem zweiten Aspekt betrifft die Erfindung demnach ein Verfahren zum Detektieren einer Sprachaktivität mit Hilfe einer Inertialsensoreinheit, die mindestens ein Sensorelement, Signalverarbeitungsmittel und eine Schnittstelle zum Signalisieren einer detektierten Sprachaktivität umfasst. Bewegungen und Vibrationen werden von dem mindestens einen Sensorelement erfasst und in mindestens ein elektrisches Sensorsignal umgewandelt. Das Sensorsignal wird mit Hilfe der Signalverarbeitungsmittel ausgewertet. Ein erstes Kriterium für das Vorliegen einer Sprachaktivität wird geprüft. Nur dann, wenn das erste Kriterium für das Vorliegen einer Sprachaktivität erfüllt ist, wird mindestens ein weiteres, zweites Kriterium für das Vorliegen einer Sprachaktivität geprüft. Die Schnittstelle wird nur dann zum Signalisieren einer Sprachaktivität angesteuert, wenn das mindestens eine weitere, zweite Kriterium für das Vorliegen einer Sprachaktivität erfüllt ist.
Vorteile der Erfindung
Die Erfindung stellt eine besonders stromsparende Inertialsensoreinheit bereit. Die Auswertung der von dem Sensorelement generierten Sensorsignale erfolgt zweistufig. Im ersten Schritt erfolgt durch die erste Verarbeitungsstufe eine Auswertung basierend auf den aktuellen Messdaten. Hierbei handelt es sich um eine einfache Auswertung, etwa durch den Schwellenvergleich des aktuellen Messpunktes. Erst falls das erste Kriterium für das Vorliegen einer Sprachaktivität erfüllt ist, wird in einem zweiten Schritt durch die zweite Verarbeitungsstufe eine komplexere Auswertungsmethode angewandt. Hierbei können etwa gespeicherte Werte aus einem Buffer berücksichtigt werden.
Erfindungsgemäß werden demnach mindestens zwei Auswertungsmethoden zeitvariabel verwendet. Die erste Auswertungsmethode kann auf dem aktuellen Datenpunkt basieren, die zweite auf mehreren Datenpunkten im Buffer. Die Speicherung und die Auswertung der Daten im Buffer erfolgt erst nach Erfüllung des ersten Kriteriums der ersten Auswertungsmethode.
Gemäß einer weiteren Ausführungsform der Inertialsensoreinheit sind mindestens zwei Sensorelemente für das Erfassen von Bewegungen und Vibrationen in unterschiedlichen Raumrichtungen vorgesehen. Insbesondere kann die Inertialsensoreinheit Sensorelemente umfassen, welche Beschleunigungen bzw. Drehungen entlang bzw. um verschiedene Achsen erfassen.
Gemäß einer weiteren Ausführungsform der Inertialsensoreinheit sind mindestens ein Beschleunigungssensorelement (Akzelerometer) und/oder mindestens ein Drehratensensorelement vorgesehen. Die Inertialsensoreinheit kann 2-Achsen- oder 3-Achsen-Akzelerometer und/oder Drehratensensoren umfassen.
Gemäß einer weiteren Ausführungsform der Inertialsensoreinheit umfassen die Signalverarbeitungsmittel ferner mindestens einen Signalfilter zur Vorverarbeitung des Sensorsignals, insbesondere einen Hochpassfilter und/oder einen Bandpassfilter, und mindestens einen Analog/Digital-Wandler für das Sensorsignal. Der Signalfilter kann variable Filterparameter aufweisen. Der Analog/Digital-Wandler kann eine variable Abtastrate aufweisen. Der Signalfilter kann ausgebildet sein, Beschleunigungssignale zu unterdrücken bzw. zu filtern, welche nicht durch die Sprachaktivität sondern durch die Bewegung des Benutzers entstehen.
Gemäß einer weiteren Ausführungsform der Inertialsensoreinheit sind unterschiedliche Betriebsmodi realisierbar, indem einzelne Komponenten der Inertialsensoreinheit wahlweise aktivierbar bzw. abschaltbar sind und/oder in unterschiedlichen Betriebsmodi betreibbar sind. Beispielsweise können Sensorkomponenten achsenweise aktivierbar bzw. abschaltbar sein oder die zweite Verarbeitungsstufe kann aktivierbar bzw. abschaltbar sein. Zusätzlich oder alternativ kann beispielsweise der Analog/Digital-Wandler in unterschiedlichen Betriebsmodi betreibbar sein. Im ersten Betriebsmodus wird die Inertialsensoreinheit somit besonders stromsparend betrieben. Gemäß einer Ausführungsform der Inertialsensoreinheit kann dies durch eine niedrige Datenrate, eine niedrige Überabtastungsrate (englisch: Over-Sampling-Rate, OSR) oder durch die Messung nur unter Verwendung einer einzelnen Achse erreicht werden. Sobald das erste Kriterium erfüllt ist, kann die Inertialsensoreinheit automatisch in den zweiten Betriebsmodus übergehen. Erst dann speichert die Inertialsensoreinheit Messdaten in einen Buffer und sobald eine vordefinierte Anzahl der Messdatenpunkte gespeichert ist, erfolgt eine komplexere Auswertung des Buffer-Inhaltes. Ist das zweite Kriterium erfüllt, wird ein Signal über die Sprachdetektion erzeugt.
Eine stromsparende Implementierung wird dadurch gewährleistet, dass die Inertialsensoreinheit automatisch zwischen zwei Betriebsmodi umschaltet und somit eine variable, stromsparende Auswertung ermöglicht, die wenige Rechenoperationen erfordert aber auch durch die Abschaltung einzelnen Achsen oder durch die Konfiguration der Over-Sampling-Rate erreicht werden kann.
Gemäß einer weiteren Ausführungsform der Inertialsensoreinheit wird in einem ersten Betriebsmodus die erste Verarbeitungsstufe der Signalverarbeitungsmittel im ersten Betriebsmodus betrieben und die zweite Verarbeitungsstufe abgeschaltet. In einem zweiten Betriebsmodus wird die erste Verarbeitungsstufe der Signalverarbeitungsmittel im zweiten Betriebsmodus betrieben und die zweite Verarbeitungsstufe ist aktiviert. Die Signalverarbeitungsmittel sind dafür ausgelegt, automatisch, in Abhängigkeit davon, ob das erste und/oder das zweite Kriterium für das Vorliegen einer Sprachaktivität erfüllt sind, zwischen dem ersten Betriebsmodus und dem zweiten Betriebsmodus umzuschalten.
Gemäß einer weiteren Ausführungsform der Inertialsensoreinheit ist der Stromverbrach im ersten Betriebsmodus geringer als im zweiten Betriebsmodus. Im ersten Betriebsmodus kann mindestens ein Parameter wie folgt konfiguriert bzw. optimiert werden:

• Die Datenrate wird im Vergleich zum zweiten Betriebsmodus niedrig gewählt, etwa 2 kHz.
• Im Vergleich zum zweiten Betriebsmodus werden ein höheres Rauschniveau und eine kleinere Überabtastungsrate eingestellt.
• Nur eine aktive Achse des Sensorelements wird zur Auswertung herangezogen. Hierzu kann im Analog-Digital-Wandler nur ein Kanal aktiviert sein oder es kann nur ein Analog-Digital-Wandler aktiviert sein.

Im zweiten Betriebsmodus kann mindestens ein Parameter wie folgt konfiguriert bzw. optimiert werden:

• Die Datenrate wird im Vergleich zum ersten Betriebsmodus höher gewählt, etwa 4kHz oder 8kHz.
• Die Daten werden in einem aktivierten First-in-first-out-Speicher (FIFO) gespeichert.
• Mehrere Achsen des Sensorelements sind aktiviert. Beispielweise können zwei Achsen aktiviert sein, etwa X und Z, oder es können drei Achsen aktiviert sein, d. h. X, Y und Z.
• Im Vergleich zum ersten Betriebsmodus werden ein niedrigeres Rauschniveau und eine höhere Überabtastungsrate eingestellt. Die Konvertierungsrate kann im Vergleich zum ersten Betriebsmodus erhöht sein.

Gemäß einer weiteren Ausführungsform der Inertialsensoreinheit umfasst die erste Verarbeitungsstufe zumindest einen Vergleicher, der die aktuelle Signalamplitude des Sensorsignals mit mindestens einem Schwellwert vergleicht, um zu bestimmen, ob das erste Kriterium für das Vorliegen einer Sprachaktivität erfüllt ist. Dadurch kann die Sprachaktivität von anderen Bewegungen des Benutzers unterschieden werden.
Gemäß einer weiteren Ausführungsform der Inertialsensoreinheit umfasst die zweite Verarbeitungsstufe der Signalverarbeitungsmittel einen Buffer zum Zwischenspeichern einer definierten Anzahl von aufeinanderfolgenden Abtastwerten des Sensorsignals und Signalanalysemittel zum Ermitteln mindestens einer Signaleigenschaft auf Basis der zwischengespeicherten Abtastwerte und zum Vergleichen dieser mindestens einen Signaleigenschaft mit dem mindestens einen weiteren, zweiten Kriterium für das Vorliegen einer Sprachaktivität. Dadurch kann stromsparend erkannt werden, ob tatsächlich eine Sprachaktivität vorliegt.
Gemäß einer weiteren Ausführungsform der Inertialsensoreinheit sind die Signalanalysemittel dafür ausgelegt, mindestens eine ermittelte Signaleigenschaft mit mindestens einem weiteren, dritten Kriterium zu vergleichen, um mindestens eine weitere Ursache für das Sensorsignal zu erkennen. Dadurch können weitere Ursachen, etwa Erschütterungen, Antippen des Gerätes durch Anwender oder Kratzbewegungen ausgeschlossen werden.
Gemäß einer weiteren Ausführungsform der Inertialsensoreinheit kann die Sprachaktivität einem externen System signalisiert werden. Dies kann etwa mittels eines Interruptverfahrens erfolgen. Beispielweise kann ein digitaler Signalprozessor (DSP) aufgeweckt werden. Die Inertialsensoreinheit kann dadurch das Gesamtsystem aufwecken, um den erforderlichen Datenverkehr zwischen DSP und einem Host-CPU zu verringern, indem sich etwa das DSP standardmäßig in einem Sleep-Modus befindet. Indem das Detektieren der Sprachaktivität in die Inertialsensoreinheit integriert wird, kann der Stromverbrauch reduziert werden. Weiter muss das Gesamtsystem nur dann aufgeweckt werden, falls eine Sprachaktivität detektiert wird.
Gemäß einer weiteren Ausführungsform des Verfahrens zum Detektieren einer Sprachaktivität wird das Sensorsignal mit Hilfe der Signalverarbeitungsmittel vorverarbeitet und die Vorverarbeitung des Sensorsignals umfasst eine Signalfilterung, insbesondere eine Hochpassfilterung und/oder eine Bandpassfilterung, und eine Analog/Digital-Wandlung, bei der das analoge Sensorsignal abgetastet und digitalisiert wird, so dass das digitalisierte
Sensorsignal in Form einer Folge von Abtastwerten vorliegt.
Gemäß einer weiteren Ausführungsform des Verfahrens zum Detektieren einer Sprachaktivität wird das erste Kriterium für das Vorliegen einer Sprachaktivität geprüft, indem die aktuelle Signalamplitude bzw. der aktuelle Abtastwert des Sensorsignals mit mindestens einem Schwellwert verglichen wird.
Gemäß einer weiteren Ausführungsform des Verfahrens zum Detektieren einer Sprachaktivität wird als erstes Kriterium für das Vorliegen einer Sprachaktivität geprüft, ob die aktuelle Signalamplitude bzw. der aktuelle Abtastwert des Sensorsignals für eine vorgegebene Dauer größer als ein erster Schwellwert und/oder kleiner als ein zweiter Schwellwert sind.
Gemäß einer weiteren Ausführungsform des Verfahrens zum Detektieren einer Sprachaktivität werden, wenn das erste Kriterium für das Vorliegen einer Sprachaktivität erfüllt ist, eine vorgegebene Anzahl N von aufeinanderfolgenden Abtastwerten des Sensorsignals in einem Buffer der Signalverarbeitungsmittel zwischengespeichert, mindestens eine Signaleigenschaft auf Basis der zwischengespeicherten Abtastwerte ermittelt und die mindestens eine Signaleigenschaft mit dem mindestens einen weiteren, zweiten Kriterium für das Vorliegen einer Sprachaktivität verglichen.
Gemäß einer weiteren Ausführungsform des Verfahrens zum Detektieren einer Sprachaktivität wird, wenn das erste Kriterium für das Vorliegen einer Sprachaktivität erfüllt ist, mindestens eine ermittelte Signaleigenschaft mit mindestens einem weiteren, dritten Kriterium verglichen, um mindestens eine weitere Ursache für das Sensorsignal zu erkennen.
Gemäß einer weiteren Ausführungsform des Verfahrens zum Detektieren einer Sprachaktivität wird die Inertialsensoreinheit in einem ersten Betriebsmodus betrieben, solange nur das erste Kriterium für das Vorliegen einer Sprachaktivität geprüft wird, wobei die Inertialsensoreinheit in einem zweiten Betriebsmodus betrieben wird, wenn das mindestens eine weitere, zweite Kriterium für das Vorliegen einer Sprachaktivität geprüft wird, und wobei automatisch, in Abhängigkeit davon, ob das erste und/ oder das mindestens eine weitere, zweite Kriterium für das Vorliegen einer Sprachaktivität erfüllt ist, zwischen dem ersten
Betriebsmodus und dem zweiten Betriebsmodus umgeschaltet wird.
Gemäß einer weiteren Ausführungsform des Verfahrens zum Detektieren einer Sprachaktivität werden die unterschiedlichen Betriebsmodi der Inertialsensoreinheit realisiert, indem einzelne Komponenten der Inertialsensoreinheit wahlweise aktiviert bzw. abgeschaltet werden und/oder in unterschiedlichen Betriebsmodi betreiben werden.
Figurenliste
Es zeigen:

1 ein schematisches Blockschaltbild einer Inertialsensoreinheit gemäß einer Ausführungsform der Erfindung;
2 eine schematische Darstellung zweier Betriebsmodi;
3 eine schematische Abbildung von Beschleunigungssignalen, welche von einer Inertialsensoreinheit gemäß einer Ausführungsform der Erfindung erfasst werden;
4 ein Flussdiagramm eines Verfahrens zum Detektieren einer Sprachaktivität mithilfe einer Inertialsensoreinheit gemäß einer Ausführungsform der Erfindung;
5 ein Flussdiagramm eines Verfahrens zum Detektieren einer Sprachaktivität mithilfe einer Inertialsensoreinheit gemäß einer weiteren Ausführungsform der Erfindung; und
6 ein Flussdiagramm eines Verfahrens zum Detektieren einer Sprachaktivität mithilfe einer Inertialsensoreinheit gemäß einer weiteren Ausführungsform der Erfindung.

Beschreibung der Ausführungsbeispiele
1 zeigt ein schematisches Blockschaltbild einer Inertialsensoreinheit 1, welche beispielsweise in einem tragbaren Gerät, insbesondere einem Ohrhörer, Kopfhörer, Helm oder einer Smartbrille zum Einsatz kommen kann.
Die Inertialsensoreinheit 1 umfasst eine Vorrichtung 5 zur Energieverwaltung, einen Taktgeber 6 und eine Steuerungslogik 7. Weiter umfasst die Inertialsensoreinheit 1 eine Schnittstelle 4 zum Signalisieren einer detektierten Sprachaktivität. Die Inertialsensoreinheit 1 umfasst weiter mindestens ein Sensorelement 2 zum Erfassen und Umwandeln von Bewegungen und Vibrationen in ein elektrisches Sensorsignal. Beispielweise können Beschleunigungssensorelemente 2 zur Messung von Beschleunigungen entlang zueinander senkrechter Achsen X, Y und Z vorgesehen sein. Weiter können auch Drehratensensorelemente zum Messen von Drehungen um zueinander senkrechte Achsen X', Y', und Z' vorgesehen sein, wobei die Achsen zur Messung der Beschleunigungen und zur Messung der Drehungen identisch sein können. Es können somit Bewegungen und Vibrationen vorzugsweise in unterschiedlichen Raumrichtungen erfasst werden.
Die Inertialsensoreinheit 1 umfasst weiter Signalverarbeitungsmittel 3 zur Auswertung des Sensorsignals, insbesondere um Vibrationen zu detektieren, die durch eine Sprachaktivität hervorgerufen werden. Die Signalverarbeitungsmittel 3 umfassen einen Analog/Digital-Wandler 34, welcher die Sensorsignale des mindestens einen Sensorelement 2 digitalisiert. Der Analog/Digital-Wandler 34 kann eine variable Abtastrate aufweisen. Die von dem Analog-Digital-Wandler 34 ausgegebenen Signale werden durch einen Signalfilter 33 vorverarbeitet. Der Signalfilter 33 kann variable Filterparameter aufweisen. Der Signalfilter 33 kann einen Hochpassfilter und/oder einen Bandpassfilter umfassen.
Die Signalverarbeitungsmittel 3 umfassen eine erste Verarbeitungsstufe 31 und eine zweite Verarbeitungsstufe 32 für das Sensorsignal. Die erste Verarbeitungsstufe 31 prüft ein erstes Kriterium für das Vorliegen einer Sprachaktivität. Die zweite Verarbeitungsstufe 32 prüft ein weiteres, zweites Kriterium für das Vorliegen einer Sprachaktivität. Die zweite Verarbeitungsstufe 32 wird nur durchlaufen, wenn das Sensorsignal die erste Verarbeitungsstufe 31 durchlaufen hat und das erste Kriterium für das Vorliegen einer Sprachaktivität erfüllt ist. Die erste Verarbeitungsstufe 31 kann beispielsweise mittels eines Vergleichers feststellen, ob die aktuelle Signalamplitude des Sensorsignals einen Schwellenwert überschreitet. Ist dies der Fall, ist das erste Kriterium für das Vorliegen einer Sprachaktivität erfüllt.
Die Signalverarbeitungsmittel 3 sind dafür ausgelegt, die Schnittstelle 4 nur dann zum Signalisieren einer Sprachaktivität anzusteuern, wenn das Sensorsignal die zweite Verarbeitungsstufe 32 durchlaufen hat und das mindestens eine weitere, zweite Kriterium für das Vorliegen einer Sprachaktivität erfüllt ist.
Die zweite Verarbeitungsstufe 32 der Signalverarbeitungsmittel 3 umfasst einen Buffer 35 zum Zwischenspeichern einer definierten Anzahl von aufeinanderfolgenden Abtastwerten des Sensorsignals und Signalanalysemittel 36 zum Ermitteln mindestens einer Signaleigenschaft auf Basis der zwischengespeicherten Abtastwerte und zum Vergleichen dieser mindestens einen Signaleigenschaft mit dem mindestens einen weiteren, zweiten Kriterium für das Vorliegen einer Sprachaktivität. Die Signalanalysemittel 36 können weiter eine ermittelte Signaleigenschaft mit mindestens einem weiteren, dritten Kriterium vergleichen, um mindestens eine weitere Ursache für das Sensorsignal zu erkennen. Dadurch können weitere Ursachen, etwa Erschütterungen oder Kratzbewegungen ausgeschlossen werden. Die Signalanalysemittel 36 und die erste Verarbeitungsstufe 31 sind Teil einer Sprachaktivitätserfassungseinheit 37. Diese kann den Status der Sprachaktivität (detektiert/nicht detektiert) in Registern 8 speichern oder über eine Interrupt-Logik 9 ausgeben.
2 zeigt eine schematische Darstellung zweier Betriebsmodi M1, M2 in welchen die Inertialsensoreinheit 1 betrieben werden kann. Hierbei können einzelne Komponenten der Inertialsensoreinheit 1 aktiviert, abgeschaltet oder in unterschiedlichen Betriebsmodi betrieben werden. Beispielsweise können Sensorelemente 2 achsenweise aktivierbar bzw. abschaltbar sein oder die zweite Verarbeitungsstufe 32 kann aktivierbar bzw. abschaltbar sein. Zusätzlich oder alternativ kann beispielsweise der Analog/Digital-Wandler 34 in unterschiedlichen Betriebsmodi M1, M2 betreibbar sein.
In dem ersten Betriebsmodus M1 kann die erste Verarbeitungsstufe 31 der Signalverarbeitungsmittel im ersten Betriebsmodus M1 betrieben und die zweite Verarbeitungsstufe 32 abgeschaltet werden. In einem zweiten Betriebsmodus M2 wird die erste Verarbeitungsstufe 31 der Signalverarbeitungsmittel 3 im zweiten Betriebsmodus M2 betrieben und die zweite Verarbeitungsstufe 32 wird aktiviert. Die Signalverarbeitungsmittel 3 schalten automatisch, in Abhängigkeit davon, ob das erste und/oder das zweite Kriterium für das Vorliegen einer Sprachaktivität erfüllt sind, zwischen dem ersten Betriebsmodus M1 und dem zweiten Betriebsmodus M2.
Im ersten Betriebsmodus M1 kann beispielsweise die Messung mit niedrigen Datenraten erfolgen, eine niedrige Over-Sampling-Rate des Signals verwendet werden oder die Messung nur mittels einer einzelnen Achse (die restlichen AD-Wandler-Kanäle sind ausgeschaltet) erfolgen. Der zweite Betriebsmodus M2 ist ausgelegt, möglichst genau und schnell die Erfassung der Daten auszuführen. Der zweite Betriebsmodus M2 kann beispielsweise durch eine höhere Datenrate, höhere Over-Sampling-Rate und/oder durch Messung aller Achsen (zwei oder drei) implementiert werden.
3 zeigt eine schematische Abbildung von Beschleunigungssignalen, welche von der Inertialsensoreinheit 1 erfasst werden. Oben in 3 ist die von dem Sensorelement 2 gemessene Beschleunigung a in der Einheit Isb (englisch: least significant bit) für Zeiten t (in Sekunden s) in einem gewissen Zeitraum und für drei verschiedene Achsen x, y, z illustriert. In der Mitte in 3 sind die entsprechenden Daten nach Durchlaufen des Hochpass-Filters 33 illustriert. Ein Rahmen R zeigt den Bereich, in welchem Sprachsignale auftreten. Unten in 3 sind die mittlere Amplitude magx, magz für die x- und die z-Richtung illustriert, wobei ein erster Schwellenwert T1 und ein zweiter Schwellenwert T2 eingezeichnet sind. Ein Kriterium für das Vorliegen einer Sprachaktivität kann erfüllt sein, falls die mittleren Amplituden magx, magz zwischen dem ersten Schwellenwert T1 und dem zweiten Schwellenwert T2 liegen.
4 zeigt ein Flussdiagramm eines Verfahrens zum Detektieren einer Sprachaktivität mithilfe einer Inertialsensoreinheit, insbesondere mittels einer oben beschriebenen Inertialsensoreinheit 1. Umgekehrt auch kann auch die Inertialsensoreinheit 1 dazu ausgebildet sein, eines der im Folgenden beschriebenen Verfahren durchzuführen. Die Inertialsensoreinheit 1 umfasst ein Sensorelement 2, Signalverarbeitungsmittel 3 und eine Schnittstelle 4 zum Signalisieren einer detektierten Sprachaktivität.
In einem ersten Verfahrensschritt S11 werden Bewegungen und Vibrationen von dem Sensorelement 2 erfasst und in ein elektrisches Sensorsignal umgewandelt. In einem zweiten Verfahrensschritt S12 erfolgt eine Vorverarbeitung des Sensorsignals, etwa mittels eines Hochpass- und/oder Tiefpassfilters, um die Signalanteile, welche zu typischen Bewegungen des Anwenders korrespondieren, zu entfernen. Beispielweise kann ein Bandpassfilter eingesetzt werden, welcher einen Frequenzbereich zwischen 250 Hz und 2 kHz durchlässt.
In einem Verfahrensschritt S13 wird überprüft, ob ein erstes Kriterium erfüllt ist. Hierbei handelt es sich um eine Bedingung zur Überprüfung, ob es sich um ein Sprachsignal handeln kann. Insbesondere kann überprüft werden, ob ein Absolutwert des vorverarbeiteten Sensorsignals zwischen einem ersten Schwellenwert und einem zweiten Schwellenwert liegt. Ist dies nicht der Fall, wird das Verfahren abgebrochen oder wiederholt.
Andernfalls werden in einem Verfahrensschritt S14 Daten in einem Buffer 35 zwischengespeichert, welcher eine Größe N aufweist, mit einer ganzen Zahl N.
In einem Verfahrensschritt S15 werden Merkmale aus den in dem Buffer 35 gespeicherten Daten extrahiert. Beispielsweise können eine durchschnittliche Amplitude, eine Nulldurchgangsrate und dergleichen extrahiert werden.
In einem weiteren Verfahrensschritt S16 wird anhand eines zweiten Kriteriums ausgewertet, ob die extrahierten Merkmale die Bedingungen für eine Sprachaktivität erfüllen. Gegebenenfalls wird eine Sprachaktivität detektiert. Die Schnittstelle 4 wird zum Signalisieren einer Sprachaktivität angesteuert.
5 zeigt ein Flussdiagramm eines Verfahrens zum Detektieren einer Sprachaktivität mithilfe einer Inertialsensoreinheit, insbesondere mittels einer oben beschriebenen Inertialsensoreinheit 1. Die Inertialsensoreinheit 1 umfasst ein Sensorelement 2, Signalverarbeitungsmittel 3 und eine Schnittstelle 4 zum Signalisieren einer detektierten Sprachaktivität.
In einem ersten Verfahrensschritt S21 werden wiederum Bewegungen und Vibrationen von dem Sensorelement 2 erfasst und in ein elektrisches Sensorsignal umgewandelt. In einem zweiten Verfahrensschritt S22 erfolgt eine Vorverarbeitung des Sensorsignals, wie oben beschrieben.
In einem Verfahrensschritt S23 wird, wie oben beschrieben, überprüft, ob ein Absolutwert des vorverarbeiteten Sensorsignals zwischen einem ersten Schwellenwert in einem zweiten Schwellenwert liegt. Ist dies nicht der Fall, wird das Verfahren abgebrochen oder wiederholt.
Andernfalls werden in einem Verfahrensschritt S24 Daten in einem Buffer 35 zwischengespeichert.
In einem Verfahrensschritt S25 werden, wie oben beschrieben, Merkmale aus den in dem Buffer 35 gespeicherten Daten extrahiert.
In einem Verfahrensschritt S26 werden die Daten ausgewertet, um andere Nutzeraktionen zu erkennen. Beispielweise können Erschütterungen, Antippen, Anfassen oder Bedienung des Gerätes durch den Anwender erkannt werden. Dies kann erkannt werden, falls einer oder mehrere Datenpunkte in dem Buffer 35 Werte oberhalb eines maximalen Schwellenwertes aufweisen. Zur Erkennung der anderen Nutzeraktionen können Verfahren wie Fourieranalyse, Spektrumanalyse oder Wavelet-Analyse eingesetzt werden.
In einem Verfahrensschritt S27 wird ausgewertet, ob eine derartige andere Nutzeraktion erkannt wurde. Ist dies der Fall, handelt es sich nicht um eine Sprachaktivität und das Verfahren wird abgebrochen oder wiederholt.
Andernfalls wird in einem Verfahrensschritt S26 anhand eines zweiten Kriteriums ausgewertet, ob die extrahierten Merkmale die Bedingungen für eine Sprachaktivität erfüllen, wie oben beschrieben. Gegebenenfalls wird eine Sprachaktivität detektiert. Die Schnittstelle 4 wird zum Signalisieren einer Sprachaktivität angesteuert.
Während der Verfahrensschritte S21 bis S23 wird die Inertialsensoreinheit 1 in dem ersten Betriebsmodus M1 betrieben. Während der Verfahrensschritte S24 bis S28 wird die Inertialsensoreinheit 2 in dem zweiten Betriebsmodus M2 betrieben.
6 zeigt ein Flussdiagramm eines Verfahrens zum Detektieren einer Sprachaktivität mithilfe einer Inertialsensoreinheit, insbesondere mittels einer oben beschriebenen Inertialsensoreinheit 1. Die Inertialsensoreinheit 1 umfasst ein Sensorelement 2, Signalverarbeitungsmittel 3 und eine Schnittstelle 4 zum Signalisieren einer detektierten Sprachaktivität.
In einem ersten Verfahrensschritt S31 werden, wie oben beschrieben, Bewegungen und Vibrationen von dem Sensorelement 2 erfasst und in ein elektrisches Sensorsignal umgewandelt. In einem zweiten Verfahrensschritt S32 erfolgt eine Vorverarbeitung des Sensorsignals, wie oben beschrieben.
In einem Verfahrensschritt S33 wird das Sensorsignal, d.h. die erfassten Werte in dem Buffer 35 gespeichert.
In einem Verfahrensschritt S34 wird überprüft, ob ein Absolutwert des vorverarbeiteten Sensorsignals zwischen einem ersten Schwellenwert und einem zweiten Schwellenwert liegt. Ist dies nicht der Fall, wird Verfahrensschritt S31 erneut durchgeführt.
Andernfalls wird in einem Verfahrensschritt S35 überprüft, ob der Buffer mit N neuen Werten gefüllt ist. Ist dies nicht der Fall, wird Verfahrensschritt S31 erneut durchgeführt.
In einem Verfahrensschritt S36 werden, wie oben beschrieben, Merkmale aus den in dem Buffer 35 gespeicherten Daten extrahiert.
In einem Verfahrensschritt S37 wird anhand eines zweiten Kriteriums ausgewertet, ob die extrahierten Merkmale die Bedingungen für eine Sprachaktivität erfüllen, wie oben beschrieben. Gegebenenfalls wird eine Sprachaktivität detektiert. Die Schnittstelle 4 wird zum Signalisieren einer Sprachaktivität angesteuert.
Die Verfahrensschritte S31 bis S35 werden somit stets ausgeführt, M1, während die Verfahrensschritte S36 bis S37 nur ausgeführt werden, falls die Auswertungen S34, S35 erfolgreich waren, M2.
Dieses Verfahren ermöglicht eine variable Auswertung der gespeicherten Daten im Buffer 35, wobei die Auswertung des Buffer 35 erst erfolgt, nachdem das Kriterium 1 (einfacher Schwellenvergleich) erfüllt ist, und eine vordefinierte Anzahl der Messdaten nach der Erfüllung des Kriteriums 1 zusätzlich gespeichert ist.
Gemäß dieser Ausführung werden die Messdaten aus dem Buffer 35 für die Auswertung so zusammengestellt, dass die Messdaten vor und nach der Überprüfung des Kriteriums im Auswertungsfenster beinhaltet sind. Dadurch wird eine stromsparende Detektion einer Sprachaktivität ermöglicht. Die Detektion ist sehr präzise, da auch die Signale vor dem Kriterium berücksichtigt werden, und schnell, da die Latenzzeit kurz ist.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 2017263267 A1 [0003]
US 2013196715 A1 [0004]
US 10397687 B2 [0005]
US 2014093091 A1 [0006]
US 2017365249 A1 [0007]

Claims

Inertialsensoreinheit (1), mindestens umfassend: a. ein Sensorelement (2) zum Erfassen und Umwandeln von Bewegungen und Vibrationen in ein elektrisches Sensorsignal, b. Signalverarbeitungsmittel (3) zur Auswertung des Sensorsignals, insbesondere mit dem Ziel der Detektion von Vibrationen, die durch eine Sprachaktivität hervorgerufen werden, und c. eine Schnittstelle (4) zum Signalisieren einer detektierten Sprachaktivität, dadurch gekennzeichnet, • dass die Signalverarbeitungsmittel (3) eine erste Verarbeitungsstufe (31) und eine zweite Verarbeitungsstufe (32) für das Sensorsignal umfassen, wobei die erste Verarbeitungsstufe (31) dafür ausgelegt ist, ein erstes Kriterium für das Vorliegen einer Sprachaktivität zu prüfen und die zweite Verarbeitungsstufe (32) dafür ausgelegt ist, mindestens ein weiteres, zweites Kriterium für das Vorliegen einer Sprachaktivität zu prüfen, • dass die zweite Verarbeitungsstufe (32) nur durchlaufen wird, wenn das Sensorsignal die erste Verarbeitungsstufe (31) durchlaufen hat und das erste Kriterium für das Vorliegen einer Sprachaktivität erfüllt ist, • und dass die Signalverarbeitungsmittel (3) dafür ausgelegt sind, die Schnittstelle (4) nur dann zum Signalisieren einer Sprachaktivität anzusteuern, wenn das Sensorsignal die zweite Verarbeitungsstufe (32) durchlaufen hat und das mindestens eine weitere, zweite Kriterium für das Vorliegen einer Sprachaktivität erfüllt ist.
Inertialsensoreinheit (1) nach Anspruch 1, dadurch gekennzeichnet, dass mindestens zwei Sensorelemente (2) für das Erfassen von Bewegungen und Vibrationen in unterschiedlichen Raumrichtungen vorgesehen sind.
Inertialsensoreinheit (1) nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass mindestens ein Beschleunigungssensorelement (2) und/oder mindestens ein Drehratensensorelement (2) vorgesehen sind.
Inertialsensoreinheit (1) nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die Signalverarbeitungsmittel (3) ferner umfassen: • mindestens einen Signalfilter (33) zur Vorverarbeitung des Sensorsignals, insbesondere einen Hochpassfilter und/oder einen Bandpassfilter, und • mindestens einen Analog/Digital-Wandler (34) für das Sensorsignal.
Inertialsensoreinheit (1) nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass unterschiedliche Betriebsmodi realisierbar sind, indem einzelne Komponenten der Inertialsensoreinheit (1) wahlweise aktivierbar bzw. abschaltbar sind und/oder in unterschiedlichen Betriebsmodi betreibbar sind.
Inertialsensoreinheit (1) nach Anspruch 5, dadurch gekennzeichnet, dass in einem ersten Betriebsmodus die erste Verarbeitungsstufe (31) der Signalverarbeitungsmittel (3) im ersten Betriebsmodus betrieben wird und die zweite Verarbeitungsstufe (32) abgeschaltet ist, dass in einem zweiten Betriebsmodus die erste Verarbeitungsstufe (31) der Signalverarbeitungsmittel (3) im zweiten Betriebsmodus betrieben wird und die zweite Verarbeitungsstufe (32) aktiviert ist, und dass die Signalverarbeitungsmittel (3) dafür ausgelegt sind, automatisch, in Abhängigkeit davon, ob das erste und/ oder das zweite Kriterium für das Vorliegen einer Sprachaktivität erfüllt sind, zwischen dem ersten Betriebsmodus und dem zweiten Betriebsmodus umzuschalten.
Inertialsensoreinheit (1) nach Anspruch 6, dadurch gekennzeichnet, dass der Stromverbrach im ersten Betriebsmodus geringer ist als im zweiten Betriebsmodus.
Inertialsensoreinheit (1) nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass die erste Verarbeitungsstufe (31) zumindest einen Vergleicher umfasst, der die aktuelle Signalamplitude des Sensorsignals mit mindestens einem Schwellwert vergleicht, um zu bestimmen, ob das erste Kriterium für das Vorliegen einer Sprachaktivität erfüllt ist.
Inertialsensoreinheit (1) nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass die zweite Verarbeitungsstufe (32) der Signalverarbeitungsmittel (3) mindestens umfasst: • einen Buffer (35) zum Zwischenspeichern einer definierten Anzahl von aufeinanderfolgenden Abtastwerten des Sensorsignals und • Signalanalysemittel (36) zum Ermitteln mindestens einer Signaleigenschaft auf Basis der zwischengespeicherten Abtastwerte und zum Vergleichen dieser mindestens einen Signaleigenschaft mit dem mindestens einen weiteren, zweiten Kriterium für das Vorliegen einer Sprachaktivität.
Inertialsensoreinheit (1) nach Anspruch 9, dadurch gekennzeichnet, dass die Signalanalysemittel (36) dafür ausgelegt sind, mindestens eine ermittelte Signaleigenschaft mit mindestens einem weiteren, dritten Kriterium zu vergleichen, um mindestens eine weitere Ursache für das Sensorsignal zu erkennen.
Verfahren zum Detektieren einer Sprachaktivität mit Hilfe einer Inertialsensoreinheit (1), die mindestens ein Sensorelement (2), Signalverarbeitungsmittel (3) und eine Schnittstelle (4) zum Signalisieren einer detektierten Sprachaktivität umfasst, • bei dem Bewegungen und Vibrationen von dem mindestens einen Sensorelement (2) erfasst werden und in mindestens ein elektrisches Sensorsignal umgewandelt werden, und • bei dem das Sensorsignal mit Hilfe der Signalverarbeitungsmittel (3) ausgewertet wird, dadurch gekennzeichnet, dass ein erstes Kriterium für das Vorliegen einer Sprachaktivität geprüft wird, dass nur dann, wenn das erste Kriterium für das Vorliegen einer Sprachaktivität erfüllt ist, mindestens ein weiteres, zweites Kriterium für das Vorliegen einer Sprachaktivität geprüft wird, und dass die Schnittstelle (4) nur dann zum Signalisieren einer Sprachaktivität angesteuert wird, wenn das mindestens eine weitere, zweite Kriterium für das Vorliegen einer Sprachaktivität erfüllt ist.
Verfahren nach Anspruch 11, bei dem das Sensorsignal mit Hilfe der Signalverarbeitungsmittel (3) vorverarbeitet wird und die Vorverarbeitung des Sensorsignals mindestens umfasst: • eine Signalfilterung, insbesondere eine Hochpassfilterung und/oder eine Bandpassfilterung, und • eine Analog/Digital-Wandlung, bei der das analoge Sensorsignal abgetastet und digitalisiert wird, so dass das digitalisierte Sensorsignal in Form einer Folge von Abtastwerten vorliegt.
Verfahren nach einem der Ansprüche 11 oder 12, bei dem das erste Kriterium für das Vorliegen einer Sprachaktivität geprüft wird, indem die aktuelle Signalamplitude bzw. der aktuelle Abtastwert des Sensorsignals mit mindestens einem Schwellwert verglichen wird.
Verfahren nach einem der Ansprüche 11 bis 13, dadurch gekennzeichnet, dass als erstes Kriterium für das Vorliegen einer Sprachaktivität geprüft wird, ob die aktuelle Signalamplitude bzw. der aktuelle Abtastwert des Sensorsignals für eine vorgegebene Dauer größer als ein erster Schwellwert und/oder kleiner als ein zweiter Schwellwert sind.
Verfahren nach einem der Ansprüche 12 bis 14, dadurch gekennzeichnet, dass wenn das erste Kriterium für das Vorliegen einer Sprachaktivität erfüllt ist, • eine vorgegebene Anzahl N von aufeinanderfolgenden Abtastwerten des Sensorsignals in einem Buffer (35) der Signalverarbeitungsmittel (3) zwischengespeichert wird, • mindestens eine Signaleigenschaft auf Basis der zwischengespeicherten Abtastwerte ermittelt wird und • die mindestens eine Signaleigenschaft mit dem mindestens einen weiteren, zweiten Kriterium für das Vorliegen einer Sprachaktivität verglichen wird.
Verfahren nach Anspruch 15, dadurch gekennzeichnet, dass wenn das erste Kriterium für das Vorliegen einer Sprachaktivität erfüllt ist, mindestens eine ermittelte Signaleigenschaft mit mindestens einem weiteren, dritten Kriterium verglichen wird, um mindestens eine weitere Ursache für das Sensorsignal zu erkennen.
Verfahren nach einem der Ansprüche 11 bis 16, dadurch gekennzeichnet, dass die Inertialsensoreinheit (1) in einem ersten Betriebsmodus betrieben wird, solange nur das erste Kriterium für das Vorliegen einer Sprachaktivität geprüft wird, dass die Inertialsensoreinheit (1) in einem zweiten Betriebsmodus betrieben wird, wenn das mindestens eine weitere, zweite Kriterium für das Vorliegen einer Sprachaktivität geprüft wird, und dass automatisch, in Abhängigkeit davon, ob das erste und/ oder das mindestens eine weitere, zweite Kriterium für das Vorliegen einer Sprachaktivität erfüllt ist, zwischen dem ersten Betriebsmodus und dem zweiten Betriebsmodus umgeschaltet wird.
Verfahren nach Anspruch 17, dadurch gekennzeichnet, dass die unterschiedlichen Betriebsmodi der Inertialsensoreinheit (1) realisiert werden, indem einzelne Komponenten der Inertialsensoreinheit (1) wahlweise aktiviert bzw. abgeschaltet werden und/oder in unterschiedlichen Betriebsmodi betreiben werden.