DE102021210223A1

DE102021210223A1 - Sensorsystem und Verfahren zum Ermitteln eines Kauverhaltens eines Anwenders

Info

Publication number: DE102021210223A1
Application number: DE102021210223.9A
Authority: DE
Inventors: Victor Pankratius; Michael Beigl; Tobias Röddiger
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2021-09-15
Filing date: 2021-09-15
Publication date: 2023-03-16

Abstract

Die Erfindung betrifft ein Sensorsystem zum Ermitteln eines Kauverhaltens eines Anwenders, mit einer ersten Drucksensoreinrichtung, welche an oder in einem ersten Gehörgang des Anwenders anordenbar ist, und dazu ausgebildet ist, in Abhängigkeit von einem Druck in dem ersten Gehörgang des Anwenders ein erstes Drucksensorsignal auszugeben, sowie einer zweiten Drucksensoreinrichtung, welche an oder in einem zweiten Gehörgang des Anwenders anordenbar ist, und dazu ausgebildet ist, in Abhängigkeit von einem Druck in dem zweiten Gehörgang des Anwenders ein zweites Drucksensorsignal auszugeben. Weiter umfasst das Sensorsystem eine Auswerteeinrichtung, welche dazu ausgebildet ist, in Abhängigkeit von dem ersten Drucksensorsignal und/oder dem zweiten Drucksensorsignal das Kauverhalten des Anwenders zu ermitteln. Die Auswerteeinrichtung ist beim Ermitteln des Kauverhaltens dazu ausgebildet ist, zumindest eine Kauseite des Anwenders zu erkennen.

Description

Die vorliegende Erfindung betrifft ein Sensorsystem und ein Verfahren zum Ermitteln eines Kauverhaltens eines Anwenders.
Stand der Technik
Temporomandibuläre Dysfunktionen scheinen die häufigste Ursache für chronische orofaziale Schmerzen zu sein. Außer wenn solche Störungen nach einem Trauma auftreten, bleibt ihre Ursache unbekannt. Empirische Untersuchungen haben ergeben, dass das gewohnheitsmäßige Kauen auf einer Seite eine mögliche Ursache sein könnte.
Steimer., et al. „Portable auricular device for real-time swallow and chew detection“, Current Directions in Biomedical Engineering 2.1 (2016): 129-133 betrifft eine In-Ohr-Drucksensorik zur Überwachung der Kauaktivität.
US 2018/0242908 A1 betrifft ein auf Drucksensorik basierendes Nahrungsaufnahmeüberwachungssystem. Ein Drucksensor erkennt eine Verformung des Gehörgangs, um Kauvorgänge vorherzusagen. Dabei kann auch ein Drucksensor mit einem Beschleunigungssensor kombiniert werden.
Ando et al. „Canalsense: Face-related movement recognition system based on sensing air pressure in ear canals“, Proceedings of the 30th Annual ACM Symposium on User Interface Software and Technology, 2017, betrifft ein In-Ear-Drucksensorgerät, das die Aktivität im Zusammenhang mit Kopf- und Gesichtsbewegungen messen kann.
Zur Kauerkennung ist die Verwendung von Beschleunigungssensoren aus Lotfi et al, „A comparison between audio and IMU data to detect chewing an earable device.“, Proceedings of the 11th Augmented Human Conference, 2020, bekannt. Beschleunigungssensoren sind auch in Bedri et al. „EarBit: using wearable sensors to detect eating episodes in unconstrained environments“, Proceedings of the ACM on interactive, mobile, wearable and ubiquitous technologies 1.3 (2017): 1-20, beschrieben.
Audiosensoren sind bekannt aus Bi, et al., „Auracle: Detecting eating episodes with an ear-mounted sensor“, Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies 2.3 (2018), 1-27, sowie Sazonov, et al. „Non-invasive monitoring of chewing and swallowing for objective quantification of ingestive behavior“, Physiological measurement 29.5 (2008): 525.
Ein Infrarot-Näherungssensor zur Erkennung der Kauaktivität ist bekannt aus Bedri, et al., „A wearable system for detecting eating activities with proximity sensors in the outer ear“, Proceedings of the 2015 ACM International Symposium on Wearable Computers. 2015.
Ein Photoplethysmographie-Sensor zur Erfassung der Kauaktivität ist bekannt aus Papapanagiotou et al., „The SPLENDID chewing detection challenge“, 39th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC), IEEE, 2017.
Ein Elektromyographie-Sensor zur Erfassung der Kauaktivität ist bekannt aus Bi et al. „Toward a wearable sensor for eating detection“, Proceedings of the 2017 Workshop on Wearable Systems and Applications, 2017.
Mit obigen Methoden wird jedoch lediglich erkannt, ob ein Nutzer kaut oder nicht. Die Kauseite, d. h. die Seite des Mundes beziehungsweise des Gebisses, auf welcher der Nutzer kaut, kann jedoch nicht ermittelt werden.
Offenbarung der Erfindung
Die Erfindung stellt ein Sensorsystem und ein Verfahren zum Ermitteln des Kauverhaltens eines Anwenders mit den Merkmalen der unabhängigen Patentansprüche bereit.
Bevorzugte Ausführungsformen sind Gegenstand der jeweiligen Unteransprüche.
Gemäß einem ersten Aspekt betrifft die Erfindung demnach ein Sensorsystem zum Ermitteln eines Kauverhaltens eines Anwenders, mit einer ersten Drucksensoreinrichtung, welche an oder in einem ersten Gehörgang des Anwenders anordenbar ist, und dazu ausgebildet ist, in Abhängigkeit von einem Druck in dem ersten Gehörgang des Anwenders ein erstes Drucksensorsignal auszugeben, sowie einer zweiten Drucksensoreinrichtung, welche an oder in einem zweiten Gehörgang des Anwenders anordenbar ist, und dazu ausgebildet ist, in Abhängigkeit von einem Druck in dem zweiten Gehörgang des Anwenders ein zweites Drucksensorsignal auszugeben. Weiter umfasst das Sensorsystem eine Auswerteeinrichtung, welche dazu ausgebildet ist, in Abhängigkeit von dem ersten Drucksensorsignal und/oder dem zweiten Drucksensorsignal das Kauverhalten des Anwenders zu ermitteln. Die Auswerteeinrichtung ist beim Ermitteln des Kauverhaltens dazu ausgebildet, zumindest eine Kauseite des Anwenders zu erkennen.
Gemäß einem zweiten Aspekt betrifft die Erfindung demnach ein Verfahren zum Ermitteln oder Bestimmen eines Kauverhaltens eines Anwenders. Ein erstes Drucksensorsignal wird in Abhängigkeit von einem Druck in einem ersten Gehörgang des Anwenders erfasst. Ein zweites Drucksensorsignals wird in Abhängigkeit von einem Druck in einem zweiten Gehörgang des Anwenders erfasst. Weiter wird das Kauverhalten des Anwenders in Abhängigkeit von dem ersten Drucksensorsignal und/oder dem zweiten Drucksensorsignal ermittelt oder bestimmt, wobei beim Ermitteln des Kauverhaltens zumindest eine Kauseite des Anwenders erkannt wird.
Vorteile der Erfindung
Die Erfindung ermöglicht es nicht nur, zu erkennen, ob ein Anwender kaut, sondern ermöglicht auch, eine Kauseite des Anwenders zu erkennen. Hierzu werden Drucksensorsignale bezüglich des linken und rechten Gehörgangs des Anwenders herangezogen. Die Erfindung macht sich den Umstand zunutze, dass beim seitlichen Kauen der zeitliche Verlauf des Drucks für die beiden Gehörgänge unterschiedlich ist. Die Verwendung von Druckmessungen ist dabei minimalinvasiv und somit für den Anwender ohne Einschränkungen einsetzbar.
Unter einer „Kauseite“ kann rechtseitiges oder linksseitiges Kauen verstanden werden. Es kann auch vorgesehen sein, dass zwischen rechtsseitigem Kauen, linksseitigem Kauen und frontalem Kauen unterschieden werden kann (also Kauseite „links“, „frontal“ oder „rechts“).
Gemäß einer weiteren Ausführungsform des Sensorsystems ist die Auswerteeinrichtung dazu ausgebildet, beim Ermitteln des Kauverhaltens des Anwenders zwischen einem linksseitigen Kauen des Anwenders und einem rechtseitigen Kauen des Anwenders zu unterscheiden. Die Identifizierung der Kauseite, auf der ein Anwender kaut, kann neue Therapiemethoden für temporomandibuläre Dysfunktionen eröffnen. Zum Beispiel kann der Anwender darauf aufmerksam gemacht werden, dass er längere Zeit auf einer bestimmten Seite kaut. Weiter kann vorgesehen sein, dass eine Applikation während des Kauvorgangs eingreift, um Verhaltensänderungen auszulösen.
Gemäß einer weiteren Ausführungsform des Sensorsystems ist die Auswerteeinrichtung dazu ausgebildet, beim Ermitteln des Kauverhaltens des Anwenders zwischen seitlichem Kauen des Anwenders und einem frontalen Kauen des Anwenders zu unterscheiden. Falls der Anwender längere Zeit seitlich kaut, kann der Anwender darauf hingewiesen werden, um gegebenenfalls sein Kauverhalten zu ändern.
Gemäß einer weiteren Ausführungsform des Sensorsystems ist die Auswerteeinrichtung dazu ausgebildet, zum Ermitteln des Kauverhaltens des Anwenders eine Phasenverschiebung eines anhand des ersten Drucksensorsignals ermittelten ersten zeitlichen Druckverlaufs und eines anhand des zweiten Drucksensorsignals ermittelten zweiten zeitlichen Druckverlaufs zu berücksichtigen. Der beim Kauen entstehende typische Zeitverlauf des Drucks mit markanten Druckspitzen ist beim seitlichen Kauen für die beiden Gehörgänge relativ zueinander verschoben. Beispielsweise kann ein seitliches Kauen ermittelt werden, falls die Phasenverschiebung einen vorgegebenen Schwellenwert überschreitet. Anhand eines Vorzeichens der Phasenverschiebung kann die Kauseite ermittelt werden.
Gemäß einer weiteren Ausführungsform des Sensorsystems ist die Auswerteeinrichtung dazu ausgebildet, anhand des ersten Drucksensorsignals und des zweiten Drucksensorsignals Eingangsdaten zu berechnen und einem trainierten künstlichen neuronalen Netz bereitzustellen, und das Kauverhalten des Anwenders anhand von Ausgangsdaten des künstlichen neuronalen Netzes zu ermitteln.
Gemäß einer weiteren Ausführungsform des Sensorsystems ist die Auswerteeinrichtung dazu ausgebildet, die Eingangsdaten für das künstliche neuronale Netz unter Verwendung einer Rauschfunktion zu augmentieren. Dadurch können mehr Eingangsdaten bereitgestellt werden.
Gemäß einer weiteren Ausführungsform des Sensorsystems ist die Auswerteeinrichtung dazu ausgebildet, anhand des ersten Drucksensorsignals und des zweiten Drucksensorsignals Werte für vorgegebene Merkmalen zu berechnen und einem maschinelles-Lernen-Klassifikator bereitzustellen, und das Kauverhalten des Anwenders anhand von Ausgangsdaten des maschinelles-Lernen-Klassifikators zu ermitteln. Der maschinelles-Lernen-Klassifikator kann etwa einen Entscheidungsbaum oder Entscheidungswald umfassen.
Gemäß einer weiteren Ausführungsform des Sensorsystems können die Parameter des Modells (etwa des künstlichen neuronalen Netzes oder des maschinelles-Lernen-Klassifikators) derart gewählt werden, dass diese auf dem Speicher eines Mikroprozessors als Auswerteeinrichtung gespeichert werden können. Beispielweise kann der Speicher weniger als 100 kB aufweisen. Das Modell ist somit klein genug, um auf einem eingebetteten Gerät gespeichert zu werden kann und daher für Wearables besonders geeignet. Beispielsweise kann während des Trainings des Modells eine Gittersuche durchgeführt werden, wobei zu große Modelle verworfen werden.
Gemäß einer weiteren Ausführungsform des Sensorsystems ist die Auswerteeinrichtung dazu ausgebildet, eine Tiefpassvorfilterung der ersten und zweiten Drucksensorsignale durchzuführen.
Gemäß einer weiteren Ausführungsform des Sensorsystems ist die Auswerteeinrichtung dazu ausgebildet, für jedes zu klassifizierende Sample das erste Drucksensorsignal mit dem zweiten Drucksensorsignal zu multiplizieren (gegebenenfalls nach einer Tiefpassvorfilterung oder Normierung, wobei das erste Drucksensorsignal und das zweite Drucksensorsignal auch auf andere Wertebereiche normiert werden können). Das Ergebnis ist ein einheitliches, eindimensionales Signal für die Merkmalsextraktion mittels eines Modells (etwa eines künstlichen neuronalen Netzes oder eines maschinelles-Lernen-Klassifikators).
Die Anzahl der (ursprünglich etwa anhand einer Datenbank vorgegebenen) Merkmale kann unter Berücksichtigung einer maximalen Modellgröße reduziert werden, indem die Hyperparameter des Modells systematisch geändert werden und die resultierende Modellgröße überprüft wird.
Aus dem multiplizierten Signal und dem ersten Drucksensorsignal und/oder zweiten Drucksensorsignal können Merkmale für den maschinelles-Lernen-Klassifikator extrahiert werden. Ein Merkmal kann etwa sein, ob eine Varianz des ersten Drucksensorsignals und/oder des zweiten Drucksensorsignals größer als eine Standardabweichung. Dies ist der Fall, wenn der Sensor keine Druckänderungen misst, wenn also nicht gekaut wird. Dadurch kann erkannt werden, dass der Anwender gerade nicht kaut.
Aus dem multiplizierten Signal können weiter kontinuierliche Wavelet-Transformation des Ricker-Wavelets (Mexican-Hat-Wavelet), extrahiert werden, durch: $\frac{2}{{\sqrt{3 a π}}^{\frac{1}{4}}} (1 - \frac{x^{2}}{a^{2}}) \cdot exp (- \frac{x^{2}}{2 a^{2}})$
wobei a der Breitenparameter ist. Alle Merkmale können auch getrennt vom ersten und zweiten Drucksensorsignal extrahiert werden und als Input dienen.
Weiter kann ein Korridor festgelegt werden, durch obere und untere Schranken der Verteilung des multiplizierten Eingangssignals (unteres und oberes Quantil). Dann kann der Mittelwert der aufeinanderfolgenden Änderungen der Eingangszeitreihe innerhalb des Korridors berechnet und aggregiert werden, um weitere Merkmale zu erhalten.
Die Merkmale können an einen domänenspezifischen, größenoptimierten Random-Forest-Klassifikator übergeben werden, welcher das Kauverhalten für ein gegebenes Sample klassifiziert.
Gemäß einer weiteren Ausführungsform des Sensorsystems ist die Auswerteeinrichtung dazu ausgebildet, anhand des ersten Drucksensorsignals und des zweiten Drucksensorsignals eine Vielzahl von Teilsignalen mit unterschiedlichen Zeitfenstern zu erzeugen, und das Kauverhalten des Anwenders unter Verwendung separater Auswertungen der Teilsignale für jedes Zeitfenster zu erkennen.
Gemäß einer weiteren Ausführungsform des Sensorsystems kann ein Datensatz eines Anwenders mit bekannter Kauseite gesammelt werden, um einen individuellen Bias eines Anwenders zu erhalten. Dadurch kann der Klassifikator das gewohnheitsmäßige Kauverhalten besser ermitteln.
Gemäß einer weiteren Ausführungsform des Sensorsystems werden Datensätze von mindestens einem Anwender mit bekannter Kauseite zum Trainieren des maschinelles-Lernen-Klassifikators verwendet. Ein maschinelles-Lernen-Klassifikator kann auch nur mit den Daten eines einzigen Anwenders trainiert werden.
Gemäß einer weiteren Ausführungsform umfasst das Sensorsystem Ohrhörer oder Kopfhörer, in welche die erste Drucksensoreinrichtung und die zweite Drucksensoreinrichtung integriert sind. Weiter kann auch vorgesehen sein, dass die Auswerteeinrichtung in den Ohrhörer oder Kopfhörer integriert ist. Die Auswerteeinrichtung kann jedoch auch von dem Ohrhörer oder Kopfhörer getrennt sein. Dazu übermitteln die erste und zweite Drucksensoreinrichtung die ersten bzw. zweiten Drucksensorsignale über eine kabelgebundene oder kabellose Schnittstelle an die Auswerteeinrichtung. Die Auswerteeinrichtung kann sich etwa auf einem Smartphone, einer Smartwatch, einem Tablet, einem SmartTV oder dergleichen befinden. Die Auswerteeinrichtung kann auch auf einem Server implementiert sein.
Gemäß einer weiteren Ausführungsform umfasst das Sensorsystem eine Schnittstelle, um Informationen über das erfasste Kauverhalten an eine externe Einrichtung auszugeben. Beispielsweise kann ein behandelnder Arzt informiert werden.
Gemäß einer weiteren Ausführungsform umfasst das Sensorsystem eine Anzeige, um
dem Anwender Informationen anzuzeigen. Die Anzeige kann etwa der Bildschirm eines Smartphones sein. Dem Anwender können Statistiken über die Kaugewohnheiten angezeigt werden. Zum Beispiel kann die Anzahl der Kauereignisse in linker, rechter und frontaler Position und/oder die Gesamtzeit, die in einer der Positionen gekaut wurde, angezeigt werden. Wenn der Anwender sein Verhalten über mehrere Mahlzeiten verfolgt, kann das Gerät auch mehr Informationen auf höherer Ebene, wie z. B. Durchschnittswerte über die Zeit, anzeigen.
Gemäß einer weiteren Ausführungsform des Sensorsystems kann eine Echtzeit-Rückmeldung an den Anwender gegeben werden. Zum Beispiel kann beim längerem Kauen auf einer bestimmten Seite während einer Mahlzeit der Anwender darauf hingewiesen werden, die Kauseite zu wechseln, z. B. durch akustische oder visuelle Hinweise, Vibrationen usw.
Gemäß einer weiteren Ausführungsform des Sensorsystems können Nutzereingabe des Anwenders erfasst werden, welche auf der Kauseite basieren, auf welcher der Anwender kaut. Der Anwender kann somit durch Kaubewegungen Nutzereingaben tätigen. Diese können an ein Endgerät übertragen werden.
Gemäß einer weiteren Ausführungsform des Sensorsystems kann der Nutzer das Sensorsystem (etwa Ohrhörer) beim Schlafen tragen, sodass erkannt werden kann, ob und auf welcher Seite der Nutzer mit den Zähnen knirscht (Bruxismus).
Weitere Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung, in der unter Bezugnahme auf die Zeichnung, verschiedene Ausführungsbeispiele im Einzelnen beschrieben sind.
Figurenliste
Es zeigen:

1 ein schematisches Blockdiagramm eines Sensorsystems gemäß einer Ausführungsform der Erfindung;
2 eine schematische Seitenansicht eines Ohrhörers eines Sensorsystems gemäß einer Ausführungsform der Erfindung;
3 eine schematische Darstellung der Druckveränderung im Gehörgang beim Kauen;
4 eine schematische Darstellung der zeitlichen Verläufe des Druckes in den Gehörgängen beim Kauen;
5 eine schematische Darstellung von Eingabesignalen zu Erläuterung der Datenaugmentierung;
6 einen schematischer Aufbau eines neuronalen Netzes zur Verwendung in einem Sensorsystems gemäß einer Ausführungsform der Erfindung;
7 eine schematische Darstellung von separaten Auswertungen; und
8 ein Flussdiagramm eines Verfahrens zum Ermitteln eines Kauverhaltens eines Anwenders gemäß einer Ausführungsform der Erfindung.

In allen Figuren sind gleiche bzw. funktionsgleiche Elemente und Vorrichtungen mit denselben Bezugszeichen versehen. Die Nummerierung von Verfahrensschritten dient der Übersichtlichkeit und soll im Allgemeinen keine bestimmte zeitliche Reihenfolge implizieren. Insbesondere können auch mehrere Verfahrensschritte gleichzeitig durchgeführt werden.
Beschreibung der Ausführungsbeispiele
1 zeigt ein schematisches Blockdiagramm eines Sensorsystems 1 mit einer ersten Drucksensoreinrichtung 2 zum Einbringen in einen ersten Gehörgang des Anwenders und mit einer zweiten Drucksensoreinrichtung 3 zum Einbringen in einen zweiten Gehörgang des Anwenders. Die erste und zweite Drucksensoreinrichtung 2, 3 geben jeweils ein erstes Drucksensorsignal bzw. ein zweites Drucksensorsignal aus, welches etwa einem Sample vorgegebener Länge entspricht. Bei dem ersten und zweiten Drucksensorsignal kann es sich um einen Zeitverlauf des in dem Gehörgang vorliegenden Druckes handeln.
Weiter umfasst das Sensorsystem 1 eine Auswerteeinrichtung 4, welche eine Recheneinrichtung umfasst, etwa einen Mikroprozessor, einen Mikrocontroller oder eine anwendungsorientierte Schaltung.
Die Auswerteeinrichtung 4 ermittelt in Abhängigkeit von dem ersten Drucksensorsignal und dem zweiten Drucksensorsignal das Kauverhalten des Anwenders. Die Auswerteeinrichtung 4 erkennt dabei insbesondere eine Kauseite des Anwenders.
2 zeigt eine schematische Seitenansicht eines beispielhaften Ohrhörers eines Sensorsystems, etwa des oben beschriebenen Sensorsystems 1. Der Ohrhörer umfasst ein Endstück 11 aus Schaumstoff oder Silikon, welches in den Gehörgang des Anwenders eingebracht wird. Innerhalb des Endstücks 11 verläuft ein hohles Röhrchen 12, welches eine Fluidverbindung zu einer Drucksensoreinrichtung 14 herstellt, sodass der Druck bei der Drucksensoreinrichtung 14 dem Druck im Gehörgang entspricht.
Das Endstück 11 und der Gehörgang bilden eine Dichtung, die die Luft einschließt. Ausgelöst durch Veränderungen des Kiefers während des Öffnens und Schließens ändert sich der Druck im Gehörgang.
Die Drucksensoreinrichtung 14 ist zusammen mit einem optionalen Lautsprecher 15 in einem Gehäuse 10 angeordnet. Die Drucksensoreinrichtung 14 und der Lautsprecher 15 sind über eine Kabelverbindung 13 mit einem Endgerät verbunden, etwa einem Smartphone, einem PC oder dergleichen. Alternativ oder zusätzlich kann auch eine kabellose Verbindung zu dem Endgerät bestehen. Der Ohrhörer kann weiter einen Energiespeicher zur Stromversorgung aufweisen.
Der Ohrhörer kann die vom Gerät eingeschlossene Luft in zwei Kanäle aufteilen - einen zur Drucksensoreinrichtung 14 und der andere zum Lautsprecher 15, wie in 2 gezeigt. Alternativ kann die Drucksensoreinrichtung 14 auch vor dem Lautsprecher 15 positioniert werden.
Das Sensorsystem 1 kann für jedes Ohr des Anwenders einen in 2 gezeigten Ohrhörer vorsehen.
Über den Lautsprecher 15 kann dem Anwender Rückmeldung über das Ermitteln des Kauverhaltens gegeben werden.
3 zeigt eine schematische Darstellung der Druckveränderung im Gehörgang beim Kauen. Hierzu ist der Ohrhörer in den Gehörgang eingebracht und ermittelt den zeitlichen Verlauf des Druckes im Gehörgang.
In einer ersten Situation A öffnet der Anwender den Mund, sodass der Gehörgang vergrößert wird und entsprechend der Druck reduziert wird. In einer Situation B schließt der Anwender den Mund, sodass der Gehörgang verkleinert wird und entsprechend der Druck erhöht wird.
4 zeigt eine schematische Darstellung der zeitlichen Verläufe des Druckes in den Gehörgängen beim Kauen. Illustriert ist der zeitliche Verlauf des Druckes 21 für den linken Gehörgang und der zeitliche Verlauf des Druckes 22 für den rechten Gehörgang. Beim frontalen Kauen F sind die zeitlichen Verläufe 21, 22 nicht oder nur geringfügig zueinander phasenverschoben. Beim linksseitigen Kauen L bzw. rechtsseitigen Kauen R findet eine Phasenverschiebung statt, deren Vorzeichen von der Kauseite abhängt. So treten beim linksseitigen Kauen L die Druckspitzen am linken Ohr vor den Druckspitzen am rechten Ohr auf. Beim rechtsseitigen Kauen R verhält es sich umgekehrt.
Die Auswerteeinrichtung 4 kann das Kauverhalten unter Verwendung eines neuronalen Netzes ermitteln. Hierzu kann zunächst eine Vorverarbeitung erfolgen. So können die gemessenen Drücke für die beiden Gehörgänge zunächst zwischen 0 und 1 normiert werden. Es kann jedoch auch vorgesehen sein, die linken und rechten Drücke auf unterschiedliche Wertebereiche zu normieren. Weiter kann das erste Drucksensorsignal mit dem zweiten Drucksensorsignal multipliziert werden. Anschließend wird das so erhaltene Signal zwischen -1 bis 1 normiert. Das nun erhaltene Signal dient als Eingabesignal für das künstliche neuronale Netz. Weiter kann eine Datenaugmentierung durchgeführt werden, wie im Folgenden beschrieben.
5 zeigt hierzu eine schematische Darstellung eines Eingabesignals 31 mit Amplitude A als Funktion der Zeit t. Zur Datenaugmentierung wird auf jedes Eingabesignal 31 ein beispielsweise 64 Samples langes Schiebefenster angewendet. Dann wird eine Datenaugmentierung durchgeführt, indem die Amplitude und die Zeit des Eingangssignals verzerrt werden, indem weißes Rauschen mit niedriger Frequenz und Bandbegrenzung angewendet wird. Man erhält somit ein verzerrtes Eingangssignal 32.
Jeder Abtastwert des Rauschsignals kann beispielsweise mit 1 + c - s_noise multipliziert werden, wobei c eine Konstante ist, die gewählt werden kann, je nachdem, wie stark sich die Amplitude ändern soll, jedoch klein genug, damit 1 + c - s_noise an jedem Punkt positiv bleibt. Weiter bezeichnet s_noise weißes Rauschen.
Analog kann Rauschen auf den Zeitstempel jedes Eingangssignals 31 angewendet werden. Dabei kann sichergestellt werden, dass einzelne Datenpunkte niemals zeitlich nach hinten, d. h. vor das vorherige Eingangssignal verschoben werden und sich alle Datenpunkte entlang der ursprünglichen Samplelänge verteilen. Anschließend kann das verzerrte Signal interpoliert werden, um beispielsweise 64 gleichmäßig verteilte Datenpunkte zu erhalten.
6 zeigt einen schematischer Aufbau des neuronalen Netzes. Die Auswerteeinrichtung 4 verwendet dabei die Datenpunkte (beispielsweise 64) der Eingangssignale 31, 32 als Eingangsdaten für das neuronale Netz. Das künstliche neuronale Netz ist anhand von gelabelten Trainingsdaten trainiert worden, das Kauverhalten anhand der Eingangsdaten zu klassifizieren und die Klassifizierung als Ausgangsdaten auszugeben.
Das neuronale Netz kann dabei beispielsweise unterscheiden, ob der Nutzer frontal oder seitlich kaut. Das neuronale Netz kann auch dazu trainiert sein, zwischen linksseitigem Kauen, rechtseitigem Kauen, frontalem Kauen oder keinem Kauen zu unterscheiden und Eingangsdaten entsprechend zu klassifizieren. Beispielsweise werden Wahrscheinlichkeiten für jede dieser Klassen ausgegeben, um das Kauverhalten zu bestimmen.
Das künstliche neuronale Netz ist beispielsweise ein convolutional neural network (CNN). Das künstliche neuronale Netz umfasst etwa eine Eingangsschicht 41, ein erste konvolutionale Schicht 42, eine erste Batch-Normierungs-Schicht 43, zweite und dritte konvolutionale Schichten 44, 45, eine zweite Batch-Normierungs-Schicht 46, eine Dense-ReLu-Schicht 47, eine Dropout-Schicht 48 und eine Dense-Softmax-Schicht 49.
Die konvolutionalen Schichten 42, 44, 45 dienen der Merkmalsextraktion. Die Batch-Normierung beschleunigt den Lernprozess und erhöht die Zuverlässigkeit der Klassifizierung. Die Dropout-Schicht 48 reduziert die Überanpassung, was bei kleinen Datensatzes besonders vorteilhaft ist. Die Dense-ReLu-Schicht 47 und die Dense-Softmax-Schicht 49 führen die eigentliche Klassifikation durch. Die Dense-Softmax-Schicht 49 erzeugt dabei die Ausgabe, welche etwa jeder vorherzusagenden Klasse (z.B. linksseitiges Kauen, rechtseitiges Kauen, frontales Kauen oder kein Kauen) eine Wahrscheinlichkeit zuweist.
Die Anzahl der Parameter wird vorzugsweise derart gewählt, dass die Parameter auf einem Speicher eines Mikroprozessors als Auswerteeinrichtung 4 gespeichert werden können.
Weiter kann vorgesehen sein, Teilsignale mit unterschiedlichen Zeitfenstern zu erzeugen, und das Kauverhalten des Anwenders unter Verwendung separater Auswertungen der Teilsignale für jedes Zeitfenster zu erkennen. Um etwa ein größeres Sample, etwa von 10 Sekunden, zu klassifizieren, werden Vorhersagen für jedes Zeitfenster getroffen.
7 zeigt hierzu eine schematische Darstellung von separaten Auswertungen. Hierzu wird ein Sample S in n Fenster W1 bis Wn zerlegt, wobei n eine vorgegebene oder vorgebbare Zahl ist. Die Fenster W1 bis Wn (Teilsignale) werden jeweils separat ausgewertet, sodass man Teilklassifizierungen 51 bis 5n des Kauverhaltens erhält. Daraus kann eine Gesamtklassifizierung 60 des Kauverhaltens ermittelt werden.
Die Gesamtklassifizierung 60 des Kauverhaltens erhält man beispielsweise, indem die durchschnittliche Wahrscheinlichkeit pro Klasse über alle Fenster W1 bis Wn berechnet wird und die Klasse mit der höchsten durchschnittlichen Wahrscheinlichkeit ausgewählt wird. Optional können die Fenster W1 bis Wn bei der Mittelwertbildung der Wahrscheinlichkeiten in der Mitte höher gewichtet werden als Fenster W1 bis Wn am Anfang und Ende des Samples S. Alternativ kann die Gesamtklassifizierung 60 durch eine Mehrheitsabstimmung aller vorhergesagten Kaupositionen jedes Fensters W1 bis Wn ermittelt werden.
8 zeigt ein Flussdiagramm eines Verfahrens zum Ermitteln eines Kauverhaltens eines Anwenders.
Dabei wird in einem Verfahrensschritt S1 ein erstes Drucksensorsignals in Abhängigkeit von einem Druck in einem ersten Gehörgang des Anwenders erzeugt und/oder für die Auswertung erfasst.
In einem zweiten Verfahrensschritt S2 wird parallel dazu ein zweites Drucksensorsignal in Abhängigkeit von einem Druck in einem zweiten Gehörgang des Anwenders erzeugt und/oder für die Auswertung erfasst.
In einem dritten Verfahrensschritt wird das Kauverhalten des Anwenders in Abhängigkeit von dem ersten Drucksensorsignal und dem zweiten Drucksensorsignal ermittelt oder bestimmt, wobei beim Ermitteln/Bestimmen des Kauverhaltens zumindest eine Kauseite (rechts, frontal, links) des Anwenders erkannt wird. Dabei kann die Phasenverschiebung des ersten Drucksensorsignals und des zweiten Drucksensorsignals berücksichtigt werden. Es kann auch ein maschineller-Lernen-Klassifikator und/oder ein trainiertes künstliches neuronales Netz verwendet werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 20180242908 A1 [0004]

Claims

Sensorsystem (1) zum Ermitteln eines Kauverhaltens eines Anwenders, mit: einer ersten Drucksensoreinrichtung (2), welche an oder in einem ersten Gehörgang des Anwenders anordenbar ist, und dazu ausgebildet ist, in Abhängigkeit von einem Druck in dem ersten Gehörgang des Anwenders ein erstes Drucksensorsignal auszugeben; einer zweiten Drucksensoreinrichtung (3), welche an oder in einem zweiten Gehörgang des Anwenders anordenbar ist, und dazu ausgebildet ist, in Abhängigkeit von einem Druck in dem zweiten Gehörgang des Anwenders ein zweites Drucksensorsignal auszugeben; und einer Auswerteeinrichtung (4), welche dazu ausgebildet ist, in Abhängigkeit von dem ersten Drucksensorsignal und/oder dem zweiten Drucksensorsignal das Kauverhalten des Anwenders zu ermitteln; wobei die Auswerteeinrichtung (4) beim Ermitteln des Kauverhaltens dazu ausgebildet ist, zumindest eine Kauseite des Anwenders zu erkennen.
Sensorsystem (1) nach Anspruch 1, wobei die Auswerteeinrichtung (4) dazu ausgebildet ist, beim Ermitteln des Kauverhaltens des Anwenders zwischen einem linksseitigen Kauen des Anwenders und einem rechtseitigen Kauen des Anwenders zu unterscheiden.
Sensorsystem (1) nach Anspruch 1 oder 2, wobei die Auswerteeinrichtung (4) dazu ausgebildet ist, beim Ermitteln des Kauverhaltens des Anwenders zwischen einem seitlichen Kauen des Anwenders und einem frontalen Kauen des Anwenders zu unterscheiden.
Sensorsystem (1) nach einem der vorangehenden Ansprüche, wobei die Auswerteeinrichtung (4) dazu ausgebildet ist, zum Ermitteln des Kauverhaltens des Anwenders eine Phasenverschiebung eines anhand des ersten Drucksensorsignals ermittelten ersten zeitlichen Druckverlaufs und eines anhand des zweiten Drucksensorsignals ermittelten zweiten zeitlichen Druckverlaufs zu berücksichtigen.
Sensorsystem (1) nach einem der vorangehenden Ansprüche, wobei die Auswerteeinrichtung (4) dazu ausgebildet ist, anhand des ersten Drucksensorsignals und des zweiten Drucksensorsignals Eingangsdaten zu berechnen und einem trainierten künstlichen neuronalen Netz bereitzustellen, und das Kauverhalten des Anwenders anhand von Ausgangsdaten des künstlichen neuronalen Netzes zu ermitteln.
Sensorsystem (1) nach Anspruch 5, wobei die Auswerteeinrichtung (4) weiter dazu ausgebildet ist, die Eingangsdaten für das künstliche neuronale Netz unter Verwendung einer Rauschfunktion zu augmentieren.
Sensorsystem (1) nach einem der vorangehenden Ansprüche, wobei die Auswerteeinrichtung (4) dazu ausgebildet ist, anhand des ersten Drucksensorsignals und des zweiten Drucksensorsignals Werte für vorgegebene Merkmalen zu berechnen und einem maschinelles-Lernen-Klassifikator bereitzustellen, und das Kauverhalten des Anwenders anhand von Ausgangsdaten des maschinelles-Lernen-Klassifikators zu ermitteln.
Sensorsystem (1) nach einem der vorangehenden Ansprüche, wobei die Auswerteeinrichtung (4) dazu ausgebildet ist, anhand des ersten Drucksensorsignals und des zweiten Drucksensorsignals eine Vielzahl von Teilsignalen mit unterschiedlichen Zeitfenstern (W1 bis Wn) zu erzeugen, und das Kauverhalten des Anwenders unter Verwendung separater Auswertungen der Teilsignale für jedes Zeitfenster (W1 bis Wn) zu erkennen.
Sensorsystem (1) nach einem der vorangehenden Ansprüche, wobei das Sensorsystem (1) Ohrhörer oder Kopfhörer umfasst, in welche die erste Drucksensoreinrichtung (2) und die zweite Drucksensoreinrichtung (3) integriert sind.
Verfahren zum Ermitteln eines Kauverhaltens eines Anwenders, mit den Schritten: Erfassen (S1) eines ersten Drucksensorsignals in Abhängigkeit von einem Druck in einem ersten Gehörgang des Anwenders; Erfassen (S2) eines zweiten Drucksensorsignals in Abhängigkeit von einem Druck in einem zweiten Gehörgang des Anwenders; und Ermitteln (S3) des Kauverhaltens des Anwenders in Abhängigkeit von dem ersten Drucksensorsignal und/oder dem zweiten Drucksensorsignal, wobei beim Ermitteln des Kauverhaltens zumindest eine Kauseite des Anwenders erkannt wird.