-
Die Erfindung betrifft ein Verfahren zum umgebungsabhängigen Betrieb eines Hörsystems, wobei in einer Trainingsphase zu einer Mehrzahl an Erhebungszeitpunkten jeweils Werte für eine erste Mehrzahl an Umgebungsdaten eines ersten Benutzers des Hörsystems ermittelt wird, und anhand der Werte der Umgebungsdaten für jeden der Erhebungszeitpunkte jeweils ein Merkmalsvektor in einem Merkmalsraum gebildet wird, wobei für eine erste Umgebungssituation wenigstens ein Wert einer Einstellung für eine Signalverarbeitung des Hörsystems vorgegeben wird, und wobei in einer Anwendungsphase zu einem Anwendungszeitpunkt Werte für die erste Mehrzahl an Umgebungsdaten des ersten Benutzers oder eines zweiten Benutzers des Hörsystems ermittelt werden und anhand der Werte der Umgebungsdaten ein entsprechender Merkmalsvektor für den Anwendungszeitpunkt gebildet wird, und der wenigstens eine Wert der Signalverarbeitung des Hörsystems entsprechend seiner Vorgabe für die erste Umgebungssituation eingestellt wird, und das Hörsystem mit dem so eingestellten wenigstens einen Wert betrieben wird.
-
In Hörsystemen wird einem Benutzer ein Schallsignal zum Hören bereitgestellt, welches auf der Basis eines elektrischen Audiosignals erzeugt wird, das seinerseits eine akustische Umgebung des Benutzers repräsentiert. Ein wichtiger Fall eines Hörsystems ist hierbei ein Hörgerät, mittels dessen eine Hörschwäche des Benutzers durch eine insbesondere frequenzbandabhängige Signalverarbeitung des Audiosignals möglichst korrigiert werden soll, um so bevorzugt Nutzsignale in einem Umgebungsschall für den Benutzer besser hörbar zu machen. Hörgeräte können dabei in verschiedenen Bauformen, z.B. BTE, ITE, CIC, RIC oder weiteren Formen, gegeben sein. Eine hierzu ähnliche Art von Hörsystem ist durch ein Hörhilfegerät wie z.B. ein Cochlea-Implantat oder Knochenleithörer gegeben. Weitere Hörsysteme können aber auch durch PSADs (Personal Sound Amplification Devices: Hörhilfesysteme, die von normal hörenden Personen genutzt werden) sowie Headsets oder Kopfhörer, insbesondere mit aktiver Rauschunterdrückung („active noise cancelling“) gegeben sein.
-
Ein Betrieb eines Hörsystems in Abhängigkeit der Umgebung ist insbesondere für Hörgeräte bekannt. Hierbei wird eine Einstellung der Signalverarbeitung des Audiosignals in Abhängigkeit einer Hörsituation festgelegt, wobei Hörsituationen durch standardisierte Gruppen von akustischen Umgebungen mit bestimmten vergleichbaren akustischen Merkmalen gegeben sind. Wird anhand des Audiosignals erkannt, dass eine der standardisierten Gruppen vorliegt, so wird das Audiosignal mit den entsprechenden, vorab für diese Gruppe von akustischen Umgebungen festgelegten Einstellungen verarbeitet.
-
Die Definition der Hörsituationen erfolgt dabei oftmals vorab nach fest für einzelne akustisch messbare Merkmale vorgegebenen Kriterien, z.B. werksseitig. Für die vorgegebenen Hörsituationen werden oftmals Voreinstellungen der jeweils zugehörigen Signalverarbeitung vorgegeben, welche durch den Benutzer noch individuell angepasst werden können.
-
Das akustische Erkennen der einzelnen Hörsituationen ist jedoch zum einen eine komplexe und ggf. fehlerbehaftete Angelegenheit, da eine akustische Umgebung ggf. nicht exakt die akustischen Merkmale aufweist, welche die entsprechende Hörsituation eigentlich erfordern würde (z.B. eine „Cocktail Party“ im Freien in der Nähe einer Straße o.ä.). Zum anderen ist es für einen Benutzer infolge der Vielzahl an Merkmalen, welche zur Unterscheidung einzelner akustischer Umgebungen voneinander und zu einer entsprechenden Zuordnung der Hörsituationen ausgewertet werden, schlicht kaum möglich, sinnvoll selbst Definitionen von Hörsituationen vorzunehmen, welche auf seinen Alltag ideal abgestimmt sind. Infolgedessen ist der Benutzer diesbezüglich meist auf die vorgegebenen Definitionen von Hörsituationen angewiesen.
-
Die
JP 2005 203 981 A behandelt die Wiedergabe eines unabhängig von Schallumgebungen klaren Klangs durch eine Verbesserung der Hörbarkeit von Sprache, entsprechend einer Unterscheidung zwischen Sprache und Nicht-Sprache, Umgebungsgeräuschen, Lärm oder einem Nachhall. In einem akustischen Signalprozessor eines Hörgerätes o.ä. werden verschiedene akustische Signale in einer Lernphasen aussortiert. Das in der Lernphase aussortierte akustische Signal wird für die Signalverarbeitung verwendet, um es einem Benutzer zu ermöglichen, ein eingegebenes akustisches Signal z.B. verstärkt zu hören.
-
Die
DE 10 2012 201 158 A1 nennt ein benutzerabhängiges Anpassen von Hörvorrichtungen bzw. Hörgeräten an spezifische Eingangssignale. Daher wird zum Anpassen einer Hörvorrichtung vorgeschlagen, Eingangsvektoren zu gewinnen, die jeweils eine akustische Situation repräsentieren, mindestens einen veränderbaren Parameter der Hörvorrichtung bereitzustellen, Benutzereingabewerte für den veränderbaren Parameter der Hörvorrichtung zumindest für einige der Eingangsvektoren zu gewinnen, und eine Zuordnungsvorschrift der Hörvorrichtung von einem der Eingangsvektoren zu einem Wert des veränderbaren Parameters durch halbüberwachtes Lernen anhand der Eingangsvektoren und der gewonnen Benutzereingabe zu trainieren. Das Trainieren kann sich auch auf eine direkte Regression beziehen.
-
In der
US 2015 / 0 124 984 A1 ist ein Hörgerät offenbart, das eine Schallumgebung auf der Grundlage eines Musters für einen Tagesablauf klassifiziert, Schallinformationen unter Verwendung eines auf dem besagten Muster basierenden Schallumgebungskategoriesatzes kategorisiert, und die Ausgabe der Schallinformationen auf der Grundlage der klassifizierten Schallumgebung steuert.
-
Der Erfindung liegt daher die Aufgabe zugrunde, ein Verfahren anzugeben, mittels dessen ein Benutzer ein Hörsystem einerseits umgebungsabhängig betreiben kann, die Umgebungen aber möglichst individuell auf den Benutzer abgestimmt werden können.
-
Die genannte Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren zum umgebungsabhängigen Betrieb eines Hörsystems, wobei in einer Trainingsphase zu einer Mehrzahl an Erhebungszeitpunkten jeweils Werte für eine erste Mehrzahl an Umgebungsdaten eines ersten Benutzers des Hörsystems ermittelt wird, und anhand der Werte der Umgebungsdaten für jeden der Erhebungszeitpunkte jeweils ein Merkmalsvektor in einem wenigstes vierdimensionalen, insbesondere mindestens sechsdimensionalen Merkmalsraum gebildet wird, jeder der Merkmalsvektoren jeweils auf einen zugehörigen Repräsentantenvektor in einem maximal dreidimensionalen, insbesondere zweidimensionalen Darstellungsraum abgebildet wird, und anhand einer räumlichen Verteilung einer Untergruppe von Repräsentantenvektoren eine erste Region im Darstellungsraum für eine erste Umgebungssituation des Hörsystems definiert wird, wobei für die erste Umgebungssituation wenigstens ein Wert einer Einstellung für eine Signalverarbeitung des Hörsystems vorgegeben wird.
-
Hierbei ist vorgesehen, dass in einer Anwendungsphase zu einem Anwendungszeitpunkt Werte für die erste Mehrzahl an Umgebungsdaten des ersten Benutzers oder eines zweiten Benutzers des Hörsystems ermittelt werden und anhand der Werte der Umgebungsdaten ein entsprechender Merkmalsvektor für den Anwendungszeitpunkt gebildet wird, anhand der ersten Region des Darstellungsraumes und anhand des Merkmalsvektors für den Anwendungszeitpunkt ein Vorliegen der ersten Umgebungssituation, insbesondere automatisch, erkannt wird, und der wenigstens eine Wert der Signalverarbeitung des Hörsystems entsprechend seiner Vorgabe für die erste Umgebungssituation, insbesondere automatsch, eingestellt wird, und das Hörsystem mit dem so eingestellten wenigstens einen Wert betrieben wird. Vorteilhafte und teils für sich gesehen erfinderische Ausgestaltungen sind Gegenstad der Unteransprüche und der nachfolgenden Beschreibung.
-
In der Trainingsphase wird somit einerseits die erste Umgebungssituation anhand der Umgebungsdaten festgelegt, sowie ermittelt, wie sich die erste Umgebungssituation anhand der Umgebungsdaten von anderen Umgebungssituationen unterscheiden lässt. Des Weiteren wird eine Einstellung der Signalverarbeitung vorgegeben, welche für die erste Umgebungssituation auf ein Audiosignal des Hörsystems anzuwenden ist. In der Anwendungsphase werden die aktuell vorliegenden Werte für die entsprechenden Umgebungsdaten ermittelt, und es kann nun anhand dieser Werte der Umgebungsdaten festgestellt werden, ob die erste Umgebungssituation vorliegt. Ist dies der Fall, wird das Hörsystem mit der diesbezüglich vorgegebenen Einstellung der Signalverarbeitung betrieben.
-
In der Trainingsphase werden dabei die Werte der Umgebungsdaten zu verschiedenen Erhebungszeitpunkten ermittelt, sodass die Merkmalsvektoren, welche anhand der zu den einzelnen Erhebungszeitpunkten ermittelten Werte an Umgebungsdaten gebildet werden, repräsentativ für möglichst viele akustische Umgebungen sind. Als Umgebungsdaten sind hierbei bevorzugt akustische Umgebungsdaten zu akustischen Umgebungsgrößen wie z.B. Frequenzen eines Grundrauschens, Stationarität eines Schallsignals, Schallpegel, Modulationsfrequenzen, und dergleichen umfasst. Weiter können als Umgebungsdaten auch im weiteren Sinne „nicht-akustische“ Daten z.B. zu Beschleunigungen oder sonstigen Bewegungsgrößen eines Bewegungssensors des Hörsystems, aber auch biometrische Daten, welche z.B. anhand von EEG, EMG, PPG (Photoplethysmogram), EKG o.ä. erfasst werden können, umfasst sein.
-
Die genannten Größen können dabei durch eine Hörvorrichtung des Hörsystems, also z.B. durch ein Hörgerät, und/oder durch ein weiteres Gerät des Hörsystems, z.B. ein Smartphone oder eine Smartwatch oder ein sonstiges geeignetes Gerät mit entsprechender Sensorik, gemessen werden. Das Ermitteln der Werte der Umgebungsdaten aus den gemessenen Größen kann im jeweiligen Gerät selbst - also im Hörgerät oder im Smartphone o.ä. - erfolgen, oder nach einer Übertragung z.B. vom Hörgerät bzw. von einem Headset auf das Smartphone oder ein vergleichbares Gerät des Hörsystems erfolgen. Das Messen der Größen erfolgt dabei vorzugsweise kontinuierlich bzw. quasi-kontinuierlich (also in sehr kurzen Zeitabständen, bspw. im Bereich von Sekunden), bevorzugt über einen längeren Zeitraum von z.B. einer Woche o.ä., sodass die für den Benutzer üblicherweise auftretenden Umgebungen möglichst vollständig erfasst und hierdurch quasi „kartographiert“ werden.
-
Als Werte der Umgebungsdaten können die ermittelten Werte der genannten oder anderer entsprechender Größen entweder direkt in die jeweiligen Merkmalsvektoren eingehen, oder die in die Merkmalsvektoren eingehenden Werte werden durch Bildung von Mittelwert und/oder Mittelwert-Durchgangsrate und/oder Varianz oder vergleichbarer statistischer Verfahren anhand der jeweiligen Größen gebildet. Im letztgenannten Fall besteht ein Merkmalsektor vorzugsweise aus einzelnen Einträgen, welche jeweils in beschriebener Weise mittels statistischer Methoden aus den genannten akustischen Umgebungsgrößen, Bewegungsgrößen und/oder biometrischen Daten gewonnen werden. Hierbei kann zu einem Erhebungszeitpunkt jeweils der zeitliche Mittelwert bzw. die Mittelwert-Durchgangsratte bzw. die Varianz einzelner Werte einer Größe seit dem vorangegangenen Erhebungszeitpunkt gebildet werden, und als entsprechender Wert der Umgebungsdaten in den Merkmalsvektor eingehen.
-
Hierbei werden zu jedem Erhebungszeitpunkt insgesamt Werte für wenigstens vier verschiedene Merkmale, also einzelne statistische Ausprägungen verschiedener Umgebungs- und/oder Bewegungs- und/oder biometrischer Größen ermittelt. Bevorzugt werden Werte für wenigstens sechs Merkmale ermittelt. Besonders bevorzugt werden für jede einzelne Größe dieselben statistischen Ausprägungen, wie oben z.B. als Mittelwert, Mittelwert-Durchgangsrate und Varianz, als Werte der Umgebungsdaten ermittelt.
-
Um nun einem Benutzer die Möglichkeit zu geben, individuell einzelne Umgebungssituationen anhand der ermittelten „Merkmale“, also der entsprechenden Merkmalsvektoren festzulegen, werden die einzelnen Merkmalsvektoren, welche ja die „Merkmale“ zu einzelnen Erhebungszeitpunkten beinhalten, zunächst auf den jeweils zugehörigen Repräsentantenvektor im Darstellungsraum abgebildet. Der Darstellungsraum ist hierbei maximal dreidimensional, bevorzugt zweidimensional, sodass die Repräsentantenvektoren für eine Definition der ersten Umgebungssituation über die erste Region für den Benutzer insbesondere visualisiert werden können. Eine derartige Visualisierung des Darstellungsraumes kann dabei insbesondere auf einer geeigneten Visualisierungseinrichtung des Hörsystems erfolgen, z.B. auf einem Bildschirm eines Smartphones, welches in diesem Fall durch seine Einbindung in das Verfahren ein Teil des Hörsystems wird. Ein zweidimensionaler Darstellungsraum lässt sich dabei unmittelbar als „Karte“ darstellen, ein dreidimensionaler Darstellungsraum bspw. durch zweidimensionale Schnittebenen oder dreidimensionalen „Punktewolken“ o.ä., zwischen denen der Benutzer wechseln oder zoomen bzw. sich bewegen kann.
-
Die Abbildung der Merkmalsvektoren des Merkmalraumes auf die Repräsentantenvektoren des Darstellungsraumes erfolgt dabei vorzugsweise derart, dass „ähnliche Merkmalsvektoren“, also Merkmalsvektoren, welche infolge einer relativen Ähnlichkeit ihrer Merkmale im Merkmalsraum vergleichsweise nahe beieinander liegen, auch im Darstellungsraum vergleichsweise nahe beieinander liegen (bezogen z.B. auf die gesamte Größe des jeweils verwendeten Raumes). Voneinander deutlich separierte Repräsentantenvektoren (oder Gruppen von Repräsentantenvektoren) im Darstellungsraum lassen dabei bevorzugt einen Rückschluss auf voneinander separierte Merkmalsvektoren (oder entsprechende Gruppen von Merkmalsvektoren) im Merkmalsraum zu, wodurch eine Unterscheidung möglich wird. Umgekehrt wird eine Unterscheidung von Gruppen von Merkmalsvektoren, mit zunehmendem Überlapp der zugehörigen, entsprechende Gruppen ihrer jeweiligen Repräsentantenvektoren im Darstellungsraum schwieriger.
-
Anhand einzelner, möglichst nahe beieinander liegender Repräsentantenvektoren kann nun im Darstellungsraum eine erste Region definiert werden. Diese Definition kann insbesondere durch den Benutzer des Hörsystems vorgenommen werden, oder auch durch eine Hilfsperson des Benutzers (z.B. einen Betreuer, Krankenpfleger etc.) erfolgen. Für die Definition wird dabei bevorzugt eine Visualisierung des Darstellungsraumes herangezogen. Insbesondere können einzelne Repräsentantenvektoren dabei noch mittels einer zusätzlichen Markierung, bspw. über eine Farbdarstellung, versehen sein, welcher bevorzugt einer zusätzlichen Markierung des jeweiligen Erhebungszeitpunktes je nach Alltags-/Tagessituation o.ä. für den zugrunde liegenden Merkmalsvektor durch den Benutzer entsprechen kann. Dies kann für den Benutzer die Zuordnung der Repräsentantenvektoren vereinfachen. Die Markierung des Erhebungszeitpunktes kann dabei beispielsweise durch eine Eingabe des Benutzers erfolgen, welche global eine bestimmte Situation in seinem Tagesablauf festlegt, also z.B. zu Hause, im Auto (auf dem Weg zur Arbeit/nach Hause), im Büro, in der Kantine, beim Sport, im Garten etc.
-
Es wird nun also eine Untergruppe von Repräsentantenvektoren herangezogen, um anhand ihrer räumlichen Verteilung, insbesondere anhand des von ihnen (also von ihren entsprechenden Endpunkten im Darstellungsraum) eingeschlossenen Bereiches die erste Region zu definieren. Dieser Untergruppe von Repräsentatnenvektoren entspricht eine Gruppe von Merkmalsvektoren im Merkmalsraum, sodass hierdurch über die entsprechenden Wertebereiche der Merkmale die erste Umgebungssituation festgelegt ist.
-
Für die so definierte erste Umgebungssituation, welche vorzugsweise in Beziehung zu einer Situation im Tagesablauf des Benutzers steht, aber noch durch weitere Merkmale, insbesondere akustische Merkmale charakterisiert sein kann (z.B. unterschiedliche akustische Umgebungen im Büro oder zu Hause etc.), wird nun der wenigstens eine Wert der Einstellung für die Signalverarbeitung des Hörsystems vorgegeben. Dies erfolgt bevorzugt durch den Benutzer des Hörsystems (oder z.B. auch durch eine technisch versierte Begleit- oder Betreuungsperson). Der Benutzer begibt sich hierfür bevorzugt in die entsprechende Umgebung (z.B. in ein fahrendes Auto, drinnen zu Hause, draußen im Garten, im Büro/am Arbeitsplatz etc.) und modifiziert daraufhin, insbesondere „nach Gehör“, die Signalverarbeitungseinstellungen, z.B. mittels einer Klangwaage die Höhen- oder Tiefenbetonung oder sogenannte adaptive Parameter für Wind- oder Störgeräuschunterdrückung. Grundsätzlich kommt aber auch eine Feinjustierung jedweder Parameter in Betracht, welche ein voll oder semiprofessionell ausgebildeter Akustiker typischerweise nutzt. Ebenso ist es möglich, dass die umgebungsspezifische Signalverarbeitungseinstellung, und somit die Definition der Einstellung für die erste Umgebungssituation, von einem solchen Akustiker in einer Fernanpassungssitzung vorgenommen wird.
-
Die Trainingsphase kann somit der Systematik nach in eine Analysephase und eine Definitionsphase eingeteilt werden, wobei die Analysephase das kontinuierliche Messen der betreffenden Größen, das Ermitteln der einzelnen entsprechenden Merkmalswerte zu den jeweiligen Erhebungszeitpunkten sowie eine Abbildung der Merkmalsvektoren in den Darstellungsraum umfasst, während in der Definitionsphase anhand der Repräsentantenvektoren die erste Umgebungssituation sowie der zugehörige wenigstens eine Wert der Einstellung für die Signalverarbeitung definiert wird.
-
Während einer Anwendungsphase werden die vorgenommenen Definitionen der ersten Umgebungssituation und der zugehörigen wenigstens einen Einstellung der Signalverarbeitung des Hörsystems in den Betrieb des Hörsystems eingebunden. Hierfür werden zu einem Anwendungszeitpunkt der Anwendungsphase zunächst durch das Hörsystem, insbesondere auch durch eine Hörvorrichtung des Hörsystems, dieselben Umgebungs- und/oder Bewegungs- und/oder biometrischer Größen gemessen, welche auch in der Trainingsphase zum Ermitteln der Werte an Umgebungsdaten gemessen werden. In dazu analoger Weise werden aus den gemessenen Grüßen die Werte für dieselben Arten an Umgebungsdaten und ein entsprechender Merkmalsvektor gebildet, wie in der Trainingsphase.
-
Der Merkmalsvektor für den Anwendungszeitpunkt wird nun in den Darstellungsraum abgebildet. Dies erfolgt bevorzugt mittels desselben Algorithmus wie die entsprechenden Abbildungen der Trainingsphase, oder durch ein zu dem besagten Algorithmus möglichst konsistentes Näherungsverfahren, welches insbesondere den Merkmalsvektor des Anwendungszeitpunktes auf einen Repräsentantenvektor im Darstellungsraum abbildet, für welchen Repräsentantenvektoren seiner unmittelbaren Umgebung auf solchen Merkmalsvektoren der Trainingsphase basieren, welche im Merkmalsraum auch die unmittelbare Umgebung des Merkmalsvektors des Anwendungszeitpunktes bilden.
-
Liegt nun der für den Anwendungszeitpunkt so gebildete Repräsentantenvektor in der ersten Region des Darstellungsraumes, kann darauf geschlossen werden, dass die erste Umgebungssituation vorliegt, und entsprechend die hierfür vorab definierte wenigstens Einstellung der Signalverarbeitung im Betrieb des Hörsystems verwendet werden, also z.B. auf ein Audiosignal des Hörsystems eine entsprechende, ggf. frequenzbandabhängige Verstärkung und/oder Dynamik-Kompression, Sprachsignalanhebung etc. angewandt werden.
-
Alternativ dazu können im Merkmalsraum diejenigen Bereiche identifiziert werden, welche den Merkmalsvektoren entsprechen, deren Repräsentantenvektoren im Darstellungsraum von der ersten Region umfasst sind. Die Erkennung der ersten Umgebungssituation kann dann auch anhand der besagten Bereiche im Merkmalsraum erfolgen, wenn der Merkmalsvektor für den Anwendungszeitpunkt in einem solchen Bereich liegt.
-
Insbesondere kann für die Bildung des Merkmalsvektors des Anwendungszeitpunktes eine kurzfristige zeitliche Mitteilung (etwa im Bereich von wenigen Sekunden bis einigen Minuten) oder sonstige statistische Bearbeitung erfolgen, bevorzugt derselben Art wie bei der Bildung der Merkmalsvektoren der Trainingsphase.
-
Das beschriebene Verfahren erlaubt es, die Definitionen einzelner Umgebungssitationen spezifisch auf Individuen oder spezielle Gruppen von Hörhilfeträgern anzupassen, und diese Definition zudem auch von (technisch versierten) Personen ohne audiologische oder wissenschaftliche Ausbildung vornehmen zu lassen, wobei für die Definitionen der Umgebungssituationen nur ein vergleichsweise geringer Aufwand des Hörsystems (oder einer assistierenden Begleitperson) erforderlich ist, da dies unmittelbar über die Visualisierung des vorzugsweise zweidimensionalen Darstellungsraumes erfolgen kann.
-
Hierdurch kann insbesondere der Bedarf von kleinen Benutzergruppen adressiert werden, für welche seitens eines Herstellers (oder eines anderen Lösungsanbieters) eine spezifische Definition von Umgebungssituationen zur automatischen Einstellung des Hörsystems einen zu hohen Aufwand bedeuten würde. Dadurch können Hörsysteme Klassifikatoren für die Umgebung bereitstellen, die einen Bedarf für solche Benutzergruppen gezielter zufrieden stellen, als die bislang bekannten „stereotypischen‟ Klassen von Umgebungssituationen, da universalisierte Klassen wie z.B. „im Auto", „vor dem Fernseher‟ eben deswegen definiert wurden, weil überwältigend viele Benutzer von Hörsystemen sich in solchen Situation wiederfinden.
-
Da das Verfahren darüber hinaus auch geeignet ist, von technisch versierten Personen, ohne audiologische oder wissenschaftliche Ausbildung genutzt zu werden, eröffnet es die Möglichkeit, dass nicht nur ein Hersteller eines Hörsystems (wie z.B. Hörgerätehersteller), sondern andere Marktteilnehmer oder Benutzer eigene Definitionen vornehmen, z.B. auch Hörgeräteakustiker o.ä., Begleiter von Personen spezieller Berufsgruppen (z.B. von Zahnärzten, Musikern, Jägern) oder auch einzelne technisch versierte Benutzer. Somit wird der Einsatz des Verfahrens für eine größere Anzahl von Benutzern relevant, da es anteilig meist wenige Benutzer von Hörsystemen gibt, die zu umfangreichen Angaben (Eingaben z.B. in Smartphone-Apps) bereit sind, dagegen viele Benutzer, die am möglichst wenige Angaben über das Anwählen einer konkreten Funktion hinaus machen möchten, und allenfalls eine Eingabe vornehmen, wenn ihnen ein Höreindruck unangenehm oder verbesserungswürdig erscheint.
-
Insbesondere ist es insofern auch möglich, dass in der Trainingsphase die Definition der ersten Umgebungssituation durch einen ersten Benutzer des Hörsystems durchgeführt wird, während diese Definition in der Anwendungsphase durch einen zweiten Benutzer verwendet wird. Somit kann ein erster Benutzer die von ihm definierten Umgebungssituationen für entsprechende Merkmalsvektoren anderen Benutzern zum Gebrauch zur Verfügung stellen. Die Definition der zur ersten Umgebungssituation zugehörigen Einstellung der Signalverarbeitung wird bevorzugt durch denjenigen Benutzer durchgeführt, welcher das Hörsystem in der Anwendungsphase verwendet.
-
Bevorzugt wird in der Trainingsphase durch eine Benutzereingabe jeweils eine Information zu einer aktuellen Nutzungssituation des Hörsystems, insbesondere in Abhängigkeit einer abgegrenzten Situation einer Tagesroutine des ersten Benutzers des Hörsystems hinterlegt, wobei die jeweilige Information zur Nutzungssituation mit den Merkmalsvektoren und/oder den zugehörigen Repräsentantenvektoren verknüpft wird, welche anhand der während einer bestimmten Nutzersituation erhobenen Werte der Umgebungsdaten gebildet werden. Die Nutzungssituation beschreibt dabei bevorzugt eine bestimmte Situation im Tagesablauf des Benutzers, also z.B. zu Hause, im Auto (auf dem Weg zur Arbeit/nach Hause), im Büro, in der Kantine, beim Sport, im Garten etc. Durch eine zusätzliche Markierung des Merkmalsvektors bzw. des zugehörigen Repräsentantenvektors kann der Benutzer eine Zuordnung der ersten Umgebungssituation auch hinsichtlich der Nutzungssituation vornehmen.
-
Günstigerweise wird wenigstens ein Teilbereich des Darstellungsraums, insbesondere mittels eines Bildschirms visualisiert und dabei wenigstens eine Teilmenge der Repräsentantenvektoren angezeigt, wobei die erste Region im Darstellungsraum anhand einer Benutzereingabe, insbesondere hinsichtlich einer Gruppierung von visualisierten Repräsentantenvektoren, definiert wird. Der Bildschirm ist hierbei insbesondere in eine entsprechende Hilfsvorrichtung des Hörsystems integriert, wie z.B. in ein mit der Hörvorrichtung insbesondere drahtlos verbindbares Smartphone, Tablet o.ä. Der Benutzer kann dann direkt auf dem Touchscreen die einzelnen Repräsentantenvektoren in einer zwei- oder ggf. auch dreidimensionalen Darstellung (im 3D-Fall über entsprechende Schnitteben) ansehen und entsprechend zur ersten Region gruppieren.
-
Hierbei wird insbesondere für wenigstens einige der Repräsentantenvektoren, wenigstens auf eine Aktion des ersten Benutzers hin, die jeweilige Information zur Nutzungssituation visualisiert. Dies kann über eine entsprechende Farbdarstellung oder über eine Einblendung eines Labels am jeweiligen Repräsenantenvektor erfolgen.
-
Günstigerweise erfolgt zumindest in der Trainingsphase die Abbildung der Merkmalsvektoren auf die jeweils zugehörigen Repräsentantenvektoren derart, dass Abstandsrelationen von jeweils wenigstens drei Merkmalsvektoren im Merkmalsraum infolge der Abbildung wenigstens näherungsweise für Abstandsrelationen der zugehörigen drei Repräsentantenvektoren im Darstellungsraum erhalten bleiben. Dies bedeutet insbesondere, dass für jeweils drei Merkmalsvektoren mv1, mv2, mv3 mit folgender Abstandsrelation im Merkmalsraum:
die zugehörigen Repräsentantenvektoren rv1 (zu mv1), rv2 (zu mv2), rv3 (zu mv3) im Darstellungsraum die Abstandsrelation
erfüllen. Hierdurch werden Gruppen „ähnlicher“ Merkmalsvektoren, welche sich bezogen auf den gesamten im Merkmalsraum abgedeckten Bereich nur wenig voneinander unterscheiden, auf „ähnliche“ Repräsentantenvektoren abgebildet, welche sich bezogen auf den gesamten im Darstellungsraum abgedeckten Bereich ebenfalls nur wenig voneinander unterscheiden.
-
Bevorzugt erfolgt die Abbildung der Merkmalsvektoren auf die jeweils zugehörigen Repräsentantenvektoren anhand einer Hauptkomponentenanalyse (PCA) und/oder einer lokal linearen Einbettung (LLE) und/oder einer Isomap-Abbildung und/oder einer Sammon-Abbildung und/oder bevorzugt anhand eines t-SNE-Algorithmus und/oder bevorzugt anhand eines selbstorganisierenden Kohonen-Netzwerks und/oder bevorzugt anhand einer UMAP-Abbildung. Die genannten Verfahren erfüllen die genannte Eigenschaft hinsichtlich der Abstandsrelationen und sind effizient implementierbar.
-
Vorteilhafterweise werden in der Anwendungsphase zu einer Mehrzahl an aufeinanderfolgenden Anwendungszeitpunkten jeweils Werte für die erste Mehrzahl an Umgebungsdaten ermittelt und anhand der Werte der Umgebungsdaten jeweils entsprechende Merkmalsvektoren für die aufeinanderfolgenden Anwendungszeitpunkte gebildet, wobei ein Vorliegen der ersten Umgebungssituation anhand der ersten Region und anhand der besagten Merkmalsvektoren für die aufeinanderfolgenden Anwendungszeitpunkte, insbesondere anhand eines Polygonzugs aus den besagten Merkmalsvektoren oder eines Polygonzugs aus den Repräsentantenvektoren, welche im Darstellungsraum den besagten Merkmalsvektoren entsprechen, erkannt wird. Insbesondere können hierbei mittels Machine Learning auch Bereiche für Merkmals- bzw. Repräsentantenvektoren außerhalb des betreffenden Polygonzugs identifiziert werden, in welchen für einen Anwendungszeitpunkt ein entsprechender Merkmals- bzw. Repräsentantenvektor zu einem Vorliegen der ersten Umgebungssituation führt.
-
Es werden z.B. immer die aktuellsten fünf Repräsentantenvektoren (der vergangenen Anwendungszeitpunkte) genommen und ein Polygonzug konstruiert, der alle Repräsentantenvektoren umfasst (einige oder alle Repräsentantenvektoren bzw. deren Endpunkte stellen dann Eckpunkte des Polygonzuges dar). Das Hörsystem wird erst dann der ersten Umgebungssituation zugeordnet und die entsprechende Einstellung der Signalverarbeitung aktiviert, wenn mindestens ein vorab definierbarer Prozentsatz der Fläche des Polygonzuges (z.B. 80%) innerhalb der ersten Region im Darstellungsraum liegt. Dadurch kann vermieden werden, dass ein einzelner „Ausreißer“ eines Einzelmerkmals, der auf ein zufälliges, aber für eine Umgebung ggf. untypisches Vorkommen zurückzuführen ist, bereits zu einer geänderten Klassifikation hinsichtlich der Umgebungssituation führt.
-
Günstigerweise werden für die erste Mehrzahl an Umgebungsdaten akustische Umgebungsdaten anhand eines Signals wenigstens eines elektroakustischen Eingangswandlers, insbesondere eines Mikrofons ermittelt, und/oder bewegungsbezogene Umgebungsdaten anhand wenigstens eines Signals eines insbesondere mehrdimensional auflösenden Beschleunigungssensors und/oder eines Gyroskops und/oder eines GPS-Sensors ermittelt. Bevorzugt werden für die erste Mehrzahl an Umgebungsdaten weiter orstbezogene Umgebungsdaten anhand wenigstens eines Signals eines GPS-Sensors und/oder einer WLAN-Verbindung und/oder biometrische Umgebungsdaten anhand eines EKG-Sensors und/oder eines EEG-Sensors und/oder eines PPG-Sensors und/oder eines EMG-Sensors ermittelt. Insbesondere kann ein Sensor zur Erzeugung biometrischer Umgebungsdaten auf einer als Smartwatch ausgestalteten Hilfsvorrichtung angeordnet sein.
-
Die genannten Sensoren sind für eine möglichst umfassende Charakterisierung einer Umgebungssituation eines Hörsystems besonders geeignet.
-
Bevorzugt wird dabei für die akustischen Umgebungsdaten das Signal des wenigstens einen elektroakustischen Eingangswandlers hinsichtlich einer Sprachaktivität des ersten bzw. zweiten Benutzers des Hörsystems und/oder hinsichtlich eines Auftretens von Wind am elektroakustischen Eingangswandler und/oder hinsichtlich eines spektralen Schwerpunkts eines Rauschhintergrundes und/oder - hinsichtlich eines Rauschhintergrundes in wenigstens einem Frequenzband und/oder hinsichtlich einer Stationarität eines Schallsignals der Umgebung und/oder hinsichtlich einer Autokorrelationsfunktion und/oder hinsichtlich einer Modulationstiefe bei einer gegebenen Modulationsfrequenz, welche bevorzugt 4 Hz und maximal 10 Hz beträgt, und/oder hinsichtlich eines Einsetzens einer Sprachaktivität, insbesondere einer eigenen Sprachaktivität des Benutzers, analysiert.
-
Günstigerweise werden als Werte der Umgebungsdaten für einen Erhebungszeitpunkt und/oder den Anwendungszeitpunkt jeweils ein Mittelwert und/oder eine Varianz und/oder eine Mittelwert-Durchgangsrate und/oder ein Wertebereich und/oder ein Median der jeweiligen Umgebungsdaten, insbesondere bezogen auf einen Zeitraum zwischen dem jeweiligen Erhebungszeitpunkt und einem unmittelbar vorangehenden Erhebungszeitpunkt bzw. auf einen Zeitraum zwischen dem Anwendungszeitpunkt und einem unmittelbar vorangehenden Anwendungszeitpunkt, ermittelt. Mittels dieser Daten lässt sich eine Umgebungssituation eines Hörsystems besonders umfassend charakterisieren.
-
Bevorzugt wird während eines Erhebungszeitpunktes mittels des wenigstens einen elektroakustischen Eingangswandlers ein Mittschnitt eines Schallsignals der Umgebung erfolgt, und dem Merkmalsvektor sowie dem entsprechenden Repräsentantenvektor für den Erhebungszeitpunkt zugeordnet, wobei auf eine Benutzereingabe hin der Mittschnitt über wenigstens einen Ausgangswandler des Hörsystems, insbesondere über einen Lautsprecher, wiedergegeben wird. So kann der Benutzer zusätzlich erkennen, welches konkrete akustische Ereignis - also welches Geräusch - einem Repräsentantenvektor zugrunde liegt, und dies für die Definition der ersten Region heranziehen.
-
Günstigerweise werden anhand der akustischen Umgebungsdaten jeweils einzelne Vektorprojektionen der Merkmalsvektoren der Erhebungszeitpunkte in einen akustischen Merkmalsraum gebildet, wobei die Vektorprojektionen des akustischen Merkmalsraumes jeweils auf akustische Repräsentantenvektoren in einem maximal dreidimensionalen, insbesondere zweidimensionalen akustischen Darstellungsraum abgebildet werden, wobei im akustischen Darstellungsraum eine zweite Region für die erste Umgebungssituation des Hörsystems definiert wird, und wobei ein Vorliegen der ersten Umgebungssituation zusätzlich anhand der zweiten Region des akustischen Darstellungsraumes, insbesondere durch einen Vergleich mit einer Abbildung des Merkmalsvektors des Anwendungszeitpunktes in den akustischen Darstellungsraum, erkannt wird.
-
Es mag sein, dass sich der Benutzer des Hörsystems in einer Umgebung aufhält, in der ihn bestimmte kurze Geräusche stören, so dass er für diese Umgebung Signalverarbeitungseinstellungen bevorzugt, die diese Geräusche dämpfen. Ein typisches Beispiel ist das Schlagen eines Löffels an eine Kaffeetasse oder, vergleichbar, das schrille Klappern von Geschirr. Es gibt hierfür unterschiedliche Möglichkeiten, etwa, die Verstärkung hoher Frequenzen etwas zu reduzieren, die Dynamikkompression im hohen Frequenzbereich zu erhöhen oder eine Signalverarbeitung zu aktivieren, die gezielt plötzlich auftretende Schallspitzen abmildert.
-
Wenn nun der Benutzer exemplarisch einmal einen Repräsentantensvektor markiert, welcher auf der plötzlich eintretenden Schallspitze des an die Kaffeetasse schlagenden Löffels beruht, dann kann der Benutzer in einer visualisierten Darstellung die Markierung des entsprechenden Repräsentantenvektors auffinden. Dieser ist in jenem Bereich des Darstellungsraumes zu erwarten, in dem die Repräsentantenvektoren einer Nutzungssituation „zu Hause‟ liegen, nicht aber in Nutzungssituationen wie „Büro‟ oder „im Auto‟. Der Benutzer könnte nun für die Nutzungssituation „zu Hause‟ eine der genannten Änderungen festlegen, z.B. eine erhöhte Dynamikkompression im hohen Frequenzbereich. Bevor er dies vornimmt, ist eine Überprüfung sinnvoll, ob es andere, ähnliche Geräusche gibt, die sich auf Grund der geänderten Signalverarbeitungseinstellungen ebenfalls anders anhören könnten.
-
Hierbei kann der Benutzer von einer Darstellung des entsprechenden akustischen Repräsentantenvektors, welcher eine Projektion des entsprechenden akustischen Merkmalsvektors der akustischen Merkmale darstellt, im akustischen Darstellungsraum profitieren, um so die erste Umgebungssituation zusätzlich oder auch allein anhand der Darstellung der rein akustischen Umgebung im akustischen Darstellungsraum den entsprechenden zweiten Bereich vornehmen zu können.
-
Bevorzugt können dazu der Darstellungsraum unter entsprechender Hervorhebung des für das Schallereignis relevanten Repräsentantenvektors sowie der akustische Darstellungsraum mit dem entsprechenden akustischen Repräsentantenvektor zeitgleich, z.B. nebeneinander, visualisiert werden.
-
Diese Darstellung bietet für den Benutzer den Vorteil, dass in der Darstellung der akustischen Repräsentantenvektoren Schallereignisse (also Geräusche) erkannt werden können, die dem markierten Merkmal sehr ähnlich sind („Türglocke“) - eben furch eine relative Nähe der entsprechenden akustischenRepräsentantenvektoren. Auch die „vollen“ Repräsentantenvektoren (welche zusätzlich auf nichtakustischen Daten beruhen) beider Schallereignisse („Löffel an Kaffeetasse“ und „Türglocke“) sind dabei mutmaßlich in der gleichen Region des Darstellungsraumes zu finden sind und insbesondere derselben Nutzungssituation zugeordnet („zu Hause“).
-
Wenn nun der Benutzer für den ersten zweiten Bereich des Darstellungsraumes bzw. des akustischen Darstellungsraumes und somit für die so definierte erste Umgebungssituation eine Einstellung der Signalverarbeitung vornimmt, wodurch spontan auftretende, hell klingende Töne („Kaffeetasse“) z.B. gedämpft werden, dann kann er infolge des akustischen Darstellungsraumes erkennen, dass ähnliche Geräusche („Türglocke“ oder auch „Rauchmelder“) ebenfalls gedämpft werden, wodurch er ggf. eine Abwägungsentscheidung treffen kann, eine Dämptung evtl. nicht vollständig durchzuführen, um derartige Geräusche nicht zu überhören.
-
Als weiter vorteilhaft erweist es sich, wenn die erste Umgebungssituation zusätzlich anhand einer ersten Nutzungssituation definiert wird, und für die erste Umgebungssituation ein erster Wert der Einstellung für die Signalverarbeitung des Hörsystems vorgegeben wird, und eine zweite Umgebungssituation anhand einer zweiten Nutzungssituation definiert wird, und ein entsprechender zweiter Wert der besagten Einstellung vorgegeben wird, wobei insbesondere die zweite Region, welche im akustischen Darstellungsraum der ersten Umgebungssituation entspricht, mit der zweiten Region, welche im akustischen Darstellungsraum der zweiten Umgebungssituation entspricht, zumindest teilweise überlappt, wobei ein Vorliegen der ersten oder der zweiten Umgebungssituation anhand einem Vorliegen der ersten bzw. zweiten Nutzungssituation erkannt wird, und daraufhin der erste bzw. zweite Wert der Signalverarbeitung des Hörsystems entsprechend seiner Vorgabe für die erste bzw. zweite Umgebungssituation eingestellt wird.
-
Dies bedeutet insbesondere, dass der Benutzer in die Lage versetzt wird, ähnliche Geräusche zu identifizieren, welche aber in unterschiedlichen Umgebungen und insbesondere unterschiedlichen Nutzungssituationen entstanden sind. Abhängig von der Nutzungssituation kann der Benutzer des Hörsystems für bestimmte, ähnliche Geräusche unterschiedliche Signalverarbeitungseinstellung bevorzugen.
-
Als Beispiel sei hier ein Jäger genannt, welcher das Rascheln einer Zeitung möglicherweise als unangenehm laut empfindet, wogegen er auf der Jagd jedes Rascheln im Laub gerne hören möchte. In der Trainingsphase wird das Rascheln der Zeitung als unangenehm markiert, das Rascheln im Laub ist aber nicht markiert. Sofern die Geräusche zwar akustisch sehr ähnlich sind, jedoch sonst unterscheidbar sind, kann der Benutzer unterschiedliche Umgebungssituationen und somit unterschiedliche Einstellungen der Signalverarbeitung definieren. Ein Wunsch nach unterschiedlicher Behandlung von verschiedenem „Rascheln“ kann z.B. bei den verschiedenen Nutzungssituationen „zu Hause“ (z.B. Zeitung lesen) bzw. „Arbeit/Büro“ (Kollege blättert in Dokumenten) vs. „im Freien“ (Entspannen im Wald) entstehen.
-
Die Möglichkeit nach unterschiedlicher Behandlung wird dann insbesondere bereitgestellt, in dem in der Trainingsphase aus allen Sensoren des Hörgerätes, d.h. anhand der aufgenommenen Audiosignale (Mikrofone) und auch anderen Sensorsignalen Merkmalsvektoren ermittelt werden, welche in den Darstellungsraum abgebildet werden; aus den aufgenommenen Audiosignalen werden akustische Merkmalsvektoren ermittelt, welche in den akustischen Darstellungsraum abgebildet werden.
-
Anhand eines markierten akustischen Repräsentantenvektors kann der Benutzer erkennen, dass er eine geänderte Signalverarbeitung wünscht (z.B. ist „Zeitungsrascheln“ markiert), aber erhält über den akustischen Darstellungsraum, die Information, dass es noch sehr ähnliche Geräusche (hier: Rascheln im Laub). Der markierte akustische Repräsentantenvektor zum Geräusch „Zeitungsrascheln“ kann dabei insbesondere eine erste Untergruppe der akustischer Repräsentantenvektoren und somit einen ersten Bereich im akustischen Darstellungsraum bilden, ein anderer akustischer Repräsentantenvektor zum Geräusch „Rascheln im Laub“ den zweiten Bereich.
-
Der Benutzer kann nun ein solches ähnliches Geräusch in der Visualisierung selektieren und erhält daraufhin im („vollen“) Darstellungsraum den markierten Repräsentantenvektor wie auch den entsprechenden, akustisch ähnlichen Repräsentantenvektor angezeigt und kann anhand ihrer Positionen erkennen, ob sie dort in unterscheidbaren Regionen liegen. Die eine Region repräsentiert dann die Situation „zu Hause‟, die andere z.B. „im Wald‟. Wenn diese Unterscheidbarkeit über die akustische Ähnlichkeit hinaus gegeben ist, dann wird gezielt die Signalverarbeitung für die eine Umgebungssituation („zu Hause"), aber nicht die der anderen Umgebungsituation („im Wald") angepasst.
-
Vorzugsweise wird ein Hörsystem verwendet, welches eine Hörvorrichtung, insbesondere ein Hörgerät und/oder ein Hörhilfegerät und/oder einen Kopfhörer sowie eine Recheneinheit und insbesondere eine Visualisierungseinrichtung aufweist.
-
Bevorzugt wird dabei die Definition der ersten Region für die erste Umgebungssituation in der Trainingsphase durch den ersten Benutzer eines Hörsystems erfolgt und in einem Cloud-Server gespeichert, wobei für die Anwendungsphase die besagte Definition durch den zweiten Benutzer eines für die Anwendung vergleichbaren, insbesondere hinsichtlich der Hörvorrichtung baugleichen Hörsystems aus dem Cloud-Server in das Hörsystem heruntergeladen wird. Hierdurch werden einzelner Umgebungssituationen, welche Benutzer treffen, für andere Benutzer verwendbar.
-
Bevorzugt wird in der Anwendungsphase durch eine Benutzereingabe eine Korrektur an der Definition der ersten Region und/oder an der Vorgabe für den wenigstens einen Wert einer Einstellung der Signalverarbeitung des Hörsystems vorgenommen, wobei daraufhin in der Anwendungsphase die korrigierte erste Region bzw. der korrigierte Wert der Einstellung der Signalverarbeitung verwendet wird. Hierdurch kann der Benutzer einerseits die für eine erste Umgebungssituation vorab getroffene Definition der wenigstens einen Einstellung der Signalverarbeitung nachträglich anpassen, und andererseits auch die Zuordnung z.B. eines Geräusches zu einer Umgebungssituation noch nachträglich vornehmen bzw. eine solche Zuordnung auch nachträglich löschen.
-
Günstigerweise wird jeder der Merkmalsvektoren jeweils auf einen zugehörigen Repräsentantenvektor in einem eindimensionalen Darstellungsraum abgebildet, wobei anhand einer räumlichen Verteilung der Endpunkte einer Untergruppe von Repräsentantenvektoren ein erstes Intervall im Darstellungsraum als erste Region für die erste Umgebungssituation des Hörsystems definiert wird. Ein eindimensionaler Darstellungsraum kann insbesondere für eine vergleichsweise niedrige Anzahl an Merkmalen (z.B. einem sechsdimensionalen Merkmalsraum) von Vorteil sein.
-
Die Erfindung nennt weiter ein Hörsystem, umfassend eine Hörvorrichtung, insbesondere ein Hörgerät, Hörhilfegerät oder einen Kopfhörer, und eine Hilfsvorrichtung mit einer Rechnereinheit, insbesondere einer Prozessoreinheit eines Smartphones oder Tablets, wobei das Hörsystem zur Durchführung des vorbeschriebenen Verfahrens eingerichtet ist. Das erfindungsgemäße Hörsystem teilt die Vorzüge des erfindungsgemäßen Verfahrens. Die für das Verfahren und für seine Weiterbildungen angegebenen Vorteile können sinngemäß auf das Hörsystem übertragen werden.
-
Bevorzugt umfasst das Hörsystem eine Visualisierungseinrichtung und/oder eine Eingabeeinrichtung für eine Benutzereingabe. Insbesondere sind dabei die Visualisierungseinrichtung und die Eingabeeinrichtung durch einen Touchscreen eines Smartphones oder Tablets implementiert, welches mit der Hörvorrichtung zur Datenübertragung verbindbar ist.
-
Das Hörsystem umfasst in einer bevorzugten Ausgestaltung folgende Teile:
- - Eine Hörvorrichtung, vorzugsweise gegeben durch ein Hörgerät, insbesondere eingerichtet zur Aufnahme eines Audiosignals mittels wenigstens eines eingebauten Mikrofons, sowie bevorzugt mit einem oder mehreren Sensoren wie z.B. einem Beschleunigungssensor und/oder Gyroskop, welche „nicht-akustische“ Umgebungsdaten aufnehmen. Die Hörvorrichtung ist bevorzugt zur Erstellung des Merkmalsvektors aus den Umgebungsdaten und insbesondere zur Erstellung eines akustischen Merkmalsvektors aus den akustischen Umgebungsdaten eingerichtet.
- - Eine Hilfsvorrichtung, welche die Visualisierungseinrichtung und die Eingabeeinrichtung umfasst, und bevorzugt durch ein Smartphone oder ein Tablet gegeben ist. Insbesondere umfasst die Hilfsvorrichtung weitere Sensoren zur Ermittlung von Umgebungsdaten (z.B. Lokalisierungsdaten basierend auf GPS), wobei die Hilfsvorrichtung bevorzugt mittels einer drahtlosen Verbindung zur Übertragung dieser Umgebungsdaten an die Hörvorrichtung oder zum Empfang der Umgebungsdaten des Hörgerätes sowie zum Erstellen der genannten Merkmalsvektoren eingerichtet ist.
-
Des Weiteren sind im Hörsystem bevorzugt einzelne modulare Funktionen bzw. Bestandteile implementiert, welche die Durchführung des vorbeschriebenen Verfahrens ermöglichen. Diese modularen Funktionen umfassen insbesondere
- - Ein Software-Eingabemodul, welches ein User-Interface zur Verfügung stellt, an dem der Benutzer konkrete Umgebungssituationen, aber auch Nutzungssituationen anlegen und mit einer entsprechenden Markierung versehen kann („zu Hause“, „im Auto“, „im Büro“, „in der Kantine“, „Fernsehen“, „Fahrrad fahren“, „im Musikzimmer“), angeben kann, dass er sich nun in einer der angelegten Nutzungssituationen befindet oder eine solche verlässt, konkrete Ereignisse anlegen und mit einer Markierung versehen kann („Zahnarztbohrer“, „Sauger“, „Zeitungsrascheln“, „Musikinstrumente spielen“), sowie angeben kann, ob ein angelegtes Ereignis soeben eintritt;
- - ein Dimensionsreduktionsmodul, welches die in der Trainingsphase gesammelten Merkmalsvektoren in den 2-dimensionalen (oder 3-dimentionalen oder auch eindimensionalen) Darstellungsraum abbildet. Das Dimensionsreduktionsmodul kann dabei insbesondere in unterschiedlichen Varianten implementiert werden, nämlich über eine Implementierung des t-SNE- Optimierungsverfahren, als UMAP, PCA, oder als Kohonen-Netz, welches Eingangsseitig die hochdimensionalen Merkmalsvektoren entgegennimmt und Ausgangsseitig 2-dimensionale (oder 3-dimensionale) Repräsentantenvektoren ausgibt. Das Dimensionsreduktionsmodul kann auf der Hörvorrichtung, auf einem Smartphone als Hilfsvorrichtung, oder auf einem zusätzlichen Rechner wie einem PC/Laptop implementiert sein.
-
Wenn das Optimierungsverfahren t-SNE eingesetzt wird, ist es vorteilhaft, das Dimensionsreduktionsmodul bevorzugt auf dem Smartphone als Hilfsvorrichtung oder auf einem PC/Laptop zu implementieren, da dort leistungsfähige Prozessoren für die Berechnung bereitstehen. Das Kohonen-Netz kann entweder als spezialisierte Hardware auf einer ASIC der Hörvorrichtung implementiert sein, oder auf einem neuromorphen Chip der Hörvorrichtung, welcher als Kohonen-Netz konfiguriert ist, aber auch für andre Aufgaben konfiguriert werden kann. Das Kohonen-netz kann auch auf der Hilfsvorrichtung implementiert sein;
- - ein Merkmalseditor zur Darstellung von Vektoren eines insbesondere 2-dimensionalen Raumes als Punkte oder auch Pfeile in einer Fläche auf einem Display oder Bildschirm, zur Hervorhebung von Punkten entsprechend einer Markierung des dargestellten Vektors, z.B. durch eine entsprechende Einfärbung, zur Textdarstellung von Eigenschaften einzelner Punkte, z.B. durch entsprechende Textfelder direkt neben einem Punkt, und zur Darstellung von zwei insbesondere 2-dimensionalen Räumen nebeneinander (einem Darstellungsraum und einem akustischen Darstellungsraum der entsprechenden Repräsentantenvektoren).
-
Eine Einfärbung von Punkten kann dabei Markierungen entsprechen, mit denen einzelne Merkmalsvektoren versehen wurden. Wenn die Markierungen eine Nutzungssituation oder eine Umgebungsituation angeben, spiegelt die Einfärbung dies entsprechend wider.
-
Sobald der Benutzer einen Punkt (Repräsentantenvektor) des akustischen Darstellungsraumes selektiert, kann der korrespondierende Punkt des („vollen“ Darstellungsraumes optisch hervorgehoben werden. Der Benutzer kann so erkennen, ob zwei einander ähnliche akustische Ereignisse, z.B. Zeitungsrascheln und Rascheln im Laub, welche im akustischen Merkmalsraum nahe beieinander liegen, durch die Dimensionsreduktion unter Einbeziehung von weiteren Umgebungsmerkmalen voneinander unterscheidbaren Umgebungsituationen zugeordnet werden können, z.B. „zu Hause‟ oder „im Wald‟, denn dann liegen die korrespondierenden Repräsentantenvektoren des Darstellungsraumes in unterschiedlichen Regionen. Der Merkmalseditor kann insbesondere auf der Hilfsvorrichtung implementiert sein.
- - ein Abbildungsmodul, welches in der Anwendungsphase Merkmalsvektoren in den 2- bzw. 3-dimensionalen Darstellungsraum abbildet. Das Abbildungsmodul ist bevorzugt in der Hörvorrichtung selbst implementiert, kann aber auch auf der Hilfsvorrichtung (bevorzugt als Smartphone gegeben) implementiert sein, und das Resultat der besagten Abbildung an die Hörvorrichtung übertragen. Sofern das Dimensionsreduktionsmodul ein t-SNE-Verfahren einsetzt, wird ein Merkmalsvektor mit einer Näherungsfunktion in den Darstellungsraum abgebildet, sofern die Dimensionsreduktion mittels eines Kohonen-Netzes arbeitet, kann die Abbildung von eben demselben Kohonen-Netz vorgenommen werden.
-
Nachfolgend wird ein Ausführungsbeispiel der Erfindung anhand einer Zeichnung näher erläutert. Hierbei zeigt schematisch:
- 1 in einem Blockdiagramm ein Verfahren zum Umgebungsabhängigen Betrieb eines Hörsystems
-
In 1 ist schematisch in einem Blockdiagramm ein Verfahren zum Umgebungsabhängigen Betrieb eines Hörsystems 1 dargestellt, wobei das Hörsystem vorliegend gebildet wird durch eine als Hörgerät 2 ausgestaltete Hörvorrichtung 3 sowie eine als Smartphone 4 ausgestaltete Hilfsvorrichtung 5. Die Hörvorrichtung 3 weist wenigstens einen elektro-akustischen Eingangswandler 6 auf, welcher vorliegend als ein Mikrofon ausgestaltet ist und aus einem Umgebungsschall ein Audiosignal 7 erzeugt. Des Weiteren weist die Hörvorrichtung 3 weitere Sensoren 8 auf, welche zusätzliche Sensorsignale 9 erzeugt. Die Sensoren 8 können dabei z.B. einen Beschleunigungssensor oder auch einen Temperatursensor umfassen.
-
In einer Trainingsphase 10 des Verfahrens werden nun für eine Mehrzahl an Erhebungszeitpunkten T1, T2, T3 jeweils anhand des Audiosignals 7 und des Sensorsignals 9 Umgebungsdaten ermittelt. Dies geschieht vorliegend, indem für das zunächst aus dem Audiosignal 7 laufend akustische Umgebungsdaten 12 erzeugt werden. Die akustischen Umgebungsdaten 12 umfassen hierbei: Eine 4-Hz-Modulation; einen Onset-Mean; eine Autokorrelationsfunktion; einen Pegel für tiefe und mittlere Frequenzen eines Rauschhintergrundes sowie ein Zentroid des Rauschhintergrundes; eine Stationarität; eine Windaktivität; einen Breitband-Maximalpegel; eine eigene Stimmaktivität. Ebenso werden aus dem Sensorsignal 9 laufen bewegungsbezogene Umgebungsdaten 14 erzeugt, welche hierbei die gemessenen instantanen Beschleunigungen in den drei Raumrichtungen umfassen.
-
Weitere Arten von akustischen Umgebungsdaten 12 und/oder bewegungsbezogenen Umgebungsdaten 14 oder sonstigen, insbesondere ortsbezogenen und/oder biometrischen Umgebungsdaten können allgemein als Umgebungsdaten 15 mit einbezogen werden, beispielsweise Magnetfeldsensoren, sonstige Handy- und/oder Smartwatchsensoren, ein Gyroskop, eine Pulsmessung, eine PPG-Messung (Photoplethysmogram), ein Elektrokardiogramm (EKG), eine Erkennung von Stress über die Messung des Herzschlags und seiner Variation, ein Lichtsensor, ein Barometer, ein Höraufwand bzw. eine Höraktivität (beispielsweise über eine „auditory attention" mittels einer EEG-Messung), eine Messung von Augen- bzw. Kopfbewegungen durch Muskelaktivität (EMG), Standort-Information über GPS, WLAN-Information, Geo-Fencing oder Bluetooth-Beacons für den aktuellen Standort bzw. Bereich.
-
Für die akustischen Umgebungsdaten 12 (vorliegend zehn verschiedene Arten an Daten) und die (vorliegend) drei bewegungsbezogenen Umgebungsdaten 14 erfolgt jeweils für den Zeitraum zwischen zwei Erhebungszeitpunkten T1, T2, T3 eine Pufferung 16 (für eine Erhebung zum Erhebungszeitpunkt T1 werden die genannten Signale ab einem Startzeitpunkt T0 gepuffert). Anschließend werden zu jeder einzelnen Art der akustischen Umgebungsdaten 12 und der bewegungsbezogenen Umgebungsdaten 14 jeweils ein Mittelwert Mn, eine Varianz Var und eine Mittelwert-Durchgangsrate MCR gebildet. Die genannten statistischen Größen Mn, Var, MCR der einzelnen akustischen Umgebungsdaten 12 und der bewegungsbezogenen Umgebungsdaten 14 über den gepufferten Zeitraum zwischen zwei Erhebungszeitpunkten T1, T2, T3 hinweg bilden hierbei für den Erhebungszeitpunkt T1, T2, T3 am Ende des Zeitraums der Pufferung jeweils Umgebungsmerkmale 16, und jeweils zu einem hochdimensionalen Merkmalsvektor M1, M2, M3 in einem hochdimensionalen Merkmalsraum 18 abgebildet. Die hohe Dimensionalität, z.B. 39D für jeweils drei statistische Merkmale aus zehn akustischen und drei bewegungsbezogenen Umgebungsdaten, ist hier nur durch die Anzahl der Achsen an den Diagrammen des Merkmalsraums 18 für die einzelnen Merkmalsvektoren M1, M2, M3 angedeutet.
-
Jeder der Merkmalsvektoren M1, M2, M3 wird nun aus dem Merkmalsraum 18 auf einen entsprechenden Repräsentantenvektor R1, R2, R3 in einem zweidimensionalen Darstellungsraum 20 abgebildet. Die Abbildung erfolgt hierbei bspw. mittels eines t-SNE-Optimierungsverfahrens (t-Distributed Stochastic Neighbor Embedding).
-
Nachfolgend wird der Ablauf des Optimierungsverfahrens kurz beschrieben (siehe z.B. „Visualizing Data using t-SNE“, 2008, Laurens van der Maaten and Geoffrey Hinton).
-
Ein sog. Perplexity-Paramater definiert eine Anzahl der effektiven Nachbarn der Merkmalsvektoren, d.h., der Perplexity-Parameter bestimmt, wieviele Nachbarn einen Einfluss auf eine endgültige Lage des entsprechenden Repräsentantenvektors im zweidimensionalen Darstellungsraum 20 haben (dieser Parameter kann vorliegend z.B. auf einen Wert von 50 oder in der Größenordnung von 1/100 der Anzahl an Merkmalsvektoren gesetzt werden). Danach werden für alle Paare von hochdimensionalen Merkmalsvektoren einmalig Wahrscheinlichkeitsmaße dafür berechnet, dass zwei betreffende Merkmalsvektoren als nächste Nachbarn im hochdimensionalen Merkmalsraum zu identifizieren sind. Dies bildet eine Ausgangssituation ab.
-
Für den zweidimensionalen Darstellungsraum werden als Startwert zufällige, Gauß-verteilte Zufallszahlen Y angenommen. Danach werden in einzelnen Iterationen die aktuellen Ähnlichkeitsbeziehungen in Y berechnet. Zur Optimierung der Abbildung der Ähnlichkeitsbeziehungen wird nun eine Ähnlichkeit zwischen dem Merkmalsraum und dem Darstellungsraum anhand einer Kullback-Leibler-Divergenz festgestellt. Mit Hilfe eines Gradienten der besagten Divergenz werden die Repräsentantenvektoren (bzw. ihre Endpunkte) im Darstellungsraum über T Iterationen hinweg verschoben.
-
Eine mögliche Darstellung des Algorithmus lautet:
- - Merkmalsraum der hochdimensionalen Merkmalsvektoren X = {x1; x2; ... ; xn}, mit n als der Anzahl aller vorliegenden Merkmalsvektoren (vorliegend z.B. n = 4016)
- - Kostenfunktionsparameter: „perplexity“ Perp: bestimmt die Anzahl der effektiven Nachbarn, mittels Wahl der Varianz σi für jeden Punkt durch eine binäre Suche (starker Einfluss auf Y)
- - Optimierungsparameter: Festlegung einer Anzahl an Iterationen t von T (z.B. 500), einer Lernrate h (z.B. 1000), und eines Momentums a(t) (z.B. 0.5 für t < 250, sonst a(t) = 0.8)
- - Ergebnis: zweidimensionaler Darstellungsraum Y = {y1; y2; ... ; yn},
- - Start des Verfahrens:
- - Berechnung des Wahrscheinlichkeitsmaßes für alle Merkmalsvektoren-Paare pij im hochdimensionalen Raum:
- - Setze
- - „Zufälliges Ziehen“ von n zweidimensional Gauß-verteilten Zufallszahlen zur Initialisierung von Y
- - Optimierung des r Abbildung in den Darstellungsraum:
- ◯ Zählschleife der Optimierung für t=1 bis T:
- ▪ Berechne das aktuelle Wahrscheinlichkeitsmaß im zweidimensionalen Raum:
- ▪ Messe die Ähnlichkeit zwischen X und Y (Kullback-Leibler-Divergenz)
- ▪ Berechne den Gradienten:
- ▪ Verschiebe die zweidimensionalen Repräsentantenvektoren:
- o Ende der Optimierung
- - Ende des Verfahrens
-
Auf das vorliegende Verfahren bezogen werden durch die oben beschriebene Abbildungsvorschrift somit Repräsentantenvektoren R1, R2, R3 im zweidimensionalen Darstellungsraum 20 aus den Merkmalsvektoren M1, M2, M3 des Merkmalsraumes 18 erzeugt.
-
Ein Benutzer des Hörsystems 1 kann sich den Darstellungsraum 20 nun auf seiner Hilfsvorrichtung 5 (auf dem Bildschirm 21 des Smartphones 4) darstellen lassen, und z.B. einen zusammenhängenden Bereich 22 als erste Region 24 definieren, welche einer konkreten ersten Umgebungssituation 25 in seiner Anwendung des Hörsystems 1 entspricht. Der besagten ersten Region 24 kann der Benutzer nun eine konkrete Einstellung 26 einer Signalverarbeitung des Audiosignals 7 in der Hörvorrichtung 3 zuordnen, beispielsweise frequenzbandweise Verstärkungs- und/oder Kompressionswerte und -parameter, oder Steuerparameter einer Rauschunterdrückung o.ä. Mit der Zuordnung der Einstellung 26 der Signalverarbeitung zur ersten Region 24 (und somit zur vorliegenden ersten Umgebungssituation 25, wie sie durch die Werte der Umgebungsdaten 15 in den einzelnen Merkmalsvektoren M1, M2, M3 charakterisiert ist), kann die Trainingsphase 10 für eine bestimmte Umgebungssituation as abgeschlossen betrachtet werden. Bevorzugt erfolgen dabei mehrere Trainingsphasen 10 für verschiedene Umgebungssituationen.
-
In einer Anwendungsphase 30 werden nun aus dem Audiosignal 7 der Hörvorrichtung 3 und aus dem Sensorsignal 9 zu einem Anwendungszeitpunkt T4 dieselben Umgebungsdaten 15 erhoben, wie in der Trainingsphase, und hieraus auf dieselbe Weise anhand der zum Anwendungszeitpunkt T4 ermittelten Werte auf entsprechende Weise ein Merkmalsvektor M4 im hochdimensionalen Merkmalsraum 18 gebildet. Hierbei können die Werte beispielsweise aus dem Mittelwert Mn, der Varianz Var und der Mittelwert-Durchgangsrate MCR der über einen kurzen Zeitraum (z.B. 60 Sekunden o.ä.) vor dem Anwendungszeitpunkt T4 erhobenen akustischen und bewegungsbezogenen Daten 12, 14 gebildet werden.
-
Der Merkmalsvektor M4 für den Anwendungszeitpunkt T4 wird nun auf einen Repräsentantenvektor R4 im Darstellungsraum 20 abgebildet.
-
Da das in der Trainingsphase 10 des vorliegenden Beispiels verwendete t-SNE-Verfahren zur Abbildung der Merkmalsvektoren M1, M2, M3 des Merkmalsraums 18 auf die Repräsentanten-vektoren R1, R2, R3 im Darstellungsraum 20 ein Optimierungsverfahren ist, welches das Wissen für alle verwendeten Merkmalsvektoren benötigt, erfolgt eine entsprechende Abbildung in der Anwendungsphase 30 mittels einer Näherungsabbildung (z.B. einer sog. „out-of-sample extension“, OOS-Kernel). Dies kann über eine Regression erfolgen, mittels derer eine Abbildung anhand einer Vielzahl an Merkmalsvektoren des Merkmalsraumes 18 (z.B. 80% der Merkmalsvektoren) auf entsprechende Repräsentantenvektoren des Darstellungsraumes 20 „gelernt“ wird, und verbleibende Merkmalsvektoren (also dann z.B. 20%) dazu verwendet werden, die Qualität der resultierenden Abbildung zu „testen“. Mit der Abbildung der „Lernvektoren“, also der zum Lernen der Abbildung verwendeten Merkmalsvektoren auf entsprechende Repräsentantenvektoren, kann dann eine Kernelfunktion bestimmt werden, welche lokale Abstandsbeziehungen zwischen den besagten Merkmals- und Represäntantenvektoren in ihren jeweiligen Räumen (Merkmals- bzw. Darstellungsraum) erhält. Damit kann ein neuer, unbekannter Merkmalsvektor vom Merkmalsraum 18 auf einen zugehörigen Repräsentantenvektor im Darstellungsraum 20 abgebildet werden, indem man die lokalen Abstandsbeziehungen zwischen den bekannten „Lernvektoren“ erhält.
-
Eine detaillierte Erklärung hierzu findet sich z.B. in „Out-of-Sample Kernel and Extensions for Nonparametric Dimensionality Reduction“, Andrej Gisbrecht, Wouter Lueks, Bassam Mokbel und Barbara Hammer, ESANN 2012 proceedings, European Symposium on Artificial Neural Networks, Computational Intelligence and Machine Learning, Brügge (Belgien), 25.-27. April 2012, sowie in „Parametric nonlinear dimensionality reduction using kernel t-SNE“, Andrej Gisbrecht, Alexander Schulz und Barbara Hammer, Neurocomputing, Vol. 147, 71 - 82, Januar 2015.
-
Liegt nun der für den Anwendungszeitpunkt T4 wie beschrieben bestimmte Repräsentantenvektor R4 in der ersten Region 24, so wird erkannt, dass für das Hörsystem 1 die erste Umgebungssituation 25 vorliegt, und entsprechend die Hörvorrichtung 3 mit den Einstellungen 26 für die Signalverarbeitung des Audiosignals 26 betrieben, und die vorab definierten Verstärkungs- und/oder Kompressionswerte und -parameter, oder Steuerparameter einer Rauschunterdrückung auf das Audiosignal 7 angewandt.
-
Obwohl die Erfindung im Detail durch das bevorzugte Ausführungsbeispiel näher illustriert und beschrieben wurde, ist die Erfindung nicht durch dieses Ausführungsbeispiel eingeschränkt. Andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen.
-
Bezugszeichenliste
-
- 1
- Hörsystem
- 2
- Hörgerät
- 3
- Hörvorrichtung
- 4
- Smartphone
- 5
- Hilfsvorrichtung
- 6
- Eingangswandler
- 7
- Audiosignal
- 8
- Sensor
- 9
- Sensorsignal
- 10
- Trainingsphase
- 12
- akustische Umgebungsdaten
- 14
- bewegungsbezogene Umgebungsdaten
- 16
- Pufferung
- 18
- Merkmalsraum
- 20
- Darstellungsraum
- 21
- Bildschirm
- 22
- Bereich
- 24
- erste Region
- 25
- erste Umgebungssituation
- 26
- Einstellung (einer Signalverarbeitung)
- 30
- Anwendungsphase
- M1, M2, M3
- Merkmalsvektor (in der Trainingsphase)
- M4
- Merkmalsvektor (in der Anwendungsphase)
- MCR
- Mittelwert-Durchgangsrate
- Mn
- Mittelwert
- R1, R2, R3
- Repräsentantenvektor (in der Trainingsphase)
- R4
- Repräsentantenvektor (in der Anwendungsphase)
- T0
- Startzeitpunkt
- T1, T2, T3
- Erhebungszeitpunkt
- T4
- Anwendungszeitpunkt
- Var
- Varianz