-
GEBIET DER ERFINDUNG
-
Diese Erfindung betrifft ein Mittel zur Kompensierung des vollständigen oder eines partiellen Sprachverlustes nach einem chirurgischen Eingriff, zum Beispiel einer Laryngektomie, einem Unfall oder einer angeborenen Fehlbildung.
-
HINTERGRUND DER ERFINDUNG:
-
Die Fähigkeit stimmlich zu kommunizieren ist eine Fertigkeit, die viele Menschen als selbstverständlich betrachten. Manche Menschen verlieren jedoch durch einen chirurgischen Eingriff, wie eine Laryngektomie, ihre Fähigkeit zu sprechen. Eine Laryngektomie ist eine Operation, bei der der Larynx (oder ”Kehlkopf”) eines Patienten aufgrund von Kehlkopf-, Speiseröhren- oder Rachenkrebs entfernt wird [1]. Dem Patienten stehen eine Reihe von alternativen Kommunikationsmöglichkeiten zur Verfügung, jedoch erzeugt, wie nachstehend gezeigt, keines dieser Vorrichtungen natürlich klingende Sprache.
-
Anatomisch gesehen ist der Kehlkopf Teil der Durchlassröhre, die Rachen (Pharynx) und Luftröhre (Trachea) miteinander verbindet. Er hat zwei wesentliche Funktionen [2]:
- 1. beim Schlucken das Eindringen von fester und flüssiger Nahrung in die Luftröhre und die Lungen zu verhindern; und
- 2. die Lautbildung.
-
Er besteht aus einer Reihe von unterschiedlichen Knorpeln und Muskeln, die den Kehlkopf beim Atmen offen halten und die die Stimmritze (Glottis) beim Schlucken und Sprechen verschließen. Der Kehldeckel (Epiglottis) ist eine löffelförmige Struktur, die beim Schlucken hilft, die Stimmritze zu schließen. Die Stimmfalten im Kehlkopf werden von Muskeln gesteuert und zur Lautbildung eingesetzt [2].
-
Eine Laryngektomie ist ein Verfahren zur Entfernung des Kehlkopfes. Bei einer Laryngektomie wird der gesamte Kehlkopf einschließlich des Schild- und des Ringknorpels entfernt [3]. Sobald dies geschehen ist, wird der obere Teil der Luftröhre mit der Vorderseite des Halses verbunden, um eine permanente Öffnung (die Trachealöffnung) zu erzeugen [4]. Dies ist in 1 dargestellt. Die Trachealöffnung dient hauptsächlich der Atmung. Die Laryngektomie hat zur Folge, dass der Patient absolut unfähig ist zu phonieren, und dies liegt an der kompletten Entfernung der Stimmbänder.
-
Derzeitige Möglichkeiten zur Phonation
-
Wie oben erwähnt, besteht eine Reihe von Möglichkeiten, mit denen der Patient versuchen kann, seine Stimme wiederzuerlangen. Jedoch sind Ösophagusstimme und Tracheo-Ösophagusstimme (Prothesenstimme) die gebräuchlichsten, wobei die Tracheo-Ösophagusstimme zunehmend als Gold-Standard im Bereich der künstlichen Spracherzeugung gilt. Einige der gebräuchlichen Möglichkeiten sind:
- 1. Elektrolarynxstimme: Diese beinhaltet den Einsatz eines Elektrolarynx, eines batteriebetriebenen Messwandlers, der ein Brummen in den Vokaltrakt des Patienten einleitet [1]. Der Laut kann mit einer tragbaren Vorrichtung über den Hals oder mit einer intraoralen Vorrichtung in die Mundhöhle eingeleitet werden. Patienten artikulieren den Laut dann mit dem Mund in Worte. Es stehen Vorrichtungen mit Tonhöhenregulierung und Lautstärkeregulierung zur Verfügung [4]. Diese Form der Rehabilitation bietet eine kurze Anlernzeit und die Vorrichtung kann unmittelbar nach der Operation eingesetzt werden. Außerdem steht sie jederzeit zur Verfügung und verursacht geringe Kosten. Diese Vorrichtung erzeugt jedoch einen mechanischen Laut und ist auf Batterien und die Pflege der intraoralen Röhren angewiesen [5].
- 2. Pneumatische Sprechhilfe: Diese Vorrichtung wird mit der Trachealöffnung am Hals des Patienten verbunden. Wenn der Patient sprechen möchte, wird Luft aus den Lungen in die Vorrichtung befördert, wodurch ein Gummibändchen in Schwingungen versetzt wird und Laute erzeugt. Diese Laute werden dann zur Modulation über einen Plastiktubus in den Mund des Patienten eingeleitet [4]. Diese Vorrichtung bietet eine kurze Anlernzeit und verursacht geringe Kosten, aber sie erzeugt einen näselnden Laut und ist auffällig. Sie erfordert ebenfalls die Pflege der intraoralen Röhren. Diese Methode wird generell als veraltet betrachtet.
- 3. Ösophagusstimme: Diese Art der Phonation erfordert keine externe Vorrichtung. Der obere Teil der Speiseröhre des Patienten dient als Luftspeicher. Wenn der Patient kommunizieren möchte, wird diese Luft aus der Speiseröhre ausgestoßen und versetzt das pharyngoösophageale Segment in Schwingungen, sodass Laute erzeugt werden, die der Patient mit seinem Mund modulieren kann [4]. Diese Form der Ersatzstimme ist weniger auffällig als der Elektrolarynx. Außerdem erfordert sie keine Batterien, hat keinen mechanischen Klang und benötigt keine Hand. Die Erfolgsrate dieser Methode weist große Schwankungen auf (berichtete Erfolgsraten von 14–76% [6]), wobei einige Anwender die Technik aufgrund von Sodbrennen oder Aufblähung durch die geschluckte Luft aufgeben [7].
- 4. Tracheo-Ösophagusstimme: Dies ist die derzeit am weitesten verbreitete Option zur Stimmrehabilitation. Während (primäre ösophageale Punktion) oder nach (sekundäre ösophageale Punktion) der Laryngektomie wird ein Loch zwischen Luftröhre und Speiseröhre erzeugt. Dann wird ein Einwegventil in das Loch eingepasst, durch das die Luft von der Luftröhre in die Speiseröhre eintreten kann. Wenn der Patient Laute bilden möchte, wird die Trachealöffnung blockiert und Luft gelangt von der Luftröhre in die Speiseröhre. Diese erzeugt Schwingungen und eine Lautquelle, die der Patient modulieren kann [4]. Diese Methode hat eine gute Erfolgsrate (95% der Patienten erreichen eine effektive, Konversation ermöglichende Sprechfähigkeit, wobei 88% eine gute Stimmqualität erreichen [8]). Diese Methode erfordert während des Sprechens die Abdeckung des Stoma mit der Hand sowie regelmäßige Pflege und Ersatz der Prothese.
-
Trotz der verschiedenen oben genannten Optionen erlangt ein bedeutender Prozentsatz, 7–40% der Patienten, nie irgendeine Art der Sprache wieder [1].
-
Eine Reihe neuartiger künstlicher Kehlköpfe sind in der neueren Literatur vorgeschlagen worden. Es wird an einer neuen Schwingungsquelle für Elektrolarynxe von [9] mit PZT-Keramik geforscht. Durch die Untersuchung der Veränderungen des Magnetfelds während des Sprechens wurde ein System zur Erkennung von Worten einer Testperson entwickelt, die Magnete an Lippen, Zähnen und Zunge trug [10].
-
Die vorliegende Erfindung führt einen neuen Typ eines künstlichen Kehlkopfes ein, der viele der Nachteile der bekannten Vorrichtungen vermeidet. Diese neue Vorrichtung verwendet dynamische Messungen der Zungenposition, um Rückschlüsse auf die Sprechabsicht zu ziehen, und übermittelt diese Signale an eine elektronische Einheit zur nahezu Echtzeit-Sprachsynthese.
-
Obwohl eine Laryngektomie bei weitem die häufigste Art ist, auf die Menschen ihre Fähigkeit zu sprechen verlieren, kann ein Unfall, der die Kehle in Mitleidenschaft zieht, einen Kehlkopf so stark quetschen, dass ein Mensch nicht in der Lage ist, ordentlich zu kommunizieren.
-
AUFGABE DER ERFINDUNG
-
Es ist eine Aufgabe dieser Erfindung, ein Mittel zur Kompensierung des vollständigen oder eines partiellen Sprachverlustes nach einem chirurgischen Eingriff, zum Beispiel einer Laryngektomie, oder einem Unfall bereitzustellen.
-
ZUSAMMENFASSUNG DER ERFINDUNG
-
In Übereinstimmung mit dieser Erfindung ist ein Mittel zur Kompensierung eines Sprachverlustes vorgesehen, das eine Sensoreinheit zur Erfassung der Position der Zunge des Anwenders während des Versuchs der Artikulation von Worten und/oder Lauten, einen an die Sensoreinheit angeschlossenen Komparator zum Abgleich der Position der Zunge des Anwenders im Gebrauch mit einer Bibliothek gespeicherter Zungenpositionen und zugeordneter Worte und/oder Laute und einen Lautsprecher umfasst, der, sollte eine Übereinstimmung zwischen den erfassten Zungenpositionen und den gespeicherten Zungenpositionen gefunden werden, einen Laut projiziert, der den gespeicherten Zungenpositionen zugeordnet ist.
-
Außerdem ist vorgesehen, dass der Komparator einen Prozessor enthält, der im Gebrauch durch Auswahl und, falls nötig, durch Modifizierung zugeordneter Worte und/oder Laute, Worte und/oder Laute erzeugt, die vom Lautsprecher projiziert werden.
-
Außerdem ist vorgesehen, dass die Position der Zunge des Anwenders mit einem Palatometer und einem Pseudopalatum, vorzugsweise einem Logometrix-Pseudopalatum, erfasst und überwacht wird, wobei das Palatometer eine Vielzahl von, vorzugsweise mehr als einhundert und vorzugsweise einhundertundachtzehn, Drucksensoren aufweist, die die Position der Zunge des Anwenders in Bezug zum Gaumen während des Versuchs der Artikulation von Worten und/oder Lauten erkennen.
-
Ferner ist vorgesehen, dass die Position der Zunge des Anwenders in Bezug zum Gaumen während des Versuchs der Artikulation von Worten und/oder Lauten auf zweidimensionale Raum-Zeit-Kurven reduziert wird, die in ein neuronales Netz, vorzugsweise ein mehrlagiges Perzeptron, zum Analyse-Training und zur Wort- und/oder Lautsynthese eingespeist werden.
-
Ferner ist vorgesehen, dass eine Ausgabe eines trainierten neuronalen Netzes an einen Wortgenerator geschickt wird, um künstliche Sprachmuster oder künstliche Sprache zu erzeugen, die vorzugsweise die Original-Sprachmuster oder die Originalsprache eines Patienten simulieren.
-
Ferner ist vorgesehen, dass ein Hidden-Markov-Modell (HMM) verwendet wird, um Worte vorauszuahnen und eine Echtzeitausgabe von Worten zu ermöglichen.
-
Ferner ist vorgesehen, dass geeignete Algorithmen zur Erzielung eines künstlichen Sprachmusters verwendet werden, die dem Originalklangbild eines Anwenders so ähnlich wie möglich sind, dass die Algorithmen, zusätzlich zu einer Eingabe vom HMM, andere physiologische Signale, vorzugsweise in Bezug auf Kieferbewegung, Lippenbewegung und Einatmung sowie Ausatmung, zur Synthese der Stimme eines Patienten verwenden.
-
KURZE BESCHREIBUNG EINER AUSFÜHRUNGSFORM DER ERFINDUNG
-
Die oben genannten und zusätzliche Merkmale der Erfindung werden nachfolgend exemplarisch und mit Bezug auf die dazugehörigen Figuren beschrieben, wobei:
-
1: die grundlegende Anatomie eines Patienten nach einer Laryngektomie entnommen aus [11] zeigt;
-
2
- a) ist ein Screenshot eines Logometrix-Systems, das die Anordung der Sensoren auf dem LogoMetrix-Pseudopalatum zeigt (entnommen aus [11]); und
- b) stellt das Logometrix-System dar und zeigt ein Pseudopalatum und ein Palatometer entnommen aus [11];
-
3 ist eine Raum-Zeit-Darstellung der Worte ”sentence” [Anmerkung des Übersetzers: deutsch „Satz”], ”picture” [Anmerkung des Übersetzers: deutsch „Bild”] und ”very” [Anmerkung des Übersetzers: deutsch „sehr”] entnommen aus [11]; und
-
4 ein Wahl- und Vorhersageschema für Worte und/oder Laute
-
BESCHREIBUNG EINER BEVORZUGTEN AUSFÜHRUNGSFORM
-
Eine Ausführungsform der Erfindung wird nun exemplarisch beschrieben. In dieser Ausführungsform verwendet ein Mittel zur Kompensierung eines Sprachverlusts, auch bezeichnet als künstlicher Kehlkopf, dynamische Messungen der Zungenposition, um Rückschlüsse auf eine Sprechabsicht zu ziehen, und diese Signale werden an eine elektronische Einheit zur nahezu Echtzeit-Sprachsynthese übermittelt. Die dynamische Messung der Zunge wird durch den Einsatz eines LogoMetrix-Elektropalatographie-Systems, bestehend aus Palatometer und Pseudopalatum (LogoMetrix, Arizona), erreicht. Durch die Verwendung einer Kombination aus Daten vom Palatometer und anderen biologischen Signalen ist es möglich, Rückschlüsse auf die Äußerungen des Patienten zu ziehen.
-
A. Das LogoMetrix-Elektropalatographie(EPG)-System
-
Das LogoMetrix-System verwendet ein Pseudopalatum, um während des Sprechens dynamische Echtzeit-Informationen über den Zunge-Gaumen-Kontakt zu liefern. Diese Daten werden von dem Pseudopalatum gesammelt, das 118 über den Gaumen verteilte Berührungssensoren aus Gold aufweist (siehe 2). Gaumendaten werden mit 100 Hz abgetastet. Ein Pseudopalatum wird individuell für den Mund jedes Anwenders hergestellt, um so eine korrekte Passform zu gewährleisten.
-
B. Darstellung der Daten
-
Daten von 50 gebräuchlichen Worten wurden mit dem Pseudopalatum-System aufgezeichnet. Die Kontaktmuster des Pseudopalatums wurden dann vom Audiosignal getrennt. Diese Signale wurden dann mit MATLAB in eine 2D-Raum-Zeit-Kurve umgewandelt (siehe 3). Auf diese Weise bleibt die dynamische Natur der Signale erhalten und Standard-Bildverarbeitungstechniken können angewandt werden.
-
C. Bilderkennung
-
Durch die Verwendung einer Vielfalt von Bilddeskriptoren werden einzigartige Informationen über die 2D-Raum-Zeit-Bilder in ein neuronales Netz (mehrlagiges Perzeptron (MLP)) eingespeist [12]. Dies wird trainiert, um verschiedene Bilddeskriptoren mit spezifischen Worten im Vokabular des Systems zu verbinden.
-
Ein Wahlsystem eines neuronalen Netzes (mehrlagiges Perzeptron) (mit einer gewissen Grammatikvorhersage) wird in 4 gezeigt, und dieses System identifiziert das Eingabewort zu 94,14% korrekt und hat eine Zurückweisungsrate von 17,74% der eingegebenen Worte (siehe 4). Die verwendeten Bilddeskriptoren sind: reine Korrelation, Bildeigenschaften (wobei Bildstatistiken verwendet werden wie Fläche, Euler-Zahl, Centroid-Position usw.) und Korrelationskoeffizienten. In dieser Anwendung wurden Vorlagen von jedem der Worte erzeugt, indem aus einer Reihe von Fällen für jedes Wort gemeinsam der Durchschnitt ermittelt wurde. Diese Vorlagen konnten dann in Beziehung zu einem unbekannten Wort gesetzt werden, und die Vorlage mit dem höchsten Korrelationskoeffizienten wird als die beste Übereinstimmung zum unbekannten Wort angenommen. Korrelationskoeffizienten bestehen aus den Koeffizienten, die durch Korrelation jeder Vorlage mit einem unbekannten Wort gefunden werden.
-
Ein Hidden-Markov-Modell (HMM) kann verwendet werden, um die Worte vorauszuahnen und eine Echtzeitausgabe der Worte zu ermöglichen. Andere Techniken der künstlichen Intelligenz und Mustererkennung können ebenfalls berücksichtigt werden.
-
D. Sprachsynthese
-
Die Ausgaben aus dem MLP und dem HMM werden an einen Wortgenerator geschickt. Algorithmen werden einbezogen, um ein künstliches Sprachmuster zu erreichen, das dem Originalklangbild des Patienten so ähnlich wie möglich ist. Dies erfolgt durch Übermittlung anderer physiologischer Signale (wie Kieferöffnung, Lippenbewegung usw.) an den Wortgenerator zur Modulation der Ausgabe. Laut Menezes et al. [13] entspricht die Größe der Kieferöffnung einer zunehmenden Silbengröße und -betonung. In Lim et al. [14] wurde gezeigt, dass die Grundfrequenz (Fo) bei der Vokalerzeugung mit zunehmender Kieferöffnung abnimmt. Einatmung und Ausatmung können ebenfalls zur zeitlichen Koordinierung genutzt werden. Diese Informationen sind alle nützlich, um den Ton und die Qualität der künstlichen Sprachausgabe so real und naturgetreu wie möglich zu machen.
-
Stimmen-Morphing ist der Prozess, bei dem die Stimme eines Quellsprechers modifiziert wird, so dass sie klingt wie die Stimme eines Zielsprechers. Die auf dem Gaußschen Verteilungsmodell basierende Methode der Morphologie der Stimme, wie in [15, 16, 17] dargelegt, ist implementiert worden. Mit einer Probe der Stimme des laryngektomierten Patienten vor der Laryngektomie können die aufgezeichneten Worte in die Stimme des Patienten verwandelt werden.
-
Es ist beabsichtigt, dass der oben beschriebene künstliche Kehlkopf zu einer praktikablen Option für laryngektomierte Patienten entwickelt wird. Die vorgeschlagene Vorrichtung ist eine Neuheit, weil die Sprachsynthese und die Erkennung der Sprechabsicht getrennt sind, so dass die Implantation des lautbildenden Teils des künstlichen Kehlkopfs überflüssig gemacht wird.
-
LITERATURVERZEICHNIS
-
- 1. Takahashi H, Nakao M, Kikuchi Y und Kaga K, „Alaryngeal speech aid using an intra-oral electrolarynx and a miniature fingertip switch", Auris Nasus Larynx, Bd. 32, 2005, Seiten 157–162
- 2. Van De Graaf, K. M, „Human Anatomy", 6. Auflage, New York: McGraw-Hill Higher Education, 2002
- 3. Shoureshi R. A, Chaghajerdi A, Aasted C und Meyers A, „Neural-based Prosthesis for Enhanced Voice Intelligibility in Laryngectomees", Tagungsbericht IEEE EMBS Conference on Neural Engineering, März 2003, Seiten 173–176
- 4. Ng M. L, Kwok C. I und Chow S. W, „Speech performance of adult Cantonese-speaking laryngectomees using different types of alaryngeal phonation", Journal of Voice, Bd. 11, Nr. 3, 1997, Seiten 338–344
- 5. Liu H. und Ng M, L, „Electrolarynx in voice rehabilitation", Auris Nasus Larynx, 34, 2007, Seiten 327–332
- 6. P Jassar, R J A England und N D Stafford „Restoration of voice after laryngectomy", J R Soc Med, 92, 1999, Seiten 299–302
- 7. Putney FJ. „Rehabilitation of the postlaryngectomized patient." Ann Otol Rhinol Laryngol, 67, 1958 Seiten 544–549
- 8. Op de Coul BMR, Hilgers FJM, Balm AJM, Tan B, van den Hoogen FJA, van Tinteren H. „A decade of postlaryngectomy vocal rehabilitation in 318 patients. A single institution's experience with consistent application of Provox indwelling voice prostheses." Arch Otolaryngol Head Neck Surg, 126, 2000, Seiten 1320–1328
- 9. Ooe K, Fukuda T und Arai F, „A New Type of Artificial Larynx Using a PZT Ceramics Vibrator as a Sound Source", IEEE/ASME Transactions an Mechatronics, Bd. 5, Nr. 2, Juni 2000
- 10. Fagan MJ, EII SR, Gilbert JM, Sarrazin E und Chapman PM, „Development of a (silent) speech recognition system for patients following laryngectomy", Med Eng Phys, 2007, in Druck befindlich
- 11. M J Russell, D M Rubin, B Widorowitz und T Marwala, „The Artificial Larynx: A Review of Current Technology and a Proposal for Future Development", NBC 2008, Bericht Bd. 20, Seiten 160–163, Juni 2008
- 12. M J Russell, D M Rubin, T Marwala und B Wigdorowitz, „Pattern Recognition and Feature Selection for the Development of a New Artificial Larynx", Tagungsbericht des World Congress Of Biomedical Engineering and Medical Physics, München, September 2009, in Druck befindlich
- 13. Menezes C., Erickson D. und Fujimura O, „Contrastive Emphasis: Comparison of Pitch Accents with Syllable Magnitudes", Tagungsbericht Speech Prosody, Frankreich, April 2002
- 14. Lim M, Lin E. und Bones P. „Vowel Effect an Glottal Parameters and the Magnitude of Jaw Opening", Journal of Voice, Bd. 20, Nr. 1, 2006, Seiten 46–54
- 15. H. Duxans, D. Erro, J. Pérez, F. Diego, A. Bonafonte, A. Moreno „Voice Conversion of Non-Aligned Data using Unit Selection", TC-Star Workshop an Speech to Speech Translation. Barcelona, Spanien, Juni 2006
- 16. D. Erro, A. Moreno „Weighted Frequency Warping for Voice Conversion" InterSpeech 2007 – EuroSpeech. Antwerpen, Belgien, August 2007
- 17. D. Erro, A. Moreno „Frame Alignment Method for Cross-lingual Voice Conversion" InterSpeech 2007 – EuroSpeech. Antwerpen, Belgien, August 2007
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Nicht-Patentliteratur
-
- Menezes et al. [13] [0030]
- Lim et al. [14] [0030]
