-
Querverweis
auf in Bezug stehende Anmeldungen
-
Diese
Anmeldung beansprucht die Priorität von der provisorischen US-Patentanmeldung
Serien-Nr. 60/164,360, eingereicht am 09. November 1999 mit dem
Titel "System and
Method for Detecting an Action of the Head and Generating an Output
in Response thereto",
veröffentlicht
am 07. Juni 2001 als WO 01/39 662.
-
Die
vorliegende Erfindung betrifft im Allgemeinen die Erfassung von
Bewegungen des Kopfes einer Person, wie zum Beispiel "Muscle Firings", Bewegungen, eine
Bewegung der Zunge in Bezug auf die Mundhöhle usw. unter Verwendung eines
Sensors und das Bereitstellen eines Ausgangswerts, zum Beispiel
Systemsteuerfunktionen, in Antwort auf solch eine Erfassung. Genauer
gesagt erfasst die vorliegende Erfindung Bewegungen, Positionen
und Aktionen der Zunge in der Mundhöhle durch Analysieren von Veränderungen
im Luftdruck nahe des menschlichen Ohrs und Verarbeiten der gesammelten
Daten, um eine richtige Steuerfunktionalität, die hierzu korrespondiert,
zu bestimmen.
-
Hintergrund
der Erfindung
-
Eine
Vorrichtung und ein Verfahren für
das Erfassen von Gedanken bzw. ist in der US Patent-Nr. 6,024,700
beschrieben, wobei die gesamte Offenbarung hiervon durch Bezugnahme
aufgenommen wird. Solch ein System und Verfahren kann die Konzentration
erfordern, um denselben Gedanken konsistent zu entwickeln und um
diesen Gedanken konsistent zu erfassen. Übung kann erforderlich sein,
um die gewünschte
Konzentration und Konsistenz zu erhalten. Solch eine Konzentration
kann relativ anstrengend sein. Der Gedanke kann zu einem erfassbaren
Luftdruck oder einem Geräusch
an einem oder beiden Ohren eines Benutzers eines solchen Systems
und Verfahren führen,
und solch ein Luftdruck kann von einem Detektor, wie beispielsweise
einem Mikrophon erfasst werden. Beispielhafte Ausgabewerte von solch
einem System und Verfahren für
das Erfassen von Gedanken kann ein oder mehrere diskrete Ausgaben
sein, zum Beispiel diskrete Ausgaben, die entsprechende alphanumerische
Zeichen, Richtungen usw. darstellen.
-
Laute,
die durch die Ohren einer Person erzeugt werden, werden manchmal
als autoakustisch bezeichnet. Autoakustische Laute wurden in der
Vergangenheit für
die Diagnose verwendet, beispielweise um eine Ohrfunktion oder einen
Zustand eines Ohrs anzuzeigen. Beispielsweise hat sich ge zeigt, dass
in Antwort auf eine Lauteingabe in das Ohr das Ohr eine erfassbare
autoakustische Ausgabe bereitstellt.
-
Es
gibt zur Zeit verfügbare
Controller, um eine behinderte Person, die Arme oder Beine nicht benutzen
kann, in die Lage zu versetzen, einen motorisierten Rollstuhl zu
betreiben. Solch ein Controller beinhaltet eine Einrichtung vom
Track-Ball- oder Joystick-Typ, die in den Mund eines Individuums
eingesetzt wird, und das Individuum betreibt den Controller unter
Verwendung von Mund- und/oder Zungenbewegungen, um mechanische Eingaben
bereitzustellen. Solch eine Vorrichtung ist schwer zu betreiben und
es ist problematisch, wenn sie aus dem Mund fällt oder den Mund reizt.
-
Andere
Controller existieren, um behinderte Individuen in die Lage zu versetzen,
Funktionen mit mechanischen Hilfsmitteln durchzuführen. Der
Betrieb von solchen Controllern erfordert typischerweise ein Signal,
wie zum Beispiel ein einfallendes elektromagnetisches Signal, zum
Beispiel Infrarot- oder Ultraviolettlicht-Strahlung, die auf das
Individuum gerichtet wird, wobei dann das Individuum durch eine festgelegte
Aktion oder Aktivität
das einfallende elektromagnetische Signal modulieren kann, zum Beispiel
durch Blinzeln mit den Augen, Bewegen des Kopfes oder irgendeine
solche Aktion. Die Notwendigkeit für das Einfallen der elektromagnetischen
Signale ist aus verschiedenen Gründen
nachteilhaft.
-
Ein
Extrageräteteil
ist erforderlich, um das Signal bereitzustellen, das Signal muss
richtig ausgerichtet oder angepasst sein, der Detektor und das Modulieren
des Signals müssen
richtig zueinander ausgerichtet sein, das Signal darf keinen schädlichen Effekt
auf den Benutzer (wie zum Beispiel das Verursachen einer Augenverletzung)
haben, usw.
-
Die
US-A-5,812,978 beschreibt einen sprachgesteuerten Rollstuhl, bei
dem ein Kehlkopf-Mikrophon verwendet wird, um Sprachbefehle aufzunehmen.
Diese Befehle werden zu einem Lautinterpretationsmodul weitergeleitet
und dann zu einem Computerprozessor, der die Befehle zu einem Rollstuhl-Controller sendet.
-
Die
CH-A-678 692 beschreibt eine Vorrichtung, um die individuellen akustischen
Eigenschaften eines menschlichen Ohrs zu messen. Audiosignale werden
in das Ohr eingegeben und ein Mikrophon nimmt die Signale auf, die
von dem Ohr reflektiert werden.
-
WO-A-00/03
639 beschreibt ein System und ein Verfahren für das Erfassen eines Gedankens bzw.
einer Absicht und das Erzeugen einer Steuerinstruktion in Antwort
hierauf. Der Ohrdruck nahe eines menschlichen Ohrs wird erfasst
und der Prozessor verarbeitet den Ohrdruck und steuert einen peripheren
Ausgang in Antwort auf die Veränderung
in dem Luftdruck.
-
Zusammenfassung
der Erfindung
-
Gemäß der Erfindung
liegt ein Verfahren zum Erzeugen eines Steuersignals vor. Das Verfahren
beinhaltet die Schritte des Erfassens eines Luftdruckmusters in
oder nahe eines Ohres einer Person, wobei das Luftdruckmuster von
einer freiwilligen physischen Aktion der Person herrührt und
Umwandeln des Luftdruckmusters in ein Ausgangssignal.
-
Kurze Beschreibung
der Figuren
-
1 ist
ein Blockdiagramm, das ein System darstellt, durch dass eine Mundbewegung
bzw. Mundaktion hier eben so manchmal als Zungenbewegung bezeichnet,
erfasst wird und verwendet wird, um eine Steuerfunktion bereitzustellen,
die der erfassten Mundbewegung entspricht,
-
2a ist
eine Umgebungsansicht eines Benutzers mit einem Drucksensor, der
nahe des Ohrs lokalisiert ist, der in elektrischer Verbindung mit
einem Prozessor steht, der mit einer Anzeige verbunden ist,
-
2b ist
eine vergrößerte Ansicht
eines Teils von 2a, der in größerem Detail
den Drucksensor zeigt, der den Luftdruck nahe des Ohrs überwacht,
-
2c ist
eine bildliche Darstellung einer Welle in Luft, die eine Mehrzahl
von longitudinalen, molekularen Dichteschwankungen darstellt,
-
2d ist
ein Graph, der ein beispielhaftes elektrisches Signal darstellt,
das von einem Transducer erzeugt wurde, der mit dem Drucksensor
verknüpft
ist, das Veränderungen
im Luftdruck an einem Ort am Drucksensor anzeigt,
-
3 ist
ein Flussdiagramm, das ein Verfahren zum Erfassen einer Mundbewegung
und zum Bereitstellen eines Steuerbefehls in Antwort auf die erfasste
Mundbewegung gemäß der vorliegenden
Erfindung darstellt,
-
4 ist
ein Flussdiagramm, das ein Verfahren zum Überwachen des Luftdrucks gemäß der vorliegenden
Erfindung darstellt,
-
5 ist
ein Flussdiagramm, das ein Verfahren zum Verarbeiten eines elektrischen
Signals entsprechend dem Luftdruck für das Erfassen eines Gedankens
bzw. einer Absicht darstellt,
-
6 ist
ein Graph, der die Umwandlung eines analogen elektrischen Signals
in digitale Signaldaten darstellt,
-
7 ist
ein Flussdiagramm, das ein Verfahren zum Analysieren der digitalen
Signaldaten darstellt,
-
8 ist
ein Graph, der ein Verfahren zum Analysieren der digitalen Signaldaten
mit dem Flussdiagramm von 7 darstellt,
-
9 ist
ein Flussdiagramm, das ein Verfahren zum Verarbeiten der digitalen
Signaldaten darstellt,
-
10 ist
ein Systemdiagramm, das ein System einschließlich Teilen und Funktionen
darstellt,
-
11 ist
ein Graph, der in die exemplarische Rohsignalinformation darstellt,
die von einem Sensor erfasst wurde, der in der Erfindung verwendet wurde,
um einen Luftdruck zu erfassen, der repräsentativ für eine Mundbewegung ist,
-
12 ist
ein Graph der frequenzgefilterten Signalinformation wie in 12,
wobei die Frequenzfilterung beispielsweise erfolgt, um Rauschen
zu entfernen,
-
13 ist
ein Graph der Fenster darstellt, in denen ein Leistungsspektrum
der Kurve von 12 gezeigt ist für die Verwendung,
um rechtzeitig Signale zu lokalisieren, die für eine Kopfbewegung repräsentativ
sind, und
-
14 ist
ein Graph solch eines Leistungsspektrums.
-
Detaillierte
Beschreibung der Erfindung
-
Das
Folgende ist eine detaillierte Beschreibung der vorliegenden Erfindung,
die in Verbindung mit den angefügten
Figuren erfolgt, wobei gleiche Bezugszahlen sich auf gleiche Elemente
beziehen.
-
Die
vorliegende Erfindung ist auf eine Vorrichtung und ein Verfahren
gerichtet für
das Erfassen von Aktionen bzw. Bewegungen des Kopfes einer Person,
wie zum Beispiel Aktionen, die im Zusammenhang mit der Mundhöhle auftreten,
wobei diese Aktion nicht nur diskrete Ausgaben, sondern ebenso einen
Bereich von Ausgaben erzeugen können,
wie in einem Signal vom analogen Typ. Als ein Beispiel kann die
Bewegung der Zunge in der Mundhöhle, beispielsweise
die zweidimensionale Bewegung oder die dreidimensionale Bewegung
erfasst oder erfühlt werden,
um einen nützlichen Ausgangswert
bereitzustellen. Ein beispielhafter Ausgangswert kann in Form eines
Signals sein, das analog zu dem ist, das von einer Computermaus,
den Tasten auf der Maus, einem Computer-Joystick oder dergleichen erzeugt wird.
-
Das
Verwenden der vorliegenden Erfindung wurde als weniger ermüdend erachtet
und erfordert üblicherweise
eine geringere Konzentration als die oben erwähnte Absichtserfassungsvorrichtungen und
-verfahren. Ebenso ist die vorliegende Erfindung in der Lage, einen
Ausgabewert bereitzustellen mit einer kontinuierlichen Charakteristik,
zum Beispiel ähnlich
dem Signal, das durch Bewegung einer Computermaus entlang einer
Oberfläche
erzeugt wird. Weiterhin, da die Zunge in der Lage ist, sich in drei Richtungen
zu bewegen, ist die Erfindung in der Lage, einen Signalsausgang
von dreidimensionalem Typ bereitzustellen, wie zum Beispiel dass,
das von einem Computer-Joystick erzeugt wird, wobei das Signal Aufwärts-, Abwärts-, Links-,
Rechts-, Vorwärts- und
Rückwärts-Signalausgänge mit
Geschwindigkeitscharakteristiken hat und mit der Geschwindigkeit in
Bezug steht, mit dem der Joystick in Bezug auf Orte oder in entsprechende
Richtungen bewegt wird.
-
Die
Erfindung kann für
viele Zwecke verwendet werden. Eine beispielhafte Verwendung ist
es, eine Eingabe zu einem Computer bereitzustellen oder zu irgendeiner
anderen elektrischen oder elektronischen Einrichtung. Ein beispielhafter
Eingangswert ist ein elektrisches Signal, es versteht sich jedoch,
dass der Eingangswert nicht elektrisch sein muss, sondern beispielsweise
optisch, fluidisch usw. Der Eingangswert kann den Computer oder
eine andere Einrichtung steuern oder er kann verwendet werden für irgendwelche
andere Zwecke. Um die Beschreibung zu erleichtern und um die Komplexität der Beschreibung
der Erfindung hier zu vermeiden, wird die Erfindung in Bezug auf
die Verwendung beschrieben, um einen elektrischen Eingangswert einem Computer,
beispielsweise einem PC oder irgendeinem anderem Computer zur Verfügung zu
stellen, egal ob vom digitalen oder analogen Typ, um den Betrieb
bzw. die Funktion des Computers zu steuern. Es versteht sich, dass
die Erfindung für
viele andere Zwecke verwendet werden kann.
-
Ein
Beispiel einer Verwendung der Erfindung in Kombination mit einem
Computer, der gesteuert wird unter Verwendung der Erfindung ist
es, Funktionen und Fähigkeiten
für eine
behinderte Person bereitzustellen. Beispielsweise kann die Erfindung
verwendet werden, um ein behindertes Individuum oder ein nicht behindertes
Individuum in die Lage zu versetzen, im Betrieb eines Teils einer
Maschine in einer Produktionsfabrik zu steuern, um den Betrieb eines motorisierten
Rollstuhls oder eines ähnlichen
Geräts zu
steuern, um die Operation zu steuern, beispielsweise, um ein Videospiel,
usw. zu spielen. Dies sind nur Beispiel und es versteht sich, dass
die Erfindung für
viele andere Zwecke verwendet werden kann.
-
Bei
der vorliegenden Erfindung besteht nicht die. Notwendigkeit für einfallende
elektromagnetische Signale, die eine Modulation erfordern, um einen
nützlichen
Ausgangswert zu erzeugen. Statt dessen werden in der vorliegenden
Erfindungen Aktionen des Individuums, die im Kopf des Individuums auftreten,
beispielsweise in Bezug auf die Mundhöhle, wie zum Beispiel die Zungenbewegung,
das Schnalzen der Zunge gegen die Zähne oder den Gaumen usw. verwendet,
um den Luftdruck oder Laute bei einer oder beiden Ohres des Individuums zu
erzeugen, die erfasst oder wahrgenommen werden können und verwendet werden können als
eine Ausgabe der Erfindung, die als eine Eingabe zu einem Computer
oder irgendeinem anderen Gerät
bereitgestellt wird. Die vorliegende Erfindung stellt somit ein
nicht stimuliertes Signal, zum Beispiel ein Signal, das durch die
Aktion des Individuums ohne die Notwendigkeit einer eingehenden
Eingabe, wie zum Beispiel einem einfallenden elektromagnetischen
Signal, erzeugt wird.
-
In Übereinstimmung
mit einer Ausführungsform
der Erfindung erfasst oder fühlt
ein Sensor den Luftdruck oder eine Veränderung im Luftdruck oder einen
Laut, der von einem Ohr eines Individuums erzeugt wird. Um die Beschreibung
zu vereinfachen, wird das Ereignis des Erfassens oder Fühlens als
Erfassen beschrieben und was erfasst wird, wird als Luftdruck bezeichnet.
Ebenso, um die Beschreibung hier zu vereinfachen, wird die Aktion,
die den erfass baren Luftdruck verursacht, als Bewegung der Zunge in
der Mundhöhle
bezeichnet, manchmal als "Zungenaktion" bezeichnet, obwohl
es sich versteht, dass die Erfindung andere Muskelbewegungen oder
-aktionen in oder verknüpft
mit der Mundhöhle
oder sogar von dem Kopf selbst, das Schnalzen oder andere Aktionen
der Zunge gegen die Zähne
oder den Gaumen, Ausatmen oder Einatmen durch die Lungen, Aktionen
der Nase, die zu einem erfassbaren Luftdruck an dem Ohr oder den
Ohren des Individuums führen,
können
in Übereinstimmung
mit der Erfindung verwendet werden. Andere erfassbare Aktionen des
Kopfes können
das Drehen des Kopfes oder das Neigen des Kopfes sein. Ein beispielhafter
Vorteil der Verwendung von Zungenbewegungen, um zu dem erfassbaren
Luftdruck zu führen,
ist der, dass die Zungenbewegung zweidimensional oder dreidimensional
sein können – zwei sind
nach Oben- und nach Unten- oder Links- und Rechtsbewegungen und
die dritte ist eine Kombination von einer Bewegung nach vorne und
nach hinten, nach links und nach rechts und nach oben und nach unten.
-
Die
vorliegende Erfindung betrifft ein System und ein Verfahren zum
Erfassen von Aktionen des menschlichen Kopfes, in dem Beispiel unten
ist die Aktion die Bewegung oder andere Aktionen der Zunge in Bezug
auf die Mundhöhle,
und des Bereitstellens eines nützlichen
Ausgangswerts in Antwort auf solch eine Erfassung. Die vorliegende
Erfindung überwacht
Veränderungen
im Luftdruck nahe des menschlichen Ohrs, die nahezu gleichzeitig
in Antwort auf die Zungenbewegung auftreten, um eine im wesentlichen
Echtzeiterfassung und eine Steuerung des Systems bereitzustellen.
Zusätzlich
ist die Überwachung
des Luftdrucks passiv und vermeidet mögliche Gesundheits- und/oder
Umweltbedenken, die mit dem Aussetzen des Körpers mit elektrischen Signalen
und Strahlung in Bezug stehen. Weiterhin entsprechen die Veränderungen
im Luftdruck eindeutig einer von einer Vielzahl von Zungenaktionen
(zum Beispiel haben sie eindeutige Signalsignaturen), die es erlauben,
dass eine Mehrzahl von unterschiedlichen Zungenaktionen erfasst
und unterschieden werden können
für ein
System, das mehrere Steuerfunktionen erfordert.
-
Gemäß einem
Aspekt der vorliegenden Erfindung beinhaltet ein System für die Erfassung
einer Zungenaktion und das Bereitstellen eines entsprechenden Ausgangs
in Antwort auf die Erfassung einen Drucksensor, der nahe des Ohrs
des Benutzers positioniert ist. Der Sensor steht in elektrischer
Verbindung mit einem Verarbeitungsschaltkreis und erfasst Veränderungen
im Luftdruck nahe des Ohres aufgrund der Zungenbewegungen des Benutzers und
wandelt die Luftdruckveränderungen
in ein elektrisches Signal um. Das elektrische Signal wird dann von
dem Schaltkreis verarbeitet, um das Vorhandensein und den Typ der
Zungenbewegungen innerhalb des elektrischen Signals zu erfassen
und einen Steuerbefehl oder irgendeine andere nützliche Ausgabe bereitzustellen,
wie zum Beispiel eine Ausgabe ähnlich
zu der, die von einer Computermaus oder einem Joystick erzeugt wird,
die der bestimmten Zungenbewegung entspricht, zu einem Ausgabeperipheriegerät für die Ausführung. Beispielhafte
Steuerfunktionen können
beinhalten, sind jedoch nicht hierauf begrenzt: Steuern einer Videospielanzeige,
Steuern eines Stücks
eines medizinischen Geräts,
wie zum Beispiel einen Rollstuhl und Steuern von Computerfunktionen,
um eine handfreie Maus, Joystick usw. zu bewirken.
-
Entsprechend
einem anderen Aspekt der vorliegenden Erfindung wird ein Verfahren
zum Erfassen von Zungenbewegungen und zum Bereitstellen eines Steuerbefehls
entsprechend der Zungenbewegung bereitgestellt. Die Zungenbewegungen werden überwacht
durch Überwachen
des Luftdrucks, wobei die Luftdruckveränderungen nahe des Ohres Zungenbewegungen
und -geräuschen
entsprechen. Das Verfahren beinhaltet das Umwandeln der Luftdruckdaten
in ein analoges elektrisches Signal, was nachfolgend in digitale
Signaldaten für
die weitere Verarbeitung umgewandelt wird. Die Datensignalverarbeitung
wird implementiert, um die Daten zu analysieren und das Rauschen
von den Zungenbewegungsdaten zu trennen, um hierdurch die Anwesenheit
von einer Zungenbewegung zu erfassen. Die weitere Verarbeitung wird
dann verwendet, um den Typ der erfassten Zungenbewegung zu bestimmen,
und um eine oder mehrere nützliche
Ausgaben, zum Beispiel Steuerbefehle oder irgendwelche anderen Ausgaben
einem Ausgabeperipheriegerät
bereitzustellen für
die Ausführung
von geeigneten Funktionen.
-
In
einer Ausführungsform
der vorliegenden Erfindung beinhaltet der Drucksensor und der Transducer
ein Mikrophon und die Datensignalverarbeitung beinhaltet die Umwandlung
von Datensegmenten in den Frequenzraum, um Daten, die einer Zungenbewegung
entsprechen, von Rauschen zu unterscheiden. Es gibt ebenso eine
Bandpasssignalfilterfunktion, um Rauschen, was bei Frequenzen oberhalb
und unterhalb einer gewünschten
Frequenz oder eines Frequenzbereichs, in dem das Signal erwartet
wird, auftritt, zu separieren und eine Energiespektrumfilterung,
um Signale zu eliminieren, die bei Leistungen geringer als ein Grenzwert
erzeugt werden, und somit als Rauschen erachtet werden, zu eliminieren.
Sobald ein Zungenbewegungstypsignal erfasst wird, beinhaltet die
weitere Datenverarbeitung die Merkmalsextraktion und dann die Analyse
des Merkmals, um seine Korrelation zu gespeicherten Merkmalen zu
bestimmen. Falls eine zufriedenstellende Korrelation erhalten wird,
wird dann der entsprechende Ausgabewert bereitgestellt. Der Ausgabewert
kann bei spielsweise ein oder mehrere Steuerbefehle sein, die zu
einem Ausgabeperipheriegerät gesendet
werden für
die Ausführung
der Befehle, wodurch eine Systemsteuerfunktionalität bereitgestellt wird.
Ein neuronales Netz kann verwendet werden, um die Korrelationsfunktion
auszuführen.
-
Es
wird nun auf die Figuren Bezug genommen und eine detaillierte Beschreibung
der Erfindung folgt. 1 ist ein Blockdiagramm, das
ein System 10 für
das Erfassen einer Zungenbewegung oder einer anderen Kopfbewegung
und das Bereitstellen einer Ausgabe, die der erfassen Zungenbewegung entspricht,
darstellt. Das System 10 beinhaltet einen Drucksensor 12,
der mit dem Verarbeitungsschaltkreis 14 einschließlich einem
Analog-Digital (A/D) Wandler 16, wie zum Beispiel einer
PCI9118 HG Datenertassungskarte, die von Uplink Technology hergestellt
wird, oder einer DAQi250 Datenerfassungskarte, die durch die Ines
Company GmbH in Deutschland hergestellt wird, für das Umwandeln eines analogen
Signals in digitale Signaldaten verbunden ist. Ein Puffer 17 wird
bereitgestellt, um Teile des Signals von dem A/D Wandler 16 bereitzustellen,
da diese Signale relativ kontinuierlich sein können und eine kontinuierliche
Bewegung der Zunge reflektieren können, bis beispielsweise eine
Filter- und Signalerfassung durchgeführt werden kann, wie unten
weiter beschrieben. Der Verarbeitungsschaltkreis 14 beinhaltet
ebenso einen Prozessor 18 für das Empfangen der digitalen
Signaldaten von dem A/D Wandler 16 und dem Puffer 17 und
für das
Durchführen
von verschiedenen Signalverarbeitungsfunktionen auf den digitalen
Signaldaten, um das Auftreten einer Zungenbewegung zu erfassen und
den Typ der Zungenbewegung zu bestimmen. Das System 10 beinhaltet ebenso
ein Ausgabeperipheriegerät 20,
das mit dem Prozessor 18 verbunden ist, für das Ausführen von ein
oder mehreren Steuerbefehlen, die von dem Prozessor 18 bereitgestellt
werden, die der erfassten Absicht entsprechen.
-
Das
System 10 ist in einem beispielhaften Umgebungskontext
in 2a dargestellt. In 2a hat
ein Benutzer 22 den Drucksensor 12 nahe des Ohres 24 lokalisiert
durch Anordnen des Drucksensors 12 in einem Kopfhörer 26.
Die Kopfhörer 26 stellen
vorzugsweise zwei Funktionen bereit: (1) sie lokalisieren den Drucksensor 12 nahe
des Ohres in einer relativ fixierten Position und (2) sie stellen
eine gewisse äußere Schallisolierung
bereit, wodurch die Menge des äußeren Rauschens,
das von dem Drucksensor 12 erfasst wird, verringert wird.
Wenn der Benutzer 22 agiert durch Bewegen, tritt beispielsweise
eine Veränderung
im Luftdruck in oder nahe dem Ohr 24 auf, wobei die Luftdruckveränderung
eindeutig die Zungenaktion identifiziert. Die Veränderung
im Luftdruck wird von dem Drucksensor 12 erfasst, der den erfassten
Luftdruck in ein analoges elektrisches Signal für die nachfolgende Verarbeitung
durch den Schaltkreis 14 umwandelt. In 2a ist
das exemplarische Ausgangsperipheriegerät 20 als eine Anzeige
dargestellt, die mit einem Computerspiel oder Videospiel verknüpft ist
(oder sie kann eine Steuerfunktion für einen mechanisierten Rollstuhl
bereitstellen, eine Aufgabe in einem Herstellungsprozess ausführen usw.),
der die Steuerbefehle ausführt
(zum Beispiel Rennen, Gehen, Fliegen, Ausführen eines Schlags oder einen
Tritts in einem Videospiel usw.). Die Richtung und die Geschwindigkeit
der angezeigten Bewegung kann der Richtung und der Geschwindigkeit
der Bewegung der Zunge entsprechen und die Stärke des Tritts oder des Schlags
kann beispielsweise der Stärke
des Schnalzen der Zunge gegen den Gaumen oder die Zähne entsprechen.
-
Die
Positionsbeziehung zwischen dem Drucksensor 12 und dem
Ohr 24 wird in größerem Detail
in 2b dargestellt. Obgleich die Erfindung einem einzelnen
Sensor 12, wie in 2b gezeigt
ist, verwenden kann, ist die Verwendung von zwei Sensoren, wie in 2a gezeigt
ist, von Vorteil, um dreidimensionale Information zu erhalten, wobei
jeder Sensor unterschiedliche Information als eine Funktion der
dreidimensionalen Bewegung der Zunge in Bezug auf die Mundhöhle oder
Zähne oder
die Stärke des
Schnalzens der Zunge usw. aufnimmt. Die erfassten Signale können korreliert
sein, um einen Ausgabewert bereitzustellen, der im Ergebnis drei
Bewegungsgrade hat, zum Beispiel einen dreidimensionalen Effekt.
Beispielsweise kann die Bewegung in der Mundhöhle nach oben und unten, nach
links und rechts, nach vorne und hinten sein und entsprechende Kombinationen
solcher Bewegungen können
das gewünschte
dreidimensionale Ergebnis bereitstellen, wobei die Sensoren 12 an
den jeweiligen Ohren andere Luftdrücke erfassen, die mit der dreidimensionalen
Bewegung eines Joysticks oder einer Maus korreliert sind, die zu
Ausgangssignalen führen,
die die dreidimensionale Bewegung repräsentieren.
-
Der
Drucksensor 12 beinhaltet ein Gehäuse 28, wie zum Beispiel
ein Kopfhörergehäuse, das
einen Sensor hat, wie zum Beispiel ein Mikrophon 30, das
hierin erfasst ist. Die Art und Weise, in der das Mikrophon 30 an
dem Gehäuse 28 befestigt
ist, kann variieren, um den Abstand zwischen dem Mikrophon 30 und
dem Ohr 24 einzustellen. Das Mikrophon 30 ist
nahe dem Ohr 24 angeordnet beispielsweise mit einem Abstand
von etwa 1'' bis 2'' abhängig
von der Empfindlichkeit des Mikrophons, wobei jedoch andere Abstände ebenso
verwendet werden können
und als in den Schutzbereich der vorliegenden Erfindung fallend
in Betracht gezogen wurden. Das Mikrophon 30 kann bequem
innerhalb des Ohrs 24 oder so nah wie möglich an dem Ohr positioniert
sein, um die Luftdruckveränderungen
bei einem erhöhten
Intensitätsgrad
zu empfangen. In 2b ist weder die Form noch die
Position des Mikrophons 30 maßstabsgetreu, sondern lediglich
in dieser Art und Weise aus Gründen
der Klarheit dargestellt.
-
Nach
einer Ausführungsform
der vorliegenden Erfindung hat das Mikrophon 30 eine Empfindlichkeit
von zumindest etwa 47 mV/Pa (Milli-Volt pro Pascal) und in einer
Ausführungsform
eine Empfindlichkeit von 100 mV/Pa oder mehr mit einem Frequenzbereich
von etwa 10 Hz bis etwa 800 Hz. Ein Frequenzbereich in der Größenordnung
von in etwa 20 Hz ist nützlich
in einer Ausführungsform
für das Erfassen
eines Luftdruckes, der von einer Zungenaktion, die hier beschrieben
wurde, herrührt.
Es wird hier ebenso erneut erwähnt,
dass der Bezug auf das Erfassen eines Luftdrucks das Erfassen eines
Luftdrucks, einer Differenz im Luftdruck und/oder von Schall bedeuten
kann. Ein beispielhaftes Mikrophon, das verwendet werden kann, ist
das Mikrophonmodell 4190, das von Brüel & Kjær in Dänemark hergestellt wird. Alternativ
können
jedoch andere Mikrophontypen oder andere Typen vom Drucksensor verwendet
werden und jede solche Alternative ist als in den Schutzbereich der
vorliegenden Erfindung fallend in Betracht gezogen worden. Bei der
Verwendung des Modells 4190 Mikrophon ist das analoge Ausgangssignal
etwa 400 mV Peak to Peak. Die Amplitude des Ausgangssignals hängt jedoch
von dem Amplitudenkoeffizienten der Elektronik und der Position
des Mikrophons in Bezug auf das Ohr ab und kann somit wesentlich
variieren.
-
Es
ist nicht sicher, welche physikalischen, chemischen oder neuronalen
Mechanismen die Veränderungen
im Luftdruck in oder nahe dem Ohr in Antwort auf verschiedene "Muscle Firings", zum Beispiel die
Kontraktion und das Lösen
eines Muskels, verursachen oder erzeugen. Aufgrund der Verbindung
der Mundhöhle
zu dem Ohr über
die eustachische Röhre
kann jedoch die Bewegung der Zunge einen Luftdruck, eine Veränderung
im Luftdruck oder einen Luftstrom zu oder von dem Ohr, der zu einem erfassbaren
Luftdruck führt,
der von dem Sensor 12 erfasst werden kann, verursachen.
Ungeachtet das exakten physikalischen, chemischen oder neuronalen
Mechanismus haben empirische Tests bestätigt, dass Zungenbewegungen,
Druckveränderungen
in oder nahe dem Ohr der Person erzeugen und dass die Luftdruckänderungen
im wesentlichen ihre eigene Signatur haben und somit im wesentlichen
eindeutig für
eine gegebene Zungenbewegung eines Individuums sind. Folglich können die
Luftdruckveränderungen
nahe dem Ohr überwacht
werden und verwendet werden, um die Zungenbewegung eines Benutzers
zu erfassen.
-
Die
vorliegende Erfindung verwendet den Begriff "Veränderungen
im Luftdruck" nahe
dem Ohr in seinem breitesten Sinn, um den zu messendem Parameter
zu charakterisieren. Veränderungen
im Luftdruck können
alternativ als Schallwellen charakterisiert werden. Wie dem Fachmann
klar ist, ist eine Schallwelle eine longitudinale Welle, in der "Stöße" von Molekül zu Molekül in dem
Medium, das in dieser bevorzugten Ausführungsform Luft ist, übertragen werden.
Die Rückstellkraft
solch einer Welle erfolgt aufgrund des Drucks der Luft, wo immer
die Dichte der Moleküle
größer als
normal ist, ist ebenso der Druck größer als normal und drückt die
Moleküle
auseinander. 2c stellt eine beispielhafte
Schallwelle 40 in Luft dar und besteht aus einer Mehrzahl
von alternierenden Zonen 42 von niedriger bzw. hoher molekularer
Dichte 42a bzw. 42b. Die variierende molekulare
Dichte führt
zu Veränderungen
im Luftdruck mit einer bestimmten Frequenz, wenn sich die Schallwelle
ausbreitet. Zusätzlich
ist es dem Fachmann bekannt, das, wenn sich eine Schallwelle von
ihrer Quelle ausbreitet, ihre Intensität abfällt, da das Gebiet der Welle
größer wird
und die Gesamtenergie konstant ist. Daher verringert sich die Energie
pro Einheitsfläche,
umgekehrt quadratisch zum Abstand. Folglich ist es wünschenswert,
das Mikrophon 30 ausreichend nahe am Ohr 24 zu
haben, so dass der Intensitätsgrad
der Luftdruckveränderungen
größer und
somit leichter gegenüber
irgendwelchem Rauschen zu erfassen ist.
-
Der
Frequenzbereich, in dem Schallwellen hörbar sind, liegt bei etwa 20
Hz bis 20 KHz, obgleich es für
die vorliegende Erfindung nicht wichtig ist, ob die Luftdruckveränderungen
hörbar
sind, wenn das Mikrophon 30 ausreichend empfindlich ist
und einen Frequenzerfassungsbereich hat, der ausreichend ist, um
Luftdruckveränderungen
bei hohen oder niedrigen Frequenzen zu erfassen. In einer Ausführungsform
der Erfindung wird auf ein Frequenzbereich von etwa 10 Hz bis etwa
800 Hz fokussiert, da über
empirische Tests bestimmt wurde, dass innerhalb dieses Frequenzbereichs
ausreichend Daten verfügbar sind,
um eine Zungenaktion zu erfassen und zu identifizieren. In einer
anderen Ausführungsform
liegt der Frequenzbereich bei etwa 20 Hz plus oder minus einiger
Hz, zum Beispiel plus oder minus etwa 10 Hz, somit in der Größenordnung
von etwa 10 Hz bis etwa 30 Hz. Alternativ kann jedoch jeder Frequenzbereich überwacht
werden, der geeignet ist, um die Zungenaktion zu erfassen, und solche
Abweichungen wurden als in den Schutzbereich der vorliegenden Erfindung
fallend, in Betracht gezogen.
-
Der
Drucksensor 12 (vorzugsweise einschließlich des Mikrophons 30) überwacht
die Veränderungen
im Luftdruck und wandelt die Druckdaten in ein analoges elektrisches
Signal 50 um, wie in 2d gezeigt
ist. Man bemerke, dass in dem Signal 50 es zumindest zwei
Signalkomponenten gibt, eine Hochfrequenzkomponente 52 und
eine Niederfrequenzkomponente 54. Zusätzlich können ebenso andere Frequenzen
innerhalb des elektrischen Signals 50 existieren, um die
vorliegende Erfindung analysiert vorzugsweise die verschiedene Signalfrequenzen
in der nachfolgenden Datenverarbeitung, die durch den Prozessor 18 durchgeführt wird,
die unten detaillierter beschrieben wird.
-
Im
Verfahren 100 wird das Ausführen der vorliegenden Erfindung
in 3 beschrieben. Das Verfahren 100 beinhaltet
in Schritt 102 das Erfassen einer Zungenbewegung durch Überwachen
einer Veränderung
im Luftdruck, die durch Zungenbewegungen von jemanden erzeugt wurden.
Sobald die Zungenbewegung in Schritt 102 erfasst wurde,
werden ein oder mehrere Steuerbefehle oder andere Ausgänge, die
der erfassten Zungenbewegung entsprechen, einem Ausgabeperipheriegerät in Schritt 104 bereitgestellt,
um die gewünschte
Ausgabefunktion zu bewirken.
-
Ein
Verfahren zum Erfassen einer Zungenbewegung (Schritt 102)
ist in 4 dargestellt. Ein Drucksensor, wie zum Beispiel
der in Verbindung mit den 1 und 2a bis 2d beschriebene,
wird nahe des Ohres eines Benutzers platziert, dessen Zungenbewegung
in Schritt 120 erfasst werden sollen. Gemäß einer
Ausführungsform
der Erfindung treten Luftdruckveränderungen nahe des Ohres in Antwort
auf Zungenbewegungen auf und somit wird der Drucksensor nahe dem
Ohr in Schritt 120 platziert. Es wurde jedoch alternativ
in Betracht gezogen, da Zungenbewegungen zu Druckveränderungen
bei oder nahe anderen Körperteilen
führen
können,
das in alternativen Ausführungsformen
der vorliegenden Erfindung der Drucksensor auf oder nahe anderer Körperteile
lokalisiert sein kann und jede Erfassung von Zungenbewegungen durch
die Analyse von Veränderungen im Luftdruck wird als in den Schutzbereich
der vorliegenden Erfindung fallend betrachtet.
-
Der
Luftdruck nahe des Ohres wird mit dem Sensor in Schritt 122 überwacht
und wird in Schritt 124 für die nachfolgende Analyse
in ein elektrisches Signal umgewandelt. Nach der Umwandlung in ein elektrisches
Signal in Schritt 124 wird das elektrische Signal analysiert,
um eine Zungenbewegung in Schritt 126 zu erfassen. Obgleich
es vorstellbar ist, dass die Zungenbewegung in Schritt 126 ein fach durch
Analysieren des Signals entsprechend der Veränderungen im Luftdruck ohne
zusätzliche
Datenverarbeitung erfasst werden kann, ist es vorzuziehen, dass
der Zungenbewegungserfassungsprozess von Schritt 126 die
Datenverarbeitung in Verbindung mit der Signalanalyse beinhaltet.
-
Ein
Verfahren zum Analysieren und Verarbeiten des elektrischen Signals,
das dem überwachten
Druck entspricht, ist in 5 dargestellt. Das elektrische
Signal, das ein analoges Signal ist, wie in 2d dargestellt
ist, wird in Schritt 140 in ein digitales Signal umgewandelt,
wie in 6 dargestellt ist. Wie dem Fachmann bekannt ist,
kann ein analoges Signal in ein digitales Signal umgewandelt werden durch
Abfragen des analogen Signals bei einer ausgewählten Frequenz und Identifizieren
der Signalamplitude an jedem Abfragepunkt. Jeder abgefragte Datenpunkt
wird dann als ein digitales Wort in einem Speicher gesichert und
für die
weitere Analyse verwendet. In 6 wird ein
abgefragtes analoges Signal dargestellt, in der die gepunktete Linie
das beispielhafte analoge Signal für eine bestimmte Zeitperiode
dargestellt und die Mehrzahl von Punkten auf der gepunkteten Linie
stellen die abgefragten Amplitudenwerte dar, die im Speicher gesichert
sind. Es ist wünschenswert,
dass die Abfragefrequenz ausreichend ist, um genügend Datenpunkte aufzunehmen, um
das analoge Signal adäquat
darzustellen. Als ein Beispiel kann die Abfragerate 32 KHz sein
und die gesamte Signalzeitlänge,
die analysiert wird, kann 2048 ms sein. Alternativ dazu können jedoch
andere Abfrageraten und Datenerfassungszeitrahmen verwendet werden
und solche Variationen werden als in den Schutzbereich der vorliegenden
Erfindung fallend angesehen.
-
Sobald
das analoge Signal in die digitalen Signaldaten in Schritt 140 umgewandelt
wurde, werden die digitalen Daten analysiert und durch beispielsweise
einen Signalprozessor verarbeitet, um die Anwesenheit einer Zungenbewegung
in Schritt 142 zu erfassen. Die Analyse und die Verarbeitung
der Daten kann in einer Mehrzahl von Segmenten, wie beispielsweise
in den 7 und 8 dargestellt, durchgeführt werden.
Wie in 7 dargestellt ist, wird ein erstes Datensegment
im Schritt 144 analysiert, gefolgt von der Analyse eines
zweiten Datensegmentes in Schritt 146. Sobald verschiedene
Datensegmente getrennt analysiert wurden, werden die Datensegmente
zusammen in Schritt 148 analysiert. Wenn alle Datensegmente
in Schritt 150 noch nicht analysiert wurden, kehrt das
Verfahren 142 zu Schritt 146 zurück und das
nächste
Datensegment wird analysiert, wobei danach alle vorherigen Segmente
zusammen in Schritt 148 analysiert werden. Der Prozess
setzt fort, bis alle Daten in Schritt 150 analysiert wurden,
was somit die Erzeugung einer Aussage erlaubt unter Verwendung der
analysierten Datensegmente in Schritt 152.
-
Die
Datensegmentanalyse kann graphisch in 8 angesehen
werden, in der die digitalen Signaldaten 154 aus Gründen der
Einfachheit kontinuierlich dargestellt sind. Die Gesamtdatenlänge für die Analyse
kann in 64 Segmente getrennt werden, die jeweils 32 ms Länge haben.
Es sei bemerkt, dass das Signal 154 sowohl eine Hochfrequenzkomponente 155 als
auch eine Niederfrequenzkomponente 156 enthält. Da Daten,
die möglicherweise
einer Zungenbewegung entsprechen, entweder in der Komponente oder
der Zungenbewegungsdaten gefunden werden können, können die Daten mehrere Datensegmente
umfassen, wobei die Datensegmente getrennt als auch zusammen analysiert
werden können.
Somit wird in Schritt 144 von 7 das erste
Datensegment analysiert (Bereich 157), in Schritt 146 wird dann
das zweite Datensegment analysiert (Bereich 158) und in
Schritt 148 werden beide Datensegmente zusammen analysiert
(Bereich 159). Der Prozess setzt dann für alle Datensegmente fort;
folglich kann die Datenanalyse der vorliegenden Erfindung sowohl die
Hochfrequenz- als auch die Niederfrequenzsignale analysieren, um
die Zungenbewegung zu erfassen, da empirische Tests gezeigt haben,
dass die interessierenden Signale typischerweise in den Bereich
von etwa 10 Hz bis etwa 800 Hz oder in dem Bereich von etwa 20 Hz
plus oder minus etwa 10 Hz fallen.
-
Zurück in 5 wird,
sobald Daten, die als Zungenbewegungsdaten angesehen werden, in
den Druckdaten in Schritt 142 aufgefunden wurde, die nachfolgende
Analyse durchgeführt,
um den Typ der Zungenbewegung in Schritt 160 festzustellen.
Solch eine Analyse beinhaltet die Merkmalsextraktion und -analyse
unter Verwendung eines neuronalen Netzes, das geübt ist, entsprechende Signale/Merkmale solcher
Signale zu erkennen. Wenn das neuronale Netz bestimmt, dass das
Signal eine Zungenbewegung eines bestimmten Charakters repräsentiert, dann
stellt es einen Ausgangswert bereit oder bewirkt die Erzeugung eines
Ausgangswertes, der hierfür
repräsentativ
ist, für
die Verwendung, wie hier beschrieben. Alternativ dazu können jedoch
andere Techniken verwendet werden, um den Zungenbewegungstyp zu
identifizieren, sobald die Zungenbewegung erfasst wird und jede
solche Technik wird als in den Schutzbereich der vorliegenden Erfindung
fallend angesehen.
-
Ein
beispielhaftes Verfahren zum Analysieren des digitalen Signals in
Datensegmenten ist in 9 dargestellt. Für jedes
Datensegment von 32 ms werden in dem Schritt 170 die Daten
von dem Zeitraum in den Frequenzraum konvertiert unter Verwendung
beispielsweise einer Fast Fourier Transformation (FFT), wie dem
Fachmann bekannt ist. Es ist bekannt, dass ein Zeitraumsignal f(t)
mit dem Frequenzraum f(jΩ)
entsprechend der folgenden Gleichung verknüpft ist. F(f(t))
= ∫f(t)e–jωtdt
= f(jω),wobei
F(f(t)) eine traditionelle Fourier Transformation ist. Wie dem Fachmann
bekannt ist, ist eine Fast Fourier Transformation mit der traditionellen
Fourier Transformation verknüpft,
da die Fast Fourier Transformation ein effizienter Algorithmus für das Berechnen
der diskreten Fourier Transformationen ist. Nachdem die digitalen
Signaldaten in den Frequenzraum über
die Fast Fourier Transformation umgewandelt wurden, werden die Frequenzraumdaten verarbeitet,
um Daten betreffend die Zungenbewegungen von Rauschdaten in Schritt 172 zu
unterscheiden. Wie dem Fachmann bekannt ist, ist die Trennung der
Daten vom Rauschen im Frequenzraum häufig vereinfacht, da anders
als Rauschen das Datensignal einige physikalische Merkmale hat.
Obgleich das Datensignal im Zeit raum eine Amplitude hat, die geringer
als das Rauschen ist, hat das Datensignal im Frequenzraum eine größere Amplitude
als das Rauschen. Folglich ist die Fast Fourier Transformation ein
typisches Verfahren für
die Rauschabtrennung.
-
Die
Details, die die Datenverarbeitung der digitalen Signaldaten umgeben,
können
durch eine Vielzahl von Datenverarbeitungstechniken verwirklicht
werden, wie dem Fachmann bekannt ist und alle Datenverarbeitungsverfahren
wurden als in den Schutzbereich der vorliegenden Erfindung fallend
angesehen. Obgleich viele unterschiedliche Datenverarbeitungsverfahren
eingesetzt werden können,
wird das bevorzugte Verfahren unten in Verbindung mit dem folgenden
Verfahren und System beschrieben.
-
In 10 werden
das System 200 und das Verfahren der Erfindung dargestellt.
Ein oder mehrere Sensoren 12 erfassen den Luftdruck von
dem (den) Ohren) des Benutzers. Das (die) analoge(n) Signal(e) von
dem (den) Sensor(en) wird (werden) über eine Datenerfassungskarte
einen Analog-Digital-Wandler
und dem Puffer 16/17 dem Prozessor 18 zur
Verfügung
gestellt. Das Signal, das von den Sensoren empfangen wurde, ist
im wesentlichen zumindest über
die jeweilige Zeitperiode kontinuierlich, während die Zunge bewegt wird
und daher ist der Puffer 17 in der Lage, ausreichende Abschnitte
des Signals für
die Analyse durch den Prozessor 18 zu speichern.
-
Der
Prozessor 18 beinhaltet einen Bandpassfilter 202,
einen Leistungsspektrumfilter 204, einen Signaldetektor 206,
einen Merkmalsextraktionsabschnitt 208 und ein neuronales
Netzwerk 210. Das System 200 beinhaltet ebenso
einen Ausgang 212, der mit einem gewünschten Ausgangsperipheriegerät 20 verbunden
sein kann.
-
Die
Funktion des gesamten Systems 200 zusammenfassend liefert
der Sensor (12) und die Datenerfassung, der A/D und der
Puffer 16/17 ein Signal zum Bandpassfilter 202.
Ein Beispiel eines Rohdaten- oder Rohsignals, das zu dem Bandpassfilter 202 geliefert
wird, ist bei 220 in dem Graph von 11 dargestellt.
Das Rohsignal wird dem Bandpassfilter präsentiert und es wird im Frequenzraum
darauf durch den Bandpassfilter verarbeitet unter Verwendung von
Fast Fourier Transformationstechniken. Die Fast Fourier Transformation
transformiert das digitale Signal in den Frequenzraum. In dem Bandpassfilter werden
Frequenzen, die oberhalb oder unterhalb des Frequenzbereichs liegen,
die beispielsweise die Zungenbewegung darstellt, aus dem Signal
entfernt. Die Frequenzen, die oberhalb und unterhalb des interessierenden
Frequenzbereichs liegen, werden typischerweise durch Rauschen verursacht.
Ein Beispiel des Signals, nachdem es durch den Bandpassfilter gefiltert
wurde, ist bei 222 im Graph von 12 dargestellt.
Verschiedene Bandpassfilter können
verwendet werden, um den Bandpassfilter in die Lage zu versetzen,
die Signalfrequenzen oberhalb und unterhalb des gewünschten
Frequenzbereichs abzutrennen.
-
Teile
des Signals, das bei 222 dargestellt wird, wie zum Beispiel die
Teile 222a und 222b können für die Zungenbewegung nicht
repräsentativ sein,
zum Beispiel, da sie relativ niederenergetisch sind und daher immer
noch Rauschen sein können. Daher
unternimmt der Leistungsspektrumfilter 204 eine weitere
Filterung gemäß der Energie
der verschiedenen Abschnitte des Signals, um Abschnitte zu bestimmen,
die aufgrund der Zungenbewegung erfolgen und folglich für die weitere
Analyse betrachtet werden sollten. Die Leistungsfiltrierung kann
ausgeführt
werden durch Abschneiden des Signals von 12, um
Fenster oder Segmente, wie zum Beispiel die in 224a, 224b,... 224i in 13 dargestellten,
zu vervielfachen. Es versteht sich, dass die Graphen der 12 und 13 unterschiedliche
Maßstäbe haben.
Die Fenster 224a bis 2241 durchschneiden somit
ein Zeitfenster zwischen den Zeiten ta und
tb, was in demselben Zeitfenster zwischen
Zeiten ta und tb ist,
das für
den Signalabschnitt 222c in 12 dargestellt
ist.
-
Die
Leistungsfilterung unterdrückt
oder eliminiert diejenigen Frequenzen, bei denen die Leistung des
Signals eine vorbeschriebene Schwelle oder Werte nicht überschreitet
und somit wahrscheinlich Rauschen repräsentiert. Durch Eliminieren
derjenigen Rauschkomponenten kann das Signal, das die Zungenbewegung
darstellt, gefunden werden. Um die Leistungsfilterung durchzuführen, wird
beispielsweise ein Leistungsspektrum für das Signal berechnet unter
Verwendung der folgenden Formel: Pf =
Magg2 f + Phase2 f,wobei f =
F0 ... Fi, und [F0; Fi] den Frequenzbereich darstellen,
in dem das Signal, das von der Zungenbewegung herrührt, erwartet
wird.
-
In
Worten ist die Leistung eine Funktion der quadrierten Größe plus
der quadrierten Phase. Die Leistung, wie oben für die entsprechenden Fenster 224a, 224b,... 224i berechnet
wurde, wird rekonstruiert, um einen Graph 226 herzustellen,
der in 14 gezeigt ist. Der Graph 226 zeigt
Werte 226a, 226b...226i von der erwähnten Berechnung.
Die Kurve 226 ist relativ glatt und repräsentiert
das Leistungsspektrum, wo ein Signal, das von der Zungenbewegung
verursacht wurde, in dem Graph 222 von 12 gefunden
werden kann. Üblicherweise
ist das Signal, das von der Zungenbewegung verursacht wird, von
relativ hoher Leistung und tritt in der Zeit näherungsweise in der Mitte des
Graphs 226 auf, zum Beispiel oberhalb des Zeitfensters
T, das in 13 gezeigt ist. Es ist die Zeit,
bei der dieses Zeitfenster auftritt, und die Dauer hiervon, die
das Signal erfasst oder lokalisiert, wenn in dieser Zeit das Signal 222 die
Zungenbewegung darstellt. Daher ist die Signaldetektorkomponente 206 des
Systems 200 im Ergebnis die Kombination der Graphen der 12 und 13 und
der gerade beschriebenen Analyse, um die Signalerfassungsfunktion
bereitzustellen. Ebenso ist das Zeitfenster T im Graph von 12 gezeigt und
bezeichnet somit diesen Abschnitt 222d (in dem dargestellten
gesperrten Fenster 222e) des Signals 222c, was
als durch die Zungenbewegung erzeugt angesehen wird.
-
Der
Signalabschnitt 222d oder zumindest ein Merkmal dieses
Signals kann dann zu dem neuronalen Netzwerk 210 geliefert
werden. Unter Verwendung der Merkmalsextraktionsprinzipien wird
ein Merkmal des Signalabschnittes 222d zu dem neuronalen
Netzwerk geliefert. Im neuronalen Netzwerk 210 wird das
Merkmal mit anderen Merkmalen, auf die das neuronale Netzwerk trainiert
wurde, verglichen. Das Trainieren von neuronalen Netzwerken ist ein
gut bekanntes Verfahren. Das neuronale Netzwerk kann bestimmen,
ob ein Eingangsmerkmal, wie zum Beispiel das den Signalabschnitt 222d repräsentierende,
eine akzeptierbare Übereinstimmung
ist oder akzeptierbar mit dem Training des neuronalen Netzwerks
korreliert, und, falls dies bestätigt
wird, kann das neuronale Netzwerk die Erzeugung des Ausgangswerts 212 bewirken.
Der Ausgang bzw. der Ausgangswert 212 kann ein elektrisches
Signal sein, was analog zu dem Signaltyp ist, der von einer Computermaus,
einem Joystick oder einer anderen Vorrichtung erzeugt wird. Somit
kann eine Zungenbewegung, wodurch die Zunge des Benutzers vom Mund von
vorne unten links nach hinten oben rechts bewegt wird, ein Ausgangssignal
erzeugen, das analog zu einer Bewegung einer Maus von oben links
nach unten rechts auf dem Mousepad ist. Als ein anderes Beispiel
kann die Bewegung der Zunge von vorne links im Mund zu rechts vorne
im Mund zu einem Signal analog zu einer Maus, die von links nach
rechts bewegt wird, führen,
usw.
-
Das
Merkmal, das aus dem Signal 222 extrahiert wird, kann beispielsweise
ein Merkmal sein, dass einige Charakteristiken oder Merkmale bezeichnet,
die die Kurve, die das Signal darstellt, von anderen Dingen unterscheidet.
Verschiedene Merkmale werden in den Merkmalsextraktionsverfahren
verwendet, die bekannt sind. In der vorliegenden Erfindung ist ein
beispielhaftes Merkmal ein geglättetes Leistungsspektrum
des Signalabschnitts 222d. Andere Merkmale können der
Logarithmus des Leistungsspektrums, das Leistungsspektrum selbst,
usw. sein.
-
Das
neuronale Netzwerk 210 kann ein konventionelles neuronales
Netzwerk sein, das in einer typischen Art und Weise trainiert ist.
Das neuronale Netzwerk 210 kann das Merkmal des Signalabschnitts 222d mit
seinem Training vergleichen und kann bestimmen, ob das Merkmal eher
wie ein trainiertes Merkmal oder eher wie ein anderes trainiertes Merkmal
ist. Falls das Eingangsmerkmal des Signalabschnitts 222d ausreichend
wie ein trainiertes Merkmal ist, veranlasst das neuronale Netzwerk
die Erzeugung eines geeigneten Signals als Ausgabe, wie oben beschrieben
wurde. Falls das Eingangsmerkmal nicht ausreichend ähnlich irgendeinem
der trainierten Merkmale ist oder relativ ähnlich zu zwei oder mehreren
trainierten Merkmalen ist, dann wird das neuronale Netzwerk die
Ausgabe, um ein Ausgangssignal zu erzeugen, nicht bewirken, mit
der Ungewissheit, dass anderenfalls die Produktion eines unerwünschten
Ausgangssignals verursacht werden kann.
-
Wie
oben beschrieben wurde, kann, wenn zwei Sensoren verwendet werden,
das System 200 ganz sequentiell auf jedem Signal von den
entsprechenden Sensoren arbeiten oder kann parallele Verarbeitungsfähigkeiten
beinhalten, so dass die Signale von beiden Sensoren im wesentlichen
gleichzeitig verarbeitet werden können. Die Ausgabe 212 kann die
Ergebnisse der Signalanalyse der Signale, die von beiden Sensoren
herrühren,
reflektieren und kann verwendet werden, um ein Ausgangssignal am Ausgang 212 bereitzustellen,
der im Effekt dreidimensionale Daten reflektiert.