DE19938535A1

DE19938535A1 - Vorrichtung zur Umwandlung von Sprachkommandos und/oder Sprachtexte in Tastatur- und/oder Mausbewegungen und/oder Texte

Info

Publication number: DE19938535A1
Application number: DE19938535A
Authority: DE
Inventors: Christoph Bueltemann; Heribert Leisner; Tilo Schlumberger; Detlef Zuendorf
Original assignee: Individual
Current assignee: Individual
Priority date: 1999-08-13
Filing date: 1999-08-13
Publication date: 2001-02-15

Abstract

Die Erfindung bezieht sich auf eine Vorrichtung zur Umwandlung von Sprachkommandos und/oder Sprachtexte in Tastatur- und/oder Mausbewegungen und/oder Texte. DOLLAR A Um eine solche Vorrichtung zu schaffen, die eine zuverlässige automatische Umsetzung von Sprache in Tastaturbefehle, Mausbewegungen und/oder Text sicherstellt, effizient und robust auch bei Störungen durch Hintergrundgeräusche funktioniert und eine verläßliche Identifikation des Sprechers/der Sprecherin ermöglicht, werden durch eine Rechnereinheit (1) mit einer Spracherkennungseinheit (2) über ein Mikrophon (3) Sprachkommandos bzw. Sprachtexte in Tastatur- oder Mausbefehle und/oder Texte mittels automatischer Spracherkennung und Sprecheridentifizierung umgewandelt und in Form digitaler Werte über das USB-Interface (4) oder eine andere bidirektionale Schnittstelle (5) an einen Rechner übergeben.

Description

Die Erfindung bezieht sich auf eine Vorrichtung zur Umwandlung von Sprachkommandos und/oder Sprachtexte in Tastatur- und/ oder Mausbewegungen und/oder Texte.

Es ist bekannt, dass zur Bedienung von Computersystemen entweder eine Tastatur, ein Touch-Screen, und/oder eine Computermaus benutzt wird.

Tastaturen als Bedienelement für Computersysteme sind seit den ersten Tagen des PC's und seiner Vorgänger, um 1980, bekannt. Computermäuse werden seit dem Einsatz der ersten grafischen Benutzeroberfläche, eingeführt von der Fa. Apple Inc., um 1986, eingesetzt und verwendet.

Die Mausbewegungen werden durch Bewegungen der Hand erzeugt, und die Auslösung eines Menüpunktes oder Programmbefehls erfolgt durch drücken mit dem Zeigefinger auf die Maustaste.

Die automatische Spracherkennung kann sowohl zur Umsetzung gesprochener Sprache in Tastaturbefehle und/oder Mausbewegungen und Texten, als auch zur Verifikation der Identität eines Benutzers eingesetzt werden.

Seit ca. 1950 laufen verschiedene Forschungsvorhaben hinsichtlich Spracherkennungstechniken. Wobei seit 1980 die Erkennungsmöglichkeiten durch die Entwicklung von statistischen Verfahren wie z. B. dem Hidden-Markow-Modell (HMM) deutlich verbessert wurden.

Aus der Literatur (Schukat-Talamazzini, E.G. (1995), Automatische Spracherkennung, Grundlagen, statistische Modelle und effiziente Algorithmen, Vieweg Verlag, Braunschweig) ist bereits bekannt, daß Verfahren der Spracherkennung entweder auf dem Vergleich zwischen abgespeicherten Referenzmustern und der unbekannten Äußerung beruhen oder auf der Beschreibung einzelner Wörter des Vokabulars mittels stochastischer Modelle. Dabei wird eine Äußerung, bestehend aus digitalen Abtastwerten, zunächst in eine Folge von Sprachblöcken vorgegebener Dauer zerlegt, und dann für jeden Sprachblock ein Satz von Merkmalsgrößen berechnet. Jeder Satz ergibt einen sogenannten Merkmalsvektor. Die statistischen Eigenschaften der Merkmalsgrößen werden in dem modellbasierenden Ansatz durch Verteilungsdichtefunktionen mit entsprechenden Mittelwerten und Varianzen erfasst. Diese Mittelwerte und Varianzen müssen zunächst in einer Trainingsphase anhand einer Vielzahl von repräsentativen Trainingsäußerungen bestimmt werden, um einen Referenzsatz (ein Modell) zu gewinnen. Zur Erkennung einer unbekannten Äußerung werden dann für die Modelle, die die Wörter des Vokabulars repräsentieren, jeweils Wahrscheinlichkeiten berechnet.

Diese statistischen Verfahren wurden durch die Einbeziehung und Kombination mit Methoden neuronaler Netzwerktechnologien erweitert.

All diesen Verfahren und Vorrichtungen ist gemeinsam, dass diese auf einem Host-PC direkt ablaufen müssen, somit diesen stark belasten und die Handhabung dadurch komplizieren daß oftmals hohe Wartezeiten bis zum Abschluss des Erkennungsvorgangs bestehen. Sie benötigen sehr große Ressourcen an CPU-Leistung und Speicher und sind bei der Sprecheridentifizierung unzuverlässig.

Aus der US-PS 5,659,665 ist es bekannt, daß vordefinierte Sprachkommandos in Tastaturanschlags-Daten umgewandelt und in die Tastaturschnittstelle eingeschliffen werden.

Die derzeit auf dem Markt erhältlichen Bedieneinheiten für Rechner und Terminals basieren auf mechanischen Eingabegeräten, bei denen entweder eine Taste gedrückt oder eine Maus bewegt wird. Dies hat den Nachteil, das immer erst diese Art der Bedienung gelernt werden muß, und der Umgang mit Rechnern bzw. Terminals gelernt werden muss, und der Umgang mit Rechnern dadurch weiten Teilen der Bevölkerung verschlossen bleibt.

Weiterhin sind diese Bedieneinheiten, die durch Schalter, Taster, Tastatur oder Maus realisiert werden, im Gegensatz zur automatischen Sprachein- und Sprachausgabe (gemäß der vorliegenden Erfindung) erheblich fehleranfälliger, störanfälliger und aufwendiger (in der Handhabung) hinsichtlich der Datenein- oder Ausgabe. Darüber hinaus sind bei solchen Systemen immer entsprechende Fähigkeiten und Kenntnisse bezüglich der Funktionsweise und Bedienung (z. B. bei der Tastatur) erforderlich, was oft zu einem erhöhten Zeitaufwand und damit erhöhten Kosten führt.

Oftmals ist es auch im eigentlichen Arbeitsprozeß hinderlich, die Augen und Hände vom zu bearbeitenden Gegenstand und/oder Schriftstück zu lösen um die Eingaben mit dem mechanischen Hilfsmittel vornehmen zu können.

Die Aufgabe der vorliegenden Erfindung besteht nun darin, eine Vorrichtung zu schaffen, die eine zuverlässige automatische Umsetzung von Sprache in Tastaturbefehle, Mausbewegungen und/ oder Text sicherstellt, effizient und robust auch bei Störungen durch Hintergrundgeräusche funktioniert und eine verläßliche Identifikation des Sprechers/-in ermöglicht.

Zur Lösung dieser Aufgabe wird vorgeschlagen, dass durch eine Rechnereinheit mit einer Spracherkennungseinheit über ein Mikrophon Sprachkommandos bzw. Sprachtexte in Tastatur oder Mausbefehle und/oder Texte mittels automatischer Spracherkennung und Sprecheridentifizierung umgewandelt und in Form digitaler Werte über das USB-Interface oder eine andere bidirektionale Schnittstelle an einen Rechner übergeben werden.

Eine eventuell notwendige Umsetzung der übergebenen Daten kann mittels Treibersoftware, welche auf dem Rechner oder Terminal abläuft durchgeführt werden.

Über die an diese Einheit angeschlossene Mikrophon-Lautsprecher Kombination, können mittels Sprachausgabe Kommandos oder Daten an den Benutzer zurückgegeben werden.

Die vorstehenden Ausführungen werden anhand der folgenden Zeichnungen näher erläutert. Dabei zeigen

Fig. 1 eine Rechnereinheit mit einer Spracherkennungseinheit, einem Mikrophon, einem USB-Interface oder einer anderen bidirektionale Schnittstelle in Draufsicht,

Fig. 2 eine Rechnereinheit mit weiteren USB-Anschlüssen und USB-Verteiler in Draufsicht,

Fig. 3 eine Rechnereinheit mit PCMCIA (Personal Computer Memory Card Interface Association)-Steckplatz in Draufsicht,

Fig. 4 eine Rechnereinheit mit einer Spracherkennungseinheit, eine Sprecheridentifizierung, eine Spracherzeugungseinheit, bestehend aus einem Taktgenerator, einem CPU (Central Processor Unit), einem Befehlsspeicher und/oder Datenspeicher, einem Mikrophon einem Lautsprecher und einer Analogein- und - ausgangsschaltung in Draufsicht.

Fig. 1 beschreibt eine Rechnereinheit (1) mit einer Sprach erkennungseinheit (2). Diese Spracherkennungseinheit (2) dient zur Umwandlung von Sprachkommandos bzw. Sprachtexten mittels eines Mikrophons (3) in Tastatur- oder Mausbefehle und/oder Texte. Die umgewandelten digitalen Werte werden dann anschließend über das USB-Interface (4)oder eine beliebige andere bidirektionale Schnittstelle (5) wie z. B. eine serielle RS232-Schnittstelle an einen Rechner oder Terminal übergeben.

In Fig. 2 wird die Rechnereinheit (1) mit weiteren USB- Anschlüssen (6) dargestellt. Mit Hilfe dieser Vorrichtung ist es möglich, die gewandelten Sprachkommandos oder Sprachdaten mit anderen Daten von den Peripheriegeräten zu kombinieren und über den USB-Verteiler (7) weiterzuleiten. Es daher z. B. die Anzahl einer Warenlieferung gesprochen und deren Produktnummer gescannt werden. Die dargestellte Recheneinheit (1) fügt die Daten entsprechend der Vorgaben des Host-Rechners zusammen und sendet sie als eine zusammenhängende Tastensequenz.

Fig. 3 beschreibt eine Rechnereinheit (1) mit einem PCMCIA (Personal Computer Memory Card Interface Association)- Steckplatz (8). Dies ermöglicht die Erweiterung der Rechnereinheit (1) mit den verschiedensten PCMCIA-Karten, wie zum Beispiel Ethernet- oder Funknetzkarten.

Fig. 4 zeigt eine Rechnereinheit (1) mit einer Spracherkennungseinheit (2), einer Sprecheridentifizierungseinheit (15) und einer Spracherzeugungseinheit (9), wobei diese aus einem Taktgenerator (10), einer CPU (Central Processor Unit) (11), einem Befehlsspeicher und/oder Datenspeicher (12), einem Mikrophon (3), einem Lautsprecher (13) und einer Analoge m- und -ausgangsschaltung (14) besteht. Mit Hilfe dieser Vorrichtung können komplexe Dateneingaben zuerst Dialogorientiert (durch gesprochene Dialoge mittels Sprachausgabe) zusammengestellt werden und danach als eine zusammenhängende Tastensequenz an den Host-Rechner oder Terminal gesendet werden.

Gemäß der erfindungsgemäßen Vorrichtung wird zur Umsetzung der Sprachkommandos bzw. Sprachtexte in Tastatur- oder Mausbefehle und/oder Texte mittels automatischer Spracherkennung und Sprecheridentifizierung ein Sprachsignal mit einer vorgegebenen Taktrate, z. B. 100 us, digitalisiert. Das Sprachsignal wird verändert und/oder transformiert, und/oder vorgeschaltete Algorithmen zur Merkmalsextraktion (wie digitale Filter) werden verwendet. Den GP's (genetischen Programmen) wird zusätzlich und/oder ausschließlich dieses Signal zugeführt. Das digitale Signal kann verändert und/oder transformiert werden, indem die Phonem- und/oder Wort-Identifikation auf der Basis von neuronalen Netzwerken (NN) erfolgt, und das Klassifikationsergebnis einem NN in Form von digitalen Werten zugeführt wird. Die Phonem- oder Wort- Identifikation können auch auf der Basis von Fuzzy Logik (FL) erfolgen. Dabei wird dann das Klassifikationsergebnis einer FL-Funktion in Form von digitalen Werten zugeführt. Zur Identifikation des Sprechers/der Sprecherin wird das Klassifikationsergebnis von GP's (genetischen Programmen) aus dem Sprachsignal verwendet.

Hierzu werden nachstehende Beispiele erläutert:

Beispiel 1

Die Steuerung einer Computermaus und die Navigation auf der Oberfläche eines Computerbetriebssystems kann per Sprachsteuerung auf Basis von GP (genetischen Programmen) und/oder NN-Algorithmen und/oder Fuzzy-Logik erfolgen. Damit ist es möglich, eine Computermaus herzustellen, bei der der Benutzer alternativ die Betriebssystemkommandos direkt per Sprache eingibt, Menüs öffnet, Programme startet, oder Steuerkommandos absetzt, ohne erst den Mauszeiger auf die entsprechende Position zu fahren, und anzuklicken.

Beispiel 2

Die Datenein- und ausgaben im Bereich der Logistik können die über das Mikrophon (3) eingegebenen Sprachkommandos mit den Daten anderer Peripheriegeräte kombiniert und danach als Datenstrom über das USB-Interface (4) an einen übergeordneten Rechner übergeben werden. Wird zum Beispiel in einem Kommissionierungsprozess ein Artikel der mit einem Barcode versehen ist, noch mit einer Mengenangabe versehen werden, kann der Benutzer die Daten in beliebiger Reihenfolge eingeben. Über den am USB-Interface (4) angeschlossenen Scanner wird die Artikelnummer erfasst und der Benutzer spricht entweder davor oder danach die kommissionierte Menge ein. Das System kann beide Eingabearten unterscheiden, und gibt den kompletten Datensatz

a) nur dann weiter wenn alle Daten vorliegen
b) in einer vordefinierten Form, z. B. erst die Artikelnummer und dann die Menge, weiter.

Beispiel 3

Im Lagerbereich kann die Weitergabe der erfassten Sprachdaten über den PCMCIA (Personal Computer Memory CardInterface Association)-Steckplatz (8) und einer darin eingesteckten Karte, z. B. ein Funkmodem, erfolgen.

Beispiel 4

Gemäß der erfindungsgemäßen Vorrichtung ist es möglich, daß die Spracherkennungseinheit (2) die Emulation des Tastaturtreibers sicherstellt. Dabei läuft eine Software im Hintergrund des Betriebssystems und prüft in kurzen Abständen (< 50 msec) ob Daten am USB-Interface (4) ankommen. Diese werden dann in die selben Systemkommandos, die auch eine Tastaturtreiber generiert umgesetzt, und über das API (Application Programming Interface) des Betriebssystems entweder an die derzeit aktive Vordergrundanwendung oder eine vordefinierte Anwendung, gesandt. Dadurch muss innerhalb der Zielapplikation keine Änderung vorgenommen werden, da sie ohnehin schon auf Tastaturanschläge reagiert.

Eine weitere Zusatzfunktion dieser Software ist die Umsetzung eines gesprochenen Wortes wie z. B. in sogenannte Shortcuts (Kurzbefehle). Diese Shortcuts erlauben das direkte aktivieren einer Funktion über Tastaturkombinationen. Im obigen Beispiel ist dies Dies geschieht über Tabellen und Matrizen die vor der Benutzung erstellt werden.

Beispiel 5

Gemäß der erfindungsgemäßen Vorrichtung ist es ebenso möglich, daß die Rechnereinheit (1) durch die Spracherkennungseinheit (2) Sprachkommandos in Tastatur- und/oder Mausbefehle umwandelt, welche die sprachgesteuerte Bedienung, eines WebBrowsers ermöglicht. Die Bedienung erfolgt in der Weise, dass die gesprochenen Wortes in Shortcuts (Kurzbefehle) umgesetzt werden. Diese Shortcuts erlauben das direkte Aktivieren einer Browserfunktion über Tastaturkombinationen. Dies geschieht über Tabellen und Matrizen die vor der Benutzung erstellt werden.

Beispiel 6

Nach der erfindungsgemäßen Vorrichtung kann die Rechnereinheit (1) durch die Spracherkennungseinheit (2) Sprachkommandos umwandeln, die die sprachgesteuerte Bedienung eines E-Mail- Programmes ermöglicht. Dadurch entfällt die Bedienung mit der Maus und das Schreiben auf der Tastatur.

Weiterhin wird mittels der erfindungsgemäßen Vorrichtung auch die sprachgesteuerte Bedienung eines Newsreaders ermöglicht. Weitere Bespiele sind die sprachgesteuerte Terminalemulation einer Datenbanksoftware, die sprachgesteuerte Bedienung einer Tabellenkalkulationssoftware oder die sprachgesteuerte Bedienung eines PPS (Produktion-Planung-Steuerung) Systems. Ebenso kann die Bedienung eines Warenwirtschaftssystems oder eines Buchhaltungssysteme mittels akustischer Bedienung erfolgen.

Letztlich kann auch bei allen Anwendungen, bei denen eine Bedienung der mechanischen Bedienelemente nicht möglich ist, da z. B. beide Hände für andere Aufgaben benötigt werden, die Vorrichtung Einsatz finden.

Vorteil dieser Erfindung ist es, eine Vorrichtung anbieten zu können, die eine zuverlässige automatische Spracherkennung ermöglicht, sich einfach als Peripheriegerät anschalten bzw. einbinden läßt und die bisher übliche mechanische Bedienung einer Rechnereinheit durch die Sprachbedienung ablöst. Dadurch wird die Bedienung und die Anwendung vieler Softwareprogramme stark vereinfacht. Der Lernaufwand für die Rechnerbedienung wird sehr verringert, und die Arbeitsabläufe beschleunigt und sicherer, wodurch erhebliche Kosten und viel Zeit gespart wird.

Claims

1. Vorrichtung zur Umwandlung von Sprachkommandos und/oder Sprachtexte in Tastatur- und/oder Mausbewegungen und/oder Texte, dadurch gekennzeichnet, daß durch eine Rechnereinheit (1) mit einer Spracherkennungseinheit (2) über ein Mikrophon (3) Sprachkommandos bzw. Sprachtexte in Tastatur oder Mausbefehle und/oder Texte mittels automatischer Spracherkennung und Sprecheridentifizierung umgewandelt und in Form digitaler Werte über das USB-Interface (4) oder eine andere bidirektionale Schnittstelle (5) an einen Rechner übergeben werden.

2. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, daß die Rechnereinheit (1) zusätzlich noch über weitere USB- Anschlüsse (6) verfügt und damit einen USB-Verteiler (7) realisiert.

3. Vorrichtung nach einem der Ansprüche 1 bis 2, dadurch gekennzeichnet, daß durch die Rechnereinheit (1) die über ein Mikrophon (3) eingegebenen Sprachkommandos mit den Daten anderer Peripheriegeräte kombiniert werden und danach als Datenstrom über das USB-Interface (4) oder eine andere bidirektionale Schnittstelle (5) an einen Rechner übergeben werden.

4. Vorrichtung nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, daß die Rechnereinheit (1) über einen PCMCIA (Personal Computer Memory Card Interface Association)-Steckplatz (8) zur Aufnahme von Peripheriegeräten, wie z. B. Funknetzwerkkarten verfügt.

5. Vorrichtung nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, daß die Rechnereinheit (1) eine Spracherkennungseinheit (2), einer Sprecheridentifizierungseinheit (15) und eine Spracherzeugungseinheit (9) beinhaltet, wobei diese aus einem Taktgenerator (10), CPU (Central Processor Unit) (11), Befehlsspeicher und/oder Datenspeicher (12), Mikrophon (3), einem Lautsprecher (13) und einer Analogein- und -ausgangsschaltung (14) besteht.

6. Vorrichtung nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, daß die durch die Spracherkennungseinheit (2) die Emulation des Tastaturtreibers ermöglicht wird.

7. Vorrichtung nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, daß die Rechnereinheit (1) durch die Spracherkennungseinheit (2) Sprachkommandos in Tastatur- und/oder Mausbefehle umwandelt, welche die sprachgesteuerte Bedienung, eines WebBrowsers ermöglicht.

8. Vorrichtung nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, daß die Rechnereinheit (1) durch die Spracherkennungseinheit (2) Sprachkommandos umwandelt, die die sprachgesteuerte Bedienung eines eMail-Programmes ermöglicht.

9. Vorrichtung nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, daß die Rechnereinheit (1) durch die Spracherkennungseinheit (2) Sprachkommandos umwandelt, die die sprachgesteuerte Bedienung eines Newsreaders ermöglicht.

10. Vorrichtung nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, daß die Rechnereinheit (1) durch die Spracherkennungseinheit (2) Sprachkommandos umwandelt, die die sprachgesteuerte Bedienung einer Terminalemulation ermöglicht.

11. Vorrichtung nach einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, daß die Rechnereinheit (1) durch die Spracherkennungseinheit (2) Sprachkommandos umwandelt, die die sprachgesteuerte Bedienung einer Datenbanksoftware ermöglicht.

12. Vorrichtung nach einem der Ansprüche 1 bis 11, dadurch gekennzeichnet, daß die Rechnereinheit (1) durch die Spracherkennungseinheit (2) Sprachkommandos umwandelt, die die sprachgesteuerte Bedienung einer Tabellenkalkulationssoftware ermöglicht.

13. Vorrichtung nach einem der Ansprüche 1 bis 12, dadurch gekennzeichnet, daß die Rechnereinheit (1) durch die Spracherkennungseinheit (2) Sprachkommandos umwandelt, die die sprachgesteuerte Bedienung eines PPS (Produktion-Planung-Steuerung)-Systems ermöglicht.

14. Vorrichtung nach einem der Ansprüche 1 bis 13, dadurch gekennzeichnet, daß die Rechnereinheit (1) durch die Spracherkennungseinheit (2) Sprachkommandos umwandelt, die die sprachgesteuerte Bedienung eines Warenwirtschaftssystems ermöglicht.

15. Vorrichtung nach einem der Ansprüche 1 bis 14, dadurch gekennzeichnet, daß die Rechnereinheit (1) durch die Spracherkennungseinheit (2) Sprachkommandos umwandelt, die die sprachgesteuerte Bedienung eines Buchhaltungssystems ermöglicht.