DE10051450A1

DE10051450A1 - System und Verfahren zur Sprachverarbeitung

Info

Publication number: DE10051450A1
Application number: DE10051450A
Authority: DE
Inventors: Wolfgang Wohlgemuth; Xin Ye
Original assignee: Siemens AG
Current assignee: Siemens AG
Priority date: 2000-01-27
Filing date: 2000-10-17
Publication date: 2001-08-16
Also published as: WO2001056016A1

Abstract

Die Erfindung betrifft ein System und ein Verfahren zum Bedienen und Beobachten insbesondere eines Automatisierungssystems und/oder einer Produktions- und/oder Werkzeugmaschine, bei dem eine Sprachinformation (8) eines Anwenders (1) zumindest zeitweise in der Weise ausgewertet wird, dass in Abhängigkeit der vom Anwender (1) abgegebenen und von den Spracherkennungsmitteln (4) erkannten Sprachinformation (8) gezielt vorgebbare, mit der erkannten Sprachinformation (8) verknüpfte Informationsdaten auf einem Anzeigemittel (23) darstellbar sind. Hierdurch ergibt sich eine Freihandbedienung und die Möglichkeit für eine "Navigation" im Umfeld von Augmented-Reality-Anwendungen auch bei komplexen technischen Anlagen.

Description

Die Erfindung betrifft ein System und ein Verfahren zum Be dienen und Beobachten insbesondere eines Automatisierungssys tems und/oder einer Produktions- und/oder Werkzeugmaschine.

Ein derartiges System und Verfahren kommt beispielsweise im Bereich der Automatisierungstechnik, bei Produktions- und Werkzeugmaschinen, bei Diagnose-/Serviceunterstützungssyste men sowie für komplexe Komponenten, Geräte und Systeme, wie beispielsweise Fahrzeuge und industrielle Maschinen und Anla gen zum Einsatz.

Der Erfindung liegt die Aufgabe zugrunde, ein System und ein Verfahren zum Bedienen und Beobachten insbesondere eines Au tomatisierungssystems und/oder einer Produktions- und/oder Werkzeugmaschine anzugeben, das eine Freihandbedienung und die Möglichkeit für eine "Navigation" im Umfeld von Augmen ted-Reality-Anwendungen auch bei komplexen technischen Anla gen ermöglicht.

Diese Aufgabe wird durch ein System sowie durch ein Verfahren mit den in den Ansprüchen 1 bzw. 3 angegebenen Merkmalen ge löst.

Dabei wird über Spracherkennungsmittel die vom Anwender abge gebene Sprachinformation ausgewertet. In Abhängigkeit der er kannten Sprachinformation werden auf den Anzeigemitteln vor gebbare Informationsdaten dargestellt und/oder es werden wei tere Aktionen ausgelöst. Hierdurch kann der Anwender freihän dig per Sprache einen Prozess oder eine Produktions- und/oder Werkzeugmaschine intuitiv durch Sprachsteuerung bedienen und beobachten.

Eine interaktive Sprachkommunikation mit dem System kann da durch sichergestellt werden, dass das System akustische Wie dergabemittel aufweist, die zur akustischen Wiedergabe von akustischen Informationsdaten als Reaktion auf vom Anwender gezielt über die Spracherkennungsmittel abgegebene Sprachin formation geeignet sind.

Eine sichere Information für den Anwender über den Verarbei tungszustand des Systems bezüglich eines Sprachsignals wird dadurch erzielt, dass das System Mittel zur Generierung eines akustischen Feedbacksignals als Reaktion auf den Bearbei tungsstatus bezüglich erkannter Sprachinformation aufweist. Dieses akustische Feedbacksignal kann in Form einer Sprach ausgabe, sowohl als Sprachsynthese (Text-To-Speech) als auch durch vorher aufgenommene Sprache, oder in Form von Tonsigna len generiert werden.

Im folgenden wird die Erfindung anhand der in den Figuren dargestellten Ausführungsbeispiele näher beschrieben und er läutert.

Es zeigen:

Fig. 1 ein Blockschaltbild eines Ausführungsbeispiels eines sprachgesteuerten Systems zum Bedienen und Beobachten eines Automatisierungssystems oder einer Werkzeugma schine,

Fig. 2 ein Blockschaltbild eines Ausführungsbeispiels eines sprachgesteuerten Systems zum Bedienen und Beobachten eines Automatisierungssystems oder einer Werkzeugma schine in einer Leitwarte und

Fig. 3 ein Blockschaltbild eines Ausführungsbeispiels eines sprachgesteuerten Systems zum Bedienen und Beobachten eines Automatisierungssystems oder einer Werkzeugma schine in der Feldebene.

Fig. 1 zeigt ein Blockschaltbild eines Sprachverarbeitungssys tems zum Bedienen und Beobachten eines Automatisierungssys tems oder einer Werkzeugmaschine. Das Sprachverarbeitungssys tem besteht aus einem Spracherkennungssystem 14, das von ei nem Anwender 1 ansteuerbar ist. Der Anwender ist mit einem Funkheadset 2 ausgestattet, an dem ein Mikrofon 4, ein Laut sprecher 3 und eine Datenübertragungsvorrichtung 15 angekop pelt ist. Das Spracherkennungssystem 14 enthält eine akusti sche Auswertevorrichtung 6, beispielsweise eine Soundkarte eines Computers, die ein Sprachsignal 8 des Anwenders 1 er fasst. Wenn die akustische Auswerteeinrichtung 6 ein positi ves Ausgangssignal 18 abgibt, d. h. wenn ein entsprechendes Sprachsignal des Anwenders 1 vorliegt, so wird von einem Spracherkenner 19 im Falle eines erkannten Sprachsignals 8 ein entsprechendes Kommando 20 an das Anzeigemittel 23, bei spielsweise innerhalb eines Prozessvisualisierungssystems ab gegeben.

Die Besonderheit des in Fig. 1 gezeigten Sprachverarbeitungs systems besteht in der zielgerichteten Spracherkennung, die den Vorteil schafft, dass der Anwender nicht erst in mögli cherweise tiefen Bedienhierarchien nach gewünschten Prozess bildern und Prozesswerten suchen muss, sondern statt dessen durch ein entsprechendes Sprachsignal ein gewünschtes Objekt, einen gewünschten Prozesswert, etc. direkt "aufrufen" kann. Die Übertragung der Sprachsignale 8 vom Mikrofon 4 zur Sound karte 6 kann dabei beispielsweise durch eine drahtlose uni- oder bidirektionale Funkschnittstelle erfolgen. Im Falle ei ner bidirektionalen Funkübertragungsschnittsstelle zwischen Übertragungssystem 15 und Spracherkennungssystem 14 können bei Nichterkennung eines Sprachsignals 8 auch Nachfragen 22 an den Anwender 1 direkt abgegeben werden. Alternativ oder zusätzlich hierzu ist auch eine Ausgabe derartiger Nachfragen 22 über einen Lautsprecher 21 möglich.

Fig. 2 zeigt ein Sprachverarbeitungssystem für ein Bedien- und Beobachtungssystem beispielsweise eines Automatisierungssys tems in einer Leitwarte. Das Bedien- und Beobachtungssystem enthält ein Prozessvisualisierungssystem 102 das über eine beispielhaft dargestellte Bildschirmmaske 103 eine Steuerung des Prozesses eines Automatisierungssystems 110 ermöglicht. Das Bedien- und Beobachtungssystem umfasst ein Spracherken nungssystem 101, dem ein Eingangssignal 104 zugeführt wird und das ein Ausgangssignal 107 abgibt. Das Eingangssignal 104 beruht auf einem Sprachsignal 8 des Anwenders, welches bei spielsweise über ein Mikrofon 4 eines Headsets 2 des Anwen ders 1 erfasst wird. Das Spracherkennungssystem 101 liefert ein Ausgangssignal 107, welches auf dem Sprachsignal 8 des Anwenders basiert. In Abhängigkeit des Ausgangssignals 107 der Spracherkennungseinheit 101 wird vom Prozessvisualisie rungssystem 102 über ein Ausgangssignal 108 die Bildschirm maske 103 angesteuert.

Dem Ausführungsbeispiel von Fig. 2 liegt dabei beispielsweise folgendes Szenario zugrunde: Der Anwender 1, z. B. in einer Leitwarte, beobachtet mit Hilfe des Prozessvisualisierungs systems 102 eine Automatisierungsanlage 110. Er ruft durch Sprache, d. h. durch Abgabe eines Sprachsignals 8 ein ge wünschtes Objekt, beispielsweise einen bestimmten Prozess wert, auf oder er möchte einen Prozesswert ändern. In diesen Fällen ruft der Anwender 1 das Objekt per Sprache auf oder er nennt den neuen Prozesswert. Akustisch erhält er Rückmeldung über die Verarbeitung seines Sprachkommandos. Bei erfolgrei cher Ausführung der Ansteuerungen mit Hilfe des Spracherken nungssystem 101 führt das Prozessvisualisierungssystem 102 und damit die mit dem Prozessvisualisierungssystem 102 und dem Bedien- und Beobachtungssystem verbundene Anlage 110 die entsprechenden Kommandos und Aktionen aus. Durch den Einsatz des Spracherkennungssystem gekoppelt mit einem akustischen Feedback-Signal 109 ergibt sich eine leichtere, intuitivere Mensch-Maschine-Interaktion. Der Anwender 1 erhält unmittel bar eine Rückmeldung in Form des kurzzeitigen akustischen Feedback-Signals 109 und ist darüber informiert ob seine Sprachkommandos vom System 102 registriert, verstanden und ausgeführt wurden.

Fig. 3 zeigt ein weiteres Ausführungsbeispiel eines Bedien- und Beobachtungssystems mit Spracherkennung und einem akusti schen Feedback-Signal zur Unterstützung von Sprachinteraktion in Prozessvisualisierung und bei Produktions- sowie Werkzeug maschinen in der Feldebene. Das System besteht aus einem Sprachinteraktionssystem 200, das als Eingangssignal ein Sprachsignal 8 eines Anwenders 1 auswertet. Das Sprachinter aktionssystem 200 liefert in Abhängigkeit des Sprachsignals 8 ein Ausgangssignal 204. Das Ausgangssignal 204 des Sprachin teraktionssystems 200 wird einem Prozessvisualisierungssystem 201 einer Anlage 206 oder einer Werkzeugmaschine zugeführt. Die Visualisierung und die Bedienung und Beobachtung der An lage 206 bzw. der Werkzeugmaschine erfolgt z. B. über ein Be dienterminal 202.

Dem in Fig. 3 dargestellten System liegt beispielsweise fol gendes Szenario zugrunde: Der Anwender, beispielsweise ein Bediener einer Werkzeugmaschine oder einer Anlage 206 beo bachtet durch das Prozessvisualisierungssystem 201 über das Bedienterminal 202 die Anlage 206. Um eine Aktion der Anla ge/der Maschine 206 auszuführen, spricht oder ruft der Anwen der 1 entsprechende Kommandos in Form von Sprachsignalen 8. Durch ein akustisches Rückmeldesignal 205 wird der Anwender 1 informiert, wie der Zustand der Verarbeitung seines Sprach kommandos ist. So können unterschiedliche akustische Signale 205 anzeigen, dass ein Kommando erkannt und eine gewünschte Aktion ausgeführt ist, dass ein Kommando nicht erkannt wurde oder dass ein Kommando erkannt, eine dem Kommando zugrunde liegende Aktion jedoch nicht ausgeführt wurde.

Die sprachgesteuerte Unterstützung von Prozessvisualisie rungssystemen und Werkzeugmaschinen versteht sich insbesonde re im speziellen Kontext der Anwendungsfelder "Bedienen und Beobachten von Prozessautomatisierungssystemen" sowie "Pro duktions- und Werkzeugmaschinen". Der Einsatz von Standard- PCs als Visualisierungswerkzeuge ist heute sowohl in der Leitebene als auch in der Feldebene der Prozessautomatisie rungswelt der Standard. Die Interaktionsformen beschränken sich jedoch üblicherweise in der Leitebene auf Maus und Tas tatur, in der Feldebene auf Bedientafeln. Durch die Zunahme an Komplexität von Anlagen und Maschinen erschwert sich die Navigation durch die Vielzahl der Prozessbilder. Man muss oft tiefe Bedienhierarchien durchsuchen, bevor gewünschte Pro zessbilder oder Prozesswerte gefunden werden können.

Im Feld muss der Benutzer an eine Bedientafel gehen und ent sprechende Tasten betätigen, bevor er sich über Zustände sei ner Anlage oder Maschine informieren oder diese verändern kann. In vielen Fällen braucht aber der Benutzer beide Hände frei, um seine eigentliche Arbeit (z. B. Justieren, Repara tur, etc.) an der Anlage oder Maschine durchführen zu können. Der Weg zur Bedientafel kann auch belastend sein, besonders wenn die Anlage oder Maschine groß ist und häufiger Wechsel zwischen Bedienen an der Tafel und Arbeiten vor Ort stattfin det. Die Hände des Benutzers im Feld werden gelegentlich durch Öl u. Ä. verschmutzt. Die Verschmutzung. der Bedientafel durch Berührung der Tasten oder des Touchpanels wird als eine häufige Ursache für deren Defekt festgestellt.

Spracherkennungs- und Sprachausgabesysteme werden heute schon bei vielen Standard-PCs im Form von Diktiersoftware einge setzt. Die Software dazu kann man schon für einen relativ ge ringen Preis beziehen. Durch Softwareanpassung kann ein Pro zessvisualisierungssystem die vorhandenen Sprachverarbei tungssysteme benutzen, um eine leichtere und intuitivere Be dienung zu ermöglichen.

So muss der Benutzer des erfindungsgemäßen Systems nicht in tiefen Bedienhierarchien nach gewünschten Prozessbildern und Prozesswerten suchen, statt dessen kann er das Objekt direkt "aufrufen". Damit kann er den realen Name des Anlagen- oder Maschinenteils benutzen, statt das entsprechende Kürzel in Prozessbildern suchen zu müssen. In Kombination mit einem Funkheadset ist der Benutzer auch nicht mehr an seinen PC- Arbeitsplatz gebunden, sondern kann sich in der Reichweite des Funkheadsets frei bewegen. Er hat somit beide Hände frei und kann die Anlage oder Maschine relativ ortsunabhängig be dienen. Per Sprachkommandos kann der Benutzer die gewünschten Aktionen durchführen, die er normalerweise per Maus, Tastatur oder Tasten am PC oder an der Bedientafel durchführt. Die Sprachkommandos werden durch ein Spracherkennungssystem aus gewertet und an das Prozessvisualisierungssystem weitergelei tet. Im Prozessvisualisierungssystem werden entsprechende Ak tionen durchgeführt. Per Sprachausgabe wird der Benutzer über den Zustand der Anlage oder der Maschine informiert. Dabei kann die Sprachausgabe sowohl durch Sprachsynthese (Text-To- Speech) als auch durch vorher aufgenommene Sprache erfolgen. Der Kern der Erfindung liegt dabei in der ortsunabhängigen und berührungslosen Interaktionsform, die eine intuitivere Bedienung von Anlagen und Maschinen ermöglicht.

Die folgenden 2 Szenarien beschreiben die Ausführungsbeispie le der grundlegenden Idee:

Szenario A: (Leitebene)

Ein Leitwart beobachtet den Anlagezustand durch ein Visuali sierungssystem. Er ruft per Sprache den Prozesswert und/oder das Prozessbild von einem Anlagenteil auf, welches er näher betrachten möchte. Das Spracherkennungssystem verarbeitet die Sprachkommandos und das Prozessvisualisierungssystem führt daraufhin die gewünschte Aktion durch.

Szenario B: (Feldebene)

Ein Werker justiert gerade die Anlage oder Maschine. Dabei möchte er einen Prozesswert verändern oder abfragen oder eine Taste betätigen. Er hat momentan aber keine Hand frei und zu dem eine lange Distanz zur Bedientafel. So spricht oder ruft er einfach die entsprechenden Sprachkommandos, durch Funk wird das Sprachsignal an den PC übertragen und durch ein Spracherkennungssystem verarbeitet. Die Kommandos werden er kannt und die gewünschte Aktion durchgeführt. Mittels akusti scher Ausgabe (Sprache und/oder Töne) wird er über die Durch führung oder die Zustände der Anlage oder Maschine infor miert. In kritischen Fällen wird noch eine Bestätigung von ihm verlangt.

Zusammenfassend betrifft die Erfindung somit ein System und ein Verfahren zum Bedienen und Beobachten insbesondere eines Automatisierungssystems und/oder einer Produktions- und/oder Werkzeugmaschine, bei dem eine Sprachinformation 8 eines An wenders 1 zumindest zeitweise in der Weise ausgewertet wird, dass in Abhängigkeit der vom Anwender 1 abgegebenen und von den Spracherkennungsmitteln 4 erkannten Sprachinformation 8 gezielt vorgebbare, mit der erkannten Sprachinformation 8 verknüpfte Informationsdaten auf einem Anzeigemittel 23 dar stellbar sind. Hierdurch ergibt sich eine Freihandbedienung und die Möglichkeit für eine "Navigation" im Umfeld von Aug mented-Reality-Anwendungen auch bei komplexen technischen An lagen.

Claims

1. System zum Bedienen und Beobachten insbesondere eines Au tomatisierungssystems und/oder einer Produktions- und/oder Werkzeugmaschine

- mit Spracherkennungsmitteln (4) zur Erkennung einer Sprachinformation (8) eines Anwenders (1) und
- mit Steuerungsmitteln (6) zur Steuerung des Systems in der Weise,
- - dass in Abhängigkeit der vom Anwender (1) abgegebenen und von den Spracherkennungsmitteln (4) erkannten Sprachinformation (8) mit der erkannten Sprachinfor mation (8) verknüpfte Informationsdaten auf einem An zeigemittel (23) darstellbar sind und/oder
- - dass in Abhängigkeit der vom Anwender (1) abgegebenen und von den Spracherkennungsmitteln (4) erkannten Sprachinformation (8) mit der erkannten Sprachinfor mation (8) verknüpfte weitere Aktionen des Automati sierungssystems und/oder der Produktions- und/oder Werkzeugmaschine durchführbar sind.

2. System nach Anspruch 1, dadurch gekennzeichnet, dass das System akustische Wiedergabemittel (3, 21) auf weist, die zur akustischen Wiedergabe von akustischen In formationsdaten als Reaktion auf vom Anwender (1) gezielt über die Spracherkennungsmittel (4) abgegebene Sprachin formation (8) geeignet sind.

3. Verfahren zum Bedienen und Beobachten insbesondere eines Automatisierungssystems und/oder einer Produktions- und/oder Werkzeugmaschine, bei dem eine Sprachinformation (8) eines Anwenders (1) zumindest zeitweise in der Weise ausgewertet wird, dass in Abhängigkeit einer vom Anwender (1) abgegebenen und von Spracherkennungsmitteln (4) er kannten Sprachinformation (8) mit der erkannten Sprachin formation (8) verknüpfte Informationsdaten auf einem An zeigemittel (23) darstellbar sind und/oder dass in Abhän gigkeit der vom Anwender (1) abgegebenen und von den Spracherkennungsmitteln (4) erkannten Sprachinformation (8) mit der erkannten Sprachinformation (8) verknüpfte weitere Aktionen des Automatisierungssystems und/oder der Produktions- und/oder Werkzeugmaschine durchführbar sind.

4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass als Reaktion auf vom Anwender (1) gezielt über die Spracherkennungsmittel (4) abgegebene Sprachinformation (8) akustische Informationsdaten an den Anwender (1) über akustische Wiedergabemittel (3, 21) übermittelt werden.