DE102021210933A1

DE102021210933A1 - Computerimplementiertes Verfahren und Recheneinheit zum Steuern eines Gerätes durch Spracheingabe

Info

Publication number: DE102021210933A1
Application number: DE102021210933.0A
Authority: DE
Inventors: Heiko Peter
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2021-09-30
Filing date: 2021-09-30
Publication date: 2023-03-30

Abstract

Die Erfindung betrifft ein computerimplementiertes Verfahren zum Ansteuern eines Gerätes (200) durch Spracheingabe umfassend ein Erhalten eines Sprachbefehls, ein Erhalten (2001) von computerlesbaren Sprachbefehlbestandteilen des Sprachbefehls, ein Erhalten (2002) eines aktuellen Zustands des Geräts (200), ein Ermitteln (2003) einer auszuführenden Aktion durch Suchen einer Kombination der Sprachbefehlbestandteile und des aktuellen Zustands des Geräts in einer Datenbank und ein Ausführen (2004) der ermittelten auszuführenden Aktion.

Description

Die vorliegende Erfindung betrifft ein computerimplementiertes Verfahren zum Steuern eines Gerätes durch Spracheingabe sowie eine Recheneinheit zu dessen Durchführung.
Hintergrund der Erfindung
Interaktion mit technischen Geräten und Benutzerschnittstellen über Sprache kann Prozesse effizienter und intuitiver gestalten. Bei den heute weitverbreiteten Sprachassistenten von z.B. Amazon, Google, Apple usw. kann jedoch die Verwendung der Daten nicht überprüft und somit können Sicherheits- und Datenschutzvorschriften kaum eingehalten werden.
Offenbarung der Erfindung
Vor diesem Hintergrund wird ein computerimplementiertes Verfahren zum Steuern eines Gerätes durch Spracheingabe sowie eine Recheneinheit zu dessen Durchführung mit den Merkmalen der unabhängigen Patentansprüche vorgeschlagen. Vorteilhafte Ausgestaltungen sind Gegenstand der Unteransprüche sowie der nachfolgenden Beschreibung.
Es wird ein sprachgesteuerter Assistent vorgeschlagen, der auf einer Datenbank basiert, in welcher eine Anwendereingabe und ein momentaner Gerätezustand eine auszuführende Aktion referenzieren. Dadurch wird die Komplexität der Spracherkennung und Sprachsteuerung begrenzt und diese können insbesondere auch in einer sicheren und gewünschtenfalls geschlossenen Umgebung, beispielsweise des Anlagenbetreibers oder Maschinenherstellers, durchgeführt werden. Die Erfindung führt zu einer Vereinfachung der Bedienung, Beschleunigung der Erstinbetriebnahme, Unterstützung bei der Fehlersuche von komplexen Geräten usw.
Im Einzelnen umfasst das computerimplementierte Verfahren zum Ansteuern eines Gerätes durch Spracheingabe ein Erhalten eines Sprachbefehls, beispielsweise durch Aufnehmen mittels eines Mikrofons, ein Erhalten von computerlesbaren Sprachbefehlbestandteilen des Sprachbefehls, ein Erhalten eines aktuellen Zustands des Geräts, ein Ermitteln einer auszuführenden Aktion durch Suchen einer Kombination der Sprachbefehlbestandteile und des aktuellen Zustands des Geräts in einer Datenbank, und ein Ausführen der ermittelten auszuführenden Aktion. Somit kann auf sehr einfach Weise durch Bereitstellen einer Tabelle mit einfach auszuwertenden Einträgen bereits eine Sprachsteuerung insbesondere industrieller Geräte bereitgestellt werden.
Die Erfindung eignet sich besonders für industrielle Geräte mit einer Parameterschnittstelle, da eine Parameterschnittstelle relativ wenig unterschiedliche Sprachbefehle zur Steuerung erfordert. Als Parameterschnittstelle wird eine Schnittstelle bezeichnet, bei der einzelne Parameter konfiguriert werden müssen, d.h. insbesondere mit Einstellwerten versehen werden müssen, um das Gerät für den konkreten Anwendungsfall zu konfigurieren (bzw. zu parametrieren). Solche Geräte umfassen insbesondere Regelgeräte wie z.B. Antriebsregler (Bewegungssteuerung, „Motion Control“, MC), die die Bewegung eines Antriebs (Elektromotors) kontrollieren, insbesondere nach Maßgabe übergeordneter Steuerungen (z.B. SPS, speicherprogrammierbar Steuerung; CNC, rechnergestützte numerische Steuerung, „Computerized Numerical Control“). Die Steuerung ist nach DIN 19226 ein System, bei dem eine oder mehrere Größen als Eingangsgrößen andere Größen als Ausgangsgrößen aufgrund der dem System eigentümlichen Gesetzmäßigkeiten beeinflussen. Eine Antriebsregelung ist hingegen nach derselben DIN ein Vorgang, bei dem fortlaufend eine Größe [Regelgröße] erfasst, mit einer anderen Größe [Führungsgröße] verglichen und abhängig vom Ergebnis des Vergleichs im Sinne einer Angleichung an die Führungsgröße beeinflusst wird. Ein Antriebsregler wird parametriert, eine Steuerung programmiert.
Beispielsweise kann man Antriebsregler meist über eine Parameterschnittstelle konfigurieren bzw. parametrieren (bedienen). Beim Beispiel Rexroth ctrlX DRIVE Servorantriebsregelgerät wird eine über den Feldbus sercos III definierte Parameterschnittstelle verwendet. Die Parameter können von übergeordneten Steuerungen (z.B. SPS), Computern oder anderen Geräten über eine Kommunikationsschnittstelle beschrieben und gelesen werden. Über die Parameter kann beispielsweise festgelegt werden, welche Induktivitätswerte der angeschlossene Motor besitzt. Es können Geschwindigkeitssollwerte vorgegeben und Geschwindigkeitsistwerte ausgelesen werden. Weiterhin gibt es Parameter zum Ausführen eines Kommandos (z. B. automatische Identifikation der Induktivitätswerte des angeschlossenen Motors). Über andere Parameter kann beispielsweise der Gerätezustand abgefragt werden sowie, welche Parameter bei einer Fehlparametrierung betroffen sind.
Durch die große Anzahl der Parameter und der vorhandenen Funktionen kann dem Anwender auch mit einer Inbetriebnahmesoftware die Bedienung vereinfacht werden. Hierbei können die Parameter einer Funktion graphisch funktionell aufbereitet dargestellt werden. Bei komplexen zusammenhängend zu parametrierenden Funktionen können auch sog. „Wizards“ zur Verfügung gestellt werden.
Alle Funktionen und alle Parameter sind üblicherweise auch in einer umfangreichen Anwenderdokumentation beschrieben. Neben den Funktionsbeschreibungen und einer Anleitung zur Parametrierung sollten sich dort auch Hinweise zur Beseitigung von Fehlern, z.B. hervorgerufen durch Fehlkonfiguration oder Grenzwertverletzungen, finden. Eine Fehlererkennung und Beseitigung ist in der Folge jedoch höchst anspruchsvoll und erfordert viel Erfahrung. Auch hier setzt die Erfindung an und schafft insbesondere eine Vereinfachung bei der Fehlerbehebung durch einen Sprachassistenten.
Vorzugsweise umfasst die Erfindung weiterhin ein Erhalten eines Ergebnisses der ausgeführten Aktion und ein Ermitteln einer auszugebenden Meldung anhand des Ergebnisses der ausgeführten Aktion, und/oder ein Ermitteln einer auszugebenden Meldung durch Suchen der Kombination der Sprachbefehlbestandteile und des aktuellen Zustands des Geräts in der Datenbank, und ein Ausgeben der auszugebenden Meldung. Im zweiten Fall befindet sich die auszugebende Meldung insbesondere in demselben Datensatz wie die auszuführende Aktion.
Die auszugebende Meldung kann insbesondere eine positive Rückmeldung umfassen, wenn z.B. der (dann) aktuelle Zustand als Ergebnis der ausgeführten Aktion demjenigen entspricht, der auf Grundlage der ausgeführten Aktion erwartet wird, eine negative Rückmeldung, wenn z.B. der (dann) aktuelle Zustand als Ergebnis der ausgeführten Aktion nicht demjenigen entspricht, der auf Grundlage der ausgeführten Aktion erwartet wird, eine Diagnosemeldung (z.B. aktuelle Parameterwerte), eine Fehlermeldung (z.B. fatale oder nichtfatale Antriebsfehler, Umschaltkommandofehler, siehe unten) eine Anweisung für eine nächste vom Anwender durchzuführende Tätigkeit, z.B. zur Fehlerbehebung oder auch Datenbankänderung (siehe unten).
Die auszuführende Aktion umfasst vorzugsweise wenigstens eine Aktion ausgewählt aus einem Ansteuern des Geräts, einem Ausgeben einer Meldung, einem Durchführen eines maschinellen Lernverfahrens und einem Verändern der Datenbank, wie es insbesondere im Folgenden noch detailliert beschrieben wird.
Das Verfahren wird vorzugsweise auf einem vom anzusteuernden Gerät unterschiedlichen Eingabegerät durchgeführt, beispielsweise einem sog. „Smart Device“ wie einem Mobiltelefon, Tablet-PC usw. Da solche Geräte heutzutage üblicherweise jedem zur Verfügung stehen, können zusätzliche Geräte eingespart werden.
„Erhalten“ umfasst dabei insbesondere ein direktes Erfassen oder Bestimmen, aber auch ein Empfangen von andernorts erfassten oder bestimmten Elementen. Beispielsweise umfasst das Erhalten eines Sprachbefehls beispielsweise ein Aufnehmen mittels eines Mikrofons, aber auch ein Empfangen eines andernorts aufgezeichneten Sprachbefehls. Weiter beispielsweise kann das Erhalten von computerlesbaren Sprachbefehlbestandteilen des Sprachbefehls ein Auswerten des Sprachbefehls zum Erkennen von Sprachbefehlbestandteilen und ein Erzeugen der computerlesbaren Sprachbefehlbestandteile, und/oder ein Übertragen des Sprachbefehls an eine externe Auswerteeinheit und ein Empfangen der computerlesbaren Sprachbefehlbestandteile von der externen Auswerteeinheit umfassen. Im ersten Fall ist somit für die Sprachauswertung insbesondere keine Datenverbindung nötig, sondern sie erfolgt vor Ort in dem Eingabegerät. Insbesondere Datenschutzvorschriften können so sehr einfach eingehalten werden. Im zweiten Fall erfolgt das Auswerten des Sprachbefehls zum Erkennen von Sprachbefehlbestandteilen und das Erzeugen der computerlesbaren Sprachbefehlbestandteile vorzugsweise in der externen Auswerteeinheit, also andernorts. Hier wirken sich lokale Performanzbeschränkungen nicht auf die Qualität und Schnelligkeit der Spracherkennung aus, und es können immer aktuellste Verfahren eingesetzt werden.
Vergleichbares gilt für die Datenbank und die Suche darin. Insbesondere ist die Datenbank in der das Verfahren ausführenden Recheneinheit gespeichert, z.B. dem Eingabegerät, welches dann auch die Suche darin ausführt. Alternativ kann auch vorgesehen sein, dass die Datenbank und Suche andernorts ausgeführt werden, beispielsweise in der genannten externen Auswerteeinheit, die dann nur die auszuführende Aktion rückmeldet. Hierdurch können insbesondere auch Erweiterungen bzw. Verbesserungen von allen Anwendern (d.h. auch an anderen Standorten) in die Datenbank eingebracht werden.
Die Erfindung ist insbesondere in zahlreichen unterschiedlichen Ausprägungen implementierbar, angefangen von einer Ausprägung, bei der das Eingabegerät lediglich zur Aufnahme des Sprachbefehls und zur Ausgabe der Meldung dient (also als Mikrofon und Bildschirm bzw. Lautsprecher) und alle anderen Schritte andernorts ausgeführt werden, bis hin zur Ausprägung, in der alle Schritte im Eingabegerät stattfinden.
Vorteilhafterweise umfasst das Ausgeben der auszugebenden Meldung eine Sprachausgabe (sog. „text-to-speech“), so dass der Benutzer besonders einfach und insbesondere ohne seine Aufmerksamkeit oder seinen Blick verändern zu müssen, über das Ergebnis der ausgeführten Aktion informiert wird. Alternativ oder zusätzlich kann die auszugebenden Meldung auch auf einem Bildschirm, beispielsweise des Eingabegeräts, angezeigt werden.
Vorzugsweise umfassen die Sprachbefehlbestandteile wenigstens eines ausgewählt aus Hauptschlüsselwort, Befehlsschlüsselwort und Auswerteinformation.
Die Verwendung eines Hauptschlüsselworts (z.B. „Hallo Antrieb“) kann insbesondere dazu dienen, Sprachbefehle als solche grundsätzlich zu markieren, d.h. die Aufmerksamkeit der Erfindung zu erlangen. Somit müssen nicht alle Spracheingaben analysiert werden, was Rechenzeit usw. spart.
Befehlsschlüsselwörter dienen dazu, konkrete auszuführende Aktionen zu definieren. Durch die Verwendung der Datenbank ist der Befehlssatz beschränkt (aber vorteilhaft erweiterbar), so dass die Auswertung auch auf einfacheren Recheneinheiten handhabbar bleibt. Bevorzugte Befehlsschlüsselwörter für eine Parameterschnittstelle sind z.B. „Parameter schreiben“, „Parameter lesen“, „Kommando starten“, „Kommando stoppen“, „Fehler löschen“ usw.
Die Auswerteinformation dient zur ggf. notwendigen Konkretisierung der Befehlsschlüsselwörter und beinhaltet insbesondere Parameteridentifikation (d.h. welcher Parameter ist betroffen, z.B. „S-0-0100“) und ggf. Parametereinstellwert (d.h. mit welchem Wert wird der Parameter beschrieben, z.B. „10,3“).
Bei einer beispielhaften Spracheingabe „Hallo Antrieb, bitte schreibe in den Parameter S-0-0100 den Wert 0,25.“, können folgende Sprachbefehlbestandteile erkannt werden:

• Hauptschlüsselwort: „Hallo Antrieb“
• Befehlsschlüsselwörter: „schreibe“ und „Parameter“
• Auswerteinformation in der Aktion ‚Parameter schreiben‘: „S-0-0100“ und „0,25“

Eine erfindungsgemäße Recheneinheit, z.B. ein (tragbarer) PC (Tablet-PC) oder ein Mobiltelefon oder allgemein ein sog. „Smart Device“ ist, insbesondere programmtechnisch, dazu eingerichtet, ein erfindungsgemäßes Verfahren durchzuführen.
Auch die Implementierung eines erfindungsgemäßen Verfahrens in Form eines Computerprogramms oder Computerprogrammprodukts mit Programmcode zur Durchführung aller Verfahrensschritte ist vorteilhaft, da dies besonders geringe Kosten verursacht, insbesondere wenn ein ausführendes Steuergerät noch für weitere Aufgaben genutzt wird und daher ohnehin vorhanden ist. Geeignete Datenträger zur Bereitstellung des Computerprogramms sind insbesondere magnetische, optische und elektrische Speicher, wie z.B. Festplatten, Flash-Speicher, EEPROMs, DVDs u.a.m. Auch ein Download eines Programms über Computernetze (Internet, Intranet usw.) ist möglich.
Weitere Vorteile und Ausgestaltungen der Erfindung ergeben sich aus der Beschreibung und der beiliegenden Zeichnung.
Es versteht sich, dass die vorstehend genannten und die nachfolgend noch zu erläuternden Merkmale nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen.
Die Erfindung ist anhand von Ausführungsbeispielen in der Zeichnung schematisch dargestellt und wird im Folgenden unter Bezugnahme auf die Zeichnung ausführlich beschrieben.
Figurenliste

1 zeigt schematisch eine bevorzugte Ausführungsform eines die Erfindung implementierenden Systems 1000 als Blockdiagramm.
2 zeigt eine bevorzugte Ausführungsform der Erfindung schematisch als Blockdiagramm.
3 zeigt eine weitere bevorzugte Ausführungsform der Erfindung schematisch als Blockdiagramm.
4 zeigt einen Teil einer weiteren bevorzugten Ausführungsform der Erfindung schematisch als Blockdiagramm.

Detaillierte Beschreibung der Zeichnungen
In 1 ist eine bevorzugte Ausführungsform eines die Erfindung implementierenden Systems 1000 schematisch als Blockdiagramm dargestellt. Das System weist ein anzusteuerndes Gerät 200, z.B. ein Antriebsregelgerät, und ein Eingabegerät 100, z.B. ein „Smart Device“ wie ein Mobiltelefon oder Notebook auf. Die über eine Parameterschnittstelle 210 kommunizieren können. Dazu weist das Eingabegerät 100 eine geeignete Kommunikationseinheit 140 auf, z.B. für eine drahtgebundene oder drahtlose Kommunikation, z.B. gemäß einem Feldbus- und/oder Ethernetstandard.
Die Erfindung ist beispielsweise in Form eines Softwareprogramms 130 auf dem Eingabegerät 100 umgesetzt. Eingangsgröße ist eine Spracheingabe 3 eines Anwenders 2, die über ein Mikrofon 110 erfasst wird. Rückmeldung erhält der Anwender 2 durch eine Sprachnachricht 4 aus einem Lautsprecher 120. Die Aufnahme durch Mikrofon und Wandlung in ein Digitalsignal (z.B. „Waveform“) und die Ausgabe eines weiteren Digitalsignals über den Lautsprecher sind bekannt und sollen hier nicht weiter diskutiert werden. Dasselbe gilt für die Wandlung von Text in Sprache oder Sprache in Text. Hierzu kann beispielsweise ein Cloudsystem 300 zum Einsatz kommen, welches auch unterschiedliche Sprachen unterstützen und online angebunden werden kann.
In 2 ist eine bevorzugte Ausführungsform der Erfindung schematisch als Blockdiagramm bzw. Flussdiagramm 2000 gezeigt.
In einem Block 2001 werden computerlesbare Sprachbefehlbestandteile aus einem Sprachbefehl erhalten. Beispielsweise wird dazu der Sprachbefehl in dem Eingabegerät 100 zum Erkennen von Sprachbefehlbestandteilen ausgewertet und die computerlesbaren Sprachbefehlbestandteile werden dort erzeugt, oder der Sprachbefehl wird an eine externe Auswerteeinheit („Cloud“) 300 übertragen und von dort werden die computerlesbaren Sprachbefehlbestandteile zurückerhalten.
In einem Block 2002 wird ein aktueller Zustand des Antriebsreglers 200 erhalten. Beispielsweise wird der Zustand über die Kommunikationseinheit 140 abgefragt, oder er wird ebenfalls von der bzw. einer weiteren externen Recheneinheit, beispielsweise einer dem Antriebsregler 200 übergeordneten Steuerung abgefragt, beispielsweise ebenfalls über die Kommunikationseinheit 140 oder eine andere dazu geeignete Kommunikationseinheit. Der aktuelle Zustand kann beispielsweise ausgewählt sein aus ‚Gerät steht im Betriebsmodus und lässt Konfigurationsparameter nicht schreiben‘, ‚Gerät steht auf Fehler‘, ‚Kommando ist bereits aktiv‘, ‚Status eines Kommandos‘, ‚Passwort ist aktiv‘, ‚Werte bestimmter Parameter‘, ‚Schritt 17 zur Inbetriebnahme eines Asynchronmotors ist aktiv‘ (insbesondere bei einer Verkettung von Aktionen bzw. Ablauf).
In einem Block 2003 wird eine auszuführende Aktion durch Suchen einer Kombination der Sprachbefehlbestandteile und des aktuellen Zustands des Geräts in einer Datenbank ermittelt.
Die Erfindung verknüpft also eine Anwendereingabe in Form eines Sprachbefehls (z.B. „Schreiben des Parameter P-0-0001 mit dem Wert 10“; „Start des Kommandos Motordatenidentifikation“; „Welcher Fehler steht aktuell an?“; „Wie kann der Fehler beseitigt werden?“ usw.) mit dem aktuellen Zustand. Abhängig von der Kombination wird in Block 2004 eine Aktion ausgeführt, d.h. das Gerät zum Ausführen der ermittelten auszuführenden Aktion angesteuert. Insbesondere kann sich durch die Aktion der Zustand ändern.
Es können auch Aktionen mit mehreren Schritten, sog. verkettete Aktionen (Ablauf), definiert werden, wobei die in Block 2003 ermittelte Aktion einen Zeiger auf eine nächste auszuführende Aktion umfasst, diese ggf. wiederum einen Zieger auf eine übernächste Aktion usw. Im Zuge solcher verketteten Aktionen können auch Schritte umfasst sein, die nicht vom Antriebsregler (d.h. dem anzusteuernden Gerät) ausgeführt werden, sondern z.B. vom Eingabegerät. Auf diese Weise können in der Datenbank hinterlegte Ausgaben verarbeitet bzw. ausgegeben werden.

Ein beispielhafter Ausschnitt einer beispielhaften Datenbank kann wie folgt aussehen, wobei Datensatzzeilen aus Platzgründen auf zwei Tabellen aufgeteilt sind. Die Felder der einzelnen Spalten sind optional, d.h. es müssen nicht alle Spalten einen Inhalt enthalten: Tabelle 1: Beispielhafte Datensätze, erster Teil

Datensatz-Nr.	Ablaufschritt	Schlüsselwörter (Anwendereingabe)	Bedingung (Gerätezustand)
...
23		schreibe Parameter
24		ändere Motortyp
25	Motortyp	Synchronmotor	Gerät im Konfigurationsmodus
26	Motortyp	Asynchronmotor	Gerät im Konfigurationsmodus
...

Tabelle 2: Beispielhafte Datensätze, zweiter Teil

Datensatz-Nr.	Aktion	Ausgabe	Nachfolgender Ablaufschritt
...
23	Schreibe genannten Parameter mit genanntem Wert und gib Ergebnis zurück
24		Synchronmotor oder Asynchronmotor	Motortyp
25	Setze Motortyp Synchronmotor und gib Ergebnis zurück
26	Setze Motortyp Asynchronmotor und gib Ergebnis zurück
...

Die Spalten ‚Schlüsselwort‘ und ‚Bedingung‘ (siehe Tabelle 1) müssen erfüllt sein, damit eine Aktion oder eine Ausgabe (siehe Tabelle 2) zustande kommen kann.
Beispielsweise kann vorgesehen sein, dass für den Fall, dass ein Sprachbefehl nicht verstanden wird, zunächst geprüft wird, ob zu erwartende Schlüsselwörter Ähnlichkeit mit der Spracheingabe haben. Liegt Ähnlichkeit vor, wird vorzugsweise nachgefragt, ob das erkannte Schlüsselwort gemeint war. Liegt keine Ähnlichkeit vor, wird um eine Wiederholung der Eingabe gebeten (ggfs. mit Vorschlägen über erwartete Schüsselwörter). Die Ähnlichkeitsprüfung kann ebenfalls in der externen Auswerteeinheit erfolgen.
Um Ablaufketten bzw. verkettete Aktionen realisieren zu können, kann jeder Datensatz auch mit einer Kennzeichnung des Ablaufschrittes (siehe Tabelle 1) versehen werden. In einer Spalte ‚Nachfolgeschritt‘ kann dann in jedem Datensatz, falls erforderlich bzw. gewünscht, die Kennzeichnung des nächsten Ablaufschrittes eingetragen werden. In diesem Fall muss auch die Spalte ‚Ablaufschritt‘ erfüllt sein, d.h. ist in einem Datensatz ein nächster Ablaufschritt eingetragen, so führen nur die mit diesem Ablaufschritt gekennzeichneten Datensätze im nächsten Schritt weiter.
Schließlich erfolgt abhängig von der Anwendereingabe, dem Gerätezustand und dem Ergebnis der Aktion in Block 2005 eine Ausgabe einer auszugebenden Meldung. Die Ausgabe dient insbesondere zur Rückmeldung an den Anwender und erfolgt vorzugsweise als Sprachausgabe. Hier wird beispielsweise über Erfolg bzw. Misserfolg der Aktion oder über aktuelle Diagnosemeldungen informiert. Die auszugebende Meldung kann ebenso eine Fehlermeldung umfassen und/oder einen Hinweis für nun vom Anwender durchzuführende Schritte, insbesondere zur Fehlerbehebung.
Insbesondere im Fehlerfall kann die auszuführende Aktion auch den Aufruf bzw. das Durchführen einer maschinellen Lernfunktion zur Fehlerbehandlung bzw. idealerweise - behebung umfassen, wie am Ende beschrieben.
3 zeigt eine weitere bevorzugte Ausführungsform der Erfindung als Block- bzw. Flussdiagramm 300, detaillierter als 2. Das Verfahren beginnt in einem Schritt 301, z.B. indem auf einem die Erfindung implementierenden Bedien- bzw. Eingabegerät (Smart Device 100) ein entsprechendes Programm („App“) gestartet wird.
In einem Schritt 302 findet ein Verbindungsaufbau zwischen dem Bediengerät 100 und dem anzusteuernden Gerät bzw. Zielgerät 200 statt. Dies kann beispielsweise über ein LAN-, WLAN-, 5G-Netz usw. erfolgen. Hierzu ist beispielsweise die IP-Adresse des Zielgerätes erforderlich. Diese kann nötigenfalls beim Anwender erfragt und nach Spracheingabe übernommen werden. Anschließend wird die Verbindung vom Bedien- zum Zielgerät hergestellt.
In einem Schritt 303 wird zuerst geprüft werden, ob ein Ablauf(-schritt) aktiv ist. Ist bereits ein Ablauf aktiv (Zweig 1), wird mit Schritt 304 fortgefahren. Ist noch kein Ablauf aktiv (Zweig 0), wird mit Schritt 305 fortgefahren
Bei aktivem Ablauf werden in Schritt 304 nur die Datensätze mit dem gekennzeichneten Ablaufschritt für die weitere Verarbeitung ausgewählt bzw. zugelassen. Ist kein Ablauf aktiv, werden in Schritt 305 alle Datensätze, die nicht gekennzeichnet sind, für die weitere Verarbeitung ausgewählt. Es findet dadurch bereits eine erste Einschränkung auf mögliche Datensätze statt.
Zur weiteren Eingrenzung auf den auszuführenden Datensatz wird in den nächsten Schritten geprüft, welche weiteren Eingangsparameter erfüllt sein müssen. Hierzu zählen beispielsweise Schlüsselwörter (Schritt 306), die der Anwender per Spracheingabe nennen muss, und/oder Bedingungen über den Gerätezustand (Schritt 313). Sind nur Datensätze ohne Schlüsselwörter vorhanden, d.h. in Schritt 306 ist keine Spracheingabe erforderlich (Zweig 0), kann direkt geprüft werden (Schritte 312, 313), ob einzelne Bedingungen erfüllt sind.
Sind Schlüsselwörter vorhanden (Zweig 1 in Schritt 306), muss in Schritt 307 auf eine Spracheingabe gewartet werden, um auf einen Datensatz eingrenzen zu können.
Erfolgt in Schritt 307 keine Spracheingabe (Zweig 0), wird mit Schritt 307 fortgefahren (Schleife), d.h. in Schritt 307 wird auf eine Spracheingabe gewartet. Zweckmäßigerweise können Timeout-Überwachungen und dergleichen vorgesehen sein, um das Verfahren zu beenden. Erfolgt in Schritt 307 eine Spracheingabe (Zweig 1), wird mit Schritt 308 fortgefahren.
Schritt 308 umfasst einen Teil des Erhaltens von computerlesbaren Sprachbefehlbestandteilen des Sprachbefehls, hier die Erkennung des Hauptschlüsselworts, z.B. „Hallo Antrieb“, und ein Überprüfen in Schritt 309. Wird in Schritt 309 das Hauptschlüsselwort erkannt (Zweig 1), wird mit Schritt 310 fortgefahren. Wird in Schritt 309 das Hauptschlüsselwort nicht erkannt (Zweig 0), wird zurück zu Schritt 307 verzweigt..
Schritt 310 umfasst einen weiteren Teil des Erhaltens von computerlesbaren Sprachbefehlbestandteilen des Sprachbefehls, hier die Erkennung von Befehlsschlüsselwörtern, z.B. „Schreibe Parameter“, und ein Überprüfen in Schritt 311. Wird in Schritt 311 wenigstens ein Befehlsschlüsselwort erkannt (Zweig 1), wird mit Schritt 312 fortgefahren. Wird in Schritt 311 kein Befehlsschlüsselwort erkannt (Zweig 0), wird mit Schritt 314 fortgefahren.
Schritt 312 umfasst die Prüfung des Gerätezustands (z.B. „Antrieb betriebsbereit“), und ein Überprüfen bzw. Durchsuchen der Datenbank in Schritt 313. Wird in Schritt 313 kein passender Datensatz gefunden (Zweig 0), wird mit Schritt 314 fortgefahren. Wird in Schritt 313 passender Datensatz gefunden (Zweig 1), wird mit Schritt 315 fortgefahren.
Die Spracheingabe wird somit zuerst auf das Hauptschlüsselwort analysiert, um die Aufmerksamkeit der App zu erlangen. Anschließend wird der Sprachtext auf die möglichen Schlüsselwörter der eingegrenzten Datensätze analysiert. Sind Schlüsselwörter (optional) und Bedingung/Gerätezustand (optional) bei einem Datensatz erfüllt, wird dieser angewendet. Wären beispielsweise aufgrund einer fehlerhaften Eingabe der Datensätze mehrere Datensätze vorhanden, bei denen die Werte für ‚Ablaufschritt‘, ‚Schlüsselwörter‘ und ‚Bedingung‘ stimmen, kann beispielsweise zur Lösung der erste zutreffende Datensatz ausgewählt und verarbeitet werden.
Schritt 314 umfasst eine Fehlerreaktion, beispielsweise eine Ausgabe einer Fehlermeldung (z.B. „Fehlerhafte Eingabe“ oder „Eingabe nicht erkannt“). Anschließend wird zurück zu Schritt 307 verzweigt, um auf eine neue Eingabe zu warten.
In Schritt 315 wird die mit dem gefundenen Datensatz verknüpfte Aktion ausgeführt bzw. das Zielgerät zum Ausführen der ermittelten auszuführenden Aktion angesteuert. Neben der Aktion kann ein Datensatz auch eine Ausgabe beinhalten. Ist mit dem gefundenen Datensatz auch eine Ausgabe als Aktion verknüpft, wird diese in Schritt 316 ausgegeben. Aktionen können direkt Sprachausgaben (z. B. Information über Erfolg oder Misserfolg der Aktion) zur Folge haben. Bei einer Ausgabe wird der im Datensatz hinterlegte Text über die Sprachausgabe dem Anwender mitgeteilt.
In Schritt 317 wird bei der Bearbeitung eines Datensatzes der Ablaufschritt für den nächsten Zyklus gesetzt (falls vorhanden, d.h. falls es sich um verkette Aktionen handelt).
Das dargestellte Ablaufdiagramm stellt nur einen beispielhaften Ablauf dar. Es sind grundsätzlich verschiedene Ablaufszenarien denkbar. Weiterhin ist der Ablauf nicht bis ins Detail vollständig dargestellt. Bei der Realisierung wichtige, aber für den grundsätzlichen Ablauf unwichtige Funktionen wie beispielsweise „Beenden der App“, „Nachfragen bei unzulässiger oder unverständlicher Eingabe“, ... wurden zur Erhaltung der Übersichtlichkeit im Diagramm weggelassen.
Ein weiterer vorteilhafter Aspekt ist die einfache Erweiterbarkeit der Datenbankeinträge mithilfe von Spracheingaben. Insbesondere vorteilhaft wird also die Datenbank in Reaktion auf das Erhalten von computerlesbaren Sprachbefehlbestandteilen des Sprachbefehls verändert, wobei das Verändern insbesondere ein Ergänzen von neuen Datensätzen ebenso beinhaltet wie ein Ändern existierender Datensätze. Insbesondere durch ein entsprechendes Befehlsschlüsselwort im Sprachbefehl kann als Aktion die Datenbankänderung ausgelöst werden. Es ist zweckmäßig, wenn bei der Änderung bzw. Erweiterung der Datenbankeinträge eine feste Syntax beachtet wird. Bei plausibler Eingabe wird die Datenbank entsprechend aktualisiert.
Ein beispielhafter Ablauf wird nun unter Verweis auf 4 beschrieben, in der ein Teil einer weiteren bevorzugten Ausführungsform der Erfindung schematisch als Blockdiagramm dargestellt ist.
Der Ablauf beginnt in Schritt 401. In Schritt 402 wird auf einen Sprachbefehl gewartet. Dieser Schritt kann gleichzeitig zu Schritt 310 aus 3 stattfinden.
Schritt 403 umfasst (entsprechend Schritt 311) eine weitere Überprüfung der Befehlsschlüsselwörter, hier für die Datenbankergänzung, z.B. „Neuer Datensatz“. Wird in Schritt 403 das Befehlsschlüsselwort erkannt (Zweig 1), wird mit Schritt 405 fortgefahren. Wird in Schritt 403 das Befehlsschlüsselwort nicht erkannt (Zweig 0), wird mit Schritt 404 fortgefahren.
Schritt 404 umfasst (entsprechend Schritt 311) eine weitere Überprüfung der Befehlsschlüsselwörter, hier für die Datenbankänderung, z.B. „Ändere Datensatz“. Wird in Schritt 404 das Befehlsschlüsselwort erkannt (Zweig 1), wird mit Schritt 407 fortgefahren. Wird in Schritt 404 das Befehlsschlüsselwort nicht erkannt (Zweig 0), wird zu Schritt 402 zurückgekehrt.
Die Schritte 405 und 407 umfassen vorteilhafte Sicherheitsabfragen, um eine Datenbankänderung durch unbefugte Anwender zu verhindern. Insbesondere kann hier eine Passwortabfrage o.ä. erfolgen, d.h. die nachfolgenden Schritte werden nur freigegeben, wenn das richtige Passwort eingegeben wird.
In Schritt 406 wird der Anwender Schritt für Schritt durch die Erstellung eines neuen Datensatzes geführt.
In Schritt 408 wird zunächst der aktuelle Datensatz ausgegeben, bevor in Schritt 409 der Anwender Schritt für Schritt durch die Änderung des Datensatzes geführt wird.
Wie beschrieben, ermöglicht der Sprachassistent somit die Änderung existierender oder die Hinzufügung neuer Datensätze in der Datenbank, um einen einfachen Ausbau des Inhalts in der Datenbank zu ermöglichen. Es versteht sich, dass neben der Erweiterung über Spracheingabe auch eine direkte (textuelle) Erweiterung in der Datenbank möglich sein sollte. Die Erweiterung der Datenbank bleibt jedoch zweckmäßigerweise eingewiesenen Personen vorbehalten, weswegen eine Passwortabfrage sinnvoll ist.
Enthält die Datenbank eine Vielzahl von Datensätzen, insbesondere zum gleichen Themenfeld, so kann ein maschinelles Lernverfahren (sog. künstliche Intelligenz, Kl) den Anwender auch bei nicht in der Datenbank enthaltenen Problemen unterstützen.
Eine wesentliche Anwendung von maschinellen Lernverfahren umfasst die Klassifikation von Daten in bestimmte Kategorien oder Klassen, also das Erkennen von Zusammenhängen und Zuordnungen. Dabei können die Klassen auf Basis bekannter Daten trainiert werden und zumindest teilweise vorgegeben sein, oder von dem Verfahren selbständig erarbeitet bzw. erlernt werden.
Zur praktischen Umsetzung derartiger künstlicher lernender Einheiten werden unter anderem neuronale Netze eingesetzt. Diese Netze bilden in ihrem Grundsatz die Funktionsweise biologischer Neuronen auf abstrakter Ebene nach. Dabei sind mehrere künstliche Neuronen oder Knoten vorhanden, die miteinander verbunden sind und Signale empfangen, verarbeiten und an andere Knoten übertragen können. Für jeden Knoten sind dann beispielsweise Funktionen, Gewichtungen und Schwellwerte festgelegt, die bestimmen, ob und in welcher Stärke ein Signal an einen Knoten weitergegeben wird. Die Netze können in einem Trainingsmodus trainiert werden. Entscheidend für die Einsatzmöglichkeiten eines neuronalen Netzes sind auch die verwendeten Lernstrategien. Dabei werden insbesondere die folgenden Varianten unterschieden:

Beim Überwachten Lernen (supervised learning) wird ein Eingangsmuster bzw. ein Trainingsdatensatz vorgegeben und die Ausgabe des Netzes mit dem erwarteten Wert verglichen. Das Unüberwachte Lernen (unsupervised learning) überlässt das Finden der Zusammenhänge oder Regeln dem System, so dass also nur die zu lernenden Muster selbst vorgegeben werden. Eine Zwischenvariante ist das Teilüberwachte Lernen, bei dem auch Datensätze ohne vorgegebene Einordnungen verwendet werden können. Beim Verstärkenden Lernen (reinforced learning) oder Q-Lernen wird ein Agent erzeugt, der Belohnungen und Bestrafungen für Aktionen erhalten kann, und der anhand dessen versucht, erhaltene Belohnungen zu maximieren und so sein Verhalten anzupassen.

Am Beispiel eines Antriebssystems wären das beispielsweise die Themenfelder:

- Nichtfatale und fatale Antriebsfehler
- Umschaltkommandofehler

Treten nichtfatale oder fatale Antriebsfehler auf, helfen in der Datenbank hinterlegte Datensätze dem Anwender bei der Abhilfe. Abhängig von Fehlernummer und Diagnosetext werden dem Anwender Vorschläge zur Fehlerbeseitigung oder die Kontaktaufnahme mit einem Service-Mitarbeiter unterbreitet. Die Fehlernummern sind systematisch aufgebaut, wodurch weiterhin eine Themengebietseingrenzung möglich ist. Über die Fehlernummer, deren Themengebietsklassifizierung und allgemeine Fehlerabhilfemaßnahme kann ein Lernalgorithmus trainiert werden. Hierdurch ist es möglich, auch bei unbekannten, d.h. in der Datenbank noch nicht beschriebenen Antriebsfehlern Vorschläge für mögliche Abhilfemaßnahmen zu generieren. Dem Anwender wird hierbei zuvor allerdings mitgeteilt, dass dem Sprachassistent das Problem direkt nicht bekannt ist. Vergleichbar mit der Unterstützung durch einen Kollegen entsprechend: „Das kenne ich noch nicht, aber hast Du folgendes bereits probiert?“.
Ein vergleichbares Vorgehen ist auch auf Umschaltkommandofehler übertragbar. Diese entstehen, wenn der Konfigurations- oder aber Parametriermodus verlassen wird und die Parametrierung bzw. Konfiguration nicht stimmig bzw. plausibel ist. Neben dem Fehler werden die unplausibel eingestellten Parameter angezeigt. Über die gelisteten Parameter ist ein Rückschluss auf die fehlerhafte Eingabe möglich. Werden diese Zusammenhänge in der Datenbank gelistet, so kann auch ein Lernalgorithmus darauf trainiert werden, um bei unbekannten Kombinationen ebenfalls eine Abhilfemaßnahme anzubieten.
Grundlage für beide Themenfelder kann ein Clustering-Verfahren sein, in dem die Eingangsinformationen (Fehlernummer, unplausible Parameter, ...) und auch die enthaltenen Textinformationen zusammenhängend geclustert werden. Tritt nun ein unbekanntes Problem auf, so kann anhand der Eingangsinformationen ebenfalls eine Zuordnung durchgeführt werden. Anhand der Zuordnung können in der Gruppierung gemeinsame Abhilfemaßnahme vorgeschlagen werden.
Wie oben erläutert, stellt das maschinelle Lernverfahren insbesondere eine auszuführende Aktion dar, falls ein Fehler im Verfahren auftritt, z. B. wenn ein fataler Antriebsfehler vorliegt und zu diesem Problem keine Abhilfemaßnahme in der Datenbank hinterlegt ist.
Ein beispielhafter Ablauf gliedert sich wie folgt:

1. Ein Fehler tritt auf, z.B. „F8079 Geschwindigkeits-Grenzwert überschritten“.
2. Anwender wünscht Hilfe bei diesem Fehler: z.B. Schlüsselwörter „Hilfe“ und „Fehler“ werden in der Spracheingabe erkannt.
3. In der Datenbank findet sich kein Datensatz zu der Kombination aus den beiden Schlüsselwörtern in Verbindung mit dem Fehler F8079 (Gerätezustand).
4. Ein maschinelles Lernverfahren, welches mit der aktuellen Datenbank offline trainiert wurde, wird als auszuführende Aktion mit dem Fehler (Gerätezustand) als Eingangsgröße ausgeführt.
5. Das maschinelles Lernverfahren klassifiziert den Fehler beispielsweise kombiniert anhand von „F8???“, „Geschwindigkeit“ und „Grenzwert“ als Grenzwertverletzung bei der Geschwindigkeit. In Reaktion darauf können beispielsweise alle Geschwindigkeitsgrenzwerte, die möglicherweise dafür verantwortlich sind, über eine Parameteranalyse beim Antriebsregler abgefragt und ausgegeben werden.

Somit kann ein „intelligentes“ Fehlerbehandlungsverfahren automatisch eingeleitet werden, wenn die Datenbank keinen passenden Eintrag für die Kombination aus den Schüsselwörtern „Hilfe“ und „Fehler“ und dem Gerätezustand enthält.
Es versteht sich, dass das obige Beispiel zur Veranschaulichung dient und daher sehr einfach gehalten ist. Eine derartige Fehlerbehandlung könnte daher auch manuell programmiert werden. Allerdings bieten heutige Lernalgorithmen bereits das Potential, mit immer weniger Eingangsinformationen Verknüpfungen zwischen Informationen herzustellen und damit Schlussfolgerungen zu ziehen. Damit wird die Hürde, ab welcher Datenmenge sich ein KI-Verfahren gegenüber einer manuellen Erstellung aller möglicher Lösungszweige lohnt, immer kleiner.
Weiterhin ist absehbar, dass auch die Anwenderbeschreibung in naher Zukunft in das Kl-Verfahren als Grundlage (Lernvorgang) einbezogen werden kann. Hierdurch kann die Eingangsdatenmenge nochmals vergrößert werden, wodurch sich die Wahrscheinlichkeit für eine qualitativ hochwertige Lösung weiter erhöht.
Ein Kern der Erfindung ist eine Datenbank, in der ein aktueller Zustand des Geräts und ein Sprachbefehl mit einer auszuführenden Aktion verknüpft werden. Die Datenbank ist vorteilhaft auch durch Sprachprogrammierung erweiterbar. Sind viele Datenbankeinträge vorhanden, kann in einer Erweiterung der Erfindung ein Kl-Lernalgorithmus verwendet werden, um auch neue unbekannte Eingangsgrößen mit einer Aktion zu verbinden.

Claims

Computerimplementiertes Verfahren zum Ansteuern eines Gerätes (200) durch Spracheingabe umfassend: Erhalten eines Sprachbefehls, Erhalten (2001) von computerlesbaren Sprachbefehlbestandteilen des Sprachbefehls, Erhalten (2002) eines aktuellen Zustands des Geräts (200), Ermitteln (2003) einer auszuführenden Aktion durch Suchen einer Kombination der Sprachbefehlbestandteile und des aktuellen Zustands des Geräts (200) in einer Datenbank, Ausführen (2004) der ermittelten auszuführenden Aktion.
Verfahren nach Anspruch 1, weiter umfassend: Erhalten eines Ergebnisses der ausgeführten Aktion und Ermitteln einer auszugebenden Meldung anhand des Ergebnisses der ausgeführten Aktion, und/oder Ermitteln einer auszugebenden Meldung durch Suchen der Kombination der Sprachbefehlbestandteile und des aktuellen Zustands des Geräts (200) in der Datenbank, Ausgeben (2005) der auszugebenden Meldung.
Verfahren nach einem der vorstehenden Ansprüche, wobei das Erhalten (2001) von computerlesbaren Sprachbefehlbestandteilen des Sprachbefehls ein Auswerten des Sprachbefehls zum Erkennen von Sprachbefehlbestandteilen und ein Erzeugen der computerlesbaren Sprachbefehlbestandteile umfasst.
Verfahren nach einem der vorstehenden Ansprüche, wobei das Erhalten (2001) von computerlesbaren Sprachbefehlbestandteilen des Sprachbefehls ein Übertragen des Sprachbefehls an eine externe Auswerteeinheit (300) und ein Empfangen der computerlesbaren Sprachbefehlbestandteile von der externen Auswerteeinheit (300) umfasst.
Verfahren nach einem der vorstehenden Ansprüche, wobei die Sprachbefehlbestandteile wenigstens eines umfassen ausgewählt aus Hauptschlüsselwort, Befehlsschlüsselwort und Auswerteinformation.
Verfahren nach einem der vorstehenden Ansprüche, wobei die Datenbank in der das Verfahren ausführenden Recheneinheit (100) oder einer externen Auswerteeinheit (300) gespeichert ist.
Verfahren nach einem der vorstehenden Ansprüche, wobei das Gerät (200) ein Antriebsregler ist.
Verfahren nach einem der vorstehenden Ansprüche, wobei die auszuführende Aktion einen Zeiger auf eine nächste auszuführende Aktion umfasst.
Verfahren nach einem der vorstehenden Ansprüche, wobei die auszuführende Aktion wenigstens eine Aktion umfasst ausgewählt aus einem Ansteuern des Geräts, einem Ausgeben einer Meldung, einem Durchführen eines maschinellen Lernverfahrens und einem Verändern der Datenbank,.
Verfahren nach Anspruch 9, wobei das Ansteuern des Geräts (200) über eine Parameterschnittstelle (210) des Geräts erfolgt.
Verfahren nach Anspruch 9 oder, wobei das Verändern der Datenbank ein Ergänzen neuer Datensätze und ein Verändern existierender Datensätze umfasst.
Verfahren nach einem der vorstehenden Ansprüche, wobei die auszugebende Meldung wenigstens eine Meldung umfasst ausgewählt aus einer Fehlermeldung, einer Diagnosemeldung, einer Rückmeldung und einer Anweisung für eine nächste vom Anwender durchzuführende Tätigkeit.
Recheneinheit (100), die dazu eingerichtet ist, ein Verfahren nach einem der vorstehenden Ansprüche durchzuführen.
Computerprogramm, das eine Recheneinheit veranlasst, ein Verfahren nach einem der Ansprüche 1 bis 12 durchzuführen, wenn es auf der Recheneinheit ausgeführt wird.
Maschinenlesbares Speichermedium mit einem darauf gespeicherten Computerprogramm nach Anspruch 14.