-
Die Erfindung betrifft ein Steuerungsverfahren zur Steuerung eines oder mehrerer Systeme und/oder einer oder mehrerer Einzelkomponenten eines zugeordneten Systems und eine Steuerungsanordnung für das Steuerungsverfahren, wobei die Steuerung durch optische, akustische und/oder neuronale Signale eines Bedieners erfolgt.
-
Derartige Systeme können sowohl elektrisch ansteuerbare, mechatronische, elektronische und/oder mechanische Systeme sein.
-
Aus dem Stand der Technik sind unterschiedliche Anordnungen und Verfahren bekannt, um mittels akustischen oder optischen Signalen, Sprache oder Bewegungen eines Bedieners elektrische Geräte zu steuern.
-
Als Sprachsteuerung bezeichnet man die Übermittlung von Befehlen an technische Geräte, die per Stimme erfolgen. Das Prinzip der Sprachsteuerung kann grundsätzlich bei einer Vielzahl von Gerätetypen zum Einsatz kommen. Hierzu muss ein Modul für Spracherkennung vorgesehen sein, das sprachliche Äußerungen aufnehmen und interpretieren kann. Beispielsweise gibt es Software, mit der ein Betriebssystem eines PCs alternativ zu der Steuerung über gewöhnliche Eingabegeräte wie Maus oder Tastatur auch durch Sprachbefehle gesteuert werden kann. Sprachsteuerung wird außerdem bei Navigationssystemen in Pkws und LKWs eingesetzt. Der Fahrer des Fahrzeugs muss nicht mehr händisch per Tasten, Touchscreen oder Scrollrad ein Ziel eingeben, sondern kann die Befehle sowie die Straßen- und Ortsnamen per Spracheingabe an das Gerät übermitteln.
-
Zur optischen Befehlseingabe kann exemplarisch auf eine Vielzahl von im Stand der Technik bekannten Spielekonsolen verwiesen werden, die über eingebaute Bewegungssensoren verfügen. Diese registrieren die Position und die Bewegungen eines Bedieners, teilweise in Verbindung mit einem Controller, im Raum und setzen diese in entsprechende Bewegungen von Spielfiguren oder -elementen auf dem Bildschirm um. Weiter sind Gesichtserkennungsprogramme im Stand der Technik bekannt, die beispielsweise die Augenbewegung oder den Augenschlag erfassen können.
-
Des Weiteren sind im Stand der Technik sogenannte Softwareprogrammierbare Steuerungen (SPS) bekannt, mit Hilfe derer Maschinen, Systeme oder Teile davon gesteuert werden können. Hierzu sind genau vorbestimmte Programme in der SP abgelegt, die über eine Eingabekonsole aufgerufen werden können und so eine Maschine gemäß Vorgaben ansteuert.
-
Aus der
DE 19715099 A1 ist ein Spracherkennungs- und Sprachsteuerungssystem für die sprachgesteuerte Bedienung von Druckmaschinen bekannt, wobei die Bedienung mittels akustischer Kommunikationshardware sowie einem Spracherkennungs- und Maschinensteuerungssystem erfolgt, wobei überprüft wird, ob die Signale weggefallen sind, wodurch keine weitere Steuerung möglich wäre.
-
Aus der
DE 10026263 A1 ist eine Steuerungseinrichtung für eine industrielle technische Anlage offenbart, wobei ein Bediener mittels vorgebbaren Ansteuerbefehlen in akustischer Form die technische Anlage steuern kann. Hier erfolgt nach der Erfassung des Sprachbefehls eine Umwandlung in ein Transmissionssignal, welches an die Steuerungseinrichtung der technischen Anlage übermittelt wird und woraus ein Ansteuerbefehl für die Anlage ermittelt wird. Das übermittelte Transmissionssignal enthält hierbei zwei bevorzugt unabhängig erfasste akustische Steuerbefehle, die miteinander abgeglichen werden, um zu verifizieren, ob die Erkennung des akustischen Befehls richtig gewesen ist.
-
Weiter ist im Stand der Technik das OSI-Schichtemodell bekannt, welches auf einem ISO-Standard beruht und als Designgrundlage von Kommunikationsprotokollen in Rechnernetzen entwickelt wurde. Hierbei erfolgt das Senden von Anwenderdaten in Verbindung mit weiteren zum Transport und Übermittlung notwendigen Daten, wobei diese in mehreren Schichten aufgeteilt sind.
-
Problematisch an den bisher im Stand der Technik bekannten Anordnungen und Verfahren ist die sehr spezielle Auslegung von Sprachsteuerung auf ein spezielles System. Sprachgesteuerte Maschinen können das Alltags- und Arbeitsleben sehr erleichtern und insbesondere körperlich eingeschränkten Personen das Leben und den Alltag deutlich erleichtern. Statt permanentem betätigen von Knöpfen einer Fernbedienung, Waschmaschine, Mikrowelle oder dgl., könnte dies mit einer Steuerung per Sprache, Mimik, Gestik oder einer optischen Körperbewegung erreicht werden. Insbesondere für Menschen mit Handicap, die von sich aus keine „normalen” Haushaltsabläufe bewerkstelligen könnten oder Menschen, deren Hemmschwelle zu hoch liegt, um sich helfen zu lassen, wären derart ansteuerbare mechanische Hilfsmittel und Systeme eine große Erleichterung im Leben.
-
Jedes mechanische System, Maschine, Roboter oder Hilfsmittel soll dabei keine eigene Sprachsteuerung aufweisen, da diese in der Regel nur mit dem einen Gerät funktionsfähig und kompatibel ist, da insbesondere die Verwendung sowohl in der Programmierung, als auch in der darauffolgenden Verwendung dieser Systeme sehr umständlich und teuer wäre. Es bedarf einer sehr kostspieligen Hardware, um alle Systeme parallel laufen zu lassen. Also wäre es, aufgrund dieses Problems, doch nur sinnvoll und vor allen Dingen hilfreich, eine gemeinsame Sprachsteuerung fur unterschiedliche Systeme anzugeben. Diese sollte zu möglichst geringen Kosten produzierbar sein und universell einsetzbar sein.
-
Der vorliegenden Erfindung liegt die Aufgabe zugrunde, ein Verfahren und eine Anordnung aufzuzeigen, die es ermöglichen, mittels Sprache, Mimik, Gestik und/oder Körperbewegungen sowie neuronalen Signalen, beispielsweise Gehirnströme, -impulse oder Nervensignale ein System, beispielsweise eine Maschine, ein Fahrzeug, eine Anlage oder dgl. zu steuern.
-
Gelöst wird diese Aufgabe mit einem Verfahren nach Anspruch 1 und einer Anordnung nach Anspruch 14.
-
Das Steuerungsverfahren zur Steuerung eines oder mehrerer Systeme und/oder einer oder mehrerer Einzelkomponenten eines zugeordneten Systems, wobei die Steuerungseingabe durch optische, akustische und/oder neuronale Signale eines Bedieners erfolgt, weist die folgenden Prozessschritte auf:
-
- – Erfassen eines optischen, akustischen und/oder neuronalen Befehls eines Bedieners;
- – Umwandeln des erfassten optischen, akustischen und/oder neuronalen Befehls durch Erkennung in einen digitalen Wert;
- – Einordnen des digitalen Wertes mittels Vergleichen des digitalen Wertes mit Werten einer ersten Datenbank in eine Gerätekennung, einen Steuerbefehl oder einen dritten Wert;
- – Erstellen und Bereitstellen eines digitalen Befehls umfassend die Gerätekennung, den Steuerbefehl und/oder den dritten Wert in einer ersten Datenstruktur in einer ersten Schnittstelle;
- – Auslesen oder Empfangen des digitalen Befehls der ersten Schnittstelle und Umsetzung des digitalen Befehls in eine neue Datenstruktur zu einer digitalen Anweisung;
- – Ablegen und Bereitstellen der digitalen Anweisung in einer zweiten Schnittstelle;
- – Auslesen oder Empfangen der in der zweiten Schnittstelle bereitgelegten digitalen Anweisung durch eine oder mehrere Steuerungseinheiten;
- – Verarbeiten der digitalen Anweisung durch die jeweilige(n) Steuerungseinheit(en) durch Umsetzen der digitalen Anweisung in einen Maschinensteuerungsbefehl oder eine Maschinensteuerungsbefehlskette durch Vergleichen der digitalen Anweisung mit einer Maschinensteuerungsbefehlsdatenbank und
- – Ausführen des Maschinensteuerungsbefehls oder der Maschinensteuerungsbefehlskette durch Ansteuerung des gesamten zugeordneten Systems oder einer Einzelkomponente des zugeordneten Systems.
- Als Systeme kommen sämtliche Geräteanordnungen in Frage, die Motoren und andere steuerbare Elemente aufweisen, die durch eine Steuerungseinheit, wie schaltbare Relais oder dgl., steuerbar sind. Als Beispiele können ein Hochregallager, ein Rollstuhl, ein Krankenbett oder dgl. Systeme oder aber auch Haushaltsgeräte, steuerbare Solaranlagen oder Windkraftanlagen genannt werden. Insbesondere Fahrzeuge aller Art, bevorzugt mit elektrischen Steuerungskomponenten und vorgesehenen Netzwerkinterfacen können gesteuert werden. Weiter sind Applikationen im militärischen Bereich denkbar, bspw. zur Steuerung von Kettenfahrzeugen, Panzern, Flugzeugen, Schiffen oder unmanned aircraft vehicles sowie weiteren Flugkörpern und -geräten.
-
Pro erkanntem neuronalen, optischen oder akustischen Befehl wird ein digitaler Wert generiert wird, wobei entweder die Komponente Gerätekennung, Steuerbefehl oder dritter Wert mit einem entsprechenden Wert ausgefüllt wird und die anderen Werte leer gelassen werden, oder mit einem vorbestimmten Wert, bevorzugt mit „0”, gefüllt werden.
-
In die digitale Anweisung werden mindestens die Geratekennung und der Steuerbefehl eingespeichert.
-
Ein weiterer besonderer Vorteil ist es, wenn die Gerätekennung in der digitalen Anweisung solange beibehalten wird, bis eine neue Gerätekennung erkannt wird und diese kommuniziert wird, da hierdurch nur noch einzelne Kommandos gegeben werden müssen ohne dabei das Gerät zu nennen.
-
Dadurch, dass das Erstellen und Bereitstellen des digitalen Befehls umfassend die Gerätekennung, den Steuerbefehl und/oder den dritten Wert in einer ersten Datenstruktur in einer Schnittstelle erfolgt, die ähnlich einem Postfach ausgebildet ist, wobei die digitalen Befehle chronologisch abgelegt werden und entsprechend dem First-In-First-Out Prinzip entnommen werden, können mehrere Befehle hintereinander eingegeben und erkannt werden.
-
Das Kommunizieren über die zweite Schnittstelle erfolgt mittels einer Socket-Verbindung, wobei bevorzugt eine TCP/IP Server-Client Socket-Verbindung realisiert wird. Die Kommunikation über Sockets, ein Softwarelink zwischen zwei oder mehreren Programmen, erfolgt in der Regel bidirektional, wodurch über das Socket sowohl Daten empfangen als auch gesendet werden können. Sockets können ebenfalls verwendet werden, um zwischen zwei oder auch mehreren Prozessen auf demselben rechnergestützten System Daten auszutauschen (Interprozesskommunikation). Das TCP Protokoll ist insbesondere sehr verlässlich und wird bevorzugt mit Stream Sockets verwendet.
-
In einer Server-Client Umgebung muss ein Server auf Anfragen von unbekannten Clients warten können. Bei Verwendung des TCP/IP kann unter Verwendung einer Wildcard-Adresse nur die Port-Nummer relevant sein, es wird eine spezielle (ungültige) IP-Adresse angegeben, um zu signalisieren, dass Verbindungen auf allen IP-Adressen akzeptiert werden sollen.
-
Java als plattformunabhängige Programmiersprache unterstützt im Paket java.net unmittelbar die Socket-Programmierung. Die Implementierung der Sockets für die verschiedenen Plattformen (Linux, Windows, Spezialsysteme) erfolgt in der Klassenbibliothek der virtuellen Maschine. Daher wird bevorzugt Java als Programmiersprache für die Socket-Verbindung genommen.
-
Dadurch, dass die Socket-Verbindung durch Senden eines vollständig leeren, bevorzugt mit ”0” gefüllten Befehls aufrecht erhalten wird, solange keine neuen Befehle erkannt und übertragen werden, ist ein sofortiges Ansteuern der Maschine oder eines Teils davon möglich ohne zuvor wieder eine neue Socket-Verbindung zu etablieren. Die Socket-Verbindung wird aufrecht erhalten ohne jedoch dabei konkrete Steuerbefehle zu senden. Die Socket-Verbindung würde getrennt werden, sobald der Client/Server keine weiteren Daten mehr senden muss.
-
Insbesondere wird das letzte angesteuerte bzw. ausgewählte Gerät bis zum nächsten Gerätewechsel beibehalten, so dass nicht immer ein Gerät neu an- bzw. ausgewählt werden muss, um mehrere Befehle des Bedieners hintereinander einzugeben.
-
Wenn die Prozessschritte
- – Erstellen und Bereitstellen eines digitalen Befehls umfassend die Gerätekennung, den Steuerbefehl und/oder den dritten Wert in einer ersten Datenstruktur in einer ersten Schnittstelle;
- – Auslesen oder Empfangen des digitalen Befehls der ersten Schnittstelle und Umsetzung des digitalen Befehls in eine neue Datenstruktur zu einer digitalen Anweisung und
- – Ablegen und Bereitstellen der digitalen Anweisung in einer zweiten Schnittstelle in einer geschlossenen Prozesskette erfolgen, erfolgt die Programmierung in einer eigenständigen und abgeschlossenen Prozedur.
-
Dadurch, dass vor dem Ausführen einer Bewegung des Systems oder Teilen davon überprüft wird, ob eine Bewegung des Systems oder Teilen davon möglich ist, wird eine Sicherung eingebaut, die verhindert, dass das System oder Teile davon beschädigt werden oder aber Personen zu Schaden kommen. Beispielsweise kann es vorgegebene Maximalwerte geben, die ein weiteres Bewegen unmöglich machen bzw. dieses verbieten. Hierzu werden zum Überprüfen Sensoren ausgelesen, wobei die Sensoren Positionen und/oder Zustände des Systems oder von Teilen des Systems detektieren.
-
Als dritter Wert wird eine Orts-, Richtungsangabe und/oder eine Regelgröße vorgegeben, so dass bestimmte Ansteuerungen möglich werden, wie beispielsweise die Ansteuerung eines Motors in die eine oder die andere Richtung sowie das Verfahren eines Roboters oder dgl. in einem dreidimensionalen Raum durch Angabe von Vektoren, wie z. B. der Fachnummer eines Hochregallagers, die entsprechend in eine räumliche Bewegung umgesetzt werden kann. Als Regelgrößen können beispielsweise Temperaturangaben oder Differenzen sowie Längen oder dgl. angegeben werden, die dann entsprechend umgesetzt werden.
-
Zur weiteren Verbesserung werden Arbeitsabläufe in Schrittketten vordefiniert und entsprechend in einer Maschinensteuerungsbefehlsdatenbank hinterlegt. So können Befehlseingaben eine Abfolge von konkreten Schritten auslösen, die durch ein System ausgeführt werden.
-
Besonders vorteilhaft ist es, wenn der momentane Gesamt- oder Teilsystemzustand visualisiert wird. Hierdurch erhält der Bediener eine optische oder akustische Rückmeldung des Systems, so dass der Bediener sicher sein kann, dass sein Befehl richtig umgesetzt wurde.
-
Dadurch, dass der optische, akustische und/oder neuronale Befehl entsprechend „Notaus”, „Stopp”, „Handfläche entgegenstrecken” oder dgl. alle vorangehenden Befehle sofort überschreibt und dass das oder die Systeme oder Teile des Systems sofort in einen Halt-Modus gestellt werden, ist die Sicherheit des Bedieners und des Umfeldes gewährleistet, so dass keine Schäden entstehen können.
-
Anordnungsgemäß umfasst die Steuerungsanordnung für ein Steuerungsverfahren eine Hard- und Software zur Erfassung und Umwandlung von optischen, akustischen und/oder neuronalen Signalen mit einer Erkennungssoftware für Sprache, Mimik, Gestik, Handzeichen und/oder Bewegungen eines Bedieners, vorgesehen auf einem rechnergestützten System, bevorzugt einem eingebetteten System, eine Steuerungssoftware für ein System oder einen Teil des Systems mit einer Verbindung zu diesem System oder einem Teil des Systems, eine Datenverbindung zur Übertragung der erkannten optischen, akustischen und/oder neuronalen Signale in weiterverarbeiteter Form in die Steuerungssoftware, einer ersten Datenbank und einer Maschinensteuerungsbefehlsdatenbank. In der ersten Datenbank werden entsprechende Befehle des Bedieners hinterlegt, die mit Hilfe der Erkennungssoftware in entsprechenden Variablen bereitgestellt werden.
-
Hardwaretechnisch sind eingebettete Systeme (embedded Systems) vorzuziehen, die speziell auf die unterschiedlichen Anwendungen abgestimmt werden können und so kostengünstig produziert und vertrieben werden können. Gleichwohl können auch handelsübliche Computer oder Industrie-PCs verwendet werden.
-
Die Steuerungssoftware ist eine Softwareprogrammierbare Steuerung (SPS) oder eine mittels einer Software modellierte Softwareprogrammierbare Steuerung auf einem rechnergestützten System (SoftSPS). Diese sind im Stand der Technik bekannt. Üblicherweise sind in dieser Steuerungssoftware unterschiedliche Programme hinterlegt, die jeweils abgefahren werden können. Eine Steuerung von Einzelbefehlen ist nicht üblich. Jedoch sind diese Steuerungen in der Lage mittels einer Schnittstelle ausgerüstet zu werden, die eine Eingabe an das System ermöglicht.
-
Zur Erfassung der akustischen Signale ist ein Mikrofon oder Akustikempfänger vorgesehen, das der Bediener mit seiner Stimme erreicht. Hierzu können Funkmikrofone in drahtloser Bauweise verwendet werden. Selbstverständlich können auch Raumüberwachungen oder dgl. verwendet werden. Die Erkennung erfolgt über eine Spracherkennungssoftware.
-
Zur Erfassung der optischen Signale ist ein optischer Sensor, ein Video und/oder Kamerasystem vorgesehen, das die Mimik, Gestik, Zeichen, beispielsweise der Hand und/oder Bewegungen des Körpers oder der Extremitäten des Bedieners erfasst und diese an die Erkennungssoftware weiterleitet, wo entsprechend mit Hilfe einer Datenbank die Umsetzung in Befehle erfolgt.
-
Neuronale Signale können beispielsweise Gehirnströme oder -impulse sein, aber auch andere Nervensignale der Extremitäten, z. B. Hand, Arm, Finger, Beine, etc. Diese Signale können analog einer Spracherkennungssoftware verarbeitet werden, entsprechende Algorithmen sowie Datenbanken können entsprechend analog zur Spracherkennung vorgesehen werden. Die Erfassung derartiger neuronaler Signale wird über entsprechende Sensoren am Körper, beispielsweise integriert in einem Helm oder dgl., realisiert.
-
Die Verbindung zwischen Steuerungssoftware und System ist als Bus-System ausgebildet, so dass insbesondere ein Feldbussystem wie das CAN-Bus System verwendet werden können, um unterschiedliche Motoren und Aggregate anzusteuern. Andere Bus-Systeme sind ebenfalls möglich.
-
Zur Verbindung der Erkennungssoftware mit der Steuerungssoftware ist eine zwischengeschaltete Softwarebridge mit einer Eingangsseite und einer Ausgangsseite vorgesehen, die die Verarbeitung der Befehle der Erkennungssoftware in der Steuerungseinheit gewährleistet. Hierzu werden insbesondere die vorgesehenen Variablen entsprechend angepasst und übertragen. Bevorzugt ist die Softwarebridge in Java programmiert, da gleichzeitig eine Socket-Verbindung mit Hilfe dieser Programmiersprache realisiert werden kann, die systemunabhängig ist.
-
Eine weitere mögliche Ausgestaltung ist gegeben, wenn die Hard- und Software zur Erfassung der optischen, akustischen und/oder neuronalen Signale mit der Erkennungssoftware für Sprache, Mimik, Gestik, Handzeichen und/oder Bewegungen eines Bedieners, vorgesehen auf einem rechnergestützten System, bevorzugt einem eingebetteten System, als Kommandoeinheit ausgebildet ist. Hierzu kann eine tragbare oder kleinstmögliche Einheit derart am System vorgesehen werden, dass eine einfache Bedienung möglich ist.
-
Dadurch, dass die Steuerungssoftware auf einem zweiten rechnergestützten System, bevorzugt einem eingebetteten System abläuft und mit diesem eine Steuerungseinheit bildet, kann diese Einheit separat an dem System angeordnet werden. Es können insbesondere mehrere Steuerungseinheiten und/oder mehrere Kommandoeinheiten vorgesehen werden, wobei die Verbindung zwischen den Einheiten als Netzwerk ausgebildet ist, wobei bevorzugt die Verbindung eine TCP/IP Socket-Verbindung ist. Die Netzwerkverbindung kann kabelgebunden sein oder aber über eine Funk-Verbindung realisiert werden.
-
Bei einer Ansteuerung von mehreren Systemen erfolgt zunächst eine Ansteuerung eines bestimmten Systems durch einen ersten Befehl mit Hilfe dessen das System ermittelt wird. Solange kein neues System angewählt wird, erfolgen alle weiteren Befehle oder Angaben für dieses ausgewählte System, so dass nunmehr vom Bediener lediglich die Steuer-, Fahr- und/oder Regelbefehle bzw. Richtungs- und/oder Regelgrößen gesprochen oder signalisiert werden müssen.
-
Als mögliche Einsatzgebiete sind als Systeme beispielsweise ein Krankenfahrstuhl, ein Krankenbett oder ein Fahrstuhl denkbar. Aber auch ein Hochregallager kann mit einem derartigen Verfahren und einer entsprechenden Anordnung bedient werden. Die Ansteuerung mehrerer Geräte in einem Krankenhauszimmer, nämlich Fernseher, Radio, Krankenbett und dgl. kann über eine Kommandoeinheit erfolgen.
-
Aber insbesondere können auch CNC-Fräsmaschinen oder gar Kraftfahrzeuge auf einfachste Weise durch akustische und/oder optische Befehle gesteuert werden.
-
Als weitere Ausgestaltung ist eine zwingende Kombination eines optischen Befehls mit einem akustischen Befehl gleichzeitig oder kurz nacheinander sinnvoll, um sicher zu stellen, dass der Bediener tatsächlich den Befehl ausführen will. Hierzu kann nach der Erfassung des ersten Befehls eine Visualisierung des zweiten Befehls auf einem Display oder dgl. erfolgen, wobei der Bediener nunmehr diesen Befehl angeben muss, damit der Befehl insgesamt ausgeführt werden kann. Zum Beispiel wird der akustische Befehl ”hoch” ausgesprochen und als Bestätigungssignal wird der Daumen nach oben gezeigt. Dies kann selbstverständlich gleichzeitig geschehen, da entsprechend hohe Abtastraten denkbar sind, so dass beide Befehle quasi gleichzeitig detektiert werden können.
-
Zur Absicherung von Bedieneingaben ist es weiter sinnvoll, wenn bei der Erfassung und Erkennung/Verarbeitung eine Sicherheitsüberprüfung erfolgt. Diese Sicherheitsüberprüfung umfasst die Prüfung, ob der gewählte Befehl tatsächlich ausgeführt werden soll. Dies kann beispielsweise durch wiederholtes Signalisieren des Befehls, sowohl optisch, akustisch und/oder neuronal, auch in einer anderen als der ersten Eingabeart, erfolgen. Weiter konnte als Sicherheitsmaßnahme vorgesehen sein, dass vor Beginn einer Eingabe ein spezielles Signal durch den Benutzer erfolgt und/oder dass die Eingabe durch ein spezielles Signal beendet wird.
-
Nachfolgend wird ein Ausführungsbeispiel der Erfindung anhand der beiliegenden 1 detailliert beschrieben. Darin zeigt:
-
1 eine schematische Darstellung eines Ausführungsbeispiels der erfindungsgemäßen Anordnung bzw. des Steuerungsverfahrens.
-
In 1 ist eine schematische eines Ausführungsbeispiels der erfindungsgemäßen Anordnung bzw. des Steuerungsverfahrens dargestellt.
-
Die Steuerungsanordnung besteht aus einer Kommandoeinheit 2 und einer Steuerungseinheit 60. Zwischen der Kommandoeinheit 2 und der Steuereinheit 60 ist ein Netzwerk 5 angeordnet, wobei die Kommandoeinheit 2 und die Steuerungseinheit 60 über dieses Netzwerk 5 miteinander verbunden sind und Daten in beide Richtungen austauschen können. Das Netzwerk 5 kann als kabelgebundenes LAN oder aber als Drahtlosverbindung vorgesehen sein. Eine Standardverkabelung ist hierzu vollkommen ausreichend. Es bedarf keiner weiteren speziellen Installationen, vorhandene Netzwerkstrukturen können verwendet werden, so dass die Steuerungseinheit und die Kommandoeinheit entfernt voneinander angeordnet sein können, sogar über ein globales Netzwerk, wie dem Internet, miteinander verbunden werden können.
-
Die Steuerungseinheit 60 umfasst eine Steuerungssoftware 6 und eine Maschinensteuerungsbefehlsdatenbank 61 sowie ein TCP-Socket-Server 52, der mit dem Netzwerk 5 verbunden ist. Über den TCP-Socket-Server 52 erhält die Steuerungseinheit 60 Anweisungen, die im Weiteren beschrieben werden.
-
Die Kommandoeinheit 2 umfasst zum einen die Erfassungshard- und -software 20, die dem Erfassen von optischen, akustischen und/oder neuronalen Signalen 3 dient, und zum anderen Teile einer Datenverbindung 1, nämlich eine Brückensoftware 11 und einen TCP-Socket-Client 51. Der TCP-Socket-Client 51 stellt über das Netzwerk 5 die Verbindung zur Steuerungseinheit 60 her, wobei die Kommunikation über den TCP-Socket-Server 52 läuft.
-
Die Erfassungshard- und -software 20 umfasst eine Erfassungshardware 21, die in diesem Ausführungsbeispiel, in dem es ausschließlich um Sprachbefehle geht, ein einfaches Mikrofon eines Headsets sein kann, eine Erkennungssoftware 22 zur Erkennung des Sprachbefehls, der über das Mikrofon analog erfasst wurde, eine Umwandlungskomponente der Erkennungssoftware 23 in Kombination mit einer ersten Datenbank 231, in der entsprechende Befehle hinterlegt sind. An dieser Stelle sei erwähnt, dass mit Hilfe künstlicher Intelligenz die Datenbank auch lernfähig ausgebildet werden kann, so dass die Datenbank permanent um neue Daten erweitert wird.
-
Das entscheidende Element ist die Datenverbindung 1, die die Brückensoftware 11 sowie die Socket-Verbindung 51-5-52 umfasst. Hierdurch kann eine herkömmliche bekannte Erkennungshard- und -software 20 mit einer herkömmlichen bekannten Steuerungssoftware 6 verbunden werden, damit steuerbare Systeme 8, 8', 8'' über Sprache, Handzeichen, Mimik und/oder Gestik sowie Bewegungen der Extremitäten gesteuert werden können.
-
An der Kommandoeinheit 60 ist ein erstes 8 und ein zweites steuerbares System 8' angeordnet, die über einen CAN-Bus 7 seriell mit einander verbunden sind und über diesen CAN-Bus 7 Steuerbefehle und Signale austauschen und miteinander kommunizieren. Die steuerbaren Systeme 8, 8', 8'' sind hier grafisch nicht weiter detailliert dargstellt, können jedoch beispielsweise ein Hochregallager mit mehreren ansteuerbaren Motoren, Greifarmen, Wagen und dgl. sein oder aber einfachere Anordnungen, wie beispielsweise ein Krankenfahrstuhl oder ein elektro-mechanisch zu öffnender Schrank oder eine Tür. Die Anwendungsgebiete sind prinzipiell nicht beschränkt, solange die Möglichkeit besteht, das steuerbare System 8, 8', 8'' mit Hilfe einer Steuerungssoftware 6 ansteuern zu können.
-
Über das Netzwerk 5 können neben der Steuerungseinheit 60 auch weitere Steuerungseinheiten 60' erreicht werden, wobei an dieser ein anderes steuerbares System 8'' angeordnet ist. Die Verbindung zwischen der Steuerungseinheit 60' und dem steuerbaren System 8'' ist in diesem Ausführungsbeispiel als Steuerleitung 71 ausgebildet, wodurch auf ein BUS-Systemkanal verzichtet werden kann. Die Kommunikation über die Steuerleitung 71 erfolgt bidirektional, wodurch auch Rückmeldungen des steuerbaren Systems 8'' an die Steuerungseinheit 60' zurückgemeldet werden.
-
Zunächst wird das durch einen Bediener ausgesprochene Wort, ein akustisches Signal 3, in diesem Fall das Wort „STOP” über die Erfassungshardware 21 aufgenommen und innerhalb der Erfassungshard- und software 20 weiterverarbeitet. Hierzu wird mit Hilfe einer Spracherkennungssoftware der analoge Sprachbefehl in einen digitalen Wert umgewandelt und mit Hilfe einer Datenbank 231 in Kombination mit der Erkennungssoftware 22, 23 in einen digitalen Befehl umgewandelt. Der digitale Befehl besteht in diesem Beispiel aus drei einzelnen Komponenten, nämlich einer ersten Variablen 421, einer zweiten Variablen 422 und einer dritten Variablen 423. Es können noch je nach Aufgabenstellung weitere Variablen ergänzt werden, um noch weitere Befehlskomponenten zu übermitteln.
-
Nachfolgend wird exemplarisch eine mögliche Füllung der Variablen
421,
422 und
423 angegeben, wobei die entsprechenden Befehlszahlen aus einer vordefinierten Datenbank
231 entstammen und entsprechend referenziert wurden:
| Bsp. | Befehl, akustisches Signal | Variable 421 | Variable 422 | Variable 423 |
| 1 | „alles Stopp” | 254 | 0 | 0 |
| 2 | „Bett Kopfteil hoch” | 17 | 4 | 1 |
| 3 | „Bett Kopfteil runter” | 17 | 4 | 2 |
| 4 | „Stopp” (nach Befehl 3) | 17 | 0 | 0 |
| 5 | „mittlere Schranktür auf” | 23 | 2 | 1 |
| 6 | „zu” (nach Befehl 5) | 23 | 2 | 2 |
| 7 | „linke Schranktür auf” | 23 | 1 | 1 |
| 8 | „linke Schranktür zu” | 23 | 1 | 2 |
| 9 | „Gang 7 Regal 42 entladen” | 7 | 42 | 1 |
Tabelle 1: Beispiele von Schaltbefehlen und entsprechend zugeordneten Größen
-
Anhand der obigen Tabelle soll die Funktion der Variablen verdeutlicht werden. Die Variablen werden entsprechend den definierten Begriffen gefüllt. Nachfolgend werden die Beispiele erläutert:
-
Beispiel 1:
-
Der akustische Befehl „ALLES STOP” ist ein Sonderbefehl, der alle ansteuerbaren Systeme 8, 8', 8'', symbolisiert durch die Zahl „254” in der ersten Variablen 421 ansteuert, und „0” in den beiden nächsten Variablen 422, 423, zum Stillstand bringt. Es ist ein quasi Notaus für alles.
-
Beispiel 2:
-
Der akustische Befehl „Bett Kopfteil hoch” wird entsprechend einer vorgegebenen Datenbank, in der entsprechende erkannte Wörter mit entsprechenden Zahlen bzw. allgemein Variablenwerte in Relation gesetzt sind, in die Zahl „17” in Variable 421 umgesetzt. Damit wird das Bett angesteuert. Die nächste Variable 422 wird mit dem Wert „4” gefüllt, der bedeutet, dass das Kopfteil bzw. dessen Motor für die Höhenverstellung angesteuert werden soll. Die letzte Variable wird dann mit dem Richtungsbefehl „1” gefüllt, der ein Drehen des entsprechenden Motors in die eine Richtung bewirkt, so dass sich das Kopfteil hebt.
-
Beispiel 3:
-
Der akustische Befehl „Bett Kopfteil runter” im Anschluss an den Befehl aus Beispiel 2 bewirkt eine Änderung lediglich der dritten Variablen 423 in „2”, da das anzusteuernde System 8, 8', 8'' sowie der entsprechend anzusteuernde Teil davon, nämlich der Motor des Kopfteils, sich nicht geändert haben. Die „2” in der dritten Variablen und die Beibehaltung der anderen beiden 421, 422 bewirkt ein runterfahren bzw. ein Ansteuern des Motors aus Beispiel 2 in die entgegen gesetzte Richtung.
-
Beispiel 4.
-
Der akustische Befehl „Stopp” nach dem Befehl aus Beispiel 3 bewirkt, dass das Bett gestoppt wird, nämlich dadurch, dass die Variablen 422 und 423 mit „0” gefüllt werden. Eine „0” in der letzten Variablen 423 bewirkt ein sofortiges Überschreiben aller vorher erkannten Befehle, so dass selbst wenn mehrere Befehle in einer Warteschleife anliegen, diese mit „0” in der letzten Variablen 423 überschrieben werden, so dass keine Ausführung vollzogen wird. Ansonsten würden die angesammelten Befehle der Reihe nach abgearbeitet werden. Ein Kommando wie „Bett Stopp” ist diesem „Stopp” im Anschluss an den Befehl aus Beispiel 3 gleichwertig, da die Variable 421 nicht geändert wird, sondern aus dem letzten Befehl beibehalten wird.
-
Kommandos wie „Bett in Schlafposition”, können auch in mehrere hintereinander ausführbare Befehle abgelegt werden, so dass diese dann nacheinander die entsprechenden Motoren ansteuern. Hierzu ist ein „Postfach” sinnvoll, welches nach dem First-In-First-Out Prinzip arbeitet.
-
Sobald eine Steuerungseinheit 60 einen Befehl erhalten hat kann sofort der nächste Befehl von derselben 60 oder einer anderen Steuerungseinheit 60' ausgelesen werden und in einem Speicher abgelegt werden oder aber sofort umgesetzt werden. Stopp-Befehle lösen sofort den Stopp aller bzw. einzelner zu steuernder System 8, 8', 8'' aus.
-
Beispiel 5:
-
Der akustische Befehl „mittlere Schranktür auf” ändert die Variablen 431 in „23”, was die Steuerungssoftware des Schrankes symbolisiert. Die zweite Variable 422 wird in „2” entsprechend der vordefinierten Datenbank geändert, so dass nunmehr ein Stellmotor der mittleren Schranktür angesteuert wird. Die letzte Variable 423 wird dann „1” gefüllt, so dass der zuvor genannte Motor derart angesteuert wird, dass die mittlere Schranktür geöffnet wird.
-
Beispiel 6:
-
Der akustische Befehl „zu” im Anschluss an den Befehl aus Beispiel 5 ändert nur die letzte Variable 423 in den Wert „2”, so dass nun der Motor der mittleren Tür des Schrankes eine Bewegung vollzieht, so dass die mittlere Tür des Schrankes geschlossen wird.
-
Beispiel 7:
-
Der akustische Befehl „linke Schranktür auf” bewirkt ein entsprechendes Überschreiben aller Variablen 421, 422, 423 analog zu den zuvor genannten Beispielen. Entsprechend ergibt sich ein neuer Befehl für eine bestimmte Steuerungseinheit 60, 60' und einen entsprechenden Motor.
-
Beispiel 8:
-
Der akustische Befehl „linke Schranktür auf” kann sowohl alle Variablen ändern als auch nur die letzte Variable 423, die Richtung, in die der Motor der linken Schrankwand sich bewegen soll.
-
Beispiel 9:
-
Der akustische Befehl „Gang 7 Regal 4 Fach 2 entladen” löst die Änderung aller drei Variablen aus. Es wird nunmehr ein Hochregallager angesteuert, das aus mehreren Gängen mit jeweils mehreren Regalen und mehreren Fächern besteht. In diesem Beispiel soll ein Fach 2 aus Regal 4 des 7. Ganges entladen werden. Hierzu werden die Variablen 421, 422, 423 entsprechend des erkannten Befehls, abgeglichen mit der ersten Datenbank 231, entsprechend der obigen Tabelle geändert. Eine Softwaresteuerung kann nun mit Hilfe einer Maschinensteuerungsbefehlsdatenbank 61 die entsprechenden Motoren eines Wagens, Läufers oder Förderers ansteuern, so dass dieser in dem siebten Gang das Fach 2 des vierten Regals entlädt und den Inhalt zu einem Ablagepunkt fährt. Hierzu wird der über die Socket-Verbindung empfangene Befehl in einzelne Befehle in einer Kette durch die Steuerungssoftware 6 mit Hilfe der Maschinensteuerungsbefehlsdatenbank 61 zusammengestellt und abgearbeitet.
-
Im Weiteren werden die obigen drei erläuterten Variablen 421, 422 und 423 mit Hilfe einer Datenverbindung 1 aus einer Schnittstelle der Erfassungssoftware 20 entnommen und zunächst auf eine für die Steuerungssoftware verarbeitbare und über eine TCP-Socketverbindung 51-5-52 übertragbare Variablentype, nämlich in eine digitale Anweisung 43 in Form eines Arrays oder dgl. übersetzt und aufbereitet. Diese digitale Anweisung wird dann über die TCP-Socketverbindung 51-5-52 an die Steuerungssoftware 6 übermittelt. In der Steuerungssoftware 6 wird bedarfsweise die empfangene digitale Anweisung 43 mit Hilfe der Maschinensteuerungsbefehlsdatenbank 61 in entsprechende SPS-Kommandos umgesetzt, womit entsprechende Maschinenkomponenten angesteuert werden können. Alle Funktion einer SPS können so mit Hilfe optischen, akustischen und/oder neuronalen Befehle 3 ausgeführt werden.
-
Als spezielles Ausführungsbeispiel wird als Erkennungshard- und -software 20 die Software DialogOS des Herstellers CLT Sprachtechnologie GmbH auf einem embedded System vorgeschlagen, wobei dieses mit einer SoftSPS CoDeSys des Herstellers 3S-Smart Software Solutions GmbH auf einem weiteren embedded System zusammenarbeiten soll. Hier setzen die erfindungsgemäße Anordnung und das erfindungsgemäße Verfahren an, damit die beiden nicht kompatiblen Systeme miteinander verbunden werden können und so eine Maschinensteuerung per Sprachbefehl möglich wird.
-
Die Steuerungsanordnung aus der Kommandoeinheit 2 und der Steuerungseinheit 60 können aber auch in einem rechnergestützten System untergebracht werden. Derartige Systeme können beispielsweise embedded Systems sein, die speziell auf die Erfordernisse der Anwendung abgestimmt sind. Die Kommunikation zwischen der Kommandoeinheit 2 und der Steuereinheit 60 würde dann nunmehr über eine interne Socket-Verbindung 51-52 realisiert werden, wobei das Netzwerk 5 eben auf diese direkte Socket-Verbindung 51-52 reduziert wird.
-
Bezugszeichenliste
-
- 1
- Datenverbindung
- 11
- Brückensoftware
- 2
- Kommandoeinheit
- 20
- Erfassungshard- und -software
- 21
- Erfassungshardware
- 22
- Erkennungssoftware-Erkennung
- 23
- Erkennungssoftware-Umwandlung
- 231
- erste Datenbank
- 3
- akustisches Signal
- 41
- digitaler Wert
- 42
- digitaler Befehl
- 421
- erste Variable
- 422
- zweite Variable
- 423
- dritte Variable
- 43
- digitale Anweisung
- 5
- Netzwerk
- 51
- TCP-Socket-Client
- 52
- TCP-Socket-Server
- 6
- Steuerungssoftware
- 60, 60'
- Steuerungseinheit
- 61
- Maschinensteuerungsbefehlsdatenbank
- 7
- CAN-Bus
- 71
- Steuerleitung
- 8, 8', 8''
- steuerbares System
