-
Die vorliegende Erfindung betrifft ein Verfahren zur Steuerung einer mobilen Arbeitsmaschine mittels eines akustischen Sprachsignals. Ferner betrifft die Erfindung ein Computerprogramm, das jeden Schritt des Verfahrens ausführt, wenn es auf einem Rechengerät abläuft, sowie ein maschinenlesbares Speichermedium, welches das Computerprogramm speichert. Schließlich betrifft die Erfindung ein elektronisches Steuergerät, welches eingerichtet ist, das erfindungsgemäße Verfahren auszuführen.
-
Stand der Technik
-
Heutzutage gibt es Bestrebungen, autonom agierende mobile Arbeitsmaschinen zu entwickeln. Solche Arbeitsmaschinen sind z. B. Flurförderzeuge, Hubarbeitsmaschinen, Gabelstapler und Ähnliches. Es sind bereits Verfahren bekannt, eine mobile Arbeitsmaschine auf Grundlage von Befehlen automatisch anzusteuern oder autonom zu betreiben. In anderen technischen Gebieten ist die Eingabe von Befehlen durch ein akustisches Sprachsignal eines Bedieners, d. h. in Form von gesprochenen Worten, bekannt.
-
Es sind Verfahren zur automatischen Erkennung und Analyse von akustischen Sprachsignalen bekannt. In dem Fachbuch „Sprachverarbeitung und Sprachübertragung“, K. Fellbaum, Springer-Verlag Berlin Heidelberg, 2012, sind in Kapitel 8 heutzutage verwendete Verfahren beschrieben.
-
Bei der Spracherkennung wird der Sprachinhalt (auch als Wortinhalt bezeichnet) des Sprachsignals ausgewertet und zur maschinellen Datenverarbeitung aufbereitet. Dadurch wird die Nachricht bzw. die Aussage (engl. message) verstanden und eine Maschine ist in der Lage diese umzusetzen. Die Spracherkennung kann unabhängig vom Sprecher durchgeführt werden. Allerdings kann durch Kenntnis des Sprechers das Verständnis verbessert werden.
-
Des Weiteren ist eine Sprechererkennung bekannt, bei der ein Bediener aus dem akustischen Sprachsignals identifiziert wird. Bei der Sprechererkennung wird eine Person anhand ihrer Stimme erkannt, wobei die Stimme in Form des Sprachsignals vorliegt. Hierbei werden vornehmlich Laute und andere charakteristische Eigenschaften, welche einen Rückschluss auf den Sprecher zulassen, wie z. B. Intonation, Rhythmus, Akzente, Wort-, Silben- und/oder Satzlänge, im Rahmen einer Mustererkennung erkannt und klassifiziert. Im Ergebnis kann das akustische Sprachsignal einem Sprecher zugeordnet werden.
-
Bei einer Sprecheranalyse werden bei einem Sprecher Störungen in der Aussprache von Silben und Wörtern oder eine verwaschene und undeutlich klingende Sprache erkannt. Daraus kann dann auf den Zustand des Sprechers geschlossen werden.
-
Bei einer Sprachenerkennung wird die Sprache erkannt, in der das Sprachsignal verfasst ist.
-
Offenbarung der Erfindung
-
Es wird ein Verfahren zur Steuerung einer mobilen Arbeitsmaschine mittels eines akustischen Sprachsignals eines Bedieners vorgeschlagen. Beispiele für mobile Arbeitsmaschinen sind Baustellenfahrzeuge wie Bagger, Radlader oder Logistikfahrzeuge wie bspw. Flurförderzeuge, Hubarbeitsmaschinen, Gabelstapler, Niederhubkommisionierer und andere. Die mobile Arbeitsmaschine weist ein Sensorsystem mit zumindest einem Mikrofon auf, wobei bevorzugt mehrere Mikrofone vorgesehen sind, die besonders bevorzugt in mehrere Richtungen, ganz besonders bevorzugt in alle Richtungen ausgerichtet sind, wodurch eine Rundumerkennung ermöglicht wird. Durch mehrere auf einer Ebene dicht nebeneinander angeordnete Mikrofone ist eine exakte Richtungsbestimmung möglich.
-
Als akustisches Sprachsignal wird in dieser Anmeldung ein durch die Stimme und/oder durch Schallorgane vom Bediener erzeugtes Schallsignal, wie z. B. gesprochene Worte, angesehen, das von der mobilen Arbeitsmaschine oder einer mit dieser mobilen Arbeitsmaschine verbundenen Komponente erfasst werden kann. Das akustische Sprachsignal weist eine Nachricht bzw. Aussage bzw. gesprochene Worte bzw. gesprochene Sätze auf. Von besonderer Bedeutung sind hierbei akustische Sprachsignale, die eine Arbeitsanweisung bzw. Fahranweisung an zumindest die mobile Arbeitsmaschine aufweisen.
-
Für den Bediener sind akustische Arbeitsanweisungen an die mobile Arbeitsmaschine von Vorteil, da der Bediener, im Gegensatz zur manuellen Bedienung, seine Hände für andere wertschöpfende Tätigkeiten frei hat. Durch Zurufen der Arbeitsanweisung ist zudem eine Fernbedienung möglich, sodass der Bediener sich außerhalb von sicherheitskritischen Bereichen beim Ausführen von Fahr- oder Arbeitsaktionen bewegen kann, dies gilt insbesondere auch für die Hände des Bedieners. Darüber hinaus kann bei akustisch gesteuerten Arbeitsmaschinen optional auf manuelle Bedienelemente verzichtet werden.
-
Das Verfahren umfasst folgende Schritte:
- Durch Spracherkennung wird geprüft, ob die jeweilige Arbeitsmaschine mittels des akustischen Sprachsignals vom Bediener adressiert, also angesprochen, wurde. Hierfür spricht der Bediener vor der eigentlichen Arbeitsanweisung einen Identifikator für die Maschine aus, wie z. B. „Gabelstapler zwei“. Dabei wird der Sprachinhalt des akustischen Sprachsignals ermittelt und darin ein Identifikator, wie z. B. Schlüsselwörter, mit denen die Arbeitsmaschine bestimmt werden kann, erkannt. Verfahren zur Spracherkennung sind an sich bekannt. Die Inhalte, mit denen die Arbeitsmaschine bestimmt werden kann, umfassen z. B. unter anderem eine Kennung (siehe unten), einen Typ, eine Position, einen aktuellen Status (beschäftigt oder frei) und/oder einen Zustand der Arbeitsmaschine. Schließlich wird geprüft, ob diese Inhalte auf die jeweilige Arbeitsmaschine zutreffen. Trifft ein oder mehrere dieser Inhalte auf die jeweilige Arbeitsmaschine zu, so gilt diese als adressiert. Durch das Prüfen der Adressierung kann sichergestellt werden, dass nur die Arbeitsmaschine, die tatsächlich vom Bediener gewünscht wird, aktiviert wird und schließlich die Arbeitsanweisung ausführt. Eine nicht adressierte Arbeitsmaschine führt die Arbeitsanweisung folglich auch nicht aus. Gerade für den Fall, dass das akustische Sprachsignal mehrere mobile Arbeitsmaschinen in akustischer Reichweite erreicht und von diesen aufgenommen wird, wird durch das Prüfen der Adressierung nur die tatsächliche gewünschte Arbeitsmaschine aktiviert. Dieser Fall tritt ein, wenn der Bediener seinen Befehl z. B. in einer Werkhalle mit mehreren Arbeitsmaschinen für diese in akustischer Empfangsreichweite ausspricht. Dadurch können Unfälle aufgrund von fälschlicherweise aktivierten Arbeitsmaschinen vermieden werden. Zudem müssen nicht adressierte Arbeitsmaschinen die Arbeitsanweisung an sich nicht analysieren und nicht deren Umsetzung planen und die weiteren Schritte des Verfahrens nicht ausführen.
-
Es gilt anzumerken, dass sicherheitsrelevante Inhalte, wie z. B. ein Befehl zum Stoppen, derart interpretiert werden, dass alle Arbeitsmaschinen in einer Umgebung des Bedieners adressiert sind. Dadurch wird sichergestellt, dass die mobile Arbeitsmaschine die sicherheitsrelevante Arbeitsanweisung auch in Notsituationen ausführt, in denen dem Bediener oft keine Zeit bleibt oder nicht in der Lage ist, die Arbeitsmaschine korrekt zu adressieren.
-
Zudem wird mittels Spracherkennung geprüft, ob das akustische Signal eine Arbeitsanweisung für die Arbeitsmaschine enthält. Dabei wird der Sprachinhalt des akustischen Sprachsignals ermittelt und darin die Arbeitsanweisung z. B. durch Schlüsselwörter erkannt. Beispiele für eine Arbeitsanweisung sind ein Befehl wie „folge mir“ (siehe unten), „fahre zu...“ oder „hole den Gegenstand...“.
-
Die beiden Prüfungen können zur selben Zeit stattfinden und vorzugsweise wird dieselbe Spracherkennung verwendet, um die Sprachinhalte zu ermitteln und die Identifikatoren sowie Arbeitsanweisungen zu erkennen.
-
Wenn zumindest diese beiden Prüfungen zu dem Ergebnis gekommen sind, dass die Arbeitsmaschine adressiert wurde und das akustische Sprachsignal eine Arbeitsanweisung für die Arbeitsmaschine enthält, wird die Arbeitsmaschine zur Ausführung der Arbeitsanweisung, insbesondere mittels eines Steuersignals, gesteuert. Es ist anzumerken, dass im Rahmen der Erfindung weitere Prüfungen vorgenommen werden können, die nachfolgend beschrieben werden.
-
Die Arbeitsanweisung für die Arbeitsmaschine ist bevorzugt eine Anweisung zu einer Bewegung zumindest einer Einheit bzw. Komponente der Arbeitsmaschine, insbesondere einer Bewegung der Arbeitsmaschine. Das heißt, mit anderen Worten, die Arbeitsanweisung kann eine Anweisung hinsichtlich einer Ortsveränderung der Arbeitsmaschine umfassen.
-
Besonders vorteilhaft ist das Verfahren, wenn in einer Umgebung der Arbeitsmaschine und/oder einer Umgebung eines Bedieners der Arbeitsmaschine mehrere bzw. mindestens zwei Arbeitsmaschinen angeordnet sind. Hierbei können die mehreren Arbeitsmaschinen gleichartig bzw. vom gleichen Typ, vom gleichen Modell, von der gleichen Bauart - oder Bauform, insbesondere baulich im Wesentlichen identisch sein. Hierbei wird im Schritt des Prüfens anhand des akustischen Sprachsignals ermittelt, welche der mehreren, insbesondere gleichartigen Arbeitsmaschinen adressiert wurde.
-
Zum Adressieren der Arbeitsmaschine mittels des akustischen Sprachsignals kann das akustische Signal eine insbesondere akustische Kennung bzw. einen insbesondere akustischen Identifikator umfassen. Denkbar ist, dass das akustische Signal einen Typ, ein Modell, eine Bauart oder einen vorgegebenen Namen der mobilen Arbeitsmaschine umfasst.
-
Vorzugsweise wird die Adressierung der Arbeitsmaschine anhand einer Kennung für die mobile Arbeitsmaschine geprüft. Die Kennung ist ein Identifikator für die Arbeitsmaschine, also eine Bezeichnung bzw. ein Name, und eindeutig einer mobilen Arbeitsmaschine zugeordnet, wobei die Zuordnung nur in beschränktem Umfang eindeutig sein muss, beispielsweise für ein lokal begrenztes Gebiet oder für eine bestimmte Gruppe. Es ist mit anderen Worten z. B. in einer Werkhalle jeder mobilen Arbeitsmaschine eine eindeutige Kennung zugeordnet, in einer anderen Werkhalle und/oder bei einer anderen Flotte eines anderen Besitzers können jedoch die gleichen Kennungen vergeben werden. Die Kennungen sind beispielsweise Zahlen oder Buchstaben oder Kombinationen davon, insbesondere in Verbindung mit dem Typ der Arbeitsmaschine, also z. B. „Fahrzeug A“ oder „Gabelstapler 1“. Die Kennung kann vorzugsweise in einer Datenbank hinterlegt sein, wobei das Verfahren die Kennung aus der Datenbank erhält. Die Datenbank kann auf einem Speicher gespeichert sein, z. B. zentral auf einem Server oder dezentral in der jeweiligen Arbeitsmaschine,
-
Neben der Spracherkennung kann das akustische Sprachsignal auch mittels Sprechererkennung analysiert werden. Verfahren hierzu sind an sich bekannt und führen zu einer Personenidentifikation des Bedieners. Dabei werden Parameter, die den Sprecher bzw. die Stimme des Sprechers charakterisieren, analysiert und mit Referenzparametern verglichen, die zuvor aufgenommenen wurden und eindeutig einem Bediener zugeordnet sind. Die Sprechererkennung kann zeitgleich zur Spracherkennung durchgeführt werden. Ist der Bediener identifiziert, kann seine Berechtigung für die adressierte Arbeitsmaschine geprüft werden. Schließlich wird die Arbeitsanweisung nur ausgeführt, wenn der Bediener gemäß der Prüfung für die adressierte Arbeitsmaschine berechtigt ist. Die Berechtigung des Bedieners kann vorzugsweise in einer Datenbank hinterlegt sein, wobei das Verfahren die Berechtigung aus der Datenbank erhält.
-
Die Datenbank kann auf einem Speicher gespeichert sein, z. B. zentral auf einem Server oder dezentral in der jeweiligen Arbeitsmaschine. Die Anweisungen einer berechtigten Person können auch verwendet werden, autonome Arbeitsmaschinen, die aufgrund von Fehlern, nichtplausiblen Zuständen, Umweltbedingungen und/oder Ähnlichem angehalten sind, wieder einsatzbereit zu machen. Dies ist vor allem relevant, wenn die Arbeitsmaschine keine manuellen Bedienelemente aufweist.
-
Die Berechtigungen können im Allgemeinen universell für die Arbeitsmaschine vergeben werden. Im Speziellen können die Berechtigungen für die Bediener abhängig von der Arbeitsanweisung erteilt werden. Das heißt, mit anderen Worten, die Berechtigung für den Bediener zum Bedienen der Arbeitsmaschine hängt von der Arbeitsanweisung ab. Somit ist ein Bediener nur berechtigt, bestimmte Arbeitsanweisungen für die Arbeitsmaschine zu beauftragen. Dadurch wird Missbrauch verhindert. Als Beispiel kann ein Bediener bei allen Arbeitsmaschinen eines Fuhrparks ein Fahren der Arbeitsmaschine beauftragen, um z. B. Platz freizuräumen, nicht aber ein Heben von Last durch beispielsweise einen Gabelstapler.
-
Um das Verständnis der Sprachsignals zu verbessern, kann eine Spracherkennung durchgeführt werden, mit der die Sprache, in der das Sprachsignal verfasst ist, erkannt wird. Bei der Spracherkennung, der Sprechererkennung und der Sprecheranalyse kann der Wortschatz der Sprache, sowie für die Sprache typische Sprechlaute in die Erkennung einfließen.
-
Darüber hinaus kann die Spracherkennung und/oder die Sprecheranalyse verwendet werden, um den physiologischen Zustand des Bedieners zu prüfen. Der physiologische Zustand des Bedieners kann sich zum Beispiel durch Einfluss von Betäubungsmitteln wie Alkohol, Müdigkeit und/oder Krankheit verändern. Dies äußert sich vor allem im Beispiel von Betäubungsmitteln durch eine Störung der Aussprache von Silben und Wörtern oder durch eine verwaschene und undeutlich klingende Sprache oder durch unlogische bzw. unsinnige Sätze. Diese Parameter werden bei der Sprechererkennung und Sprecheranalyse (vor allem die erstgenannten) und/oder bei der Spracherkennung (vor allem die letztgenannten) geprüft. Hierfür wird der Bediener wie oben beschrieben über die Sprechererkennung identifiziert, sodass es möglich ist, mittels der Sprecheranalyse eine Abweichung von den Referenzparametern für diesen Benutzter zu ermitteln. Ergibt die Prüfung, dass der physiologische Zustand vorgebbare Zustandsvoraussetzungen, wie z. B. keine Beeinträchtigung durch Betäubungsmittel, nicht erfüllt, so wird die Arbeitsanweisung von der Arbeitsmaschine nicht ausgeführt. Zudem kann der Zugriff auf die Arbeitsmaschine für den betroffenen Bediener gesperrt werden und optional auch für weitere Arbeitsmaschinen. Zusätzlich kann ein Vorgesetzter informiert werden. Dadurch wird eine Überwachung des Bedieners (driver monitoring) erreicht. Die Sperre kann durch einen anderen Bediener, der die Zustandsvoraussetzung erfüllt, aufgehoben werden. Hierfür gibt der andere Bediener seinerseits ein weiteres akustisches Sprachsignal an die Arbeitsmaschine aus, welches dann durch das beschriebene Verfahren ausgewertet wird und eine Personenidentifikation durchgeführt wird. Auch kann es vorgesehen sein, den Bediener wieder freizugeben, wenn auf andere Weise nachgewiesen wird, dass der Bediener die vorgebbaren Zustandsvoraussetzungen erfüllt. Dies kann zum Beispiel passieren, wenn der Bediener etwas im Mund hat oder am Mund trägt (z. B. eine Schutzmaske) oder die Mundpartie in anderer Weise und damit die Sprache beeinträchtig ist.
-
Des Weiteren kann geprüft werden, ob die Arbeitsmaschine eingerichtet ist, die Arbeitsanweisung auszuführen. Dabei wird insbesondere geprüft, ob die Arbeitsmaschine das passende Werkzeug aufweist, um die Arbeitsanweisung auszuführen. Beispielsweise ist ein Flurförderzeug ohne Hubeinrichtung, z. B. eine Zugmaschine für den innerbetrieblichen Transport, nicht eingerichtet, einen Gegenstand aus einem hohen Fach eines Regals zu holen, ein Gabelstapler mit seiner Gabel hingegen schon. Außerdem können die Spezifikationen, wie z. B. ein maximal zulässiges Gewicht, betrachtet werden. Schließlich führt die Arbeitsmaschine die Arbeitsanweisung nur aus, wenn sie dazu eingerichtet ist.
-
Es kann demnach vorteilhafterweise vorgesehen sein, dass die Arbeitsmaschine die Arbeitsanweisung nicht ausführt, wenn eine oder mehrere der obengenannten Prüfungen zu einem negativen Ergebnis führt.
-
Unter anderem umfasst die Arbeitsanweisung eine Folge-Funktion (follow me function). Bei dieser Folge-Funktion wird der Bediener, der das akustische Sprachsignal ausgesendet hat und damit die Arbeitsmaschine adressiert hat, lokalisiert. Hierfür kann mittels der Mikrofone die Quelle des Sprachsignals ermittelt werden und der Bediener an dieser Stelle lokalisiert werden. Optional können weitere Verfahren zur Lokalisierung, beispielsweise kamerabasierte Verfahren oder über RFID-Chips, verwendet werden. Bei der Lokalisierung ist es von Vorteil, den Bediener zuvor, wie oben beschrieben, zu identifizieren. Schließlich bewegt sich die Arbeitsmaschine zu der Position des Bedieners.
-
Um sicherzustellen, dass die Arbeitsmaschine die Arbeitsanweisung erhalten und verstanden hat, kann eine Anzeige vorgesehen sein. Die Anzeige kann an der Arbeitsmaschine angeordnet sein und einerseits visuell sein, beispielsweise in Form eines Displays oder einer Leuchte, oder andererseits akustisch sein, beispielsweise durch einen Lautsprecher oder eine Hupe.
-
Zudem kann die Arbeitsmaschine die auszuführenden Aktionen vorankündigen, beispielswiese akustisch mittels des genannten Lautsprechers oder der Hupe. Demnach kann ein Signalton abgegeben werden, wenn sich die Route, auf der sich die Arbeitsmaschine bewegt, ändert oder sich die Arbeit, die ausgeführt wird, ändert. Auch kann angezeigt werden, wenn die Arbeitsmaschine mit der beauftragen Arbeit fertig ist. Dies kann zusätzlich oder alternativ auch auf dem oben genannten Display oder mittels einer Leuchte oder auch mittels einem Blinker zum Anzeigen eines bevorstehenden Abbiegevorgangs angezeigt werden. Dadurch können der Bediener und andere Personen auf zukünftige Bewegungen der mobilen Arbeitsmaschine hingewiesen werden, sodass diese vorrauschauend und rechtzeitig reagieren können.
-
Durch die akustische Anzeige, vor allem den Lautsprecher oder gegebenenfalls die Hupe, ist es zudem möglich, dass die Arbeitsmaschine, nachdem sie erfolgreich adressiert wurde, ihre Position, ihre Fahrtrichtung und/oder Statusmeldungen mitteilt. Insbesondere, wenn ein Bediener eine für ihn nicht sichtbare Arbeitsmaschine sucht, kann er den zugehörigen Identifikator rufen, woraufhin die Arbeitsmaschine ihren Identifikator wiederholt akustisch ausgibt. Der Bediener kann dann die Arbeitsmaschine akustisch orten.
-
Zusätzlich oder alternativ kann die Anzeige auch auf einem mobilen Endgerät erfolgen. Hierfür ist die mobile Arbeitsmaschine über eine drahtlose Funkverbindung mit einem Netzwerk verbunden, in dem sich auch das mobile Endgerät befindet. Das mobile Endgerät kann die Anzeige einerseits akustisch, andererseits visuell oder in Kombination ausgeben. Auch kann „augmented reality“ oder eine virtuelle Anzeige vorgesehen sein. Dadurch ist es speziell möglich, die Routen und Arbeiten, sowie eine Karte und/oder den Maschinenstatus darzustellen. Zusätzlich kann die Anzeige mittels Blickrichtungserkennung und/oder Aufmerksamkeitserkennung selektiert ausgegeben werden. Daher, wenn die Blickrichtungserkennung und Aufmerksamkeitserkennung erkennt, dass der Bediener mit seinen Augen und kognitiv eine bestimmte Situation bzw. Arbeitsvorgang bzw. Arbeitsmaschine nicht wahrgenommen hat, kann der Bediener akustisch gewarnt werden. Wenn erkannt wird, dass der Bediener dies wahrgenommen hat, kann auf die akustische Warnung verzichtet werden.
-
Zusätzlich oder alternativ kann die Anzeige auch an Einrichtungen in der Infrastruktur erfolgen, einerseits akustisch, beispielsweise durch Lautsprecher in der Umgebung, oder visuell durch optische Anzeigen, z. B. Leuchtpfeile oder Bildschirme. Hierfür ist die mobile Arbeitsmaschine über eine drahtlose Funkverbindung mit einem Netzwerk verbunden.
-
Das Computerprogramm ist eingerichtet, jeden Schritt des Verfahrens durchzuführen, insbesondere, wenn es auf einem Rechengerät oder Steuergerät durchgeführt wird. Es ermöglicht die Implementierung des Verfahrens in einem herkömmlichen elektronischen Steuergerät, ohne hieran bauliche Veränderungen vornehmen zu müssen. Hierzu ist es auf dem maschinenlesbaren Speichermedium gespeichert.
-
Durch Aufspielen des Computerprogramms auf ein elektronisches Steuergerät der mobilen Arbeitsmaschine, welches eine Software zur Spracherkennung und gegebenenfalls zur Sprechererkennung und/oder zur Sprecheranalyse aufweist, wird das elektronische Steuergerät erhalten, welches eingerichtet ist, die mobile Arbeitsmaschine mittels eines akustischen Sprachsignals zu steuern.
-
Das Verfahren kann einerseits mittels des elektronischen Steuergeräts auf der mobilen Arbeitsmaschine ausgeführt werden. Andererseits kann das Verfahren zentral von einem Server ausgeführt werden, wobei der Server über eine drahtlose Verbindung mit den mobilen Arbeitsmaschinen verbunden ist. In letztgenannten Fall, weist der Server die Software zur Spracherkennung und gegebenenfalls zur Sprechererkennung und/oder zur Sprechereranalyse auf.
-
Figurenliste
-
Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert.
- 1 zeigt eine schematische Abbildung einer Werkshalle, in der sich eine Person und zwei Arbeitsmaschinen befinden.
- 2 zeigt ein Ablaufdiagramm des erfindungsgemäßen Verfahrens.
-
Ausführungsbeispiele der Erfindung
-
1 zeigt eine schematische Darstellung einer Werkshalle 1, in der sich ein Bediener 2 und zwei mobilen Arbeitsmaschinen 10, 20 befinden. Diese Anordnung soll nur als Beispiel dienen und das erfindungsgemäße Verfahren kann auch bei nur einer Arbeitsmaschine oder mehr als zwei Arbeitsmaschinen sowie bei mehreren Bedienern durchgeführt werden. Die mobilen Arbeitsmaschinen 10, 20 sind zum Beispiel Gabelstapler. Als Identifikatoren hat eine mobile Arbeitsmaschine 10 die Kennung „Gabelstapler eins“ und die andere mobile Arbeitsmaschine 20 hat die Kennung „Gabelstapler zwei“. Zudem sind zwei Regale 4, 5 in der Werkshalle 1 angeordnet, wobei z. B. im zweiten Regal 5, in der ersten Reihe und in der dritten Ebene eine Palette 6 gelagert ist, die zum Bediener 2 gebracht werden soll.
-
In diesem Beispiel sind die beiden mobilen Arbeitsmaschinen 10, 20 baugleich ausgebildet und beide weisen dieselben Komponenten auf. Im Allgemeinen können die mobilen Arbeitsmaschinen unterschiedlich ausgebildet sein und für unterschiedliche Aufgaben konzipiert sein. Die Komponenten der mobilen Arbeitsmaschinen 10, 20 werden anhand der mobilen Arbeitsmaschinen 20 mit der Kennung „Gabelstapler zwei“ beschrieben und die Beschreibung kann für die andere mobile Arbeitsmaschine übernommen werden.
-
Die mobile Arbeitsmaschine 20 weist mehrere Mikrofone 21, die um die mobile Arbeitsmaschine 20 herum angeordnet sind, und ein elektronisches Steuergerät 22, das mit den Mikrofonen 21 verbunden ist, auf. Die Mikrofone 21 können ein Schallsignal aufnehmen und dieses zum elektronischen Steuergerät 22 weiterleiten.
-
Zudem umfasst die mobile Arbeitsmaschine 20 Anzeigen in Form eines Lautsprechers 23 und eines Displays 24, die ebenfalls mit dem elektronischen Steuergerät 22 verbunden sind. Über diese Anzeigen kann eine oder mehrere der folgenden Informationen angezeigt werden:
- - es wurde eine Arbeitsanweisung verstanden;
- - Vorankündigen einer auszuführenden Aktion;
- - es wurde die beauftrage Arbeit fertiggestellt, und/oder
- - die Position, die Fahrtrichtung und/oder Statusmeldungen der Arbeitsmaschine 20.
-
Wenn die mobile Arbeitsmaschine 20 auf einen Befehl hin ihre Position mittels des Lautsprechers 23 anzeigt, kann der Bediener 2 die mobile Arbeitsmaschine 20 akustisch orten.
-
Des Weiteren weist die mobile Arbeitsmaschine 20 einen Transceiver 25 (oder Transmitter und/oder Receiver) auf, mit dem eine drahtlose Funkverbindung, beispielsweise WLAN, WIFI, Bluetooth oder dergleichen, hergestellt werden kann. Die drahtlose Funkverbindung kann mit einem Transceiver 75 (oder Receiver und/oder Transmitter) eines Netzwerks aufgebaut werden, der mit einem Server 70 verbunden ist. Der Server 70 weist eine Datenbank auf, in der die Kennungen der mobilen Arbeitsmaschinen 10, 20 sowie Informationen über die Bediener hinterlegt sind. Zudem ist der Server mit Anzeigen in der Infrastruktur der Werkhalle 1 verbunden, wie hier dargestellt in Form eines Lautsprechers 73 und eines Displays 74. Die Anzeigen können die obengenannten Informationen ausgeben.
-
Zudem ist ein mobiles Endgerät 8, z. B. ein Smartphone, mit dem Netzwerk verbunden und kann somit mit dem Transceiver 25 der mobilen Arbeitsmaschine 20 (und mit dem Transceiver 15 der mobilen Arbeitsmaschine 10) kommunizieren. Die obengenannten Informationen können ebenfalls über die integrierten Anzeigen des mobilen Endgeräts 8 angezeigt werden.
-
Der Bediener 2, als Beispiel „Manfred“ genannt, ruft einen Befehl und sendet somit ein akustisches Sprachsignal 3 als Schallsignal aus, welches in diesem Beispiel die folgende Arbeitsanweisung enthält: „Stapler zwei, Palette holen in Reihe eins im Regal zwei in Ebene drei, zurückkehren und mir folgen.“ Dieses akustische Sprachsignal 3 erreicht beide mobilen Arbeitsmaschinen 10 und 20 und wird jeweils von den Mikrofonen 11 und 21 beider mobiler Arbeitsmaschinen 10 und 20 aufgenommen.
-
In 2 ist ein Ablaufdiagramm des erfindungsgemäßen Verfahrens dargestellt. Das Verfahren wird am Beispiel der mobilen Arbeitsmaschine 20 mit der Kennung „Gabelstapler zwei“ beschrieben und läuft demnach auf dem elektronischen Steuergerät 22 der zweiten Arbeitsmaschine 20 ab.
-
Das akustische Sprachsignal 3 wird mittels Spracherkennung 100 analysiert und der Sprachinhalt des akustischen Sprachsignals 3 ermittelt. In diesem Ausführungsbeispiel wird zusätzlich eine Sprechererkennung 101 und eine Sprecheranalyse 102 durchgeführt. Es ist anzumerken, dass in weiteren Ausführungsbeispielen, je nachdem, welche der folgenden Prüfungen 110 bis 160 ausgeführt werden, nicht alle Erkennungsarten ausgeführt werden.
-
In einer ersten Prüfung 110 wird erfindungsgemäß geprüft, ob die mobile Arbeitsmaschine 20 aufgrund des Inhalts des akustischen Sprachsignals 3 von dem Bediener 2 adressiert wurde. Hierbei wird ein Identifikator im Inhalt des akustischen Sprachsignals 3 anhand von Schlüsselwörtern erkannt, hier die Kennung „Stapler zwei“, und mit dem Identifikator der mobilen Arbeitsmaschine 20, der hier die Kennung „Gabelstapler zwei“ trägt, verglichen. Für den hier beschriebenen Fall wird in der ersten Prüfung erkannt, dass die mobile Arbeitsmaschine mit der Kennung „Gabelstapler zwei“ vom Bediener 2 adressiert wurde.
-
Ergibt die erste Prüfung 110 das Ergebnis, dass die mobile Arbeitsmaschine nicht adressiert wurde, so wird das Verfahren beendet 190. Gleiches gilt für den Fall, dass eine der anderen, unten genannten Prüfungen 120 bis 160 ein negatives Ergebnis ausgibt. Auch dann wird das Verfahren beendet 190 und über eine der Anzeigen 23, 24 der mobilen Arbeitsmaschine 20 und/oder über eine der Anzeigen 73, 74 in der Infrastruktur und/oder über eine Anzeige des mobilen Endgeräts 8 ein Fehler ausgegeben.
-
In einer zweiten Prüfung 120 wird der Bediener 2 lokalisiert. Die Lokalisierung von Personen ist an sich bekannt und wird hier nicht weiter beschrieben. Ist eine Lokalisierung nicht möglich, so wird das Verfahren beendet 190 und die Folgen-Funktion (z.B. „follow me function“) kann nicht ausgeführt werden.
-
In einer dritten Prüfung 130 wird geprüft, ob das akustische Sprachsignals 3 eine Arbeitsanweisung enthält. Hierfür wird der Inhalt des akustischen Sprachsignals analysiert und nach Schlüsselwörtern für eine Arbeitsanweisung gesucht. Enthält das akustische Sprachsignal 3 eine Arbeitsanweisung, kann dies durch eine der Anzeigen bestätigt werden. Andernfalls wird das Verfahren beendet 190.
-
In einer vierten Prüfung 140 wird der Bediener 2 mittels Sprechererkennung 101 identifiziert und geprüft, ob der Bediener 2 berechtigt ist, die Arbeitsanweisung an die zweite mobile Arbeitsmaschine 20 zu geben. Dabei werden Parameter, die den Sprecher bzw. die Stimme des Sprechers charakterisieren analysiert und mit Referenzparametern verglichen, die zuvor aufgenommenen wurden und eindeutig einem Bediener zugeordnet sind. Die Referenzparameter und die Berechtigungen sind für jeden Bediener in der Datenbank auf dem Server 70 hinterlegt und werden vom elektronischen Steuergerät 22 über die Funkverbindung durch den Transceiver 25 abgerufen. Die Berechtigungen sind abhängig von der adressierten mobilen Arbeitsmaschine und der gegebenen Arbeitsanweisung, In diesem Fall hat der Bediener 2 „Manfred“ die Berechtigung für die mobile Arbeitsmaschine 20 und für die Arbeitsanweisung „Palette aus Regal holen“ und die Folgen-Funktion. Kann der Bediener nicht identifiziert werden oder weist er die nötige Berechtigung nicht auf, wird das Verfahren beendet 190. In anderen Ausführungsformen können die Arbeitsanweisungen, für die der Bediener 2 berechtigt ist, ausgeführt werden.
-
In einer fünften Prüfung 150 wird mittels Sprecheranalyse 102 in Verbindung mit der Sprechererkennung 101 geprüft, ob der Bediener 2 korrekte, fließende und sinnige Sprachlaute äußert oder ob er Sprechstörungen aufweist. Dabei werden für den zuvor identifizierten Bediener 2 Abweichungen von den obengenannten Referenzparametern erfasst und daraus der physiologische Zustand ermittelt. Erfüllt der physiologische Zustand des identifizierten Bedieners 2 nicht die vorgebbaren Zustandsvoraussetzungen, so weist das auf den Einfluss von Betäubungsmitteln wie Alkohol, Müdigkeit und/oder Krankheit hin. Als Konsequenz kann der Bediener 2 gesperrt werden. Anschließend wird das Verfahren beendet 190 und ein Vorgesetzter informiert. Die Sperre kann durch einen anderen Bediener, der die Zustandsvoraussetzung erfüllt aufgehoben werden. Auch kann der Bediener 2 wieder freigegeben werden, wenn auf andere Weise nachgewiesen wird, dass der Bediener 2 die vorgebbaren Zustandsvoraussetzungen erfüllt.
-
In einer sechsten Prüfung 160 wird geprüft, ob die mobile Arbeitsmaschine 20 eingerichtet ist, die Arbeitsanweisung auszuführen. Hierbei wird vor allem geprüft, ob die mobile Arbeitsmaschine 20 die benötigten Werkzeuge aufweist und ob die mobile Arbeitsmaschine 20 die erforderlichen Spezifikationen, wie z. B. ein zu transportierendes Maximal-Gewicht, erfüllt. Um beispielswiese die Palette 6 aus der dritten Ebene des zweiten Regals 5 zu holen, wird eine Gabel eines Gabelstaplers benötigt. Ist die mobile Arbeitsmaschine nicht für diese Aufgabe eingerichtet, beispielsweise weil sie nur eine Zugmaschine ist, so wird das Verfahren beendet 190 und eine Fehlermeldung ausgegeben.
-
In einer siebenten Prüfung 170 wird geprüft, ob das Ziel existiert und optional ob die Route zu dem Ziel ausführbar ist. Kann das Ziel nicht gefunden werden, z. B. weil das Regal keine dritte Ebene aufweist, oder ist die Route nicht ausführbar, z. B. weil die mobile Arbeitsmaschine 20 zu groß ist, um das Ziel zu erreichen, wird das Verfahren beendet 190 und ein Fehler ausgegeben.
-
Andernfalls wird die mobile Arbeitsmaschine 20 derart gesteuert 180, um die Arbeitsanweisung umzusetzen. Hierbei greift die mobile Arbeitsmaschine 20 auf an sich bekannte Verfahren zur Lokalisierung, Navigation, Hinderniserkennung, Freiflächenerkennung, Trajektorien-Planung und Ähnliches zurück. Die mobile Arbeitsmaschine 20 fährt zum zweiten Regal 5, holt die Palette 6 aus der ersten Reihe, dritten Ebene und kehrt zum Bediener 2 zurück und folgt diesem.
-
Das Verfahren läuft in gleicher Weise auf der mobilen Arbeitsmaschine 10 mit der Kennung „Gabelstapler eins“ ab. Allerdings ergibt bereits die erste Prüfung 110, dass diese Arbeitsmaschine 10 „Gabelstapler eins“ nicht adressiert ist und das Verfahren wird beendet.
-
Das Verfahren kann auch teilweise auf dem Server 70 durchgeführt werden und die Arbeitsanweisung dann an die entsprechende mobile Arbeitsmaschine 10 oder 20 ausgegeben werden.
