DE112021000207T5

DE112021000207T5 - System und Steuerverfahren zur Verhinderung einer Fehlbetätigung einer Arbeitsmaschine und ein Bagger

Info

Publication number: DE112021000207T5
Application number: DE112021000207.4T
Authority: DE
Inventors: Jun Matsumoto; Yuuki Kobayashi
Original assignee: Komatsu Ltd
Current assignee: Komatsu Ltd
Priority date: 2020-01-31
Filing date: 2021-01-07
Publication date: 2022-09-08
Also published as: CN114729519A; WO2021153182A1; US20230018377A1; JP2021123862A; JP7291645B2; KR20220080182A

Abstract

Eine Kamera nimmt ein Bild eines Bereichs auf, der mindestens einen Teil eines Betätigungselements enthält, und erzeugt Bilddaten, die für das Bild kennzeichnend sind. Eine Steuerung erfasst die Bilddaten von der Kamera. Die Steuerung bestimmt basierend auf dem Bild, ob die Betätigung des Betätigungselements durch einen Bediener eine beabsichtigte oder eine unbeabsichtigte Betätigung ist. Wenn es sich bei der Betätigung des Betätigungselements durch den Bediener um eine absichtliche Betätigung handelt, steuert die Steuerung eine Arbeitsmaschine entsprechend der Betätigung des Betätigungselements. Wenn es sich bei der Betätigung des Betätigungselements durch den Bediener um eine unbeabsichtigte Betätigung handelt, annulliert die Steuerung die Betätigung des Betätigungselements.

Description

TECHNISCHES GEBIET
Die vorliegende Erfindung betrifft ein System und ein Steuerverfahren zur Verhinderung einer Fehlbetätigung einer Arbeitsmaschine und einen Bagger.
HINTERGRUNDTECHNIK
Im Allgemeinen ist eine Arbeitsmaschine mit einem Betätigungselement, wie z. B. einem Hebel, ausgestattet, mit dem ein Bediener die Arbeitsmaschine betätigen kann. Der Bediener betätigt das Betätigungselement beispielsweise, indem er es mit seiner Hand hält. Wenn der Bediener jedoch eine andere Operation als die Betätigung der Arbeitsmaschine durchführt, kann der Körper oder die Kleidung des Bedieners versehentlich das Betätigungselement berühren. In diesem Fall führt die Arbeitsmaschine eine Betätigung aus, die der Absicht des Bedieners zuwiderläuft.
Um, wie vorstehend beschrieben, eine Fehlbetätigung zu verhindern, offenbart das Patentdokument 1 beispielsweise eine Fehlbetätigungsverhinderungsvorrichtung. In dieser Fehlbetätigungsverhinderungsvorrichtung ist ein Tastsensor auf der gesamten Oberfläche des Griffs des Betätigungshebels angebracht. Wenn der vom Tastsensor erfasste Druck für eine vorbestimmte Zeit anhält, bestimmt eine Steuerung, dass das Halten des Betätigungshebels erfasst wurde, und löst einen hydraulischen Verriegelungsmechanismus aus.
ZITATLISTE
PATENTSCHRIFT
Patentdokument 1: Japanische ungeprüfte Patentveröffentlichung Nr. 2010-250459.
ZUSAMMENFASSUNG DER ERFINDUNG
Technisches Problem
Die Art der Betätigung des Betätigungselements (z. B. eine Art Halten oder Berühren) variiert je nach Bediener. Daher kann der Tastsensor in der vorstehend erwähnten Fehlbetätigungsverhinderungsvorrichtung das Halten durch den Bediener nicht genau erfassen. In der vorstehend erwähnten Fehlbetätigungsverhinderungsvorrichtung bestimmt die Steuerung außerdem, ob der vom Tastsensor erfasste Druck eine bestimmte Zeit lang angedauert hat. Daher dauert es eine gewisse Zeit, bis der hydraulische Verriegelungsmechanismus gelöst wird. Dies hat zur Folge, dass die Funktionsfähigkeit der Arbeitsmaschine im Normalbetrieb beeinträchtigt wird.
Eine Aufgabe der vorliegenden Offenlegung ist es, eine Fehlbetätigung einer Arbeitsmaschine mit hoher Genauigkeit zu erfassen.
LÖSUNG DES PROBLEMS
Ein System nach einem Aspekt der vorliegenden Offenlegung ist ein System zur Verhinderung einer Fehlbetätigung einer Arbeitsmaschine. Das System enthält ein Betätigungselement, eine Kamera und eine Steuerung. Das Betätigungselement kann von einem Bediener betätigt werden. Die Kamera nimmt ein Bild eines Bereichs auf, der mindestens einen Teil des Betätigungselements enthält, und erzeugt Bilddaten, die für das Bild kennzeichnend sind. Die Steuerung erfasst die Bilddaten von der Kamera. Die Steuerung bestimmt basierend auf dem Bild, ob es sich bei der Betätigung des Betätigungselements durch den Bediener um eine beabsichtigte oder eine unbeabsichtigte Betätigung handelt. Wenn die Betätigung des Betätigungselements durch den Bediener eine beabsichtigte Betätigung ist, steuert die Steuerung die Arbeitsmaschine entsprechend der Betätigung des Betätigungselements. Wenn es sich bei der Betätigung des Betätigungselements durch den Bediener um eine unbeabsichtigte Betätigung handelt, annulliert die Steuerung die Betätigung des Betätigungselements.
Ein Verfahren nach einem anderen Aspekt der vorliegenden Offenlegung ist ein Steuerverfahren zur Verhinderung einer Fehlbetätigung einer Arbeitsmaschine. Das Steuerverfahren enthält die folgenden Prozesse. Ein erster Prozess besteht darin, Bilddaten zu erfassen die für ein Bild eines Bereichs kennzeichnend sind, der mindestens einen Teil eines Betätigungselements enthält. Ein zweiter Prozess besteht darin, basierend auf dem Bild zu bestimmen, ob eine Betätigung des Betätigungselements durch einen Bediener eine beabsichtigte oder eine unbeabsichtigte Betätigung ist. Ein dritter Prozess besteht darin, die Arbeitsmaschine entsprechend der Betätigung des Betätigungselements zu steuern, wenn die Betätigung des Betätigungselements durch den Bediener die beabsichtigte Betätigung ist. Ein vierter Prozess besteht darin, die Betätigung des Betätigungselements zu annullieren, wenn die Betätigung des Betätigungselements durch den Bediener eine unbeabsichtigte Betätigung ist.
Ein Bagger nach einem anderen Aspekt der vorliegenden Offenlegung enthält einen Fahrkörper, einen Drehkörper, ein Arbeitsgerät, eine Kabine, ein Betätigungselement, eine Kamera und eine Steuerung. Der Drehkörper ist drehbar an dem Fahrkörper angebracht. Das Arbeitsgerät ist an dem Drehkörper angebracht. Die Kabine ist auf dem Drehkörper angeordnet. Das Betätigungselement ist in der Kabine angeordnet. Das Betätigungselement kann von einem Bediener betätigt werden, um zumindest einen von dem Fahrkörper, dem Drehkörper oder dem Arbeitsgerät zu betätigen. Die Kamera nimmt ein Bild von einem Bereich auf, der mindestens einen Teil des Betätigungselements enthält. Die Kamera erzeugt Bilddaten, die für das Bild kennzeichnend sind. Die Steuerung erfasst die Bilddaten von der Kamera. Die Steuerung bestimmt basierend auf dem Bild, ob es sich bei der Betätigung des Betätigungselements durch den Bediener um eine beabsichtigte oder eine unbeabsichtigte Betätigung handelt. Wenn es sich bei der Betätigung des Betätigungselements durch den Bediener um eine beabsichtigte Betätigung handelt, steuert die Steuerung die Betätigung mindestens eines von dem Fahrkörper, dem Drehkörper oder dem Arbeitsgerät in Abhängigkeit von der Betätigung des Betätigungselements. Wenn die Betätigung des Betätigungselements durch den Bediener eine unbeabsichtigte Betätigung ist, annulliert die Steuerung die Betätigung des Betätigungselements.
VORTEILHAFTE WIRKUNGEN DER ERFINDUNG
Nach der vorliegenden Offenlegung wird basierend auf dem Bild des Bereichs, der zumindest einen Teil des Betätigungselements enthält, bestimmt, ob die Betätigung des Betätigungselements durch den Bediener eine beabsichtigte oder eine unbeabsichtigte Betätigung ist. Daher ist es möglich, unabhängig von der Art der Betätigung durch jeden Bediener, eine Fehlbetätigung mit hoher Genauigkeit zu erfassen. Darüber hinaus ist es möglich, schnell zu bestimmen, ob die Betätigung des Betätigungselements durch den Bediener eine normale Betätigung ist. Daher kann die Beeinträchtigung der Funktionsfähigkeit der Arbeitsmaschine im Normalbetrieb reduziert werden.
Figurenliste

1 ist eine Seitenansicht einer Arbeitsmaschine.
2 ist ein Blockdiagramm, das einen Aufbau eines Steuersystems der Arbeitsmaschine veranschaulicht.
3 ist eine perspektivische Ansicht, die das Innere einer Kabine veranschaulicht.
4 ist ein Ablaufdiagramm, das Prozesse zur Erfassung einer fehlerhaften Betätigung veranschaulicht.
5 ist ein Diagramm, das einen Aufbau eines Bilderkennungsmodells der künstlichen Intelligenz veranschaulicht.
6 ist ein Diagramm, das einen Aufbau des Bilderkennungsmodells der künstlichen Intelligenz veranschaulicht.
7 ist eine Ansicht, die ein Beispiel für ein Bild eines Betätigungszustands veranschaulicht.
8 sind Ansichten, die ein Beispiel von Bildern des Betätigungszustands veranschaulichen.
9 ist eine Ansicht, die ein Beispiel für ein Bild des Betätigungszustands veranschaulicht.
10 ist eine Ansicht, die ein Beispiel für ein Bild des Betätigungszustands veranschaulicht.
11 ist eine Ansicht, die ein Beispiel für ein Bild des Betätigungszustands veranschaulicht.
12 ist ein Blockdiagramm, das einen Aufbau des Steuersystems der Arbeitsmaschine nach einem modifizierten Beispiel veranschaulicht.
13 ist eine Ansicht, die ein Beispiel für ein Bild des Betätigungszustands veranschaulicht.
14 ist eine Ansicht, die ein Beispiel für ein Bild des Betätigungszustands veranschaulicht.
15 ist eine Ansicht, die ein Beispiel für ein Bild des Betätigungszustands veranschaulicht.
16 ist eine Ansicht, die ein Beispiel für ein Bild des Betätigungszustands veranschaulicht.

BESCHREIBUNG DER AUSFÜHRUNGSFORMEN
Nachfolgend wird ein Steuersystem für eine Arbeitsmaschine 1 nach einer Ausführungsform unter Bezugnahme auf die Zeichnungen beschrieben. 1 ist eine Seitenansicht der Arbeitsmaschine 1. In der vorliegenden Ausführungsform ist die Arbeitsmaschine 1 ein Hydraulikbagger.
Wie in 1 dargestellt, enthält die Arbeitsmaschine 1 einen Fahrzeugkörper 2 und ein Arbeitsgerät 3. Das Arbeitsgerät 3 ist am vorderen Teil des Fahrzeugkörpers 2 angebracht. Der Fahrzeugkörper 2 enthält einen Drehkörper 4, einen Fahrkörper 5 und eine Kabine 6. Der Drehkörper 4 ist drehbar an dem Fahrkörper 5 angebracht. Die Kabine 6 ist auf dem Drehkörper 4 angeordnet. Der Fahrkörper 5 enthält Raupenbänder 6a und 6b. Die Arbeitsmaschine 1 bewegt sich aufgrund der Drehung der Raupenbänder 6a und 6b.
Das Arbeitsgerät 3 enthält einen Ausleger 11, einen Arm 12 und einen Löffel 13. Der Ausleger 11 ist am Drehkörper 4 auf- und abbewegbar angebracht. Der Arm 12 ist beweglich an dem Ausleger 11 angebracht. Der Löffel 13 ist beweglich an dem Arm 12 angebracht. Das Arbeitsgerät 3 enthält einen Auslegerzylinder 14, einen Armzylinder 15 und einen Löffelzylinder 16. Der Auslegerzylinder 14, der Armzylinder 15 und der Löffelzylinder 16 sind Hydraulikzylinder und werden durch Hydraulikfluid angetrieben, das von einer später beschriebenen Hydraulikpumpe 22 zugeführt wird. Der Auslegerzylinder 14 treibt den Ausleger 11 an. Der Armzylinder 15 betätigt den Arm 12. Der Löffelzylinder 16 betätigt den Löffel 13.
2 ist ein Blockdiagramm, das den Aufbau eines Steuersystems der Arbeitsmaschine 1 veranschaulicht. Wie in 2 dargestellt, enthält die Arbeitsmaschine 1 einen Motor 21, eine Hydraulikpumpe 22, eine Leistungsübertragungsvorrichtung 23 und eine Steuerung 24. Der Motor 21 wird durch Befehlssignale von der Steuerung 24 gesteuert. Die Hydraulikpumpe 22 wird durch den Motor 21 angetrieben, um Hydraulikfluid zu fördern. Das von der Hydraulikpumpe 22 geförderte Hydraulikfluid wird dem Auslegerzylinder 14, dem Armzylinder 15 und dem Löffelzylinder 16 zugeführt.
Die Arbeitsmaschine 1 enthält einen Drehmotor 25. Der Drehmotor 25 ist ein Hydraulikmotor und wird durch Hydraulikfluid von der Hydraulikpumpe 22 angetrieben. Der Drehmotor 25 versetzt den Drehkörper 4 in Drehung. Obwohl in 2 eine Hydraulikpumpe 22 dargestellt ist, kann eine Vielzahl von Hydraulikpumpen enthalten sein.
Die Hydraulikpumpe 22 ist eine Pumpe mit variabler Verdrängung. An die Hydraulikpumpe 22 ist eine Pumpensteuervorrichtung 26 angeschlossen. Die Pumpensteuervorrichtung 26 steuert den Neigungswinkel der Hydraulikpumpe 22. Die Pumpensteuervorrichtung 26 enthält z. B. ein elektromagnetisches Ventil und wird durch Befehlssignale von der Steuerung 24 gesteuert. Die Steuerung 24 steuert die Pumpensteuervorrichtung 26 und steuert damit die Verdrängung der Hydraulikpumpe 22.
Die Arbeitsmaschine 1 enthält ein Steuerventil 27. Die Hydraulikpumpe 22, die Zylinder 14 bis 16 und der Drehmotor 25 sind über das Steuerventil 27 durch einen Hydraulikkreislauf miteinander verbunden. Das Steuerventil 27 wird durch Befehlssignale von der Steuerung 24 gesteuert. Das Steuerventil 27 steuert die Strömungsrate des Hydraulikfluids, das von der Hydraulikpumpe 22 den Zylindern 14 bis 16 und dem Drehmotor 25 zugeführt wird. Die Steuerung 24 steuert das Steuerventil 27 und steuert damit den Betrieb des Arbeitsgeräts 3. Die Steuerung 24 steuert das Steuerventil 27 und damit die Drehung des Drehkörpers 4.
Die Leistungsübertragungsvorrichtung 23 überträgt die Antriebskraft des Motors 21 auf den Fahrkörper 5. Die Raupenbänder 6a und 6b werden durch die Antriebskraft der Leistungsübertragungsvorrichtung 23 angetrieben, um die Arbeitsmaschine 1 in Bewegung zu versetzen. Bei der Leistungsübertragungsvorrichtung 23 kann es sich beispielsweise um einen Drehmomentwandler oder ein Getriebe mit einer Vielzahl von Getrieberädern handeln. Alternativ kann es sich bei der Leistungsübertragungsvorrichtung 23 auch um eine andere Art von Getriebe handeln, z. B. ein hydrostatisches Getriebe (HST) oder ein hydraulisch-mechanisches Getriebe (HMT).
Die Steuerung 24 ist programmiert, um die Arbeitsmaschine 1 auf der Grundlage der erfassten Daten zu steuern. Die Steuerung 24 steuert den Motor 21, den Fahrkörper 5 und die Leistungsübertragungsvorrichtung 23, wodurch die Arbeitsmaschine 1 in Bewegung gesetzt wird. Die Steuerung 24 steuert die Hydraulikpumpe 22 und das Steuerventil 27 und veranlasst den Betrieb des Arbeitsgeräts 3. Die Steuerung 24 steuert die Hydraulikpumpe 22 und das Steuerventil 27, wodurch der Drehkörper 4 in Drehung versetzt wird.
Die Steuerung 24 enthält einen Prozessor 31, z. B. eine CPU. Der Prozessor 31 führt Prozesse zur Steuerung der Arbeitsmaschine 1 aus. Die Steuerung 24 enthält eine Speichervorrichtung 32. Die Speichervorrichtung 32 enthält einen Speicher, wie z. B. ein RAM oder ein ROM, und eine zusätzliche Speichervorrichtung, wie z. B. ein Festplattenlaufwerk (HDD) oder ein Solid-State-Drive (SSD). Die Speichervorrichtung 32 speichert Daten und Programme zur Steuerung der Arbeitsmaschine 1.
Die Arbeitsmaschine 1 enthält ein erstes Betätigungselement 33, ein zweites Betätigungselement 34, ein drittes Betätigungselement 35 und ein viertes Betätigungselement 36. 3 ist eine perspektivische Ansicht, die das Innere der Kabine 6 veranschaulicht. Wie in 3 dargestellt, sind das erste Betätigungselement 33, das zweite Betätigungselement 34, das dritte Betätigungselement 35 und das vierte Betätigungselement 36 in der Kabine 6 angeordnet. In der Kabine 6 ist ein Sitz 37 angeordnet. Das erste Betätigungselement 33 ist an einer Seite des Sitzes 37 angeordnet. Das zweite Betätigungselement 34 ist auf der anderen Seite des Sitzes 37 angeordnet. Das erste Betätigungselement 33 und das zweite Betätigungselement 34 werden von der Hand eines Bedieners betätigt.
Das erste Betätigungselement 33 ist ein Hebel. Das erste Betätigungselement 33 ist aus einer neutralen Position in die Richtungen vorne-hinten und links-rechts schwenkbar. Das erste Betätigungselement 33 gibt ein Signal aus, das für die Betätigungsrichtung und den Betätigungsbetrag des ersten Betätigungselements 33 kennzeichnend ist. Die Steuerung 24 empfängt das Signal von dem ersten Betätigungselement 33. Die Steuerung 24 veranlasst das Arbeitsgerät 3, entsprechend der Betätigung des ersten Betätigungselements 33 durch den Bediener zu arbeiten. Alternativ dazu veranlasst die Steuerung 24 den Drehkörper 4, sich entsprechend der Betätigung des ersten Betätigungselements 33 durch den Bediener zu drehen.
Das zweite Betätigungselement 34 ist ein Hebel. Das zweite Betätigungselement 34 ist aus einer neutralen Position in die Richtungen vorne-hinten und links-rechts schwenkbar. Das zweite Betätigungselement 34 gibt ein Signal aus, das für die Betätigungsrichtung und den Betätigungsbetrag des zweiten Betätigungselements 34 kennzeichnend ist. Die Steuerung 24 empfängt das Signal von dem zweiten Betätigungselement 34. Die Steuerung 24 veranlasst das Arbeitsgerät 3, entsprechend der Betätigung des zweiten Betätigungselements 34 durch den Bediener zu arbeiten.
Das dritte Betätigungselement 35 ist vor dem Sitz 37 angeordnet. Das dritte Betätigungselement 35 ist ein Hebel. Das dritte Betätigungselement 35 ist in der Vorwärts-RückwärtsRichtung kippbar. Das dritte Betätigungselement 35 gibt ein Signal aus, das für die Betätigungsrichtung und den Betätigungsbetrag des dritten Betätigungselements 35 kennzeichnend ist. Die Steuerung 24 empfängt das Signal von dem dritten Betätigungselement 35. Die Steuerung 24 veranlasst die Arbeitsmaschine 1, sich entsprechend der Betätigung des dritten Betätigungselements 35 durch den Bediener zu bewegen.
Das vierte Betätigungselement 36 ist ein Pedal. Das vierte Betätigungselement 36 ist mit dem dritten Betätigungselement 35 gekoppelt. Das vierte Betätigungselement 36 arbeitet einstückig mit dem dritten Betätigungselement 35. Die Steuerung 24 veranlasst die Arbeitsmaschine 1, sich entsprechend der Betätigung des dritten Betätigungselements 35 oder des vierten Betätigungselements 36 durch den Bediener zu bewegen.
Die Arbeitsmaschine 1 enthält ein Verriegelungselement 38. Das Verriegelungselement 38 ist in der Kabine 6 angeordnet. Das Verriegelungselement 38 ist an einer Seite des Sitzes 37 angeordnet. Das Verriegelungselement 38 ist zwischen einer verriegelten Position und einer gelösten Position beweglich. Wenn sich das Verriegelungselement 38 in der verriegelten Position befindet, annulliert die Steuerung 24 die Betätigung des ersten Betätigungselements 33 und des zweiten Betätigungselements 34. Das heißt, wenn sich das Verriegelungselement 38 in der verriegelten Position befindet, annulliert die Steuerung 24 die Betätigung des Arbeitsgeräts 3 unabhängig von der Betätigung des ersten Betätigungselements 33 und des zweiten Betätigungselements 34. Wenn sich das Verriegelungselement 38 in der verriegelten Position befindet, verhindert die Steuerung 24 die Drehung des Drehkörpers 4 unabhängig von der Betätigung des ersten Betätigungselements 33.
In einem Fall, bei dem es sich beispielsweise bei dem Steuerventil 27 um ein elektrisches Vorsteuerventil handelt, gibt die Steuerung 24 unabhängig von der Betätigung des ersten Betätigungselements 33 und des zweiten Betätigungselements 34 kein Befehlssignal an das Steuerventil 27 aus, wenn sich das Verriegelungselement 38 in der verriegelten Position befindet. Alternativ dazu, stellt die Steuerung 24 in einem Fall, in dem das Steuerventil 27 ein hydraulisches Vorsteuerventil ist, die Zufuhr des Vorsteuerdrucks zum Steuerventil 27 ein, wenn sich das Verriegelungselement 38 in der verriegelten Position befindet.
Wenn sich das Verriegelungselement 38 in der gelösten Position befindet, steuert die Steuerung 24 das Arbeitsgerät 3 oder den Drehkörper 4 entsprechend der Betätigung des ersten Betätigungselements 33 und des zweiten Betätigungselements 34. Das heißt, wenn sich das Verriegelungselement 38 in der gelösten Position befindet, veranlasst die Steuerung 24 das Arbeitsgerät 3, entsprechend der Betätigung des ersten Betätigungselements 33 und des zweiten Betätigungselements 34 zu arbeiten. Wenn sich das Verriegelungselement 38 in der gelösten Position befindet, veranlasst die Steuerung 24 den Drehkörper 4, sich entsprechend der Betätigung des ersten Betätigungselements 33 zu drehen.
Die Arbeitsmaschine 1 enthält eine Kamera 39. Die Kamera 39 nimmt ein Bild eines Bereichs auf, der das erste Betätigungselement 33, das zweite Betätigungselement 34 und den Sitz 37 in der Kabine 6 enthält. Die Anzahl der Kameras 39 ist nicht auf eine beschränkt und es kann auch eine Vielzahl von Kameras in der Kabine 6 angeordnet sein. Die Kamera 39 erzeugt Bilddaten, die für das aufgenommene Bild kennzeichnend sind. Die Kamera 39 kommuniziert drahtgebunden oder drahtlos mit dem Steuerung 24. Die Steuerung 24 empfängt die Bilddaten von der Kamera 39. Bei dem durch die Bilddaten gekennzeichneten Bild kann es sich um ein Standbild oder ein bewegtes Bild handeln.
Die Steuerung 24 erfasst eine Fehlbetätigung des ersten Betätigungselements 33 und des zweiten Betätigungselements 34 durch den Bediener basierend auf dem Bild. Nachfolgend werden Verfahren zur Erfassung einer Fehlbetätigung beschrieben, die von der Steuerung 24 ausgeführt werden. In der folgenden Beschreibung wird ein Fall beschrieben, bei dem das erste Betätigungselement 33 betätigt wird. Die gleichen Prozesse können jedoch auch in einem Fall ausgeführt werden, in dem das zweite Betätigungselement 34 betätigt wird.
4 ist ein Ablaufdiagramm, das die Prozesse zur Erfassung einer Fehlbetätigung veranschaulicht. Im Schritt S101 bestimmt die Steuerung 24, ob die Verriegelung gelöst ist. Wenn sich das Verriegelungselement 38 in der verriegelten Position befindet, bestimmt die Steuerung 24, dass die Verriegelung nicht gelöst ist. Wenn die Verriegelung nicht gelöst ist, hält die Steuerung 24 die Verriegelung im Schritt S106 aufrecht. Wenn sich das Verriegelungselement 38 in der gelösten Position befindet, bestimmt die Steuerung 24, dass die Verriegelung gelöst ist. Wenn die Verriegelung gelöst ist, fährt das Verfahren mit Schritt S102 fort.
Im Schritt S102 erfasst die Steuerung 24 die Bilddaten. Die Steuerung 24 erfasst die Bilddaten, die für ein Bild, das das erste Betätigungselement 33 enthält, kennzeichnend sind, von der Kamera 39.
Im Schritt S103 bestimmt die Steuerung 24, ob die Betätigung des ersten Betätigungselements 33 durchgeführt wird. Die Steuerung 24 bestimmt basierend auf einem Signal von dem ersten Betätigungselement 33, ob die Betätigung des ersten Betätigungselements 33 durchgeführt wird. Wenn die Betätigung des ersten Betätigungselements 33 nicht durchgeführt wird, wird die Verriegelung im Schritt S106 aufrechterhalten. Wenn die Betätigung des ersten Betätigungselements 33 durchgeführt wird, fährt das Verfahren mit Schritt S104 fort.
Im Schritt S104 bestimmt die Steuerung 24, ob die Betätigung des ersten Betätigungselements 33 durch den Bediener eine beabsichtigte oder eine unbeabsichtigte Betätigung ist. Die Steuerung 24 führt eine Bestimmung auf der Grundlage des durch die Bilddaten gekennzeichneten Bildes durch.
Die Steuerung 24 bestimmt, ob es sich bei der im Bild gezeigten Betätigung um eine beabsichtigte oder eine unbeabsichtigte Betätigung handelt, indem sie eine Bilderkennungstechnologie verwendet, die künstliche Intelligenz (AI) einsetzt. Wie in 5 dargestellt, enthält die Steuerung 24 ein Bilderkennungsmodell 41, das trainiert wurde. Das Bilderkennungsmodell 41 ist in der Steuerung 24 implementiert. Das Bilderkennungsmodell 41 ist ein Modell der künstlichen Intelligenz zur Bildanalyse. Das Bilderkennungsmodell 41 analysiert die eingegebenen Bilddaten D11 und bestimmt, ob ein Bild, das eine bestimmte Betätigung zeigt, in den durch die Bilddaten D11 gekennzeichneten Bildern enthalten ist.
Das Bilderkennungsmodell 41 führt eine Bildanalyse mittels tiefgehendem Lernen durch. Das Bilderkennungsmodell 41 enthält ein in 6 dargestelltes neuronales Netzwerk. Das Bilderkennungsmodell 41 enthält beispielsweise ein tiefgehendes neuronales Netzwerk, wie z. B. ein faltungsneuronales Netzwerk (CNN). Wie in 6 dargestellt, enthält ein neuronales Netzwerk 120 eine Eingabeschicht 121, eine Zwischenschicht 122 und eine Ausgabeschicht 123. Die Schichten 121, 122 und 123 enthalten ein oder mehrere Neuronen. Die Neuronen benachbarter Schichten sind miteinander gekoppelt, und für jede Kopplung werden Gewichte festgelegt. Die Anzahl der Neuronenkopplungen kann nach Belieben eingestellt werden. Für jedes Neuron wird ein Schwellenwert festgelegt, und die Ausgabedaten D12 jedes Neurons werden danach bestimmt, ob die Summe der Produkte aus den Eingabewerten für jedes Neuron und den Gewichten den Schwellenwert überschreitet.
Die Bilddaten D11 werden in die Eingabeschicht 121 eingegeben. Die Ausgabedaten D12, die für eine Klassifizierung der im Bild erfassten Betätigung kennzeichnend sind, werden an die Ausgabeschicht 123 ausgegeben. Die Klassifizierung enthält eine beabsichtigte Betätigung und eine unbeabsichtigte Betätigung. Das Bilderkennungsmodell 41 wird trainiert, um die Ausgabedaten D12 auszugeben, die für die Klassifizierung der im Bild erfassten Betätigung kennzeichnend sind, wenn die Bilddaten D11 eingegeben werden. Die trainierten Parameter des Bilderkennungsmodells 41, die durch Training gewonnen wurden, werden in der Steuerung 24 gespeichert. Zu den trainierten Parametern gehören beispielsweise die Anzahl der Schichten des neuronalen Netzes, die Anzahl der Neuronen in jeder Schicht, die Kopplungsbeziehungen zwischen den Neuronen, die Gewichte der Kopplungen zwischen den Neuronen und die Schwellenwerte für jedes Neuron.
Für das Bild, das zeigt, dass das erste Betätigungselement 33 von einer Hand eines Bedieners 100 gehalten wird, wie in 7 dargestellt, wird das Bilderkennungsmodell 41 trainiert, um die Ausgabedaten D12 auszugeben, die für die beabsichtigte Betätigung kennzeichnend sind. Wenn also das von der Kamera 39 aufgenommene Bild zeigt, dass das erste Betätigungselement 33 von der Hand des Bedieners 100 gehalten wird, gibt das Bilderkennungsmodell 41 die Ausgabedaten D12 aus, die für die beabsichtigte Betätigung kennzeichnend sind. In diesem Fall bestimmt die Steuerung 24, dass die Betätigung durch den Bediener 100 die beabsichtigte Betätigung ist.
Für die Bilder verschiedener Arten, das erste Betätigungselement 33 durch den Bediener 100 zu halten, wie in 8 dargestellt, wird das Bilderkennungsmodell 41 trainiert, um die Ausgabedaten D 12 auszugeben, die für die beabsichtigte Betätigung kennzeichnend sind. Zum Beispiel zeigt ein Bild 51 einen Zustand, in dem das erste Betätigungselement 33 von einigen Fingern gehalten wird, während die anderen Finger unberührt bleiben. Ein Bild 52 zeigt einen Zustand, in dem das erste Betätigungselement 33 von der gesamten Hand gehalten wird. Ein Bild 53 zeigt einen Zustand, in dem das erste Betätigungselement 33 von einer Handfläche gedrückt wird. Ein Bild 54 zeigt einen Zustand, in dem das erste Betätigungselement 33 mit den Fingerspitzen berührt wird. Auch wenn das von der Kamera 39 aufgenommene Bild verschiedene Arten des Haltens zeigt, kann die Steuerung 24 immer noch in geeigneter Weise bestimmen, dass es sich bei der Betätigung durch den Bediener 100 um die beabsichtigte Betätigung handelt.
Andererseits wird das Bilderkennungsmodell 41 für das Bild, das zeigt, dass das Betätigungselement von einem anderen Teil als der Hand des Bedieners 100 berührt wird, wie in den 9 bis 11 dargestellt, trainiert, um die Ausgabedaten D12 auszugeben, die für die unbeabsichtigte Betätigung kennzeichnend sind. Wenn also das von der Kamera 39 aufgenommene Bild zeigt, dass das Betätigungselement von einem anderen Teil als der Hand des Bedieners 100 berührt wird, gibt das Bilderkennungsmodell 41 die Ausgabedaten D12 aus, die für die unbeabsichtigte Betätigung kennzeichnend sind. In diesem Fall bestimmt die Steuerung 24, dass die Betätigung durch den Bediener 100 die unbeabsichtigte Betätigung ist.
Zum Beispiel wird für das Bild, das zeigt, dass das erste Betätigungselement 33 von einem Fuß des Bedieners 100 berührt wird, wie in 9 dargestellt, das Bilderkennungsmodell 41 trainiert, um die Ausgabedaten D12 auszugeben, die für die unbeabsichtigte Betätigung kennzeichnend sind. Für das Bild, das zeigt, dass das erste Betätigungselement 33 von einem Körper des Bedieners 100 berührt wird, wie in 10 dargestellt, wird das Bilderkennungsmodell 41 trainiert, um die Ausgabedaten D12 auszugeben, die für die unbeabsichtigte Betätigung kennzeichnend sind. Für das Bild, das zeigt, dass ein Teil der Kleidung des Bedieners 100 an dem ersten Betätigungselement 33 hängen bleibt, wie in 11 dargestellt, wird das Bilderkennungsmodell 41 trainiert, um die Ausgabedaten D12 auszugeben, die für die unbeabsichtigte Betätigung kennzeichnend sind. Wenn also das von der Kamera 39 aufgenommene Bild zeigt, dass das Betätigungselement von einem anderen Teil als der Hand des Bedieners 100 berührt wird, kann die Steuerung 24 in geeigneter Weise bestimmen, dass die Betätigung durch den Bediener 100 eine unbeabsichtigte Betätigung ist.
Wenn im Schritt S104 bestimmt wird, dass die Betätigung durch den Bediener 100 die beabsichtigte Betätigung ist, wird der Prozess mit Schritt S105 fortgesetzt. Im Schritt S105 erlaubt die Steuerung 24 die Betätigung des ersten Betätigungselements 33. Das heißt, die Steuerung 24 veranlasst das Arbeitsgerät 3 oder den Drehkörper 4, entsprechend der Betätigung des ersten Betätigungselements 33 zu arbeiten.
Wenn im Schritt S104 bestimmt wird, dass es sich bei der Betätigung durch den Bediener 100 um eine unbeabsichtigte Betätigung handelt, fährt der Prozess mit Schritt S106 fort. Im Schritt S106 hält die Steuerung 24 die Verriegelung aufrecht. Das heißt, die Steuerung 24 annulliert die Betätigung des ersten Betätigungselements 33 und veranlasst das Arbeitsgerät 3 oder den Drehkörper 4 nicht, unabhängig von der Betätigung des ersten Betätigungselements 33 zu arbeiten.
Gemäß dem Steuersystem der Arbeitsmaschine 1 nach der vorstehend beschriebenen vorliegenden Ausführungsform wird basierend auf dem Bild des Bereichs, der zumindest einen Teil des ersten Betätigungselements 33 enthält, bestimmt, ob die Betätigung des ersten Betätigungselements 33 durch den Bediener 100 eine beabsichtigte oder eine unbeabsichtigte Betätigung ist. Daher ist es möglich, eine Fehlbetätigung unabhängig von der Art der Betätigung des ersten Betätigungselements 33 durch den Bediener 100 mit hoher Genauigkeit zu erfassen. Darüber hinaus ist es möglich, schnell zu bestimmen, ob es sich bei der Betätigung des ersten Betätigungselements 33 durch den Bediener 100 um eine normale Betätigung handelt. Daher kann die Verschlechterung der Funktionsfähigkeit der Arbeitsmaschine 1 im Normalbetrieb reduziert werden. Der gleiche Effekt, wie vorstehend beschrieben, kann in einem Fall erreicht werden, in dem das zweite Betätigungselement 34 betätigt wird.
Obwohl eine Ausfuhrungsform der vorliegenden Erfindung bisher beschrieben wurde, ist die vorliegende Erfindung nicht auf die vorstehende Ausfuhrungsform beschränkt, und verschiedene Modifikationen können vorgenommen werden, ohne vom Kern der Erfindung abzuweichen.
Die Arbeitsmaschine 1 ist nicht auf den Hydraulikbagger beschränkt und kann auch ein anderer Typ von Arbeitsmaschine sein, wie z. B. ein Radlader, eine Planierraupe oder ein Motorgrader. Der Aufbau der Arbeitsmaschine 1 ist nicht auf den vorstehend erwähnten beschränkt und kann geändert werden. Der Drehmotor 25 kann zum Beispiel ein Elektromotor sein.
Das erste bis vierte Betätigungselement 33 bis 36 sind nicht auf die der vorstehenden Ausfuhrungsform beschränkt und können modifiziert werden. Zum Beispiel sind das erste bis vierte Betätigungselement 33 bis 36 nicht auf Hebel beschränkt und können Schalter sein. Ein Teil des ersten bis vierten Betätigungselements 33 bis 36 kann weggelassen oder verändert werden. Alternativ kann auch ein anderes Betätigungselement, z. B. ein Lenkrad, vorgesehen werden. Die Steuerung 24 kann, wie vorstehend beschrieben, die gleichen Prozesse zur Erfassung einer Fehlbetätigung am Lenkrad ausführen. Die Arbeitsmaschine 1 kann einen Lenkmechanismus enthalten. Die Steuerung 24 kann die Arbeitsmaschine 1 in Abhängigkeit von der Betätigung des Betätigungselements durch den Bediener lenken.
Das Sichtfeld der Kamera 39 kann nur das erste Betätigungselement 33 oder das zweite Betätigungselement 34 enthalten. Das Sichtfeld der Kamera 39 kann auch den Sitz 37 nicht enthalten. Für das erste Betätigungselement 33 und das zweite Betätigungselement 34 kann jeweils eine eigene Kamera vorgesehen sein. Das Sichtfeld der Kamera 39 kann das dritte Betätigungselement 35 oder das vierte Betätigungselement 36 enthalten. Die Steuerung 24 kann, wie vorstehend beschrieben, die gleichen Prozesse zur Erfassung einer Fehlbetätigung des dritten Betätigungselements 35 oder des vierten Betätigungselements 36 ausführen.
Die Steuerung 24 kann eine Vielzahl von Prozessoren wie eine CPU oder eine GPU enthalten. Die vorstehend genannten Prozesse können auf die Vielzahl von Prozessoren 31 verteilt und ausgeführt werden. Die Steuerung 24 ist nicht auf eine Einheit beschränkt, und die vorstehenden Prozesse können auf eine Vielzahl von Steuerungen verteilt und ausgeführt werden. 12 ist beispielsweise ein Diagramm, das das Steuersystem der Arbeitsmaschine 1 nach einem modifizierten Beispiel veranschaulicht.
Wie in 12 dargestellt, kann das Steuersystem der Arbeitsmaschine 1 eine erste Steuerung 24a und eine zweite Steuerung 24b enthalten. Die erste Steuerung 24a weist den gleichen Aufbau wie die Steuerung 24 der vorstehenden Ausführungsform auf. Die zweite Steuerung 24b enthält einen Prozessor 31b und eine Speichervorrichtung 32b in der gleichen Weise wie die erste Steuerung 24a. Die zweite Steuerung 24 kann eine für die Bilderkennung mittels KI geeignete Verarbeitungskapazität aufweisen. Unter den vorstehend erwähnten Prozessen können die Prozesse zur Bestimmung der Betätigung mit der Bilderkennung von der zweiten Steuerung 24b ausgeführt werden. Die erste Steuerung 24a kann Prozesse zur Steuerung der Arbeitsmaschine 1 ausführen, wie z. B. die Ausgabe von Befehlssignalen an das Steuerventil 27.
Die Reihenfolge der vorstehend erwähnten Prozesse kann geändert werden. Einige der vorstehend erwähnten Prozesse können geändert oder weggelassen werden. Zum Beispiel kann die Bestimmung zwischen der beabsichtigten Betätigung und der unbeabsichtigten Betätigung durch eine andere Bilderkennungstechnologie unter Verwendung von KI, wie einer Support-Vektor-Maschine, anstelle von tiefgehendem Lernen durchgeführt werden. Alternativ ist die Bestimmung zwischen der beabsichtigten Betätigung und der unbeabsichtigten Betätigung nicht auf KI beschränkt und kann durch eine regelbasierte Bilderkennungstechnologie wie z. B. Mustervergleich durchgeführt werden.
Wie in 13 dargestellt, kann die Steuerung 24 bestimmen, dass die Betätigung des Bedieners 100 die beabsichtigte Betätigung ist, wenn der Bediener 100 versucht, das erste Betätigungselement 33 mit der Hand zu halten. Dementsprechend kann die Funktionsfähigkeit der Arbeitsmaschine 1 weiter verbessert werden.
Wenn, wie in 14 dargestellt, das von der Kamera 39 aufgenommene Bild zeigt, dass der Bediener 100 das erste Betätigungselement 33 im Stehen hält, kann die Steuerung 24 bestimmen, dass die Betätigung durch den Bediener 100 eine beabsichtigte Betätigung ist. Zum Beispiel kann der Bediener 100 das erste Betätigungselement 33 im Stehen betätigen, um die Umgebungsbedingungen der Arbeitsmaschine 1 zu überprüfen. Daher kann die Steuerung 24 in geeigneter Weise bestimmen, dass die in 13 dargestellte Betätigung des Bedieners die beabsichtigte Betätigung ist.
Wie in 15 dargestellt, kann die Steuerung 24 bestimmen, dass die Betätigung des Bedieners 100 eine unbeabsichtigte Betätigung ist, wenn das erste Betätigungselement 33 nicht von einer Hand des Bedieners 100 gehalten und von einem Arm berührt wird. Wie in 16 dargestellt, kann die Steuerung 24 bestimmen, dass die Bestimmung unmöglich ist, wenn das Betätigungselement nicht im Bild erscheint, weil es durch ein tragbares Objekt 101 des Bedieners 100, wie z.B. einen Helm, verdeckt ist. Alternativ kann die Steuerung 24 bestimmen, dass die Bestimmung unmöglich ist, wenn das Betätigungselement nicht im Bild erscheint, weil es durch den Körper des Bedieners 100 verdeckt ist. In diesem Fall kann die Steuerung 24 die Verriegelung aufrechterhalten.
INDUSTRIELLE ANWENDBARKEIT
Gemäß der vorliegenden Offenlegung ist es möglich, eine Fehlbetätigung der Arbeitsmaschine mit hoher Genauigkeit zu erfassen.
Bezugszeichenliste

1: Arbeitsmaschine
24: Steuerung
33: Erstes Betätigungselement
39: Kamera
41: Bilderkennungsmodell

Claims

System zur Verhinderung einer Fehlbetätigung einer Arbeitsmaschine, wobei das System umfasst: ein Betätigungselement, das eingerichtet ist, um von einem Bediener betätigt zu werden; eine Kamera, die eingerichtet ist, um ein Bild eines Bereichs aufzunehmen, der mindestens einen Teil des Betätigungselements enthält, und Bilddaten zu erzeugen, die für das Bild kennzeichnend sind; und eine Steuerung, die eingerichtet ist, um die Bilddaten von der Kamera zu erfassen, wobei die Steuerung eingerichtet ist, um basierend auf dem Bild zu bestimmen, ob eine Betätigung des Betätigungselements durch den Bediener eine beabsichtigte oder eine unbeabsichtigte Betätigung ist, wenn die Betätigung des Betätigungselements durch den Bediener die beabsichtigte Betätigung ist, die Arbeitsmaschine entsprechend der Betätigung des Betätigungselements zu steuern, und wenn die Betätigung des Betätigungselements durch den Bediener die unbeabsichtigte Betätigung ist, die Betätigung des Betätigungselements zu annullieren.
System nach Anspruch 1, wobei das Betätigungselement ein Element ist, das eingerichtet ist, um von einer Hand des Bedieners betätigt zu werden, und wenn das Bild zeigt, dass das Betätigungselement von der Hand des Bedieners gehalten wird, ist die Steuerung eingerichtet ist, um zu bestimmen, dass die Betätigung des Betätigungselements durch den Bediener die beabsichtigte Betätigung ist.
System nach Anspruch 2, wobei wenn das Bild zeigt, dass das Betätigungselement von einem anderen Teil als der Hand des Bedieners berührt wird, ist die Steuerung eingerichtet, um zu bestimmen, dass die Betätigung des Betätigungselements durch den Bediener eine unbeabsichtigte Betätigung ist.
System nach Anspruch 2 oder 3, wobei wenn das Bild zeigt, dass ein Teil der Kleidung des Bedieners am Betätigungselement hängen geblieben ist, ist die Steuerung eingerichtet, um zu bestimmen, dass die Betätigung des Betätigungselements durch den Bediener eine unbeabsichtigte Betätigung ist.
System nach einem der Ansprüche 2 bis 4, wobei das Betätigungselement ein Hebel ist.
System nach einem der Ansprüche 2 bis 4, wobei das Betätigungselement ein Lenkrad ist.
System nach einem der Ansprüche 1 bis 6, wobei die Steuerung ein trainiertes Bilderkennungsmodell künstlicher Intelligenz enthält und eingerichtet ist, um das Bild auf das Bilderkennungsmodell anzuwenden, um zu bestimmen, ob die Betätigung des Betätigungselements durch den Bediener die beabsichtigte Betätigung oder die unbeabsichtigte Betätigung ist.
System nach einem der Ansprüche 1 bis 7, wobei die Arbeitsmaschine ein Bagger ist.
Steuerverfahren für eine Arbeitsmaschine zur Verhinderung einer Fehlbetätigung der Arbeitsmaschine, die ein Betätigungselement enthält, wobei das Steuerverfahren umfasst: Erfassen von Bilddaten, die für ein Bild eines Bereichs kennzeichnend sind, der mindestens einen Teil des Betätigungselements enthält, Bestimmen, basierend auf dem Bild, ob eine Betätigung des Betätigungselements durch einen Bediener eine beabsichtigte oder eine unbeabsichtigte Betätigung ist; wenn die Betätigung des Betätigungselements durch den Bediener die beabsichtigte Betätigung ist, Steuern der Arbeitsmaschine entsprechend der Betätigung des Betätigungselements; und wenn die Betätigung des Betätigungselements durch den Bediener die unbeabsichtigte Betätigung ist, Annullieren der Betätigung des Betätigungselements.
Steuerverfahren nach Anspruch 9, wobei das Betätigungselement ein Element ist, das eingerichtet ist, um von einer Hand des Bedieners betätigt zu werden, wobei das Steuerverfahren ferner umfasst: wenn das Bild zeigt, dass das Betätigungselement von der Hand des Bedieners gehalten wird, Bestimmen, dass die Betätigung des Betätigungselements durch den Bediener die beabsichtigte Betätigung ist.
Steuerverfahren nach Anspruch 10, das ferner umfasst: wenn das Bild zeigt, dass das Betätigungselement von einem anderen Teil als der Hand des Bedieners berührt wird, Bestimmen, dass die Betätigung des Betätigungselements durch den Bediener die unbeabsichtigte Betätigung ist.
Steuerverfahren nach Anspruch 10 oder 11, das ferner umfasst: wenn das Bild zeigt, dass ein Teil der Kleidung des Bedieners am Betätigungselement hängen geblieben ist, Bestimmen, dass die Betätigung des Betätigungselements durch den Bediener die unbeabsichtigte Betätigung ist.
Steuerverfahren nach einem der Ansprüche 10 bis 12, wobei das Betätigungselement ein Hebel ist.
Steuerverfahren nach einem der Ansprüche 10 bis 12, wobei das Betätigungselement ein Lenkrad ist.
Steuerverfahren nach einem der Ansprüche 9 bis 14, das ferner umfasst: Anwenden des Bildes auf ein trainiertes Bilderkennungsmodell der künstlichen Intelligenz, um zu bestimmen, ob die Betätigung des Betätigungselements durch den Bediener eine beabsichtigte oder eine unbeabsichtigte Betätigung ist.
Steuerverfahren nach einem der Ansprüche 9 bis 15, wobei die Arbeitsmaschine ein Bagger ist.
Bagger, umfassend: einen Fahrkörper; einen Drehkörper, der drehbar mit dem Fahrkörper verbunden ist; ein an dem Drehkörper angebrachtes Arbeitsgerät; eine auf dem Drehkörper angeordnete Kabine; ein Betätigungselement, das in der Kabine angeordnet und eingerichtet ist, um von einem Bediener betätigt zu werden, um mindestens eines von dem Fahrkörper, dem Drehkörper oder dem Arbeitsgerät zu betätigen; eine Kamera, die eingerichtet ist, um ein Bild eines Bereichs aufzunehmen, der mindestens einen Teil des Betätigungselements enthält, und Bilddaten zu erzeugen, die für das Bild kennzeichnend sind; und eine Steuerung, die eingerichtet ist, um die Bilddaten von der Kamera aufzunehmen, wobei die Steuerung eingerichtet ist, um basierend auf dem Bild zu bestimmen, ob eine Betätigung des Betätigungselements durch den Bediener eine beabsichtigte oder eine unbeabsichtigte Betätigung ist, wenn die Betätigung des Betätigungselements durch den Bediener die beabsichtigte Betätigung ist, eine Betätigung mindestens eines von dem Fahrkörper, dem Drehkörper oder dem Arbeitsgerät in Abhängigkeit von der Betätigung des Betätigungselements zu steuern, und wenn die Betätigung des Betätigungselements durch den Bediener eine unbeabsichtigte Betätigung ist, die Betätigung des Betätigungselements zu annullieren.