-
TECHNISCHES GEBIET
-
Die vorliegende Offenbarung bezieht sich auf ein Steuergerät für ein Industriefahrzeug, ein Steuersystem für ein Industriefahrzeug, und ein Programm für ein Steuergerät für ein Industriefahrzeug.
-
HINTERGRUND
-
Als ein Steuergerät für Industriefahrzeuge ist beispielsweise ein Gerät bekannt, das in der japanischen ungeprüften Patentanmeldung Nr.
2019-189435 beschrieben ist. Das in der japanischen ungeprüften Patentanmeldung Nr.
2019-189435 beschriebene Steuergerät für ein Industriefahrzeug schätzt einen Arbeitszustand des Industriefahrzeugs basierend auf Bedieninformationen in Bezug auf das Industriefahrzeug und steuert das Industriefahrzeug basierend auf einem Schätzergebnis des Arbeitszustands.
-
ZUSAMMENFASSUNG
-
Hierbei kann ein Packstück, das ein Auf- und Abladeziel eines Industriefahrzeugs ist, in einem anormalen Zustand sein, in dem eine Packstückform nicht für Auf- und Abladen geeignet ist. Wenn beispielsweise ein Packstück nicht geeignet auf eine Palette geladen ist, kann das Packstück in einigen Fällen nicht geeignet auf- und abgeladen werden. Da das vorstehend beschriebene Steuergerät jedoch den Arbeitszustand des Industriefahrzeugs basierend auf den Bedieninformationen schätzt, kann das Steuergerät keine Packstückform des Packstücks erfassen. Daher hat das vorstehend beschriebene Steuergerät das Problem, dass das Steuergerät eine Schätzung eines Arbeitszustandes nicht durchführen kann, einschließlich einer Erfassung einer Anomalie in der Packstückform. Daher ist es erforderlich, einen Arbeitszustand, einschließlich eines anormalen Zustands einer Packstückform, geeigneter zu schätzen.
-
Eine Aufgabe der vorliegenden Offenbarung ist es, ein Steuergerät für ein Industriefahrzeug, ein Steuersystem für ein Industriefahrzeug, und ein Programm für ein Steuergerät für ein Industriefahrzeug bereitzustellen, die in der Lage sind, einen Arbeitszustand eines Industriefahrzeugs geeigneter zu schätzen.
-
Ein Steuergerät für ein Industriefahrzeug gemäß einem Aspekt der vorliegenden Offenbarung ist ein Steuergerät für ein Industriefahrzeug für ein Schätzen eines Arbeitszustands des Industriefahrzeugs, wobei das Steuergerät umfasst: eine Arbeitszustandsschätzeinheit, die dazu eingerichtet ist, um den Arbeitszustand des Industriefahrzeugs zu schätzen, wobei die Arbeitszustandsschätzeinheit Bedieninformationen bezüglich eines Bedienzustands in Bezug auf das Industriefahrzeug und durch Fotografieren eines Packstücks erhaltene Fotografierinformationen empfängt, eine Bestimmung durchführt, ob eine Packstückform des Packstücks in einem abnormalen Zustand ist oder nicht, und den Arbeitszustand ausgibt.
-
Das Steuergerät für ein Industriefahrzeug umfasst die Arbeitszustandsschätzeinheit, die den Arbeitszustand des Industriefahrzeugs schätzt. Dabei empfängt die Arbeitszustandsschätzeinheit nicht nur die Bedieninformationen bezüglich des Bedienzustands in Bezug auf das Industriefahrzeug, sondern auch die durch Fotografieren des Packstücks erhaltene Fotografierinformationen. Die Arbeitszustandsschätzeinheit kann nicht nur basierend auf der Bedienung des Industriefahrzeugs, sondern auch basierend auf den Bildgebungsinformationen bestimmen, ob die Packstückform des Packstücks normal oder anormal ist. Daher bestimmt die Arbeitszustandsschätzeinheit, ob sich die Packstückform in einem anormalen Zustand befindet oder nicht, und gibt den Arbeitszustand aus. Dies ermöglicht, dass die Arbeitszustandsschätzeinheit den Arbeitszustand schätzt, der nicht nur den Zustand des Industriefahrzeugs selbst, sondern auch den anormalen Zustand der Packstückform umfasst. Auf diese Weise ist es möglich, den Arbeitszustand des Industriefahrzeugs geeigneter zu schätzen.
-
Die Arbeitszustandsschätzeinheit kann in der Lage sein, den Arbeitszustand basierend auf einem durch maschinelles Lernen bzw. Maschinenlernen eingestellten Arbeitszustandsschätzmodell zu schätzen, und kann den Arbeitszustand basierend auf den Bedieninformationen und den Fotografierinformationen ausgeben. Da das Arbeitszustandsschätzmodell durch Maschinenlernen basierend auf tatsächlichen vergangenen Daten eingestellt wird, ist es möglich, den Arbeitszustand, einschließlich des anormalen Zustands der Packstückform, genau zu schätzen.
-
Die Bedieninformationen können zumindest eines aus einem Gaspedalbedienausmaß bzw. Beschleunigerbedienausmaß bzw. Fahrpedalbedienausmaß, einem Lenkwinkel, einem Hubbedienausmaß, einem Ausstreckbedienausmaß, und einem Kippbedienausmaß umfassen. Bei diesen Parametern handelt es sich um Parameter, die eine Absicht eines Bedieners des Industriefahrzeugs widerspiegeln. Die Arbeitszustandsschätzeinheit kann eine Schätzung eines geeigneten Arbeitszustandes unter Verwendung solcher Parameter als die Bedieninformationen durchführen.
-
Das Steuergerät für ein Industriefahrzeug kann ferner umfassen: eine Merkmalsvektorerlangungseinheit, die dazu eingerichtet ist, um einen Merkmalsvektor des Bildes aus einem durch Fotografieren des Packstücks erhaltenen Bild durch Verwendung von Maschinenlernen zu erlangen, wobei die Merkmalsvektorerlangungseinheit ein CNN als ein Maschinenlernmodell verwenden kann, und die Arbeitszustandsschätzeinheit den Arbeitszustand basierend auf dem durch die Merkmalsvektorerlangungseinheit erlangten Merkmalsvektor schätzen kann. Die Merkmalsvektorerlangungseinheit kann ein Ausmaß von an die Arbeitszustandsschätzeinheit auszugebenden Informationen durch Angeben bzw. Indizieren der Fotografierinformationen unter Verwendung des Merkmalsvektors reduzieren. Ferner kann die Merkmalsvektorerlangungseinheit das CNN als ein Maschinenlernmodell verwenden, um einen Merkmalsvektor, der den anormalen Zustand der Packstückform geeignet wiedergibt, basierend auf früheren Leistungen bzw. früherem Verhalten zu erlangen.
-
Gemäß der vorliegenden Offenbarung ist es möglich, ein Steuergerät für ein Industriefahrzeug, ein Steuersystem für ein Industriefahrzeug, und ein Programm für ein Steuergerät für ein Industriefahrzeug bereitzustellen, die in der Lage sind, einen Arbeitszustand eines Industriefahrzeugs geeigneter zu schätzen.
-
KURZE BESCHREIBUNG DER ZEICHNUNGEN
-
- 1 ist ein Blockdiagramm, das ein Fahrassistenzsystem gemäß einer Ausführungsform der vorliegenden Offenbarung veranschaulicht.
- 2A ist eine perspektivische Ansicht, die einen Zustand veranschaulicht, in dem Fotografiereinheiten an einem Gabelstapler angebracht sind, und 2B ist ein schematisches Diagramm, das einen Winkel der Fotografiereinheit veranschaulicht.
- 3A und 3B sind Diagramme, die einen Arbeitszustand des Gabelstaplers veranschaulichen.
- 4 ist ein Blockdiagramm einer Arbeitszustandserlangungseinheit.
- 5 ist ein Diagramm, das anormale Zustände einer Packstückform veranschaulicht.
- 6A und 6B sind Diagramme, die einen Zustand veranschaulichen, in dem eine Arbeitszustandsschätzeinheit und eine Merkmalsvektorerlangungseinheit Maschinenlernen durchführen.
- 7 ist ein Flussdiagramm, das den Verarbeitungsinhalt des Fahrassistenzsystems veranschaulicht.
-
AUSFÜHRLICHE BESCHREIBUNG
-
Nachfolgend werden bevorzugte Ausführungsformen der vorliegenden Offenbarung unter Bezugnahme auf die Zeichnungen im Detail beschrieben. In den Zeichnungen sind gleiche oder gleichwertige bzw. äquivalente Elemente mit den gleichen Bezugszeichen bezeichnet, und überlappende Beschreibungen werden weggelassen.
-
1 ist ein Blockdiagramm, das ein Fahrassistenzsystem 100 (ein Steuersystem für ein Industriefahrzeug) mit einem Steuergerät 20 gemäß einer Ausführungsform der vorliegenden Offenbarung zeigt. Das Fahrassistenzsystem 100 ist ein System für eine Fernbedienung bzw. einen Fernbetrieb eines Industriefahrzeugs. Wie in 1 dargestellt, umfasst das Fahrassistenzsystem 100 einen Gabelstapler 1 (Industriefahrzeug) und ein Fernbediengerät 2.
-
Der Gabelstapler 1 umfasst eine Fahrsteuereinheit 11 und eine Vielzahl von Fotografiereinheiten 12. Die Fahrsteuereinheit 11 empfängt ein Befehlssignal von dem Fernbediengerät 2 und führt eine Fahrsteuerung und Lenksteuerung basierend auf dem Befehlssignal durch. Die Vielzahl von Fotoeinheiten 12 sind an entsprechenden Abschnitten des Gabelstaplers 1 vorgesehen und fotografieren eine umgebende Umgebung des Gabelstaplers 1. Die Fotografiereinheit 12 erlangt ein aufgenommenes Video als zur Arbeitsunterstützung bzw. Arbeitsassistenz verwendete Assistenzinformation, und überträgt das aufgenommene Video an eine Anzeigesteuereinheit 22, die weiter unten beschrieben wird. Ein Beispiel für die Anbringungspositionen der Vielzahl von Fotografiereinheiten 12 ist in 2A veranschaulicht. Die Fotografiereinheiten 12 sind an einem vorderen Ende einer Fahrzeugkarosserie des Gabelstaplers 1, an Endabschnitten in Breitenrichtung, an der Decke und dergleichen angebracht. Wenn die XYZ-Koordinaten wie in 2B veranschaulicht eingestellt sind, kann die Fotografiereinheit 12 an jedem Ort in einem Zustand installiert sein, in dem die Fotografiereinheit 12 in Bezug auf jede der Achsen X, Y und Z geneigt ist. In 2A sind die Fotografiereinheiten 12 an acht Positionen vorgesehen, um Videos von verschiedenen Positionen aufzunehmen.
-
Wie in 1 veranschaulicht, umfasst das Fernbediengerät 2 eine Speichereinheit 15, eine Bedieneinheit 16, eine Anzeigeeinheit 17, eine Bedieninformationserlangungseinheit 18, und ein Steuergerät 20. Die Speichereinheit 15 ist eine Vorrichtung, die verschiedene Arten von Informationen speichert. Die Bedieneinheit 16 ist eine Benutzerschnittstelle für eine Eingabe einer Bedienung, so dass ein Bediener den Gabelstapler 1 aus der Ferne bedient. Die Anzeigeeinheit 17 ist eine Benutzerschnittstelle für eine Ausgabe eines Videos. Die Anzeigeeinheit 17 hat einen ersten Bereich D1, einen zweiten Bereich D2, und einen dritten Bereich D3, die verschiedene Videos ausgeben können.
-
Die Bedieninformationserlangungseinheit 18 erlangt Bedieninformationen, wenn der Bediener ein Bedienziel (hier die Bedieneinheit 16) betätigt bzw. bedient. Die Bedieninformationserlangungseinheit 18 ist beispielsweise mittels eines Sensors, der an einem Betätigungshebel bzw. Bedienhebel der Bedieneinheit 16 vorgesehen ist, oder mittels Einrichtungen für eine Erfassung von Bedieninhalt basierend auf einem Signal, das einen Bedieninhalt der Bedieneinheit 16 angibt, aufgebaut.
-
Das Steuergerät 20 ist eine Steuereinheit, die das gesamte Fernbediengerät 2 steuert. Das Steuergerät 20 umfasst eine elektronische Steuereinheit (ECU), die eine Gesamtverwaltung des Fernbediengeräts 2 durchführt. Die ECU ist eine elektronische Steuereinheit, die eine Zentralverarbeitungseinheit (CPU), einen Nurlesespeicher (ROM), einen Lese-Schreib-Speicher (RAM), ein Controller Area Network (CAN), eine Kommunikationsschaltung und dergleichen umfasst. Bei der ECU wird beispielsweise ein im ROM gespeichertes Programm in den RAM geladen, und das in den RAM geladene Programm wird von der CPU ausgeführt, wodurch verschiedene Funktionen realisiert werden. Das Steuergerät 20 umfasst eine Fahrbefehlseinheit 21, die Anzeigesteuereinheit 22, eine Arbeitszustandserlangungseinheit 23 und eine Blickpunktinformationserlangungseinheit 26.
-
Die Fahrbefehlseinheit 21 ist eine Einheit, die ein Befehlssignal basierend auf der von der Bedieneinheit 16 eingegebenen Bedienung erzeugt und das Befehlssignal an die Fahrsteuereinheit 11 überträgt.
-
Die Anzeigesteuereinheit 22 ist eine Einheit, die den Anzeigeinhalt der Anzeigeeinheit 17 steuert. Die Anzeigesteuereinheit 22 veranlasst die Anzeigeeinheit 17 dazu, Informationen für eine Assistenz bzw. Unterstützung des Bedieners bei der Fernbedienarbeit anzuzeigen. Die Anzeigesteuereinheit 22 steuert Anzeigeinhalt des ersten Bereichs D1, des zweiten Bereichs D2, und des dritten Bereichs D3 der Anzeigeeinheit 17 unter Verwendung von Informationen in einer Datenbank der Speichereinheit 15. Ferner überträgt die Anzeigesteuereinheit 22 ein von der Fotografiereinheit 12 aufgenommenes bzw. erlangtes Video an die Arbeitszustandserlangungseinheit 23.
-
Die Anzeigesteuereinheit 22 wählt ein auf der Anzeigeeinheit 17 anzuzeigendes Video basierend auf Blickpunktinformationen aus, die von der Blickpunktinformationserlangungseinheit 26 erlangt werden. Der erste Bereich D1 und der zweite Bereich D2 sind große Bildschirmabschnitte, in denen ein bestimmtes Video in einem großen Format angezeigt wird, und ein Video der Fotografiereinheit 12, das durch die Anzeigesteuereinheit 22 aus den Videos der Vielzahl von Fotografiereinheiten 12 ausgewählt ist, wird angezeigt. Der dritte Bereich D3 entspricht einem kleinen Bildschirmabschnitt, in dem eine Vielzahl von Videos in einer kleinen Größe angezeigt werden, und zeigt die Videos aller Fotografiereinheiten 12 an dem Gabelstapler 1 als Umgebungsinformationen für eine Überprüfung der Umgebung an (siehe auch 4).
-
3A veranschaulicht beispielsweise eine Tabelle, die einen Arbeitszustand des Gabelstaplers 1 definiert. Als Beispiele für den Arbeitszustand werden hier insgesamt 14 Arbeitszustände definiert, einschließlich eines Zustands mit einem Packstück (Last) und eines Zustands ohne Packstück (Keine Last), die sich auf sieben Zustände bezüglich einer Fortbewegung des Gabelstaplers 1 verteilen, wie beispielsweise „Anhalten (Stop)“, „Vorwärts bewegen bzw. Vorwärtsfahren“, „Einem Regal annähern (Annähern)“, „Anpassen (Kurs anpassen)“, „Be-/Entladen (Laden/Entladen)“, „Fahrvorbereitung (Zurückziehen)“ und „Rückwärts bewegen (Rückwärtsfahren)“, sowie Packstückaufnahme-/-entladearbeit. Das Fortbewegen des Gabelstaplers 1 entspricht dem „Anhalten (Stop)“, dem „Vorwärts bewegen bzw. Vorwärtsfahren“, dem „Einem Regal annähern (Annähern)“, der „Fahrvorbereitung (Zurückziehen)“ und dem „Rückwärts bewegen (Rückwärtsfahren)“, und die Packstückaufnahme-/-entladearbeit entspricht dem „Anpassen (Kurs anpassen)“ und dem „Be-/Entladen (Laden/Entladen)“. Die Definition oder Anzahl jeweiliger Arbeitszustände ist nicht auf das Vorstehende beschränkt und kann geeignet geändert werden. Ferner kann der Arbeitszustand nur durch irgendetwas bezüglich der Fortbewegung des Gabelstaplers 1 (Industriefahrzeug) definiert sein. Ferner ist unabhängig vom Vorhandensein oder Nichtvorhandensein eines Packstücks ein Arbeitszustand „Anomalie“ bereitgestellt, der angibt, dass sich die Packstückform des Packstücks in einem anormalen Zustand befindet. Somit sind in 3A insgesamt 15 Arbeitszustände definiert. 3B ist ein schematisches Diagramm, das jeweilige Arbeitszustände veranschaulicht, wenn der Gabelstapler 1 ein Packstück aus einem Regal SF aufnimmt und entlädt. Ein Zustandsübergang von einem der in 3A und 3B veranschaulichten Arbeitszustände 1 bis 14 in den Arbeitszustand 15, der ein anormaler Zustand einer Packstückform ist, ist möglich. In der Datenbank der Speichereinheit 15 ist jeder Arbeitszustand mit der Fotografiereinheit 12 verknüpft, die in der Lage ist, eine in dem Arbeitszustand zu überprüfende Stelle zu erfassen. Daher kann die Anzeigesteuereinheit 22 ein Video eines bestimmten zu überprüfenden Ortes mit großen Bildschirmen in dem ersten Bereich D1 und dem zweiten Bereich D2 entsprechend dem Arbeitszustand des vom Bediener bedienten Gabelstaplers 1 anzeigen. Das auf der Anzeigeeinheit 17 unter der Steuerung der Anzeigesteuereinheit 22 zur Fahrunterstützung bzw. Fahrassistenz angezeigte Video kann als ein „Fahrassistenzvideo“ bezeichnet werden.
-
Es gibt einen individuellen unterschied bezüglich eines geeigneten Schaltzeitpunktes des Fahrassistenzvideos abhängig von dem Bediener. Ferner wird das auf der Anzeigeeinheit 17 anzuzeigende Video umgeschaltet, wenn der Arbeitszustand des Gabelstaplers 1 wechselt. In Anbetracht dieser Umstände führen die Arbeitszustandserlangungseinheit 23 und die Blickwinkelinformationserlangungseinheit 26 eine Verarbeitung durch, um das Fahrassistenzvideo für einen individuellen Bediener geeignet und einem Zustandsübergang des Arbeitszustands zu entsprechend zu machen.
-
Die Arbeitszustandserlangungseinheit 23 erlangt den Arbeitszustand des Gabelstaplers 1. Die Arbeitszustandserlangungseinheit 23 erlangt den Arbeitszustand basierend auf der Bedieninformationen, die durch die Bedieninformationserlangungseinheit 18 erlangt werden. Die Arbeitszustandserlangungseinheit 23 erlangt den Arbeitszustand unter Verwendung eines Arbeitszustandsschätzmodells, in dem ein Schätzindex wie beispielsweise eine Übergangsbedingung oder eine Übergangsschwelle zu dem Zeitpunkt eines Zustandsübergangs zu jedem Arbeitszustand festgelegt wurde. Die Arbeitszustandserlangungseinheit 23 kann das in der Speichereinheit 15 gespeicherte Arbeitszustandsschätzmodell erlangen. Einzelheiten der Arbeitszustandserlangungseinheit 23 werden im Folgenden beschrieben. Die Arbeitszustandserlangungseinheit 23 überträgt den erlangten Arbeitszustand an die Blickpunktinformationserlangungseinheit 26.
-
Die Blickpunktinformationserlangungseinheit 26 erlangt einen Blickpunkt bzw. Blickwinkel bzw. Gesichtswinkel des Bedieners basierend auf dem durch die Arbeitszustandserlangungseinheit 23 erlangten Arbeitszustand. Hier umfasst die Speichereinheit 15 die Datenbank, in der der Arbeitszustand des Gabelstaplers 1 mit Sichtlinieninformationen basierend auf einer Sichtlinie des Bedieners verknüpft ist. Daher gleicht die Blickpunktinformationserlangungseinheit 26 den Arbeitszustand des Gabelstaplers 1 mit der Datenbank ab, um die dem Arbeitszustand entsprechenden Sichtlinieninformationen zu erlangen. Die Blickpunktinformationserlangungseinheit 26 überträgt die erlangten Blickpunktinformationen an die Anzeigesteuereinheit 22. Dies ermöglicht es der Anzeigesteuereinheit 22, das auf der Anzeigeeinheit 17 angezeigte Video basierend auf den Blickpunktinformationen zu steuern und ein optimales Video für den Arbeitszustand des Gabelstaplers 1 und den individuellen Bediener anzuzeigen.
-
Als nächstes wird eine detaillierte Konfiguration der Arbeitszustandserlangungseinheit 23 unter Bezugnahme auf 4 beschrieben. 4 ist ein Blockdiagramm, das eine Konfiguration der Arbeitszustandserlangungseinheit 23 zeigt. Wie in 4 veranschaulicht, umfasst die Arbeitszustandserlangungseinheit 23 eine Arbeitszustandsschätzeinheit 30 und eine Merkmalsvektorerlangungseinheit 31.
-
Die Arbeitszustandsschätzeinheit 30 schätzt den Arbeitszustand des Gabelstaplers 1 durch Verwendung von Maschinenlernen. Die Arbeitszustandsschätzeinheit 30 empfängt gegenwärtige Bedieninformationen u(t) und einen gegenwärtigen Merkmalsvektor v(t), der eine gegenwärtige Fotografierinformation ist, führt basierend auf einem Lernergebnis eine Bestimmung durch, ob sich die Packstückform in einem anormalen Zustand befindet, und gibt einen gegenwärtigen Arbeitszustand x(t) aus. Die Arbeitszustandsschätzeinheit 30 umfasst ein Maschinenlernmodell M1.
-
Die in 3A veranschaulichte Klassifizierung von „1“ bis „15“ wird als der Arbeitszustand verwendet. Die Bedieninformationen umfassen zumindest eines aus einem Beschleunigerbedienausmaß, einem Lenkwinkel, einem Hubbedienausmaß, einem Ausstreckbedienausmaß, und Kippbedienausmaß. Das Beschleunigerbedienausmaß ist ein Parameter, der ein Ausmaß einer Bedienung bzw. Betätigung bezüglich eines Beschleunigers bzw. Gaspedals des Gabelstaplers 1 angibt, und angibt, dass die Fahrzeuggeschwindigkeit des Gabelstaplers 1 mit zunehmendem Beschleunigerbedienausmaß zunimmt. Der Lenkwinkel ist ein Parameter, der den Einschlagwinkel eines Reifens des Gabelstaplers 1 angibt, und angibt, dass der Gabelstapler 1 eine größere Kurve fährt, wenn der Lenkwinkel zunimmt. Das Hubbedienausmaß ist ein Parameter, der ein Bedienausmaß zum Anheben einer Gabel des Gabelstaplers 1 angibt, und angibt, dass die Gabel stärker angehoben wird, wenn das Hubbedienausmaß zunimmt. Das Ausstreckbedienausmaß ist ein Parameter, der ein Bedienausmaß für ein Ausfahren der Gabel des Gabelstaplers 1 nach vorne angibt, und angibt, dass eine Vorwärtsbewegung der Gabel größer ist, wenn das Ausstreckbedienausmaß zunimmt. Der Kippbedienausmaß ist ein Parameter, der ein Bedienausmaß für ein Kippen der Gabel des Gabelstaplers 1 angibt, und angibt, dass die Gabel stärker kippt, wenn das Kippbedienausmaß zunimmt.
-
Die Arbeitszustandsschätzeinheit 30 gleicht das Arbeitszustandsschätzmodell, in dem der Schätzindex wie die Übergangsbedingung oder der Übergangsschwellenwert zu dem Zeitpunkt eines Zustandsübergangs zu jedem Arbeitszustand eingestellt wurde wurde, mit den eingegebenen gegenwärtigen Bedieninformationen u(t) ab, um den gegenwärtigen Arbeitszustand x(t) zu schätzen und auszugeben. In dem Arbeitszustandsschätzmodell ist ein Übergang von einem bestimmten Arbeitszustand zu einem anderen Arbeitszustand, der auftritt, wenn ein bestimmter Parameter in den vorstehend beschriebenen Bedieninformationen zu welchem Grad zunimmt (oder abnimmt), eingestellt. Beispielsweise macht der Gabelstapler 1 eine große Kurve bei „Kurs anpassen“ des „Arbeitszustands 4“, und der Gabelstapler 1 fährt langsam mit einer niedrigen Fahrzeuggeschwindigkeit bei „Last“ im „Arbeitszustand 5“, wie in 3B veranschaulicht. Daher kann die Arbeitszustandsschätzeinheit 30 schätzen, dass ein Übergang von dem „Arbeitszustand 4“ zu dem „Arbeitszustand 5“ stattgefunden hat, wenn jeder Parameter unter einen vorbestimmten Schwellenwert von einem Zustand fällt, in dem das Beschleunigerbedienausmaß groß und der Lenkwinkel groß ist. In einem solchen Arbeitszustandsschätzmodell wird ein optimaler Schätzindex für den Fahrer durch Maschinenlernen basierend auf einer früheren Fahrleistung bzw. einem früheren Fahrverhalten bzw. einer früheren Fahrdurchführung des Bedieners eingestellt. Für jeden Fahrer kann ein individuelles Arbeitszustandsschätzmodell erstellt werden, oder es kann ein Arbeitszustandsschätzmodell erstellt werden, das nicht auf einzelne Bediener beschränkt ist. Das Arbeitszustandsschätzmodell wird in der Speichereinheit 15 gespeichert, und die Arbeitszustandsschätzeinheit 30 holt zu einem erforderlichen Zeitpunkt ein geeignetes Arbeitszustandsschätzmodell, das dem Bediener entspricht, aus der Speichereinheit 15. Ferner berücksichtigt die Arbeitszustandsschätzeinheit 30 den Merkmalsvektor v(t), der durch die Merkmalsvektorerlangungseinheit 31 eingegeben ist, wodurch der gegenwärtige Arbeitszustand x(t) einschließlich des anormalen Zustands der Packstückform des Packstücks (Arbeitszustand 15) geschätzt und ausgegeben wird. Der anormale Zustand der Packstückform wird im Folgenden beschrieben.
-
Die Merkmalsvektorerlangungseinheit 31 erlangt den Merkmalsvektor des Bildes aus einem Bild, das durch Fotografieren des Packstücks erhalten wurde, durch Verwendung von Maschinenlernen. Die Merkmalsvektorerlangungseinheit 31 erlangt ein gegenwärtiges Bild I(t), das durch die Fotografiereinheit 12 des Gabelstaplers 1 aufgenommen wurde, über die Anzeigesteuereinheit 22 (siehe 1). Die Merkmalsvektorerlangungseinheit 31 erlangt das Bild I(t), in dem die Packstückform des Packstücks, wie beispielsweise eine Vorderseite des Gabelstaplers 1, unter den Bildern der Vielzahl von Fotografiereinheiten 12 erscheint. Die Merkmalsvektorerlangungseinheit 31 empfängt das gegenwärtige Bild I(t) und gibt den Merkmalsvektor v(t) des gegenwärtigen Bildes basierend auf einem Lernergebnis an die Arbeitszustandsschätzeinheit 30 aus. Die Merkmalsvektorerlangungseinheit 31 hat ein Maschinenlernmodell M2.
-
Die Merkmalsvektorerlangungseinheit 31 gleicht ein Extraktionsmodell, das in der Lage ist, einen Merkmalsvektor (beispielsweise Dimension bzw. Ausdehnung von 1024) zu extrahieren, der für eine Schätzung eines Arbeitszustandes aus einem Bild (beispielsweise 1920 x 1080 Dimensionen) wirksam ist, mit dem eingegebenen gegenwärtigen Bild I(t) ab, um eine Bildanalyse durchzuführen, wodurch der Merkmalsvektor v(t) des gegenwärtigen Bildes I(t) erlangt und ausgegeben wird. Für ein solches Extraktionsmodell wird ein optimales Extraktionsverfahren durch Maschinenlernen basierend auf bisherigen bzw. zurückliegenden Fahrleistungen eingestellt. Das Extraktionsmodell wird in der Speichereinheit 15 gespeichert, und die Merkmalsvektorerlangungseinheit 31 erlangt das Extraktionsmodell aus der Speichereinheit 15 zu einem erforderlichen Zeitpunkt.
-
Ein Merkmalsvektor, der geeignet ist, zu schätzen, dass sich die Packstückform des Packstücks in einem anormalen Zustand befindet, wird unter Bezugnahme auf 5 beschrieben. Wie in 5 veranschaulicht, ist ein Packstück 45F so angeordnet, dass es auf einer oberen Oberfläche eines Packstücks 45A auf einer Palette 40A und einer oberen Oberfläche eines Packstücks 45B auf einer Palette 40B eine Brücke bildet wird. Im Falle einer solchen Packstückform besteht, wenn der Gabelstapler 1 die Palette 40A oder die Palette 40B anhebt, die Gefahr, dass das Packstück 45F zusammenfällt. Daher ist es vorteilhaft, einen Merkmalsvektor an einer Stelle zu extrahieren, die einen Zustand angibt, in dem sich die Vielzahl von Packstücken 45 überlappen, wie durch einen Bereich E1 angegeben ist. Ferner nähert sich ein Packstück 45D auf einer Palette 40D einer Palette 40C. Bei einer solchen Packstückform wird, wenn der Gabelstapler 1 die Palette 40C anhebt, das Packstück 45D wahrscheinlich zusammenfallen. Alternativ wird, wenn der Gabelstapler 1 die Palette 40D anhebt, das Packstück 45D wahrscheinlich zusammenfallen. Daher ist es vorteilhaft, einen Merkmalsvektor an einer Stelle zu extrahieren, die einen Zustand angibt, in dem das Packstück 45 auf einer bestimmten Palette die andere Palette 40 überlappt, wie durch einen Bereich E2 angegeben. Ferner ragt ein Packstück 45E auf einer Palette 40E von der Palette 40E hervor. Bei einer solchen Packstückform wird, wenn der Gabelstapler 1 die Palette 40E anhebt, das Packstück 45E wahrscheinlich herunterfallen. Ferner wird, wenn der Gabelstapler 1 versucht, die andere Palette 40 neben der Palette 40E zu entladen bzw. abzuladen, die Palette 40 wahrscheinlich mit dem Packstück 45E kollidieren. Daher ist es vorteilhaft, einen Merkmalsvektor an einer Stelle zu extrahieren, die ein bestimmtes Herausragen des Packstücks 45 aus der Palette 40 angibt, wie durch einen Bereich E3 angegeben.
-
5 zeigt lediglich Beispiele für einen abnormalen Zustand der Packstückform, und ein Merkmalsvektor kann extrahiert werden, der die Erfassung anderer abnormaler Zustände ermöglicht. Wenn beispielsweise ein vom Gabelstapler 1 transportiertes Packstück mit einer großen Abweichung von einer Palette angeordnet ist oder aus der Palette herausragt, kann ein Merkmalsvektor als anormaler Zustand der Packstückform extrahiert werden. Ferner ist ein Zielobjekt, auf dem ein Packstück angeordnet ist, nicht auf die Palette beschränkt, wie in 5 veranschaulicht. Beispielsweise kann ein anormaler Zustand einer Packstückform extrahiert werden, wenn eine Korbpalette mit einem kastenförmigen Korb mit vier Beinen verwendet wird. Es wird beispielsweise angenommen, dass ein Zustand, in dem vier Beine einer oberen Korbpalette in vier Passabschnitte an der Oberendseite einer unteren Korbpalette eingepasst sind, ein normaler Zustand ist. Andererseits ist beispielsweise dann, wenn ein Bein (beispielsweise eines der vier Beine) nicht in den Passabschnitt eingepasst ist (ein fallender Zustand) oder die Passung beispielsweise aufgrund einer Verformung der Korbpalette unzureichend ist, eine Packstückform in einem anormalen Zustand, und ein Merkmalsvektor kann extrahiert werden.
-
Die Arbeitszustandsschätzeinheit 30 kann den Arbeitszustand basierend auf dem Merkmalsvektors v(t) schätzen, der durch die Merkmalsvektorerlangungseinheit 31 erlangt wurde. Die Arbeitszustandsschätzeinheit 30 kann den anormalen Zustand der Packstückform basierend auf nur einem Ergebnis des eingegebenen Merkmalsvektors v(t) bestimmen, unabhängig davon, in welchem aus „Arbeitszustand 1“ bis „Arbeitszustand 14“ sich der Gabelstapler 1 gerade befindet (siehe 3A). Wenn beispielsweise ein Abschnitt wie der Bereich E1, E2 oder E3 in 5 im Eingangsmerkmalsvektor v(t) vorhanden ist, kann die Arbeitszustandsschätzeinheit 30 schätzen, dass sich die Packstückform des „Arbeitszustands 15“ in einem anormalen Zustand befindet, unabhängig davon, in welchem aus „Arbeitszustand 1“ bis „Arbeitszustand 14“ sich der Gabelstapler 1 befindet. In diesem Fall kann die Merkmalsvektorerlangungseinheit 31 zu einem Zeitpunkt, zu dem die Merkmalsvektorerlangungseinheit 31 den Abschnitt wie den Bereich E1, E2 oder E3 aus dem Bild extrahiert, dies als den abnormalen Zustand einer Packstückform erlangen und ein Bestimmungsergebnis, das angibt, dass „sich die Packstückform in einem abnormalen Zustand befindet“, als Bildinformation an die Arbeitszustandsschätzeinheit 30 ausgeben. Die Arbeitszustandsschätzeinheit 30 kann basierend auf der Bildinformation, die das Bestimmungsergebnis von der Merkmalsvektorerlangungseinheit 31 angibt, bestimmen, dass sich die Packstückform in einem anormalen Zustand befindet.
-
Ferner kann die Arbeitszustandsschätzeinheit 30 den anormalen Zustand der Packstückform unter Berücksichtigung sowohl des „Arbeitszustands 1“ bis „Arbeitszustand 14“, in dem sich der Gabelstapler 1 gegenwärtig befindet (3A), als auch des Eingangsmerkmalsvektors v(t) bestimmen. Beispielsweise kann die Arbeitszustandsschätzeinheit 30 selbst dann, wenn der Abschnitt wie der Bereich E1, E2 oder E3 in 5 im Eingangsmerkmalvektor v(t) vorhanden ist, nicht bestimmen, dass ein Zustand der Packstückform anormal ist, abhängig davon, in welchem aus „Arbeitszustand 1“ bis „Arbeitszustand 14“ sich der Gabelstapler 1 befindet. Beispielsweise kann selbst dann, wenn der Abschnitt wie der Bereich E1, E2 oder E3 im Bild vorhanden ist, die Arbeitszustandsschätzeinheit 30 nicht bestimmen, dass sich die Packstückform in einem anormalen Zustand befindet, wenn der Gabelstapler 1 versucht, eine Palette 40 verschieden von den Paletten 40A bis 40E anzuheben. Ferner ist im Falle der Palette 40E der Transport durch den Gabelstapler 1 auch dann zulässig, wenn das Packstück 45E leicht verschoben ist, aber eine Kollision zwischen der anderen Palette 40 und dem Packstück 45E ist in einigen Fällen nicht zulässig. In diesem Fall bestimmt, wenn der Arbeitszustand des Gabelstaplers 1 der „Arbeitszustand 5“ ist, in dem die Palette 40E angehoben wird, die Arbeitszustandsschätzeinheit 30 nicht, dass sich die Packstückform in dem anormalen Zustand befindet, selbst wenn der Bereich E3 extrahiert ist, und schätzt, dass der Arbeitszustand der „Arbeitszustand 5“ ist. Andererseits bestimmt, wenn der Arbeitszustand des Gabelstaplers 1 der „Arbeitszustand 12“ ist, in dem eine andere Palette neben der Palette 40E geladen bzw. aufgeladen wird, die Arbeitszustandsschätzeinheit 30, dass die Packstückform in einem anormalen Zustand ist und schätzt, dass der Arbeitszustand der „Arbeitszustand 15“ ist, wenn der Bereich E3 extrahiert ist.
-
6A ist ein Blockdiagramm, das einen Zustand der Arbeitszustandsschätzeinheit 30 zum Zeitpunkt des Lernens zeigt. Wie in 6A veranschaulicht, führt die Arbeitszustandsschätzeinheit 30 Maschinenlernen gemäß einer Eingabe von Bedieninformationen bezüglich eines Bedienzustands bzw. Arbeitszustands bezüglich des Gabelstaplers 1, einer Eingabe eines Merkmalsvektors eines Bildes, und einer Eingabe von Korrektantwortdaten des Arbeitszustands durch. Eine Verarbeitung des in 6A veranschaulichten Maschinenlernens kann im Voraus in einem Stadium durchgeführt werden, bevor ein tatsächlicher Fernbetrieb bzw. eine tatsächliche Fernbedienung des Gabelstaplers 1 durchgeführt wird. Im Voraus vorbereitete Daten können als die Bedieninformationen, der Merkmalsvektor, und die Korrektantwortdaten verwendet werden. Beispielsweise wird ein Fahren des Gabelstaplers 1 tatsächlich in einem Labor oder dergleichen durchgeführt, und eine Erlangung der Daten wird in einem Zustand durchgeführt, in dem die Bedieninformationen und der Merkmalsvektor des Bildes zu einem bestimmten Zeitpunkt mit einem tatsächlichen Arbeitszustand zu diesem Zeitpunkt verknüpft sind. Der tatsächliche Arbeitszustand wird in diesem Fall zu den Korrektantwortdaten.
-
Die Arbeitszustandsschätzeinheit 30 kann einen Langkurzzeitspeicher (LSTM: Long Short Term Memory) als das Maschinenlernmodell M1 verwenden. In diesem Fall kann die Arbeitszustandsschätzeinheit 30 das Maschinenlernen unter Verwendung von Bedieninformationen, die für jede Zeitreihe erlangt werden, und eines Merkmalsvektors des für jede Zeitreihe erlangten Bildes als Lerndaten durchführen. Die Bedieninformationen und der Merkmalsvektor, die für jede Zeitreihe erlangt werden, bestehen beispielsweise aus einer Datengruppe aus „den Bedieninformationen u(t), dem Merkmalsvektor v(t), und einem Korrektantwortarbeitszustand y(t)“, die in vorbestimmten Intervallen von „Zeit 0“ bis „Zeit T“ erlangt werden. Die Arbeitszustandsschätzeinheit 30 kann ein rekurrentes neuronales Netz (RNN), das in der Lage ist, mit in Zeitreihen erlangten Bedieninformationen umzugehen, als das Maschinenlernmodell M1 verwenden. Ferner ist das Maschinenlernmodell M1 nicht auf das CNN beschränkt, solange die Arbeitszustandsschätzeinheit 30 erlangen kann.
-
6B ist ein Blockdiagramm, das einen Zustand der Merkmalsvektorerlangungseinheit 31 zum Zeitpunkt des Lernens zeigt. Wie in 6B veranschaulicht, gibt die Merkmalsvektorerlangungseinheit 31 den Merkmalsvektor an die Arbeitszustandsschätzeinheit 30 gemäß einer Eingabe eines Bildes eines Packstücks, das ein Be- und Entladeziel des Gabelstaplers 1 ist, und einer Eingabe eines Korrektantwortarbeitszustands entsprechend dem Bild aus. Die Arbeitszustandsschätzeinheit 30 gibt einen geschätzten Arbeitszustand basierend auf dem Merkmalsvektor aus. Die Merkmalsvektorerlangungseinheit 31 konstruiert Maschinenlernmodelle M2 und M3 derart, dass ein Fehler zwischen dem Korrektantwortarbeitszustand (y(t)) und dem geschätzten Arbeitszustand (y'(t)) abnimmt. Das Maschinenlernmodell M3 der Arbeitszustandsschätzeinheit 30 ist ein Modell, das nur zum Zeitpunkt des Lernens verwendet wird. Wenn das Lernen abgeschlossen ist, nimmt die Merkmalsvektorerlangungseinheit 31 das Maschinenlernmodell M2 auf, das in der Arbeitszustandserlangungseinheit 23 verwendet wird. Die Verarbeitung des in 6B veranschaulichten Maschinenlernens kann im Voraus in einer Phase durchgeführt werden, bevor ein tatsächlicher Fernbetrieb bzw. eine tatsächliche Fernbedienung des Gabelstaplers 1 durchgeführt wird. Im Voraus vorbereitete Daten werden als das Bild und die Korrektantwortdaten verwendet. Beispielsweise wird ein Bild einer Packstückform, das als in einem anormalen Zustand befindlich bestimmt werden kann, vorbereitet, und Merkmalsvektoren werden an Stellen (beispielsweise die Bereiche E1, E2 und E3 in 5), die eindeutig ein Merkmal des anormalen Zustands in dem Bild angeben, extrahiert. Der auf diese Weise extrahierte Merkmalsvektor wird als ein Korrektantwortmerkmalsvektor verwendet.
-
Die Merkmalsvektorerlangungseinheit 31 kann ein Faltungsneuronales Netzwerk (CNN: Convolutional Neural Network) als das Maschinenlernmodell M2 verwenden. Hier kann die Merkmalsvektorerlangungseinheit 31 Maschinenlernen unter Verwendung von in Zeitreihen erlangten Bildern als Lerndaten durchführen, oder kann Maschinenlernen unter Verwendung von Bildern, die nicht in Zeitreihen vorliegen, durchführen. Beispielsweise kann Lernen durch Vorbereitung einer großen Anzahl von Bildern durchgeführt werden, die eindeutig ein Merkmal eines anormalen Zustands oder eines normalen Zustands der Packstückformen zeigen. Die Lerndaten bestehen beispielsweise aus einer Datengruppe mit einer Vielzahl von „Bildern I(i) und Korrektantwortmerkmalsvektoren z(i)“ von „Muster 0“ bis „Muster N“. Ferner ist das Maschinenlernmodell M2 nicht auf das CNN beschränkt, solange die Merkmalsvektorerlangungseinheit 31 erlangen kann.
-
Nachstehend wird ein Beispiel einer Verarbeitung von Inhalten, die ein Fahrassistenzverfahren in dem Steuergerät 20 zeigen, unter Bezugnahme auf 7 beschrieben. Die in 7 veranschaulichte Verarbeitung wird durchgeführt, wenn das Fahrassistenzvideo auf der Anzeigeeinheit 17 angezeigt wird und der Bediener den Gabelstapler 1 durch eine Fernbedienung bedient. Wie in 7 veranschaulicht, erlangt die Arbeitszustandserlangungseinheit 23 die Bedieninformationen durch den Bediener über die Bedieninformationserlangungseinheit 18 und erlangt das Bild der Packstückform über die Anzeigesteuereinheit 22 (Schritt S10). Als nächstes erlangt die Merkmalsvektorerlangungseinheit den Merkmalsvektor basierend auf dem in Schritt S10 erlangten Bild (Schritt S20). Als nächstes schätzt die Arbeitszustandsschätzeinheit 30 den Arbeitszustand basierend auf den in Schritt S10 erlangten Bedieninformationen und dem in Schritt S20 erlangten Merkmalsvektor (Schritt S30). Als nächstes erlangt die Blickpunktinformationserlangungseinheit 26 die Blickpunktinformationen basierend auf dem in Schritt S30 geschätzten Arbeitszustand (Schritt S40). Als nächstes wählt die Anzeigesteuereinheit 22 das auf der Anzeigeeinheit 17 anzuzeigende Fahrassistenzvideo basierend auf der in Schritt S40 erlangten Blickpunktinformation aus (Schritt S50).
-
Nachfolgend werden die Funktionsweisen und Effekte des Steuergeräts 20 gemäß der vorliegenden Ausführungsform beschrieben.
-
Das Steuergerät 20 umfasst die Arbeitszustandsschätzeinheit 30, die den Arbeitszustand des Gabelstaplers 1 schätzt. Dabei empfängt die Arbeitszustandsschätzeinheit 30 nicht nur eine Eingabe der Bedieninformationen bezüglich des Bedienzustands des Gabelstaplers 1, sondern auch die Fotografierinformationen, die durch Fotografieren des Packstücks erhalten werden. Die Arbeitszustandsschätzeinheit 30 kann basierend auf nicht nur der Bedienung des Gabelstaplers 1 sondern auch der Bildgebungsinformationen bestimmen, ob die Packstückform des Packstücks normal oder abnormal ist. Daher bestimmt die Arbeitszustandsschätzeinheit 30, ob sich die Packstückform in einem anormalen Zustand befindet oder nicht, und gibt den Arbeitszustand aus. Dies ermöglicht es der Arbeitszustandsschätzeinheit 30, den Arbeitszustand zu schätzen, der nicht nur den Zustand des Gabelstaplers 1 selbst sondern auch den anormalen Zustand der Packstückform einschließt. Aufgrund des Vorstehende ist es möglich, den Arbeitszustand des Gabelstaplers 1 geeigneter zu schätzen.
-
Die Arbeitszustandsschätzeinheit 30 kann den Arbeitszustand basierend auf dem Arbeitszustandsschätzmodell schätzen, das durch Maschinenlernen eingestellt ist, und kann den Arbeitszustand basierend auf den Bedieninformationen und der Fotografierinformationen ausgeben. Da das Arbeitszustandsschätzmodell durch Maschinenlernen basierend auf vergangener tatsächlicher Daten eingestellt wird, ist es möglich, den Arbeitszustand einschließlich des anormalen Zustands der Packstückform genau zu schätzen.
-
Die Bedieninformationen können zumindest eines aus einem Beschleunigerbedienausmaß, einem Lenkwinkel, einem Hubbedienausmaß, einem Ausstreckbedienausmaß, und einem Kippbedienausmaß umfassen. Bei diesen Parametern handelt es sich um Parameter, die eine Absicht eines Bedieners des Gabelstaplers 1 widerspiegeln. Die Arbeitszustandsschätzeinheit 30 kann eine Schätzung eines geeigneten Arbeitszustands unter Verwendung solcher Parameter als die Bedieninformationen durchführen.
-
Das Steuergerät 20 kann ferner die Merkmalsvektorerlangungseinheit 31 aufweisen, die den Merkmalsvektor aus dem Bild erlangt, das durch Fotografieren des Packstücks erhalten wurde, unter Verwendung von Maschinenlernen, wobei die Merkmalsvektorerlangungseinheit 31 das CNN als ein Maschinenlernmodell verwenden kann, und die Arbeitszustandsschätzeinheit 30 kann den Arbeitszustand basierend auf den durch die Merkmalsvektorerlangungseinheit 31 erlangten Merkmalsvektor schätzen. Die Merkmalsvektorerlangungseinheit 31 kann ein Ausmaß von an die Arbeitszustandsschätzeinheit 30 auszugebenden Informationen durch Angabe der Fotografierinformationen unter Verwendung des Merkmalsvektors reduzieren. Ferner kann die Merkmalsvektorerlangungseinheit 31 das CNN als Maschinenlernmodell verwenden, um einen Merkmalsvektor zu erlangen, der den abnormalen Zustand der Packstückform basierend auf der bisherigen bzw. zurückliegenden Leistung bzw. Durchführung geeignet widerspiegelt.
-
Obwohl einige bevorzugte Ausführungsformen der vorliegenden Offenbarung vorstehend beschrieben wurden, ist die vorliegende Offenbarung nicht auf die obigen Ausführungsformen beschränkt.
-
Obwohl das Fahrassistenzsystem in der vorstehend beschriebenen Ausführungsform Arbeit eines Bedieners zu der Zeit einer Fernbedienung unterstützt bzw. assistiert, kann Unterstützung bzw. Assistenz auch bei Durchführung von bemannter Bedienung eines Industriefahrzeugs durchgeführt werden. Ferner kann eine Assistenz erfolgen, wenn der Bediener eine Simulation eines Fahrens des Industriefahrzeugs durchführt.
-
Das Industriefahrzeug ist nicht auf den Gabelstapler beschränkt, es kann auch ein Schlepper, ein Kompaktlader oder ähnliches verwendet werden.
-
In der vorstehend beschriebenen Ausführungsform haben die Arbeitszustandsschätzeinheit 30 und die Merkmalsvektorerlangungseinheit 31 eine Verarbeitung unter Verwendung des Maschinenlernens durchgeführt, aber das Maschinenlernen muss nicht unbedingt verwendet werden.
-
BEZUGSZEICHENLISTE
-
- 1
- Gabelstapler
- 20
- Steuergerät
- 30
- Arbeitszustandsschätzeinheit
- 31
- Merkmalsvektorerlangungseinheit
- 100
- Fahrassistenzsystem (Steuersystem für Industriefahrzeug).
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
