JP2023157271A - Industrial vehicle control device, industrial vehicle control system and program for industrial vehicle control device - Google Patents

Industrial vehicle control device, industrial vehicle control system and program for industrial vehicle control device Download PDF

Info

Publication number
JP2023157271A
JP2023157271A JP2022067070A JP2022067070A JP2023157271A JP 2023157271 A JP2023157271 A JP 2023157271A JP 2022067070 A JP2022067070 A JP 2022067070A JP 2022067070 A JP2022067070 A JP 2022067070A JP 2023157271 A JP2023157271 A JP 2023157271A
Authority
JP
Japan
Prior art keywords
state
industrial vehicle
control device
work
work state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022067070A
Other languages
Japanese (ja)
Inventor
ジョウヨン チュウ
Zhou Yong Chu
満 河本
Mitsuru Kawamoto
隆史 大隈
Takashi Okuma
英一 吉田
Hidekazu Yoshida
幸和 小出
Yukikazu Koide
浩伸 岡本
Hironobu Okamoto
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Industries Corp
National Institute of Advanced Industrial Science and Technology AIST
Original Assignee
Toyota Industries Corp
National Institute of Advanced Industrial Science and Technology AIST
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Industries Corp, National Institute of Advanced Industrial Science and Technology AIST filed Critical Toyota Industries Corp
Priority to JP2022067070A priority Critical patent/JP2023157271A/en
Publication of JP2023157271A publication Critical patent/JP2023157271A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Forklifts And Lifting Vehicles (AREA)

Abstract

To provide an industrial vehicle control device, an industrial vehicle control system and a program for the industrial vehicle control device capable of accurately acquiring an estimation index for estimating a work state of an industrial vehicle with a few man-hours.SOLUTION: A work state estimation section 30 performs machine learning with input of operation information related to an operation state of a forklift and input of correct answer data of a work state. The work state estimation section 30 is capable of performing the machine learning on the basis of the input of the operation information on actual work conducted in the past and the correct answer data showing a work state as a result of the operation information. Thus, a control device is capable of acquiring an estimation index for estimating the work state of the forklift through a process to perform the machine learning using the operation information in the past and the correct answer data. Since the estimation index is based on actual data in the past, the control device is capable of accurately estimating the work state.SELECTED DRAWING: Figure 4

Description

本発明は、産業車両の制御装置、産業車両の制御システム、及び産業車両の制御装置のプログラムに関するものである。 The present invention relates to an industrial vehicle control device, an industrial vehicle control system, and a program for the industrial vehicle control device.

産業車両の制御装置として、例えば特許文献1に記載されているものが知られている。特許文献1に記載の産業車両の制御装置は、産業車両に対する操作情報に基づいて産業車両の作業状態を推定し、当該作業状態の推定結果に基づいて産業車両を制御する。 2. Description of the Related Art As a control device for an industrial vehicle, for example, one described in Patent Document 1 is known. The control device for an industrial vehicle described in Patent Document 1 estimates the working state of the industrial vehicle based on operation information for the industrial vehicle, and controls the industrial vehicle based on the estimation result of the working state.

特開2019-189435号明細書JP 2019-189435 specification

制御装置が作業状態を推定するために、各作業状態へ状態遷移するときの遷移条件や遷移閾値などの推定指標を設定した作業状態推定モデルを構築する。しかし、作業状態の推定のための推定指標を設計することは、設計作業が困難であり、精度を向上することが難しく、且つ設計のための工数が膨大になるという問題があった。 In order for the control device to estimate the work state, a work state estimation model is constructed in which estimation indicators such as transition conditions and transition thresholds for state transition to each work state are set. However, designing an estimation index for estimating a working state has the problem that the design work is difficult, it is difficult to improve accuracy, and the number of man-hours for design is enormous.

本発明の目的は、産業車両の作業状態を推定するための推定指標を少ない工数で精度よく取得することができる産業車両の制御装置、産業車両の制御システム、及び産業車両の制御装置のプログラムを提供することである。 An object of the present invention is to provide an industrial vehicle control device, an industrial vehicle control system, and a program for an industrial vehicle control device that can accurately acquire estimation indicators for estimating the working state of an industrial vehicle with a small number of man-hours. It is to provide.

本発明の一側面に係る産業車両の制御装置は、産業車両の作業状態を推定するための制御装置であって、 機械学習を用いて産業車両の作業状態を推定する作業状態推定部を有し、作業状態推定部は、産業車両に対する操作状態に関する操作情報の入力と、作業状態の正解データの入力により、機械学習を行う。 A control device for an industrial vehicle according to one aspect of the present invention is a control device for estimating a working state of an industrial vehicle, and includes a working state estimation unit that estimates a working state of the industrial vehicle using machine learning. The working state estimating unit performs machine learning by inputting operation information regarding the operating state of the industrial vehicle and inputting correct answer data regarding the working state.

産業車両の制御装置は、機械学習を用いて産業車両の作業状態を推定する作業状態推定部を有する。従って、制御装置は、機械学習によって、産業車両の作業状態を推定するための推定指標を設計することができる。ここで、作業状態推定部は、産業車両に対する操作状態に関する操作情報の入力と、作業状態の正解データの入力により、機械学習を行う。このように、作業状態推定部は、過去に実際に行われた操作情報の入力と、当該操作情報によってどのような作業状態となったかを示す正解データと、に基づいて機械学習を行うことができる。これにより、制御装置は、過去の操作情報及び正解データを用いて機械学習を行うだけの工程により、産業車両の作業状態を推定するための推定指標を取得することができる。また、当該推定指標は、過去の実際のデータに基づくものであるため、精度よく作業状態を推定することを可能とする。以上より、産業車両の作業状態を推定するための推定指標を少ない工数で精度よく取得することができる。 A control device for an industrial vehicle includes a working state estimation unit that estimates a working state of the industrial vehicle using machine learning. Therefore, the control device can design an estimation index for estimating the working state of the industrial vehicle through machine learning. Here, the working state estimating unit performs machine learning by inputting operation information regarding the operating state of the industrial vehicle and inputting correct answer data regarding the working state. In this way, the work state estimation unit can perform machine learning based on the input of operation information that was actually performed in the past and the correct data that indicates what kind of work state the operation information resulted in. can. Thereby, the control device can acquire an estimation index for estimating the working state of the industrial vehicle through the process of simply performing machine learning using past operation information and correct answer data. Further, since the estimation index is based on past actual data, it is possible to estimate the working state with high accuracy. As described above, an estimation index for estimating the working state of an industrial vehicle can be obtained with high precision with a small number of man-hours.

作業状態推定部は、現在の操作情報を入力されて、学習結果に基づいて、現在の作業状態を出力してよい。これにより、作業状態推定部は、現在の操作情報を入力するだけで、現在の作業状態を容易に推定することができる。 The work state estimation unit may receive current operation information and output the current work state based on the learning result. Thereby, the work state estimation section can easily estimate the current work state simply by inputting the current operation information.

産業車両の制御装置は、作業状態推定部が出力した作業状態に基づいて、産業車両が取り扱う荷物の状態に関する荷物状態を出力する荷物状態推定部と、作業状態推定部が出力した作業状態、及び荷物状態推定部が出力した荷物状態に基づいて、作業状態を補正する作業状態補正部と、を更に備えてよい。この場合、制御装置は、産業車両の荷物状態を考慮して補正を行うことで、作業状態の推定精度を向上することができる。 The control device for the industrial vehicle includes a load state estimating section that outputs a load state related to the state of the load handled by the industrial vehicle based on the work state output from the work state estimating section, a work state outputted by the work state estimating section, and The apparatus may further include a working state correction section that corrects the working state based on the cargo state outputted by the cargo state estimating section. In this case, the control device can improve the accuracy of estimating the working state by performing correction in consideration of the cargo state of the industrial vehicle.

操作情報は、アクセル操作量、タイヤ角、リフト操作量、リーチ操作量、ティルト操作量の少なくともいずれかを含んでよい。これらのパラメータは、産業車両において作業者の意図を反映するパラメータである。作業状態推定部は、操作情報として、このようなパラメータを用いることで、適切な機械学習を行う事ができる。 The operation information may include at least one of an accelerator operation amount, a tire angle, a lift operation amount, a reach operation amount, and a tilt operation amount. These parameters are parameters that reflect the intentions of workers in industrial vehicles. The work state estimation unit can perform appropriate machine learning by using such parameters as operation information.

作業状態推定部は、機械学習モデルとしてLSTMを用い、学習データとして、時系列ごとに取得された操作情報によって機械学習を行ってよい。LSTMは、時系列ごとに取得された操作情報によって機械学習を行うにあたり、直近のデータのみならず、過去にさかのぼったデータも考慮した学習を行うことができる。そのため、作業状態推定部は、より精度の高い推定指標を取得することができる。 The work state estimation unit may perform machine learning using LSTM as a machine learning model and using operation information acquired for each time series as learning data. When performing machine learning using operation information acquired for each time series, LSTM can perform learning that takes into account not only the most recent data but also data from the past. Therefore, the work state estimation unit can obtain a more accurate estimation index.

本発明の一側面に係る産業車両の制御システムは、上述の産業車両の制御装置を有する。 An industrial vehicle control system according to one aspect of the present invention includes the above-described industrial vehicle control device.

本発明の一側面に係る産業車両の制御装置のプログラムは、上述の産業車両の制御装置に用いられる。 A program for an industrial vehicle control device according to one aspect of the present invention is used in the above-mentioned industrial vehicle control device.

これらの産業車両の制御システム、及び産業車両の制御装置のプログラムは、上述の産業車両の制御装置と同趣旨の作用・効果を得ることができる。 These industrial vehicle control systems and industrial vehicle control device programs can obtain the same functions and effects as the industrial vehicle control device described above.

本発明によれば、産業車両の作業状態を推定するための作業状態推定モデルを低工数で精度よく取得することができる産業車両の制御装置、産業車両の制御システム、及び産業車両の制御装置のプログラムを提供することができる。 According to the present invention, there is provided an industrial vehicle control device, an industrial vehicle control system, and an industrial vehicle control device capable of accurately acquiring a working state estimation model for estimating the working state of an industrial vehicle with low man-hours. programs can be provided.

本発明の実施形態に係る運転支援システムを示すブロック図である。1 is a block diagram showing a driving support system according to an embodiment of the present invention. (a)はフォークリフトに対する撮影部の取り付け態様を示す斜視図であり、(b)は撮影部の角度を説明するための模式図である。(a) is a perspective view showing how the photographing section is attached to the forklift, and (b) is a schematic diagram for explaining the angle of the photographing section. フォークリフトの作業状態を説明するための図である。It is a figure for explaining the working state of a forklift. 作業状態取得部のブロック図である。It is a block diagram of a work state acquisition part. 作業状態推定部の機械学習時の様子を示す図である。FIG. 3 is a diagram illustrating how the work state estimating unit performs machine learning. 運転支援システムの処理内容を示すフローチャートである。It is a flowchart which shows the processing content of a driving support system. 荷物状態推定部、及び作業状態補正部の効果を説明するグラフである。It is a graph explaining the effect of a luggage state estimation part and a work state correction part. 制御装置の実験結果を示すグラフである。It is a graph showing experimental results of the control device.

以下、本発明の好適な実施形態について、図面を参照して詳細に説明する。なお、図面において、同一または同等の要素には同じ符号を付し、重複する説明を省略する。 Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the drawings. In addition, in the drawings, the same or equivalent elements are given the same reference numerals, and overlapping explanations will be omitted.

図1は、本発明の実施形態に係る制御装置20を含む運転支援システム100(産業車両の制御システム)を示すブロック図である。運転支援システム100は、産業車両の遠隔操作を行うためのシステムである。図1に示すように、運転支援システム100は、フォークリフト1(産業車両)と、遠隔操作装置2と、を備える。 FIG. 1 is a block diagram showing a driving support system 100 (industrial vehicle control system) including a control device 20 according to an embodiment of the present invention. The driving support system 100 is a system for remotely controlling an industrial vehicle. As shown in FIG. 1, the driving support system 100 includes a forklift 1 (industrial vehicle) and a remote control device 2.

フォークリフト1は、運転制御部11と、複数の撮影部12と、を備える。運転制御部11は、遠隔操作装置2からの指令信号を受信し、当該指令信号に基づいて運転制御、及び操舵制御を行う。複数の撮影部12は、フォークリフト1の各部位に設けられ、フォークリフト1の周辺環境を撮影する。撮影部12は、作業支援に用いられる支援情報として、撮影した映像を取得して、後述の表示制御部22へ送信する。複数の撮影部12の取り付け位置の例を、図2(a)に示す。撮影部12は、フォークリフト1の車体の前端、幅方向の端部、天井などに設けられる。なお、図2(b)に示すようにXYZ座標を設定した場合、各箇所における撮影部12は、X軸、Y軸、Z軸の各軸まわりに傾いた状態で設置されてよい。図2(a)では、八箇所に撮影部12が設けられ、それぞれ異なる箇所の映像を取得する。 The forklift 1 includes an operation control section 11 and a plurality of photographing sections 12. The operation control unit 11 receives a command signal from the remote control device 2, and performs operation control and steering control based on the command signal. A plurality of photographing units 12 are provided at each part of the forklift 1 and photograph the surrounding environment of the forklift 1. The photographing unit 12 acquires a photographed video as support information used for work support, and transmits it to a display control unit 22, which will be described later. An example of the mounting positions of the plurality of imaging units 12 is shown in FIG. 2(a). The photographing section 12 is provided at the front end of the vehicle body of the forklift 1, at the end in the width direction, at the ceiling, or the like. Note that when the XYZ coordinates are set as shown in FIG. 2(b), the imaging unit 12 at each location may be installed in a tilted state around each of the X, Y, and Z axes. In FIG. 2A, the imaging units 12 are provided at eight locations, and each captures images from different locations.

図1に示すように、遠隔操作装置2は、記憶部15と、操作部16と、表示部17と、操作情報取得部18と、制御装置20と、を備える。記憶部15は、各種情報を記憶する装置である。操作部16は、オペレータがフォークリフト1を遠隔操作するため操作を入力するためのユーザーインターフェースである。表示部17は、映像を出力するためのユーザーインターフェースである。表示部17は、互いに異なる映像を出力することができる第1領域D1、第2領域D2、及び第3領域D3を有している。 As shown in FIG. 1, the remote control device 2 includes a storage section 15, an operation section 16, a display section 17, an operation information acquisition section 18, and a control device 20. The storage unit 15 is a device that stores various information. The operation unit 16 is a user interface through which an operator inputs operations to remotely control the forklift 1. The display unit 17 is a user interface for outputting video. The display unit 17 has a first area D1, a second area D2, and a third area D3 that can output different images.

操作情報取得部18は、オペレータの操作対象(ここでは操作部16)を操作している場合における、操作情報を取得する。操作情報取得部18は、例えば、操作部16の操作レバーに設けられたセンサ、または操作部16の操作内容を示す信号に基づいて操作内容を検知する手段などによって構成される。 The operation information acquisition unit 18 acquires operation information when an operator is operating an operation target (here, the operation unit 16). The operation information acquisition section 18 is configured by, for example, a sensor provided on the operation lever of the operation section 16 or a means for detecting the operation content based on a signal indicating the operation content of the operation section 16.

制御装置20は、遠隔操作装置2全体を制御する制御部である。制御装置20は、遠隔操作装置2を統括的に管理するECU[Electronic Control Unit]を備えている。ECUは、CPU[Central Processing Unit]、ROM[Read Only Memory]、RAM[Random Access Memory]、CAN[Controller Area Network]、通信回路等を有する電子制御ユニットである。ECUでは、例えば、ROMに記憶されているプログラムをRAMにロードし、RAMにロードされたプログラムをCPUで実行することにより各種の機能を実現する。制御装置20は、運転指令部21と、表示制御部22と、作業状態取得部23と、視点情報取得部26と、を備える。 The control device 20 is a control unit that controls the entire remote control device 2 . The control device 20 includes an ECU (Electronic Control Unit) that collectively manages the remote control device 2 . The ECU is an electronic control unit that includes a CPU [Central Processing Unit], a ROM [Read Only Memory], a RAM [Random Access Memory], a CAN [Controller Area Network], a communication circuit, and the like. The ECU realizes various functions by, for example, loading a program stored in a ROM into a RAM and executing the program loaded into the RAM by a CPU. The control device 20 includes a driving command section 21, a display control section 22, a work state acquisition section 23, and a viewpoint information acquisition section 26.

運転指令部21は、操作部16で入力された操作に基づく指令信号を生成して、運転制御部11へ送信するユニットである。 The driving command section 21 is a unit that generates a command signal based on the operation input through the operation section 16 and transmits it to the driving control section 11 .

表示制御部22は、表示部17の表示内容を制御するユニットである。表示制御部22は、オペレータの遠隔操作の作業を支援するための情報を表示部17に表示させる。表示制御部22は、記憶部15のデータベースの情報を用いて表示部17の第1領域D1、第2領域D2、及び第3領域D3の表示内容を制御する。 The display control section 22 is a unit that controls the display contents of the display section 17. The display control unit 22 causes the display unit 17 to display information for supporting the operator's remote control work. The display control unit 22 controls the display contents of the first area D1, second area D2, and third area D3 of the display unit 17 using information in the database of the storage unit 15.

表示制御部22は、視点情報取得部26で取得された視点情報に基づいて、表示部17に表示させる映像を選択する。第1領域D1及び第2領域D2は、特定の映像を大きく表示する大画面部であり、複数の撮影部12の映像の中から、表示制御部22が選択した撮影部12の映像が表示される。第3領域D3は、複数の映像を小さく表示させる小画面部に該当し、フォークリフト1上の全ての撮影部12からの映像を、周囲確認のための環境情報として表示する。 The display control unit 22 selects a video to be displayed on the display unit 17 based on the viewpoint information acquired by the viewpoint information acquisition unit 26. The first area D1 and the second area D2 are large screen areas that display a specific image in a large size, and the image of the imaging unit 12 selected by the display control unit 22 from among the images of the plurality of imaging units 12 is displayed. Ru. The third area D3 corresponds to a small screen section that displays a plurality of images in a small size, and displays images from all the photographing units 12 on the forklift 1 as environmental information for checking the surroundings.

例えば、図3(a)は、フォークリフト8の作業状態を定義した表である。ここでは作業状態の一例として、「停止(Stop)」、「前進(Move fwd)」、「棚への接近(Approach)」、「調整(Adjust heading)」、「荷役(Load/Unload)」、「走行準備(Retreat)」、「後進(Move reverse)」という、フォークリフト3の走行や、荷物の取り出し/荷降ろし作業に関する七つの状態について、荷物ありの状態(Load)と、荷物無しの状態(NoLoad)とで分けることで、合計14個の作業状態を定義している。フォークリフト3の走行は、「停止(Stop)」、「前進(Move fwd)」、「棚への接近(Approach)」、「走行準備(Retreat)」、「後進(Move reverse)」が該当し、荷物の取り出し/荷降ろし作業は「調整(Adjust heading)」、「荷役(Load/Unload)」が該当する。各作業状態の定義や数は上記に限定されず、適宜変更可能である。また、フォークリフト3(産業車両)の走行に関するもののみで作業状態を定義してもよい。図3(b)は、フォークリフト1が棚SFからの荷物の取り出し及び荷降ろしを行う際の、各作業状態を示した模式図である。記憶部15のデータベースでは、各作業状態と、作業状態において確認すべき箇所を映すことができる撮影部12とが紐付けられている。従って、表示制御部22は、オペレータが操作しているフォークリフト1の作業状態に合わせて、第1領域D1及び第2領域D2に、特に確認すべき箇所の映像を大画面で映すことができる。なお、運転支援のために表示制御部22の制御によって表示部17に表示された映像を「運転支援映像」と称する場合がある。 For example, FIG. 3(a) is a table defining the working status of the forklift 8. Here, examples of work states include "Stop", "Move fwd", "Approach to shelf", "Adjust heading", "Load/Unload", Regarding the seven states related to the movement of the forklift 3 and the removal/unloading work of the forklift 3, such as "Retreat" and "Move reverse", the state with cargo (Load) and the state without cargo (Load) are determined. (NoLoad), a total of 14 work states are defined. The driving of the forklift 3 corresponds to "Stop", "Move fwd", "Approach to the shelf", "Prepare to travel", and "Move reverse". The work of taking out/unloading cargo corresponds to "Adjust heading" and "Load/Unload". The definition and number of each work state are not limited to the above, and can be changed as appropriate. Further, the working state may be defined only by the movement of the forklift 3 (industrial vehicle). FIG. 3(b) is a schematic diagram showing each working state when the forklift 1 takes out and unloads cargo from the shelf SF. In the database of the storage unit 15, each work state is associated with the photographing unit 12 that can image the location to be confirmed in the work state. Therefore, the display control unit 22 can display images of areas that should be checked on a large screen in the first area D1 and the second area D2 in accordance with the working status of the forklift 1 being operated by the operator. Note that the video displayed on the display unit 17 under the control of the display control unit 22 for driving support may be referred to as a “driving support video”.

運転支援映像の適切な切替タイミングに関して、オペレータによって個体差が存在する。また、フォークリフト1で行っている作業状態が遷移したら、表示部17で表示すべき映像が切り替わる。当該事情に鑑みて、作業状態取得部23、及び視点情報取得部26は、運転支援映像をオペレータ個人に適合すると共に、作業状態の状態遷移に対応した処理を行う。 There are individual differences among operators regarding the appropriate switching timing of driving support images. Further, when the state of the work performed by the forklift 1 changes, the image to be displayed on the display unit 17 changes. In view of the circumstances, the work state acquisition unit 23 and the viewpoint information acquisition unit 26 adapt the driving support video to the individual operator and perform processing corresponding to the state transition of the work state.

作業状態取得部23は、フォークリフト1で行っている作業状態を取得する。作業状態取得部23は、操作情報取得部18で取得された操作情報に基づいて、作業状態を取得する。作業状態取得部23は、各作業状態へ状態遷移するときの遷移条件や遷移閾値などの推定指標を設定した作業状態推定モデルを用いて作業状態を取得する。作業状態取得部23は、記憶部15に記憶された作業状態推定モデルを取得してよい。作業状態取得部23の詳細については、後述する。作業状態取得部23は、取得した作業状態を視点情報取得部26へ送信する。 The work state acquisition unit 23 acquires the work state being performed by the forklift 1. The work status acquisition unit 23 acquires the work status based on the operation information acquired by the operation information acquisition unit 18. The work state acquisition unit 23 acquires work states using a work state estimation model in which estimation indicators such as transition conditions and transition thresholds for state transition to each work state are set. The work state acquisition unit 23 may acquire the work state estimation model stored in the storage unit 15. Details of the work status acquisition unit 23 will be described later. The work status acquisition unit 23 transmits the acquired work status to the viewpoint information acquisition unit 26.

視点情報取得部26は、作業状態取得部23で取得された作業状態に基づいて、オペレータの視点を取得する。ここで、記憶部15は、フォークリフト1の作業状態と、オペレータの視線に基づく視線情報とが紐付けられたデータベースを有する。従って、視点情報取得部26は、フォークリフト1の作業状態とデータベースとを照合することで、作業状態に対応する視線情報を取得する。視点情報取得部26は、取得した視点情報を表示制御部22へ送信する。これにより、表示制御部22は、視点情報に基づいて表示部17へ表示される映像を制御し、フォークリフト1の作業状態、及びオペレータ個人に対して最適な映像を表示することができる。 The viewpoint information acquisition unit 26 acquires the operator's viewpoint based on the work status acquired by the work status acquisition unit 23. Here, the storage unit 15 has a database in which the working status of the forklift 1 and line-of-sight information based on the line-of-sight of the operator are linked. Therefore, the viewpoint information acquisition unit 26 acquires line-of-sight information corresponding to the working state by comparing the working state of the forklift 1 with the database. The viewpoint information acquisition unit 26 transmits the acquired viewpoint information to the display control unit 22. Thereby, the display control section 22 can control the image displayed on the display section 17 based on the viewpoint information, and can display the optimum image for the working condition of the forklift 1 and for the individual operator.

次に、図4を参照して、作業状態取得部23の詳細な構成について説明する。図4は、作業状態取得部23の構成を示すブロック図である。図4に示すように、作業状態取得部23は、作業状態推定部30と、荷物状態推定部31と、作業状態補正部32と、を備える。 Next, with reference to FIG. 4, the detailed configuration of the work status acquisition section 23 will be described. FIG. 4 is a block diagram showing the configuration of the work status acquisition section 23. As shown in FIG. As shown in FIG. 4, the work state acquisition section 23 includes a work state estimation section 30, a cargo state estimation section 31, and a work state correction section 32.

作業状態推定部30は、機械学習を用いてフォークリフト1の作業状態を推定する。作業状態推定部30は、現在の操作情報u(t)を入力されて、学習結果に基づいて、現在の作業状態x(t)を出力する。作業状態推定部30は、機械学習モデルM1を有する。 The working state estimation unit 30 estimates the working state of the forklift 1 using machine learning. The work state estimation unit 30 receives the current operation information u(t) and outputs the current work state x(t) based on the learning result. The work state estimation unit 30 has a machine learning model M1.

作業状態として、図3(a)に示す「1」~「14」の分類が用いられる。操作情報は、アクセル操作量、タイヤ角、リフト操作量、リーチ操作量、ティルト操作量の少なくともいずれかを含む。アクセル操作量は、フォークリフト1のアクセルの操作量を示すパラメータであり、アクセル操作量が大きいほどフォークリフト1の車速が速いことを示す。タイヤ角は、フォークリフト1のタイヤの旋回角を示すパラメータであり、タイヤ角が大きいほど、フォークリフト1が大きく旋回することを示す。リフト操作量は、フォークリフト1のフォークをリフトする操作の操作量を示すパラメータであり、リフト操作量が大きいほど、大きくフォークをリフトすることを示す。リーチ操作量は、フォークリフト1のフォークを前方に延ばす操作の操作量を示すパラメータであり、リーチ操作量が大きいほど、大きくフォークを前方へ動かすことを意味する。ティルト操作量は、フォークリフト1のフォークを傾ける操作の操作量を示すパラメータであり、ティルト操作量が大きいほど、大きくフォークを傾けることを意味する。 As the work status, classifications "1" to "14" shown in FIG. 3(a) are used. The operation information includes at least one of an accelerator operation amount, a tire angle, a lift operation amount, a reach operation amount, and a tilt operation amount. The accelerator operation amount is a parameter indicating the operation amount of the accelerator of the forklift 1, and the larger the accelerator operation amount is, the faster the vehicle speed of the forklift 1 is. The tire angle is a parameter indicating the turning angle of the tires of the forklift 1, and the larger the tire angle, the more the forklift 1 turns. The lift operation amount is a parameter indicating the amount of operation for lifting the fork of the forklift 1, and the larger the lift operation amount is, the more the fork is lifted. The reach operation amount is a parameter indicating the amount of operation for extending the fork of the forklift 1 forward, and the larger the reach operation amount, the more the fork is moved forward. The tilt operation amount is a parameter indicating the amount of operation for tilting the fork of the forklift 1, and the larger the tilt operation amount, the greater the tilting of the fork.

作業状態推定部30は、各作業状態へ状態遷移するときの遷移条件や遷移閾値などの推定指標を設定した作業状態推定モデルと、入力された現在の操作情報u(t)とを照らし合わせることで、現在の作業状態x(t)を推定して出力する。作業状態推定モデルには、上述の操作情報のうち、どのパラメータがどの程度大きく(小さく)なったら、ある作業状態から他の作業状態へ遷移するかが設定されている。例えば、図3(b)に示すように、「作業状態4」の「調整(Adjust heading)」ではフォークリフト1が大きく旋回している状態であり、「作業状態5」の「荷役(Load)」ではフォークリフト1の車速が遅く徐行している状態である。従って、作業状態推定部30は、アクセル操作量が大きく、且つタイヤ角が大きい状態から、各パラメータが所定の閾値を下回る状態となったら、「作業状態4」から「作業状態5」へ遷移したものと推定できる。このような作業状態推定モデルは、機械学習によって、オペレータの過去の運転実績に基づいて、当該オペレータにとって最適な推定指標が設定される。なお、オペレータごとに個別の作業状態推定モデルが作成されてもよいし、個別のオペレータに限定されない作業状態推定モデルが作成されてもよい。作業状態推定モデルは記憶部15に記憶されており、作業状態推定部30は、必要なタイミングで、記憶部15からオペレータに対応する適切な作業状態推定モデルを取得する。 The work state estimation unit 30 compares the input current operation information u(t) with a work state estimation model in which estimation indicators such as transition conditions and transition thresholds for state transition to each work state are set. Then, the current working state x(t) is estimated and output. In the work state estimation model, it is set which parameter among the above-mentioned operation information should become large (small) to cause a transition from one work state to another work state. For example, as shown in FIG. 3(b), in "Adjust heading" of "Working state 4", the forklift 1 is making a large turn, and in "Load" of "Working state 5" In this case, the forklift 1 is moving at a slow speed. Therefore, the work state estimating unit 30 determines that when the accelerator operation amount is large and the tire angle is large, the state changes from "work state 4" to "work state 5" when each parameter becomes less than a predetermined threshold value. It can be assumed that In such a work state estimation model, the optimum estimation index for the operator is set by machine learning based on the operator's past driving performance. Note that an individual work state estimation model may be created for each operator, or a work state estimation model that is not limited to individual operators may be created. The working state estimation model is stored in the storage unit 15, and the working state estimation unit 30 acquires an appropriate working state estimation model corresponding to the operator from the storage unit 15 at a necessary timing.

図5は、学習時における作業状態推定部30の様子を示すブロック図である。図5に示すように、作業状態推定部30は、フォークリフト1に対する操作状態に関する操作情報の入力と、作業状態の正解データの入力により、機械学習を行う。図5に示す機械学習の処理は、実際のフォークリフト1の遠隔操作が行われる前段階で、予め行われてよい。操作情報及び正解データとして、予め準備されたデータが用いられる。例えば、実験室などで実際にフォークリフト1の運転を行い、ある時刻における操作情報と、その時刻における実際の作業状態とを紐づけた状態で、データの取得を行う。このときの実際の作業状態が正解データとなる。 FIG. 5 is a block diagram showing the state of the work state estimating section 30 during learning. As shown in FIG. 5, the working state estimating unit 30 performs machine learning by inputting operation information regarding the operating state of the forklift 1 and inputting correct answer data regarding the working state. The machine learning process shown in FIG. 5 may be performed in advance before the actual remote control of the forklift 1 is performed. Data prepared in advance is used as the operation information and correct answer data. For example, the forklift 1 is actually operated in a laboratory or the like, and data is acquired by linking operation information at a certain time with the actual working state at that time. The actual working state at this time becomes the correct answer data.

作業状態推定部30は、機械学習モデルM1としてLSTM(Long Short Term Memory)を用いてよい。このとき、作業状態推定部30は、学習データとして、時系列ごとに取得された操作情報によって機械学習を行ってよい。時系列ごとに取得された操作情報は、例えば、「時刻0」から「時刻T」までの所定間隔で取得された「操作情報u(t)及び正解作業状態y(t)」のデータ群によって構成される。作業状態推定部30は、機械学習モデルM1として、時系列ごとに取得された操作情報に対応することができるRNN(Recurrent Neural Network:再帰型ニューラルネットワーク)を用いてもよい。 The work state estimation unit 30 may use LSTM (Long Short Term Memory) as the machine learning model M1. At this time, the work state estimation unit 30 may perform machine learning using operation information acquired for each time series as learning data. The operation information acquired for each time series is, for example, a data group of “operation information u(t) and correct work state y(t)” acquired at predetermined intervals from “time 0” to “time T”. configured. The work state estimating unit 30 may use, as the machine learning model M1, an RNN (Recurrent Neural Network) that can respond to operation information acquired on a time-series basis.

図4へ戻り、荷物状態推定部31は、作業状態推定部30が出力した作業状態x(t)に基づいて、フォークリフト1が取り扱う荷物の状態に関する荷物状態g(t)を出力する。荷物状態推定部31は、予め作成された荷物状態推定モデル(状態遷移モデル)M2を有する。荷物状態推定部31は、記憶部15から荷物状態推定モデルM2を取得する。荷物状態推定部31は、推定された作業状態x(t)を荷物状態推定モデルM2に照らし合わせることで、荷物状態g(t)を推定する。荷物状態g(t)は、「NL:NoLoad(荷物無し)」または「L:Load(荷物有り)」の何れかを示す。荷物状態推定部31は、推定した荷物状態g(t)を作業状態補正部32へ出力する。 Returning to FIG. 4, the cargo state estimation unit 31 outputs the cargo state g(t) regarding the state of the cargo handled by the forklift 1 based on the work state x(t) output by the work state estimation unit 30. The luggage state estimation unit 31 has a luggage state estimation model (state transition model) M2 created in advance. The baggage condition estimating section 31 acquires the baggage condition estimation model M2 from the storage section 15. The baggage condition estimating unit 31 estimates the baggage condition g(t) by comparing the estimated working condition x(t) with the baggage condition estimation model M2. The luggage status g(t) indicates either "NL: No Load (no luggage)" or "L: Load (with luggage)". The baggage condition estimation section 31 outputs the estimated baggage condition g(t) to the work condition correction section 32.

荷物状態推定モデルM2では、指定された作業状態以外での、荷物状態の遷移を禁止している。例えば、図3の例では、「作業状態5」では、フォークリフト1は荷物が無い状態で棚SFに近づき、荷物を受け取ったら「作業状態6」の走行準備の作業状態へ遷移している。この場合、荷物状態推定モデルM2では、「作業状態5」から「作業状態6」へ状態遷移する場合に、「NL:荷物無し」から「L:荷物有り」へ遷移することを許容し、それ以外での遷移を禁止している。また、「作業状態12」では、フォークリフト1は荷物が有る状態で棚SFに近づき、荷物を棚SFに降ろしたら「作業状態13」の走行準備の作業状態へ遷移している。この場合、荷物状態推定モデルM2では、「作業状態12」から「作業状態13」へ状態遷移する場合に、「L:荷物有り」から「NL:荷物無し」へ遷移することを許容し、それ以外での遷移を禁止している。 The baggage state estimation model M2 prohibits the baggage state from changing outside of the specified working state. For example, in the example of FIG. 3, in "Working State 5", the forklift 1 approaches the shelf SF without any cargo, and when it receives the cargo, it transitions to the "Working State 6", which is a preparation for traveling. In this case, the luggage state estimation model M2 allows a transition from "NL: No luggage" to "L: With luggage" when the state transitions from "Working state 5" to "Working state 6"; Transitions other than those specified are prohibited. Further, in "Working state 12", the forklift 1 approaches the shelf SF with the cargo there, and after unloading the cargo onto the shelf SF, the forklift 1 transitions to the "Working state 13", which is a preparation for traveling. In this case, the luggage state estimation model M2 allows a transition from "L: with luggage" to "NL: without luggage" when the state transitions from "work state 12" to "work state 13"; Transitions other than those specified are prohibited.

作業状態補正部32は、作業状態推定部30が出力した作業状態x(t)、及び荷物状態推定部31が出力した荷物状態g(t)に基づいて、作業状態を補正することで、補正後の作業状態s(t)を出力する。作業状態補正部32は、作業状態推定部30が出力した作業状態x(t)が荷物を有する作業状態であるか、荷物が無い作業状態であるかを把握する。次に、作業状態補正部32は、作業状態x(t)の荷物の有無と、荷物状態推定部31が出力した荷物状態g(t)とを比較する。作業状態補正部32は、両者の荷物の有無が一致している場合は、作業状態x(t)と同じ内容を補正後の作業状態s(t)とする。一方、作業状態補正部32は、両者の荷物の有無が食い違っている場合、荷物状態g(t)に合わせるように作業状態x(t)を補正する。例えば、作業状態推定部30が、荷物が有る作業状態(t-1)から、荷物が無い作業状態(t)へ遷移したこと推定する一方、荷物状態推定部31が、荷物が有る荷物状態g(t-1)と荷物が有る荷物状態g(t)とで遷移がないことを推定した場合、作業状態補正部32は、荷物が無い作業状態x(t)を補正して、荷物がある作業状態s(t)とする。なお、図3(a)の表のうち、同じ動作カテゴリーの中で誤った推定が生じやすい。例えば、「調整(Adjust heading)」という動作の中で、「作業状態4」と「作業状態11」とを誤り易い。従って、作業状態補正部32は、同じ動作カテゴリーの中で、荷物の有無を補正する。従って、「作業状態4」が誤っている場合は、作業状態補正部32は、「作業状態4」と同じ動作カテゴリーである「作業状態1」へ補正する。「作業状態11」が誤っている場合は、作業状態補正部32は、「作業状態11」と同じ動作カテゴリーである「作業状態4」という作業状態へ補正する。 The work state correction unit 32 corrects the work state based on the work state x(t) outputted by the work state estimation unit 30 and the cargo state g(t) outputted by the cargo state estimation unit 31. The subsequent working state s(t) is output. The work state correction unit 32 determines whether the work state x(t) output by the work state estimation unit 30 is a work state with baggage or a work state without baggage. Next, the work state correction section 32 compares the presence or absence of the cargo in the work state x(t) with the cargo state g(t) output by the cargo state estimation section 31. If the presence or absence of luggage is the same in both cases, the work state correction unit 32 sets the same content as the work state x(t) as the corrected work state s(t). On the other hand, if there is a discrepancy in the presence or absence of luggage, the work state correction unit 32 corrects the work state x(t) to match the luggage state g(t). For example, while the work state estimating unit 30 estimates that there has been a transition from the work state (t-1) in which there is luggage to the work state (t) in which there is no luggage, the work state estimation unit 31 estimates that the work state has transitioned from the work state (t-1) with luggage to the work state (t) in which there is luggage. If it is estimated that there is no transition between (t-1) and the baggage state g(t) with baggage, the work state correction unit 32 corrects the work state x(t) with no baggage, Let the working state be s(t). In addition, in the table of FIG. 3(a), erroneous estimation is likely to occur within the same motion category. For example, in an operation called "Adjust heading", it is easy to mistake "Working state 4" and "Working state 11". Therefore, the work state correction unit 32 corrects the presence or absence of luggage within the same action category. Therefore, if "Working state 4" is incorrect, the working state correction unit 32 corrects it to "Working state 1" which is in the same operation category as "Working state 4". If "Working state 11" is incorrect, the working state correction unit 32 corrects the working state to "Working state 4" which is in the same operation category as "Working state 11".

次に、図6を参照して、制御装置20による運転支援方法を示す処理内容の一例について説明する。図6に示す処理は、表示部17に運転支援映像が表示されており、且つ、オペレータが遠隔操作でフォークリフト1を操作しているときに行われる。図6に示すように、操作情報取得部18は、オペレータによる操作情報を取得する(ステップS10)。次に、作業状態推定部30は、ステップSで取得した操作情報に基づいて、作業状態を推定する(ステップS20)。次に、荷物状態推定部31は、ステップS20で推定された作業状態に基づいて、荷物状態を取得する(ステップS30)。次に、作業状態補正部32は、ステップS20で推定された作業状態、及びステップS30で推定された荷物状態に基づいて、作業状態を補正する(ステップS40)。次に、視点情報取得部50は、ステップS50で補正された作業状態に基づいて、視点情報を取得する(ステップS50)。次に、表示制御部22は、ステップS50で取得された視点情報に基づいて、表示部17で表示する運転支援映像を選択する(ステップS60)。 Next, with reference to FIG. 6, an example of processing contents showing a driving support method by the control device 20 will be described. The process shown in FIG. 6 is performed when the driving support video is displayed on the display unit 17 and the operator is operating the forklift 1 by remote control. As shown in FIG. 6, the operation information acquisition unit 18 acquires operation information by the operator (step S10). Next, the work state estimation unit 30 estimates the work state based on the operation information acquired in step S (step S20). Next, the baggage condition estimating unit 31 obtains the baggage condition based on the working condition estimated in step S20 (step S30). Next, the work state correction unit 32 corrects the work state based on the work state estimated in step S20 and the cargo state estimated in step S30 (step S40). Next, the viewpoint information acquisition unit 50 acquires viewpoint information based on the work state corrected in step S50 (step S50). Next, the display control unit 22 selects a driving support video to be displayed on the display unit 17 based on the viewpoint information acquired in step S50 (step S60).

次に、本実施形態に係る制御装置20の作用・効果について説明する。 Next, the functions and effects of the control device 20 according to this embodiment will be explained.

制御装置20は、機械学習を用いてフォークリフト1の作業状態を推定する作業状態推定部30を有する。従って、制御装置20は、機械学習によって、フォークリフト1の作業状態を推定するための推定指標を設計することができる。ここで、作業状態推定部30は、フォークリフト1に対する操作状態に関する操作情報の入力と、作業状態の正解データの入力により、機械学習を行う。このように、作業状態推定部30は、過去に実際に行われた操作情報の入力と、当該操作情報によってどのような作業状態となったかを示す正解データと、に基づいて機械学習を行うことができる。これにより、制御装置20は、過去の操作情報及び正解データを用いて機械学習を行うだけの工程により、フォークリフト1の作業状態を推定するための推定指標を取得することができる。また、当該推定指標は、過去の実際のデータに基づくものであるため、精度よく作業状態を推定することを可能とする。以上より、フォークリフト1の作業状態を推定するための推定指標を少ない工数で精度よく取得することができる。 The control device 20 includes a working state estimation unit 30 that estimates the working state of the forklift 1 using machine learning. Therefore, the control device 20 can design an estimation index for estimating the working state of the forklift 1 by machine learning. Here, the working state estimating unit 30 performs machine learning by inputting operation information regarding the operating state of the forklift 1 and inputting correct answer data regarding the working state. In this way, the work state estimating unit 30 performs machine learning based on the input of operation information that was actually performed in the past and the correct data indicating what kind of work state the operation information resulted in. I can do it. Thereby, the control device 20 can acquire an estimation index for estimating the working state of the forklift 1 by simply performing machine learning using past operation information and correct answer data. Further, since the estimation index is based on past actual data, it is possible to estimate the working state with high accuracy. As described above, the estimation index for estimating the working state of the forklift 1 can be obtained with high accuracy with a small number of man-hours.

作業状態推定部30は、現在の操作情報を入力されて、学習結果に基づいて、現在の作業状態を出力してよい。これにより、作業状態推定部30は、現在の操作情報を入力するだけで、現在の作業状態を容易に推定することができる。 The work state estimating unit 30 may receive current operation information and output the current work state based on the learning result. Thereby, the work state estimating unit 30 can easily estimate the current work state simply by inputting the current operation information.

制御装置20は、作業状態推定部30が出力した作業状態に基づいて、フォークリフト1が取り扱う荷物の状態に関する荷物状態を出力する荷物状態推定部31と、作業状態推定部30が出力した作業状態、及び荷物状態推定部31が出力した荷物状態に基づいて、作業状態を補正する作業状態補正部32と、を更に備えてよい。この場合、制御装置20は、フォークリフト1の荷物状態を考慮して補正を行うことで、作業状態の推定精度を向上することができる。 The control device 20 includes a load state estimation section 31 that outputs a load state related to the state of the load handled by the forklift 1 based on the work state outputted by the work state estimation section 30; and a work state correction section 32 that corrects the work state based on the cargo state output from the cargo state estimation section 31. In this case, the control device 20 can improve the accuracy of estimating the working state by performing the correction in consideration of the cargo state of the forklift 1.

図7を参照して、荷物状態推定部31及び作業状態補正部32の効果について説明する。図7(a)は、ある時刻における操作情報を、横軸に時系列的に示した場合の、作業状態推定部30が推定した作業状態の推定結果を示すグラフである。図7(b)は、作業状態推定部30が推定した作業状態を作業状態補正部32が補正を行った場合の推定結果を示すグラフである。図7(a)(b)の破線のグラフは、荷物の有無を示すグラフである。破線のグラフが上段に存在する場合は「荷物有り」の状態であり、下段に存在する場合は「荷物無し」の状態であることを示す。 With reference to FIG. 7, the effects of the cargo condition estimating section 31 and the working condition correcting section 32 will be explained. FIG. 7A is a graph showing the estimation result of the working state estimated by the working state estimating unit 30 when the operation information at a certain time is shown in time series on the horizontal axis. FIG. 7B is a graph showing the estimation result when the work state correction unit 32 corrects the work state estimated by the work state estimation unit 30. The broken line graphs in FIGS. 7(a) and 7(b) are graphs indicating the presence or absence of luggage. When the dashed line graph exists in the upper row, it indicates a state of "with luggage", and when it exists in the lower row, it indicates a state of "without luggage".

例えば、図7(a)では、荷物が無い状態でフォークの位置を合わせる「作業状態4」から、荷物がある状態でフォークの位置を合わせる「作業状態11」へ状態遷移したことが推定され、その後に荷物がある状態での荷役状態である「作業状態5」へ状態遷移したことが推定されている。このように、図7(a)において「FD」に示すように、急激に推定結果が局所変動している箇所は、作業状態推定部30が、一度誤った作業状態を推定し、その後、正しい作業状態を推定していることを示す。 For example, in FIG. 7(a), it is estimated that the state has transitioned from "Working state 4", in which the fork is adjusted in a state where there is no cargo, to "Working state 11", in which the fork is in position in a state in which there is a cargo, It is estimated that the state then transitioned to "work state 5", which is a cargo handling state with cargo present. In this way, as shown by "FD" in FIG. 7(a), in places where the estimation results rapidly fluctuate locally, the work state estimating unit 30 once estimates an incorrect work state, and then estimates the correct work state. Indicates that the working status is estimated.

これに対し、荷物状態推定部31は、「作業状態4」から「作業状態11」への状態遷移は、「NL:荷物無し」から「L:荷物有り」への遷移を禁止している。そのため、荷物状態推定部31は、荷物が有る「作業状態11」という作業状態推定部30の推定結果に対して、「NL:荷物無し」という荷物状態を作業状態補正部32へ出力する。これにより、作業状態補正部32は、荷物が有る「作業状態11」を、荷物状態推定部31の推定結果に合わせて荷物が無い「作業状態4」に補正する。これにより、図7(b)に示すように、「作業状態4」から「作業状態11」を介することなく、正しいタイミング、すなわち実際に「荷物有り」から「荷物無し」へ遷移したタイミングで「作業状態5」へ遷移したことを推定できる。これにより、図7(b)では、図7(a)の「FD」のように誤った作業状態の発生を抑制できる。 On the other hand, the baggage state estimating unit 31 prohibits the state transition from "work state 4" to "work state 11" and the transition from "NL: no baggage" to "L: baggage present". Therefore, the baggage state estimating unit 31 outputs the baggage state “NL: No baggage” to the work state correction unit 32 in response to the estimation result of the work state estimating unit 30 which is “Working state 11” where there is baggage. Thereby, the work state correction unit 32 corrects the “work state 11” in which there is baggage to the “work state 4” in which there is no baggage in accordance with the estimation result of the baggage state estimation unit 31. As a result, as shown in FIG. 7(b), "Working state 4" does not go through "Working state 11" at the correct timing, that is, the actual timing of transition from "With baggage" to "No baggage". It can be estimated that the state has transitioned to "Working state 5". Thereby, in FIG. 7(b), it is possible to suppress the occurrence of an erroneous working state like "FD" in FIG. 7(a).

操作情報は、アクセル操作量、タイヤ角、リフト操作量、リーチ操作量、ティルト操作量の少なくともいずれかを含んでよい。これらのパラメータは、フォークリフト1において作業者の意図を反映するパラメータである。作業状態推定部30は、操作情報として、このようなパラメータを用いることで、適切な機械学習を行う事ができる。 The operation information may include at least one of an accelerator operation amount, a tire angle, a lift operation amount, a reach operation amount, and a tilt operation amount. These parameters are parameters that reflect the intentions of the worker in the forklift 1. The work state estimation unit 30 can perform appropriate machine learning by using such parameters as operation information.

作業状態推定部30は、機械学習モデルM1としてLSTMを用い、学習データとして、時系列ごとに取得された操作情報によって機械学習を行ってよい。LSTMは、時系列ごとに取得された操作情報によって機械学習を行うにあたり、直近のデータのみならず、過去にさかのぼったデータも考慮した学習を行うことができる。そのため、作業状態推定部30は、より精度の高い推定指標を取得することができる。 The work state estimating unit 30 may perform machine learning using LSTM as the machine learning model M1 and using operation information acquired for each time series as learning data. When performing machine learning using operation information acquired for each time series, LSTM can perform learning that takes into account not only the most recent data but also data from the past. Therefore, the work state estimating unit 30 can obtain a more accurate estimation index.

本実施例に係る運転支援システム100(産業車両の制御システム)は、上述の産業車両の制御装置1を有する。 The driving support system 100 (industrial vehicle control system) according to this embodiment includes the above-described industrial vehicle control device 1.

本実施形態に係る産業車両の制御装置のプログラムは、上述の産業車両の制御装置20に用いられる。 The program for the industrial vehicle control device according to this embodiment is used in the industrial vehicle control device 20 described above.

具体的に、産業車両の制御装置のプログラムは、機械学習を用いて産業車両の作業状態を推定する作業状態推定ステップをコンピュータシステムに実行させる。作業状態推定部ステップでは、産業車両に対する操作状態に関する操作情報の入力と、作業状態の正解データの入力により、機械学習が行われる。 Specifically, the program of the industrial vehicle control device causes the computer system to execute a working state estimation step of estimating the working state of the industrial vehicle using machine learning. In the working state estimating unit step, machine learning is performed by inputting operation information regarding the operating state of the industrial vehicle and inputting correct answer data for the working state.

これらの産業車両の制御システム、及び産業車両の制御装置20のプログラムは、上述の産業車両の制御装置20と同趣旨の作用・効果を得ることができる。 These industrial vehicle control systems and the programs of the industrial vehicle control device 20 can obtain the same functions and effects as the industrial vehicle control device 20 described above.

図8を参照して、本実施形態に係る制御装置20を用いて作業状態の推定を行った場合の実験結果について説明する。ここでは、特定の作業パターンに対して、実際の作業状態と推定結果とが一致した割合(正解率)を算出した。図8のうち、実線のグラフG1が推定結果を示し、破線のグラフG2が実際の作業状態を示す。図8に示すグラフのうち、グラフG1,G2が重なっている箇所では推定結果が実際の作業状態と一致しており、グラフG1、G2が重なっていない箇所では推定結果が実際の作業状態と一致していないことを示す。複数のオペレータを準備し、44回の作業データを取得し、全44回の正解率について平均値を算出して評価を行った。機械学習を用いずに設計した作業状態モデルを用いた推定結果に対し、実施形態に係る制御装置20の推定結果に係る正解率は約10%向上した。 Referring to FIG. 8, experimental results will be described when a working state is estimated using the control device 20 according to this embodiment. Here, for a specific work pattern, the percentage of agreement between the actual work state and the estimated result (accuracy rate) was calculated. In FIG. 8, a solid line graph G1 shows the estimation result, and a broken line graph G2 shows the actual working state. Among the graphs shown in Fig. 8, the estimated results match the actual working conditions in the locations where graphs G1 and G2 overlap, and the estimated results match the actual working conditions in locations where the graphs G1 and G2 do not overlap. Indicates that the A plurality of operators were prepared, work data was acquired 44 times, and the average value of the correct answer rate for all 44 times was calculated and evaluated. The accuracy rate of the estimation results of the control device 20 according to the embodiment improved by about 10% compared to the estimation results using a work state model designed without using machine learning.

以上、本発明の好適な実施形態について幾つか説明してきたが、本発明は、上記実施形態に限定されるものではない。 Although some preferred embodiments of the present invention have been described above, the present invention is not limited to the above embodiments.

上述の実施形態では、運転支援システムは、遠隔操作時のオペレータの作業を支援していたが、産業車両を有人操作するときに支援を行ってもよい。また、オペレータが産業車両のシミュレーション運転を行うときの支援を行ってもよい。 In the embodiments described above, the driving support system supports the operator's work during remote operation, but may also support when the industrial vehicle is operated by a man. Further, support may be provided when an operator performs a simulation operation of an industrial vehicle.

産業車両は、フォークリフトに限定されず、トーイングトラクター、スキッドステアローダーなどが採用されてもよい。 The industrial vehicle is not limited to a forklift, and a towing tractor, skid steer loader, etc. may also be employed.

[形態1]
産業車両の作業状態を推定するための制御装置であって、
機械学習を用いて前記産業車両の前記作業状態を推定する作業状態推定部を有し、
前記作業状態推定部は、前記産業車両に対する操作状態に関する操作情報の入力と、前記作業状態の正解データの入力により、機械学習を行う、産業車両の制御装置。
[Form 1]
A control device for estimating the working state of an industrial vehicle, the control device comprising:
a working state estimation unit that estimates the working state of the industrial vehicle using machine learning;
The working state estimating unit is an industrial vehicle control device that performs machine learning by inputting operation information regarding the operating state of the industrial vehicle and inputting correct answer data for the working state.

[形態2]
前記作業状態推定部は、現在の前記操作情報を入力されて、学習結果に基づいて、現在の前記作業状態を出力する、形態1に記載の産業車両の制御装置。
[Form 2]
The industrial vehicle control device according to embodiment 1, wherein the work state estimating unit receives the current operation information and outputs the current work state based on a learning result.

[形態3]
前記作業状態推定部が出力した前記作業状態に基づいて、前記産業車両が取り扱う荷物の状態に関する荷物状態を出力する荷物状態推定部と、
前記作業状態推定部が出力した前記作業状態、及び前記荷物状態推定部が出力した前記荷物状態に基づいて、前記作業状態を補正する作業状態補正部と、を更に備える、形態1又は2に記載の産業車両の制御装置。
[Form 3]
a cargo state estimating section that outputs a cargo state related to the state of cargo handled by the industrial vehicle based on the working state outputted by the working state estimating section;
According to form 1 or 2, the method further includes a working state correction unit that corrects the working state based on the working state outputted by the working state estimating unit and the cargo state outputted by the cargo state estimating unit. control equipment for industrial vehicles.

[形態4]
前記操作情報は、アクセル操作量、タイヤ角、リフト操作量、リーチ操作量、ティルト操作量の少なくともいずれかを含む、形態1~3の何れか一項に記載の産業車両の制御装置。
[Form 4]
The control device for an industrial vehicle according to any one of modes 1 to 3, wherein the operation information includes at least one of an accelerator operation amount, a tire angle, a lift operation amount, a reach operation amount, and a tilt operation amount.

[形態5]
前記作業状態推定部は、機械学習モデルとしてLSTMを用い、学習データとして、時系列ごとに取得された前記操作情報によって機械学習を行う、形態1~4の何れか一項に記載の産業車両の制御装置。
[Form 5]
The industrial vehicle according to any one of modes 1 to 4, wherein the work state estimating unit uses LSTM as a machine learning model and performs machine learning using the operation information acquired for each time series as learning data. Control device.

[形態6]
形態1~5の何れか一項に記載の産業車両の制御装置を有する産業車両の制御システム。
[Form 6]
An industrial vehicle control system comprising the industrial vehicle control device according to any one of Embodiments 1 to 5.

[形態7]
請求項1~5の何れか一項に記載の産業車両の制御装置に用いられる産業車両の制御装置のプログラム。
[Form 7]
A program for an industrial vehicle control device used in the industrial vehicle control device according to any one of claims 1 to 5.

1…フォークリフト、30…作業状態推定部、31…荷物状態推定部、32…作業状態補正部、100…運転支援システム(産業車両の制御システム)。 DESCRIPTION OF SYMBOLS 1... Forklift, 30... Work state estimation part, 31... Load state estimation part, 32... Work state correction part, 100... Driving support system (control system of industrial vehicle).

Claims (7)

産業車両の作業状態を推定するための制御装置であって、
機械学習を用いて前記産業車両の前記作業状態を推定する作業状態推定部を有し、
前記作業状態推定部は、前記産業車両に対する操作状態に関する操作情報の入力と、前記作業状態の正解データの入力により、機械学習を行う、産業車両の制御装置。
A control device for estimating the working state of an industrial vehicle, the control device comprising:
a working state estimation unit that estimates the working state of the industrial vehicle using machine learning;
The working state estimating unit is an industrial vehicle control device that performs machine learning by inputting operation information regarding the operating state of the industrial vehicle and inputting correct answer data for the working state.
前記作業状態推定部は、現在の前記操作情報を入力されて、学習結果に基づいて、現在の前記作業状態を出力する、請求項1に記載の産業車両の制御装置。 The control device for an industrial vehicle according to claim 1, wherein the work state estimator receives the current operation information and outputs the current work state based on a learning result. 前記作業状態推定部が出力した前記作業状態に基づいて、前記産業車両が取り扱う荷物の状態に関する荷物状態を出力する荷物状態推定部と、
前記作業状態推定部が出力した前記作業状態、及び前記荷物状態推定部が出力した前記荷物状態に基づいて、前記作業状態を補正する作業状態補正部と、を更に備える、請求項1に記載の産業車両の制御装置。
a cargo state estimating section that outputs a cargo state related to the state of cargo handled by the industrial vehicle based on the working state outputted by the working state estimating section;
The work state correction unit according to claim 1, further comprising: a work state correction unit that corrects the work state based on the work state outputted by the work state estimation unit and the cargo state outputted by the cargo state estimation unit. Control equipment for industrial vehicles.
前記操作情報は、アクセル操作量、タイヤ角、リフト操作量、リーチ操作量、ティルト操作量の少なくともいずれかを含む、請求項1に記載の産業車両の制御装置。 The control device for an industrial vehicle according to claim 1, wherein the operation information includes at least one of an accelerator operation amount, a tire angle, a lift operation amount, a reach operation amount, and a tilt operation amount. 前記作業状態推定部は、機械学習モデルとしてLSTMを用い、学習データとして、時系列ごとに取得された前記操作情報によって機械学習を行う、請求項1に記載の産業車両の制御装置。 The control device for an industrial vehicle according to claim 1, wherein the work state estimating unit uses LSTM as a machine learning model and performs machine learning using the operation information acquired for each time series as learning data. 請求項1~5の何れか一項に記載の産業車両の制御装置を有する産業車両の制御システム。 An industrial vehicle control system comprising the industrial vehicle control device according to any one of claims 1 to 5. 請求項1~5の何れか一項に記載の産業車両の制御装置に用いられる産業車両の制御装置のプログラム。 A program for an industrial vehicle control device used in the industrial vehicle control device according to any one of claims 1 to 5.
JP2022067070A 2022-04-14 2022-04-14 Industrial vehicle control device, industrial vehicle control system and program for industrial vehicle control device Pending JP2023157271A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022067070A JP2023157271A (en) 2022-04-14 2022-04-14 Industrial vehicle control device, industrial vehicle control system and program for industrial vehicle control device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022067070A JP2023157271A (en) 2022-04-14 2022-04-14 Industrial vehicle control device, industrial vehicle control system and program for industrial vehicle control device

Publications (1)

Publication Number Publication Date
JP2023157271A true JP2023157271A (en) 2023-10-26

Family

ID=88469304

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022067070A Pending JP2023157271A (en) 2022-04-14 2022-04-14 Industrial vehicle control device, industrial vehicle control system and program for industrial vehicle control device

Country Status (1)

Country Link
JP (1) JP2023157271A (en)

Similar Documents

Publication Publication Date Title
US20060149421A1 (en) Robot controller
EP2984532B1 (en) Vehicle and operator guidance by pattern recognition
CN106133751A (en) For the method and apparatus running vehicle
EP1587162B1 (en) Self-calibrating sensor orienting system
CN110796118B (en) Method for obtaining attitude adjustment parameters of transportation equipment, transportation equipment and storage medium
JP2005305633A (en) Self-calibrating orienting system for operation device
US20150177730A1 (en) Robot, robot control method and robot control program
CN110816522B (en) Vehicle attitude control method, apparatus, and computer-readable storage medium
JP2023157271A (en) Industrial vehicle control device, industrial vehicle control system and program for industrial vehicle control device
CN114260899A (en) Hand-eye calibration method and device, electronic equipment and computer readable storage medium
US20200307575A1 (en) Vehicle comprising a working equipment, and a working equipment, and a method in relation thereto
US6512528B1 (en) Method of displaying images with a touchpanel for a molded form-take out robot
JP2023157654A (en) Industrial vehicle control device, industrial vehicle control system and program for industrial vehicle control device
EP4099126A2 (en) Systems and methods for material handling vehicle travel control based on speed and steering angle detection
US11919171B2 (en) Robot controller
WO2021132477A1 (en) Own-position estimating device, moving body, own-position estimating method, and own-position estimating program
US11718509B2 (en) Vehicle comprising a working equipment, and a working equipment, and a method in relation thereto
JP7496553B2 (en) Work support device, database creation device, work support system, and work support method
CN117509487A (en) Fork truck, control method and device of fork truck and computer equipment
CN111077852B (en) Rotation control method, rotation control device, computer equipment and storage medium
JP6670351B2 (en) Map updating device and map updating method
EP4071574A1 (en) Self-position estimation device, moving body, self-position estimation method, and self-position estimation program
JP7468396B2 (en) Self-location estimation device, moving body, self-location estimation method, and self-location estimation program
US20220388167A1 (en) Method, computer program product and robot controller for configuring a robot-object system environment, and robot
CN114972504A (en) Scheduling abnormity detection method, device, equipment and storage medium