JP2023157271A - Industrial vehicle control device, industrial vehicle control system and program for industrial vehicle control device - Google Patents
Industrial vehicle control device, industrial vehicle control system and program for industrial vehicle control device Download PDFInfo
- Publication number
- JP2023157271A JP2023157271A JP2022067070A JP2022067070A JP2023157271A JP 2023157271 A JP2023157271 A JP 2023157271A JP 2022067070 A JP2022067070 A JP 2022067070A JP 2022067070 A JP2022067070 A JP 2022067070A JP 2023157271 A JP2023157271 A JP 2023157271A
- Authority
- JP
- Japan
- Prior art keywords
- state
- industrial vehicle
- control device
- work
- work state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010801 machine learning Methods 0.000 claims abstract description 43
- 238000012937 correction Methods 0.000 claims description 24
- 238000000034 method Methods 0.000 abstract description 6
- 230000008569 process Effects 0.000 abstract description 4
- 230000007704 transition Effects 0.000 description 25
- 238000010586 diagram Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000002360 preparation method Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Images
Landscapes
- Forklifts And Lifting Vehicles (AREA)
Abstract
Description
本発明は、産業車両の制御装置、産業車両の制御システム、及び産業車両の制御装置のプログラムに関するものである。 The present invention relates to an industrial vehicle control device, an industrial vehicle control system, and a program for the industrial vehicle control device.
産業車両の制御装置として、例えば特許文献1に記載されているものが知られている。特許文献1に記載の産業車両の制御装置は、産業車両に対する操作情報に基づいて産業車両の作業状態を推定し、当該作業状態の推定結果に基づいて産業車両を制御する。
2. Description of the Related Art As a control device for an industrial vehicle, for example, one described in
制御装置が作業状態を推定するために、各作業状態へ状態遷移するときの遷移条件や遷移閾値などの推定指標を設定した作業状態推定モデルを構築する。しかし、作業状態の推定のための推定指標を設計することは、設計作業が困難であり、精度を向上することが難しく、且つ設計のための工数が膨大になるという問題があった。 In order for the control device to estimate the work state, a work state estimation model is constructed in which estimation indicators such as transition conditions and transition thresholds for state transition to each work state are set. However, designing an estimation index for estimating a working state has the problem that the design work is difficult, it is difficult to improve accuracy, and the number of man-hours for design is enormous.
本発明の目的は、産業車両の作業状態を推定するための推定指標を少ない工数で精度よく取得することができる産業車両の制御装置、産業車両の制御システム、及び産業車両の制御装置のプログラムを提供することである。 An object of the present invention is to provide an industrial vehicle control device, an industrial vehicle control system, and a program for an industrial vehicle control device that can accurately acquire estimation indicators for estimating the working state of an industrial vehicle with a small number of man-hours. It is to provide.
本発明の一側面に係る産業車両の制御装置は、産業車両の作業状態を推定するための制御装置であって、 機械学習を用いて産業車両の作業状態を推定する作業状態推定部を有し、作業状態推定部は、産業車両に対する操作状態に関する操作情報の入力と、作業状態の正解データの入力により、機械学習を行う。 A control device for an industrial vehicle according to one aspect of the present invention is a control device for estimating a working state of an industrial vehicle, and includes a working state estimation unit that estimates a working state of the industrial vehicle using machine learning. The working state estimating unit performs machine learning by inputting operation information regarding the operating state of the industrial vehicle and inputting correct answer data regarding the working state.
産業車両の制御装置は、機械学習を用いて産業車両の作業状態を推定する作業状態推定部を有する。従って、制御装置は、機械学習によって、産業車両の作業状態を推定するための推定指標を設計することができる。ここで、作業状態推定部は、産業車両に対する操作状態に関する操作情報の入力と、作業状態の正解データの入力により、機械学習を行う。このように、作業状態推定部は、過去に実際に行われた操作情報の入力と、当該操作情報によってどのような作業状態となったかを示す正解データと、に基づいて機械学習を行うことができる。これにより、制御装置は、過去の操作情報及び正解データを用いて機械学習を行うだけの工程により、産業車両の作業状態を推定するための推定指標を取得することができる。また、当該推定指標は、過去の実際のデータに基づくものであるため、精度よく作業状態を推定することを可能とする。以上より、産業車両の作業状態を推定するための推定指標を少ない工数で精度よく取得することができる。 A control device for an industrial vehicle includes a working state estimation unit that estimates a working state of the industrial vehicle using machine learning. Therefore, the control device can design an estimation index for estimating the working state of the industrial vehicle through machine learning. Here, the working state estimating unit performs machine learning by inputting operation information regarding the operating state of the industrial vehicle and inputting correct answer data regarding the working state. In this way, the work state estimation unit can perform machine learning based on the input of operation information that was actually performed in the past and the correct data that indicates what kind of work state the operation information resulted in. can. Thereby, the control device can acquire an estimation index for estimating the working state of the industrial vehicle through the process of simply performing machine learning using past operation information and correct answer data. Further, since the estimation index is based on past actual data, it is possible to estimate the working state with high accuracy. As described above, an estimation index for estimating the working state of an industrial vehicle can be obtained with high precision with a small number of man-hours.
作業状態推定部は、現在の操作情報を入力されて、学習結果に基づいて、現在の作業状態を出力してよい。これにより、作業状態推定部は、現在の操作情報を入力するだけで、現在の作業状態を容易に推定することができる。 The work state estimation unit may receive current operation information and output the current work state based on the learning result. Thereby, the work state estimation section can easily estimate the current work state simply by inputting the current operation information.
産業車両の制御装置は、作業状態推定部が出力した作業状態に基づいて、産業車両が取り扱う荷物の状態に関する荷物状態を出力する荷物状態推定部と、作業状態推定部が出力した作業状態、及び荷物状態推定部が出力した荷物状態に基づいて、作業状態を補正する作業状態補正部と、を更に備えてよい。この場合、制御装置は、産業車両の荷物状態を考慮して補正を行うことで、作業状態の推定精度を向上することができる。 The control device for the industrial vehicle includes a load state estimating section that outputs a load state related to the state of the load handled by the industrial vehicle based on the work state output from the work state estimating section, a work state outputted by the work state estimating section, and The apparatus may further include a working state correction section that corrects the working state based on the cargo state outputted by the cargo state estimating section. In this case, the control device can improve the accuracy of estimating the working state by performing correction in consideration of the cargo state of the industrial vehicle.
操作情報は、アクセル操作量、タイヤ角、リフト操作量、リーチ操作量、ティルト操作量の少なくともいずれかを含んでよい。これらのパラメータは、産業車両において作業者の意図を反映するパラメータである。作業状態推定部は、操作情報として、このようなパラメータを用いることで、適切な機械学習を行う事ができる。 The operation information may include at least one of an accelerator operation amount, a tire angle, a lift operation amount, a reach operation amount, and a tilt operation amount. These parameters are parameters that reflect the intentions of workers in industrial vehicles. The work state estimation unit can perform appropriate machine learning by using such parameters as operation information.
作業状態推定部は、機械学習モデルとしてLSTMを用い、学習データとして、時系列ごとに取得された操作情報によって機械学習を行ってよい。LSTMは、時系列ごとに取得された操作情報によって機械学習を行うにあたり、直近のデータのみならず、過去にさかのぼったデータも考慮した学習を行うことができる。そのため、作業状態推定部は、より精度の高い推定指標を取得することができる。 The work state estimation unit may perform machine learning using LSTM as a machine learning model and using operation information acquired for each time series as learning data. When performing machine learning using operation information acquired for each time series, LSTM can perform learning that takes into account not only the most recent data but also data from the past. Therefore, the work state estimation unit can obtain a more accurate estimation index.
本発明の一側面に係る産業車両の制御システムは、上述の産業車両の制御装置を有する。 An industrial vehicle control system according to one aspect of the present invention includes the above-described industrial vehicle control device.
本発明の一側面に係る産業車両の制御装置のプログラムは、上述の産業車両の制御装置に用いられる。 A program for an industrial vehicle control device according to one aspect of the present invention is used in the above-mentioned industrial vehicle control device.
これらの産業車両の制御システム、及び産業車両の制御装置のプログラムは、上述の産業車両の制御装置と同趣旨の作用・効果を得ることができる。 These industrial vehicle control systems and industrial vehicle control device programs can obtain the same functions and effects as the industrial vehicle control device described above.
本発明によれば、産業車両の作業状態を推定するための作業状態推定モデルを低工数で精度よく取得することができる産業車両の制御装置、産業車両の制御システム、及び産業車両の制御装置のプログラムを提供することができる。 According to the present invention, there is provided an industrial vehicle control device, an industrial vehicle control system, and an industrial vehicle control device capable of accurately acquiring a working state estimation model for estimating the working state of an industrial vehicle with low man-hours. programs can be provided.
以下、本発明の好適な実施形態について、図面を参照して詳細に説明する。なお、図面において、同一または同等の要素には同じ符号を付し、重複する説明を省略する。 Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the drawings. In addition, in the drawings, the same or equivalent elements are given the same reference numerals, and overlapping explanations will be omitted.
図1は、本発明の実施形態に係る制御装置20を含む運転支援システム100(産業車両の制御システム)を示すブロック図である。運転支援システム100は、産業車両の遠隔操作を行うためのシステムである。図1に示すように、運転支援システム100は、フォークリフト1(産業車両)と、遠隔操作装置2と、を備える。
FIG. 1 is a block diagram showing a driving support system 100 (industrial vehicle control system) including a
フォークリフト1は、運転制御部11と、複数の撮影部12と、を備える。運転制御部11は、遠隔操作装置2からの指令信号を受信し、当該指令信号に基づいて運転制御、及び操舵制御を行う。複数の撮影部12は、フォークリフト1の各部位に設けられ、フォークリフト1の周辺環境を撮影する。撮影部12は、作業支援に用いられる支援情報として、撮影した映像を取得して、後述の表示制御部22へ送信する。複数の撮影部12の取り付け位置の例を、図2(a)に示す。撮影部12は、フォークリフト1の車体の前端、幅方向の端部、天井などに設けられる。なお、図2(b)に示すようにXYZ座標を設定した場合、各箇所における撮影部12は、X軸、Y軸、Z軸の各軸まわりに傾いた状態で設置されてよい。図2(a)では、八箇所に撮影部12が設けられ、それぞれ異なる箇所の映像を取得する。
The
図1に示すように、遠隔操作装置2は、記憶部15と、操作部16と、表示部17と、操作情報取得部18と、制御装置20と、を備える。記憶部15は、各種情報を記憶する装置である。操作部16は、オペレータがフォークリフト1を遠隔操作するため操作を入力するためのユーザーインターフェースである。表示部17は、映像を出力するためのユーザーインターフェースである。表示部17は、互いに異なる映像を出力することができる第1領域D1、第2領域D2、及び第3領域D3を有している。
As shown in FIG. 1, the
操作情報取得部18は、オペレータの操作対象(ここでは操作部16)を操作している場合における、操作情報を取得する。操作情報取得部18は、例えば、操作部16の操作レバーに設けられたセンサ、または操作部16の操作内容を示す信号に基づいて操作内容を検知する手段などによって構成される。
The operation
制御装置20は、遠隔操作装置2全体を制御する制御部である。制御装置20は、遠隔操作装置2を統括的に管理するECU[Electronic Control Unit]を備えている。ECUは、CPU[Central Processing Unit]、ROM[Read Only Memory]、RAM[Random Access Memory]、CAN[Controller Area Network]、通信回路等を有する電子制御ユニットである。ECUでは、例えば、ROMに記憶されているプログラムをRAMにロードし、RAMにロードされたプログラムをCPUで実行することにより各種の機能を実現する。制御装置20は、運転指令部21と、表示制御部22と、作業状態取得部23と、視点情報取得部26と、を備える。
The
運転指令部21は、操作部16で入力された操作に基づく指令信号を生成して、運転制御部11へ送信するユニットである。
The driving
表示制御部22は、表示部17の表示内容を制御するユニットである。表示制御部22は、オペレータの遠隔操作の作業を支援するための情報を表示部17に表示させる。表示制御部22は、記憶部15のデータベースの情報を用いて表示部17の第1領域D1、第2領域D2、及び第3領域D3の表示内容を制御する。
The
表示制御部22は、視点情報取得部26で取得された視点情報に基づいて、表示部17に表示させる映像を選択する。第1領域D1及び第2領域D2は、特定の映像を大きく表示する大画面部であり、複数の撮影部12の映像の中から、表示制御部22が選択した撮影部12の映像が表示される。第3領域D3は、複数の映像を小さく表示させる小画面部に該当し、フォークリフト1上の全ての撮影部12からの映像を、周囲確認のための環境情報として表示する。
The
例えば、図3(a)は、フォークリフト8の作業状態を定義した表である。ここでは作業状態の一例として、「停止(Stop)」、「前進(Move fwd)」、「棚への接近(Approach)」、「調整(Adjust heading)」、「荷役(Load/Unload)」、「走行準備(Retreat)」、「後進(Move reverse)」という、フォークリフト3の走行や、荷物の取り出し/荷降ろし作業に関する七つの状態について、荷物ありの状態(Load)と、荷物無しの状態(NoLoad)とで分けることで、合計14個の作業状態を定義している。フォークリフト3の走行は、「停止(Stop)」、「前進(Move fwd)」、「棚への接近(Approach)」、「走行準備(Retreat)」、「後進(Move reverse)」が該当し、荷物の取り出し/荷降ろし作業は「調整(Adjust heading)」、「荷役(Load/Unload)」が該当する。各作業状態の定義や数は上記に限定されず、適宜変更可能である。また、フォークリフト3(産業車両)の走行に関するもののみで作業状態を定義してもよい。図3(b)は、フォークリフト1が棚SFからの荷物の取り出し及び荷降ろしを行う際の、各作業状態を示した模式図である。記憶部15のデータベースでは、各作業状態と、作業状態において確認すべき箇所を映すことができる撮影部12とが紐付けられている。従って、表示制御部22は、オペレータが操作しているフォークリフト1の作業状態に合わせて、第1領域D1及び第2領域D2に、特に確認すべき箇所の映像を大画面で映すことができる。なお、運転支援のために表示制御部22の制御によって表示部17に表示された映像を「運転支援映像」と称する場合がある。
For example, FIG. 3(a) is a table defining the working status of the
運転支援映像の適切な切替タイミングに関して、オペレータによって個体差が存在する。また、フォークリフト1で行っている作業状態が遷移したら、表示部17で表示すべき映像が切り替わる。当該事情に鑑みて、作業状態取得部23、及び視点情報取得部26は、運転支援映像をオペレータ個人に適合すると共に、作業状態の状態遷移に対応した処理を行う。
There are individual differences among operators regarding the appropriate switching timing of driving support images. Further, when the state of the work performed by the
作業状態取得部23は、フォークリフト1で行っている作業状態を取得する。作業状態取得部23は、操作情報取得部18で取得された操作情報に基づいて、作業状態を取得する。作業状態取得部23は、各作業状態へ状態遷移するときの遷移条件や遷移閾値などの推定指標を設定した作業状態推定モデルを用いて作業状態を取得する。作業状態取得部23は、記憶部15に記憶された作業状態推定モデルを取得してよい。作業状態取得部23の詳細については、後述する。作業状態取得部23は、取得した作業状態を視点情報取得部26へ送信する。
The work
視点情報取得部26は、作業状態取得部23で取得された作業状態に基づいて、オペレータの視点を取得する。ここで、記憶部15は、フォークリフト1の作業状態と、オペレータの視線に基づく視線情報とが紐付けられたデータベースを有する。従って、視点情報取得部26は、フォークリフト1の作業状態とデータベースとを照合することで、作業状態に対応する視線情報を取得する。視点情報取得部26は、取得した視点情報を表示制御部22へ送信する。これにより、表示制御部22は、視点情報に基づいて表示部17へ表示される映像を制御し、フォークリフト1の作業状態、及びオペレータ個人に対して最適な映像を表示することができる。
The viewpoint
次に、図4を参照して、作業状態取得部23の詳細な構成について説明する。図4は、作業状態取得部23の構成を示すブロック図である。図4に示すように、作業状態取得部23は、作業状態推定部30と、荷物状態推定部31と、作業状態補正部32と、を備える。
Next, with reference to FIG. 4, the detailed configuration of the work
作業状態推定部30は、機械学習を用いてフォークリフト1の作業状態を推定する。作業状態推定部30は、現在の操作情報u(t)を入力されて、学習結果に基づいて、現在の作業状態x(t)を出力する。作業状態推定部30は、機械学習モデルM1を有する。
The working
作業状態として、図3(a)に示す「1」~「14」の分類が用いられる。操作情報は、アクセル操作量、タイヤ角、リフト操作量、リーチ操作量、ティルト操作量の少なくともいずれかを含む。アクセル操作量は、フォークリフト1のアクセルの操作量を示すパラメータであり、アクセル操作量が大きいほどフォークリフト1の車速が速いことを示す。タイヤ角は、フォークリフト1のタイヤの旋回角を示すパラメータであり、タイヤ角が大きいほど、フォークリフト1が大きく旋回することを示す。リフト操作量は、フォークリフト1のフォークをリフトする操作の操作量を示すパラメータであり、リフト操作量が大きいほど、大きくフォークをリフトすることを示す。リーチ操作量は、フォークリフト1のフォークを前方に延ばす操作の操作量を示すパラメータであり、リーチ操作量が大きいほど、大きくフォークを前方へ動かすことを意味する。ティルト操作量は、フォークリフト1のフォークを傾ける操作の操作量を示すパラメータであり、ティルト操作量が大きいほど、大きくフォークを傾けることを意味する。
As the work status, classifications "1" to "14" shown in FIG. 3(a) are used. The operation information includes at least one of an accelerator operation amount, a tire angle, a lift operation amount, a reach operation amount, and a tilt operation amount. The accelerator operation amount is a parameter indicating the operation amount of the accelerator of the
作業状態推定部30は、各作業状態へ状態遷移するときの遷移条件や遷移閾値などの推定指標を設定した作業状態推定モデルと、入力された現在の操作情報u(t)とを照らし合わせることで、現在の作業状態x(t)を推定して出力する。作業状態推定モデルには、上述の操作情報のうち、どのパラメータがどの程度大きく(小さく)なったら、ある作業状態から他の作業状態へ遷移するかが設定されている。例えば、図3(b)に示すように、「作業状態4」の「調整(Adjust heading)」ではフォークリフト1が大きく旋回している状態であり、「作業状態5」の「荷役(Load)」ではフォークリフト1の車速が遅く徐行している状態である。従って、作業状態推定部30は、アクセル操作量が大きく、且つタイヤ角が大きい状態から、各パラメータが所定の閾値を下回る状態となったら、「作業状態4」から「作業状態5」へ遷移したものと推定できる。このような作業状態推定モデルは、機械学習によって、オペレータの過去の運転実績に基づいて、当該オペレータにとって最適な推定指標が設定される。なお、オペレータごとに個別の作業状態推定モデルが作成されてもよいし、個別のオペレータに限定されない作業状態推定モデルが作成されてもよい。作業状態推定モデルは記憶部15に記憶されており、作業状態推定部30は、必要なタイミングで、記憶部15からオペレータに対応する適切な作業状態推定モデルを取得する。
The work
図5は、学習時における作業状態推定部30の様子を示すブロック図である。図5に示すように、作業状態推定部30は、フォークリフト1に対する操作状態に関する操作情報の入力と、作業状態の正解データの入力により、機械学習を行う。図5に示す機械学習の処理は、実際のフォークリフト1の遠隔操作が行われる前段階で、予め行われてよい。操作情報及び正解データとして、予め準備されたデータが用いられる。例えば、実験室などで実際にフォークリフト1の運転を行い、ある時刻における操作情報と、その時刻における実際の作業状態とを紐づけた状態で、データの取得を行う。このときの実際の作業状態が正解データとなる。
FIG. 5 is a block diagram showing the state of the work
作業状態推定部30は、機械学習モデルM1としてLSTM(Long Short Term Memory)を用いてよい。このとき、作業状態推定部30は、学習データとして、時系列ごとに取得された操作情報によって機械学習を行ってよい。時系列ごとに取得された操作情報は、例えば、「時刻0」から「時刻T」までの所定間隔で取得された「操作情報u(t)及び正解作業状態y(t)」のデータ群によって構成される。作業状態推定部30は、機械学習モデルM1として、時系列ごとに取得された操作情報に対応することができるRNN(Recurrent Neural Network:再帰型ニューラルネットワーク)を用いてもよい。
The work
図4へ戻り、荷物状態推定部31は、作業状態推定部30が出力した作業状態x(t)に基づいて、フォークリフト1が取り扱う荷物の状態に関する荷物状態g(t)を出力する。荷物状態推定部31は、予め作成された荷物状態推定モデル(状態遷移モデル)M2を有する。荷物状態推定部31は、記憶部15から荷物状態推定モデルM2を取得する。荷物状態推定部31は、推定された作業状態x(t)を荷物状態推定モデルM2に照らし合わせることで、荷物状態g(t)を推定する。荷物状態g(t)は、「NL:NoLoad(荷物無し)」または「L:Load(荷物有り)」の何れかを示す。荷物状態推定部31は、推定した荷物状態g(t)を作業状態補正部32へ出力する。
Returning to FIG. 4, the cargo
荷物状態推定モデルM2では、指定された作業状態以外での、荷物状態の遷移を禁止している。例えば、図3の例では、「作業状態5」では、フォークリフト1は荷物が無い状態で棚SFに近づき、荷物を受け取ったら「作業状態6」の走行準備の作業状態へ遷移している。この場合、荷物状態推定モデルM2では、「作業状態5」から「作業状態6」へ状態遷移する場合に、「NL:荷物無し」から「L:荷物有り」へ遷移することを許容し、それ以外での遷移を禁止している。また、「作業状態12」では、フォークリフト1は荷物が有る状態で棚SFに近づき、荷物を棚SFに降ろしたら「作業状態13」の走行準備の作業状態へ遷移している。この場合、荷物状態推定モデルM2では、「作業状態12」から「作業状態13」へ状態遷移する場合に、「L:荷物有り」から「NL:荷物無し」へ遷移することを許容し、それ以外での遷移を禁止している。
The baggage state estimation model M2 prohibits the baggage state from changing outside of the specified working state. For example, in the example of FIG. 3, in "
作業状態補正部32は、作業状態推定部30が出力した作業状態x(t)、及び荷物状態推定部31が出力した荷物状態g(t)に基づいて、作業状態を補正することで、補正後の作業状態s(t)を出力する。作業状態補正部32は、作業状態推定部30が出力した作業状態x(t)が荷物を有する作業状態であるか、荷物が無い作業状態であるかを把握する。次に、作業状態補正部32は、作業状態x(t)の荷物の有無と、荷物状態推定部31が出力した荷物状態g(t)とを比較する。作業状態補正部32は、両者の荷物の有無が一致している場合は、作業状態x(t)と同じ内容を補正後の作業状態s(t)とする。一方、作業状態補正部32は、両者の荷物の有無が食い違っている場合、荷物状態g(t)に合わせるように作業状態x(t)を補正する。例えば、作業状態推定部30が、荷物が有る作業状態(t-1)から、荷物が無い作業状態(t)へ遷移したこと推定する一方、荷物状態推定部31が、荷物が有る荷物状態g(t-1)と荷物が有る荷物状態g(t)とで遷移がないことを推定した場合、作業状態補正部32は、荷物が無い作業状態x(t)を補正して、荷物がある作業状態s(t)とする。なお、図3(a)の表のうち、同じ動作カテゴリーの中で誤った推定が生じやすい。例えば、「調整(Adjust heading)」という動作の中で、「作業状態4」と「作業状態11」とを誤り易い。従って、作業状態補正部32は、同じ動作カテゴリーの中で、荷物の有無を補正する。従って、「作業状態4」が誤っている場合は、作業状態補正部32は、「作業状態4」と同じ動作カテゴリーである「作業状態1」へ補正する。「作業状態11」が誤っている場合は、作業状態補正部32は、「作業状態11」と同じ動作カテゴリーである「作業状態4」という作業状態へ補正する。
The work
次に、図6を参照して、制御装置20による運転支援方法を示す処理内容の一例について説明する。図6に示す処理は、表示部17に運転支援映像が表示されており、且つ、オペレータが遠隔操作でフォークリフト1を操作しているときに行われる。図6に示すように、操作情報取得部18は、オペレータによる操作情報を取得する(ステップS10)。次に、作業状態推定部30は、ステップSで取得した操作情報に基づいて、作業状態を推定する(ステップS20)。次に、荷物状態推定部31は、ステップS20で推定された作業状態に基づいて、荷物状態を取得する(ステップS30)。次に、作業状態補正部32は、ステップS20で推定された作業状態、及びステップS30で推定された荷物状態に基づいて、作業状態を補正する(ステップS40)。次に、視点情報取得部50は、ステップS50で補正された作業状態に基づいて、視点情報を取得する(ステップS50)。次に、表示制御部22は、ステップS50で取得された視点情報に基づいて、表示部17で表示する運転支援映像を選択する(ステップS60)。
Next, with reference to FIG. 6, an example of processing contents showing a driving support method by the
次に、本実施形態に係る制御装置20の作用・効果について説明する。
Next, the functions and effects of the
制御装置20は、機械学習を用いてフォークリフト1の作業状態を推定する作業状態推定部30を有する。従って、制御装置20は、機械学習によって、フォークリフト1の作業状態を推定するための推定指標を設計することができる。ここで、作業状態推定部30は、フォークリフト1に対する操作状態に関する操作情報の入力と、作業状態の正解データの入力により、機械学習を行う。このように、作業状態推定部30は、過去に実際に行われた操作情報の入力と、当該操作情報によってどのような作業状態となったかを示す正解データと、に基づいて機械学習を行うことができる。これにより、制御装置20は、過去の操作情報及び正解データを用いて機械学習を行うだけの工程により、フォークリフト1の作業状態を推定するための推定指標を取得することができる。また、当該推定指標は、過去の実際のデータに基づくものであるため、精度よく作業状態を推定することを可能とする。以上より、フォークリフト1の作業状態を推定するための推定指標を少ない工数で精度よく取得することができる。
The
作業状態推定部30は、現在の操作情報を入力されて、学習結果に基づいて、現在の作業状態を出力してよい。これにより、作業状態推定部30は、現在の操作情報を入力するだけで、現在の作業状態を容易に推定することができる。
The work
制御装置20は、作業状態推定部30が出力した作業状態に基づいて、フォークリフト1が取り扱う荷物の状態に関する荷物状態を出力する荷物状態推定部31と、作業状態推定部30が出力した作業状態、及び荷物状態推定部31が出力した荷物状態に基づいて、作業状態を補正する作業状態補正部32と、を更に備えてよい。この場合、制御装置20は、フォークリフト1の荷物状態を考慮して補正を行うことで、作業状態の推定精度を向上することができる。
The
図7を参照して、荷物状態推定部31及び作業状態補正部32の効果について説明する。図7(a)は、ある時刻における操作情報を、横軸に時系列的に示した場合の、作業状態推定部30が推定した作業状態の推定結果を示すグラフである。図7(b)は、作業状態推定部30が推定した作業状態を作業状態補正部32が補正を行った場合の推定結果を示すグラフである。図7(a)(b)の破線のグラフは、荷物の有無を示すグラフである。破線のグラフが上段に存在する場合は「荷物有り」の状態であり、下段に存在する場合は「荷物無し」の状態であることを示す。
With reference to FIG. 7, the effects of the cargo
例えば、図7(a)では、荷物が無い状態でフォークの位置を合わせる「作業状態4」から、荷物がある状態でフォークの位置を合わせる「作業状態11」へ状態遷移したことが推定され、その後に荷物がある状態での荷役状態である「作業状態5」へ状態遷移したことが推定されている。このように、図7(a)において「FD」に示すように、急激に推定結果が局所変動している箇所は、作業状態推定部30が、一度誤った作業状態を推定し、その後、正しい作業状態を推定していることを示す。
For example, in FIG. 7(a), it is estimated that the state has transitioned from "Working
これに対し、荷物状態推定部31は、「作業状態4」から「作業状態11」への状態遷移は、「NL:荷物無し」から「L:荷物有り」への遷移を禁止している。そのため、荷物状態推定部31は、荷物が有る「作業状態11」という作業状態推定部30の推定結果に対して、「NL:荷物無し」という荷物状態を作業状態補正部32へ出力する。これにより、作業状態補正部32は、荷物が有る「作業状態11」を、荷物状態推定部31の推定結果に合わせて荷物が無い「作業状態4」に補正する。これにより、図7(b)に示すように、「作業状態4」から「作業状態11」を介することなく、正しいタイミング、すなわち実際に「荷物有り」から「荷物無し」へ遷移したタイミングで「作業状態5」へ遷移したことを推定できる。これにより、図7(b)では、図7(a)の「FD」のように誤った作業状態の発生を抑制できる。
On the other hand, the baggage
操作情報は、アクセル操作量、タイヤ角、リフト操作量、リーチ操作量、ティルト操作量の少なくともいずれかを含んでよい。これらのパラメータは、フォークリフト1において作業者の意図を反映するパラメータである。作業状態推定部30は、操作情報として、このようなパラメータを用いることで、適切な機械学習を行う事ができる。
The operation information may include at least one of an accelerator operation amount, a tire angle, a lift operation amount, a reach operation amount, and a tilt operation amount. These parameters are parameters that reflect the intentions of the worker in the
作業状態推定部30は、機械学習モデルM1としてLSTMを用い、学習データとして、時系列ごとに取得された操作情報によって機械学習を行ってよい。LSTMは、時系列ごとに取得された操作情報によって機械学習を行うにあたり、直近のデータのみならず、過去にさかのぼったデータも考慮した学習を行うことができる。そのため、作業状態推定部30は、より精度の高い推定指標を取得することができる。
The work
本実施例に係る運転支援システム100(産業車両の制御システム)は、上述の産業車両の制御装置1を有する。
The driving support system 100 (industrial vehicle control system) according to this embodiment includes the above-described industrial
本実施形態に係る産業車両の制御装置のプログラムは、上述の産業車両の制御装置20に用いられる。
The program for the industrial vehicle control device according to this embodiment is used in the industrial
具体的に、産業車両の制御装置のプログラムは、機械学習を用いて産業車両の作業状態を推定する作業状態推定ステップをコンピュータシステムに実行させる。作業状態推定部ステップでは、産業車両に対する操作状態に関する操作情報の入力と、作業状態の正解データの入力により、機械学習が行われる。 Specifically, the program of the industrial vehicle control device causes the computer system to execute a working state estimation step of estimating the working state of the industrial vehicle using machine learning. In the working state estimating unit step, machine learning is performed by inputting operation information regarding the operating state of the industrial vehicle and inputting correct answer data for the working state.
これらの産業車両の制御システム、及び産業車両の制御装置20のプログラムは、上述の産業車両の制御装置20と同趣旨の作用・効果を得ることができる。
These industrial vehicle control systems and the programs of the industrial
図8を参照して、本実施形態に係る制御装置20を用いて作業状態の推定を行った場合の実験結果について説明する。ここでは、特定の作業パターンに対して、実際の作業状態と推定結果とが一致した割合(正解率)を算出した。図8のうち、実線のグラフG1が推定結果を示し、破線のグラフG2が実際の作業状態を示す。図8に示すグラフのうち、グラフG1,G2が重なっている箇所では推定結果が実際の作業状態と一致しており、グラフG1、G2が重なっていない箇所では推定結果が実際の作業状態と一致していないことを示す。複数のオペレータを準備し、44回の作業データを取得し、全44回の正解率について平均値を算出して評価を行った。機械学習を用いずに設計した作業状態モデルを用いた推定結果に対し、実施形態に係る制御装置20の推定結果に係る正解率は約10%向上した。
Referring to FIG. 8, experimental results will be described when a working state is estimated using the
以上、本発明の好適な実施形態について幾つか説明してきたが、本発明は、上記実施形態に限定されるものではない。 Although some preferred embodiments of the present invention have been described above, the present invention is not limited to the above embodiments.
上述の実施形態では、運転支援システムは、遠隔操作時のオペレータの作業を支援していたが、産業車両を有人操作するときに支援を行ってもよい。また、オペレータが産業車両のシミュレーション運転を行うときの支援を行ってもよい。 In the embodiments described above, the driving support system supports the operator's work during remote operation, but may also support when the industrial vehicle is operated by a man. Further, support may be provided when an operator performs a simulation operation of an industrial vehicle.
産業車両は、フォークリフトに限定されず、トーイングトラクター、スキッドステアローダーなどが採用されてもよい。 The industrial vehicle is not limited to a forklift, and a towing tractor, skid steer loader, etc. may also be employed.
[形態1]
産業車両の作業状態を推定するための制御装置であって、
機械学習を用いて前記産業車両の前記作業状態を推定する作業状態推定部を有し、
前記作業状態推定部は、前記産業車両に対する操作状態に関する操作情報の入力と、前記作業状態の正解データの入力により、機械学習を行う、産業車両の制御装置。
[Form 1]
A control device for estimating the working state of an industrial vehicle, the control device comprising:
a working state estimation unit that estimates the working state of the industrial vehicle using machine learning;
The working state estimating unit is an industrial vehicle control device that performs machine learning by inputting operation information regarding the operating state of the industrial vehicle and inputting correct answer data for the working state.
[形態2]
前記作業状態推定部は、現在の前記操作情報を入力されて、学習結果に基づいて、現在の前記作業状態を出力する、形態1に記載の産業車両の制御装置。
[Form 2]
The industrial vehicle control device according to
[形態3]
前記作業状態推定部が出力した前記作業状態に基づいて、前記産業車両が取り扱う荷物の状態に関する荷物状態を出力する荷物状態推定部と、
前記作業状態推定部が出力した前記作業状態、及び前記荷物状態推定部が出力した前記荷物状態に基づいて、前記作業状態を補正する作業状態補正部と、を更に備える、形態1又は2に記載の産業車両の制御装置。
[Form 3]
a cargo state estimating section that outputs a cargo state related to the state of cargo handled by the industrial vehicle based on the working state outputted by the working state estimating section;
According to
[形態4]
前記操作情報は、アクセル操作量、タイヤ角、リフト操作量、リーチ操作量、ティルト操作量の少なくともいずれかを含む、形態1~3の何れか一項に記載の産業車両の制御装置。
[Form 4]
The control device for an industrial vehicle according to any one of
[形態5]
前記作業状態推定部は、機械学習モデルとしてLSTMを用い、学習データとして、時系列ごとに取得された前記操作情報によって機械学習を行う、形態1~4の何れか一項に記載の産業車両の制御装置。
[Form 5]
The industrial vehicle according to any one of
[形態6]
形態1~5の何れか一項に記載の産業車両の制御装置を有する産業車両の制御システム。
[Form 6]
An industrial vehicle control system comprising the industrial vehicle control device according to any one of
[形態7]
請求項1~5の何れか一項に記載の産業車両の制御装置に用いられる産業車両の制御装置のプログラム。
[Form 7]
A program for an industrial vehicle control device used in the industrial vehicle control device according to any one of
1…フォークリフト、30…作業状態推定部、31…荷物状態推定部、32…作業状態補正部、100…運転支援システム(産業車両の制御システム)。
DESCRIPTION OF
Claims (7)
機械学習を用いて前記産業車両の前記作業状態を推定する作業状態推定部を有し、
前記作業状態推定部は、前記産業車両に対する操作状態に関する操作情報の入力と、前記作業状態の正解データの入力により、機械学習を行う、産業車両の制御装置。 A control device for estimating the working state of an industrial vehicle, the control device comprising:
a working state estimation unit that estimates the working state of the industrial vehicle using machine learning;
The working state estimating unit is an industrial vehicle control device that performs machine learning by inputting operation information regarding the operating state of the industrial vehicle and inputting correct answer data for the working state.
前記作業状態推定部が出力した前記作業状態、及び前記荷物状態推定部が出力した前記荷物状態に基づいて、前記作業状態を補正する作業状態補正部と、を更に備える、請求項1に記載の産業車両の制御装置。 a cargo state estimating section that outputs a cargo state related to the state of cargo handled by the industrial vehicle based on the working state outputted by the working state estimating section;
The work state correction unit according to claim 1, further comprising: a work state correction unit that corrects the work state based on the work state outputted by the work state estimation unit and the cargo state outputted by the cargo state estimation unit. Control equipment for industrial vehicles.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022067070A JP2023157271A (en) | 2022-04-14 | 2022-04-14 | Industrial vehicle control device, industrial vehicle control system and program for industrial vehicle control device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022067070A JP2023157271A (en) | 2022-04-14 | 2022-04-14 | Industrial vehicle control device, industrial vehicle control system and program for industrial vehicle control device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023157271A true JP2023157271A (en) | 2023-10-26 |
Family
ID=88469304
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022067070A Pending JP2023157271A (en) | 2022-04-14 | 2022-04-14 | Industrial vehicle control device, industrial vehicle control system and program for industrial vehicle control device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023157271A (en) |
-
2022
- 2022-04-14 JP JP2022067070A patent/JP2023157271A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20060149421A1 (en) | Robot controller | |
EP2984532B1 (en) | Vehicle and operator guidance by pattern recognition | |
CN106133751A (en) | For the method and apparatus running vehicle | |
EP1587162B1 (en) | Self-calibrating sensor orienting system | |
CN110796118B (en) | Method for obtaining attitude adjustment parameters of transportation equipment, transportation equipment and storage medium | |
JP2005305633A (en) | Self-calibrating orienting system for operation device | |
US20150177730A1 (en) | Robot, robot control method and robot control program | |
CN110816522B (en) | Vehicle attitude control method, apparatus, and computer-readable storage medium | |
JP2023157271A (en) | Industrial vehicle control device, industrial vehicle control system and program for industrial vehicle control device | |
CN114260899A (en) | Hand-eye calibration method and device, electronic equipment and computer readable storage medium | |
US20200307575A1 (en) | Vehicle comprising a working equipment, and a working equipment, and a method in relation thereto | |
US6512528B1 (en) | Method of displaying images with a touchpanel for a molded form-take out robot | |
JP2023157654A (en) | Industrial vehicle control device, industrial vehicle control system and program for industrial vehicle control device | |
EP4099126A2 (en) | Systems and methods for material handling vehicle travel control based on speed and steering angle detection | |
US11919171B2 (en) | Robot controller | |
WO2021132477A1 (en) | Own-position estimating device, moving body, own-position estimating method, and own-position estimating program | |
US11718509B2 (en) | Vehicle comprising a working equipment, and a working equipment, and a method in relation thereto | |
JP7496553B2 (en) | Work support device, database creation device, work support system, and work support method | |
CN117509487A (en) | Fork truck, control method and device of fork truck and computer equipment | |
CN111077852B (en) | Rotation control method, rotation control device, computer equipment and storage medium | |
JP6670351B2 (en) | Map updating device and map updating method | |
EP4071574A1 (en) | Self-position estimation device, moving body, self-position estimation method, and self-position estimation program | |
JP7468396B2 (en) | Self-location estimation device, moving body, self-location estimation method, and self-location estimation program | |
US20220388167A1 (en) | Method, computer program product and robot controller for configuring a robot-object system environment, and robot | |
CN114972504A (en) | Scheduling abnormity detection method, device, equipment and storage medium |