JP2020132351A - 荷役システムおよび制御方法 - Google Patents

Abstract

【課題】レーザー式有人無人フォークリフトが無人運転モードから有人運転モードに切り替えられる時に、オペレータが安全に切り替えることができるようにする。
【解決手段】無人運転モードから有人運転モードに切り替えられた時の環境情報に基づく教師データ５を収集する収集部４０と、収集部４０に収集された教師データ５から機械学習を行い、機械学習により学習モデルを生成および記憶する学習モデル生成部４１と、現時点の環境情報６０を所定時間ごとに取得する取得部４５と、学習モデルを現時点の環境情報６０に適用することで、無人運転モードから有人運転モードに切り替えられる切り替え時か否かを予測する予測部４２と、予測部４２によって予測された切り替え時に、オペレータが安全に無人運転モードから有人運転モードに切り替えられるように所定制御を実行する制御部４４と、を備える。
【選択図】図２

Description

本発明は、レーザー式有人無人フォークリフトを備えた荷役システムおよび制御方法に関する。

有人無人フォークリフトは、オペレータの手動操作により動作する有人運転モードと、オペレータの手動操作によらず自動で動作する無人運転モードとを切り替え可能である（例えば、特許文献１参照）。オペレータは、必要に応じて、有人運転モードと無人運転モードとを切り替えて、有人無人フォークリフトを使用する。

また、レーザー式無人フォークリフトは、レーザースキャナを備える（例えば、特許文献２および３参照）。レーザースキャナは、レーザーを水平に３６０度回転しながら反射板に送受信する。レーザー式無人フォークリフトは、倉庫内の走行経路に沿って配置された複数の反射板をレーザースキャナで認識する。

反射板は、倉庫内に固定されており、その位置がマップ上に記憶されている。レーザー式無人フォークリフトは、複数の反射板をレーザースキャナで認識し、三角測量の原理に基づいて、現在位置を算出する。レーザー式無人フォークリフトは、算出された現在位置に基づいて、予め設定された経路を走行する。

また、特許文献４に開示されているように、荷物を保管する棚がある。複数の棚が、倉庫内に設置されており、複数の荷物を保管する。倉庫内に、レーザー式無人フォークリフト及び複数の棚が設置されて、レーザー式無人フォークリフトが、棚から荷物を出し入れする。

ところで、無人運転モードから有人運転モードに切り替えられる時に、オペレータは、無人運転モードで走行する有人無人フォークリフトに近づいて、有人無人フォークリフトに設けられた切り替えボタンを押しているが、有人無人フォークリフトは走行しており、また、有人無人フォークリフトの周囲環境によって、オペレータは危険を伴っていた。

特開２０１０−２２２１０８号公報 特開平８−１６１０３９号公報 特開平８−１６６８２１号公報 特開２００３−２０１０２号公報

そこで、本発明が解決しようとする課題は、レーザー式有人無人フォークリフトが無人運転モードから有人運転モードに切り替えられる時に、オペレータが安全に切り替えることができるようにするための荷役システムおよび制御方法である。

上記の課題を解決するために、本発明に係る荷役システムは、
施設と、施設内で走行および荷役作業を行うレーザー式有人無人フォークリフトと、を備えた荷役システムであって、
レーザー式有人無人フォークリフトは、有人運転モードと無人運転モードとの間で切り替え可能であって、有人運転モード時はオペレータの手動操作により動作し、無人運転モード時はレーザー誘導により自動で動作し、
荷役システムは、
無人運転モードから有人運転モードに切り替えられた時の環境情報に基づく教師データを収集する収集部と、
収集部に収集された教師データから機械学習を行い、機械学習により学習モデルを生成および記憶する学習モデル生成部と、
現時点の環境情報を所定時間ごとに取得する取得部と、
学習モデル生成部で生成された学習モデルを、取得部から取得される現時点の環境情報に適用することで、無人運転モードから有人運転モードに切り替えられる切り替え時か否かを予測する予測部と、
予測部によって予測された切り替え時に、オペレータが安全に無人運転モードから有人運転モードに切り替えられるように所定制御を実行する制御部と、を備える。

好ましくは、
所定制御は、オペレータの端末に、レーザー式有人無人フォークリフトの位置情報を送信する。

好ましくは、
所定制御は、レーザー式有人無人フォークリフトが、予め設定された安全領域まで自動で走行する。

好ましくは、
環境情報は、レーザー式有人無人フォークリフトの周囲画像である。

好ましくは、
環境情報は、施設内の棚および荷物のレイアウト情報である。

好ましくは、
環境情報は、オペレータの画像である。

好ましくは、
無人運転モードから有人運転モードに切り替えられた時に、取得部で取得された環境情報が、教師データとして収集部に収集される。

また、本発明に係る荷役システムの制御方法は、
施設と、施設内で走行および荷役作業を行うレーザー式有人無人フォークリフトと、を備えた荷役システムの制御方法であって、
レーザー式有人無人フォークリフトは、有人運転モードと無人運転モードとの間で切り替え可能であって、有人運転モード時はオペレータの手動操作により動作し、無人運転モード時はレーザー誘導により自動で動作し、
制御方法は、
無人運転モードから有人運転モードに切り替えられた時の環境情報に基づく教師データを収集する収集ステップと、
収集ステップで収集された教師データから機械学習を行い、機械学習により学習モデルを生成および記憶する学習モデル生成ステップと、
現時点の環境情報を所定時間ごとに取得する取得ステップと、
学習モデル生成ステップで生成された学習モデルを、取得ステップで取得される現時点の環境情報に適用することで、無人運転モードから有人運転モードに切り替えられる切り替え時か否かを予測する予測ステップと、
予測ステップによって予測された切り替え時に、オペレータが安全に無人運転モードから有人運転モードに切り替えられるように所定制御を実行する制御ステップと、を備える。

本発明に係る荷役システムおよび制御方法は、上記構成を備えることによって、レーザー式有人無人フォークリフトが無人運転モードから有人運転モードに切り替えられる時に、オペレータが安全に切り替えることができるようにする。

荷役システムを示す平面図。 荷役システムを示すブロック図。 環境情報を説明する図。 オペレータの端末を示す図。 荷役システムの制御方法を示すフローチャート図。

以下、図面に基づいて、本発明に係る荷役システムおよび制御方法の一実施形態を説明する。

図１の通り、荷役システムは、施設３と、施設３内で走行および荷役作業を行うレーザー式有人無人フォークリフト（以下「フォークリフト」という）２を備える。本実施形態では、施設３は、倉庫であるが、工場などでもよい。施設３内には、複数の棚１が設置される。フォークリフト２は、施設３内で走行および荷役作業を行う。

フォークリフト２は、有人運転モードと無人運転モードとの間で切り替え可能である。有人運転モード時は、フォークリフト２は、フォークリフト２に搭乗したオペレータの手動操作により動作する。無人運転モード時は、フォークリフト２は、レーザー誘導により自動で動作する。

フォークリフト２は、レーザースキャナ２０を備える。施設３内には、複数の反射板２１が設置される。レーザースキャナ２０は、レーザーＬを水平に３６０度回転しながら反射板２１に送受信する。

フォークリフト２は、施設３内の走行経路に沿って配置された複数の反射板２１をレーザースキャナ２０で認識する。反射板２１は、施設３内の壁に固定されており、その位置情報がマップ上に記憶されている。フォークリフト２は、複数の反射板２１をレーザースキャナ２０で認識し、三角測量の原理に基づいて、現在位置を算出する。フォークリフト２は、算出された現在位置に基づいて、予め設定された経路を走行する。

レーザースキャナ２０は、反射板２１から反射されたレーザーＬを検知して、レーザースキャナ２０と反射板２１との角度（方位）または距離を算出する。レーザースキャナ２０によって反射板２１が認識されると、レーザースキャナ２０と反射板２１との角度または距離に基づいて、反射板２１によって特定される三角形を算出する。

フォークリフト２が認識した角度または距離情報と、予め記憶された反射板２１の位置情報とを照合して、フォークリフト２の現在位置が算出される。

図２の通り、荷役システムは、無人運転モードから有人運転モードに切り替えられた時の環境情報６０に基づく教師データ５を収集する収集部４０を備える。図３の通り、環境情報６０は、フォークリフト２に設けられた撮像手段によって取得された周囲画像（図３Ａ）、施設３内の棚１および荷物のレイアウト情報（図３Ｂ）、施設３に設けられた撮像手段によって取得されたオペレータＯの顔画像および／または衣服画像（図３Ｃ）などである。レイアウト情報とは、例えば、棚１に設置された加重センサまたは感知センサによって検知された、棚１に収納された荷物の数、又は施設３に設置された撮像手段にて撮影された画像によって検出された棚１の配置である。

荷役システムは、収集部４０に収集された教師データ５から機械学習を行い、機械学習により学習モデルを生成および記憶する学習モデル生成部４１を備える。本実施の形態の学習モデル生成部４１は、教師あり学習を実施する。教師あり学習では、教師データ５、すなわち、入力と出力のデータの組を大量に学習モデル生成部４１に入力する。入力は、環境情報６０であり、出力は、切替可能性スコアである。本実施形態では、無人運転モードから有人運転モードに切り替えられる時か否かの可能性を示す切替可能性スコアとして、環境情報６０を評価し、０から１０までの数値パラメータが設定される。

例えば、切替可能性スコアの数値パラメータが高い、すなわち、無人運転モードから有人運転モードに切り替えられる可能性が高いと判断される場合として、フォークリフト２に設けられた撮像手段によって取得された周囲画像に荷物が写っている場合や、施設３内の棚１および荷物のレイアウト情報として棚１に収納された荷物が多い（所定数以上である）場合や、施設３に設けられた撮像手段によって取得されたオペレータＯの顔画像が上を向いている場合や、オペレータＯの衣服画像が所定色（例えば、フォークリフト作業着である赤色）である場合などである。
一方、切替可能性スコアの数値パラメータが低い、すなわち、無人運転モードから有人運転モードに切り替えられる可能性が低いと判断される場合として、フォークリフト２に設けられた撮像手段によって取得された周囲画像に荷物が写っていない場合や、施設３内の棚１および荷物のレイアウト情報として棚１に収納された荷物が少ない（所定数以下である）場合や、施設３に設けられた撮像手段によって取得されたオペレータＯの顔画像が下を向いている場合や、オペレータＯの衣服画像が別の所定色（例えば、フォークリフト作業着でない青色）である場合などである。
切替可能性スコアは、周囲画像、レイアウト情報、顔画像および／または衣服画像のいずれかの数値パラメータで設定されてもよいし、重み付け係数により加重平均された数値パラメータで設定されてもよい。

また、他の実施形態では、入力は、無人運転モードから有人運転モードに切り替えられた時のみの環境情報６０であり、出力は、切替可能性スコア１０であってもよい。また、他の実施形態では、無人運転モードから有人運転モードに切り替えられた時の環境情報６０と、切り替えられていない時の環境情報６０であり、出力は、切替可能性スコア１０と０であってもよい。

学習モデル生成部４１は、一般的なニューラルネットワーク等の機械学習アルゴリズムを用いる。学習モデル生成部４１は、相関関係を有する環境情報６０と切替可能性スコアを教師データとして機械学習を行うことにより、入力から出力を推定するモデル（学習モデル）、すなわち、環境情報６０を入力すると、切替可能性スコアを出力するモデルを生成する。

荷役システムは、現時点の環境情報６０を所定時間ごとに取得する取得部４５を備える。図３の通り、上記と同様に、環境情報６０は、フォークリフト２に設けられた撮像手段によって取得された周囲画像（図３Ａ）、施設３内の棚１および荷物のレイアウト情報（図３Ｂ）、施設３に設けられた撮像手段によって取得されたオペレータＯの顔画像および／または衣服画像（図３Ｃ）などである。これら環境情報６０が、所定時間（例えば１分）ごとに取得される。

荷役システムは、学習モデル生成部４１で生成された学習モデルを、取得部４５から取得される現時点の環境情報６０に適用することで、無人運転モードから有人運転モードに切り替えられる切り替え時か否かを予測する予測部４２を備える。予測部４２に現時点の環境情報６０を入力したときに、周囲画像（図３Ａ）、レイアウト情報（図３Ｂ）、顔画像および／または衣服画像（図３Ｃ）を解析して切替可能性スコアが取得される。取得された切替可能性スコアが予め設定された所定の数値パラメータ以上という条件を満たせば、切り替え時の可能性が高いとして、切り替え時であると予測される。

ここで、オペレータＯによって無人運転モードから有人運転モードに切り替えられた時に、取得部４５で取得された環境情報６０が、教師データ５として収集部４０に自動的に収集されるよう構成されてもよい。これにより、学習モデル生成部４１は、学習モデルを自動的に更新する。

無人運転モードから有人運転モードに切り替えられる時に、オペレータＯは、無人運転モードで走行するフォークリフト２に近づいて、フォークリフト２に設けられた切り替えボタン（不図示）を押しているが、フォークリフト２は走行しており、また、フォークリフト２の周囲環境によって、オペレータＯは危険を伴っていた。
そのため、荷役システムは、予測部４２によって予測された切り替え時に、オペレータＯが安全に無人運転モードから有人運転モードに切り替えることができるように、所定制御を実行する制御部４４を備える。

図４の通り、所定制御は、オペレータＯの有する端末７０に、フォークリフト２の位置情報を送信する。端末７０は、施設３のモデル図Ｍと、モデル図Ｍ内でのフォークリフト２の位置Ｍａとが表示される。これにより、オペレータＯは、フォークリフト２の周囲環境が安全か否かを判断することができ、安全と判断されたときに、フォークリフト２に近づいて切り替えボタンを押すことができる。

また、所定制御は、フォークリフト２が、予め設定された安全領域３０（図１の一点鎖線で囲まれた領域）まで自動で走行するようにしてもよい。これにより、オペレータＯは、フォークリフト２の周囲環境が安全な場所（安全領域）で、フォークリフト２に近づいて切り替えボタンを押すことができる。安全領域は、実際に測定および／または実験して予め規定されてもよいし、シミュレーションなどで測定および／または実験して予め規定されてもよい。

図５の通り、上記の荷役システムは、以下の制御方法を実行する。
収集部４０によって、無人運転モードから有人運転モードに切り替えられた時の環境情報６０に基づく教師データ５を収集する（収集ステップ：Ｓ１）。そして、学習モデル生成部４１によって、収集ステップＳ１で収集部４０に収集された教師データ５から機械学習を行い、機械学習により学習モデルを生成および記憶する（学習モデル生成ステップ：Ｓ２）。取得部４５によって、現時点の環境情報６０を所定時間ごとに取得する（取得ステップ：Ｓ３）。

予測部４２によって、学習モデル生成ステップＳ２で生成された学習モデルを、取得ステップＳ３で取得される現時点の環境情報６０に適用することで、無人運転モードから有人運転モードに切り替えられる切り替え時を予測する（予測ステップ：Ｓ４）。制御部４４によって、予測ステップＳ４によって予測された切り替え時に、オペレータＯが安全に無人運転モードから有人運転モードに切り替えられるように所定制御を実行する（制御ステップ：Ｓ５）。

以上、本発明の好ましい実施形態を説明したが、本発明の構成はこれらの実施形態に限定されない。

本発明に係る荷役システムでは、レーザー式有人無人フォークリフト２を操作するオペレータが無人運転モードから有人運転モードに切り替える時に、フォークリフト２の周囲環境が安全な場所（安全領域）で、フォークリフト２に近づいて切り替えボタンを押すことができる。

２ レーザー式有人無人フォークリフト
３ 施設
３０ 安全領域
４０ 収集部
４１ 学習モデル生成部
４２ 予測部
４４ 制御部
４５ 取得部
５ 教師データ
６０ 環境情報
７０ 端末

Claims (8)

1. 施設と、施設内で走行および荷役作業を行うレーザー式有人無人フォークリフトと、を備えた荷役システムであって、
   前記レーザー式有人無人フォークリフトは、有人運転モードと無人運転モードとの間で切り替え可能であって、前記有人運転モード時はオペレータの手動操作により動作し、前記無人運転モード時はレーザー誘導により自動で動作し、
   前記荷役システムは、
   前記無人運転モードから前記有人運転モードに切り替えられた時の環境情報に基づく教師データを収集する収集部と、
   前記収集部に収集された前記教師データから機械学習を行い、前記機械学習により学習モデルを生成および記憶する学習モデル生成部と、
   現時点の前記環境情報を所定時間ごとに取得する取得部と、
   前記学習モデル生成部で生成された前記学習モデルを、前記取得部から取得される前記現時点の環境情報に適用することで、前記無人運転モードから前記有人運転モードに切り替えられる切り替え時か否かを予測する予測部と、
   前記予測部によって予測された前記切り替え時に、前記オペレータが安全に前記無人運転モードから前記有人運転モードに切り替えられるように所定制御を実行する制御部と、を備える
   ことを特徴とする荷役システム。
2. 前記所定制御は、前記オペレータの端末に、前記レーザー式有人無人フォークリフトの位置情報を送信する
   ことを特徴とする請求項１に記載の荷役システム。
3. 前記所定制御は、前記レーザー式有人無人フォークリフトが、予め設定された安全領域まで自動で走行する
   ことを特徴とする請求項１に記載の荷役システム。
4. 前記環境情報は、前記レーザー式有人無人フォークリフトの周囲画像である
   ことを特徴とする請求項１〜３のいずれかに記載の荷役システム。
5. 前記環境情報は、前記施設内の棚および荷物のレイアウト情報である
   ことを特徴とする請求項１〜４のいずれかに記載の荷役システム。
6. 前記環境情報は、オペレータの画像である
   ことを特徴とする請求項１〜５のいずれかに記載の荷役システム。
7. 前記無人運転モードから前記有人運転モードに切り替えられた時に、前記取得部で取得された前記環境情報が、前記教師データとして前記収集部に収集される
   ことを特徴とする請求項１〜６のいずれかに記載の荷役システム。
8. 施設と、施設内で走行および荷役作業を行うレーザー式有人無人フォークリフトと、を備えた荷役システムの制御方法であって、
   前記レーザー式有人無人フォークリフトは、有人運転モードと無人運転モードとの間で切り替え可能であって、前記有人運転モード時はオペレータの手動操作により動作し、前記無人運転モード時はレーザー誘導により自動で動作し、
   前記制御方法は、
   前記無人運転モードから前記有人運転モードに切り替えられた時の環境情報に基づく教師データを収集する収集ステップと、
   前記収集ステップで収集された前記教師データから機械学習を行い、前記機械学習により学習モデルを生成および記憶する学習モデル生成ステップと、
   現時点の前記環境情報を所定時間ごとに取得する取得ステップと、
   前記学習モデル生成ステップで生成された前記学習モデルを、前記取得ステップで取得される前記現時点の環境情報に適用することで、前記無人運転モードから前記有人運転モードに切り替えられる切り替え時か否かを予測する予測ステップと、
   前記予測ステップによって予測された前記切り替え時に、前記オペレータが安全に前記無人運転モードから前記有人運転モードに切り替えられるように所定制御を実行する制御ステップと、を備える
   ことを特徴とする荷役システムの制御方法。

Images