JP2020007058A - フォークリフト用遠隔操作システム - Google Patents

Abstract

【課題】カメラ画像を見てフォークの位置合わせを容易に行うことができるフォークリフト用遠隔操作システムを提供する。【解決手段】リーチ式フォークリフト２０と遠隔操作装置５０を備える。リーチ式フォークリフト２０の周囲を撮像する複数のカメラと、遠隔操作装置５０に設けられ、複数のカメラにて撮像された画像を表示するための表示部５４と、制御部５２と、を備える。制御部５２は、複数のカメラ４３ａ，４３ｂ，４３ｃ，４３ｄ，４３ｅ，４３ｆ，４３ｇ，４３ｈにて撮像された画像から撮像対象物を遮蔽する遮蔽物を画像認識する。制御部５２は、遮蔽物が撮像対象物を遮蔽していない仮想カメラ画像を複数のカメラ４３ａ，４３ｂ，４３ｃ，４３ｄ，４３ｅ，４３ｆ，４３ｇ，４３ｈにて撮像された画像から生成し表示部５４において表示させる。【選択図】図１

Description

本発明は、フォークリフト用遠隔操作システムに関するものである。

フォークリフトにおいて周囲の環境を把握すべくカメラを搭載することが行われている（例えば、特許文献１）。

特開２０１４−１１５１８号公報

ところで、フォークリフト用遠隔操作システムにおいて、フォークリフトにカメラを搭載して画面を見て操作することになるが、カメラ画像を見てフォークの位置合わせを行うことは難しかった。

本発明の目的は、カメラ画像を見てフォークの位置合わせを容易に行うことができるフォークリフト用遠隔操作システムを提供することにある。

請求項１に記載の発明では、機台に荷役装置を備えるとともに車両通信部を有するフォークリフトと、前記車両通信部と無線通信を行う操作装置通信部を有し、前記フォークリフトの走行及び前記荷役装置による荷役を遠隔操作するのに用いられる遠隔操作装置と、を備えたフォークリフト用遠隔操作システムであって、前記フォークリフトの周囲を撮像する複数のカメラと、前記遠隔操作装置に設けられ、前記複数のカメラにて撮像された画像を表示するための表示部と、前記複数のカメラにて撮像された画像から撮像対象物を遮蔽する遮蔽物を画像認識する画像認識部と、前記遮蔽物が前記撮像対象物を遮蔽していない仮想カメラ画像を前記複数のカメラにて撮像された画像から生成し前記表示部において表示させる画像処理部と、を備えることを要旨とする。

請求項１に記載の発明によれば、画像認識部により、複数のカメラにて撮像された画像から撮像対象物を遮蔽する遮蔽物が画像認識される。画像処理部により、遮蔽物が撮像対象物を遮蔽していない仮想カメラ画像が複数のカメラにて撮像された画像から生成され表示部において表示される。よって、撮像対象物を遮蔽物で邪魔されることなく見ることができ、カメラ画像を見てフォークの位置合わせを容易に行うことができる。

請求項２に記載のように、請求項１に記載のフォークリフト用遠隔操作システムにおいて、前記画像処理部は、仮想カメラ位置を移動させることにより前記遮蔽物が前記撮像対象物を遮蔽していない前記仮想カメラ画像を前記表示部において表示させるとよい。

請求項３に記載のように、請求項１に記載のフォークリフト用遠隔操作システムにおいて、前記画像処理部は、前記仮想カメラ画像において遮蔽物を透過させることにより前記遮蔽物が前記撮像対象物を遮蔽していない前記仮想カメラ画像を前記表示部において表示させるとよい。

本発明によれば、カメラ画像を見てフォークの位置合わせを容易に行うことができる。

フォークリフト用遠隔操作システムの電気的構成を示すブロック図。 リーチ式フォークリフトの概略側面図。 リーチ式フォークリフトの概略平面図。 作業場でのリーチ式フォークリフトとパレットの状況を説明するための概略図。 リーチ式フォークリフトとパレットの関係を示す概略平面図。 リーチ式フォークリフトとパレットの関係を示す概略側面図。 リーチ式フォークリフトとパレットの関係を示す概略側面図。 リーチ式フォークリフトとパレットの関係を示す概略側面図。 別例のリーチ式フォークリフトとパレットの関係を示す概略側面図。

以下、本発明を具体化した一実施形態を図面に従って説明する。
図１に示すように、フォークリフト用遠隔操作システム１０は、リーチ式フォークリフト２０と、リーチ式フォークリフト２０を遠隔操作するのに用いられる遠隔操作装置５０と、を備えている。リーチ式フォークリフト２０は、作業場に配置される。遠隔操作装置５０は、操作室に配置される。そして、遠隔操作装置５０を用いて操作室から、作業場のリーチ式フォークリフト２０を遠隔操作することができるようになっている。

図４に示すように、作業場においては、棚６０が設置されている。棚６０は２段にわたりパレット６１及び荷物Ｗを配置することができる。つまり、下の段においてパレット６１に荷物Ｗが配置されるとともに、その上の段においてパレット６１に荷物Ｗが配置される。この状態から、操作者はリーチ式フォークリフト２０を遠隔操作して荷物を取りに行く。

図４において、各パレット６１にはフォーク挿入用穴が形成されており、このフォーク挿入用穴にフォークが差し込まれる。
図２に示すように、リーチ式フォークリフト２０の機台２１には荷役装置２２が設けられている。荷役装置２２は前方へ延出している一対のリーチレグ２３を備える。各リーチレグ２３にはそれぞれ前輪２４が設けられている。つまり、機台２１の前側に左右一対の前輪２４が設けられている。また、機台２１の後ろ側には後輪２５が設けられている。本実施形態では、後輪２５が、操舵輪及び駆動輪となる。

荷役装置２２は、２段式のマスト２６を備える。マスト２６は、アウタマスト２７と、インナマスト２８とを備える。荷役装置２２は、インナマスト２８に連結されたリフトシリンダ２９を備える。荷役装置２２は、マスト２６に連結されたリーチシリンダ３０を備える。インナマスト２８は、リフトシリンダ２９への作動油の給排によって昇降する。マスト２６は、リーチシリンダ３０への作動油の給排によってリーチレグ２３に沿って移動する。

荷役装置２２は、一対のフォーク３１と、フォーク３１をマスト２６に固定するリフトブラケット３２とを備える。フォーク３１及びリフトブラケット３２は、インナマスト２８の昇降とともに昇降する。リーチ式フォークリフト２０は、後輪２５を駆動させる走行モータ３３を備える。

リーチ式フォークリフト２０には各種のアクチュエータが備えられている。具体的には例えば、走行用アクチュエータとして、後輪２５を駆動させる走行モータ３３、図示しない操舵モータ等が挙げられる。走行用アクチュエータにより車輪が回転及び操舵される。また、荷役用アクチュエータとして、インナマスト２８に連結されたリフトシリンダ２９、マスト２６に連結されたリーチシリンダ３０、図示しないティルトシリンダ等が挙げられる。荷役用アクチュエータにより昇降、リーチ、ティルト等の荷役動作を行うことができる。

図１に示すように、リーチ式フォークリフト２０は、車両通信部としての無線部４０と、制御部４１と、映像信号処理部４２と、カメラ４３ａ，４３ｂ，４３ｃ，４３ｄ，４３ｅ，４３ｆ，４３ｇ，４３ｈを有する。

遠隔操作装置５０は、操作装置通信部としての無線部５１と、制御部５２と、操作部５３と、表示部（モニタ）５４と、映像信号処理部５５を有する。操作部５３における操作方式として、タッチパネル方式、マウス方式、ジョイスティック方式等が用いられる。

無線部５１はリーチ式フォークリフト２０の無線部４０と無線通信を行うことができる。つまり、リーチ式フォークリフト２０の無線部４０と遠隔操作装置５０の無線部５１とは無線通信可能となっている。

そして、遠隔操作装置５０において、操作部５３を用いて操作者が所望の操作を行うと制御部５２により操作内容が無線部５１を介してリーチ式フォークリフト２０側に送られる。リーチ式フォークリフト２０において、無線部４０で遠隔操作装置５０からの操作内容が受信され、制御部４１により遠隔操作装置５０側からの指示により走行系アクチュエータ（走行モータ３３、図示しない操舵モータ等）及び荷役系アクチュエータ（リフトシリンダ２９、リーチシリンダ３０、図示しないティルトシリンダ等）を駆動することができる。このように、制御部５２は、無線部５１、無線部４０及び制御部４１を介してリーチ式フォークリフト２０の走行及び荷役装置２２による荷役を遠隔操作することができるようになっている。

一方、走行系のカメラ４３ａ，４３ｂ，４３ｃ，４３ｄは、図２，３に示すように設けられている。走行系のカメラ４３ａ，４３ｂ，４３ｃ，４３ｄは、リーチ式フォークリフト２０の機台２１に取り付けられている。走行系のカメラ４３ａ，４３ｂ，４３ｃ，４３ｄは、機台２１の周囲を撮像する。詳しくは、走行系のカメラ４３ａは、進行方向前方を撮像する。走行系のカメラ４３ｂは、後方を撮像する。走行系のカメラ４３ｃは、右方を撮像する。走行系のカメラ４３ｄは、左方を撮像する。

荷役系のカメラ４３ｅ，４３ｆ，４３ｇ，４３ｈは、図２，３に示すように設けられている。荷役系のカメラ４３ｅ，４３ｆ，４３ｇ，４３ｈは、リーチ式フォークリフト２０の荷役装置２２に取り付けられている。荷役系のカメラ４３ｅ，４３ｆ，４３ｇ，４３ｈは、荷役装置２２における荷役対象領域を撮像する。詳しくは、荷役系のカメラ４３ｅは、リフトブラケット３２の右側の上部に取り付けられ、荷役装置２２における右側から前方を撮像する。荷役系のカメラ４３ｆは、リフトブラケット３２の左側の上部に取り付けられ、荷役装置２２における左側から前方を撮像する。荷役系のカメラ４３ｇは、インナマスト２８の上部に取り付けられ、前方下方を撮像する。荷役系のカメラ４３ｈは、右側のフォーク３１の先端部に埋め込まれており、フォーク３１の前方を撮像する。

リーチ式フォークリフト２０において、カメラ４３ａ，４３ｂ，４３ｃ，４３ｄ，４３ｅ，４３ｆ，４３ｇ，４３ｈにより撮像された画像は制御部４１により映像信号処理部４２及び無線部４０を介して遠隔操作装置５０側に送られる。遠隔操作装置５０において、無線部５１でリーチ式フォークリフト２０からのカメラ画像が受信されて制御部５２により映像信号処理部５５を介して表示部５４で表示される。操作者は表示部５４におけるカメラ画像を見ながら操作することになる。

次に、作用について説明する。
今、図５に示すリーチ式フォークリフト２０とパレット６１の関係を示す概略平面図、及び、図６に示すリーチ式フォークリフト２０とパレット６１の関係を示す概略側面図において、パレット６１の前面に対し所定の距離だけ離間した位置においてリーチ式フォークリフト２０が正対している。つまり、パレット６１の左右の穴６１ａに対し所定の距離だけ離間してリーチ式フォークリフト２０の左右のフォーク３１が位置しており、フォーク３１が前方に移動することにより左右のフォーク３１をパレット６１の左右の穴６１ａに差し込むことができる。

制御部５２は、荷降ろしの際に、ガイドラインＬｇ１，Ｌｇ２，Ｌｇ３，Ｌｇ４を表示するために、複数のカメラ４３ａ，４３ｂ，４３ｃ，４３ｄ，４３ｅ，４３ｆ，４３ｇ，４３ｈにより撮像された画像から生成した３次元画像においてパレット６１（撮像対象物）と棚の天井板Ｐｔ（遮蔽物）を検知（画像認識）して、棚の天井板Ｐｔによりパレット６１が遮蔽されないような仮想カメラ画像を表示する。なお、遮蔽とは、遮蔽物により撮像対象物の作業に必要な部位の視認が妨げられる状態、例えば棚の天井板Ｐｔが邪魔でパレット６１のパレット穴を視認できないような状態を指す。

つまり、画像認識部としての制御部５２は、複数のカメラ４３ａ，４３ｂ，４３ｃ，４３ｄ，４３ｅ，４３ｆ，４３ｇ，４３ｈにて撮像された画像から、図７に示すように、パレット６１を遮蔽する棚の天井板Ｐｔを画像認識する。そして、画像処理部としての制御部５２は、図８に示すように、複数のカメラ４３ａ，４３ｂ，４３ｃ，４３ｄ，４３ｅ，４３ｆ，４３ｇ，４３ｈにて撮像された画像から生成した仮想カメラ画像であって、棚の天井板Ｐｔがパレット６１を遮蔽しない視点にある仮想カメラ４５による仮想カメラ画像を表示部５４において表示させる。なお、仮想カメラ４５とは、自由視点（多視点）の技術を用いて、複数のカメラ４３ａ，４３ｂ，４３ｃ，４３ｄ，４３ｅ，４３ｆ，４３ｇ，４３ｈの各画像から生成した３次元画像において任意の視点での画像を生成するための仮想的なカメラを指す。つまり、対象物（パレット、フォーク、障害物等）を立体化して位置関係を３Ｄ画像で取得し、仮想カメラ４５の視点（仮想カメラ位置）を自由に変える。そして、色々な角度で対象物を見ることができるようにして、必要な画像を生成する。具体的には、制御部５２は、図７での仮想カメラ４５の位置では棚の天井板Ｐｔがパレット６１を遮蔽していると両者の画像の重なり具合から判断し、図８に示すように、仮想カメラ４５の位置を両者の重なりを減少させる方向（本実施形態では図８の右方向）に移動させることにより、棚の天井板Ｐｔがパレット６１を遮蔽していない仮想カメラ画像を表示部５４において表示させる。なお、遮蔽物としては天井板Ｐｔの他に棚の柱等の任意の構造物が考えられ、それらの遮蔽物の画像認識に必要な情報を予め制御部５２に設定しておく。

図５，６に示すように、制御部５２は、表示部５４において、カメラ画像から、ガイドラインＬｇ１，Ｌｇ２，Ｌｇ３，Ｌｇ４を表示する。ガイドラインＬｇ１は、図５の平面図において左のフォーク３１の先端から前方に延びるフォーク前方位置ガイドラインである。ガイドラインＬｇ２は、図５の平面図において左右のフォーク３１の先端を結ぶように延びるフォークエッジ位置ガイドラインである。ガイドラインＬｇ３は、図６の側面図においてフォーク３１の先端から前方に延びるフォーク高さ位置ガイドラインである。ガイドラインＬｇ４は、図６の側面図においてフォーク３１の先端から上下に延びるフォークエッジ位置ガイドラインである。

このようにして、撮像対象物であるパレット６１を遮蔽物となる棚の天井板Ｐｔで邪魔されることなく見ることができ、カメラ画像を見てフォークの位置合わせを容易に行うことができる。

詳しく説明する。
フォークリフトにカメラを搭載して画像を見て荷役作業の遠隔操作を行う場合において、パレットとフォークが正対しているか分かりづらい。また、パレット穴とフォークの位置が合っているか分かりづらい（横方向及び高さ方向）。さらに、パレット（荷物）との距離感が分かりづらい。

本実施形態においては、車両側に設置したカメラの画像から俯瞰画像を生成し、パレットとフォークの正対位置を調整しやすくする。特に、横方向及び高さ方向の調整が容易に行えるとともに、パレット（荷物）との距離感を把握するようなガイド表示をすることで遠隔操作による荷役作業を効率良く行うことができる。

つまり、図５に示すように、ガイドラインＬｇ１，Ｌｇ２を表示することにより、パレット６１に対するフォーク３１の正対位置の調整を行いやすくなるとともに、パレット穴６１ａとフォーク３１の位置の調整（横方向）を行いやすくなる。さらに、パレット６１とフォーク３１との距離感を把握しやすくなる。

また、図６に示すように、ガイドラインＬｇ３，Ｌｇ４を表示することにより、パレット６１とフォーク３１の位置の調整（高さ方向）を行いやすくなるとともに、パレット６１とフォーク３１との距離感を把握しやすくなる。

カメラ配置は、図８に示すように、仮想カメラ視点がカバーできる範囲にカメラを配置する。ガイドラインＬｇ１，Ｌｇ２，Ｌｇ３，Ｌｇ４（図５，６参照）の線種は問わない。また、ガイドラインＬｇ１は左フォークでも右フォークでも両方でも配置可能であり、ガイドラインＬｇ２はフォークの先端、中心どこでもよく、ガイドラインＬｇ４はフォークの先端、中心どこでもよい。

このようにすることにより、画像を見て遠隔操作する際において、操作性や作業効率が良くなる。特に、撮像対象物（パレットやフォークなど）が死角となる（遮蔽物に遮蔽される）ようなときに遮蔽物が撮像対象物を遮蔽しない仮想カメラ位置に仮想カメラを自動で移動させてガイドラインに必要な視野を確保する。

上記実施形態によれば、以下のような効果を得ることができる。
（１）フォークリフト用遠隔操作システム１０の構成として、機台２１に荷役装置２２を備えるとともに車両通信部としての無線部４０を有するリーチ式フォークリフト２０と、車両通信部としての無線部４０と無線通信を行う操作装置通信部としての無線部５１を有し、リーチ式フォークリフト２０の走行及び荷役装置２２による荷役を遠隔操作するのに用いられる遠隔操作装置５０と、を備える。リーチ式フォークリフト２０の周囲を撮像する複数のカメラ４３ａ，４３ｂ，４３ｃ，４３ｄ，４３ｅ，４３ｆ，４３ｇ，４３ｈと、遠隔操作装置５０に設けられ、複数のカメラ４３ａ，４３ｂ，４３ｃ，４３ｄ，４３ｅ，４３ｆ，４３ｇ，４３ｈにて撮像された画像を表示するための表示部５４と、制御部５２と、を備える。画像認識部としての制御部５２は、複数のカメラ４３ａ，４３ｂ，４３ｃ，４３ｄ，４３ｅ，４３ｆ，４３ｇ，４３ｈにて撮像された画像から撮像対象物を遮蔽する遮蔽物を画像認識する。画像処理部としての制御部５２は、遮蔽物が撮像対象物を遮蔽していない仮想カメラ画像を複数のカメラ４３ａ，４３ｂ，４３ｃ，４３ｄ，４３ｅ，４３ｆ，４３ｇ，４３ｈにて撮像された画像から生成し表示部５４において表示させる。よって、撮像対象物を遮蔽物で邪魔されることなく見ることができ、カメラ画像を見てフォークの位置合わせを容易に行うことができる。

（２）画像処理部としての制御部５２は、仮想カメラ位置を移動させることにより遮蔽物が撮像対象物を遮蔽していない仮想カメラ画像を表示部５４において表示させる。よって、仮想カメラ位置を移動させて遮蔽物が撮像対象物を遮蔽していない仮想カメラ画像を表示部５４において表示させることによりカメラ画像を見てフォークの位置合わせを容易に行うことができる。

実施形態は前記に限定されるものではなく、例えば、次のように具体化してもよい。
○ 仮想カメラ位置を移動させることにより遮蔽物が撮像対象物を遮蔽していない仮想カメラ画像を表示部５４において表示させる代わりに次のようにしてもよい。

撮像対象物としてのパレット６１を遮蔽する遮蔽物としての棚の天井板Ｐｔを画像認識する。そして、画像処理部としての制御部５２は、例えば、カメラ画像を記録画像してメモリに記憶しておき、最新のカメラ画像とメモリに記憶された記録画像とを合成するときに記録画像に最新の画像を透過させて合成する。さらに、制御部５２は、図９に示すように、仮想カメラ画像において遮蔽物としての棚の天井板Ｐｔを透過させることにより棚の天井板Ｐｔが撮像対象物としての棚の天井板Ｐｔを遮蔽していない仮想カメラ画像を表示部５４において表示させる。

このように、目的の視点（パレットやフォークなど）が死角となるようなときにおいて、図９で示したように透過して自動で避ける。具体的には、フォークやパレットを検出した後に死角や障害物が重なってきたことを画像で検知する。透過の際には、パレットやフォークを見るのに障害となる物である棚の天井板Ｐｔを透過してパレットやフォークが見える画像を生成する。具体的には、例えば、自由視点（多視点）の技術を用いて、複数カメラの各画像を重ね合わせて合成して３次元画像を得る。例えば、対象物（パレット、フォーク、障害物等）を立体化して位置関係を３Ｄ画像で取得し、透過可能な仮想カメラ画像で対象物を見ることができるようにして、必要な画像を生成する。例えば図９において棚の天井板Ｐｔが無ければ対象物としてのパレット６１が見えることから、棚の天井板Ｐｔを透過させた画像を表示部５４に表示させる。

よって、遮蔽物を透過させて遮蔽物が撮像対象物を遮蔽していない仮想カメラ画像を表示部５４において表示させることによりカメラ画像を見てフォークの位置合わせを容易に行うことができる。

○ 遮蔽物を画像認識するとともに遮蔽物が撮像対象物を遮蔽していない仮想カメラ画像を複数のカメラにて撮像された画像から生成し表示させる処理は遠隔操作装置５０の制御部５２が実行した。これに代わりリーチ式フォークリフト２０の制御部４１が行ってもよい。

○ カメラ配置について、仮想カメラ視点がカバーできる範囲にインフラカメラを配置してもよい。
○ フォークリフトはリーチ式フォークリフトであったが、これに限るものではなく、リーチ式フォークリフト以外のフォークリフトであってもよい。

１０…フォークリフト用遠隔操作システム、２０…リーチ式フォークリフト、２１…機台、２２…荷役装置、４０…無線部、４３ａ，４３ｂ，４３ｃ，４３ｄ，４３ｅ，４３ｆ，４３ｇ，４３ｈ…カメラ、５０…遠隔操作装置、５１…無線部、５２…制御部、５４…表示部、６１…パレット、Ｐｔ…天井板。

Claims (3)

1. 機台に荷役装置を備えるとともに車両通信部を有するフォークリフトと、
   前記車両通信部と無線通信を行う操作装置通信部を有し、前記フォークリフトの走行及び前記荷役装置による荷役を遠隔操作するのに用いられる遠隔操作装置と、
   を備えたフォークリフト用遠隔操作システムであって、
   前記フォークリフトの周囲を撮像する複数のカメラと、
   前記遠隔操作装置に設けられ、前記複数のカメラにて撮像された画像を表示するための表示部と、
   前記複数のカメラにて撮像された画像から撮像対象物を遮蔽する遮蔽物を画像認識する画像認識部と、
   前記遮蔽物が前記撮像対象物を遮蔽していない仮想カメラ画像を前記複数のカメラにて撮像された画像から生成し前記表示部において表示させる画像処理部と、
   を備えることを特徴とするフォークリフト用遠隔操作システム。
2. 前記画像処理部は、仮想カメラ位置を移動させることにより前記遮蔽物が前記撮像対象物を遮蔽していない前記仮想カメラ画像を前記表示部において表示させることを特徴とする請求項１に記載のフォークリフト用遠隔操作システム。
3. 前記画像処理部は、前記仮想カメラ画像において遮蔽物を透過させることにより前記遮蔽物が前記撮像対象物を遮蔽していない前記仮想カメラ画像を前記表示部において表示させることを特徴とする請求項１に記載のフォークリフト用遠隔操作システム。