JP2023119757A - 遠隔操作システム - Google Patents

Abstract

【課題】フォークリフトを遠隔で操作する際に、フォークリフトと対象物との間に障害物があっても、フォークリフトの操作を直感的かつ容易に行うことができるようにする。【解決手段】遠隔操作システムは、フォークリフト１と対象物１１０とを結ぶ案内ルートＧＲを表示部２０に表示する案内ルート表示部２３３と、補助的な情報を知らせる補助画像２２１，２２２を表示部２０に表示する補助画像表示部２３５と、補助画像２２１，２２２が対象物１１０及び案内ルートＧＲに重ならないように、補助画像２２１，２２２の表示位置又は表示サイズを変更する補助画像変更部２３６と、を備える。【選択図】図８

Description

本発明は、フォークリフトを遠隔から操作するための遠隔操作システムに関する。

フォークリフトは、オペレータが搭乗して荷物を運搬及び積み降ろしする作業を行うものである。そのため、オペレータが迅速かつ的確にフォークリフトを操作するためには、長年の経験が必要である。一方、熟練のオペレータの人数は限られていることから、人口の少ない地方においては、熟練のオペレータの人数が足りないことがある。そのため、熟練のオペレータが多い地域から、熟練のオペレータが遠隔で地方のフォークリフトを操作することが要望されている。

また、人体に悪影響を及ぼすガスが充填されたタンクや、落下すると爆発する爆発物を荷役する場合等には、オペレータは、荷役場所である倉庫から離れて遠隔でフォークリフトを操作することが好ましい。

そのため、フォークリフトを遠隔から操作するための遠隔操作システムが知られている（例えば、特許文献１参照）。遠隔操作システムでは、フォークリフトで荷役が行われる倉庫から離れた遠隔の基地局に操作装置が設けられており、オペレータが操作装置を使って遠隔の基地局からフォークリフトを操作するように構成されている。

フォークリフトは、制御装置、無線通信装置、カメラ、センサ、車両の走行及び昇降等を作動する駆動装置等を備える。基地局の操作装置は、ハンドル、レバー、ペダル、制御部、表示部等を備える。例えば、表示部は、表示モニタが２つ設けられており、一方の表示モニタには、フォークリフトに搭載されたカメラで撮影される車両前方の画像が表示されて、他方の表示モニタには、センサで検出される情報等が表示される。

フォークリフトで運搬及び積み降ろしを行う際、オペレータは、表示部の画像に基づいて車両前方の荷役対象物を確認しながらハンドルやレバー等を使ってフォークリフトを操作する。一方、フォークリフトの方向によっては、荷役対象物が表示部から見えなくなることがあるため、フォークリフトの操作が難しいという問題がある。さらに、オペレータは、フォークリフトを遠隔から操作しやすいように、対象物までの距離、対象物の種類、バッテリーの残量等の補助的な情報を適宜確認したいという要望もある。

特開２０１４－１１５１８号公報

そこで、本発明が解決しようとする課題は、フォークリフトを遠隔で操作する際に、フォークリフトの操作を直感的かつ容易に行うことができる遠隔操作システムを提供することである。

上記課題を解決するために、本発明に係る遠隔操作システムは、フォークリフトを遠隔から操作する遠隔操作システムにおいて、フォークリフトに設けられたカメラと、カメラによって撮影される画像を表示する表示部と、フォークリフトの座標を取得するフォークリフト座標取得部と、指定された対象物の座標を取得する対象物座標取得部と、フォークリフトと対象物とを結ぶ案内ルートを表示部に表示する案内ルート表示部と、補助的な情報を知らせる補助画像を表示部に表示する補助画像表示部と、補助画像が対象物及び案内ルートに重ならないように、補助画像の表示位置又は表示サイズを変更する補助画像変更部と、を備える。

そして、補助画像変更部は、優先度が予め設定されており、優先度に応じて補助画像の表示位置又は表示サイズを変更することが望ましい。

好ましくは、遠隔操作システムは、さらに、フォークリフトと対象物との間における障害物の有無を判定する判定部を備える。そして、案内ルート表示部は、判定部によって障害物が無いと判定されたとき、直線でフォークリフトと対象物とを結ぶ案内ルートを表示部に表示し、判定部によって障害物が有ると判定されたとき、障害物を避けるようにフォークリフトと対象物とを結ぶ案内ルートを表示部に表示するように構成されている。

好ましくは、判定部は、フォークリフトと対象物とを結びフォークリフトの幅に相当する幅を有する仮想ルートを形成する。そして、判定部は、仮想ルートの内側において、障害物の全部又は一部が存在しないとき、障害物が無いと判定して、障害物の全部又は一部が存在するとき、障害物が有ると判定する。また、案内ルート表示部は、案内ルートの内側に障害物の全部又は一部が存在しないように案内ルートを表示する。

また、案内ルート表示部は、フォークリフトの幅に相当する幅を有する案内ルートを表示することが望ましい。

さらにまた、案内ルート表示部は、障害物の右側を避ける第１の案内ルートと、障害物の左側を避ける第２の案内ルートとを表示することが好ましい。

そして、第１及び第２の案内ルートは、それぞれが異なる色、形状又は点滅度である。

本発明に係る遠隔操作システムによると、フォークリフトを遠隔で操作する際に、フォークリフトの操作を直感的かつ容易に行うことができる。

遠隔操作システムを示す平面図。 フォークリフトを示す側面図。 フォークリフトの構成を示すブロック図。 操作装置の構成を示すブロック図。 遠隔操作システムの制御フローを示すフローチャート図。 直線の案内ルートが表示された表示部を示す画像図。 直線の案内ルートを説明するための平面図。 曲線の案内ルートが表示された表示部を示す画像図。 曲線の案内ルートを説明するための平面図。 第１及び第２の案内ルートが表示された表示部を示す画像図。 第１及び第２の案内ルートを説明するための平面図。

以下、図面に基づいて、本発明に係る遠隔操作システムの一実施形態を説明する。

[遠隔操作システム]
図１のとおり、遠隔操作システムは、施設１００において走行および荷役作業を行うためのフォークリフト１を備える。そして、遠隔操作システムは、施設１００から離れた遠隔地に設けられた基地局２００が設けられる。基地局２００には、操作装置２が設けられており、オペレータが操作装置２を用いて、所定のフォークリフト１を遠隔で操作することができる。

本実施形態では、施設１００は、倉庫であるが、工場、屋外作業場等でもよい。また、本実施形態では、フォークリフト１は、リーチ式フォークリフトであるが、カウンターバランス式フォークリフト等でもよい。例えば、オペレータが遠隔の基地局２００からフォークリフト１を操作することで、施設１００において、人体に悪影響を及ぼすガスが充填されたタンクや、落下すると爆発する爆発物を荷役することができる。

[フォークリフト]
図２のとおり、フォークリフト１は、カメラ１０、障害物センサ１１、レーザースキャナ１２、駆動装置１３、制御部１４、無線通信部１５等を備える。図３のとおり、制御部１４は、画像処理部１４１、フォークリフト座標取得部１４２、駆動コントロール部１４３、障害物座標取得部１４４等を備える。制御部１４は、ＣＰＵ（中央処理装置）、入出力インターフェース、ＲＯＭ、ＲＡＭ等で構成されており、情報を処理するためのプログラムが記憶される。制御部１４には、カメラ１０、障害物センサ１１、レーザースキャナ１２、駆動装置１３、無線通信部１５が接続されている。

駆動装置１３は、車体の後部に設けられた駆動輪１６を駆動するための走行モータ、車体の前部に設けられたフォーク１７を昇降・傾動・進退するための複数の油圧シリンダー等からなる。基地局２００に設けられた操作装置２からの操作信号が無線通信部１５を介して制御部１４に送られて、この操作信号が駆動コントロール部１４３で処理されて、操作装置２の操作に基づいて、走行モータ及び油圧シリンダーの駆動装置１３が駆動されるようになっている。これにより、オペレータによる操作装置２の操作に連動して、走行モータ及び油圧シリンダー等の駆動装置１３が駆動して、フォークリフト１を操作することができる。

カメラ１０は、フォークリフト１に搭乗して操作するオペレータの目線の位置に配置されており、オペレータの目線の位置からフォークリフト１の前方を撮影するようになっている。カメラ１０は、例えば、ＣＣＤイメージセンサ又はＣ－ＭＯＳイメージセンサを備えている。カメラ１０で撮影される画像は、制御部１４の画像処理部１４１で画像処理されて、操作装置２に設けられた表示部２０（図４）に表示されるようになっている。これにより、基地局２００で操作装置２を用いてフォークリフト１を遠隔操作するオペレータは、表示部２０によって、フォークリフト１に搭乗して操作するときと同じ目線でフォークリフト１の前方を確認することができる。

フォークリフト１は、レーザースキャナ１２を備えており、施設１００内には、複数の反射部１０１が設置される。レーザースキャナ１２は、レーザーを水平に３６０度回転しながら反射部１０１に送受信する。その結果、フォークリフト１は、施設１００内の走行経路に沿って配置された複数の反射部１０１をレーザースキャナ１２で認識することができる。ここで、反射部１０１は、施設１００内の壁に固定されており、その位置情報が、制御部１４のフォークリフト座標取得部１４２のマップ上に記憶されている。フォークリフト１は、複数の反射部１０１をレーザースキャナ１２で認識することで、フォークリフト座標取得部１４２が、三角測量の原理に基づいて、フォークリフト１の位置座標を計測および取得することができる。

フォークリフト１は、障害物センサ１１が設けられている。障害物センサ１１は、例えば光学系センサからなる。障害物センサ１１は、フォークリフト１の前方の所定エリアに存在する障害物を検知すると共に、フォークリフト１から障害物までの距離及び方向を計測することができる。制御部１４の障害物座標取得部１４４は、障害物センサ１１の検知信号とフォークリフト１の位置座標とに基づいて、障害物の位置座標を計測および取得することができる。

[操作装置]
図４のとおり、操作装置２は、表示部２０、操作部２１、対象物指定部２２、制御部２３、無線通信部２４等を備える。制御部２３は、画像処理部２３１、判定部２３２、案内ルート表示部２３３、対象物座標取得部２３４、補助画像表示部２３５、補助画像変更部２３６等を備える。制御部２３は、ＣＰＵ（中央処理装置）、入出力インターフェース、ＲＯＭ、ＲＡＭ等で構成されており、情報を処理するためのプログラムが記憶される。制御部２３には、表示部２０、操作部２１、対象物指定部２２、無線通信部２４が接続されている。

表示部２０は、例えば、２つの表示モニタからなり、一方の表示モニタには、フォークリフト１に搭載されたカメラ１０で撮影されている車両の前方の画像が表示されて、他方の表示モニタには、各種センサ類で検出される情報や操作に必要な情報等が表示されるようになっている。

操作部２１は、ハンドル、レバー、ペダル等を備えており、オペレータが、フォークリフトを実際に搭乗して操作する場合と同様に操作できるようになっている。操作部２１からの操作信号は、制御部２３を介して無線通信部２４で送信されて、フォークリフト１の無線通信部１５で受信される。そして、オペレータが操作部２１のハンドルやレバー等を操作することで、上述したとおり、フォークリフト１の駆動装置１３等を遠隔から操作することができる。

対象物指定部２２は、例えば、マウスからなる。後述するとおり、オペレータが、対象物指定部２２であるマウスを用いて、表示部２０に表示されたポインタ２２０で対象物１１０を指定すると、案内ルート表示部２３３が、指定された対象物１１０とフォークリフト１とを結ぶ案内ルートＧＲ，ＧＲ１，ＧＲ２（図６，８，１０）を表示部２０に表示するようになっている。オペレータは、フォークリフト１を対象物１１０まで走行する際に、表示部２０に表示される案内ルートＧＲ，ＧＲ１，ＧＲ２に沿って走行することができるので、フォークリフト１の操作を直感的かつ容易に行うことができる。

[第１実施形態]
遠隔操作システムの第１実施形態について説明する。

図５のとおり、フォークリフト座標取得部１４２によって、常時、フォークリフト１の絶対座標（Ｆｘ，Ｆｙ）が計測および取得される（ステップＳ１）。そして、表示部２０には、常時、カメラ１０によって撮影される画像が表示されている。オペレータは、表示部２０に表示された画像に基づいて、操作部２１でフォークリフト１を遠隔操作する。

図６のとおり、オペレータは、荷役対象となる対象物１１０が表示部２０に表示されると、対象物指定部２２であるマウスを使って、表示部２０に表示されるポインタ２２０で対象物１１０を指定する（ステップＳ２）。具体的には、オペレータは、ポインタ２２０を対象物１１０に重ねてマウスをクリックすると、対象物１１０が指定される。

画像処理部２３１は、床面や壁面等との境界を識別して、指定された対象物１１０の形状を認識する（ステップＳ３）。そして、対象物座標取得部２３４は、表示部２０に表示された対象物１１０のカメラ座標を取得して、フォークリフト１の絶対座標（Ｆｘ，Ｆｙ）に基づいて、対象物１１０の絶対座標（Ｏｘ，Ｏｙ）が計測および取得される（ステップＳ４）。

図７のとおり、判定部２３２は、フォークリフト１の絶対座標（Ｆｘ，Ｆｙ）と対象物１１０の絶対座標（Ｏｘ，Ｏｙ）とを結び、フォークリフト１の幅Ｗに相当する幅を有する仮想ルートＶＲを形成する（ステップＳ５）。そして、障害物センサ１１が、障害物１２０の座標位置を計測および取得すると共に、画像処理部２３１が、床面や壁面等との境界を識別することで、対象物１１０以外で存在する障害物１２０の形状を認識する（ステップＳ６）。その後、判定部２３２は、フォークリフト１と対象物１１０との間における障害物１２０の有無を判定する（ステップＳ７）。障害物１２０の有無の判定は、以下のとおり行われる。

判定部２３２は、形成された仮想ルートＶＲの内側において、障害物１２０の全部又は一部が存在しないときに、障害物１２０が無いと判定する（ステップＳ７）。フォークリフト１が実際に走行する際、フォークリフト１の幅Ｗに相当する幅を有する走行ルートが形成されるので、幅Ｗを有する仮想ルートＶＲによって、フォークリフト１の実際の走行ルートを仮想的かつ直感的に想定することができる。

そして、図６及び図７のとおり、判定部２３２によって障害物１２０が無いと判定されたとき、直線でフォークリフト１と対象物１１０とを結ぶ案内ルートＧＲが形成される（ステップＳ８）。案内ルートＧＲは、フォークリフト１の幅Ｗに相当する幅を有しており、その結果、障害物１２０が無いと判定されたときは、案内ルートＧＲは、仮想ルートＶＲと一致することになる。フォークリフト１が実際に走行する際、フォークリフト１の幅Ｗに相当する幅を有する走行ルートが形成されるので、幅Ｗを有する案内ルートＧＲによって、フォークリフト１の実際の走行ルートを仮想的かつ直感的に想定することができるようになっている。

図６のとおり、案内ルート表示部２３３は、形成された案内ルートＧＲをカメラ座標に変換して、表示部２０に表示する。そして、フォークリフト１が移動することによって、フォークリフト１の絶対座標（Ｆｘ，Ｆｙ）が変更されるが、随時変更されるフォークリフト１の絶対座標（Ｆｘ，Ｆｙ）に追従して、案内ルートＧＲが表示部２０に表示されるようになっている。

一方、判定部２３２は、形成された仮想ルートＶＲの内側において、障害物１２０の全部又は一部が存在するとき、障害物１２０が有ると判定する（ステップＳ７）。そして、判定部２３２によって障害物１２０が有ると判定されたとき、障害物１２０を避けるようにフォークリフト１と対象物１１０とを結ぶ案内ルートＧＲが形成される（ステップＳ９）。図８及び図９のとおり、案内ルートＧＲは、フォークリフト１の幅Ｗに相当する幅を有しており、認識された障害物１２０と案内ルートＧＲとが重ならない曲線で形成される。例えば、フォークリフト１の両端点と、障害物１２０から所定距離だけ離れた点と、対象物１１０の両端点とをスプライン曲線で結ぶことで案内ルートＧＲを形成することができる。

図８のとおり、案内ルート表示部２３３は、形成された案内ルートＧＲをカメラ座標に変換して、表示部２０に表示する。そして、フォークリフト１が移動することによって、フォークリフト１の絶対座標（Ｆｘ，Ｆｙ）が変更されることになるが、随時変更されるフォークリフト１の絶対座標（Ｆｘ，Ｆｙ）に追従して、案内ルートＧＲが表示部２０に表示される。

そして、補助画像表示部２３５は、オペレータに補助的な情報を知らせる第１補助画像２２１及び第２補助画像２２２を表示部２０の所定位置に所定サイズで表示する（ステップＳ１０）。例えば、第１補助画像２２１には、フォークリフトのアイコンが表示されており、操作しているフォークリフト１に対して、対象物１１０が存在する平面上の位置を示す案内矢印が表示される。また、例えば、第２補助画像２２２には、フォークリフト１から対象物１１０までの距離、対象物１１０の種類、バッテリーの残量等の情報が表示される。第１及び第２補助画像２２１，２２２に表示される補助的な情報によって、オペレータがフォークリフト１を操作する際に、オペレータの操作を支援することができる。

そして、補助画像表示部２３５は、表示部２０の所定位置及び所定サイズで表示される第１及び第２補助画像２２１，２２２が、表示部２０に表示されている対象物１１０及び案内ルートＧＲに重なるか否かを判定する（ステップＳ１１）。補助画像表示部２３５は、補助画像２２１，２２２が重ならないと判定した場合、図６のように、予め設定された表示部２０の所定位置及び所定サイズで補助画像２２１，２２２を表示部２０に表示する。本実施形態では、補助画像２２１，２２２は、図６のように、予め設定された所定位置である表示部２０の右側に、所定サイズで表示される。

また、補助画像表示部２３５によって補助画像２２１，２２２が重なると判定された場合、補助画像変更部２３６は、図８のように、表示部２０に表示される補助画像２２１，２２２が対象物１１０及び案内ルートＧＲに重ならないように、補助画像２２１，２２２の表示位置又は表示サイズを変更する（ステップＳ１２）。本実施形態では、補助画像２２１，２２２の予め設定された所定位置は、図６のように、表示部２０の右側であるが、補助画像２２１，２２２の表示位置が変更されると、図８のように、表示部２０の左側になる。

また、補助画像変更部２３６は、優先度が予め設定されており、優先度に応じて補助画像２２１，２２２の表示位置又は表示サイズを変更するように構成されている。本実施形態では、補助画像２２１，２２２の表示位置が表示サイズよりも優先して変更されるように設定されており、表示位置が変更されたとしても、補助画像２２１，２２２が対象物１１０及び案内ルートＧＲに重なる場合には、表示サイズが変更される。

[第２実施形態]
遠隔操作システムの第２実施形態について説明する。なお、上記第１実施形態と同様の構成については、重複説明を避けるために、詳細な説明を省略する。

図５のとおり、フォークリフト座標取得部１４２によって、常時、フォークリフト１の絶対座標（Ｆｘ，Ｆｙ）が計測および取得される（ステップＳ１）。そして、オペレータが、対象物指定部２２で対象物１１０を指定する（ステップＳ２）。

画像処理部２３１は、指定された対象物１１０の形状を認識する（ステップＳ３）。そして、対象物座標取得部２３４は、対象物１１０の絶対座標（Ｏｘ，Ｏｙ）が計測および取得される（ステップＳ４）。

判定部２３２は、フォークリフト１の絶対座標（Ｆｘ，Ｆｙ）と対象物１１０の絶対座標（Ｏｘ，Ｏｙ）とを結ぶ仮想ルートＶＲを形成する（ステップＳ５）。そして、画像処理部２３１は、障害物１２０の形状を認識する（ステップＳ６）。その後、判定部２３２は、フォークリフト１と対象物１１０との間における障害物１２０の有無を判定する（ステップＳ７）。判定部２３２によって障害物１２０が無いと判定されたとき、上記第１実施形態と同様に、直線でフォークリフト１と対象物１１０とを結ぶ案内ルートＧＲが形成される（ステップＳ８）。

一方、判定部２３２によって障害物１２０が有ると判定されたとき、障害物１２０を避けるようにフォークリフト１と対象物１１０とを結ぶ曲線の案内ルートＧＲが形成される（ステップＳ９）。このとき、第２実施形態では、図１１のとおり、障害物１２０の右側を避けるような第１の案内ルートＧＲ１と、障害物１２０の左側を避けるような第２の案内ルートＧＲ２とからなる２つの案内ルートが形成される。その結果、オペレータは、路面及び周囲の状況等を確認しながら、障害物１２０の右側に走行するか左側に走行するかを直感的に決定することができる。

図１０のとおり、案内ルート表示部２３３は、形成された第１及び第２の案内ルートＧＲ１，ＧＲ２をカメラ座標に変換して、表示部２０に表示する。そして、フォークリフト１が移動することによって、フォークリフト１の絶対座標（Ｆｘ，Ｆｙ）が変更されることになるが、随時変更されるフォークリフト１の絶対座標（Ｆｘ，Ｆｙ）に追従して、第１及び第２の案内ルートＧＲ１，ＧＲ２が表示部２０に表示される。なお、第１及び第２の案内ルートＧＲ１，ＧＲ２は、それぞれが異なる色、形状又は点滅度で表示されており、その結果、オペレータは、各案内ルートＧＲ１，ＧＲ２をそれぞれ認識しやすくになっている。

そして、補助画像表示部２３５は、オペレータに補助的な情報を知らせる第１補助画像２２１及び第２補助画像２２２を表示部２０の所定位置に所定サイズで表示する（ステップＳ１０）。また、補助画像表示部２３５は、表示部２０の所定位置及びサイズで表示される第１及び第２補助画像２２１，２２２が、表示部２０に表示されている対象物１１０及び案内ルートＧＲに重なるか否かを判定する（ステップＳ１１）。

補助画像表示部２３５は、補助画像部２３５が重ならないと判定した場合、予め設定された表示部２０の所定位置及び所定サイズで補助画像２２１，２２２を表示部２０に表示する。また、補助画像表示部２３５によって補助画像部２３５が重なると判定された場合、補助画像変更部２３６は、図１０のように、表示部２０に表示される補助画像２２１，２２２が対象物１１０及び案内ルートＧＲに重ならないように、補助画像２２１，２２２の表示位置又は表示サイズを変更する（ステップＳ１２）。

また、補助画像変更部２３６は、優先度が予め設定されており、優先度に応じて補助画像２２１，２２２の表示位置又は表示サイズを変更するように構成されている。本実施形態では、補助画像２２１，２２２の表示位置が表示サイズよりも優先して変更されるように設定されており、表示位置が変更されたとしても、補助画像２２１，２２２が対象物１１０及び案内ルートＧＲに重なる場合には、表示サイズが変更される。

本実施形態では、第１及び第２補助画像２２１，２２２の予め設定された所定位置は、図６のように、表示部２０の右側である。そして、第２補助画像２２２が、対象物１１０及び案内ルートＧＲに重なるため、優先度に応じて、表示部２０の右側から左側等に表示位置が変更されることになるが、この場合、表示部２０のどの位置であっても所定サイズでは重なるため、表示位置は変更されずに、図１０のように、表示サイズが小さくなるように変更される。

以上、本発明の好ましい実施形態を説明したが、本発明の構成はこれらの実施形態に限定されない。例えば、以下のように変更することもできる。
・上記実施形態では、障害物センサ１１は、光学系センサであるが、例えば、カメラ１０で撮影された画像に基づいて、画像処理部１４１で対象物１１０以外の障害物１２０を認識してもよいため、画像処理部１４１で構成されてもよい。
・上記実施形態では、案内ルートＧＲは、フォークリフト１の幅Ｗに相当する幅を有した帯形状であるが、矢印、一定周期で点滅する線、細線等であってもよい。
・上記実施形態では、案内ルートＧＲは、障害物１２０を避けるように、曲線で形成されているが、折れ曲げ線等で形成されてもよい。
・本実施形態では、対象物指定部２２は、マウスであるが、例えば、表示モニタ２０がタッチパネルであれば、表示モニタ２０に表示された対象物１１０をオペレータが指で押圧して指定してもよく、タッチセンサーで構成されてもよい。
・上記実施形態では、判定部２３２によって障害物１２０の有無を判定して、障害物１２０を避ける案内ルートＧＲを表示するように構成されているが、判定部２３２が設けられておらず、障害物１２０を避けない直線の案内ルートＧＲであってもよい。
・本実施形態では、優先度において、補助画像２２１，２２２の表示位置が表示サイズよりも優先して変更されるように設定されているが、補助画像２２１，２２２の表示サイズが表示位置よりも優先して変更されるように設定されていてもよい。
・本実施例では、補助画像２２１，２２２に表示される補助的な情報は、対象物１１０までの距離、対象物１１０の種類等であるが、他のフォークリフト１や障害物１２０の情報等であってもよく、これらに限定されないことはいうまでもない。

本発明の効果について説明する。

本発明に係る遠隔操作システムは、フォークリフト１に設けられたカメラ１０と、カメラ１０によって撮影される画像を表示する表示部２０と、フォークリフト１の座標を取得するフォークリフト座標取得部１４２と、指定された対象物１１０の座標を取得する対象物座標取得部２３４と、を備えている。そして、遠隔操作システムは、さらに、フォークリフト１と対象物１１０とを結ぶ案内ルートＧＲを表示部２０に表示する案内ルート表示部２３３と、補助的な情報を知らせる補助画像２２１，２２２を表示部２０に表示する補助画像表示部２３５と、補助画像２２１，２２２が対象物１１０及び案内ルートＧＲに重ならないように、補助画像２２１，２２２の表示位置又は表示サイズを変更する補助画像変更部２３６と、を備えている。

上記のとおり、フォークリフト１と対象物１１０とを結ぶ案内ルートＧＲを表示部２０に表示することで、オペレータは、フォークリフト１を遠隔で操作する際に、対象物１１０が表示画面２０から見えなくなったときでも、フォークリフト１の操作を直感的かつ容易に行うことができる。また、補助的な情報を知らせる補助画像２２１，２２２を表示部２０に表示することで、オペレータがフォークリフト１を操作する際に、オペレータの操作を支援することができる。そして、補助画像２２１，２２２が対象物１１０及び案内ルートＧＲに重ならないように、補助画像２２１，２２２の表示位置又は表示サイズを変更することで、オペレータは、対象物１１０、案内ルートＧＲ及び補助画像２２１，２２２を適宜確認することができる。

好ましくは、補助画像変更部２３６は、優先度が予め設定されており、優先度に応じて補助画像２２１，２２２の表示位置又は表示サイズを変更するように構成されている。

上記のとおり、優先度を設定することで、オペレータの操作状況や周囲状況等に応じて、補助画像２２１，２２２の表示位置又は表示サイズのいずれを優先して変更するか決定することができる。そのため、オペレータは、操作状況や周囲状況等に応じて、補助画像２２１，２２２を適切に確認することができる。

好ましくは、遠隔操作システムは、フォークリフト１と対象物１１０との間における障害物１２０の有無を判定する判定部２３２を備えている。そして、案内ルート表示部２３３は、判定部２３２によって障害物１２０が無いと判定されたとき、直線でフォークリフト１と対象物１１０とを結ぶ案内ルートＧＲを表示する。また、案内ルート表示部２３３は、判定部２３２によって障害物１２０が有ると判定されたとき、障害物１２０を避けるようにフォークリフト１と対象物１１０とを結ぶ案内ルートＧＲを表示するように構成されている。

上記のとおり、フォークリフト１と対象物１１０との間に障害物１２０が存在するときでも、表示部２０に、障害物１２０を避けるようにフォークリフト１と対象物１１０とを結ぶ案内ルートＧＲが表示される。その結果、オペレータは、フォークリフト１を対象物１１０まで走行する際に、表示部２０に表示される案内ルートＧＲに沿って走行することができるので、フォークリフト１の操作を直感的かつ容易に行うことができる。

好ましくは、判定部２３２は、フォークリフト１と対象物１１０とを結びフォークリフト１の幅Ｗに相当する幅を有する仮想ルートＶＲを形成する。そして、判定部２３２は、仮想ルートＶＲの内側において、障害物１２０の全部又は一部が存在しないとき、障害物１２０が無いと判定して、障害物１２０の全部又は一部が存在するとき、障害物１２０が有ると判定する。また、案内ルート表示部２３３は、案内ルートＧＲの内側に障害物１２０の全部又は一部が存在しないように案内ルートＧＲを表示する。

フォークリフト１が実際に走行する際、フォークリフト１の幅Ｗに相当する幅を有する走行ルートが形成されるので、幅Ｗを有する仮想ルートＶＲによって、フォークリフト１の実際の走行ルートを仮想的かつ直感的に想定することができる。

また、案内ルート表示部２３３は、フォークリフト１の幅Ｗに相当する幅を有する案内ルートＧＲを表示することが望ましい。
フォークリフト１が実際に走行する際、フォークリフト１の幅Ｗに相当する幅を有する走行ルートが形成される。案内ルートＧＲが幅Ｗを有することで、オペレータは、フォークリフト１の実際の走行ルートを仮想的かつ直感的に想定することができるため、走行しやすいようになっている。

さらにまた、案内ルート表示部２３３は、障害物１２０の右側を避ける第１の案内ルートＧＲ１と、障害物１２０の左側を避ける第２の案内ルートＧＲ２とを表示することが好ましい。
オペレータは、路面及び周囲の状況等に応じて、障害物１２０の右側に走行するか左側に走行するかを直感的に決定することができる。

そして、第１及び第２の案内ルートＧＲ１，ＧＲ２は、それぞれが異なる色、形状又は点滅度であって、その結果、オペレータは、各案内ルートＧＲ１，ＧＲ２をそれぞれ認識しやすいようになっている。

１ フォークリフト
１０ カメラ
１４ 制御部
１１０ 対象物
１２０ 障害物
１４１ 画像処理部
１４２ フォークリフト座標取得部
１４４ 障害物座標取得部
２ 操作装置
２０ 表示部
２１ 操作部
２３ 制御部
２３２ 判定部
２３３ 案内ルート表示部
２３４ 対象物座標取得部
２３５ 補助画像表示部
２３６ 補助画像変更部
２２１，２２２ 補助画像
ＧＲ 案内ルート
ＧＲ１ 第１の案内ルート
ＧＲ２ 第２の案内ルート
ＶＲ 仮想ルート
Ｗ フォークリフトの幅

Claims (7)

1. フォークリフトを遠隔から操作する遠隔操作システムにおいて、
   前記フォークリフトに設けられたカメラと、
   前記カメラによって撮影される画像を表示する表示部と、
   前記フォークリフトの座標を取得するフォークリフト座標取得部と、
   指定された対象物の座標を取得する対象物座標取得部と、
   前記フォークリフトと前記対象物とを結ぶ案内ルートを前記表示部に表示する案内ルート表示部と、
   補助的な情報を知らせる補助画像を前記表示部に表示する補助画像表示部と、
   前記補助画像が前記対象物及び前記案内ルートに重ならないように、前記補助画像の表示位置又は表示サイズを変更する補助画像変更部と、を備える
   ことを特徴とする遠隔操作システム。
2. 前記補助画像変更部は、優先度が予め設定されており、前記優先度に応じて前記補助画像の表示位置又は表示サイズを変更する
   ことを特徴とする請求項１に記載の遠隔操作システム。
3. さらに、前記フォークリフトと前記対象物との間における障害物の有無を判定する判定部を備え、
   前記案内ルート表示部は、
   前記判定部によって前記障害物が無いと判定されたとき、直線で前記フォークリフトと前記対象物とを結ぶ前記案内ルートを前記表示部に表示し、
   前記判定部によって前記障害物が有ると判定されたとき、前記障害物を避けるように前記フォークリフトと前記対象物とを結ぶ前記案内ルートを前記表示部に表示するように構成されている
   ことを特徴とする請求項１又は２に記載の遠隔操作システム。
4. 前記判定部は、前記フォークリフトと前記対象物とを直線で結び前記フォークリフトの幅に相当する幅を有する仮想ルートを形成し、前記仮想ルートの内側において、
   前記障害物の全部又は一部が存在しないとき、前記障害物が無いと判定して、
   前記障害物の全部又は一部が存在するとき、前記障害物が有ると判定し、
   前記案内ルート表示部は、前記案内ルートの内側に前記障害物の全部又は一部が存在しないように前記案内ルートを表示する
   ことを特徴とする請求項１～３のいずれかに記載の遠隔操作システム。
5. 前記案内ルート表示部は、前記フォークリフトの幅に相当する幅を有する前記案内ルートを表示する
   ことを特徴とする請求項１～４のいずれかに記載の遠隔操作システム。
6. 前記案内ルート表示部は、前記障害物の右側を避ける第１の前記案内ルートと、前記障害物の左側を避ける第２の前記案内ルートと、を表示する
   ことを特徴とする請求項１～５のいずれかに記載の遠隔操作システム。
7. 前記第１及び第２の案内ルートは、それぞれが異なる色、形状又は点滅度である
   ことを特徴とする請求項６に記載の遠隔操作システム。

Images