JP2020033165A - フォークリフト用遠隔操作システム - Google Patents

Abstract

【課題】設備の追加をすることなく、パレットを障害物と誤検知することを抑制すること。【解決手段】フォークリフト用遠隔操作システムは、フォークリフト２０と、フォークリフト２０を遠隔操作するのに用いられる遠隔操作装置と、を備える。フォークリフト２０は、障害物センサ３２と、カメラと、を備える。遠隔操作装置は、画像データの画像処理を行うリモート画像処理部を備える。リモート画像処理部は、フォークリフト２０からパレットＰまでの距離が所定値以下、かつ、フォークリフト２０が前進中か否かを判定する。フォークリフト２０からパレットＰまでの距離が所定値以下、かつ、フォークリフト２０が前進中の場合、障害物センサ３２の検知範囲として第１範囲Ａ１が設定される。第１範囲Ａ１は、フォークリフト２０の前方に対して第２範囲Ａ２よりも狭い範囲である。【選択図】図２

Description

本発明は、フォークリフト用遠隔操作システムに関する。

特許文献１に記載の無人フォークリフトは、障害物センサと、制御装置と、を備える。障害物センサとしては、複数の超音波センサ、及び、複数の光電式センサが用いられている。フォークリフトが用いられる場所には、反射板が設置されている。制御装置は、光電式センサによる反射板からの反射光の受光に応じて、超音波センサと、光電式センサとの作動時期を切り替える。超音波センサと、光電式センサでは、障害物の検知範囲が異なる。制御装置は、反射板からの受光に応じて、障害物センサの検知範囲を変更しているといえる。

特開平４−２１３７０５号公報

ところで、遠隔操作装置によって遠隔操作されるフォークリフトに、障害物センサを設ける場合がある。この場合、フォークリフトがパレットに近付いた際に、障害物センサの検知範囲にパレットが入り込むと、パレットを障害物として誤検知してしまう。特許文献１と同様に、パレットの載置場所に反射板などの設備を設けることで、パレットに近付く際に障害物センサの検知範囲を短くすることも考えられる。しかしながら、この場合、設備の追加が必要となる。また、予め定められた搬送経路を走行する無人フォークリフトとは異なり、遠隔操作されるフォークリフトが使用される場所では、パレットの載置場所が予め定められていない場合も多く、設備を設ける位置を定められない場合もある。

本発明の目的は、設備の追加をすることなく、パレットを障害物と誤検知することを抑制できるフォークリフト用遠隔操作システムを提供することにある。

上記課題を解決するフォークリフト用遠隔操作システムは、無線通信を行う車両通信部を備えるフォークリフトと、無線通信を行うリモート通信部を備える遠隔操作装置と、を備え、前記リモート通信部から送信される遠隔指示信号によって前記フォークリフトが遠隔操作されるフォークリフト用遠隔操作システムであって、前記フォークリフトは、前記フォークリフトの前方に存在する障害物までの距離を測定する障害物センサと、前記フォークリフトの前方を撮像するカメラと、を備え、前記フォークリフト用遠隔操作システムは、前記カメラによって得られた画像データを画像処理する画像処理部と、前記画像処理部によって得られた情報から前記フォークリフトからパレットまでの距離を検出する検出部と、前記障害物センサの検知範囲を、第１範囲、又は、前記フォークリフトの前方に対する範囲が前記第１範囲よりも広い第２範囲に設定可能である検知範囲設定部と、を備え、前記検知範囲設定部は、前記検出部により検出された前記フォークリフトから前記パレットまでの距離が所定値以下となった場合に、前記障害物センサの前記検知範囲を前記第１範囲に設定する。

これによれば、フォークリフトからパレットまでの距離が所定値以下となると、検知範囲設定部により障害物センサの検知範囲が第１範囲に設定される。第１範囲は第２範囲よりもフォークリフトの前方に対する範囲が狭い。このため、パレットが検知範囲内に入ることが抑制され、障害物と認識されることが抑制される。これにより、パレットを障害物と誤検知することを抑制できる。

上記フォークリフト用遠隔操作システムについて、前記カメラは、単眼カメラであり、前記検出部は、前記画像データ中の前記パレットの大きさから、前記フォークリフトから前記パレットまでの距離を検出してもよい。

フォークリフトの移動に伴い、画像データ中のパレットの大きさは変化する。フォークリフトがパレットに近いほど、画像データ中のパレットは大きくなるため、これを利用して、フォークリフトとパレットとの距離を検出することができる。パレットとの距離を算出することでフォークリフトとパレットとの距離が所定値以下となったことを検出する場合に比べて、検出部の負荷を軽減することができる。

上記フォークリフト用遠隔操作システムについて、前記カメラは、ステレオカメラであり、前記検出部は、前記画像データから得られた視差に基づき、前記フォークリフトから前記パレットまでの距離を検出してもよい。

これによれば、検出部は、視差に基づき、フォークリフトからパレットまでの距離を検出できる。このため、フォークリフトからパレットまでの距離が所定値以下となったことの検出を高い精度で行うことができる。

上記フォークリフト用遠隔操作システムについて、前記遠隔操作装置が前記画像処理部、及び、前記検出部を備えていてもよい。
これによれば、フォークリフトからパレットまでの距離が所定値以下となったことの検出を遠隔操作装置によって行うことができる。

上記フォークリフト用遠隔操作システムについて、前記フォークリフトが前記画像処理部、及び、前記検出部を備えていてもよい。
これによれば、フォークリフトからパレットまでの距離が所定値以下となったことの検出がフォークリフトで行われる。遠隔操作装置によってフォークリフトからパレットまでの距離が所定値以下となったことの検出を行う場合に比べて、検知範囲の変更が遅延することを抑制できる。

本発明によれば、設備の追加をすることなく、パレットを障害物と誤検知することを抑制できる。

フォークリフト用遠隔操作システムの概略図。 フォークリフトの平面図。 フォークリフト、及び、遠隔操作装置を示すブロック図。 障害物センサの検知範囲を設定するための処理を示すフローチャート。 フォークリフトからパレットまでの距離と画像データ中のパレットとの関係を示す図。 フォークリフトからパレットまでの距離と画像データ中のパレットとの関係を示す図。

（第１実施形態）
以下、フォークリフト用遠隔操作システムの第１実施形態について説明する。
図１及び図２に示すように、フォークリフト用遠隔操作システム１０は、フォークリフト２０と、フォークリフト２０を遠隔操作するのに用いられる遠隔操作装置５０と、を備える。遠隔操作装置５０は、遠隔指示信号を送信する。遠隔指示信号を受信したフォークリフト２０は、遠隔指示信号に含まれる指令に応じて動作する。以下の説明において、フォークリフト用遠隔操作システム１０を、遠隔操作システム１０と称して説明を行う。

本実施形態のフォークリフト２０は、リーチ式である。フォークリフト２０は、車体２１と、車体２１に設けられた車輪２２と、車体２１の前方に向けて延びたリーチレグ２３と、車体２１の前方に設けられた荷役装置２４と、を備える。荷役装置２４は、リーチレグ２３に対して起立したマスト２５と、マスト２５に取り付けられたフォーク２６と、を備える。フォークリフト２０は、フォーク２６にパレットＰを積載し、パレットＰに積載された荷を搬送する。本実施形態では、パレットＰとして、矩形板状であり、フォーク２６が挿入される孔Ｈを備える平パレットを例示して説明を行う。

図３に示すように、フォークリフト２０は、フォークリフト２０に走行動作を行わせる駆動機構２７と、フォークリフト２０に荷役動作を行わせる荷役機構２８と、受信部２９と、送信部３０と、速度センサ３１と、障害物センサ３２と、メインコントローラ３３と、を備える。

駆動機構２７は、車輪２２を回転させる駆動源、フォークリフト２０の操舵を行う操舵機構などを含む。荷役機構２８は、マスト２５を動作させる油圧シリンダに作動油を供給する荷役ポンプ、荷役ポンプを駆動させる駆動源、作動油の流通を制御するバルブなどを含む。荷役機構２８は、マスト２５をリーチレグ２３に沿って前後方向に移動させるリーチ動作、マスト２５を傾動させるティルト動作、マスト２５を昇降させるリフト動作を荷役装置２４に行わせることができる。荷役動作は、リーチ動作、ティルト動作、リフト動作のいずれか１つを含む動作である。

受信部２９は、遠隔操作装置５０から無線送信される遠隔指示信号を受信する。遠隔指示信号は、フォークリフト２０に対する指令を含んだ信号である。指令には、走行動作に関する指令、荷役動作に関する指令など、フォークリフト２０の動作に関する種々の指令が含まれる。受信部２９は、遠隔指示信号を受信すると、当該遠隔指示信号をメインコントローラ３３に出力する。

送信部３０は、フォークリフト２０に関する情報を含んだ車両状態信号を遠隔操作装置５０に向けて無線送信する。フォークリフト２０に関する情報とは、例えば、フォークリフト２０の速度である。車両状態信号は、メインコントローラ３３によって生成される。

速度センサ３１は、フォークリフト２０の速度を検出する。速度センサ３１の検出結果は、メインコントローラ３３に出力される。
障害物センサ３２としては、例えば、レーザーを用いたレーザーレンジファインダや、超音波を用いた超音波センサなどの距離計が用いられる。本実施形態では、障害物センサ３２として、レーザーレンジファインダを用いた場合について説明する。

図２、及び、図３に示すように、障害物センサ３２は、レーザーを周辺に照射し、レーザーが当たった部分から反射された反射光を受信することで距離を測定する距離計である。本実施形態の障害物センサ３２は、水平方向への照射角度を変更しながらレーザーを照射する二次元のレーザーレンジファインダである。レーザーが当たった部分を照射点とすると、障害物センサ３２は照射点までの距離を照射角度に対応付けて測定する。言い換えれば、障害物センサ３２は、フォークリフト２０と照射点との相対座標を測定できる。以下の説明において、レーザーの照射可能角度θ内であり、かつ、レーザーの照射可能距離Ｄ内の範囲を検知可能範囲Ａとして説明する。検知可能範囲Ａとは、障害物センサ３２がメインコントローラ３３に障害物を検出させることが可能な最大の範囲ともいえる。

障害物センサ３２は、フォークリフト２０の前方に存在する障害物までの距離を測定できるようにフォークリフト２０に取り付けられている。即ち、障害物センサ３２の検知可能範囲Ａにフォークリフト２０の前方が含まれるように障害物センサ３２は取り付けられている。また、障害物センサ３２は、フォークリフト２０によってレーザーが遮られにくい位置に取り付けられている。本実施形態では、リーチレグ２３の先端に障害物センサ３２が取り付けられている。

メインコントローラ３３は、ＣＰＵ３４と、ＲＡＭ及びＲＯＭ等からなる記憶部３５と、を備える。記憶部３５には、フォークリフト２０を制御するための種々のプログラムが記憶されている。メインコントローラ３３は、各種処理のうち少なくとも一部の処理を実行する専用のハードウェア、例えば、特定用途向け集積回路：ＡＳＩＣを備えていてもよい。メインコントローラ３３は、コンピュータプログラムに従って動作する１つ以上のプロセッサ、ＡＳＩＣ等の１つ以上の専用のハードウェア回路、あるいは、それらの組み合わせを含む回路として構成し得る。プロセッサは、ＣＰＵ、並びに、ＲＡＭ及びＲＯＭ等のメモリを含む。メモリは、処理をＣＰＵに実行させるように構成されたプログラムコードまたは指令を格納している。メモリ、即ち、コンピュータ可読媒体は、汎用または専用のコンピュータでアクセスできるあらゆるものを含む。

メインコントローラ３３は、受信部２９から取得した遠隔指示信号に含まれる指令に応じて、駆動機構２７、及び、荷役機構２８を制御する。これにより、フォークリフト２０は、遠隔指示信号に応じた動作を行うことが可能である。

メインコントローラ３３は、障害物センサ３２の検出結果から、フォークリフト２０の前方に存在する障害物を検知する。検知可能範囲Ａに障害物が存在する場合、レーザーが障害物に当たる位置と、レーザーが障害物に当たらなくなる位置との境界で検出される距離に変化が生じる。メインコントローラ３３は、この距離の変化を利用して、障害物の検知をすることができる。

メインコントローラ３３は、障害物を検知すると、フォークリフト２０に速度制限を課す。メインコントローラ３３は、フォークリフト２０の速度が速度制限により設定された速度制限値を上回らないように制御を行う。即ち、遠隔操作装置５０からの速度に関する指令が速度制限値を上回るような指令であっても、メインコントローラ３３は、速度制限値を上回らないように駆動機構２７を制御する。なお、速度制限値は、予め設定された速度であり、障害物の回避に要する時間などに応じて設定される。速度制限値には、フォークリフト２０の停止＝速度０［ｋｍ／ｈ］を含む。なお、ここでいう「速度制限」は、フォークリフト２０を前進させる場合の速度制限であり、フォークリフト２０の後退時には速度制限は課されなくてもよい。

フォークリフト２０は、複数のカメラ４１〜４６と、車両画像処理部４７と、画像送信部４８と、を備える。複数のカメラ４１〜４６は、フォークリフト２０の周辺環境を撮像するものである。複数のカメラ４１〜４６は、互いに視点が異なるように配置されている。このため、複数のカメラ４１〜４６で撮像された画像の視点は互いに異なっている。換言すれば、各画像は、撮像位置又は撮像角度が異なっているとも言える。本実施形態において、各カメラ４１〜４６は、単眼カメラである。

複数のカメラ４１〜４６のうち、４つのカメラ４１〜４４は、車体２１の上部に取り付けられている。第１カメラ４１は、車体２１の前方を向くように配置されている。第２カメラ４２、及び、第３カメラ４３は、車幅方向両側のうち互いに異なる方向を向くように配置されている。第４カメラ４４は、車体２１の後方を向くように配置されている。第５カメラ４５は、４つのカメラ４１〜４４よりも下方に配置されている。第５カメラ４５は、マスト２５の上部に配置されている。第５カメラ４５は、車体２１の前方、かつ、マストの斜め下を向くように配置されている。第６カメラ４６は、４つのカメラ４１〜４４よりも下方に配置されている。第６カメラ４６は、例えば、フォーク２６に取り付けられている。第６カメラ４６は、車体２１の前方を向くように配置されている。第１カメラ４１、第５カメラ４５、及び、第６カメラ４６は、フォークリフト２０の前方を撮像するカメラとなる。

本実施形態の車両画像処理部４７は、カメラ４１〜４６の撮像により得られた画像データに対して画像処理を行い、画像処理された画像データを含んだ画像信号を画像送信部４８に出力する。なお、本実施形態の画像データは、ＲＧＢ形式のデータである。画像送信部４８は、車両画像処理部４７から送られた画像信号を遠隔操作装置５０に向けて無線送信する。画像信号は、定期的に送信される。

上記したように、フォークリフト２０の受信部２９、送信部３０、及び、画像送信部４８は、遠隔操作装置５０との無線通信のために設けられており、無線通信を行う車両通信部として機能している。

次に、遠隔操作装置５０について説明する。
遠隔操作装置５０は、例えば、フォークリフト２０を視認できないような場所、詳細にはフォークリフト２０が作業を行う作業場とは異なる場所である管制室に設けられている。

図１に示すように、遠隔操作装置５０は、走行操作部５１、及び、荷役操作部５２を備える。走行操作部５１、及び、荷役操作部５２は、例えば傾倒可能なレバー式の操作部である。走行操作部５１は、遠隔操作装置５０によりフォークリフト２０に走行動作をさせるときに用いられる。荷役操作部５２は、遠隔操作装置５０によりフォークリフト２０に荷役動作をさせるときに用いられる。荷役操作部５２は、荷役動作の種類に応じて、荷役動作の種類と同数設けられていてもよい。また、荷役操作部５２を単数とし、荷役操作部５２に対応する荷役動作の種類をスイッチなどにより切り替え可能にされていてもよい。

図３に示すように、遠隔操作装置５０は、送信部５３と、受信部５４と、リモートコントローラ５５と、を備える。リモートコントローラ５５は、ＣＰＵ５６と、ＲＡＭ及びＲＯＭ等からなる記憶部５７と、を備える。記憶部５７には、遠隔操作装置５０を制御するための種々のプログラムが記憶されている。リモートコントローラ５５は、各種処理のうち少なくとも一部の処理を実行する専用のハードウェア、例えば、特定用途向け集積回路：ＡＳＩＣを備えていてもよい。リモートコントローラ５５は、コンピュータプログラムに従って動作する１つ以上のプロセッサ、ＡＳＩＣ等の１つ以上の専用のハードウェア回路、あるいは、それらの組み合わせを含む回路として構成し得る。プロセッサは、ＣＰＵ、並びに、ＲＡＭ及びＲＯＭ等のメモリを含む。メモリは、処理をＣＰＵに実行させるように構成されたプログラムコードまたは指令を格納している。メモリ、即ち、コンピュータ可読媒体は、汎用または専用のコンピュータでアクセスできるあらゆるものを含む。

リモートコントローラ５５は、走行操作部５１の操作量、及び、操作方向に応じて走行動作に関する指令を生成する。リモートコントローラ５５は、荷役操作部５２の操作量、及び、操作方向に応じて荷役動作に関する指令を生成する。リモートコントローラ５５は、走行動作に関する指令、及び、荷役動作に関する指令を含んだ遠隔指示信号を生成する。

送信部５３は、リモートコントローラ５５によって生成された遠隔指示信号を無線送信する。これにより、走行操作部５１、及び、荷役操作部５２の操作に応じてフォークリフト２０が遠隔操作される。

受信部５４は、フォークリフト２０の送信部３０から送信された車両状態信号を受信する。受信部５４は、車両状態信号を受信すると、当該車両状態信号をリモートコントローラ５５に送る。リモートコントローラ５５は、車両状態信号に含まれる情報から、フォークリフト２０の状態を把握する。

遠隔操作装置５０は、画像受信部６１と、リモート画像処理部６２と、モニタ６３と、を備える。画像受信部６１は、フォークリフト２０から送信される画像信号を受信するものである。画像受信部６１は、受信した画像信号をリモート画像処理部６２に出力する。

リモート画像処理部６２は、画像信号に含まれる画像データに対して画像処理を行う。画像処理としては、画像データをモニタ６３に表示させるための処理、及び、画像データからパレットＰを検出する処理を含む。

モニタ６３は、走行操作部５１、及び、荷役操作部５２を操作する操作者が、視認可能な位置に配置されている。モニタ６３には、リモート画像処理部６２によってカメラ４１〜４６によって撮像された画像が表示される。操作者は、モニタ６３に表示される画像からフォークリフト２０の周辺環境を把握し、フォークリフト２０の遠隔操作を行う。

上記したように、遠隔操作装置５０の受信部５４、送信部５３、及び、画像受信部６１は、フォークリフト２０との無線通信のために設けられており、無線通信を行うリモート通信部として機能している。

遠隔操作システム１０は、障害物センサ３２によりパレットＰが障害物と誤検知されないように、障害物センサ３２の検知範囲を設定する処理を行う。以下、障害物センサ３２の検知範囲を設定する処理について説明を行う。

図４に示すように、ステップＳ１において、リモートコントローラ５５は、フォークリフト２０の速度に応じて、障害物センサ３２の検知範囲を導出する。フォークリフト２０の速度は、車両状態信号に含まれる速度の情報から把握することができる。検知範囲とは、メインコントローラ３３が、車体２１の前方に対して障害物の検知を行う範囲である。リモートコントローラ５５は、フォークリフト２０の速度が速いほど検知範囲を広くし、フォークリフト２０の速度が遅いほど検知範囲を狭くする。本実施形態では、フォークリフト２０の速度に閾値を設定し、速度が閾値未満の場合には第１範囲Ａ１、速度が閾値以上の場合には第２範囲が導出されるようにしている。第２範囲Ａ２は、フォークリフト２０の前方に対する範囲が第１範囲Ａ１よりも広い範囲である。本実施形態では、第２範囲Ａ２は検知可能範囲Ａと一致する。第１範囲Ａ１は、フォークリフト２０の前方に対する範囲が第２範囲Ａ２よりも狭い範囲であり、範囲０を含む。即ち、第１範囲Ａ１とは、障害物の検知を行わない態様も含むものである。

次に、ステップＳ２において、リモート画像処理部６２は、フォークリフト２０からパレットＰまでの距離が所定値以下、かつ、フォークリフト２０が前進中か否かを判定する。フォークリフト２０が前進中か否かは、例えば、リモートコントローラ５５から走行操作部５１の操作方向に関する情報を取得することで把握することができる。「所定値」は、障害物センサ３２の検知可能範囲Ａに基づいて設定されており、フォークリフト２０がパレットＰに近付いた際に、検知可能範囲Ａ内にパレットＰが入る距離よりも若干長い距離である。また、フォークリフト２０からパレットＰまでの距離とは、障害物センサ３２からパレットＰまでの距離であってもよいし、フォークリフト２０の車体２１や荷役装置２４からパレットＰまでの距離であってもよい。即ち、フォークリフト２０を構成する部材であれば、いずれの部材を基準としてパレットＰまでの距離としてもよい。

フォークリフト２０からパレットＰまでの距離が所定値以下か否かは、画像データ中のパレットＰの大きさと、予め設定された閾値との比較により行うことができる。本実施形態では、第６カメラ４６により撮像された画像データ中のパレットＰの側面から、フォークリフト２０からパレットＰまでの距離が所定値以下か否かを判定する。

図５、及び、図６には、画像データＩ中のパレットＰを模式的に示している。リモート画像処理部６２は、画像データＩからパレットＰの検出を行う。言い換えれば、画像データＩ中にパレットＰが存在しているか否かの判定を行う。画像データＩ中のパレットＰの検出は、画像データＩの輝度情報を用いて行われる。物体を撮像すると、物体の周縁と、空間との境目では輝度が大きく変化する。したがって、ＲＧＢの輝度値の変化から、物体の輪郭を検出することができる。リモート画像処理部６２は、予め定められたパレットＰのマッチング画像ＰＭと、画像データＩ中の物体の輪郭とを比較する。物体の輪郭と、マッチング画像ＰＭとを比較する際には、マッチング画像ＰＭの縮尺を変更して、縮尺の異なる複数のマッチング画像ＰＭとの比較を行う。そして、画像データＩ中の物体のうち、マッチング画像ＰＭの縦寸法（縦ピクセル）との差と、マッチング画像ＰＭの横寸法（横ピクセル）との差の両方が所定範囲に収まっている物体をパレットＰと判断する。なお、縮尺の変更は、マッチング画像ＰＭの縦横比を維持した状態で行われる。これにより、フォークリフト２０からパレットＰまでの距離に関わらず、言い換えれば、画像データＩ中のパレットＰの大きさに関わらず、パレットＰの検出が可能である。

次に、リモート画像処理部６２は、画像データＩ中のパレットＰの大きさが閾値以上か否かを判定する。本実施形態では、パレットＰの大きさとして、パレットＰの側面のうち高さ方向の寸法と、幅方向の寸法の両方を用いて判定を行う。即ち、パレットＰの高さ方向の寸法と、パレットＰの幅方向の寸法には個別の閾値が設定されており、高さ方向及び幅方向について個別の判定が行われる。以下、パレットＰの高さ方向の寸法に対する閾値を高さ閾値、パレットＰの幅方向の寸法に対する閾値を幅方向として説明を行う。

図５、及び、図６に示すように、フォークリフト２０がパレットＰに近付くと、画像データＩ中のパレットＰは大きくなっていく。即ち、パレットＰの縦ピクセルと横ピクセルは大きくなっていく。リモート画像処理部６２は、パレットＰの高さ方向の寸法が高さ閾値を上回り、かつ、パレットＰの幅方向の寸法が幅閾値を上回ると、フォークリフト２０とパレットＰとの距離は、所定値以下と判定する。リモート画像処理部６２は、画像データI中のパレットＰの大きさを利用して、フォークリフト２０とパレットＰとの距離を検出しているといえる。なお、高さ閾値、及び、幅閾値としては、長期間の使用に伴うパレットＰの摩耗などを考慮して設定される。例えば、フォークリフト２０からパレットＰまでの距離が所定値となる位置から、摩耗していないパレットＰを撮像したとする。この場合に得られる画像データＩ中のパレットＰの高さ方向の寸法よりも若干小さい値を高さ閾値とし、画像データＩ中のパレットＰの幅方向の寸法よりも若干小さい値を幅閾値とする。

なお、上記したステップＳ２の処理は、フォークリフト２０の使用される作業場で用いられるパレットＰの種類が単数であっても、複数であっても行うことができる。パレットＰの種類が単数の場合、単一のマッチング画像ＰＭ、単一の高さ閾値、及び、単一の幅閾値が設定されるため、これらとパレットＰとの比較を行えばよい。パレットＰの種類が複数の場合、複数種類のパレットＰに対応したマッチング画像ＰＭ、高さ閾値、及び、幅閾値がそれぞれ設定される。この場合、画像データＩからパレットＰを検出する際に、複数種類のマッチング画像ＰＭを用いてマッチングを行う。複数のマッチング画像ＰＭのうち、画像データＩ中のパレットＰと合致するマッチング画像ＰＭから、リモート画像処理部６２は、画像データＩ中のパレットＰの種類を認識することができる。リモート画像処理部６２は、認識したパレットＰの種類に対応する高さ閾値、及び、幅閾値を用いて、フォークリフト２０とパレットＰとの距離が所定値以下になったことの判定を行う。本実施形態では、リモート画像処理部６２が画像処理部、及び、検出部として機能している。

図４に示すように、ステップＳ２の判定結果が否定の場合、遠隔操作システム１０は、ステップＳ３の処理を行う。一方で、ステップＳ２の判定結果が肯定の場合、即ち、フォークリフト２０が前進しており、かつ、フォークリフト２０からパレットＰまでの距離が所定値以下の場合、遠隔操作システム１０はステップＳ４の処理を行う。

ステップＳ３において、リモート画像処理部６２は、ステップＳ２の判定結果が否定であったことをリモートコントローラ５５に出力する。リモートコントローラ５５は、ステップＳ１で導出した検知範囲を指定する指令を含んだ遠隔指示信号を生成し、送信部５３から送信を行う。メインコントローラ３３は、受信部２９を介して、検知範囲を指定する指令を受けとると、当該指令で指定された検知範囲を設定する。これにより、フォークリフト２０とパレットＰとの距離が所定値より長い場合や、フォークリフト２０の後退中には、速度に応じた検知範囲が設定されることになる。即ち、フォークリフト２０の速度に応じて、第１範囲Ａ１と第２範囲Ａ２とが切り替えられることになる。

第１範囲Ａ１と第２範囲Ａ２との切り替えは、障害物の検知に用いる距離情報を変更することで行ってもよい。メインコントローラ３３は、検知範囲として第１範囲Ａ１を設定した場合、レーザーが照射される照射点のうち第１範囲Ａ１内の照射点を用いて障害物の検知を行う。これにより、第１範囲Ａ１内に存在する障害物が検知される。即ち、第１範囲Ａ１外の照射点については、障害物の検知に用いない。メインコントローラ３３は、検知範囲として第２範囲Ａ２を設定した場合、レーザーが照射される照射点のうち第２範囲Ａ２内の照射点を用いて障害物の検知を行う。

また、第１範囲Ａ１と第２範囲Ａ２との切り替えは、障害物センサ３２として、２つのセンサを用いることで行ってもよい。例えば、検知可能範囲Ａが第１範囲Ａ１のセンサと、検知可能範囲Ａが第２範囲Ａ２のセンサとを用いる。メインコントローラ３３は、検知範囲として第１範囲Ａ１を設定した場合、検知可能範囲Ａが第１範囲Ａ１のセンサを用いて障害物の検知を行う。メインコントローラ３３は、検知範囲として第２範囲を設定した場合、検知可能範囲Ａが第２範囲Ａ２のセンサを用いて障害物の検知を行う。

ステップＳ４において、リモート画像処理部６２は、ステップＳ２の判定結果が肯定であったことをリモートコントローラ５５に出力する。リモートコントローラ５５は、ステップＳ１で導出した検知範囲に関わらず、第１範囲Ａ１を指定する指定を含んだ遠隔指示信号を生成し、送信部５３から送信を行う。メインコントローラ３３は、受信部２９を介して、第１範囲Ａ１を指定する指令を受け取ると、第１範囲Ａ１を検知範囲として設定する。これにより、フォークリフト２０からパレットＰまでの距離が所定値以下の場合には、フォークリフト２０の速度に関わらず第１範囲Ａ１が検知範囲として設定されることになる。上記したように、リモートコントローラ５５の生成する遠隔指示信号により、第１範囲Ａ１と第２範囲Ａ２とを切り替え可能であり、リモートコントローラ５５は、検知範囲設定部として機能しているといえる。

なお、遠隔操作装置５０は、通信対象（接続対象）となるフォークリフト２０を変更することが可能である。したがって、通信対象を変更することで、遠隔操作装置５０によって、作業場にある複数のフォークリフト２０を遠隔操作できる。

次に、第１実施形態の作用を説明する。
フォークリフト２０からパレットＰまでの距離が所定値より長い場合、障害物センサ３２の検知範囲はフォークリフト２０の速度に応じたものとなる。フォークリフト２０の速度が速いほど、制動距離が長くなるため、フォークリフト２０の速度が閾値以上の場合には、第１範囲Ａ１よりも広い第２範囲Ａ２が設定されるようにしている。これにより、速度に合わせて適切に障害物が検知されるようにしている。

ここで、フォークリフト２０の速度が閾値以上の状態でフォークリフト２０がパレットＰに近付いた際に、検知範囲を第２範囲Ａ２に維持していると、検知範囲にパレットＰが入り込み、パレットＰが障害物と誤検知され得る。

これに対し、本実施形態では、フォークリフト２０からパレットＰまでの距離が所定値以下になると、速度に関わらず、検知範囲は第１範囲Ａ１となる。このため、検知範囲にパレットＰが入り込みにくく、パレットＰを障害物と誤検知することを抑制できる。

なお、障害物センサ３２を設けることなく、カメラ４１〜４６を用いて障害物の検知を行うことも考えられる。しかしながら、カメラ４１〜４６として、単眼カメラを用いた場合、リモート画像処理部６２は、障害物の存在を認識できたとしても、当該障害物までの距離を認識することは困難である。このため、フォークリフト２０に速度制限を課すタイミングを定めにくい。詳細にいえば、カメラ４１〜４６によって障害物が撮像された時点で速度制限が課される場合、障害物までの距離が十分に離れているにも関わらず速度制限が課されるおそれがある。これに対して、距離によって障害物を検出する障害物センサ３２を用いることで、適切なタイミングで速度制限を課すことができる。

第１実施形態の効果について説明する。
（１−１）フォークリフト２０からパレットＰまでの距離が所定値以下になると、障害物センサ３２の検知範囲は第１範囲Ａ１とされる。これにより、パレットＰが障害物と誤検知されることを抑制できる。画像データＩに基づき、障害物センサ３２の検知範囲を設定することができるため、フォークリフト２０の使用される作業場に設備を追加することなく、パレットＰが障害物と誤検知されることを抑制できる。設備のない場所であってもパレットＰを障害物と誤検知することを抑制できるため、フォークリフト２０の使用される作業場の環境に依存することなく、誤検知を抑制できるといえる。

（１−２）カメラ４１〜４６として、単眼カメラを用いている。フォークリフト２０がパレットＰに近いほど、画像データＩ中のパレットＰは大きくなるため、これを利用して、フォークリフト２０とパレットＰとの距離を検出することができる。フォークリフト２０からパレットまでの距離を算出することでフォークリフト２０からパレットＰまでの距離が所定値以下となったことを検出する場合に比べて、リモート画像処理部６２の負荷を軽減することができる。

（１−３）フォークリフト２０からパレットＰまでの距離が所定値以下となったことを検出する画像処理部として、遠隔操作装置５０のリモート画像処理部６２を用いている。フォークリフト２０からパレットＰまでの距離が所定値以下となったことを画像処理により行う場合、当該画像処理を行わない場合に比べて高い処理能力が求められる。遠隔操作装置５０のリモート画像処理部６２を画像処理部とすることで、フォークリフト２０毎に搭載される車両画像処理部４７を画像処理部とする場合に比べて、製造コストの低減が図られる。

（第２実施形態）
以下、フォークリフト用遠隔操作システムの第２実施形態について説明する。第２実施形態では、カメラ４１〜４６として、ステレオカメラを用いている。また、パレットＰからフォークリフト２０までの距離が所定値以下となったことを検出する処理手順が異なる。その他の構成については、第１実施形態と同様であるため、その説明を省略する。

ステレオカメラは、複数の画像データＩを得られるものである。本実施形態では、ステレオカメラによる撮像により、２つの画像データＩが得られるとする。２つの画像データＩのうちの一方を第１画像データとし、他方を第２画像データとして説明を行う。なお、カメラ４１〜４６のうち、フォークリフト２０からパレットＰまでの距離が所定値以下になったことの検出に用いられるカメラのみをステレオカメラとしてもよい。また、全てのカメラ４１〜４６をステレオカメラとしてもよい。

カメラ４１〜４６として、ステレオカメラを用いる場合、第１画像データ、及び、第２画像データを含んだ画像信号が画像送信部４８から送信される。また、カメラ４１〜４６としてステレオカメラを用いる場合、第１実施形態におけるステップＳ２の判定において、以下の処理を行う。

まず、リモート画像処理部６２は、第１実施形態と同様に、第１画像データ、及び、第２画像データからパレットＰを検出する。次に、リモート画像処理部６２は、第１画像データと第２画像データから、視差を算出する。視差は、第１画像データと、第２画像データとを比較し、各画像データに写る同一の対象物について第１画像データと第２画像データの画像位置の差を算出することで得られる。画像位置の差は、第１画像データ中の対象物と、第２画像データ中の対象物とのピクセル数の差［ｐｘ］である。リモート画像処理部６２は、パレットＰを対象物とし、パレットＰの視差、詳細にいえば、パレットＰの輪郭を構成する各画素の視差を算出する。

リモート画像処理部６２は、視差に基づき、フォークリフト２０からパレットＰまでの距離を算出する。リモート画像処理部６２は、算出される距離が所定値以下となると、フォークリフト２０からパレットＰまでの距離が所定値以下になったと判断する。以降の処理は、第１実施形態と同様である。従って、ステレオカメラを用いて、フォークリフト２０からパレットＰまでの距離が所定値以下になることを検出し、これにより障害物センサ３２の検知範囲を設定することができる。

なお、カメラ４１〜４６としてステレオカメラを用いた場合、障害物の検知、及び、障害物までの距離の測定をリモート画像処理部６２によって行うことができる。このため、障害物センサ３２を設けず、ステレオカメラを用いて障害物の検知を行うことも考えられる。しかしながら、ステレオカメラにより障害物までの距離を測定する場合、視差を算出する必要がある。無地の壁や、同じ模様が均等に描かれている壁の場合、視差を算出しにくく、これらの壁をステレオカメラで検出することは困難である。従って、操作者の誤操作によりフォークリフト２０が壁に向かって走行している場合、リモート画像処理部６２は、壁を障害物と認識することができず、速度制限が課されないおそれがある。これに対して、障害物センサ３２を用いて障害物の検知を行う場合、壁など、ステレオカメラで認識しにくい障害物であっても、検出することが可能である。

第２実施形態の効果について説明する。
（２−１）カメラ４１〜４６としてステレオカメラを用いて、視差に基づいてパレットＰまでの距離を検出している。このため、フォークリフト２０からパレットＰまでの距離が所定値以下になったことの検出を高精度で行うことができる。

各実施形態は、以下のように変更して実施することができる。各実施形態及び以下の変形例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
○各実施形態において、画像処理部及び検出部として、フォークリフト２０の車両画像処理部４７を用いてもよい。この場合、第１実施形態のステップＳ１〜ステップＳ４の処理、即ち、障害物センサ３２の検知範囲を設定する処理は、フォークリフト２０側で行われることになる。

ステップＳ１の処理は、メインコントローラ３３によって行われる。メインコントローラ３３は、速度センサ３１の検出結果からフォークリフト２０の速度を把握する。そして、第１実施形態における処理と同様の処理で、速度に応じた検知範囲を導出する。

ステップＳ２の処理は、車両画像処理部４７によって行われる。車両画像処理部４７は、メインコントローラ３３から速度センサ３１の検出結果を取得することで、フォークリフト２０が前進しているか否かを判定する。そして、車両画像処理部４７は、各実施形態における処理と同様の処理で、フォークリフト２０とパレットＰとの距離が所定値以下となったことを検出する。

ステップＳ３の処理は、車両画像処理部４７によって行われる。車両画像処理部４７は、ステップＳ２の判定結果が否定であったことをメインコントローラ３３に出力する。メインコントローラ３３は、速度に応じた検知範囲を設定する。ステップＳ４の処理は、車両画像処理部４７によって行われる。ステップＳ４において、車両画像処理部４７は、ステップＳ２の判定結果が肯定であったことをメインコントローラ３３に出力する。メインコントローラ３３は、検知範囲として第１範囲Ａ１を設定する。この場合、メインコントローラ３３が検知範囲設定部として機能することになる。

上記したように、画像処理部、及び、検出部として車両画像処理部４７を用いると、遠隔操作装置５０による処理を介することなく検知範囲の設定が行われる。このため、検知範囲を設定するに際して、画像データＩを遠隔操作装置５０に送信することによる遅延がなく、速度の変化や、パレットＰとの位置関係の変化による検知範囲の変更を迅速に行うことができる。

○各実施形態において、ステップＳ２における画像データＩ中からのパレットＰの検出は、マッチング画像ＰＭを用いずに行われてもよい。例えば、フォークリフト２０の使用される作業場で用いられているパレットＰの色を予め設定しておき、画像データＩ中の色と、予め設定された色とのマッチングによりパレットＰを検出してもよい。

○各実施形態において、フォークリフト２０からパレットＰまでの距離が所定値以下になったことの検出方法を変更してもよい。例えば、パレットＰの載置される高さが一定の作業場でフォークリフト２０が使用される場合、カメラ４１〜４６の取付位置、及び、取付角度を調整することで、フォークリフト２０からパレットＰまでの距離が所定値以下になったタイミングで、パレットＰが撮像範囲に入るようにする。そして、リモート画像処理部６２は、画像データＩ中からパレットＰを検出すると、フォークリフト２０からパレットＰまでの距離が所定値以下と判断する。

○各実施形態において、フォークリフト２０の前方の障害物を検出するための障害物センサ３２の数は、適宜変更してもよい。例えば、両方のリーチレグ２３に障害物センサ３２を設けてもよい。

○各実施形態において、フォークリフト２０の車幅方向や、フォークリフト２０の後方の障害物を検出するための障害物センサ３２を設けてもよい。これらの障害物センサ３２については、フォークリフト２０からパレットＰまでの距離が所定値以下になったことを契機として、検知範囲の変更を行わなくてもよい。

○各実施形態において、障害物センサ３２の取付位置は、フォーク２６の先端、マスト２５、車体２１の上方などフォークリフト２０の前方に存在する障害物までの距離を測定できる位置であれば、どのような位置であってもよい。

○各実施形態において、障害物センサ３２の検知範囲は、３段階以上に変更可能であってもよい。例えば、検知範囲を３段階に切り替える場合、フォークリフト２０からパレットＰまでの距離が所定値以下の場合の検知範囲を第１範囲Ａ１とする。そして、フォークリフト２０の速度が閾値以上の場合の検知範囲を第１範囲Ａ１よりも広い第２範囲Ａ２とし、フォークリフト２０の速度が閾値未満の場合の検知範囲を第１範囲Ａ１と第２範囲Ａ２との間の範囲である第３範囲とする。

なお、検知範囲を３段階以上に切り替える場合、第１範囲Ａ１は、最も範囲の狭い検知範囲でなくてもよい。例えば、３段階以上に検知範囲を切り替え可能な場合、２番目に範囲の広い検知範囲を第１範囲Ａ１とし、最も広い検知範囲を第２範囲Ａ２としてもよい。即ち、第１範囲Ａ１は、最も広い範囲でなければよく、第２範囲Ａ２は、第１範囲Ａ１よりも範囲の広い任意の範囲である。

○各実施形態において、速度に応じた検知範囲の変更は、速度に比例するように変更してもよい。
○各実施形態において、速度に応じた検知範囲の変更は行われなくてもよい。即ち、障害物センサ３２の検知範囲の変更は、フォークリフト２０からパレットＰまでの距離が所定値以下か否かの判断のみで行われてもよい。速度に応じて検知範囲を変更しない場合、フォークリフト２０からパレットＰまでの距離が所定値以下のときには検知範囲は第１範囲Ａ１とされ、フォークリフト２０からパレットＰまでの距離が所定値より長いときには検知範囲は第２範囲Ａ２とされる。

速度に応じて検知範囲を変更しない場合であっても、フォークリフト２０からパレットＰまでの距離が所定値以下か否かに応じて障害物センサ３２の検知範囲を変更することで、障害物の適切な検出が可能となる。仮に、フォークリフト２０からパレットＰまでの距離が所定値以下か否かによって検知範囲の変更を行わず、検知範囲を一定とする場合、パレットＰを障害物と誤検知することを抑制するためには、検知範囲を常に短く維持する必要がある。すると、フォークリフト２０からパレットＰまでの距離が十分に長い場合であっても短い検知範囲内の障害物しか検知することができない。

これに対して、フォークリフト２０からパレットＰまでの距離が所定値以下の場合にのみ検知範囲を第１範囲Ａ１とすることで、パレットＰとの距離が所定値より長ければ第１範囲Ａ１よりも広い第２範囲Ａ２での障害物の検知が可能となる。

○各実施形態において、パレットＰの高さ方向の寸法、及び、パレットＰの幅方向の寸法のうち一方が閾値を超えた場合に、フォークリフト２０からパレットＰまでの距離は所定値以下になったと判断してもよい。また、各実施形態において、高さ閾値、及び、幅閾値のうち一方が設定されていてもよい。

○各実施形態において、障害物センサ３２として、レーザーレンジファインダ、超音波センサ、電波により距離を測定するセンサなどを併用してもよい。
○各実施形態において、障害物を検出した場合、フォークリフト２０に速度制限を課すことに代えて、障害物が近いことをモニタ６３に表示してもよい。また、速度制限を課すことと、モニタ６３への表示の両方を行ってもよい。

○各実施形態において、画像データＩの形式としては、例えば、ＨＳＶ形式などでもよい。また、グレースケールの形式であってもよい。
○各実施形態では、パレットＰの一例として平パレットを挙げたが、ポストパレットなど、他の種類のパレットであってもよい。マッチング画像ＰＭや、各閾値をパレットＰの種類に合わせて変更することで、いずれの種類のパレットＰであっても障害物と誤検知することを抑制できる。

○各実施形態において、リモート画像処理部６２は、第１カメラ４１や、第５カメラ４５の撮像によって得られた画像データから、フォークリフト２０からパレットＰまでの距離が所定値以下か否かを判断してもよい。

○各実施形態において、フォークリフト２０は、カウンタ式であってもよい。
○第１実施形態において、リモート画像処理部６２は、パレットＰの大きさとして、パレットＰの側面の面積を用いてフォークリフト２０からパレットＰまでの距離が所定値以下になったことの判断を行ってもよい。この場合、リモート画像処理部６２は、マッチング画像ＰＭの面積と、画像データＩ中のパレットＰの面積を比較し、面積の差が所定範囲になると、フォークリフト２０からパレットＰまでの距離が所定値以下になったと判断する。画像データＩ中のパレットＰの面積は、例えば、使用されるパレットＰの色を予め設定しておき、画像データＩ中の当該色の面積を算出することで求められる。

○第１実施形態において、フォークリフト２０からパレットＰまでの距離が所定値以下になったことの判断は、閾値を用いずに行われてもよい。例えば、マッチング画像ＰＭを用いることで、フォークリフト２０からパレットＰまでの距離が所定値以下になったことの判断を行ってもよい。詳細に説明すると、マッチング画像ＰＭとして、フォークリフト２０からパレットＰまでの距離が所定値となる位置で撮像されたパレットＰの画像を用いる。リモート画像処理部６２は、マッチング画像ＰＭの縮尺を変更せずにマッチング処理を行う。リモート画像処理部６２は、画像データＩのパレットＰと、マッチング画像ＰＭとの寸法差が所定範囲となった場合、フォークリフト２０からパレットＰまでの距離は所定値以下と判断する。

○各実施形態において、画像処理部と、検出部とは、別の装置として設けられていてもよい。

Ａ１…第１範囲、Ａ２…第２範囲、Ｐ…パレット、１０…フォークリフト用遠隔操作システム、２０…フォークリフト、２９…受信部、３０…送信部、３２…障害物センサ、３３…メインコントローラ、４１…第１カメラ、４５…第５カメラ、４６…第６カメラ、４７…車両画像処理部、４８…画像送信部、５０…遠隔操作装置、５３…送信部、５４…受信部、５５…リモートコントローラ、６１…画像受信部、６２…リモート画像処理部。

Claims (5)

1. 無線通信を行う車両通信部を備えるフォークリフトと、無線通信を行うリモート通信部を備える遠隔操作装置と、を備え、前記リモート通信部から送信される遠隔指示信号によって前記フォークリフトが遠隔操作されるフォークリフト用遠隔操作システムであって、
   前記フォークリフトは、
   前記フォークリフトの前方に存在する障害物までの距離を測定する障害物センサと、
   前記フォークリフトの前方を撮像するカメラと、を備え、
   前記フォークリフト用遠隔操作システムは、
   前記カメラによって得られた画像データを画像処理する画像処理部と、
   前記画像処理部によって得られた情報から前記フォークリフトからパレットまでの距離を検出する検出部と、
   前記障害物センサの検知範囲を、第１範囲、又は、前記フォークリフトの前方に対する範囲が前記第１範囲よりも広い第２範囲に設定可能である検知範囲設定部と、を備え、
   前記検知範囲設定部は、前記検出部により検出された前記フォークリフトから前記パレットまでの距離が所定値以下となった場合に、前記障害物センサの前記検知範囲を前記第１範囲に設定するフォークリフト用遠隔操作システム。
2. 前記カメラは、単眼カメラであり、
   前記検出部は、前記画像データ中の前記パレットの大きさから、前記フォークリフトから前記パレットまでの距離を検出する請求項１に記載のフォークリフト用遠隔操作システム。
3. 前記カメラは、ステレオカメラであり、
   前記検出部は、前記画像データから得られた視差に基づき、前記フォークリフトから前記パレットまでの距離を検出する請求項１に記載のフォークリフト用遠隔操作システム。
4. 前記遠隔操作装置が前記画像処理部、及び、前記検出部を備える請求項１〜請求項３のうちいずれか一項に記載のフォークリフト用遠隔操作システム。
5. 前記フォークリフトが前記画像処理部、及び、前記検出部を備える請求項１〜請求項３のうちいずれか一項に記載のフォークリフト用遠隔操作システム。