JP2020015571A - フォークリフトの操作支援制御装置及びフォークリフトの操作支援システム - Google Patents

Abstract

【課題】フォークリフトの操作支援制御装置において、パレットにマークを付すことなく、かつ、パレットとの位置関係を精度よく調整する。【解決手段】操作支援ＥＣＵ１（操作支援制御装置）は、カメラ１０で撮影されたパレット２００を検出するパレット検出部２と、フォーク１２０，１３０の前方に向けて超音波Ｓを出射して前方のパレット２００までの距離を探知するソナー２０，３０の探知範囲の広狭を切り替える探知範囲切替部４、とを備える。【選択図】図１

Description

本発明は、フォークリフトの操作支援制御装置及びフォークリフトの操作支援システムに関する。

荷物を運搬する運搬車両としてフォークリフトが知られている。フォークリフトは、運転席の前方に、前方に向かって水平に延び、車幅方向に離れた２本のフォーク（ツメ）が形成されている。２本のフォークは一体的に、上下方向に延びたマスト（支柱）に沿って上下動する。フォークを、荷物が載せられたパレットの開口（フォーク挿入口）に挿入した状態でフォークをマストに沿って上昇させることで、荷物の載せられたパレットを持ち上げた状態にして運搬し、目的とする場所に到達したら、マストに沿ってフォークを下降させることで、パレットを目的とする場所に降ろす。

ここで、フォークが挿入されるパレットの２つのフォーク挿入口の間にマークを付し、フォークリフトに設けられたカメラで、このマークを撮影し、撮影して得られた画像を処理することで、フォークリフトに対するフォーク挿入口の位置を自動的に検出する技術が提案されている（特許文献１）。

また、フォーク挿入口を検出するに際して、フォーク挿入口の正面にカメラを設置し、カメラで撮影されたパレットの正面の画像と、パレットの正面の画像として予め記憶された複数種類のマッチング用画像とを比較して、最も近似すると判定された１つのマッチング用画像に基づいて、撮影されたフォーク挿入口の位置を検出する技術が提案されている（例えば、特許文献２参照）。

特開２００３−０３４４９５号公報 特開２０１０−１８９１３０号公報

しかし、特許文献１による技術は、運搬対象となるパレットに事前にマークを付す必要がある。また、マークが汚れたり破損等したりして劣化すると、検出精度が低下するという問題がある。

また、特許文献２による技術は、カメラをフォーク挿入口の正面に設置しているため、単眼のカメラの光軸方向に沿ったフォークから挿入口までの距離を、そのカメラで撮影した画像に基づいて算出するのは難しい。

本発明は上記事情に鑑みなされたものであり、パレットに対して事前にマークを付すことなく、かつ、パレットのフォーク挿入口とフォークリフトとの位置関係を精度よく調整することができるフォークリフトの操作支援制御装置及びフォークリフトの操作支援システムを提供することを目的とする。

本発明の第１は、フォークリフトから所定の領域を撮影するカメラによって撮影された前記領域の画像に基づいて、前記領域に配置されたパレットを検出するパレット検出部と、前記フォークリフトから出射される超音波による探知範囲として、前記フォークリフトが運搬対象とするパレットを探知するための探知範囲と、前記フォークリフトのフォークを挿入するフォーク挿入口を探知するための探知範囲とを切り替える探知範囲切替部と、を備えたフォークリフトの操作支援制御装置である。

本発明の第２は、本発明に係るフォークリフトの操作支援制御装置と、フォークリフトから所定の領域を撮影するカメラと、前記フォークリフトの２つのフォークから超音波を出射し、使用周波数に応じて距離を探知する探知範囲が可変とされた超音波測距部と、を備えたフォークリフトの操作支援システムである。

本発明に係るフォークリフトの操作支援制御装置及びフォークリフトの操作支援システムによれば、パレットに対して事前にマークを付すことなく、かつ、パレットのフォーク挿入口とフォークリフトとの位置関係を精度よく調整することができる。

フォークリフト及びフォークリフトで荷役の対象となるパレットを示す模式図である。 図１に示したパレットを、フォークリフトの側から見た正面を含む斜視図である。 図１に示したフォークリフトに搭載された、本発明に係るフォークリフトの操作支援制御装置及びフォークリフトの操作支援システムの具体的な構成の一例を示すブロック図である。 各ソナーが探知範囲として広い角度に設定された状態を示す模式図である。 各ソナーが探知範囲として狭い角度に設定された状態を示す模式図である。 カメラが撮影したパレットの画像を示す模式図である。 図６に示したカメラで撮影した画像を、画像変換部によって俯瞰画像と正面画像とを合成した画像に変換した画像を示す模式図である。 パレットに対してフォークリフトを正対した姿勢に調整するまでの状態を示す模式図である。 パレットのフォーク挿入口に対してそれぞれフォークが正対した状態を示す模式図である。 パレットのフォーク挿入口に対してフォークが正対していない状態を示す模式図である。 フォークをフォーク挿入口に挿入する動作を説明する模式図である。 操作支援システムの作用を説明するフローチャート（その１）である。 操作支援システムの作用を説明するフローチャート（その２）である。

以下、本発明に係るフォークリフトの操作支援制御装置及びフォークリフトの操作支援システムの具体的な実施の形態について、図面を参照して説明する。

図１はフォークリフト１００及びフォークリフト１００で荷役の対象となるパレット２００を示す模式図、図２は図１に示したパレット２００を、フォークリフト１００の側から見た正面２０２を含む斜視図、図３は図１に示したフォークリフト１００に搭載された、本発明に係るフォークリフトの操作支援制御装置及びフォークリフトの操作支援システムの具体的な構成の一例を示すブロック図である。

＜フォークリフト＞
図示のフォークリフト１００は、屋内や屋外において、荷物が載せられたパレット２００を運搬する運搬車両である。フォークリフト１００は、ドライバが座る運転席１１０の前方に、前方に向かって水平に延び、車幅方向ｙに沿って離れた２本のフォーク１２０，１３０が形成されている。２本のフォーク１２０，１３０は、その後端部が鉛直上方に屈曲して、全体としてＬ字状に形成されている。２本のフォーク１２０，１３０は、鉛直上方に屈曲したそれぞれの後端部が、バックレスト１４０に固定されて一体化されている。

フォークリフト１００の前部には、車幅方向に離れた２本の、鉛直方向に延びたマスト（支柱）１５０，１５０が備えられている。そして、バックレスト１４０及び２本のフォーク１２０，１３０が、２本のマスト１５０，１５０に沿って上昇及び下降するように構成されている。

なお、マスト１５０，１５０は、フォーク１２０，１３０の前端が上がる方向に傾くようになっている。２本のフォーク１２０，１３０は、車幅方向ｙに沿って互いに近づいて両者の間隔が狭くなったり、互いに遠ざかって両者の間隔が広くなったりできるようになっている。

パレット２００は、図２に示すように、天板２５１と、底板２５２と、両端側の桁２５３，２５４と、中央部の桁２４０とによって構成されている。すなわち、天板２５１と底板２５２との間に、両端側と中央部とにそれぞれ桁２５３，２５４，２４０が挟まれていて、これら桁２５３，２５４，２４０に天板２５１及び底板２５２が固定されて一体化されている。

パレット２００は、桁２５３と桁２４０との間に、正面２０２から背面２０３に貫通した空間であるフォーク挿入口２２０が形成されている。同様に、桁２５４と桁２４０との間にも、正面２０２から背面２０３に貫通した空間であるフォーク挿入口２３０が形成されている。

これらのフォーク挿入口２２０，２３０は、正面２０２側から背面２０３側に向けて、又は背面２０３側から正面２０２側に向けて、フォークリフト１００の各フォーク１２０，１３０が挿入される空間となっている。

そして、パレット２００の天面２０１に荷物が載せられた状態で、フォークリフト１００のフォーク１２０，１３０がパレット２００のフォーク挿入口２２０，２３０に挿入され、フォーク１２０，１３０を上昇させることで、パレット２００に載せられた荷物を路面から持ち上げる。荷物を持ち上げた状態で、フォークリフト１００が走行することにより荷物を所望の場所まで運搬し、そこでフォーク１２０，１３０を下降させてパレットの底面２０４を路面に接地することで、荷物を路面に配置する。

以上の動作の説明は、ドライバによる手動操作によるものであるが、本実施形態のフォークリフト１００には、図３に示したフォークリフトの操作支援ＥＣＵ１（操作支援制御装置）を含む操作支援システム７０が備えられている。このフォークリフトの操作支援システム７０は、パレット２００の位置を自動的に検出して、そのパレット２００のフォーク挿入口２２０，２３０にフォーク１２０，１３０を挿入できるように、フォークリフト１００の姿勢や位置を自動的に調整し、そして、フォーク挿入口２２０，２３０にフォーク１２０，１３０を自動的に挿入することで、フォークリフト１００による荷役作業に係る操作を支援するものである。

＜フォークリフトの操作支援システム＞
本実施形態のフォークリフトの操作支援システムは、１つのカメラ１０と、２つのソナー２０，３０（超音波測距部）と、起動スイッチ（起動ＳＷ）４０と、フォークリフトの操作支援ＥＣＵ１と、モニタ５０と、スピーカ６０と、を備えている。

カメラ１０は、例えば図１に示すように、フォークリフト１００の２本のマスト１５０，１５０の間の中央部に設けられている。カメラ１０は、フォークリフト１００の所定の領域（例えば、フォークリフト１００の前方斜め下向きの領域）を撮影する。このカメラ１０が撮影する領域は、少なくともフォーク１２０，１３０の前端部と、この前端部よりも前方の領域とを含む。

２つのソナー２０，３０のうち一方の右ソナー２０は、右側のフォーク１２０の根元（後端部の屈曲した部分）に設けられている。右ソナー２０は、右側のフォーク１２０の前方に向けて超音波Ｓを出射し、右側のフォーク１２０の前方の障害物で反射した超音波Ｓを検出することにより、右側のフォーク１２０と障害物までの距離を探知する。

他方の左ソナー３０は、左側のフォーク１３０の根元に設けられていて、左側のフォーク１３０の前方に向けて超音波Ｓを出射し、左側のフォーク１３０の前方の障害物で反射した超音波Ｓを検出することにより、左側のフォーク１３０と障害物までの距離を探知する。

なお、２つのソナー２０，３０に代えて、１つのソナーと、この１つのソナーを、右側のフォーク１２０の根元の位置と、左側のフォーク１３０の根元の位置との間で移動させる移動部と、を設けた構成としてもよい。

この場合の移動部は、超音波測距部に含まれる。そして、右側のフォーク１２０の根元の位置に移動したソナーは、右ソナー２０として右側のフォーク１２０と障害物までの距離を探知し、左側のフォーク１３０の根元の位置に移動したソナーは、左ソナー３０として左側のフォーク１３０と障害物までの距離を探知する。

また、２つのソナー２０，３０に代えて、１つのソナーを左右のフォーク１２０，１３０の間の中間位置に配置し、左右に回動する首振り機構を設けた構成としてもよい。

図４は各ソナー２０，３０が探知範囲として広い角度θ１に設定された状態を示す模式図、図５は各ソナー２０，３０が探知範囲として狭い角度θ２に設定された状態を示す模式図である。

本実施形態における２つのソナー２０，３０は、使用周波数に応じて距離を探知する探知範囲（超音波Ｓの照射範囲）の角度が可変とされている。すなわち、各ソナー２０，３０は、使用周波数が低い周波数に切り替えられたとき広い探知範囲に切り替えられ、使用周波数が高い周波数に切り替えられたとき狭い探知範囲に切り替えられる。ソナー２０，３０の使用周波数の切り替えは、後述する操作支援ＥＣＵ１の探知範囲切替部４によって制御される。

具体的には、図４に示すように、右ソナー２０は、使用周波数が低い周波数のとき、右側のフォーク１２０の前方を中心とした広い角度θ１（例えば角度９０［度］以上）で超音波Ｓを出射して、この角度θ１の範囲に存在する障害物から反射した超音波を検出して、その障害物までの距離を求める。同様に、左ソナー３０は、使用周波数が低い周波数のとき、対応する左側のフォーク１３０の前方を中心とした広い角度θ１の範囲に存在する障害物までの距離を求める。このときの探知範囲は、パレット２００を探知するための探知範囲である。

一方、図５に示すように、右ソナー２０は、使用周波数が高い周波数のとき、右側のフォーク１２０の前方を中心とした狭い角度θ２（θ２＜θ１：角度θ２は、例えば、フォーク１２０の前端部１２１においてフォーク１２０の幅と同程度の寸法か、又は幅よりも狭い寸法となるような照射角度）で超音波Ｓを出射して、この角度θ２の範囲に存在する障害物から反射した超音波Ｓを検出して、その障害物までの距離を求める。同様に、左ソナー３０は、使用周波数が高い周波数のとき、対応する左側のフォーク１３０の前方を中心とした狭い角度θ２の範囲に存在する障害物までの距離を求める。このときの探知範囲は、フォーク挿入口２２０，２３０を探知するための探知範囲である。

起動スイッチ４０は、操作支援システム７０を起動するスイッチであり、押釦であってもよいし、トグルスイッチのような回転式のものであってもよいし、後述するモニタ５０がタッチパネル式のものであれば、そのモニタ５０に表示したスイッチのアイコンなどであってもよい。

図６はカメラ１０が撮影したパレット２００の画像を示す模式図である。操作支援ＥＣＵ１は、パレット検出部２と、探知範囲切替部４と、を備えている。パレット検出部２は、図６に示す、カメラ１０によって撮影された画像に基づいて、パレット２００を検出する。

具体的には、パレット検出部２は、カメラ１０によって撮影された画像に対して、エッジ抽出処理を施し、エッジ抽出処理で得られた画像に基づいて、パレット２００を検出する。具体的には、パレット検出部２は、矩形の天面２０１を有することや、正面２０２に並ぶ２つの矩形のフォーク挿入口２２０，２３０を有することなど等のパレット２００の形態的な特徴に基づいて、画像中のパレット２００を検出する。なお、パレット検出部２によるパレット２００の検出は、正面２０２に並ぶ２つの矩形のフォーク挿入口２２０，２３０という特徴のみに基づくものであってもよい。

図７は図６に示したカメラ１０で撮影した画像を、画像変換部３によって俯瞰画像Ｐ１と正面画像Ｐ２とを合成した画像に変換した画像を示す模式図である。パレット検出部２は画像変換部３を備えている。画像変換部３は、検出されたパレット２００の画像に対して、図７に示すように、上方の仮想点からパレット２００の天面２０１を見下ろしたと想定される俯瞰画像Ｐ１と、フォーク挿入口２２０，２３０が形成された正面２０２の手前の仮想点から正面２０２を見たと想定される正面画像Ｐ２とにそれぞれ変換する。

さらに、画像変換部３は、これら俯瞰画像Ｐ１と正面画像Ｐ２とを、天面２０１と正面２０２との交線となる上縁２０５を境界として、上縁２０５よりも図示上側に俯瞰画像Ｐ１を配置し、上縁２０５より図示した側に正面画像Ｐ２を配置した１つの画像（合成画像）に合成する。画像変換部３によって変換して得られた合成画像は、後述するモニタ５０に可視画像として表示してもよいし、操作支援ＥＣＵ１の内部でのみ処理されるものであってもよい。

操作支援ＥＣＵ１の内部の処理では、パレット検出部２が、俯瞰画像Ｐ１に基づいて、パレット２００の奥行方向の長さＬを算出する。なお、パレット２００の奥行方向の長さＬの算出は、上述した俯瞰画像Ｐ１に基づいて行うものに限定されず、カメラ１０で撮影された画像（俯瞰画像Ｐ１に変換される以前の画像）に基づいて算出してもよい。

探知範囲切替部４は、ソナー２０，３０の使用周波数を切り替える制御を行い、これにより、ソナー２０，３０の探知範囲の広狭を切り替える。探知範囲切替部４が、ソナー２０，３０の使用周波数を切り替えるのは、例えば、フォークリフト１００がパレット２００の正面２０２に正対したことが検出されたときである。

すなわち、探知範囲切替部４は、起動スイッチ４０への入力により操作支援動作が開始されると、探知範囲切替部４は、最初、ソナー２０，３０の使用周波数を低い周波数に切り替えるように制御し、これにより、ソナー２０，３０の探知範囲をそれぞれ広い角度θ１に設定する。

これにより、各ソナー２０，３０は、対応するフォーク１２０，１３０の前方の広い範囲に超音波Ｓを照射するため、各ソナー２０，３０は、超音波を、フォーク１２０，１３０の前方に存在するパレット２００の正面２０２に広く照射する。したがって、超音波は、パレット２００の正面２０２に形成されたフォーク挿入口２２０，２３０だけでなく、その周囲の部分である天板２５１、底板２５２、桁２５３，２５４，２４０にも照射される。この結果、各ソナー２０，３０は、パレット２００の正面２０２までの距離を検出する。

ここで、右ソナー２０によって、右側のフォーク１２０に対応して探知された距離と、左ソナー３０によって、左側のフォーク１３０に対応して探知された距離とが略等しいときは、パレット２００の正面２０２に対する左右のフォーク１２０，１３０との間隔が等しいということであるため、フォークリフト１００がパレット２００の正面２０２に正対している状態と判定することができる。

一方、右ソナー２０によって、右側のフォーク１２０に対応して探知された距離が、左ソナー３０によって、左側のフォーク１３０に対応して探知された距離よりも長いときは、パレット２００の正面２０２に対する右側のフォーク１２０までの間隔が右側のフォーク１２０までの間隔が広いということであるため、フォークリフト１００がパレット２００の正面２０２に対して、右に向いた姿勢と判定することができる。

同様に、左ソナー３０によって、左側のフォーク１３０に対応して探知された距離が、右ソナー２０によって、右側のフォーク１２０に対応して探知された距離よりも長いときは、フォークリフト１００がパレット２００の正面２０２に対して、左に向いた姿勢と判定することができる。

探知範囲切替部４は、フォークリフト１００がパレット２００の正面２０２に正対したと判定したときは、ソナー２０，３０の使用周波数を高い周波数に切り替える制御を行い、これにより、ソナー２０，３０の探知範囲を狭い角度θ２に切り替える。

探知範囲切替部４は、フォークリフト１００がパレット２００の正面２０２に正対しておらず、右に向いている状態又は左に向いている状態と判定したときは、フォークリフト１００がパレット２００の正面２０２に正対するように、フォークリフト１００の運転を制御する信号（車両制御用の信号）をフォークリフト１００（例えば、フォークリフト１００の操舵角度の制御、前進・後退の切り替え、進退・停止の切り替え等の運転状態を制御する制御部）に出力する。

この信号を受けたフォークリフト１００は、操舵角度を調整しながら、前進・後退を切り替えたり、進行・停止を切り替えたりして、フォークリフト１００の姿勢を調整する。

その結果、探知範囲切替部４が、フォークリフト１００がパレット２００の正面２０２に正対したと判定したときは、ソナー２０，３０の使用周波数を高い周波数に切り替える制御を行い、これにより、ソナー２０，３０の探知範囲を狭い角度θ２に切り替える。

なお、この間、操作支援ＥＣＵ１には、フォークリフト１００から、上述した運転状態に関する情報Ｔ１やフォーク１２０，１３０の上下方向に位置、フォーク１２０，１３０間の幅に関する情報Ｔ２が入力されていて、運転状態、フォークの状態を検知している。

探知範囲切替部４は、ソナー２０，３０の探知範囲を狭い角度θ２に切り替えるとともに、右ソナー２０によって右側のフォーク１２０に対応して探知された距離及び左ソナー３０によって左側のフォーク１３０に対応して探知された距離がいずれも、「狭い探知範囲の角度θ２に切り替えられたときに探知されたパレット２００の正面までの距離」と「パレット２００の奥行方向の長さＬ」との和の寸法を超えるように、フォークリフト１００をその車幅方向ｙに移動させるフォークリフト１００の運転を制御する信号（車両制御用の信号）をフォークリフト１００に出力する。

狭い探知範囲の角度θ２で照射された超音波Ｓは、フォーク１２０，１３０の幅程度であるため、パレット２００のフォーク挿入口２２０，２３０を通り抜けることができる。

したがって、フォーク１２０，１３０がフォーク挿入口２２０，２３０に正対しているときは、超音波は、狭い探知範囲の角度θ２に切り替えられる直前の、広い探知範囲の角度θ１のときに探知されたパレット２００の正面２０２までの距離を進んでフォーク挿入口２２０，２３０に到達し、そこから、パレット２００の奥行方向の長さＬだけパレット２００の内部を進んでパレット２００の背面２０３に到達し、そこからフォーク挿入口２２０，２３０の先に存在する壁やその他の障害物で反射される。

したがって、各ソナー２０，３０によって探知された距離が、「狭い探知範囲の角度θ２に切り替えられる前に探知されたパレット２００の正面までの距離」と「パレット２００の奥行方向の長さＬ」との和の寸法を超えたときは、右側のフォーク１２０がパレット２００のフォーク挿入口２２０に正対し、左側のフォーク１３０がパレット２００のフォーク挿入口２３０に正対している状態となる。

一方、各ソナー２０，３０によって探知された距離が、「狭い探知範囲の角度θ２に切り替えられる前に探知されたパレット２００の正面までの距離」と「パレット２００の奥行方向の長さＬ」との和の寸法を超えないときは、右側のフォーク１２０又は左側のフォーク１３０がパレット２００の正面２０２の、天板２５１、底板２５２又は桁２５３，２５４，２４０のいずれかにフォーク挿入口２３０に正対している状態となる。この状態では、右側のフォーク１２０が右側のフォーク挿入口２２０に挿入できないか、又は左側のフォーク１３０が左側のフォーク挿入口２３０に挿入できない。

そこで、この場合、探知範囲切替部４は、各フォーク１２０，１３０が、対応するフォーク挿入口２２０，２３０に正対するように、すなわち、両ソナー２０，３０が探知する距離が、「狭い探知範囲の角度θ２に切り替えられる前に探知されたパレット２００の正面までの距離」と「パレット２００の奥行方向の長さＬ」との和の寸法を超えるように、フォークリフト１００をその車幅方向ｙに沿って移動させる車両制御用の信号をフォークリフト１００に出力する。

これにより、フォークリフト１００は、各フォーク１２０，１３０が対応するフォーク挿入口２２０，２３０に正対した状態となる。

探知範囲切替部４は、上述した作用により２つのフォーク１２０，１３０に対応してソナー２０，３０で探知された距離が、狭い探知範囲の角度θ２に切り替えられる直前の、広い探知範囲の角度θ１にソナー２０，３０で探知された距離とパレット２００の奥行方向の長さＬとの和の寸法を超えたときは、フォークリフト１００を前方ｘに移動させる車両制御用の信号をフォークリフト１００に出力する。

これにより、右側のフォーク１２０はパレット２００の右側のフォーク挿入口２２０に確実に挿入されるとともに、左側のフォーク１３０はパレット２００の左側のフォーク挿入口２３０に確実に挿入される。

モニタ５０は、起動スイッチ４０が押される等して起動の指示が入力される前の、カメラ１０で撮影された画像を表示する。モニタ５０は、例えばタッチパネルという入力インターフェイスを備えているものであるときは、カメラ１０により撮影されてモニタ５０に表示された複数のパレット２００，２００，…のうち、ドライバが、運搬の対象とする１つのパレット２００を選択する入力を受け付ける。これにより、選択されたパレット２００を運搬の対象として、起動スイッチ４０に起動の指示が入力された後に、フォークリフト１００の操作支援の動作が開始される。

スピーカ６０は、上述した操作支援の動作ができない状況のときなどに、その旨をドライバに報知する音声を出力する。

以上のように構成された操作支援システム７０の作用について、図８〜１３を参照して説明する。

図８はパレット２００に対してフォークリフト１００を正対した姿勢に調整するまでの状態を示す模式図、図９はパレット２００のフォーク挿入口２２０，２３０に対してそれぞれフォーク１２０，１３０が正対した状態を示す模式図、図１０はパレット２００のフォーク挿入口２２０，２３０に対してフォーク１２０，１３０が正対していない状態を示す模式図、図１１はフォーク１２０，１３０をフォーク挿入口２２０，２３０に挿入する動作を説明する模式図である。

また、図１２は操作支援システム７０の作用を説明するフローチャート（その１）、図１３は操作支援システム７０の作用を説明するフローチャート（その２）である。

操作支援システム７０による動作前は、図８（１）に示すように、ドライバは運搬対象のパレット２００のそばまでフォークリフトを手動で運転する。そして、図８（２）に示すように、運搬対象となる１つのパレット２００に対してある程度正対した状態でフォークリフトを停止し、ドライバは起動スイッチ４０に起動の指示を入力する（図１２のＳ１においてＹＥＳ）。

これにより、パレット検出部２がパレット２００の検出を開始する（図１２のＳ２）とともに、探知範囲切替部４が、ソナー２０，３０の探知範囲を図８（２）に示すように広い角度θ１に設定して、ソナー２０，３０による距離の探知が開始される。ここで、フォークリフト１００は、ドライバが運搬対象として選択したパレット２００の直近に停止しているため、パレット検出部２は、そのパレット２００が検出する（図１２のＳ３においてＹＥＳ）。なお、パレット２００が検出されたときは、パレット２００の奥行方向の長さＬを求めて記憶する。

パレット２００が検出されないとき（図１２のＳ３においてＮＯ）は、操作支援ＥＣＵ１は、パレット２００の検出動作を終了し、その後の自動での動作を行わず（手動に切り替え）、その旨をドライバに報知する音声を、スピーカ６０から出力する（図１２のＳ８）。

また、モニタ５０には、カメラ１０により撮影された画像が表示される（図１２のＳ４）。ドライバは、モニタ５０に表示された複数のパレット２００の画像から、フォークリフト１００の直近にあって、ドライバが運搬対象とした１つのパレット２００の画像をタッチパネルで選択する（図１２のＳ５においてＹＥＳ）。

パレット２００が選択されないとき（図１２のＳ５においてＮＯ）は、操作支援ＥＣＵ１は、パレット２００の検出動作を終了し、その後の自動での動作を行わず（手動に切り替え）、その旨をドライバに報知する音声を、スピーカ６０から出力する（図１２のＳ８）。

探知範囲切替部４は、選択されたパレット２００に対してフォークリフト１００が正対する姿勢になるように、車両制御用の信号をフォークリフト１００に出力し、フォークリフト１００の姿勢を調整する（図１２のＳ６）。

図８（３）に示すようにフォークリフト１００の姿勢の調整が完了する（図１２のＳ７においてＹＥＳ）と、探知範囲切替部４は、ソナー２０，３０の探知範囲を狭い角度θ２に切り替える（図１３においてＳ１１）が、この狭い角度θ２に切り替える直前にソナー２０，３０によって探知されていた距離ｘ０（図８（３）参照；ソナー２０，３０からパレット２００の正面２０２までの距離）を記憶する。

探知範囲切替部４は、ソナー２０，３０の探知範囲が狭い角度θ２に切り替えられた後、２つのフォーク１２０，１３０に対応して各ソナー２０，３０で探知された距離が、いずれも、記憶されたパレット２００の長さＬとパレット２００の正面２０２までの距離ｘ０との和の寸法（Ｌ＋ｘ０）を超えるか否かを判定する（図１３においてＳ１２）。

ソナー２０，３０で探知された距離が、いずれも和の寸法（Ｌ＋ｘ０）を超えた場合（図１３のＳ１２においてＹＥＳ）は、図９に示すように、両フォーク１２０，１３０がそれぞれ、対応するフォーク挿入口２２０，２３０に正対している状態である。

一方，ソナー２０，３０で探知された距離の少なくとも一方が、和の寸法（Ｌ＋ｘ０）を超えない場合（図１３のＳ１２においてＮＯ）は、図１０に示すように、両フォーク１２０，１３０の少なくとも一方が、対応するフォーク挿入口２２０，２３０に正対していない状態である。

この場合、探知範囲切替部４は、フォーク挿入口２２０，２３０に対応するフォーク１２０，１３０が正対するように、車両制御用の信号をフォークリフト１００に出力し、フォークリフト１００を車幅方向ｙに移動させる（図１３のＳ１７）。

図１１（１）に示すように、フォーク挿入口２２０，２３０に対応するフォーク１２０，１３０が正対した状態になって、フォークリフト１００の移動が完了する（図１３のＳ１２においてＹＥＳ）と、探知範囲切替部４は、そのときのソナー２０，３０で探知していた距離ｘ１（以下、探知距離ｘ１という。）を記憶する。そして、探知範囲切替部４は、フォークリフト１００を直進状態で前進させるよう車両制御用の信号をフォークリフト１００に出力し、フォークリフト１００を直進状態で前進させる（図１３のＳ１３）。

図１１（２），（３）に示すように、フォークリフト１００が前進すると、各ソナー２０，３０が探知している距離が徐々に短くなる。また、フォークリフト１００の前進に応じて、各フォーク１２０，１３０が、対応するフォーク挿入口２２０，２３０に挿入される。

ここで、ソナー２０からフォーク１２０の前端までの距離Ｌ０及びソナー３０からフォーク１３０の前端までの距離Ｌ０は、操作支援ＥＣＵ１に予め記憶されている。そして、ソナー２０，３０による探知距離が、図１１（１）に示した前進前の初期の探知距離ｘ１から、距離ｘ０から距離Ｌ０を減算してえられた差分（ｘ０−Ｌ０）だけ短くなると、フォーク１２０，１３０の前端がパレット２００の正面２０２に達した状態となる。

そして、フォーク１２０，１３０の前端がパレット２００の正面２０２に達した状態での、ソナー２０，３０による探知距離から、短くなっていく距離が、フォーク挿入口２２０，２３０にフォーク１２０，１３０が挿入されている長さＸとなる。

探知範囲切替部４は、このフォーク１２０，１３０が挿入されている長さＸを算出し続け（図１３のＳ１４）、図１１（３）に示すように、長さＸがパレット２００の長さＬの１／２以上に達しているか否かを判定する（図１３のＳ１５）。そして、長さＸが長さＬ／２以上に達していると判定したとき（図１３のＳ１５においてＹＥＳ）は、探知範囲切替部４は、フォークリフト１００に、前進を停止させる車両制御の信号を出力する。これにより、フォークリフト１００は停止して、フォーク挿入口２２０，２３０へのフォーク１２０，１３０の挿入動作を停止し（図１３のＳ１６）、フォークリフト１００の操作支援の処理を終了する。

以上、詳細に説明したように、本実施形態のフォークリフト１００の操作支援システム７０及び操作支援ＥＣＵ１によれば、ソナー２０，３０の探知範囲を広い角度θ１に設定したことにより、パレット２００にフォークリフト１００を正対させるようにフォークリフト１００の姿勢の調整を行うことができる。

一方、ソナー２０，３０の探知範囲を狭い角度θ２に設定したことにより、パレット２００のフォーク挿入口２２０，２３０に、対応するフォーク１２０，１３０をそれぞれ正対させるように、フォークリフト１００の車幅方向ｙへの移動の調整を行うことができる。

そして、操作支援システム７０及び操作支援ＥＣＵ１は、これらソナー２０，３０の探知範囲を、広い角度θ１と狭い角度θ２とに切り替えることで、フォークリフト１００とパレット２００との位置関係を精度よく調整することができる。

また、操作支援システム７０及び操作支援ＥＣＵ１は、カメラ１０で撮影された画像からパレット２００の特徴を抽出することにより、パレット２００を検出しているため、パレット２００にマークを付す必要は無く、しかも、パレット２００とパターンマッチングさせるためのマッチング用の画像を予め記憶しておく必要も無い。

また、ソナー２０，３０とカメラ１０とを用いて、パレット２００の寸法やフォーク１２０，１３０との位置関係を検出しているため、カメラの画像だけで位置関係等を検出するものに比べて、信頼性の高い検出結果を得ることができる。

また、操作支援システム７０及び操作支援ＥＣＵ１は、ソナー２０，３０とカメラ１０とを使って、フォーク１２０，１３０が挿入されている長さＸを算出し、長さＸが長さＬ／２以上に達するまで、フォーク１２０，１３０をパレット２００に自動的に挿入するため、パレット２００の重心をフォーク１２０，１３０で確実に支持することができる。

本実施形態の操作支援システム７０及び操作支援ＥＣＵ１は、フォーク挿入口２２０，２３０にフォーク１２０，１３０を正対させるために、フォークリフト１００を車幅方向ｙに移動させる車両制御用の信号をフォークリフト１００に出力する（図１３のＳ１７）。

しかし、本発明に係る操作支援システム及び操作支援制御装置は、左右のフォーク１２０，１３０の間の幅を変化させることで、フォーク挿入口２２０，２３０にフォーク１２０，１３０を正対させることができるときは、フォークリフト１００を車幅方向ｙに移動させる代わりに、左右のフォーク１２０，１３０の間の幅を変化させる信号をフォークリフト１００に出力することにより、フォーク挿入口２２０，２３０にフォーク１２０，１３０を正対させるようにしてもよい。

また、操作支援システム７０及び操作支援ＥＣＵ１は、暗い倉庫内や照明の乏しい夜間の屋外で用いられるフォークリフト１００に適用される場合、カメラ１０によるパレット２００の撮影において、光量が不足してパレット２００の画像からエッジ等を抽出する処理の精度が低下することが起こりうる。

このような状況に対応するために、操作支援システム７０及び操作支援ＥＣＵ１は、例えば、周囲の明るさを検出する照度センサを備え、その照度センサによって検出された周囲の明るさが、エッジ等の抽出処理に支障が出るような明るさである場合は、フォークリフト１００が備えているライトを点灯させる制御用の信号をフォークリフト１００に対して出力するようにしてもよい。これにより、フォークリフト１００は、ライトを点灯するため、パレット２００の画像からエッジ等を抽出する処理の精度が低下するのを抑制することができる。

１ 操作支援ＥＣＵ（操作支援制御装置）
２ パレット検出部
３ 画像変換部
４ 探知範囲切替部
１０ カメラ
２０，３０ ソナー
７０ 操作支援システム
１００ フォークリフト
１２０，１３０ フォーク
２００ パレット
２２０，２３０ フォーク挿入口
Ｓ 超音波
θ１，θ２ 角度

Claims (4)

1. フォークリフトから所定の領域を撮影するカメラによって撮影された前記領域の画像に基づいて、前記領域に配置されたパレットを検出するパレット検出部と、
   前記フォークリフトから出射される超音波による探知範囲として、前記フォークリフトが運搬対象とするパレットを探知するための探知範囲と、前記フォークリフトのフォークを挿入するフォーク挿入口を探知するための探知範囲とを切り替える探知範囲切替部と、を備えたフォークリフトの操作支援制御装置。
2. 前記パレット検出部は、前記カメラによって撮影された前記パレットの画像に対して、上方の仮想点から前記パレットの天面を見下ろしたと想定される俯瞰画像と、前記フォーク挿入口が形成された正面を鉛直面に投影したと想定される正面画像とに、それぞれ変換する画像変換部を備え、
   前記パレット検出部は、前記俯瞰画像に基づいて前記パレットの奥行方向の寸法を検出し、
   前記探知範囲切替部は、前記パレット検出部により検出された前記奥行方向の寸法に基づいて、前記パレット挿入口を検出する請求項１に記載のフォークリフトの操作支援制御装置。
3. 前記探知範囲切替部は、前記パレットを探知するための探知範囲と前記フォーク挿入口を探知するための探知範囲との切り替えを、前記超音波の使用周波数を切り替えることにより行う請求項１又は２に記載のフォークリフトの操作支援制御装置。
4. 請求項１から３のうちいずれか１項に記載のフォークリフトの操作支援制御装置と、
   フォークリフトから所定の領域を撮影するカメラと、
   前記フォークリフトから超音波を出射し、使用周波数に応じて距離を探知する探知範囲が可変とされた超音波測距部と、を備えたフォークリフトの操作支援システム。