JP2013086959A - フォークリフトのフォーク位置決め支援装置および方法 - Google Patents

Abstract

【課題】フォークリフトの運転手に、パレットとフォークとの間の正確な距離情報を与える。
【解決手段】カメラ１０２は、フォークリフトで搬送するパレットとフォークとを含むフォークリフト前方のステレオ画像を撮像する。画像表示部１０８は、ステレオ画像をディスプレイ１１６に出力する。タッチパネル１１８は、ディスプレイ１１６に表示された画像内でフォーク先端を移動させる目標点の指定を受け付ける。距離計算部１１２は、フォーク先端の基準点から目標点までの距離を算出する。目標点追跡部１１４は、更新されたステレオ画像内で目標点を追跡する。画像表示部１０８は、距離計算部１１２により算出された距離をディスプレイ１１６に出力する。
【選択図】図２

Description

本発明は、フォークリフトの操縦を支援する技術に関する。

フォークリフトの運転手は、棚からパレットを引き出すときに、フォークの先端がパレットのフォーク差込穴に合わさるように、車体の位置、車体の向きおよびフォーク先端の高さを調整する必要がある。パレットの穴とフォーク先端との位置関係をパレットから離れた場所から目視のみで判断することは困難であり、従来は運転手の経験や操作技術に頼るものであった。しかし、近年ではフォークの位置決めを補助する技術が開発されている。

例えば、特許文献１には、フォークリフトにフォーク前方を撮影するカメラを設け、カメラの撮影画像を表示する表示画面を有する表示装置をフォークリフトの運転席の近傍に設け、フォーク又はフォーク上の荷置きパレットの少なくとも一部を表す縮小画像を、カメラの撮影画像に重畳して表示画面に表示する、フォークリフトにおける荷役作業支援装置が開示されている。

特開２００７−８４１６２号公報

特許文献１に記載の技術では、フォークの垂直方向の断面形状を表す図形を、パレットのフォーク差込端面を含む仮想面に投影させて表示する。この手法は、パレットとフォーク先端とが近距離にあるときに照準を合わせるには有効であるが、パレットから比較的離れた場所にフォークリフトが位置する場合、フォーク先端の照準を合わせるのが困難であるという問題がある。

本発明はこうした状況に鑑みてなされたものであり、その目的は、フォークリフトの運転手にパレットとフォークとの間の正確な距離情報を与えてフォーク位置決めを支援する技術を提供することにある。

上記課題を解決するために、本発明のある態様のフォークリフトのフォーク位置決め支援装置は、フォークリフトで搬送するパレットとフォークとを含むフォークリフト前方のステレオ画像を撮像する撮像手段と、ステレオ画像をディスプレイに出力する画像表示手段と、ディスプレイに表示された画像内でフォーク先端を移動させる目標点の指定を受け付ける手段と、フォーク先端の基準点から目標点までの距離を算出する距離算出手段と、更新されたステレオ画像内で目標点を追跡する目標点追跡手段と、を備える。画像表示手段は、距離算出手段により算出された距離をディスプレイに出力する。

この態様によると、フォーク先端の基準点と目標点の間の距離が、フォークリフトおよびフォークの移動中にも常に算出されディスプレイに表示される。したがって、フォークリフトがパレットから比較的遠距離にある場合でもフォークの照準を合わせやすくなり、フォークリフトの操縦が容易になる。

なお、以上の構成要素の任意の組み合わせや、本発明の構成要素や表現を方法、装置、システムなどの間で相互に置換したものもまた、本発明の態様として有効である。

本発明によれば、フォークリフトの運転手にパレットとフォークとの間の正確な距離情報を与えるので、フォークリフトがパレットから比較的遠距離にある場合でもフォークの照準を合わせやすくなる。

本発明の一実施形態に係るフォーク位置決め支援装置を備えたフォークリフトの構成を説明する図である。 一実施形態に係るフォーク位置決め支援装置の概略構成を示すブロック図である。 画像表示部による画像合成を説明する図である。 ディスプレイに表示される画面の一例を示す図である。 フォーク位置決め支援装置による処理を示すフローチャートである。

図１は、本発明の一実施形態に係るフォーク位置決め支援装置を備えたフォークリフト３０の構成を説明する図である。図１（ａ）はフォークリフト３０の平面図であり、図１（ｂ）はフォークリフト３０の側面図である。

フォークリフト３０は、車体２４の後方に重りをつけることにより車体のバランスをとるように構成された、いわゆるカウンタ式のフォークリフトである。フォークリフト３０は、車輪１４、１６、１８、２０が取り付けられた車体２４に、運転手が着座する運転席１０、車体２４の前方に延びる左右一対のフォーク１２Ｌ、１２Ｒ（以下、まとめて「フォーク１２」とも言う）、運転手の頭部を保護するために運転席１０の上方に設けられたヘッドガード２２等を有して構成されている。図示しないが、運転席１０の前方には、アクセルペダル、ブレーキペダル、車輪を転舵させるステアリングハンドル、フォーク１２を昇降させる操作レバー等の操縦機器が設けられている。

フォーク１２は略Ｌ字形状であり、車体２４の前方に設けられたマスト２６に沿って、図示しない油圧機構により上下方向に昇降可能に構成される。

図１（ｂ）には、フォークリフト３０が運び出すパレットが収納された収納棚５０も描かれている。収納棚５０は、一般的に、地面に対して立設された支柱と支柱間に架設された梁とによって形成された複数の直方体形の棚間口５２を有している。図１（ｂ）には、荷物５６が積載されたパレット５４が棚間口５２の一つに収納されている様子が示されている。パレット５４の側面には、所定の距離だけ離間された二つのパレット穴がパレットの奥行き方向全長にわたり画成されており、この二つのパレット穴に一対のフォーク１２を挿入することで、フォークリフト３０でパレットを持ち上げることができる。

フォーク１２Ｌ、１２Ｒにはそれぞれ、フォークリフト３０の前方を撮像するためのカメラ１０２Ｌ、１０２Ｒ（以下、まとめて「カメラ１０２」とも言う）が取り付けられている。カメラ１０２は、ＣＣＤイメージセンサまたはＣＭＯＳイメージセンサなどの固体撮像素子を用いる、いわゆるデジタルビデオカメラであることが好ましい。また、各カメラには、フォークリフト前方の作業エリアが視野内に収まるように適切なレンズが組み合わされている。二台のカメラを所定距離だけ離間して配置することで、ステレオ画像を撮像することができる。

本実施形態に係るフォーク位置決め支援装置は、主に収納棚に収納されているパレット５４を運び出す荷取り作業時におけるフォーク１２の位置決めを支援する。この支援のために、運転席１０に着座した運転手が見やすくかつ手の届く位置に、モニタ１２０が設置される。後述するように、このモニタ１２０には、カメラ１０２で撮像されたフォークリフト前方の画像に加えて、フォーク１２の位置決めを支援する情報が表示される。

なお、図１（ａ）、（ｂ）では、カメラがフォークの垂直面から突出しているように描かれているが、実際にはフォークの垂直面と面一にされるか、または垂直面に埋め込まれるようにカメラを設置することが好ましい。

図２は、本実施形態に係るフォーク位置決め支援装置１００の概略構成を示すブロック図である。この構成は、ハードウェア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウェア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアとソフトウェアの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。

左右一対のカメラ１０２により所定のフレームレートで撮像された一組の画像は、変換テーブル生成部１０６、画像表示部１０８、目標点追跡部１１４およびマッチング部１２２に入力される。

変換テーブル生成部１０６は、左右のカメラ１０２Ｌ、１０２Ｒでそれぞれ撮像された画像を一枚の合成画像にするときに、左右の画像における各画素と合成画像内の各画素との対応関係を表す変換テーブルを作成する。この変換テーブルは、カメラ１０２Ｌ、１０２Ｒの画素数、カメラ間の離間距離、撮像された画像内の特徴抽出結果等に基づき、両カメラの撮像範囲の重なる部分を対応させるために作成される。

画像表示部１０８は、変換テーブルを参照して、左右のカメラ１０２Ｌ、１０２Ｒでそれぞれ撮像された画像を一枚の画像に合成する。なお、ステレオカメラで撮像された画像の合成自体は周知技術であるため、詳細な説明を省略する。

モニタ１２０は、液晶ディスプレイまたはプラズマディスプレイなどであるディスプレイ１１６と、その表示部に重ねて配置されたタッチパネル１１８とから構成される。画像表示部１０８で作成された合成画像は、ディスプレイ１１６に表示される。

フォークリフト３０の運転手は、ディスプレイ１１６に表示された画像内でフォークを移動させる目標点を選択し、タッチパネル１１８上でその部分をタッチする。この過程については、図４を参照してさらに詳細に説明する。タッチパネル１１８上へのタッチにより特定された目標点の座標は、ステレオ計測部１１０および距離計算部１１２に出力される。

ステレオ計測部１１０は、タッチパネル１１８上で選択された目標点が、左右のカメラ１０２で撮像された画像内で対応する位置を特定する。これは、変換テーブルから逆算することで求めることができる。続いて、ステレオ計測部１１０は、左右のカメラで撮像された画像内で目標点の対応する位置に対し、既知のステレオ計測手法によって、その三次元座標を計算する。

目標点追跡部１１４は、カメラ１０２により撮像されるステレオ画像が更新される毎に、新たな画像内で、既に選択されている目標点を探索する。例えば、目標点追跡部１１４は、画面内の目標点の近傍にある画素の特徴を利用して、周知のパターンマッチングを実行することで、目標点を追跡することができる。

マッチング部１２２は、カメラ１０２で撮像されたパレット穴５８の形状と、予め準備されている角度毎に異なる多数のパターンとの照合により、パレット穴５８がフォークリフトの中心軸に対して傾いている角度を求める。このようなパターンマッチングは周知であるため、詳細な説明を省略する。

距離計算部１１２は、運転手がタッチモニタで指定した目標点と、フォーク先端の基準点との間の距離を算出する。なお、基準点は、左右一対のフォーク１２の各先端を結ぶ線分の中点であることが好ましい。しかしながら、各フォーク１２の水平部分の付け根の中点を基準点としてもよいし、フォーク１２のいずれかの先端を基準点としてもよい。これらの基準点を運転手が適宜選択できるように構成してもよい。

また、距離計算部１１２は、マッチング部１２２で求められたパレット穴の角度と、フォークリフト３０の現在の向きから、フォーク１２の車体前後方向に延びる中心軸とパレット穴の中心軸とがなす角度を計算する。

画像表示部１０８は、距離計算部１１２で計算された距離および角度の情報を、合成画像に重畳してディスプレイ１１６に出力する。

図３は、画像表示部１０８による画像合成を説明する図である。画像表示部１０８は、左側のカメラ１０２Ｌで撮像された画像ＦＬと、右側のカメラ１０２Ｒで撮像された画像ＦＲのうち重なり合う範囲を特定し、この範囲を合成画像ＦＣとしてディスプレイに出力する。

図４は、ディスプレイ１１６に表示される画面７０の一例を示す。なお、以下では、奥行き方向をｘ軸、画面の左右方向をｙ軸、上下方向をｚ軸として説明する。

画面７０には、フォークリフト３０の前方画像として、一対のフォーク１２の先端付近と、収納棚に載置されたパレット５４および荷物５６が映し出されている。パレット５４には、奥行き方向に延びる二つのパレット穴５８が形成されている。フォークリフト３０の運転手は、フォーク１２の先端をそれぞれパレット穴５８内に挿入できる位置に、フォークを移動させる必要がある。この例では、ｘおよびｙ方向の移動はフォークリフト３０本体の操縦により達成され、ｚ方向の移動はフォーク１２の昇降操作により達成される。

画面７０を見て、運転手は、二つのパレット穴５８の間の中間を目標点として選択し、タッチパネル上でその点をタッチする。すると、画像表示部１０８によって、目標点を示すマーク７４が画面表示される。距離計算部１１２は、基準点、すなわち左右一対のフォーク１２の各先端を結ぶ線分の中点Ｏから目標点７４までの距離を計算する。

画像表示部１０８は、距離計算部１１２によって計算された距離を、ｘ軸、ｙ軸、ｚ軸の別に画面右下の距離表示領域７６に数値表示する。加えて、ｘ軸、ｙ軸、ｚ軸別の距離に対応した点線の矢印７２ｘ、７２ｙ、７２ｚを、基準点Ｏから目標点７４の間を結ぶように画面表示する。このとき、数値表示と矢印とを、ｘ軸、ｙ軸、ｚ軸毎に異なる色で表示するようにしてもよい。

距離計算部１１２は、上述のように、フォーク１２の車体前後方向に延びる中心軸と、パレット穴の中心軸とがなす角度を計算する。この角度も、画面右下の距離表示領域７６に数値表示される。

運転手は、画面７０を見ながら、画面上に示される矢印７２ｘ〜ｚがほぼ表示されなくなるか、距離表示領域７６内のｘ軸、ｙ軸、ｚ軸の距離がほぼゼロになるように、フォークリフト３０の本体およびフォーク１２を操縦する。これにより、フォーク１２の各先端と各パレット穴５８との位置合わせが完了し、その後フォークリフト３０を単に前進させるだけで、パレット穴５８内の全長にわたりフォーク１２を差し込むことができる。

また、運転手は、距離表示領域７６内の角度が十分に小さく（例えば５°未満）なるようにフォークリフト３０の本体を操縦することで、パレット穴内面とフォークとがぶつかることなく円滑に挿入することが可能になる。

図５は、フォーク位置決め支援装置１００による処理を示すフローチャートである。この処理は、所定の時間間隔で繰り返し実行される。

カメラ１０２によりフォークリフト３０の前方が撮像されると（Ｓ１０）、変換テーブル生成部１０６が合成画像用の変換テーブルを生成する（Ｓ１２）。画像表示部１０８は、変換テーブルを参照して合成画像を作成し、ディスプレイ１１６に表示する（Ｓ１４）。

ステレオ計測部１１０は、運転手によって目標点が既に指定されているか否かを判定する（Ｓ１６）。目標点が指定されていない場合（Ｓ１６のＮ）、メッセージの表示または音声案内などにより、タッチパネル１１８上での選択を運転手に促す。タッチパネル上で目標点が選択されると、ステレオ計測部１１０は、左右画像内で目標点に対応する画素位置を求める（Ｓ２０）。目標点が指定済みの場合（Ｓ１６のＹ）、目標点追跡部１１４は、前回の処理時に指定されている目標点を追跡して、現在の撮像画像内の対応する画素位置を求める（Ｓ１８）。ステレオ計測部１１０は、目標点の三次元座標を計算する（Ｓ２２）。

距離計算部１１２は、予め設定されているパラメータを参照して、フォーク先端の基準点と目標点との間の距離の三次元座標上での距離を計算する（Ｓ２４）。選択的に、マッチング部１２２は、カメラ１０２の撮像画像からパターンマッチングによりパレット穴を特定し、サンプル画像との比較から、フォークとパレット穴とのなす角度を決定する（Ｓ２６）。画像表示部１０８は、Ｓ２４、Ｓ２６でそれぞれ計算された距離と角度を表す距離表示とともに、計算された距離に対応する矢印画像を作成して、撮像画像に重畳表示する（Ｓ２８）。

計測が終了されない限り（Ｓ３０のＮ）、Ｓ１０〜Ｓ２８の処理が繰り返し実行され距離表示が更新され続ける。運転手が例えば画像上のアイコン操作により計測終了を指示するか、またはフォークに設けられたセンサ等によりフォークがパレット穴内に挿入されたことが確認されると（Ｓ３０のＹ）、このフローが終了する。

以上説明したように、本実施形態によれば、フォークリフトの運転手がモニタ上で目標点を指定した後、フォークリフト本体の移動およびフォークの垂直移動に伴い、フォーク先端と目標点との距離を運転手に継続的に提供することができる。したがって、パレットから比較的離れた距離であっても、目標点に対するフォーク先端の相対位置を運転手が把握しやすく、フォークリフトの操作が容易になり、操縦のやり直しを軽減することができる。

また、本実施形態では、車体の周りの全ての三次元情報を把握する代わりに、運転手がモニタ上で指定した一つの目標点だけを計測の対象とするので、計算処理の負担が軽減され、したがって装置のコストを削減できる。

以上、本発明の実施の形態について説明した。これらの実施の形態は例示であり、それらの各構成要素の組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

実施の形態では、タッチパネルを用いて画像内の目標点の指定を受け付けることを述べたが、例えばディスプレイの近傍に設置されたスティック操作によるカーソルの移動などで目標点の指定を受け付けるようにしてもよい。

実施の形態では、撮像画像を表示するディスプレイ１１６上に距離表示領域７６を設けているが、これに限られず、例えば距離表示領域を別のディスプレイによって構成してもよい。

実施の形態では、ステレオ計測に基づき三次元座標内での基準点と目標点の間の距離を計算することを述べた。この代わりに、地面からのフォークの高さを検出するセンサをフォークの下面に設けて、ｚ軸方向の距離測定にこのセンサの検出値を利用してもよい。この場合、カメラ１０２をフォーク１２上ではなく例えばマスト２６の上部に設置してもよい。こうすることで、より広範囲をカメラで撮影することができるとともに、特に重要な高さ方向の位置合わせをステレオ計測のみに基づく場合よりも正確に行うことができる。

１２ フォーク、 ２４ 車体、 ３０ フォークリフト、 ５０ 収納棚、 ５４ パレット、 ５８ パレット穴、 ７４ 目標点、 ７６ 距離表示領域、 １００ フォーク位置決め支援装置、 １０２ カメラ、 １０６ 変換テーブル生成部、 １０８ 画像表示部、 １１０ ステレオ計測部、 １１２ 距離計算部、 １１４ 目標点追跡部、 １１６ ディスプレイ、 １１８ タッチパネル、 １２０ モニタ、 １２２ マッチング部。

Claims (7)

1. フォークリフトで搬送するパレットとフォークとを含むフォークリフト前方のステレオ画像を撮像する撮像手段と、
   前記ステレオ画像をディスプレイに出力する画像表示手段と、
   前記ディスプレイに表示された画像内でフォーク先端を移動させる目標点の指定を受け付ける手段と、
   前記フォーク先端の基準点から前記目標点までの距離を算出する距離算出手段と、
   更新されたステレオ画像内で前記目標点を追跡する目標点追跡手段と、を備え、
   前記画像表示手段は、前記距離算出手段により算出された距離を前記ディスプレイに出力することを特徴とするフォークリフトのフォーク位置決め支援装置。
2. 前記フォーク先端の基準点をユーザが設定可能であることを特徴とする請求項１に記載のフォーク位置決め支援装置。
3. 前記撮像手段が前記フォーク上に設置されることを特徴とする請求項１または２に記載のフォーク位置決め支援装置。
4. 前記フォークの地上からの高さを検出する検出手段をさらに備え、
   前記距離算出手段は、前記検出手段による検出値を利用して前記距離を算出することを特徴とする請求項１ないし３のいずれかに記載のフォーク位置決め支援装置。
5. 前記目標点追跡手段は、前記目標点のステレオ画像内での特徴を利用して目標点を追跡することを特徴とする請求項１ないし４のいずれかに記載のフォーク位置決め支援装置。
6. 前記ステレオ画像内のパレットに形成されているパレット穴をパターンマッチングにより検出するマッチング手段をさらに備え、
   前記距離算出手段は、前記マッチング手段により検出されたパレット穴と前記フォークとの相対角度を算出することを特徴とする請求項１ないし５のいずれかに記載のフォーク位置決め支援装置。
7. フォークリフトで搬送するパレットとフォークとを含むフォークリフト前方を撮像したステレオ画像をディスプレイに出力し、
   前記ディスプレイに表示された画像内でフォーク先端を移動させる目標点の指定を受け付け、
   前記フォーク先端の基準点から前記目標点までの距離を算出し、
   更新されたステレオ画像内で前記目標点を追跡し、
   算出された距離を前記ディスプレイに出力することを特徴とするフォークリフトのフォーク位置決め支援方法。

Images