JP2019147649A - ２次元画像処理による荷崩れ検出システム - Google Patents

Abstract

【課題】移載装置の動作に伴って必ず生じる振動の影響を無くし、荷台上の荷動きをより正確に判定し、移動動作を的確に制御できる移載システムを提供せんとする。【解決手段】移載画像を比較することにより、対応する画素ごとに変化のあった差分を検出してなる差分画像を生成し、差分画像のうち、振動性の差分を判定する振動性判定処理部と、前記振動性判定処理部で振動性の差分であると判定された差分をノイズとして前記差分画像から除去したうえ、差分画像記憶部に記憶するノイズ除去処理部と、差分画像記憶部の必要なノイズ除去処理がされた差分画像に基づき、荷動きを判定する荷動き判定処理部と、前記荷動き判定処理部の判定結果に基づき、移載装置の移動動作を制御する動作制御処理部とを備えた。【選択図】図６

Description

本発明は、荷を荷台に載せて移動させる移載装置からなる移載システムに係り、特に、荷台上の荷動きをより正確に判定し、移動動作を的確に制御できる移載システムに関する。

従来、移載装置の荷台上の荷動きを検知するものが種々提案されている（例えば、特許文献１〜３参照。）。特許文献１、２では、スタッカークレーンにおいて荷台上のカメラにより荷の状態を検知するものが提案されている。また、特許文献３では、ロボットアームによる移載において２次元画像処理で荷の状態を判定するものが提案されている。

しかしながら、いずれも移載装置の動作に伴って必ず生じる振動の影響が全く考慮されていない。このため、その振動などのノイズが生じ得る場合において、高い精度の荷動き検知ができないという問題がある。

特許第６０４０５７６号公報 特許第４０９６５９４号公報 特開平１０−１５１５８９号公報

そこで、本発明が前述の状況に鑑み、解決しようとするところは、移載装置の動作に伴って必ず生じる振動の影響を無くし、荷台上の荷動きをより正確に判定し、移動動作を的確に制御できる移載システムに関する。

本発明は、以下の発明を包含する。
（１） 荷を荷台に載せて移動させる移載装置と、前記移載装置による移動動作を制御する制御装置と、前記移載装置における前記荷台の載置面側となる上方の位置に設けられ、前記荷台の載置面を含む範囲を撮像する撮像手段と、を備える移載システムであって、前記制御装置は、前記撮像手段により撮像される撮像画像を記憶する記憶手段と、荷を載せて移動中の荷台の撮像画像である移載画像を、所定時間おきに前記撮像手段により撮像させ、該移載画像を前記記憶手段の移載画像記憶部に記憶する移載画像取得処理部と、前記移載画像記憶部の移載画像を比較することにより、対応する画素ごとに変化のあった差分を検出してなる差分画像を生成し、該差分画像を前記記憶手段の差分画像記憶部に記憶する差分画像生成処理部と、前記差分画像記憶部の差分画像のうち、振動性の差分を判定する振動性判定処理部と、前記振動性判定処理部で振動性の差分であると判定された差分をノイズとして前記差分画像から除去したうえ、差分画像記憶部に記憶するノイズ除去処理部と、差分画像記憶部の必要なノイズ除去処理がされた差分画像に基づき、荷動きを判定する荷動き判定処理部と、前記荷動き判定処理部の判定結果に基づき、移載装置の移動動作を制御する動作制御処理部とを備えることを特徴とする移載システム。

（２） 前記荷動き判定処理部が、差分量が所定の閾値を超えたか否かで荷動きの有無を判定する（１）記載の移載システム。

（３） 前記荷動き判定処理部が、前記差分量が前記所定の閾値よりも大きな閾値を超えたか否かで荷崩れの有無をさらに判定する（２）記載の移載システム。

（４） 前記荷動き判定処理部が、前記差分量が所定の閾値を超えた頻度に基づき、荷の揺れの有無をさらに判定する（２）又は（３）記載の移載システム。

（５） 前記振動性判定処理部が、差分量が所定の閾値を超える差分の検出頻度に基づき、振動性の差分か否かを判定する（１）〜（４）の何れかに記載の移載システム。

（６） 前記ノイズ除去処理部が、前記振動性のノイズ除去に加え、振動性以外のノイズを除去するフィルタリング処理を行う（１）〜（５）の何れかに記載の移載システム。

（７） 前記差分画像生成処理部が、前記移載画像をローパスフィルタにより周波数フィルタリングされたフィルタリング処理後の移載画像を比較することにより前記差分画像を生成する、（１）〜（６）の何れかに記載の移載システム。

（８） 前記制御装置が、前記撮像手段により撮像された撮像画像から、荷台の載置面の色と同じ色の領域の割合を算出し、その割合に基づき荷の有無を判定する移載判定処理部をさらに備える（１）〜（７）の何れかに記載の移載システム。

（９） 前記制御装置の一部または全部が、前記移載装置内に設けられた（１）〜（８）の何れかに記載の移載システム。

本発明によれば、振動性の差分をノイズとして差分画像から除去したうえ、該除去された後の差分画像に基づき荷動きを判定するので、移載装置の動作に伴って必ず生じる振動の影響を無くし、荷台上の荷動きをより正確に判定することができ、移動動作を的確に制御して荷崩れ、および荷崩れによる災害を未然に防止することができる。

本発明の代表的実施形態にかかる移載システムの構成を示す概略説明図。 同じく移載システムを構成する移載装置を示す斜視図。 同じく平面図。 同じく側面図。 同じく荷台に荷を載せた状態の平面図。 同じく移載システムの制御装置の構成を示すブロック図。 （ａ）は移載画像、（ｂ）は差分画像。 全体の処理フロー図。 荷台上面範囲処理を示すフロー図。 荷動き検知処理を示すフロー図。 差分画像処理を示すフロー図。 荷動き判定処理を示すフロー図。 （ａ）はローパスフィルタによる処理を行わなかった差分画像、（ｂ）はローパスフィルタによる処理を行った差分画像。

次に、本発明の実施形態を添付図面に基づき詳細に説明する。

本発明に係る移載システムＳは、図１に示すように、荷９を荷台１０に載せて移動させる移載装置１と、移載装置１による移動動作を制御する制御装置２と、移載装置１における前記荷台１０の載置面１０ａ側となる上方の位置に設けられ、荷台の載置面１０ａを含む範囲を撮像する撮像手段３とを備えている。移載装置１は、本例ではフォークリフトである例について説明するが、本発明はこれに何ら限定されない。本例の荷台１０は、フォークリフトのフォーク１１を挿し込んで持ち運びできる荷役台であるパレットである。

移載装置１による荷の移動動作は、昇降機構３０による上下移動と、走行機構３１による路面に平行な前後左右斜めの移動の組み合わせであり、昇降機構３０を駆動する昇降駆動部３２、走行機構３１を駆動する走行駆動部３３をそれぞれ制御装置２が制御することで、前記荷の移動動作が制御される。制御装置２は、図６に示すように、マイクロプロセッサなどのＣＰＵを主体に構成され、入出力部やバスラインを通じて各種情報が入出力される処理装置２０と、処理装置２０内外のＲＡＭ、ＲＯＭなどの記憶メモリや装置内外のハードディスク等より構成され、処理装置２０における各種処理動作の手順を規定するプログラムや処理データが記憶される記憶手段２１とを備えたコンピュータである。

制御装置２は、単独の装置で構成してもよいし複数の装置の組み合わせ（互いに通信接続された状態）で構成することもできる。また、本例では、制御装置２および撮像手段３が移載装置１に設置され、移載装置１単独で移載システムＳを構成する例を示しているが、制御装置２の一部を移載装置１の外部、たとえば単又は複数の移載装置１の動作を遠隔制御する制御室に設け、当該外部の制御装置とともにシステム構成されるものでも勿論よい。

撮像手段３は、二次元画像を撮影できるＣＣＤカメラ等の汎用のカメラを広く用いることができる。画素数で３０万画素以上のものが、後述のごとく差分量に基づき荷動き判定する点で好ましい。本例では、撮像手段３が移載装置１であるフォークリフトのマスト１２の上端部に取り付けられ、該位置から荷台１０であるパレットに載せられた荷９を斜め上方から斜視的に撮像することで、荷９の動きを多方面から捉えることを可能とし、これにより荷動きによる後述の差分量が大きくなり、より精度よく荷動きを捉えることができるように構成されている。

制御装置２の処理装置２０は、機能的には、図６に示すように、撮像手段３から取得した移載画像を記憶手段２１の移載画像記憶部２１ａに記憶する移載画像取得処理部２０ａと、移載画像に基づき差分画像を生成し、該差分画像を記憶手段２１の差分画像記憶部２１ｂに記憶する差分画像生成処理部２０ｂと、差分画像に基づき振動性の差分を判定する振動性判定処理部２０ｃと、振動性の差分をノイズとして差分画像から除去し、差分画像記憶部２１ｂに記憶するノイズ除去処理部２０ｄと、ノイズ除去処理がされた差分画像に基づき荷動きを判定する荷動き判定処理部２０ｅと、荷動き判定処理部２０ｅの判定結果に基づき、移載装置の移動動作を制御する動作制御処理部２０ｆと、撮像画像に基づき荷の有無を判定する移載判定処理部２０ｇとを少なくとも備え、これら機能は記憶手段２１の上記プログラム等により実現される。

移載画像取得処理部２０ａは、荷を載せて移動中の荷台の撮像画像である移載画像を、所定時間おきに撮像手段３に撮像させ、取得する。所定時間とは、たとえばフレームレートで４〜５ｆｐｓほどに設定することが荷動きを判定するうえで好ましい。本実施形態では、移載画像以外の荷を載せる前の状態、たとえば移載装置１を始動した当初から撮像手段３に対して所定時間おきに撮像画像を取得させ、この取得画像に基づき、移載判定処理部２０ｇが荷の有無を判断しているが、荷の判断は他の重量センサ等の信号に基づいて判断し、その時点から撮像手段３に対し、上記のとおり所定時間おきに撮像させ、移載画像を取得するようにしてもよい。

差分画像生成処理部２０ｂは、移載画像記憶部２１ａの移載画像を直前（一つ前）のものと比較することにより、対応する画素ごとに変化のあった差分を検出してなる差分画像を生成する。差分画像は、現移載画像について画素ごとに一つ前の移載画像の対応する箇所の画素と比較し、色情報（色濃度等）が異なっている（変化している）画素を白色、変化のない画素を黒色としてモノクロの差分画像を生成する。図７（ａ）は移載画像の例、図７（ｂ）はその差分画像の例である。

また、荷表面には各々大小さまざまな文字や模様などの図柄が存在し、この図柄の大きさや数によって差分量が変動し、荷動きの検出精度に悪影響を与える。そこで、このような図柄による差分の発生を低減することが好ましい。このような差分の発生を低減する方法として、具体的には、差分画像生成処理部２０ｂが、移載画像に対してローパスフィルタによる周波数フィルタリングを施すのが好ましい。

ローパスフィルタによる周波数フィルタリングは、荷表面の図柄により差分検出される部分が荷によって異なるため、おおよそ想定される図柄部分に相当する空間周波数成分を元画像（差分画像を得る元となる移載画像）から除去して、フィルタリング処理後の移載画像を得る処理である。より詳しくは、元画像をフーリエ変換し、振幅スペクトル画像を生成したうえで、その振幅スペクトル画像内の図柄部分に相当する空間周波数成分にマスクをつけ、逆フーリエ変換することで行われる。図１３（ａ）はローパスフィルタによる処理を行わなかった移載画像より得られた差分画像、図１３（ｂ）はローパスフィルタによる処理を行ったフィルタリング処理後の移載画像より得られた差分画像であり、図柄による差分の発生がかなり低減されていることが分かる。

振動性判定処理部２０ｃは、差分画像記憶部２１ｂの差分画像のうち、それぞれの位置において存在する差分が振動性のものであるか否かを判定する。具体的には、形状、すなわち白色画素の位置ごとにその頻度（一定時間内の検出回数）を検出し、それに基づいて判定することが好ましい。

ノイズ除去処理部２０ｄは、振動性判定処理部２０ｃで振動性の差分であると判定された差分をノイズとして差分画像から除去、たとえばマスクするなどの処理を行う。ノイズ除去処理部２０ｄは、前記振動性のノイズ除去に加え、振動性以外のノイズを除去するフィルタリング処理を行うことが好ましい。すなわち、差分画像にはスパイクノイズが発生する。スパイクノイズは画像間の違いとして差分画像上で検出される。このノイズによる検出精度の低下を防ぐために、元画像にぼかしフィルタを付与することが好ましい。

このようなスパイクノイズ対策のフィルタ処理としては、ガウシアンフィルタやメディアンフィルタ、ノンローカルミーンフィルタなどを用いることが好ましい。このようなノイズ除去により荷動きの判定をより精度よく行うことができる。これらノイズ除去は、振動性の差分を判定する前の段階、たとえば差分画像を生成した段階で処理することが好ましい。

荷動き判定処理部２０ｅは、差分画像記憶部の必要なノイズ除去処理がされた差分画像に基づき、荷動きを判定する。判定は、差分量が所定の閾値を超えたか否かで荷動きの有無を判定する。具体的には、差分画像の白色の画素数を算出してその数を差分量とし、当該差分量が所定の閾値を超えるか否かを判定する。前記所定の閾値は、一定値でもよいし、元画像から荷と荷台載置面との境界の長さに応じた閾値に設定してもよい。同じズレでも境界が長いほど差分画像の白色画素数が多くなるためである。また、白色部分の画素数で判断しているが、白色部分の形状などに基づき、部分的あるいは全体的な画素数や面積、長さなどで判定してもよい。

より具体的には、前記差分量が所定の閾値よりも大きな閾値を超えたか否かで荷崩れの有無を判定する。また、前記差分量が前記所定の閾値よりも小さい所定の閾値を超えた頻度に基づき、荷の揺れの有無をさらに判定する。そして、動作制御処理部２０ｆは、荷動きの判定結果に応じて移載装置を減速したり、停止させたりする制御信号を生成し、昇降駆動部３２や走行駆動部３３を制御することにより荷の移動動作を制御する。このように荷崩れの検知や、荷崩れに繋がる恐れのある揺れを検知することで、荷の移動動作を的確に制御できる。

移載判定処理部２０ｇは、撮像手段３により撮像された撮像画像から、荷台の載置面の色と同じ色の領域の割合を算出し、その割合に基づき荷台の存在や荷の有無を判定する。具体的には、たとえば撮像画像の総画素数のうち、荷台の載置面の色と同じまたは近似する所定範囲内の色の画素数の割合を算出し、その割合が所定の値を超えていれば荷台が存在し、さらにより大きい所定の値を超えておれば荷が存在しない、これら値の中間値であれば荷が存在すると判定する。

また、荷の存在については、一旦、荷台の載置面の範囲内に処理範囲を絞り、その処理範囲内の総画素数のうち、該処理範囲内での荷台の載置面の色と同じまたは近似する所定範囲内の色の画素数の割合を算出して、その値が所定の値を超えておれば荷が存在しない、超えていないのであれば荷が存在すると判定することも好ましい。このように撮像手段３の画像から荷台や荷の存在を判定することで、別途のセンサ等を設ける必要がなくなり、低コスト化が図れる。

以下、図８〜図１２に基づき、本実施形態における荷動き検知処理の手順について説明する。

図８は、全体の処理手順を示すフロー図である。まず、装置の稼働により荷台（パレットなど）検出処理を開始する（スタート）。この検出処理のため、あらかじめ荷台の載置面の検出に必要となる情報、たとえば荷台の色や、表面形状をインプットしておく。本例のようなパレットであれば、パレットの色やパレット側面のパレット穴の形状などが該当する。

ここで、パレットの側面よりパレット上面範囲を推定するための情報（パレットの３Ｄモデルなど）をインプットしてもよい。これら荷台の色や形状などの情報はあらかじめ記憶手段に記憶されていてもよい。荷台の種類ごとに記憶され、その何れかを特定、指定するようにしてもよい。荷台側方の色や形状から載置面を自動特定してもよい。

そして、移載画像取得処理部２０ａが、フレームレート毎に撮像手段３に撮像処理させ、画像情報を取得する（Ｓ２〜Ｓ３）。画像の更新があれば、Ｓ３で現在画像の読み込み処理をする。

次に移載判定処理部２０ｇが、荷台の存在を判定する（Ｓ４）。具体的には、上述のとおり、撮像画像の総画素数のうち、荷台の載置面の色と同じまたは近似する所定範囲内の色の画素数の割合を算出し、その割合が所定の値を超えていれば荷台が存在すると判定する。色以外に形状の情報に基づき判定することも好ましい。このとき画像の端や、掬える位置にないパレットは無視するようにしてもよい。荷台の存在については、フォークの重量センサなど他のセンサで判定しても勿論よい。

また、移載判定処理部２０ｇは、Ｓ４で荷台が検出されると、Ｓ５で荷台上面範囲処理を行う。すなわち、荷の存在の判定や差分画像を得る際の処理範囲を絞る処理を行う。荷台上面範囲処理は、具体的には、図９に示すように、まず、荷台を検出した状態のままであって、上面範囲をすでに推定してある場合には、後の上面範囲推定処理をスキップする（Ｓ５１）。上面範囲推定（Ｓ５２）は、荷台上面推定用情報より、上面範囲を推定する。

具体的には、たとえば撮像画像のＲＧＢ画像をＨＳＶ画像に変換し、荷台（パレット）の色の色相の±２０程度を検出し、これを同じ色または近似する色とみなしたうえ、検出した領域のXの値最少Xminおよび最大Xmaxの座標を取得する。カメラ視野のY座標の最少Yminおよび最大Ymaxを取得し、(Xmin,Ymin)、 (Xmax, Ymin)、 (Xmin, Ymin)、 (Xmax, Ymax)の４点で囲まれる形状を処理範囲である荷台上面範囲と設定する（Ｓ５２、Ｓ５３）。このとき、カメラ視野のY座標の最少Yminおよび最大Ymaxは、フォークの長手方向における荷台上面の上下端と合わせてあるのが好ましい。

そして、前記色相が±２０の画素を荷台の色としてカウントしておく（Ｓ５４）。荷台上面範囲の処理は、たとえば荷台の上面の推定として、パレットであれば側面を元に、上面の範囲を推定することもできる。これによれば、パレット上面の輪郭を覆う状態で荷が載っている場合であっても、パレットを掬う際に、パレット側面よりパレット上面の凡その範囲を推定できることになる。パレットであれば、パレットの側面からパレット色を推定することも可能である。

次に、移載判定処理部２０ｇは、Ｓ５で行った荷台上面範囲の処理範囲内において、荷の有無を判定する（Ｓ６）。具体的には、当該処理範囲内の総画素数のうち前記算出した荷台（パレット）の色の画素数の割合を算出し、この割合が所定割合以下なら荷が存在すると判定する。荷が存在すると判定すれば、Ｓ７の荷動き検知処理に進む。存在しなければ、この画像についての処理を終了する。

荷動き検知処理は、図１０に示すように、まずノイズ除去処理部２０ｄが差分画像を生成するため、現在画像の直前の画像を読込む（Ｓ７１）。ここで、読み込む画像は上記した荷台上面範囲の画像（処理範囲の画像）とすることが好ましい。次に、現画像と前画像とを用いて差分画像を生成する（Ｓ７２）。図７（ａ）は現画像、図７（ｂ）は差分画像の例である。

Ｓ７２において差分画像を生成する際には、ローパスフィルタによる周波数フィルタリングを行い、荷表面の図柄によるノイズをカットしておくことが好ましい。具体的には、上述のとおり、元画像をフーリエ変換し、振幅スペクトル画像を生成したうえ、その振幅スペクトル画像内における所定の図柄に相当する空間周波数成分にマスクをつけ、逆フーリエ変換することで行われる。

次に、ノイズ除去処理部２０ｄは、あらかじめ差分画像上のスパイクノイズをガウシアンフィルタやメディアンフィルタ、ノンローカルミーンフィルタなどを用いて除去した後、振動性のノイズを除去する（Ｓ７３）。振動性のノイズ除去は、より詳しくは、図１１に示すように、まず、振動性判定処理部２０ｃが差分画像より差分形状情報を取得し（７３０１）、差分形状情報より、搬送装置の移動に基づく微弱な振動に由来する振動性差分であるかを判定する（Ｓ７３０２）。

差分形状情報は、画素数、面積、長さなど、振動性差分か否かを判定するために必要な情報である。振動性差分の判定の基準は、後述する揺れ検知の差分量より閾値は甘目（低め）に設定され、揺れ検知において誤検知してしまうような、単なる振動に基づく揺れを検知できるようにするのが好ましい。

Ｓ７３０２で所定の量以上の差分量であれば、振動性の揺れの可能性があるとして、振動カウンタをカウントアップさせるとともに（Ｓ７３０３）、振動性タイマによる時間が振動性差分について搬送装置の移動に基づく微弱な振動に由来するものであるかを観察する時間として設定される一定時間ΔＳを過ぎているか否か判定する（Ｓ７３０４）。一定時間ΔＳを過ぎていなければ、次に、ΔSの間において、振動性差分が搬送装置の移動に基づく微弱な振動に由来するものであると言える程度の回数として設定される所定回数（α回）以上、発生しているか否かを判定し（Ｓ７３０５）、所定回数αを超えておれば、ノイズ除去処理部２０ｄが振動性差分をマスクするなど、差分画像の修正処理を実施する（Ｓ７３０６）。

Ｓ７３０４において一定時間ΔＳを過ぎている場合は、振動頻度（振動カウンタ／振動タイマ）が所定の閾値（β）を超えているか否か判定し（Ｓ７３０７）、超えているときに限り、同じように振動性差分の修正処理を実施するが（Ｓ７３０６）、振動頻度がβを下回っていたときには、振動性差分の修正処理は行わず、そのまま振動カウンタをゼロに戻し、振動タイマをリセットする（Ｓ７３０８）。振動カウンタ、振動タイマをリセットする理由は、例えばΔｔ１の間に４、５回揺れが発生した場合に、第１の揺れ検知信号をその都度送信することを防ぐためである。

差分画像処理Ｓ７３の次に、荷動き判定処理部２０ｅが荷動き判定処理（Ｓ７４）を行う。荷動き判定処理は、より詳しくは、図１２に示すように、まず、差分画像より差分情報を取得する。差分情報には、画素数、面積、長さなど、差分量を計測するために必要な情報が含まれ、あらかじめ決められた方法で差分量を算出し、その差分量に基づきズレ発生を判定する（Ｓ７４０２）。判定は、差分量が所定の閾値を超えるか否かで行う。

Ｓ７４０２においてズレ発生と判断されると、次に、突発的な荷崩れであるか否か、判定する（Ｓ７４０３）。具体的には、Ｓ７４０２と同様、所定の閾値を超えるか否かで判定し、その閾値をＳ７４０２の前記所定の閾値よりも大きな所定値に設定する。Ｓ７４０３で荷崩れであると判定されると、荷崩れ検知信号を出力し（Ｓ７４０４）、荷動き判定処理を終了する。これは突発的な荷崩れ発生を検知したときの信号であり、搬送装置を停止させるための信号が好ましい。

Ｓ７４０３で荷崩れでない程度のズレと判定されると、以降、荷崩れにつながる連続的な荷動きである「揺れ」でないか否か、判定する処理を行う。本実施形態では、所定の時間Δｔ１が経過する前に前記荷崩れでないズレの回数がａ１に達すると、その段階で揺れであると検知し（第１の揺れ検知）、装置の移動速度を低下させる等の制御を行い、さらに時間Δｔ２が経過する前に、前記荷崩れでないズレの回数がａ２回（ａ２＞ａ１）に達すると、その段階で継続的揺れであると検知し（第２の揺れ検知）、装置を停止させる等の制御を行うものであるが、本発明はこのような手順に何ら限定されるものではない。

具体的には、まず、Ｓ７４０５において、揺れタイマを参照し、所定の時間Δｔ２を過ぎていれば、現時点では今回のズレが揺れであるとは判断できないとして、揺れの回数を計測する揺れカウンタと前記揺れタイマをリセットし、揺れ検知フラグをオフにする（Ｓ７４０６）とともに、揺れの初回の動きの可能性があるとして、揺れカウンタを１カウントアップする（Ｓ７４０７）。揺れタイマは、たとえば装置の稼働開始とともに計時を開始させればよい。

Ｓ７４０５において所定の時間（Δｔ２）を過ぎていない場合、揺れカウンタを参照し、今回のズレで所定の回数（ａ２）に達したか否か判定する（Ｓ７４０８）。Ｓ７４０８において所定回数に達していない場合、揺れタイマが前記Δｔ２よりも短い所定の時間（Δｔ１）を過ぎているか否か判定する（Ｓ７４０９）。Ｓ７４０９で揺れタイマが時間Δｔ１を過ぎていれば、揺れカウンタをカウントアップ（Ｓ７４０７）して荷動き判定処理を終了する。

Ｓ７４０９で揺れタイマが時間Δｔ１を過ぎていなければ、揺れ検知フラグ（後述の第１揺れ検知信号の出力が済みの場合にオン）を参照し（Ｓ７４１０）、フラグオンであれば、第１揺れ検知信号の再出力を防止するべく、揺れカウンタを１カウントアップしたうえ（Ｓ７４０７）、荷動き判定処理を終了する。揺れ検知フラグがオフの場合は、揺れカウンタを参照し、今回のズレで前記回数ａ２よりも少ない回数である所定の回数（ａ１）に達したか否か判定する（Ｓ７４１１）。

Ｓ７４１１において所定回数（ａ１）に達していない場合、揺れカウンタをカウントアップ（Ｓ７４０７）して荷動き判定処理を終了し、所定の回数に達した場合は、第１揺れ検知信号を出力する（Ｓ７４１２）。第１揺れ検知信号は、揺れの発生を検知したときの信号であり、搬送装置の移動速度を低下させるための信号となる。そして、続けて第１揺れ検知信号を出力することを防ぐために、第１揺れ検知信号が出力済みであることを示す揺れ検知フラグをオンにするとともに（Ｓ７４１３）、揺れカウンタをカウントアップし（Ｓ７４０４）、荷動き判定処理を終了する。

Ｓ７４０８において所定回数（ａ２）に達した場合は、第２揺れ検知信号を出力する（Ｓ７４１４）。第２揺れ検知信号は、より継続した揺れの発生を検知したときの信号であり、動作制御処理部２０ｆが移載装置を最徐行後に停止させたり、停止させたりするなど、搬送装置の動作を第１の揺れ検知時より制動させるための信号となる。そして、搬送装置を停止させるので、揺れカウンタと前記揺れタイマをリセットし、揺れ検知フラグをオフにし（Ｓ７４１５）、荷動き判定処理を終了する。荷動き判定処理Ｓ７が終わると、図８に示すように装置が稼働中か否か判定し、稼働中であればＳ２に戻って処理を繰り返す。稼働していなければ、処理を終了する。

以上、本発明の実施形態について説明したが、本発明はこうした実施例に何ら限定されるものではなく、本発明の要旨を逸脱しない範囲において種々なる形態で実施し得ることは勿論である。

１ 移載装置
２ 制御装置
３ 撮像手段
９ 荷
１０ 荷台
１０ａ 載置面
１１ フォーク
１２ マスト
２０ 処理装置
２０ａ 移載画像取得処理部
２０ｂ 差分画像生成処理部
２０ｃ 振動性判定処理部
２０ｄ ノイズ除去処理部
２０ｅ 判定処理部
２０ｆ 動作制御処理部
２０ｇ 移載判定処理部
２１ 記憶手段
２１ａ 移載画像記憶部
２１ｂ 差分画像記憶部
３０ 昇降機構
３１ 走行機構
３２ 昇降駆動部
３３ 走行駆動部

Claims (9)

1. 荷を荷台に載せて移動させる移載装置と、
   前記移載装置による移動動作を制御する制御装置と、
   前記移載装置における前記荷台の載置面側となる上方の位置に設けられ、前記荷台の載置面を含む範囲を撮像する撮像手段と、
   を備える移載システムであって、
   前記制御装置は、
   前記撮像手段により撮像される撮像画像を記憶する記憶手段と、
   荷を載せて移動中の荷台の撮像画像である移載画像を、所定時間おきに前記撮像手段により撮像させ、該移載画像を前記記憶手段の移載画像記憶部に記憶する移載画像取得処理部と、
   前記移載画像記憶部の移載画像を比較することにより、対応する画素ごとに変化のあった差分を検出してなる差分画像を生成し、該差分画像を前記記憶手段の差分画像記憶部に記憶する差分画像生成処理部と、
   前記差分画像記憶部の差分画像のうち、振動性の差分を判定する振動性判定処理部と、
   前記振動性判定処理部で振動性の差分であると判定された差分をノイズとして前記差分画像から除去したうえ、差分画像記憶部に記憶するノイズ除去処理部と、
   差分画像記憶部の必要なノイズ除去処理がされた差分画像に基づき、荷動きを判定する荷動き判定処理部と、
   前記荷動き判定処理部の判定結果に基づき、移載装置の移動動作を制御する動作制御処理部と、
   を備えることを特徴とする移載システム。
2. 前記荷動き判定処理部が、差分量が所定の閾値を超えたか否かで荷動きの有無を判定する請求項１記載の移載システム。
3. 前記荷動き判定処理部が、前記差分量が前記所定の閾値よりも大きな閾値を超えたか否かで荷崩れの有無をさらに判定する請求項２記載の移載システム。
4. 前記荷動き判定処理部が、前記差分量が所定の閾値を超えた頻度に基づき、荷の揺れの有無をさらに判定する請求項２又は３記載の移載システム。
5. 前記振動性判定処理部が、差分量が所定の閾値を超える差分の検出頻度に基づき、振動性の差分か否かを判定する請求項１〜４の何れか１項に記載の移載システム。
6. 前記ノイズ除去処理部が、前記振動性のノイズ除去に加え、振動性以外のノイズを除去するフィルタリング処理を行う請求項１〜５の何れか１項に記載の移載システム。
7. 前記差分画像生成処理部が、前記移載画像をローパスフィルタにより周波数フィルタリングされたフィルタリング処理後の移載画像を比較することにより前記差分画像を生成する、請求項１〜６の何れか１項に記載の移載システム。
8. 前記制御装置が、
   前記撮像手段により撮像された撮像画像から、荷台の載置面の色と同じ色の領域の割合を算出し、その割合に基づき荷の有無を判定する移載判定処理部をさらに備える請求項１〜７の何れか１項に記載の移載システム。
9. 前記制御装置の一部または全部が、前記移載装置内に設けられた請求項１〜８の何れか１項に記載の移載システム。