JP2020029361A - フォークリフト用荷役作業支援装置 - Google Patents

Abstract

【課題】パレットを高精度に検知することができるフォークリフト用荷役作業支援装置を提供する。【解決手段】フォークリフトに搭載され、フォークリフトの前方を撮像するカメラと、カメラにて撮像された画像全体のうちパレットを認識させたい領域を指定するための検知領域指定部４３ａと、指定された領域においてパレットの位置を画像認識する画像認識部４５ａと、を備える。【選択図】図４

Description

本発明は、フォークリフト用荷役作業支援装置に関するものである。

特許文献１に開示の自律走行車においては、目的位置における走行車本体の周辺を撮影して画像データ上における物体の位置を予想し、予想された物体の位置を含む所定範囲の探索領域に対して画像データの特徴点を検出し、抽出されたマッチング候補点の特徴量を算出してマッチング候補点の特徴量とモデルデータとを照合することで物体の画像データ上の位置を認識するようにしている。特許文献２に開示の物体認識装置においては、物体が含まれる三次元画像における特徴点を検出して各点における特徴量を算出し、特徴点と、特徴点に対して特定の幾何的条件を満たす補間点とをパターンマッチングのためのマッチング候補点のグループとし、各グループに含まれるマッチング候補点の特徴量に基づいて、モデルのデータとの類似度を比較することで物体の認識を行うようにしている。

特開２０１５−２２５４５０号公報 特開２０１５−２２５４５３号公報

ところで、フォークリフトの荷役作業を支援するフォークリフト用荷役作業支援装置において、カメラ画像からパレットを認識するために、特許文献１の技術を用いた場合、パレット位置情報が必要なので自律走行車にしか適用できない。つまり、画像認識領域を決める時に自律走行なので予めパレットのある位置が分かり、そこだけに絞って画像認識することにより負荷の軽減を図る手法はパレット位置情報が必要なので自律走行車にしか適用できない。また、カメラ画像からパレットを認識するために、特許文献２の技術を用いた場合、二次元画像処理時に誤検知することが懸念される。つまり、三次元画像で画像認識する前に二次元画像でパレットらしきものの箇所を見つけておいてそこを三次元で画像認識する手法は二次元画像処理時に誤検知する可能性がある。

本発明の目的は、パレットを高精度に検知することができるフォークリフト用荷役作業支援装置を提供することにある。

上記問題点を解決するためのフォークリフト用荷役作業支援装置は、フォークリフトの荷役作業を支援するフォークリフト用荷役作業支援装置であって、前記フォークリフトに搭載され、前記フォークリフトの前方を撮像するカメラと、前記カメラにて撮像された画像全体のうちパレットを認識させたい領域を指定するための検知領域指定部と、前記検知領域指定部で指定された領域において前記パレットの位置を画像認識する画像認識部と、を備えることを要旨とする。

これによれば、カメラにて撮像された画像全体のうちパレットを認識させたい領域が指定され、指定された領域においてパレットの位置が画像認識される。よって、パレットを高精度に検知することができる。

また、フォークリフト用荷役作業支援装置について、前記画像認識部で認識された前記パレットの位置に基づきフォーク目標高さを演算するフォーク目標高さ演算部を更に備えるのが好ましい。

また、フォークリフト用荷役作業支援装置について、前記フォーク目標高さ演算部で演算されたフォーク目標高さを通知する通知部を更に備えるのが好ましい。
また、フォークリフト用荷役作業支援装置について、前記画像認識部で認識された前記パレットの位置に基づき前記フォークリフトを自動制御する自動制御部を更に備えるのが好ましい。

また、前記フォークリフト用荷役作業支援装置は、フォークリフト用遠隔操作システムに用いられるものであって、前記フォークリフト用遠隔操作システムは、前記フォークリフトと、遠隔操作装置とを備え、前記フォークリフトは、機台に荷役装置を備えるとともに車両通信部を有し、前記遠隔操作装置は、前記車両通信部と無線通信を行う操作装置通信部を有し、前記フォークリフトの走行及び前記荷役装置による荷役を遠隔操作するのに用いられるのが好ましい。

本発明によれば、パレットを高精度に検知することができる。

フォークリフト用遠隔操作システムの概要を示す概略図。 作業場でのフォークリフトとパレットの状況を説明するための概略側面図。 フォークリフト用遠隔操作システムの電気的構成を示すブロック図。 遠隔操作装置の一部の電気的構成を示すブロック図。 作用を説明するための表示画面を示す図。 作用を説明するための表示画面を示す図。 作業場でのフォークリフトとパレットとの位置関係を説明するための概略平面図。 作業場でのフォークリフトとパレットとの位置関係を説明するための概略側面図。

以下、本発明を具体化した一実施形態を図面に従って説明する。
本実施形態では、フォークリフト用操作支援装置は、フォークリフト用遠隔操作システムに用いられるものである。

図１に示すように、フォークリフト用遠隔操作システム１０は、フォークリフト２０と、フォークリフト２０の走行及び荷役装置による荷役作業を遠隔操作するのに用いられる遠隔操作装置４０と、を備えている。フォークリフト２０は、作業場に配置される。遠隔操作装置４０は、操作室に配置される。そして、遠隔操作装置４０を用いて操作室から、作業場のフォークリフト２０を遠隔操作することができるようになっている。

図２に示すように、作業場においては、棚５０が設置されている。棚５０は２段にわたりパレット５１〜５８及び荷物Ｗを配置することができる。つまり、下の段においてパレット５１に荷物Ｗが配置されるとともに、その上の段においてパレット５２に荷物Ｗが配置される。その隣での下の段においてパレット５３に荷物Ｗが配置されるとともに、その上の段においてパレット５４に荷物Ｗが配置される。その隣での下の段においてパレット５５に荷物Ｗが配置されるとともに、その上の段においてパレット５６に荷物Ｗが配置される。その隣での下の段においてパレット５７に荷物Ｗが配置されるとともに、その上の段においてパレット５８に荷物Ｗが配置される。この状態から、作業者はフォークリフト２０を遠隔操作して荷物を取りに行く。

図２において、各パレット５１〜５８にはパレット穴（フォーク挿入用穴）６０が形成されており、このパレット穴６０にフォークが差し込まれる。
図１に示すように、フォークリフト２０は、機台２１の前後に車輪２２が設けられている。機台２１には荷役装置２３が備えられている。荷役装置２３により荷物の積み上げ又は積み降ろしを行うことができる。

荷役装置２３は、マスト２４と、ブラケット２５と、フォーク２６を具備している。マスト２４にブラケット２５を介してフォーク２６が上下方向に移動可能に設けられている。本実施形態のフォークリフト２０は、運転者が着座して操作することが可能に構成されているが、運転席の無い無人フォークリフトであってもよい。

なお、フォークリフト２０は、例えばエンジンが搭載されたエンジンタイプであってもよいし、蓄電装置及び電動モータが搭載されたＥＶタイプであってもよいし、燃料電池及び電動モータが搭載されたＦＣＶタイプであってもよい。また、フォークリフト２０は、例えばエンジンと蓄電装置と電動モータとを有するＨＶタイプでもよい。

図３に示すように、フォークリフト２０は、車両通信部としての無線部３０と、制御部３１と、映像信号処理部３２と、カメラ３３と、アクチュエータ部３４を有する。カメラ３３は、フォークリフト２０に搭載され、フォークリフト２０の前方を撮像するためのものである。具体的には、カメラ３３は、図２に示すように、フォーク２６の先端部に埋め込まれており、フォーク２６の前方を撮像する。なお、カメラ３３は左右のフォーク２６のうちのいずれかに取り付けられている。図３のアクチュエータ部３４は、走行用アクチュエータと、荷役用アクチュエータを含み、荷役用アクチュエータはティルト用アクチュエータと昇降用アクチュエータを含んでいる。走行用アクチュエータにより車輪２２が回転及び操舵される。

遠隔操作装置４０は、操作装置通信部としての無線部４１と、制御部４２と、操作部４３と、表示部（モニタ）４４と、映像信号処理部４５を有する。操作部４３における操作方式として、タッチパネル方式、マウス方式、ジョイスティック方式等が用いられる。

無線部４１はフォークリフト２０の無線部３０と無線通信を行うことができる。つまり、フォークリフト２０の無線部３０と遠隔操作装置４０の無線部４１とは無線通信可能となっている。

そして、遠隔操作装置４０において、操作部４３を用いて作業者が所望の操作を行うと制御部４２により操作内容が無線部４１を介してフォークリフト２０側に送られる。フォークリフト２０において、無線部３０で遠隔操作装置４０からの操作内容が受信され、制御部３１によりアクチュエータ部３４が駆動されて所望の動作が実行される。

一方、フォークリフト２０において、カメラ３３により撮像された画像は制御部３１により映像信号処理部３２及び無線部３０を介して遠隔操作装置４０側に送られる。遠隔操作装置４０において、無線部４１でフォークリフト２０からのカメラ画像が受信されて制御部４２により映像信号処理部４５を介して表示部４４で表示される。つまり、遠隔操作装置４０に設けられる表示部４４は、カメラ３３にて撮像された画像を表示するためのものであり、画面４４ａ（図５参照）を有する。作業者はカメラ３３にて撮像された画像を表示部４４で見ながら操作することになる。

本フォークリフト用遠隔操作システム１０は、フォークリフト２０を自動制御する機能を有している。この自動制御機能を用いて荷取り作業を行うことができるようになっている。詳しくは、作業者により選択されたパレット５１〜５８に対し図７に示すように正対した状態から図８に示すように自動制御でフォークリフト２０を位置調整してパレット穴６０にフォーク２６を挿入したり、パレット穴６０に挿入したフォーク２６を自動制御でリフトすることができるようになっている。

図３において映像信号処理部４５は、カメラ３３にて撮像された画像に対し画像認識処理により複数のパレット５１〜５８のうち選択されたパレットを検出することができるようになっている。

図４に示すように、遠隔操作装置４０の映像信号処理部４５は、画像認識部４５ａとフォーク目標高さ演算部４５ｂを有する。また、遠隔操作装置４０の制御部４２は自動制御部４２ａを有する。

操作部４３は、検知領域指定部４３ａを有する。検知領域指定部４３ａは、マウス、キーボード等を備えている。検知領域指定部４３ａは、フォークリフト２０の前方を撮像するカメラ３３にて撮像された画像全体のうちパレット５１〜５８を認識させたい領域Ｒｄ（図６参照）を指定するためのものである。検知領域指定部４３ａから映像信号処理部４５に領域指定情報が送られる。

画像認識部４５ａは、検知領域指定部４３ａで指定された領域Ｒｄにおいてパレット５１〜５８の位置を画像認識することができる。フォーク目標高さ演算部４５ｂは、画像認識部４５ａで認識されたパレット５１〜５８の位置に基づきフォーク目標高さＨｇ（図８参照）を演算する。自動制御部４２ａは、画像認識部４５ａで認識されたパレット５１〜５８の位置に基づきフォークリフト２０を自動制御する。

図４の構成について、詳しくは、映像信号処理部４５は画像データを入力するとともに画像データが表示部４４に送られる。認識結果（相対高さ情報）が制御部４２に送られる。操作部４３からのフォーク高さ自動調整の開始指示により自動制御部４２ａからフォークリフト側にフォークリフト操作量が指示される。

次に、作用について説明する。
図２に示すように、フォークリフト２０が棚５０（パレット５１〜５８）に対し離れた場所に位置している。この状態から、フォークリフト２０が棚５０（パレット５１〜５８）に接近するように走行する。さらに、図７に示すようにフォークリフト２０をパレット５１〜５８に対し正対させる。この状態では、パレット５１〜５８の左右のパレット穴６０に対しフォークリフト２０の左右のフォーク２６が所定距離だけ離間している。左右のフォーク２６を前方に移動させることにより左右のフォーク２６を左右のパレット穴６０に差し込む。

このようにフォークリフト２０を操作する際に以下の操作支援が行われる。
図５に示すように、表示部４４においてカメラ３３にて撮像された画像が表示される。更にパレット５１〜５８に接近すると、図６に示すようにカメラ３３にて撮像された画像が表示される。ここで、作業者は、カメラ３３にて撮像された画像のうち特定のパレット５２を含む領域（Ｒｄ）を、カーソル等を用いて指定する。図６において４つの指定点Ｐ１，Ｐ２，Ｐ３，Ｐ４にて、長方形の領域Ｒｄが指定されており、指定された長方形の領域Ｒｄにパレット５２を含んでいる。

このようにして、カメラ３３にて撮像された画像全体のうちパレット５１〜５８を認識させたい領域Ｒｄが指定される。
画像認識部４５ａは、指定された領域Ｒｄにおいてパレット５２の位置を画像認識する。よって、パレット５２を高精度に検知することができる。

以下、詳しく説明する。
従来、レーザーによるパレット認識は、レーザー関連の部品が必要になり、コストに影響がある。遠隔操作システムでは、操作用のカメラがある為、そのカメラ画像からパレット５１〜５８を認識できれば、レーザーを用いる場合に比べコスト面のメリットがある。なお、カメラ画像にてフォーク２６の高さを調整してパレット穴６０の高さとフォーク２６の高さを合わせるのは難しく、作業者の負担になる可能性がある。よって、画像情報からパレット５１〜５８を検知し、認識したパレット５１〜５８の位置情報を用いてフォーク高さ合せを支援する。ただし、パレット５１〜５８の形状は、直線で構成されていることにより形状上特徴量が少なく、画像全体からのパレット検知は難しく、環境にあるラックや柱などとの特徴量の差が出にくい。つまり、パレット５１〜５８の形状について、直線で構成されており、エッジが少なく、特徴量が少ない。よって、図２において領域Ｐ１００で示すごとくパレット間の区切れが認識しにくく、他の領域との特徴量の差がでにくい。

本実施形態においては、画像上のターゲットとするパレット５２を含む大まかな検知領域（Ｒｄ）を指定することで、パレット５２の検知精度を向上させる。特徴を抽出する領域（Ｒｄ）を指定することで、比較対象が絞られる。その結果、誤認識率が減少する。このように、精度よくパレット５２を検知できることで、精度の高いフォーク高さ合せの支援が可能になる。

カメラ３３の取付位置については、フォーク２６とパレット５１〜５８の位置関係がわかるカメラ位置とする。具体的には、フォーク先端部でありフォーク２６と連動して動作し、フォーク２６とパレット５１〜５８が同時に映るカメラ位置などとする。領域指定（Ｒｄ）の仕方については、領域指定（Ｒｄ）は、操作者が画像表示用モニタの画像上で指定することとし、指定は、マウス、キーボードなどの入力装置を用い、画像認識部４５ａが入力情報から指定範囲（Ｒｄ）を判断する。

パレット検知については、画像認識部４５ａは、指定された領域Ｒｄ内（付近でも可能）に絞ってパレット検知を行う。ここで、画像認識部４５ａは、検知したパレット５２のサイズからパレット５２までの距離ｄｐ（図８参照）を算出する。そして、画像認識部４５ａは、算出した距離情報（ｄｐ）を基に、フォーク２６とパレット５２の相対高さΔＨ（図８参照）を把握する。

なお、相対高さΔＨの把握方法について、パレット５１〜５８のサイズは規定されているため、図７に示すようにパレット５１〜５８に正対する位置にカメラ３３がある場合、認識した画像上のパレットサイズ（辺の長さ、面積等）から概算距離を算出する。パレット５１〜５８までの距離ｄｐがわかれば、カメラ３３の設置位置は予め分かっているので（本実施形態ではフォーク先端部であるので）、カメラ３３とパレットの相対高さが分かるのでカメラ３３の位置からパレット高さ（Ｈｇ）が分かる。このように、フォーク２６とパレット５１〜５８の相対高さΔＨがわかる。

自動制御部４２ａにおけるフォーク高さ自動調整機能について、画像認識部４５ａは、自動制御部４２ａにフォーク２６とパレット５１〜５８の相対高さΔＨの情報を通知する。自動制御部４２ａは、相対高さ情報からリフト操作量を決め、制御対象であるフォークリフト２０に指示する。これによりフォーク２６の高さが調整されてパレットと同じ高さにされる。

以上のごとく、画像認識によるパレット検知精度の向上が図られる。
上記実施形態によれば、以下のような効果を得ることができる。
（１）フォークリフト２０の荷役作業を支援するフォークリフト用荷役作業支援装置の構成として、フォークリフト２０に搭載され、フォークリフト２０の前方を撮像するカメラ３３と、カメラ３３にて撮像された画像全体のうちパレット５１〜５８を認識させたい領域Ｒｄを指定するための検知領域指定部４３ａと、検知領域指定部４３ａで指定された領域Ｒｄにおいてパレット５２の位置を画像認識する画像認識部４５ａとを備える。よって、パレット５２を高精度に検知することができる。

（２）画像認識部４５ａで認識されたパレット５１〜５８の位置に基づきフォーク目標高さＨｇを演算するフォーク目標高さ演算部４５ｂを更に備える。よって、フォーク目標高さを求めることができる。

（３）画像認識部４５ａで認識されたパレット５２の位置に基づきフォークリフト２０を自動制御する自動制御部４２ａを更に備える。よって、認識されたパレット５２の位置に基づきフォークリフト２０を自動制御することができる。

（４）フォークリフト用荷役作業支援装置は、フォークリフト用遠隔操作システム１０に用いられるものであって、フォークリフト用遠隔操作システム１０は、フォークリフト２０と、遠隔操作装置４０とを備え、フォークリフト２０は、機台２１に荷役装置２３を備えるとともに車両通信部としての無線部３０を有し、遠隔操作装置４０は、車両通信部としての無線部３０と無線通信を行う操作装置通信部としての無線部４１を有し、フォークリフト２０の走行及び荷役装置２３による荷役を遠隔操作するのに用いられる。よって、遠隔操作する際に、パレット５２を高精度に検知することができる。

実施形態は前記に限定されるものではなく、例えば、次のように具体化してもよい。
○ 画像の表示画面にタッチパネル機能がある場合、タッチパネルにて領域指定をしてもよい。

○ 操作支援は、自動調整でなく、画像上への相対高さΔＨの表示でもよい。つまり、通知部としての表示部４４において、フォークの高さである揚高を表示する際に、相対高さΔＨを表示し、操作者が相対高さΔＨだけフォークの高さを調整するようにしてもよい。若しくは、フォーク目標高さ演算部４５ｂで演算されたフォーク目標高さＨｇを表示することによりフォーク目標高さＨｇを通知する。つまり、フォーク目標高さＨｇをそのまま表示してもよいし、現揚高との差である相対高さΔＨを表示してもよい。このように、フォーク目標高さ演算部４５ｂで演算されたフォーク目標高さＨｇを通知する通知部としての表示部４４を更に備えた構成としてもよい。

○ 横方向も調整してもよい。即ち、図７に示すようにパレットに正対すべきところが横方向にずれている場合に横方向にガイドするようにしてもよい。
○ 画像認識部４５ａと自動制御部４２ａは、統合してもよい。

○ 遠隔操作装置４０の制御部４２が行った処理はフォークリフト２０の制御部３１が行ってもよい。
○ カメラはフォークの先端部に設けたが、これに限るものではない。例えば、ブラケット２５に設けてもよい。要は、カメラは、フォークリフトの前方を撮像するものであればよい。

○ フォークリフト用操作支援装置はフォークリフト用遠隔操作システムに用いられるものであったが、これに限るものではない。例えば、有人フォークリフトに用いてもよい。つまり、カメラを搭載した無人フォークリフトと、表示部を有する遠隔操作装置とを備えるではなく、例えば、カメラと表示部を搭載した有人フォークリフトに適用してもよい。

１０…フォークリフト用遠隔操作システム、２０…フォークリフト、２１…機台、２３…荷役装置、３０…無線部、３３…カメラ、４０…遠隔操作装置、４１…無線部、４２ａ…自動制御部、４３ａ…検知領域指定部、４４…表示部、４５ａ…画像認識部、４５ｂ…フォーク目標高さ演算部、５１〜５８…パレット、Ｈｇ…フォーク目標高さ、Ｒｄ…指定された領域。

Claims (5)

1. フォークリフトの荷役作業を支援するフォークリフト用荷役作業支援装置であって、
   前記フォークリフトに搭載され、前記フォークリフトの前方を撮像するカメラと、
   前記カメラにて撮像された画像全体のうちパレットを認識させたい領域を指定するための検知領域指定部と、
   前記検知領域指定部で指定された領域において前記パレットの位置を画像認識する画像認識部と、
   を備えることを特徴とするフォークリフト用荷役作業支援装置。
2. 前記画像認識部で認識された前記パレットの位置に基づきフォーク目標高さを演算するフォーク目標高さ演算部を更に備えることを特徴とする請求項１に記載のフォークリフト用荷役作業支援装置。
3. 前記フォーク目標高さ演算部で演算されたフォーク目標高さを通知する通知部を更に備えることを特徴とする請求項２に記載のフォークリフト用荷役作業支援装置。
4. 前記画像認識部で認識された前記パレットの位置に基づき前記フォークリフトを自動制御する自動制御部を更に備えることを特徴とする請求項１〜３のいずれか１項に記載のフォークリフト用荷役作業支援装置。
5. 前記フォークリフト用荷役作業支援装置は、フォークリフト用遠隔操作システムに用いられるものであって、
   前記フォークリフト用遠隔操作システムは、前記フォークリフトと、遠隔操作装置とを備え、
   前記フォークリフトは、機台に荷役装置を備えるとともに車両通信部を有し、
   前記遠隔操作装置は、前記車両通信部と無線通信を行う操作装置通信部を有し、前記フォークリフトの走行及び前記荷役装置による荷役を遠隔操作するのに用いられることを特徴とする請求項１〜４のいずれか１項に記載のフォークリフト用荷役作業支援装置。