JP2019181602A - ピックアンドプレイス装置 - Google Patents

Abstract

【課題】ロボットを用いてピックアンドプレイスを行うにあたり、収納容器内で最上位にある物品の鉛直方向の位置にかかわらず、ロボットハンドで物品の取り出し又は積載を正確に行い、かつ物品の鉛直方向の位置が変化しない場合に比して同等以上の作業効率を得る。【解決手段】収納容器１０内に重ねられて収納された複数の物品１を該収納容器１０の上面開口部から順次取り出し、又は上面開口部を介して収納容器へ複数の物品を順次重ねて積載するピックアンドプレイス装置１００Ａが、画像に基づいて物品１の位置情報を取得する機能を有するロボット４０Ａ、及び収納容器１０の載置位置の上方に設置された撮像装置２０を有し、さらに、撮像装置２０で収納容器１０内を撮った画像において、収納容器１０内で最上位にある物品１ｔが占める面積Ｓｔを撮像視野全体の面積Ｓ０に対して一定範囲の比率に収める制御機構（距離センサ２２、昇降手段２３、ズームレンズ装置３１）を有する。【選択図】図１Ａ

Description

本発明は、パラレルリンク型ロボット等のロボットを用いたピックアンドプレイス装置に関する。

物品を段ボール箱等の収納容器、ベルトコンベア、作業台等から取り出し、必要に応じて物品を所望の向きに合わせ、収納容器、ベルトコンベア、作業台等の所定の位置に置く、ピックアンドプレイスと称される作業が行われている。ロボットを用いたピックアンドプレイスでは、一般に、取り出す物品の画像を撮像装置で撮り、その画像情報をロボットのコントローラに送り、コントローラによって、物品を取り出すときのロボットハンドの位置や姿勢が正確に目標動作を行うように調整されている。そのため、物品と撮像装置との距離が変化すると、撮像装置の視野範囲における物品像の比率が調整時とは異なるものとなり、物品を取り出すときのロボットハンドの位置や姿勢が調整時のままであると正確に目標動作を行うことができない。

また、物品を収納容器に底部から順次箱詰めする場合に、収納容器内にて先に箱詰めした物品の画像を撮像装置で撮り、その画像情報に基づいて物品を箱詰めするときのロボットハンドの位置や姿勢を調整し、次の物品を箱詰めしていくことがある。この場合にも画像情報に基づいてロボットハンドの位置や姿勢を調整した後、物品と撮像装置との距離が変化したときに、物品を箱詰めしていくロボットハンドの位置や姿勢が調整時のままであると正確に目標動作を行うことができない。

このような問題は、意図せずに撮像装置が動いた場合や、物品を載置する作業台の高さが変わった場合等に生じるが、後者に対しては、撮像装置と作業台との距離を計測し、撮像装置の視野範囲に物品が入るように撮像装置の高さを変更することが提案されている（特許文献１）。

また、パラレルリンク型ロボットを使用する場合に、並列した複数のアームが接続されているアーム先端側の可動プレートに撮像装置を取り付け、物品を取り出す際のつかみ方や方向を確認できるようにすることが提案されている（特許文献２）。

特開２０１５−１３１３７５号公報 特開２０１５−８５４８６号公報

しかしながら、従来のピックアンドプレイス装置では、段ボール箱等の収納容器に複数の物品が充填されている場合に、その収納容器から物品を順次取り出していくことを、迅速にかつ確実に行うことができない。

即ち、特許文献１に記載のように、収納容器を載置する作業台の高さに応じて撮像装置の高さを変更すると、作業台と同じ高さにある物品は撮像装置の視野範囲に収めることができる。しかしながら、複数の物品が充填されている収納容器を、高さが一定の作業台に載置し、その収納容器から物品を順次取り出す作業を行う場合に、物品の取り出しが進むにつれて収納容器内で最上位にある物品の鉛直方向の位置が下がると、撮像装置の視野範囲に物品が収まっていても、視野範囲において物品の像が小さくなっていくので、物品を識別するための特徴を画像情報から正しく認識することができなくなり、また、画像情報に基づく物品の水平方向の位置が実際の位置とずれてしまい、ロボットハンドで物品を確実に取り上げることが困難となる。

また、特許文献２に記載のようにロボットのアーム先端側の可動プレートに取り付けた撮像装置で物品の画像を撮ると、その撮像装置の視野範囲において物品の大きさを一定範囲に保持することができるので、アーム先端側のロボットハンドで物品を取り上げることができる。しかしながら、アーム先端側の可動プレートに取り付けた撮像装置は、物品を取り上げるときから物品を所定の位置に置くときまでその物品を撮り続けることになり、その物品を取り上げ、その物品を所定の位置に置き、次に取り出すべき物品付近に戻るまでは次に取り出すべき物品の画像を撮ることができず、次に取り出すべき物品付近に戻ってから撮像することによりようやく物品を取り上げる位置が定まる。そのため、ピックアンドプレイスの作業効率が低下する。

この他、収納容器内の物品の取り出しを続けるにつれて収納容器内で最上位にある物品の鉛直方向の位置が下がってくることに対し、その下がった分だけ収納容器の載置台を持ち上げることが考えられるが、載置台を昇降させる周辺装置が必要となるので、設備が複雑化し、高価となる。さらに、収納容器が空になって次の収納容器と入れ替えるときには、上昇させた載置台を降下させることが必要となるため、収納容器の入れ替え時間が長くなり、作業効率が低下する。

上述した問題は、収納容器内の物品を順次取り出していく場合だけでなく、収納容器内に順次物品を積載していく場合にも生じる。即ち、物品を収納容器内に順次箱詰めする場合には、先に箱詰めした物品と重なるように次に箱詰めする物品を積載したり、逆に、先に箱詰めした物品を避けて次に箱詰めする物品を積載したりする場合には、先の物品を箱詰めした後に撮像装置で収納容器内の画像を撮り、その画像情報に基づいて収納容器内で次に物品を積載するときのロボットハンドの位置や姿勢を調整することがある。このような場合に、収納容器内へ物品の積載を続けるにつれて収納容器内で最上位にある物品の鉛直方向の位置が上がってくると、収納容器内で最上位にある物品と撮像装置との距離が変化し、画像情報に基づいてロボットハンドの位置や姿勢を正確に調整することが困難となる。

より具体的には、例えば、物品としてキャップを重なりなく段ボール箱等の収納容器に箱詰めする際、まず箱底に厚紙などの仕切り板をしき、次に仕切り板上の隅部からロボットでキャップを置いていく。仕切り板上の面にキャップを並べ終わると、次の仕切り板をその上にしき、さらにキャップを置いていくという作業を繰り返す。この際、収納容器内を撮像し、その画像情報に基づいてキャップを並べると、重なりなく、また最小の隙間にてキャップを並べることができるので、収納容器内に効率良くキャップを収納することができる。しかしながら、収納容器内に底から順にキャップが積層されていくと、視野範囲において物品の像が大きくなっていくので、物品を識別するための特徴を画像情報から正しく認識することができなくなり、また、画像情報に基づく物品の水平方向の位置が実際の位置とずれてしまい、ロボットハンドで物品を確実に置いていくことが困難となる。キャップ以外の物品、例えば薄状の包装用袋やボトル等を最小の隙間で積載する際も同様である。なお、収納容器内へ物品を積載するにあたり、仕切り板の使用の有無は適宜定められる。

このような収納容器内への物品の積載に関する問題に対し、収納容器内で最上位にある物品の鉛直方向の位置が上がった分だけ収納容器の載置台を下げることが考えられるが、載置台を昇降させる周辺装置が必要となるので、設備が複雑化し、高価となる。さらに、収納容器が満杯になって次の収納容器と入れ替えるときには、下降させた載置台を上昇させることが必要となるため、収納容器の入れ替え時間が長くなり、作業効率が低下する。

これらの問題に対し、本発明は、収納容器内に重ねられて収納された複数の物品を順次取り出し（ピック）、所定の位置に置く（プレイス）というピックアンドプレイスを、ロボットを用いて行うにあたり、収納容器内で最上位にある物品の鉛直方向の位置にかかわらず、ロボットハンドで物品を正確に取り出し、かつ物品の取り出し位置が鉛直方向で変化しない場合に比して同等以上の作業効率を得ることを課題とする。また、本発明は、任意の場所に置かれた複数の物品を順次取り出し（ピック）、収納容器内に重ねて積載する（プレイス）というピックアンドプレイスを、ロボットを用いて行うにあたり、収納容器内で既に積載されている物品のうち最上位にある物品の鉛直方向の位置にかかわらず、ロボットハンドで物品を正確に収納容器内に積載し、かつ物品の積載位置が鉛直方向で変化しない場合に比して同等以上の作業効率を得ることを課題とする。

本発明者は、収納容器に収納された複数の物品を、ロボットを用いて正確且つ高速に取り出し、又は収納容器内に積載していくためには、取り出すべき物品の位置情報、又は物品を載置すべき位置の情報を画像情報に基づいてロボットに取得させるにあたり、撮像装置の設置位置を収納容器の上方とし、その撮像装置で撮った収納容器内の画像において、収納容器内で最上位にある物品の画像が占める面積Ｓｔを撮像視野全体の面積Ｓ０に対して一定範囲の比率に収めると、画像に基づいてロボットのコントローラで認識される物品の水平方向の位置と、実際の物品の水平方向の位置を容易に一致させられることを想到し、本発明を完成した。

即ち、本発明は、収納容器内に重ねられて収納された複数の物品を該収納容器の上面開口部から順次取り出し、又は上面開口部を介して収納容器内へ複数の物品を順次重ねて積載するピックアンドプレイス装置であって、
画像に基づいて物品の位置情報を取得する機能を有するロボット、
収納容器の載置位置の上方に設置された撮像装置、及び
撮像装置で収納容器内を撮った画像において、収納容器内で最上位にある物品が占める面積Ｓｔを撮像視野全体の面積Ｓ０に対して一定範囲の比率に収める制御機構
を有するピックアンドプレイス装置を提供する。

また、本発明は、収納容器内で重ねられて収納された複数の物品の画像を撮像装置で撮り、画像に基づいて物品の位置情報を取得する機能を有するロボットを用いて、収納容器内に重ねられて収納された複数の物品を該収納容器の上面開口部から順次取り出し、又は上面開口部を介して収納容器内に複数の物品を順次重ねて積載するピックアンドプレイス方法であって、
撮像装置として収納容器の載置位置の上方に設置された撮像装置を使用し、
撮像装置で撮った収納容器内の画像において、収納容器内で最上位にある物品が占める面積Ｓｔを撮像視野全体の面積Ｓ０に対して一定範囲の比率に収める制御を行うピックアンドプレイス方法を提供する。

本発明のピックアンドプレイス装置又はピックアンドプレイス方法によれば、ロボットが物品の位置情報を取得するために使用する画像を、収納容器の載置位置の上方に設置した撮像装置を使用して撮るので、収納容器内の物品をロボットハンドで順次取り出していくピックアンドプレイスを行う場合には、ロボットハンドが、収納容器から取り出した物品を収納容器外の位置にプレイスする間に、次に収納容器から取り出す物品の位置をロボットに認識させることができ、また、収納容器内へ物品を順次積載していくピックアンドプレイスを行う場合には、ロボットハンドが保管場所等の収納容器外の場所から物品を取り出す間に、その物品を積載すべき収納容器内の位置をロボットに認識させことができる。したがって、ピックアンドプレイスをより高速に行うことができる。

また、ロボットが物品の位置情報を取得するために使用する画像では、収納容器内で最上位にある物品が占める面積Ｓｔを、撮像視野全体の面積Ｓ０に対して一定範囲の比率に収めるので、該画像に基づいてロボットで認識される物品の水平方向の位置と、実際の物品の水平方向の位置とのズレを抑制することができ、ロボットハンドで物品を正確に取り出すことが可能となる。特に、画像において最上位の物品が占める面積Ｓｔと撮像視野全体の面積Ｓ０との比率を１００％以下とし、かつこの比率を１００％に近づけると画像認識の精度自体を向上させることができ、また、物品が占める面積Ｓｔと撮像視野全体の面積Ｓ０との比率を予め設定した比率（所定設定値）に対して±１５％の範囲とすると、ピックアンドプレイスを、より正確かつ高速に行うことができる。

一方、本発明のピックアンドプレイス装置によれば、本発明のピックアンドプレイス方法を確実に実施することができる。

図１Ａは、実施例のピックアンドプレイス装置１００Ａの正面図であって、ロボットハンドがピック位置の上空にある状態を示している。 図１Ｂは、実施例のピックアンドプレイス装置１００Ａの上面図であって、ロボットハンドがピック位置の上空にある状態を示している。 図１Ｃは、図１Ｂからロボット本体を省略した図である。 図１Ａは、実施例のピックアンドプレイス装置１００Ａの正面図であって、ロボットハンドがプレイス位置の上空にある状態を示している。 図２Ｂは、実施例のピックアンドプレイス装置１００Ａの上面図であって、ロボットハンドがプレイス位置の上空にある状態を示している。 図２Ｃは、図２Ｂからロボット本体を省略した図である。 図３Ａは、ピックアンドプレイス装置１００Ａにおけるパラレルリンク型ロボットのロボットハンドの可動範囲の説明図である。 図３Ｂは、ピックアンドプレイス装置１００Ａにおけるパラレルリンク型ロボットのロボットハンドの可動範囲の説明図である。 図３Ｃは、ピックアンドプレイス装置１００Ａにおけるパラレルリンク型ロボットのロボットハンドの可動範囲の説明図である。 図４Ａは、ピックアンドプレイス装置１００Ｂにおけるパラレルリンク型ロボットのロボットハンドの可動範囲の説明図である。 図４Ｂは、ピックアンドプレイス装置１００Ｂにおけるパラレルリンク型ロボットのロボットハンドの可動範囲の説明図である。 図４Ｃは、ピックアンドプレイス装置１００Ｂにおけるパラレルリンク型ロボットのロボットハンドの可動範囲の説明図である。 図５Ａは、ピックアンドプレイス装置１００Ａのロボット本体の概略上面図である。 図５Ｂは、ピックアンドプレイス装置１００Ａにおいて収納容器内で最上位の物品が収納容器の上面開口部付近にあるときの撮像装置の昇降状態の説明図である。 図５Ｃは、ピックアンドプレイス装置１００Ａにおいて収納容器内で最上位の物品が収納容器の底部付近にあるときの撮像装置の昇降状態の説明図である。 図６Ａは、ピックアンドプレイス装置１００Ｂのロボット本体の概略上面図である。 図６Ｂは、ピックアンドプレイス装置１００Ｂにおいて収納容器内で最上位の物品が収納容器の上面開口部付近にあるときの撮像装置の昇降状態の説明図である。 図６Ｃは、ピックアンドプレイス装置１００Ｂにおいて収納容器内で最上位の物品が収納容器の底部付近にあるときの撮像装置の昇降状態の説明図である。 図７Ａは、ズームレンズ装置を備えたピックアンドプレイス装置１００Ｃにおいて収納容器内で最上位の物品が収納容器の上面開口部付近にあるときの撮像視野の説明図である。 図７Ｂは、ズームレンズ装置を備えたピックアンドプレイス装置１００Ｃにおいて収納容器内で最上位の物品が収納容器の底部付近にあるときのの撮像視野の説明図である。 図８は、実施例のピックアンドプレイス装置１００Ｄの正面図であって、ロボットハンドがピック位置の上空にある状態を示している。 図９Ａは、実施例のピックアンドプレイス装置１００Ｅの正面図であって、収納容器内で最上位の物品が収納容器の上面開口部付近にあり、ロボットハンドがプレイス位置にある状態を示している。 図９Ｂは、実施例のピックアンドプレイス装置１００Ｅの正面図であって、収納容器内で最上位の物品が収納容器の底部付近にあり、ロボットハンドがプレイス位置にある状態を示している。 図９Ｃは、実施例のピックアンドプレイス装置１００Ｅの正面図であって、収納容器内で最上位の物品が収納容器の底部付近にあり、ロボットハンドがピック位置の上空にある状態を示している。 図１０Ａは、実施例のピックアンドプレイス装置１００Ｆの正面図であって、収納容器内で最上位の物品が収納容器の底部付近にあり、ロボットハンドがピック位置にある状態を示している。 図１０Ｂは、実施例のピックアンドプレイス装置１００Ｆの正面図であって、収納容器内で最上位の物品が収納容器の底部付近にあり、ロボットハンドがピック位置の上空にある状態を示している。 図１１は、物品を収納した収納容器の開口状態の斜視図である。 図１２は、物品の誤認試験で使用したパウチの登録画像である。 図１３Ａは、上面開口部付近までパウチが充填されている収納容器内で最上位にあるパウチと撮像装置との距離の説明図である。 図１３Ｂは、収納容器の上面開口部付近までパウチが充填されているときに撮像装置で撮られた画像である。 図１３Ｃは、収納容器の上面開口部付近までパウチが充填されているときに撮像装置で撮られた画像中のパウチ画像と、そのパウチの登録画像との対比図である。 図１４Ａは、収納容器の底部付近にのみパウチが存在するときの、収納容器内で最上位にあるパウチと撮像装置との距離の説明図である。 図１４Ｂは、収納容器の底部付近にのみパウチが存在するときに、従来のピックアンドプレイス装置の撮像装置で撮られた画像である。 図１４Ｃは、収納容器の底部付近にのみパウチが存在するときに、従来のピックアンドプレイス装置の撮像装置で撮られた画像中のパウチ画像と、そのパウチの登録画像との対比図である。 図１５は、収納容器の上面開口部付近に物品が存在するときに画像から認識される最上位の物品の重心座標と、その物品の実際の重心座標とを、収納容器の上面図及び撮像装置と収納容器の正面図に示した図である。 図１６は、収納容器の底部付近に物品が存在するときに、収納容器内で最上位にあるパウチとの距離が一定に保持されない撮像装置で撮られた画像から認識される最上位の物品の重心座標と、その物品の実際の重心座標とを、収納容器の上面図及び撮像装置と収納容器の正面図に示した図である。 図１７Ａは、円柱状物品がランダムに充填されている収納容器の上面開口部の画像である。 図１７Ｂは、円柱状物品がランダムに充填されている収納容器から物品を複数個取り出した後に撮った上面開口部の画像であって、ピック可能な物品が認識されない画像である。 図１７Ｃは、円柱状物品がランダムに充填されている収納容器から物品を複数個取り出し、その収納容器を揺さぶった後に撮った上面開口部の画像であって、ピック可能な物品が認識される画像である。 図１８は、円柱状物品の登録画像と撮像装置で撮られる像の説明図である。 図１９は、ピックアンドプレイス装置１Ａにおける動作のフローチャートである。 図２０は、ピックアンドプレイス装置の動作制御における基準位置の説明図である。 図２１は、収納容器内で最上位に存在する物品と撮像装置との距離（ｈ＋ｈ1）と、画像から認識されるｘ座標のズレ量（ｘ−ｘ1）との関係図である。

以下、図面を参照しつつ本発明を具体的に説明する。なお、各図中、同一符号は、同一又は同等の構成要素を表している。
また、以下の説明では、収納容器内の物品を順次取り出していくピックアンドプレイスを行う装置及び方法について主に説明するが、収納容器内に物品を順次積載していくピックアンドプレイスを行う装置及び方法は、収納容器内の物品を順次取り出していくピックアンドプレイスを行う装置及び方法に準じて構成することができる。

［収納容器内から物品を取り出すピックアンドプレイス装置の概要］
図１Ａは、本発明において、ロボットとしてパラレルリンク型ロボット４０Ａを用いた一実施例のピックアンドプレイス装置１００Ａの正面図であって、ロボットハンド４２が、物品１のピック位置の上空（即ち、収納容器１０の上方）にある図であり、図１Ｂはその上面図であり、図１Ｃは、ロボットアーム４１をわかりやすく示すために、図１Ｂからロボット本体４４を省略した図である。また、図２Ａは、このピックアンドプレイス装置１００Ａにおいて、物品のプレイス位置とするベルトコンベア５０の上空にロボットハンド４２がある状態の正面図であり、図２Ｂはその上面図であり、図２Ｃは図２Ｂからロボット本体を省略した図である。なお、これらの図ではロボットを半透明に表している。

この実施例のピックアンドプレイス装置１００Ａは、箱形の収納容器１０に収納された複数個の大きさが同じで同一形状の物品１を、該収納容器１０から順次取り出し、コンベア５０上のプレイス位置に所定の向きで置くというピックアンドプレイスを行う。なお、本発明においてプレイス位置は１箇所に限定されず、例えば、ピック位置の両側にベルトコンベアを配置し、一つの収納容器に入っている物品を２列のベルトコンベアに取り出しても良い。

図１１に示したように、本実施例において収納容器１０に入っている物品１は、開閉可能なキャップなどを有する、内容物が未充填の薄状のスパウト付パウチの空袋であり、収納容器１０では、スパウト付パウチの空袋が、スパウト部２の位置がずれながら収納容器１０の上面開口部付近まで多層に積層されている。なお、本発明において所定の位置にプレイスされた物品１は適宜その後の工程に供される。例えば、図１Ａのピックアンドプレイス装置１００Ａによりベルトコンベア５０に取り出されたスパウト付パウチの空袋は内容物充填機に供給され、空袋内に内容物が充填される。

ピックアンドプレイス装置１００Ａは、収納容器１０の上面開口部の画像を撮る撮像装置２０、撮像装置２０が撮った画像に基づいて物品１の位置情報を取得する機能を有するパラレルリンク型ロボット４０Ａを有している。パラレルリンク型ロボット４０Ａの本体４４の設置領域内の中央部の、収納容器１０の載置位置の上方には撮像装置２０が設けられている。

本発明のピックアンドプレイス装置は、撮像装置２０で撮った画像において、収納容器１０内で最上位にある物品１ｔが占める面積Ｓｔを撮像視野７の全体の面積Ｓ０（図１３Ｂ）に対して一定範囲の比率に収める制御機構を有することを特徴としている。収納容器１０内の複数の物品が同一形状及び同一の大きさである場合、撮像装置２０で収納容器１０内を撮った画像において、最上位の物品１ｔが占める面積Ｓｔを撮像視野全体が有する面積Ｓ０に対して一定範囲の比率に収めることは、この画像において、最上位の物品１ｔの鉛直方向の高さでの収納容器１０の内法の面積（即ち、開口面積）Ｓ１（図１３Ｂ）を撮像視野全体の面積Ｓ０（図１３Ｂ）に対して一定範囲の比率に収めることでもある。以下、このような観点からも、このピックアンドプレイス装置１００Ａが有する制御機構について説明する。

ピックアンドプレイス装置１００Ａは、この制御機構として、収納容器１０内で最上位にある物品１ｔと撮像装置２０との鉛直方向の距離を一定に保持する制御機構、より具体的には、後述するように、収納容器１０内で最上位にある物品１ｔの鉛直方向の位置情報を取得する手段及び該位置情報に基づいて撮像装置を昇降させることにより、収納容器１０内で最上位にある物品１ｔと撮像装置２０との鉛直方向の距離を一定に保持する昇降手段２３を有している。なお、ピックアンドプレイス装置１００Ａには、収納容器１０内を照明する照明手段２１を必要に応じて設けてもよい。

［物品］
図１Ａには物品１として、開閉可能なキャップなどを有する、内容物が未充填の薄状のスパウト付パウチの空袋を示したが、本発明において物品１の形状、大きさ、用途等に特に限定はない。形状の例として、球、立方体、直方体、円柱体、円錐体、板、棒、線材、フィルム又はシート等の薄状体などを挙げることができる。用途の例としては、キャップ、ボトル、包装用材料等を挙げることができ、特に包装用材料として薄状包装用袋を挙げることができる。種々の物品の中でも、本発明が大きな効果を発揮するものは、パウチの空袋、スパウト付パウチの空袋等の薄状包装用袋であり、その中でも大きな効果を発揮するものは、開閉可能なキャップ等を有するスパウト付パウチの空袋（以下、単に空袋ともいう）の如く、全体が薄状体であるがその一部分が厚いために位置がずれながら多層に重ねられて収納される物品である。空袋のスパウト部は、キャップ、ストローの内包部等により袋部よりも厚みが厚い。また、空袋の袋本体は、樹脂層、アルミ層、又はそれらの複合シート等で形成されているので、袋本体の表面が滑りやすい。そのため、この空袋を内容物の充填機に供給するために収納容器から一枚ずつ取り出すと、スパウト部が厚いことや、袋本体の表面が滑りやすいことから、収納容器から空袋を取り出す度に取り出した空袋の周辺の空袋が動き、収納容器に残っている空袋の水平方向の位置が変化する。それだけでなく、スパウト付パウチの空袋はその一部分が厚いため、収納容器内では反りを生じたり傾いたりしているので、空袋の水平方向位置が変化すると鉛直方向位置も変化することがある。また空袋の取り出しが進むと、最上部の空袋の鉛直方向位置は低くなっていく。そのため、従前の方法で収納容器の上面開口部の画像を撮っても、様々な誤差が生じ、画像認識により収納容器から取り出すべき空袋の位置や姿勢を取得することは極めて困難である。

これに対し、本発明では、撮像装置で撮った画像において、収納容器内で最上位にある物品が占める面積Ｓｔを撮像視野全体の面積Ｓ０に対して一定範囲の比率に収めるので、撮像装置で撮った画像において収納容器内で最上位にある物品の大きさが一定の範囲に収まり、これにより画像認識の位置精度が高まり、確実に空袋を取り出すことが可能となる。

なお、本発明において、収納容器内で複数の物品が重ねられて収納されている状態とは、好ましくは、同一の大きさで同一形状の複数の物品が規則的に多層に充填されている状態をいうが、これに限られず、同一の大きさで同一形状のまたは大きさあるいは形状の異なった複数種の物品がランダムに積み重ねられて充填されている状態を含む。また、本発明において、複数の物品を順次重ねて積載するとは、好ましくは、同一形状及び同一の大きさの複数の物品が規則的に多層に積層されるように順次積み重ねることをいうが、これに限られず、同一の大きさで同一形状のまたは大きさあるいは形状の異なった複数種の物品がランダムに積み重なるように順次物品を収納容器に充填していくことを含む。

［収納容器］
図１Ａに示した収納容器１０は段ボール箱等の箱形容器であるが、本発明において収納容器１０の形状や材質には特に制限はない。段ボール箱の他、樹脂ケース、折り畳み可能なコンテナ等とすることができる。収納容器１０に物品を収納し、輸送する間に埃や塵が物品１に付着しないように、収納容器１０の内側に内袋をセットし、その内袋内に物品１を積層するものでもよい。

［ロボット］
本発明において、ロボットの種類は特に限定されず、パラレルリンク型ロボット、垂直多関節型ロボット、スカラ型ロボット（水平多関節型ロボット）等を使用することができる。いずれの種類のロボットにおいても、ロボットとしてはロボット自体に、又はロボットとそれに付随する装置も含めたロボットシステムとして、不図示の画像認識装置を有するものを使用する。画像認識装置は、画像が入力されると画像内の物品の位置情報を取得し、ロボットハンドのコントローラは、画像認識装置が取得した物品の位置情報に基づいて、収納容器１０から物品１を取り出すときのロボットハンド４２の位置や姿勢を制御する。

図１Ａに示した実施例のピックアンドプレイス装置１００Ａでは、ロボットとしてパラレルリンク型ロボット４０Ａを使用している。パラレルリンク型ロボットは、一般に、ロボットアーム４１を構成するリンクと関節が複数並列し、各ロボットアーム４１の一端が、ロボットハンド４２を構成する一つのプレート４５に接続され、他端がロボット本体４４に放射状に取り付けられたロボットである。なお、パラレルリンク型ロボットにおいて、ロボット本体４４とは、ロボット上部の、放射状に設置されている駆動装置４６と駆動装置４６の関連機器を合わせたものの総称又はこれらの収納部全体をいう。

パラレルリンク型ロボットによれば、複数のロボットアームの作用を一つのプレート４５に集中させるので、垂直多関節型ロボット又はスカラ型ロボット（水平多関節型ロボット）を使用する場合に比してピックアンドプレイスを高速に行うことができる。

パラレルリンク型ロボットの最も一般的な形態は、ロボットアーム４１の先端のプレート４５に形成されるロボットハンド４２の空間移動の軸が水平方向（ｘ方向、ｙ方向）及び垂直方向（ｚ方向）の３軸のもの（デルタ型）である（図１Ａ、図１Ｂ）。パラレルリンク型ロボットとしては、ロボットハンド４２の空間移動の軸がｘｙの２軸であるもの、ｘｙｚの３軸に加えてロボットハンド４２の傾きか回転の向きが変化する４軸であるもの（クアドロ型）、ｘｙｚの３軸に加えてロボットハンド４２の２方向の傾きと回転の向きが変化する６軸であるもの（ヘキサ型）があり、本発明ではいずれのパラレルリンク型ロボットも使用することができる。既存のパラレルリンク型ロボットにロボットハンドの駆動装置を１軸追加してもよい。ロボットハンド４２の空間移動を行う駆動装置とは別に１軸から３軸のロボットハンド用駆動装置をロボット本体４４に設置し、そこから伸びた棒状伝達部をロボットハンド用駆動装置で回転させてロボットハンド４２に加えたギヤボックスやリンク機構などで棒状伝達部の回転をロボットハンドの回転向きや傾きに変更してもよい。

図３Ａ〜図３Ｃは、図１Ａ、図１Ｂに示したピックアンドプレイス装置１００Ａであって、ロボットハンド４２が異なる位置にある状態を、ロボットハンド４２の最大可動域Ａ１と共に示したものである。即ち、図３Ａでは、ロボットハンド４２が、物品が収納容器１０の底部にある場合のピック位置にあり、図３Ｂでは、ロボットハンド４２がピック位置Ｐ１の上空にあり、図３Ｃではロボットハンド４２がプレイス位置の上空にある。このピックアンドプレイス装置１００Ａでは、撮像装置２０がパラレルリンク型ロボットのロボット本体４４の設置領域内の中央部に設けられている。

一方、図４Ａ〜図４Ｃは、撮像装置２０をロボット本体４４の設置領域の周辺部に設けたピックアンドプレイス装置１００Ｂにおいて、ロボットハンド４２が異なる位置にある状態を、ロボットハンド４２の最大可動域Ａ１と共に示したものである。即ち、図４Ａでは、ロボットハンド４２が、物品が収納容器１０の上面開口部付近にある場合のピック位置にあり、図４Ｂでは、ロボットハンド４２がピック位置の上空とプレイス位置の上空の中間にあり、図４Ｃでは、ロボット位置がプレイス位置の上空にある。

これらの図からわかるように、３つのロボットアーム４１ａ、４１ｂ、４１ｃを有するパラレルリンク型ロボット４０Ａのロボット本体４４の中央部の真下には、ロボットアーム４１ａ、４１ｂ、４１ｃがどのような動きをしてもこれらのロボットアームが来ない３角柱状の空間Ｐがある（図３Ａ、図５Ａ）。また、ロボット本体４４の周辺部で、隣り合うロボット駆動装置４６の間の領域にもロボットアーム４１ａ、４１ｂ、４１ｃがどのような動きをしてもこれらのロボットアーム４１ａ、４１ｂ、４１ｃが来ない空間Ｑがある（図３Ａ、図４Ａ）。そこで、図３Ａ〜図３Ｃに示したピックアンドプレイス装置１００Ａでは、ロボットアームが来ない空間Ｐを利用して撮像装置２０を設置し、撮像装置２０の真下を収納容器１０の載置場所としている（図５Ａ、図５Ｂ）。一方、図４Ａ〜図４Ｃに示したピックアンド装置１００Ｂでは、ロボットアームが来ない空間Ｑを利用して撮像装置２０を設置し、撮像装置２０の真下を収納容器１０の載置場所としている（図４Ａ、図６Ａ）。

また、これらの図に示したように、パラレルリンク型ロボットの空間移動の軸が３軸以上の場合、ロボットハンド４２の最大可動域Ａ１は、上面視において３つのロボットアーム４１の駆動装置４６に外接する仮想円Ｃの中心を下方に伸ばした直線を中心軸Ｌｃとする円柱状で（図５Ａ）、その底部の中心が下方に突出してお椀形となっている領域である。なお、これらの図にはロボットアーム４１の先端部の最大可動域Ａ２も示した。

撮像装置２０をロボット本体４４の設置領域内の中央部に設置したピックアンドプレイス装置１００Ａでは、ロボットハンド４２の水平方向の移動可能距離は、水平方向の最大移動可能距離Ｗａの１／２程度となる。また、ロボットハンド４２の垂直方向の移動可能距離は、垂直方向の最大移動可能距離Ｈａの９５％程度までとなる（図３Ａ）。ロボットハンド４２の垂直方向の最大可動域Ａ１は、ロボット本体４４の周辺部の下方よりもロボット本体４４の中央部真下の方が大きいから、このピックアンドプレイス装置１００Ａでは、深さの深い収納容器から物品を取り出すことが可能となる。

撮像装置２０をロボット本体４４の周辺部に設置したピックアンドプレイス装置１００Ｂでは、ロボットハンド４２の水平方向の移動可能距離は、水平方向の最大移動可能距離Ｗａの９０％程度までとなり、垂直方向の移動可能距離は、ロボットハンド４２の可動域の周辺部における垂直方向の最大移動可能距離Ｈｂの１１０％程度までとなる（図４Ａ）。このピックアンドプレイス装置１００Ｂでは、ロボットハンド４２を水平方向に大きく移動させることができるので、水平方向に大きな物品を扱うことが可能となる。なお、上述したピックアンドプレイス装置１００Ａ、１００Ｂでは、ピックアンドプレイスの対象とする物品１が空袋であり、ロボットハンド４２は空袋を吸着により把持する吸着式のものとなっている。

一方、本発明において、ロボットとして垂直多関節型ロボットを使用する場合、物品１の収納容器１０やプレイスが行われるベルトコンベア５０に対して、例えば図８に示すピックアンドプレイス装置１００Ｄのように吊りタイプの垂直多関節型ロボット４０Ｂを配置することができ、また図９に示すピックアンドプレイス装置１００Ｅのように床置きタイプの垂直多関節型ロボット４０Ｃを配置することができる。垂直多関節型ロボット４０Ｂ、４０Ｃで収納容器１０内の物品１を取り出すときにはロボットアームの下腕４１Ｌが、収納容器１０に対して斜めになるので、収納容器１０の上方にはロボットアームの上腕４１Ｕやロボット本体などのロボットの構成要素が存在しない。そのため、撮像装置２０や距離センサ２１を収納容器１０の上面開口部上に固設することが容易となるので好ましい。なお、ピックアンドプレイス装置１００Ｄ、１００Ｅも、ピックアンドプレイスの対象とする物品１が空袋であり、ロボットハンド４２は吸着式のものとなっている。

また、垂直多関節型ロボット４０Ｂ、４０Ｃにおいてロボット本体とは、ロボットを設置している部材４８に最も近い第１軸４７の基部及び第１軸４７の駆動装置４６をいう。

図８に示したピックアンドプレイス装置１００Ｄは、垂直多関節型ロボット４０Ｂのロボットハンド４２が収納容器１０内の物品１を保持した後にピック位置の上空に上昇し、ロボットアームの関節部がピックアンドプレイスの動作中の最高位置に達した状態を示している。一方、撮像装置２０は、後述する昇降手段２３により可動域Ｈｃの範囲で昇降する。そこで、最高位置に達したロボットアームの関節部と、可動域Ｈｃ内で最も下方にある撮像装置２０とが干渉しないように、これらの間に間隙Ｚ１があくようにすることが好ましい。

また、図８に示したピックアンドプレイス装置１００Ｄでは、撮像装置２０の可動域Ｈｃとロボット本体の鉛直方向の範囲Ｈｄとは重複している。この重複範囲Ｈｅがあることで、収納容器１０の深いところにある物品１を撮像できるように撮像装置２０を降下させることができる。

一方、図９Ａに示したピックアンドプレイス装置１００Ｅでは、図８に示したピックアンドプレイス装置１００Ｄに比して撮像装置２０の可動域Ｈｃを高い位置に設定しており、撮像装置２０の可動域Ｈｃとロボット本体の鉛直方向の範囲Ｈｄとは重複しない。撮像装置２０の可動域Ｈｃとロボット本体の鉛直方向の範囲Ｈｄとの重複をなくすことにより、撮像装置２０の昇降位置に関わらずロボットアーム姿勢を気にせずにピックアンドプレイス装置１００Ｅを自在に動かすことができる。

図９Ａに示したピックアンドプレイス装置１００Ｅにおいても、図９Ｃに示すように、ロボットハンド４２がピック位置の上空にあり、ロボットアームの関節部がピックアンドプレイスの動作中の最高位置に達した状態において、その関節部と、可動域Ｈｃ内で最も下方にある撮像装置２０とが干渉しないように、これらの間に間隙Ｚ１があくようにすることが好ましい。

また、物品１をピックしたロボットハンド４２がピック位置の上空にあるとき、ロボットハンド４２に保持された物品１の最下位置と収納容器１０との間に間隙Ｚ２があくようにすることが好ましい（図９Ｃ）。

図１０Ａに示したピックアンドプレイス装置１００Ｆは、スカラ型ロボット４０Ｄを用いた実施例のピックアンドプレイス装置１００Ｆの概略正面図である。このピックアンドプレイス装置１００Ｆではピックアンドプレイスの対象とする物品１がポンプキャップであり、ロボットハンド４２はポンプキャップを把持する開閉把持式のものとなっている。

スカラ型ロボット４０Ｄは、ロボットアームの先端に、該先端の回転と高さ変更を行うＺ軸４３を有している。スカラ型ロボット４０Ｄでは、収納容器１０内の底部付近の物品１を取り出すときにはロボットアーム先端の回転と高さ変更を行うＺ軸４３の突き出し量が小さく、Ｚ軸４３の上端は低いが（図１０Ａ）、収納容器１０の上方に物品１を取り出すときには、物品１を収納容器１０の最高位置以上に持ち上げることが必要となり、Ｚ軸４３がロボットアーム４１の先端の上方に大きく突き出す（図１０Ｂ）。このときのＺ軸４３の上端と、可動域Ｈｃ内で最も下方にある撮像装置２０との間に間隙Ｚ１があくように撮像装置２０を設置することが好ましい。また、この状態でロボットハンド４２に保持された物品１の最下位置と収納容器１０との間にも空隙Ｚ２があくようにすることが好ましい（図１０Ｂ）。

なお、スカラ型ロボット４０Ｄにおいて、ロボット本体とはロボットを設置している部材４８に最も近い第１軸４７及び駆動装置４６をいう。図１０Ａに示したピックアンドプレイス装置１００Ｆでは、撮像装置２０の可動域Ｈｃとロボット本体の鉛直方向の範囲Ｈｄとが重複している。

また、Ｚ軸４３は中空であり、Ｚ軸４３内にロボットハンド４２の開閉用又は吸着用のエアチューブや信号線を通すことができる。

［ロボットハンド］
ロボットハンド４２は、吸着式、開閉把持式などとすることができる。吸着式は、１個又は複数個のバキュームパッドを有する。吸着式は物品１に接触すると直ちに物品１を把持することができるので、ロボットの動作時間を短縮し、ピックアンドプレイス装置１００Ａの処理能力を高める上で好ましい。一方、開閉把持式は駆動源としてエアー駆動ポンプやモータを使用する。開閉把持式によれば、２以上の方向から物品１を掴むようにして把持することができる。そのため、物品が複雑な形状であっても物品を確実に把持することができる点で好ましい。また、物品のサイズや形状が異なる場合に、把持位置を調整することにより、ロボットハンドを交換しなくても物品の把持が可能となる点でも好ましい。

［画像認識装置とロボット制御］
本発明においてロボットの制御は、従前のロボットなどのピックアンドプレイス装置で使用されている画像認識装置やコントローラを使用することができる。即ち、画像認識装置は、撮像装置２０が収納容器１０内に置かれた物品を撮像すると、その撮った画像中から予め登録しておいた情報と一致する物品を探し出し、撮像した画像中の物品の位置と向きを認識し、ロボットハンド４２が物品１を取り出すピック位置と向きを決定する。その位置と向きの情報に基づき、コントローラはロボットハンドがピックに至るまでのロボットアーム動作、ピック時のハンドの位置と向きを定めるアーム動作、ハンドの吸着や開閉動作、プレイスへのハンドの位置と向きを定めるアーム動作などを制御する。この方法で認識された物品が複数個ある場合には、より精度の高いものを優先させることにより物品を取り出すピック位置と向きが決定される。しかしながら、収納容器１０内の物品の取り出しが進み、収納容器内における最上層の物品の位置が下がってくると、従前の画像認識装置とコントローラを使用するだけでは、次の理由１、理由２、理由３により、撮像装置２０が撮った画像に基づいて物品の位置を精確に認識することができず、ロボットハンド４２の位置や姿勢を精確に制御することができない。

（理由１）
一般に、予め登録しておいた情報と撮像した画像中の物品との一致度を相関値という。相関値が１００％のとき、予め登録しておいた情報と画像中の物品とは完全一致となる。通常、画像に基づいて物品を認識する場合、相関値の閾値を定め、相関値が閾値未満の物品は収納容器１０から取り出す物品から除外する。複数の物品の輪郭や模様などが入り組んでいる画像では、物品が存在しないところで物品が存在すると誤認されることがあるが、相関値に閾値を定め、閾値未満の物品を取り出す物品から除外することにより上述の誤認を防止することができる。閾値は撮像条件によって適宜調整されるが、通常は、相関値８０％程度を閾値とする。

収納容器１０からの物品１の取り出しが進み、収納容器１０内で最上位の物品と撮像装置２０との距離が変化すると、撮像した画像に占める物品の大きさは徐々に小さくなり、相関値が低下し、相関値が閾値未満となると実際には物品が存在するのに、物品が無いものとして認識される場合がある。

例えば、物品１として、縦３００ｍｍ、横２００ｍｍの大きさのパウチであり、図１１に示すように、表面に「２．５倍」及び「Ａｂｃ」という文字が記載されているパウチを使用し、パウチと撮像装置との距離と誤認との関係を調べる誤認試験を行った。この場合、撮像装置の視野の略全域に収納容器１０の画像を収めるのに適した、最上位の物品１ｔと撮像装置との距離ｈは１２００ｍｍであった（図１３Ａ）。相関値の閾値は８０％に設定した。収納容器（縦４５０ｍｍ、横４００ｍｍ、深さ４５０ｍｍ）いっぱいにパウチを充填し、収納容器内のパウチを収納容器内で最上位にあるものから順次を取り出し、その都度一致度を算出した。その結果、パウチが収納容器１０の上面開口部近傍にあるときの一致度は９９％であったが、当初の最上位の物品の位置に対して鉛直方向に下がった距離ｈ１が３０ｍｍの位置にある物品の相関値は８０％を下回り、収納容器１０内に物品が残存しているにもかかわらず、取り出し対象とする物品は存在しないと誤認されることがわかった。即ち、図１３Ａに示すように、パウチ１が収納容器１０の上面開口部近傍まで充填されているときには、収納容器１０内で最上位にあるパウチ１ｔと撮像装置２０との距離ｈが１２００ｍｍであり、このとき撮像装置２０で撮られた収納容器１０の上面開口部の画像では、図１３Ｂに示すように撮像視野７の略全体が収納容器の上面図で占められており、図１３Ｃに示すように、撮像装置２０で撮られた画像中のパウチ画像６とこのパウチの登録画像５は略完全に一致した（相関値９９％）。これに対して、図１４Ａに示すように、パウチ１が収納容器１０の底部付近にのみ存在するときには、収納容器１０内で最上位にあるパウチ１ｔと撮像装置２０との距離ｈ’は（ｈ＋ｈ1）であり、パウチの減少分だけ長くなっている。このとき撮像装置２０で撮られた収納容器１０の上面開口部の画像では、図１４Ｂに示すように撮像視野７の中央部分の狭い領域にのみにパウチ画像６があり、図１４Ｃに示すように撮像装置で撮られた画像中のパウチ画像６とこのパウチの登録画像５とを対比すると、登録画像５に比して撮像装置で撮られたパウチ画像６の方が小さく、相関値が８０％を下回った。

（理由２）
撮像装置２０で撮った画像から把握される最上位の物品１ｔの位置にロボットハンド４２を動かす前には、一般に、画像から認識される位置情報と実際とを合致させるキャリブレーションと呼ばれる調整を行う。例えば、図１５（ｂ）に示すように収納容器１０の上面開口部付近まで物品１が充填されている場合に、撮像装置２０が撮った収納容器１０の上面開口部の画像が図１５（ａ）であり、収納容器１０で最上位にある物品１ｔのピック位置を該物品１ｔの真の重心とするとき、その真の重心の水平方向の座標（ｘ，ｙ）と、図１５（ａ）の画像から認識される、最上位にある物品の重心の水平方向の座標（ｘ，ｙ）とをキャリブレーションにより一致させる。キャリブレーションにより一致させるとは、画像から認識される最上位にある物品の重心の水平方向の座標（ｘ，ｙ）を目標としてロボットハンドを移動させると、その移動した位置が真の重心の水平方向の座標（ｘ，ｙ）に一致するようにロボットの動きを調整することである。

しかしながら、収納容器１０からの物品１の取り出しが進み、収納容器１０内で最上位の物品１ｔと撮像装置２０との距離が変化すると、図１６に示すように、撮像した画像に占める物品の大きさは徐々に小さくなり、キャリブレーション後に画像から認識される物品１ｔの重心座標（ｘ1，ｙ1）と、実際の物品１ｔの真の重心座標（ｘ，ｙ）とにずれが生じるのでロボットハンドを物品の存在位置に精確に動かすことができなくなる。そのため、例えばロボットハンドが吸着式の場合には、物品が存在しないところで吸着パッドが物品を吸着しようとしたり、スパウト部等の平面でないことにより吸着できない部分を吸着しようとしたりして、吸着を失敗することがある。仮に吸着できたとしても、物品の本来の位置を吸着しておらず、プレイス時に所定の位置にプレイスできなかったり、所定の向きにプレイスできなかったりする。また、ロボットハンドが開閉把持式の場合には、ロボットハンドの把持部が、物品が存在しないところを把持しようとして把持に失敗したり、本来の把持位置と異なるところを把持してしまうことにより物品を傷めたり、プレイス時に所定の位置にプレイスできなかったり、所定の向きにプレイスできなかったりする。

収納容器１０からの物品１の取り出しが進み、収納容器１０内で最上位にある物品１ｔと撮像装置２０との距離が変化し、撮像した画像に占める物品の大きさが小さくなると、画像から認識される水平方向の物品の位置と実際の位置とにズレが生じるのは次の理由による。

即ち、図１５に示すように、物品１が収納容器１０の上面開口部付近まで充填されているとき、収納容器の最上位の物品１ｔと撮像装置との距離がｈであり、物品のピック位置とする真の重心の水平方向の座標（ｘ、ｙ）が撮像視野の中心から２００ｍｍ離れた位置にあるとする。このとき、キャリブレーションにより、画面上の物品の重心座標と実際の物品の重心座標（ｘ，ｙ）とは一致している。ここで、ピック位置とする座標（ｘ，ｙ）と撮像装置２０のレンズ面の中心を結ぶ直線と、撮像装置２０の中心軸とがなす角度をθとする。一方、図１６に示すように、収納容器１０からの物品１の取り出しが進み、収納容器１０内の底部付近のみに物品１が存在するとき、収納容器１０内で最上位に存在する物品１ｔのピック位置の水平方向の座標が（ｘ、ｙ）であり、このピック位置の座標（ｘ、ｙ）と撮像装置との距離が（ｈ＋ｈ１）であるとき、収納容器１０の上面開口部の画像では物品の画像が小さくなっているため、画像上での物品１ｔのピック位置の座標は（ｘ1,ｙ1）となり、本来のピック位置の座標とずれる。即ち、本来のピック位置（ｘ，ｙ）と撮像装置２０のレンズ面の中心を結ぶ直線と、撮像装置２０の中心軸とがなす角度θ1が距離（ｈ＋ｈ１）とｘから求まり、この角度θ1と距離ｈからｘ1が求まるが、θ1＜θであるから、ｘ1とｘは一致しない。このｘ座標のズレ量（ｘ−ｘ1）と、収納容器内で最上位に存在する物品と撮像装置との距離（ｈ＋ｈ1）との関係を図２１に示す。

なお、撮像装置２０が撮った画像に基づく水平方向の座標（ｘ１,ｙ１）と実際の座標（ｘ,ｙ）が上述のようにずれることによりピックアンドプレイスに支障がきたされるのに対し、鉛直方向の座標のズレは、ハンドに上下方向の把持時の位置ズレ補正機能を持たせることで、多少のズレがあってもピックアンドプレイスにおける支障をなくすことができる。例えば、エアー式やスプリング式の上下に可動できるプランジャをハンドに設置したり、把持方式を吸着式にしたりして吸着パッドを多段ベローズとすることで把持時の位置ズレを補正できる。

（理由３）
一般に、ピックアンドプレイスする物品に対し、その物品の背景色の明度、色相などを変えられる場合には、例えば、物品が白色なら背景色を黒や濃緑とすることで、物品と背景色との明度や色相などの差を大きくし、物品の輪郭を認識し易くすることができる。そのため、物品に対して背景色の明度や色相を変えることにより物品の輪郭を認識し易くすると、例えば５０万程度の少ない画素数でも画像認識が可能となる。

しかしながら、図１１に示したように、収納容器１０内に複数の物品１が重ねられて充填されており、収納容器内で最上位にある物品１ｔを順次ピックアンドプレイスの対象としていく場合、収納容器内で最上位にある物品の背景は、同じ物品で形成されていることになるため、ピックアンドプレイスする物品とその背景とで色の明度や色相を変えることができない。そのため、画像認識により物品の輪郭を認識することが困難となる。物品が充填されている収納容器の上面開口部の画像から、収納容器内で最上位にある物品を認識できるようにするためには、即ち、その物品の外形、物品に印刷された文字、記号、模様など認識できるようにするためにはより多くの画素が必要となるが、図１４Ｂ〜図１４Ｃに示したように、収納容器から物品の取り出しが進行するに応じて撮像装置２０で撮った画像において物品が占める面積が小さくなっていくので、画像認識に使用できる画素数が減少する。このため、物品の画像認識が困難となる。これに対し、撮像装置２０で撮る画像の画素数を過度に大きくすると、画像処理時間が長くなってしまう。

このように、収納容器１０からの物品１の取り出しが進行し、収納容器内における物品の最上層の位置が下がると従前のロボットが備えるコントローラとキャリブレーションの機能だけでは撮像装置２０が撮った画像に基づいて画像認識装置から得られる情報を使用しても物品の位置を正しく認識することができない。これに対し、本発明によれば、撮像装置２０で撮った画像において、収納容器内で最上位にある物品１ｔが占める面積Ｓｔを撮像視野全体の面積Ｓ０（図１３Ｂ）に対して一定範囲の比率に収めるので（言い換えると、この物品１ｔの鉛直方向の高さでの収納容器１０の開口面積Ｓ１（図１３Ｂ）を撮像視野全体の面積Ｓ０（図１３Ｂ）に対して一定範囲の比率に収めるので）、前述の座標ズレが小さくなるなどにより、収納容器内で最上位にある物品の鉛直方向の位置にかかわらず、撮像装置で撮った画像に基づいて物品の位置を正しく認識し、ピックアンドプレイスを正確に行うことが可能となる。特に、最上位の物品１ｔが占める面積Ｓｔと撮像視野全体の面積Ｓ０との比率を、予め設定した一定の比率（所定設定値）に対して±１５％の範囲とすることにより、ピックアンドプレイスをより正確な位置で高速に行うことができる。

この比率の設定に関し、画像認識の精度自体を向上させる点からは、最上位の物品１ｔが占める面積Ｓｔと撮像視野全体の面積Ｓ０との比率を１００％以下とし、かつこの比率を１００％に近づけることが好ましい。この比率が１００％を超えると最上位の物品１ｔが撮像視野からはみ出して極度に相関値が低下し、最上位の物品１ｔとその周辺の物品との上下関係に誤認識が生じうる。そのため、例えば、重なった下側の物品を上側と認識してしまうことがある。

一方、この比率を上げると画像処理で使用する画素数が多くなるので画像認識の精度自体は向上するが画像処理に要する時間が長くなる。そこで、撮像装置の画素数、レンズの焦点距離等を適切に選定することにより、撮像視野全体の画素数を、画像処理時間が過度に長くならないように設定することが好ましく、通常は最上位の物品の面積Ｓｔを撮像視野全体の面積Ｓ０の１００％以下、特に８０〜９０％とすることが好ましい。

また、物品の画像認識に必要な画素数を確保する点からは、最上位の物品１ｔの鉛直方向の高さでの収納容器１０の開口面積Ｓ１を撮像視野全体の面積Ｓ０に対して好ましくは５０％以上１２０％以下、より好ましくは８０％以上１１０％以下、さらに好ましくは９０％以上１０５％以下に収めることが好ましい。

なお、将来の技術進歩により、撮像装置の画素数の拡大や画像処理装置の演算速度が一層高速化された場合には、それに応じて上述の開口面積Ｓ１又は物品の面積Ｓｔの撮像視野全体の面積Ｓ０に対する割合をより緩和しても物品を精確に画像認識することが可能となる。

［制御機構］
撮像装置２０で撮った画像において、収納容器内で最上位にある物品１ｔが占める面積Ｓｔと撮像視野全体の面積Ｓ０との比率を一定範囲とする制御機構（即ち、この物品１ｔの鉛直方向の高さでの収納容器１０の開口面積Ｓ１（図１３Ｂ）と撮像視野全体の面積Ｓ０（図１３Ｂ）との比率を一定範囲とする制御機構）として、本発明は、(i)収納容器内で最上位にある物品と撮像装置との鉛直方向の距離を一定に保持する制御機構、又は(ii)撮像装置に設けたズームレンズ機構を有する。このうち、(i)収納容器内で最上位にある物品と撮像装置との鉛直方向の距離を一定に保持する制御機構は、図１Ａ、図４Ａ、図８、図９Ａ、図１０Ａに示したピックアンドプレイス装置１００Ａ、１００Ｂ、１００Ｄ、１００Ｅ、１００Ｆが備えている制御機構であり、より具体的には、収納容器１０内で最上位にある物品の鉛直方向の位置情報を取得する手段と、該位置情報に基づいて撮像装置を昇降させることにより、収納容器内で最上位にある物品と撮像装置との鉛直方向の距離を一定に保持する昇降手段を有する。

［収納容器内で最上位にある物品の鉛直方向の位置情報の取得手段］
本発明のピックアンドプレイス装置では、パラレルリンク型ロボット、垂直多関節型ロボット、スカラ型ロボットのいずれを使用する場合でも、収納容器１０内で最上位にある物品１ｔの鉛直方向の位置情報を取得する手段として距離センサ２２を使用することができる。

例えば、パラレルリンク型ロボットを用いたピックアンドプレイス装置１００Ａでは、図５Ｂ、図５Ｃに示したように、収納容器１０内で最上位にある物品１ｔの鉛直方向の位置情報を取得する手段として複数の距離センサ２２を有している。ピックアンドプレイス装置１００Ａはロボット本体４４の中央部に上下貫通孔４４ｈを有しており、撮像装置２０がこの上下貫通孔４４ｈを通るように設けられ、距離センサ２２と照明手段２１がロボット本体４４の下面の、上下貫通孔４４ｈの周囲に設けられている。

また、撮像装置２０をロボット本体４４の周辺部に設置したピックアンドプレイス装置１００Ｂでは、図６Ｂ、図６Ｃに示したように、距離センサ２２と照明手段２１が、撮像装置２０の取り付け位置の近傍の、ロボット本体４４の下面に設けられている。

垂直多関節型ロボット４０Ｂ、４０Ｃを用いたピックアンドプレイス装置１００Ｄ（図８）、１００Ｅ（図９Ａ）及びスカラ型ロボット４０Ｄを用いたピックアンドプレイス装置１００Ｆ（図１０Ａ）では、距離センサ２２は、撮像装置２０と照明手段２１を取り付けるベース２６に設けてもよく（図８）、これらとは別個に設けても良い（図９Ａ）。いずれにおいても収納容器１０内で最上位にある物品１ｔと距離センサ２２との距離ｈが一定になるように、昇降装置２４でベース２６を移動させる。

ここで、距離センサ２２が位置情報を取得する、収納容器１０内で最上位にある物品１ｔとは、収納容器１０内を上面視した場合に、物品の外形に応じて定められた特徴点、又は物品内で最高位となる点が他の物品の鉛直方向の位置よりも高いものをいう。また、最上位にある物品の鉛直方向の位置情報としては、物品の外形に応じて定められた特徴点もしくは最高位となる点の距離センサ２２からの距離、又は特徴点もしくは最高位となる点の任意の基準点からの鉛直方向の距離を挙げられる。

距離センサ２２の種類に特に限定はないが、レーザーセンサを使用することが好ましい。距離情報は、コントローラにアナログで出力されてもデジタルで出力されていてもよい。

また、距離センサ２を２個以上設ける場合、計測値の平均を、最上位にある物品１ｔの位置情報の取得に使用することができる。これにより、収納容器１０に収納された最上位の物品１ｔの最上面の高さに高低差が有る場合でも、確実に物品１ｔを取り出すことができる。

一方、本発明では、距離センサ２２に代えてロボットによる物品の取り出し回数を計測し、その回数に応じて収納容器１０内で最上位にある物品１ｔの鉛直方向の位置情報を推定してもよい。

距離センサ２２が、収納容器１０内で最上位にある物品１ｔの鉛直方向の位置情報を取得し、その位置情報に基づいて昇降手段２３が撮像装置２０を昇降させることにより、収納容器１０内で物品１が上面開口部近傍にある場合（図５Ｂ、図６Ｂ、図９Ａ）でも、収納容器１０の底部付近に物品１が有る場合（図５Ｃ、図６Ｃ、図８、図９Ｂ、図１０Ａ、図１０Ｂ）でも、収納容器１０内で最上位にある物品１ｔと撮像装置２０との鉛直方向の距離ｈを一定とすると、撮像装置２０で撮った収納容器１０の上面開口部の画像において、収納容器１０で最上位にある物品１ｔの像が占める大きさが略一定となる。したがって、ロボット４０Ａ〜４０Ｄのコントローラはロボットハンド４２が物品１ｔを取りに行く位置を精確に制御することができ、ロボットハンド４２は確実に物品１ｔを収納容器１０から取り出すことができる。

これに対し、この距離ｈを一定に保持しない場合には、撮像装置２０で撮った画像における最上位の物品１ｔの大きさが、物品１の取り出しが進むにつれて小さくなるので、この画像に基づいてコントローラが判断する最上位の物品１ｔの水平方向の位置情報と、実際のその物品１ｔの位置情報とにズレが生じ、コントローラが制御する位置にロボットハンドが物品を取り出しにいっても、ピック位置がずれることによって発生するトラブルや、ロボットハンドの位置が高すぎてロボットハンドの先端が物品に届かず、物品１ｔを取り出すことができないというトラブルが起こりやすくなる。

なお、上述の距離ｈは、収納容器１０の外側ができるだけ撮像する画像に含まれないように設定することが好ましい。これにより、撮像装置２０で撮った画像の画素を、物品の認識に最大限利用することができる。

［昇降手段］
パラレルリンク型ロボットを用いた実施例のピックアンドプレイス装置１００Ａでは、撮像装置２０を昇降させる昇降手段２３は、ステッピングモータ、サーボモータ等を備えた昇降装置２４、昇降装置２４を支持する固定部材２５、昇降装置２４により昇降する移動ベース２８を有しており、この移動ベース２８が上下貫通孔４４内を昇降するように、又はロボット本体４４の側面近傍を昇降するように固定部材２５がロボット本体４４に取り付けられている。また、移動ベース２８の下端に撮像装置２０が取り付けられている（図５Ｂ、図６Ｂ）。従って、撮像装置２０は上下貫通孔４４ｈ又はロボット本体４４の側面近傍を通り、その可動域はロボット本体４４の高さ方向の設置範囲を貫通する。なお、ロボット本体４４の中央部の上下貫通孔４４ｈを撮像装置２０の設置に利用したピックアンドプレイス装置１００Ａにおいて、該上下貫通孔４４ｈは、吸着式のロボットハンド用のエアチューブ、開閉把持式のロボットハンドの信号ケーブルなどを通すために設けられている（図５Ｂ）。また、ロボット本体４４のフレームやカバーに加工することにより、昇降手段２３を図５Ｂ又は図６Ｂに示した以外の位置に取り付けても良い。

垂直多関節型ロボット４０Ｂ、４０Ｃを用いたピックアンドプレイス装置１００Ｄ（図８）、１００Ｅ（図９Ａ）及び４０Ｄを用いたピックアンドプレイス装置１００Ｆ（図１０Ａ）でも同様の昇降手段２３を設けることができる。

昇降手段２３の機能としては、収納容器１０内で最上位にある物品１ｔと撮像装置２０との鉛直方向の距離ｈが、収納容器１０からの物品の取り出しに対して速やかに一定に保持されるように、距離センサ２２が取得した位置情報に基づく所定の位置に高速移動できることが好ましい。そのため、昇降装置２４ではステッピングモータ又はサーボモータなどを駆動源としたボールねじアクチュエータを使用したり、ベルト駆動などその他の昇降機構にリニアモーションガイド等のガイド部材を組み合わせて使用したりすることが好ましい。

［ズームレンズ装置］
本発明では、撮像装置２０で撮った上面開口部の画像において、収納容器内で最上位にある物品１ｔが占める面積Ｓｔを撮像視野全体の面積Ｓ０に対して一定の範囲に収めるため、好ましくは物品１ｔが占める面積Ｓｔと撮像視野全体の面積Ｓ０との比率を所定設定値の±１５％の範囲に収めるため、例えば図７Ａに示すように、撮像装置２０のレンズ部の前面にズームレンズ装置３１を設けてもよい。ズームレンズ装置３１でズーム倍率を変更し、画角を変更することにより、図７Ｂに示すように、収納容器１０内の物品の減少により、収納容器内で最上位にある物品１ｔと撮像装置２０との距離が（ｈ＋ｈ1）に大きくなっても、最上位の物品１ｔの面積Ｓｔを撮像視野７の全体の面積Ｓ０に対して、一定範囲の比率とすること、好ましくはこの比率を、予め設定した比率の±１５％の範囲とすることができる。ここで、画像認識の精度の向上の点からは、この比率を１００以下とし、かつこの比率を１００％以下に近づけることが好ましい。また、画像認識の精度の向上と画像処理に要する時間とのバランスの点からは、最上位の物品の面積Ｓｔを撮像視野全体の面積Ｓ０の１００％以下、特に８０〜９０％とすることが好ましい。

また物品の画像認識に必要な画素数を確保する点から、最上位の物品１ｔの鉛直方向の高さでの収納容器１０の開口面積Ｓ１を撮像視野全体の面積Ｓ０に対して好ましくは５０％以上１２０％以下、より好ましくは８０％以上１１０％以下、さらに好ましくは９０％以上１０５％以下に収める。

ズームレンズ装置３１において、ズームイン、ズームアウトの制御を行う機構は特に制限はないが、制御信号により、所定のズーム状態に精確に停止でき、かつ高速に変更できることが必要である。本発明で使用することのできるズームレンズ装置の一例として、外部信号にてズーム状態を制御できるズームレンズ装置を挙げることができる。また、一般的なズームレンズのリングをステッピングモータやサーボモータ等の別置きのモータで制御するものでもよい。

なお、一般に、撮像装置のズーム機構には、デジタル式と光学式があるが、デジタル式とする場合には画素が粗くなるので、画像認識を精確に行う点からは光学式ズームレンズ装置を用いることが好ましい。また、光学式ズームレンズ装置３１を用いることにより画像認識を精確に行うことが可能となり、撮像装置２０を昇降させることが不要となり、装置構成を簡略化することができるが、一方、光学式ズームレンズのコストや、可動部のメンテナンスの点からは前述のように撮像装置を昇降させることが好ましい。

［撮像装置］
撮像装置２０としては、撮影した画像を電気信号に変換する機能を有する周知のものを特に制限なく用いることができる。
撮像装置２０は、収納容器１０の上面開口部の真上から収納容器１０内全体を一様に撮ることができるように、収納容器１０の上面開口部の真上に設置することが好ましい。そのため、パラレルリンク型ロボットのロボット本体４４の中央部の上下貫通孔４４ｈに撮像装置２０があるピックアンドプレイス装置１００Ａでは、ロボット本体４４の中央部の真下を収納容器１０の載置位置とし、また、ロボット本体４４の周辺部に撮像装置２０があるピックアンドプレイス装置１００Ｂでは、その撮像装置２０の真下を収納容器１０の載置位置とする。

なお、前述したように、パラレルリンク型ロボットのロボット本体４４の中央部の上下貫通孔４４ｈに撮像装置２０があるピックアンドプレイス装置１００Ａでは、撮像装置２０は、ロボットアーム４１ａ、４１ｂ、４１ｃがどのような動きをしてもこれらのロボットアームが来ない空間Ｐ（図３Ａ、図５Ａ）内となっている。撮像装置をこの位置に設置することにより、深い収納容器１０の底部で物品をピックし、収納容器１０の上方の高い位置に持ち上げることが可能となる。一方、ロボット本体４４の周辺部であっても、撮像装置２０を、ロボットアーム４１ａ、４１ｂ、４１ｃがどのような動きをしてもこれらのロボットアームが来ない空間Ｑ（図４Ａ、図６Ａ）に設けてもよい。これにより、ロボットハンド４２を水平方向に大きく移動させることが可能となる。

垂直多関節型ロボット４０Ｂ、４０Ｃを用いたピックアンドプレイス装置１００Ｄ（図８）、１００Ｅ（図９Ａ）及びスカラ型ロボット４０Ｄを用いたピックアンドプレイス装置１００Ｆ（図１０Ａ）では、ロボットとは別個に収納容器１０の上面開口部上に撮像装置２０を設けることができる。

撮像を行うタイミングは、撮像装置２０の視野内にロボットアーム４１やロボットハンド４２が存在しないときが好ましい。これにより撮像視野内にロボットアーム４１やロボットハンド４２が写り込んで物品の画像認識に支障がきたされることを防止できる。例えばパラレルリンク型ロボットでは、３つのロボットアーム４１にそれぞれ設けられている下腕４１Ｌが接続しているプレート４５にロボットハンド４２が設けられているので、３つのロボットアームのうちの１つの上腕４１Ｕが振り上がり、ロボットハンド４２がロボット本体４４の中央部から離れているときを撮像タイミングとすることが好ましい（図３Ｃ、図４Ｃ）。このとき、上腕４１Ｕが振り上がっているロボットアーム４１は完全に撮像視野の外となり、残り２つのロボットアーム４１も撮像視野の両側に位置し、撮像視野の外となる。

撮像を行うタイミングを制御する方法は、特に限定されない。例えば、プレイス位置の上空にロボットハンド４２が存在するときはロボットハンド４２が撮像視野外にあるとして、プレイス位置の上空にある間に撮像が行われるように、ロボットハンド４２が所定の位置を通過した時点でトリガー信号を発信させる制御方法、又はロボットハンド４２が物品を取り上げてから所定の経過時間後にトリガー信号を発信させる制御方法を行うことができる。

［揺さぶり機構］
収納容器１０内に物品が縦、横、斜めなどランダムな方向に充填されている場合には、撮像した物品の形状が立体的に歪むので、撮像装置で撮った画像内に、予め画像認識装置に登録した物品を見つけられないおそれがある。これに対しては、撮像前に予め収納容器１０を揺さぶり機構で振動させたり、上下、左右、回転、これらの複合などの動きで揺さぶったりすることで、収納容器の上面開口部から撮った物品の画像が、その物品の登録されている画像に近づくようにすることが好ましい。

即ち、図１７Ａは、円柱状物品１がランダムに充填されている収納容器１０の上面開口部の画像である。この円柱状物品を画像認識させるために、予め登録しておいた登録画像を図１８に示す。また、同図に示すように、円柱状物品１は撮像方向によって異なる形状の画像(A)、(B)、(C)、(D)、(E)に撮られ、画像認識装置では、物品画像と登録した画像との一致の度合いによって撮像された物品がピックする物品と認識されたり、ピックする物品とは認識されなかったりする。例えば、図１７Ａに示した画像では、物品１ａは、図１８の(A)状態に撮られているからピックする物品と認識され、物品１ｂ、１ｃは(B)状態に写っているから、ピックする物品と認識される。図１７Ｂは、図１７Ａに示した状態から物品１ａ、１ｂ、１ｃを取り出した後に、同様に撮像した画像である。図１７Ｂに示した画像では、ピックする画像が認識されない。そこで、収納容器を揺さぶり、再度同様に画像を撮った。図１７Ｃは、この揺さぶり後の画像である。揺さぶりにより収納容器１０中の物品の傾きが変化した。図１７Ｂにおける物品１ｄ、１ｅ、１ｆ、１ｇは、図１７Ｃでは物品１ｄ’、１ｅ’、１ｆ’、１ｇ’と写り、物品１ｄ’は図１８の(A)状態、物品１ｅ’、１ｆ’、１ｇ’は図１８の(B)状態となって、ピックする物品と認識されるようになった。

収納容器１０の揺さぶり機構としては、(i)バイブレータ等の振動によるもの、(ii)回転装置の先端に偏心したカムを設置し、そのカムで収納容器１０を上下させるもの、(iii)エアシリンダや電動シリンダなどの往復運動で収納容器１０を上下させるもの、(iv)これらを組み合わせたもの等を挙げることができる。また、これらを揺動可能な設置台に載せることで、大きな揺さぶり効果を得られるようにしてもよい。

なお、撮像装置２０で物品１の画像を撮る前の揺さぶりの要否は、物品の形状や充填状態によって異なり、一般に、パウチが積層されていたり、ボトルが整列されていたりする場合などでは揺さぶりを行うことなく画像認識が可能となるが、非薄状体であるボトルがランダムに充填されている場合には揺さぶりが必要となる。

［照明手段］
ピックアンドプレイス装置には、物品１を明確に撮像するために照明手段２１を設けることが好ましい。パラレルリンク型ロボットを用いた実施例のピックアンドプレイス装置１Ａ、１００Ｂでは、複数の照明手段２１が撮像装置２０の両側又は片側に配置されるように、ロボット本体４４の下面に固定されており、収納容器１０の上面開口部の真上から収納容器１０内の物品１が照明されるようにしている（図５Ｂ）。

一方、垂直多関節型ロボット４０Ｂ、４０Ｃを用いたピックアンドプレイス装置１００Ｄ（図８）、１００Ｅ（図９Ａ）及びスカラ型ロボット４０Ｄを用いたピックアンドプレイス装置１００Ｆ（図１０Ａ）では、照明手段２１は、撮像装置２０と共通のベース２６に設けられ、収納容器１０の上面開口部の真上から収納容器１０内の物品１が照明されるようにしている。

照明手段２１として使用する照明の種類に特に限定はないが、光量が大きく、省電力で制御も容易な点からＬＥＤを使用することが好ましい。照明の個数も特に限定はないが、２個以上の照明を撮像装置２０の周囲に対称的に配置したり、撮像装置２０を囲むように配置したりすると、収納容器１０内を均一に照明することができるので好ましい。照明は連続点灯でも良く、撮像時のみの点灯でもよい。照明の寿命を長くする点からは、撮像時のみの点灯とすることが好ましい。

本発明においては、物品の表面の反射率が高い場合には、撮像画像が局部的に白色化するハレーションの発生を防止するため、偏光フィルターを設置することが好ましい。即ち、ピックアンドプレイス装置１００Ａでは、撮影方向と照明方向が略同じになる。そのため、物品１の表面が金属やメタリック調フィルム等の高反射率の材料で形成されている場合には、ハレーションが発生し、画像認識が困難となる場合がある。そこでハレーション防止のため、撮像装置２０と照明手段２１に偏波面を異ならせた偏光フィルターを設置することが好ましい。

また、ハレーションの防止のために、複数の照明を１個ずつ順次点灯して撮像し、さらに全灯点灯して撮像し、それらの画像を合成する方法、露光を変えて複数回撮像し、それらの画像を合成する方法などを行ってもよい。装置コスト、処理時間の点からは、偏光フィルターを用いることが好ましい。

なお、実施例のピックアンドプレイス装置１００Ａについて説明した撮像装置、照明手段、昇降手段、ベース等の構成要素は、本発明の他の実施例においても適宜使用することができる。

［ピックアンドプレイス装置における動作のフロー］
本発明のピックアンドプレイス方法は、実施例のピックアンドプレイス装置を用いて、図１９に示したフローチャートにしたがって行うことができる。このフローチャートにおいて、Ｐ１、Ｐ２、Ｐ３は、それぞれ図２０に示した基準位置を表している。

＜０＞スタート段階では、収納容器１０の上面開口部付近まで物品１が充填された収納容器１０を不図示の搬送装置によりピックアンドプレイス装置の撮像装置２０の真下に供給する。このとき、収納容器１０として段ボール箱を使用する場合には、段ボール箱の上面のフラップを開け、フラップを段ボール箱の側面に折り返し、折り返しがもとに戻らないように、クリップを用いてフラップをダンボール箱の側面に固定しておくことが好ましい。また、スタート時にロボットハンドはピック位置Ｐ１の上空Ｐ０にある。

＜１＞ロボットハンドをプレイス位置Ｐ３の上空Ｐ２に移動させ、収納容器の最上位にありピックの対象とする物品の位置情報（以下、ピック位置情報という）を取得するときにロボットアームやロボットハンドが撮像視野に入らないようにする。
＜２＞ロボットハンドのＰ２位置への移動をトリガーとして、ピック位置情報の取得命令がだされる。ピック位置情報の取得命令がだされると、（１）距離センサ２２は収納容器１０内の最上位にある物品の位置情報を取得し、（２）昇降装置のコントローラが（１）で取得した位置情報に基づいて撮像装置２０の目標高さを計算し、（３）昇降装置２４がその高さへ撮像装置２０を移動させ、（４）撮像装置２０が収納容器１０の上面開口部の画像を撮る。この画像には、収納容器内に存在する物品が映し出されることになる。（５）撮像装置２０が撮った画像に基づき、ロボット４０Ａが備える画像認識装置が、収納容器１０内で最上位にある物品１ｔの水平方向の位置と方向を演算する（ｘ,ｙ,θ）。（６）一方、距離センサ２２で取得した位置情報に基づき、ロボットハンドのコントローラが、収納容器１０内で最上位にある物品１ｔをピックするロボットハンドの鉛直方向の位置（ｚ）を演算する。（７）ロボットハンドのコントローラは、算出された物品１ｔの位置と方向により、ロボットハンド４２が物品１ｔをピックする位置と方向（ｘ,ｙ,ｚ,θ）を決定する。

＜３＞ロボットハンドのコントローラがロボットハンドのピック位置情報（ｘ,ｙ,ｚ,θ）を取得する。
ここで、取得されたピック位置情報に、予め登録されている物品の画像情報と一致するする情報があった場合（情報あり）、即ち、ピックする対象の物品が見つかった場合には、＜４＞ロボットハンドをピック位置の上空Ｐ０に移動させ、＜５＞さらにピック位置Ｐ1に移動させ、＜６＞物品をピックし、＜７＞物品をピック位置Ｐ１の上空Ｐ０に持ち上げ、＜８＞物品をプレイス位置の上空Ｐ２へ移動させる。

＜９＞ロボットハンドのＰ２位置への移動をトリガーとして、次の物品のピックに備えてピック位置情報の取得指令がだされ、前述の（１）〜（７）の工程（サブサイクル）が行われる。また、（１）〜（７）が行われる間に、＜１０＞ロボットハンドはプレイス位置Ｐ３に移動し、＜１１＞物品をプレイスする。＜１２＞物品をプレイスしている間に次の物品のピック位置情報（ｘ,ｙ,ｚ,θ）を取得する。ここで、取得されたピック位置情報に、予め登録されている物品の画像情報と一致する情報があった場合（情報あり）、即ち、ピックする対象の物品が見つかった場合には、＜１３＞ロボットハンドをプレイス位置の上空Ｐ２に移動させ、＜１４＞さらにピック位置の上空Ｐ０に移動させる。以降は前述の＜５＞〜＜１４＞のサイクルを繰り返す。こうして、ｎ番目の物品のピックアンドプレイスを行うメインサイクルと、ｎ番目の物品をプレイスしている間に行うｎ＋１番目の物品のピック位置情報を取得するサブサイクルを繰り返す。これにより、収納容器から物品を取り出す度に収納容器内で最上位にある物品の鉛直方向の位置情報を取得するにもかかわらず、高い作業効率で物品のピックアンドプレイスを行うことが可能となる。したがって、例えば、ロボットとしてパラレルリンク型ロボットを使用するときは、メインサイクルを１〜３秒で行うことができる。サブサイクルは、ロボットの動作に待ち時間が発生しないように、通常約０．２秒以内で行う。

一方、＜３＞又は＜１２＞で取得したピック位置情報にピックする対象の物品がなかった場合（情報なし）、［１］ロボットハンドをプレイス位置の上空Ｐ２に移動させ、［２］続いてピック位置の上空Ｐ０に移動させ、処理を終了する。

なお、図１９に示した上述のフローにおいて、スタート直後の工程＜１＞〜＜４＞は省略してもよい。スタート直後では、通常、収納容器に所定量の物品が充填されているから、キャリブレーションを行うだけで、精確に画像認識をすることができる。

また、工程＜３＞、＜１２＞で取得したピック位置情報において、ピックする対象の物品が無い場合（「情報なし」となる場合）の具体例としては、(i)収納容器１０内でピックすべき物品がなくなり、作業を正常に終了した場合、(ii)物品の変形が想定以上に大きく、撮像装置で撮った画像に、予め登録されている物品の画像情報に一致するものがない場合、(iii)撮像装置で撮った画像に、広範囲のハレーションが発生し、撮像装置で撮った画像から物品を認識することができない場合、(iv)物品のピック時に周辺の物品を裏返してしまい、その後に撮った画像では物品が裏返っており、予め登録されている物品の画像情報と一致しない場合、(v)収納容器に充填する物品を間違えた場合、(vi)複数の物品について画像情報が登録されている場合に、当該物品の画像認識のために使用する登録情報の選択を誤った場合等がある。

なお、上述した実施例において収納容器１０のピック位置への供給方法は特に限定されないが、ベルトコンベアやエアシリンダなどのプッシュ機構などで行われる。終了時には、空になった収納容器１０はベルトコンベアやエアシリンダなどのプッシュ機構などで排出され、新たな収納容器１０が供給される。

［収納容器内へ物品を積載するピックアンドプレイス装置］
収納容器へ物品を順次積載していくピックアンドプレイス装置及び方法は、上述した、収納容器から物品を順次取り出していくピックアンドプレイス装置及び方法において、収納容器内で物品をピックするための画像情報に基づくロボットハンドの制御を、収納容器内に物品をプレイスするための画像情報に基づくロボットハンドの制御に置き換えることにより、収納容器から物品を順次取り出していくピックアンドプレイス装置及び方法に準じて構成することができる。即ち、収納容器へ物品を順次積載していくピックアンドプレイス装置及び方法における物品のプレイス時のロボットの制御では、画像認識装置が、ある物品が収納容器内に置かれた後に撮られた画像に基づいて収納容器内のその物品の位置と向きを認識し、ロボットハンドが次に収納容器内におく物品の位置と向きを決定し、コントローラが、次に収納容器内に物品をロボットハンドでプレイスするときのハンドの位置と向きを定めるアーム動作、ハンドの吸着や開閉動作などを制御する。このような制御の際にも、収納容器内で最上位にある物品と撮像装置との鉛直方向の距離を一定に維持することにより、あるいは、ズームレンズ装置の使用により、収納容器内を撮った画像において、収納容器内で最上位にある物品の面積を、撮像視野全体の面積に対して一定範囲の比率に収めるので、物品を積載していくロボットハンドの位置や姿勢を精確に制御し、目標動作を正確に行うことが可能となる。したがって、プレイス位置がずれることによって発生するトラブルを防止することができる。また、この画像を、収納容器の載置位置の上方に設置した撮像装置で撮るので、ロボットハンドが物品をピックするために撮像視野から外れている間にこの画像を撮ることができる。したがって、撮像のためにピックアンドプレイスの速度が低下することを防止することができる。

１、１ａ、１ｂ、１ｃ、１ｄ、１ｅ、１ｆ、１ｇ 物品、スパウト付パウチの空袋
１ｔ 最上位にある物品
２ スパウト部
５ 物品（パウチ）の登録画像
６ 撮像装置で撮られた画像中の物品（パウチ）の画像
７ 撮像視野
１０ 収納容器、段ボール箱
２０ 撮像装置
２１ 照明手段
２２ 距離センサ
２３ 昇降手段
２４ 昇降装置
２５ 固定部材
２６ ベース
２８ 昇降装置の移動ベース
３１ ズームレンズ装置
４０Ａ パラレルリンク型ロボット
４０Ｂ、４０Ｃ 垂直多関節型ロボット
４０Ｄ スカラ型ロボット
４１、４１ａ、４１ｂ、４１ｃ ロボットアーム
４１Ｕ ロボットアームの上腕
４１Ｌ ロボットアームの下腕
４１Ｐ ロボットを設置している部材に最も近いアーム
４２ ロボットハンド
４３ Ｚ軸
４４ ロボット本体
４４ｈ ロボット本体の上下貫通孔
４５ パラレルシンク型ロボットのプレート
４６ ロボットアームの駆動装置
４７ 第１軸
４８ ロボットを設置している部材
５０ ベルトコンベア
１００Ａ、１００Ｂ、１００Ｃ、１００Ｄ、１００Ｅ、１００Ｆ ピックアンドプレイス装置
Ａ１ ロボットハンドの最大可動域
Ａ２ ロボットアーム先端の最大可動域
Ｃ 仮想円
ｈ、ｈ１、ｈ’ 距離
Ｈａ ロボットハンドの垂直方向の最大移動可能距離
Ｈｂ ロボットハンドの可動域の周辺部における垂直方向の最大移動可能距離
Ｈｃ 撮像装置の可動域
Ｈｄ ロボット本体の高さ方向の範囲
Ｈｅ 撮像装置の可動域とロボット本体の鉛直方向の範囲との重複範囲
Ｌｃ 中心軸
Ｐ０ ピック位置上空
Ｐ１ ピック位置
Ｐ２ プレイス位置上空
Ｐ３ プレイス位置
Ｐ、Ｑ 空間
Ｓ０ 撮像視野全体の面積
Ｓ１ 収納容器内で最上位にある物品の鉛直方向の高さでの収納容器の開口面積
Ｓｔ 撮像視野において、収納容器内で最上位にある物品が占める面積
Ｗａ ロボットハンドの水平方向の最大移動可能距離
Ｚ１、Ｚ２ 間隙

Claims (20)

1. 収納容器内に重ねられて収納された複数の物品を該収納容器の上面開口部から順次取り出し、又は上面開口部を介して収納容器内へ複数の物品を順次重ねて積載するピックアンドプレイス装置であって、
   画像に基づいて物品の位置情報を取得する機能を有するロボット、
   収納容器の載置位置の上方に設置された撮像装置、及び
   撮像装置で収納容器内を撮った画像において、収納容器内で最上位にある物品が占める面積Ｓｔを撮像視野全体の面積Ｓ０に対して一定範囲の比率に収める制御機構
   を有するピックアンドプレイス装置。
2. 前記物品が占める面積Ｓｔを撮像視野全体の面積Ｓ０に対して１００％以下とする請求項１記載のピックアンドプレイス装置。
3. 前記物品が占める面積Ｓｔと撮像視野全体の面積Ｓ０との比率を、所定の設定値の±１５％の範囲とする請求項１又は２記載のピックアンドプレイス装置。
4. 前記制御機構として、収納容器内で最上位にある物品の鉛直方向の位置情報を取得する手段及び該位置情報に基づいて撮像装置を昇降させることにより、収納容器内で最上位にある物品と撮像装置との鉛直方向の距離を一定に保持する昇降手段を有する請求項１〜３のいずれかに記載のピックアンドプレイス装置。
5. 撮像装置がロボット本体の設置領域に設置されている請求項１〜４のいずれかに記載のピックアンドプレイス装置。
6. ロボットがパラレルリンク型ロボットである請求項１〜５のいずれかに記載のピックアンドプレイス装置。
7. 昇降手段により昇降する撮像装置の可動域が、ロボット本体の高さ方向の設置範囲を貫通する請求項６記載のピックアンドプレイス装置。
8. 昇降手段により昇降する撮像装置が、ロボット本体の中央部に形成されている上下貫通孔を通る請求項６又は７記載のピックアンドプレイス装置。
9. 前記制御機構として、撮像装置に備えられたズームレンズ装置を有する請求項１〜３のいずれかに記載のピックアンドプレイス装置。
10. 収納容器内に重ねられて収納された複数の物品の画像を撮像装置で撮り、画像に基づいて物品の位置情報を取得する機能を有するロボットを用いて、収納容器内に重ねられて収納された複数の物品を該収納容器の上面開口部から順次取り出し、又は上面開口部を介して収納容器内に複数の物品を順次重ねて積載するピックアンドプレイス方法であって、
    撮像装置として収納容器の載置位置の上方に設置された撮像装置を使用し、
    撮像装置で撮った収納容器内の画像において、収納容器内で最上位にある物品が占める面積Ｓｔを撮像視野全体の面積Ｓ０に対して一定範囲の比率に収める制御を行うピックアンドプレイス方法。
11. 前記制御を収納容器から物品を取り出し又は収納容器に積載する度に行う請求項１０記載のピックアンドプレイス方法。
12. 前記物品が占める面積Ｓｔを撮像視野全体の面積Ｓ０に対して１００％以下とする請求項１１記載のピックアンドプレイス方法。
13. 前記物品が占める面積Ｓｔと撮像視野全体の面積Ｓ０との比率を、所定の設定値の±１５％の範囲とする請求項１０〜１２のいずれかに記載のピックアンドプレイス方法。
14. 前記制御において、収納容器内で最上位にある物品の鉛直方向の位置情報を取得し、取得した物品の位置情報に基づいて撮像装置を昇降させることにより、撮像装置と収納容器内で最上位にある物品との鉛直方向の距離を一定にする請求項１０〜１３のいずれかに記載のピックアンドプレイス方法。
15. 撮像装置として、ロボット本体の設置領域に設置された撮像装置を使用する請求項１０〜１４のいずれかに記載のピックアンドプレイス方法。
16. ロボットとしてパラレルリンク型ロボットを用いる請求項１０〜１５のいずれかに記載のピックアンドプレイス方法。
17. 撮像装置がロボット本体の高さ方向の設置範囲を貫通するように昇降する請求項１６記載のピックアンドプレイス方法。
18. 前記制御において、ロボット本体の中央部に形成されている上下貫通孔で撮像装置を昇降させる請求項１６又は１７記載のピックアンドプレイス方法。
19. 撮像装置としてズームレンズを有するものを使用し、前記制御において、ズーム倍率を変更することにより、撮像装置で撮る画像における、収納容器内で最上位にある物品が占める面積Ｓｔを撮像視野全体の面積Ｓ０に対して一定範囲の比率に収める請求項１０〜１３のいずれかに記載のピックアンドプレイス方法。
20. 物品が薄状包装用袋である請求項１０〜１９のいずれかに記載のピックアンドプレイス方法。

Images