JP2023072410A - ピッキングシステム、制御装置、ピッキング方法、プログラム、及び記憶媒体 - Google Patents

Abstract

【課題】ピッキング作業の時間を短縮可能な、ピッキングシステム、制御装置、ピッキング方法、プログラム、及び記憶媒体を提供する。【解決手段】実施形態に係るピッキングシステムは、ピッキングロボットと、制御装置と、を備える。ピッキングロボットは、ロボットハンドを用いて、第１空間から第２空間へ物体を移載する。制御装置は、ピッキングロボットを制御する。制御装置は、第１空間の物体の第１方向における形状に関する第１計測結果を取得すると、第１計測結果に基づいて第２空間に物体を配置する際の位置候補を算出する第１計算を実行する。さらに、制御装置は、物体へのロボットハンドの作用中に、第１方向と交差する第２方向における物体の形状に関する第２計測結果を取得すると、第２計測結果及び位置候補に基づき、第２空間に物体を配置する際のロボットハンドの位置を算出する第２計算を実行する。【選択図】図１

Description

本発明の実施形態は、ピッキングシステム、制御装置、ピッキング方法、プログラム、及び記憶媒体に関する。

物体を移載するピッキングシステムがある。ピッキングシステムについて、ピッキング作業に要する時間を短縮できる技術が求められている。

特開２０２１－５４６６０号公報

本発明が解決しようとする課題は、ピッキング作業の時間を短縮可能な、ピッキングシステム、制御装置、ピッキング方法、プログラム、及び記憶媒体を提供することである。

実施形態に係るピッキングシステムは、ピッキングロボットと、制御装置と、を備える。前記ピッキングロボットは、ロボットハンドを用いて、第１空間から第２空間へ物体を移載する。前記制御装置は、前記ピッキングロボットを制御する。前記制御装置は、前記第１空間の物体の第１方向における形状に関する第１計測結果を取得すると、前記第１計測結果に基づいて前記第２空間に前記物体を配置する際の位置候補を算出する第１計算を実行する。さらに、前記制御装置は、前記物体への前記ロボットハンドの作用中に、前記第１方向と交差する第２方向における前記物体の形状に関する第２計測結果を取得すると、前記第２計測結果及び前記位置候補に基づき、前記第２空間に前記物体を配置する際の前記ロボットハンドの位置を算出する第２計算を実行する。

図１は、実施例に係るピッキングシステムを示す模式図である。 図２は、制御装置の機能構成を模式的に示すブロック図である。 図３（ａ）～図３（ｃ）は、第２計測器による計測方法を説明するための模式図である。 図４は、実施形態に係るピッキングシステムによる処理手順を示す模式図である。 図５は、配置計画生成部による処理を示すフローチャートである。 図６は、位置候補算出部による計算処理を示すフローチャートである。 図７は、位置候補算出部による位置候補の探索方法を示すフローチャートである。 図８は、ハンド位置算出部による処理の概略を示すフローチャートである。 図９は、ハンド位置算出部による処理を示すフローチャートである。 図１０は、ハードウェア構成を示す模式図である。

以下に、本発明の各実施形態について図面を参照しつつ説明する。
図面は模式的または概念的なものであり、各部分の厚みと幅との関係、部分間の大きさの比率などは、必ずしも現実のものと同一とは限らない。同じ部分を表す場合であっても、図面により互いの寸法や比率が異なって表される場合もある。
本願明細書と各図において、既に説明したものと同様の要素には同一の符号を付して詳細な説明は適宜省略する。

図１は、実施例に係るピッキングシステムを示す模式図である。
実施例に係るピッキングシステム１は、図１に示すように、ピッキングロボット１０、第１計測器２１、第２計測器２２、第３計測器２３、及び制御装置３０を備える。

ここでは、実施形態の説明のために、Ｘ方向、Ｙ方向（第２方向）、及びＺ方向（第１方向）を用いる。Ｘ方向及びＹ方向は、互いに交差する。Ｚ方向は、Ｘ－Ｙ平面（第１平面）と交差する。例えば、Ｘ方向及びＹ方向は、水平面に平行である。Ｚ方向は、鉛直方向に平行である。

ピッキングロボット１０は、第１容器４１内の第１空間ＳＰ１に配置された物体を、第２容器４２内の第２空間ＳＰ２へ移載する。より具体的には、第１容器４１は、Ｚ方向に面した第１開口ＯＰ１を有する。第２容器４２は、Ｚ方向に面した第２開口ＯＰ２を有する。ピッキングロボット１０は、第１開口ＯＰ１を通して物体を第１容器４１から取り出し、第２開口ＯＰ２を通して物体を第２容器４２へ運び入れる。ピッキングロボット１０は、ロボットハンド１１、ロボットアーム１２、及び筐体１３を含む。

ロボットハンド１１は、物体を保持（安定的に把持）する。例えば、ロボットハンド１１は、吸着、挟持、又はジャミングのいずれかにより、物体を保持する。図１の例では、ロボットハンド１１は、複数の指１１ａを含む。複数の指１１ａで物体を挟持することにより、物体が保持される。ロボットハンド１１は、ロボットアーム１２に取り付けられる。

ロボットアーム１２は、ロボットハンド１１を移動させる。図１に示す例では、ロボットアーム１２は６自由度を有する垂直多関節ロボットであり、ロボットアーム１２の先端にロボットハンド１１が取り付けられている。ロボットアーム１２は、水平多関節ロボット、直動ロボット、直交ロボット、又はパラレルリンクロボットであっても良い。ロボットアーム１２は、垂直多関節ロボット、水平多関節ロボット、直動ロボット、直交ロボット、及びパラレルリンクロボットから選択される２つ以上の組み合わせを含んでも良い。ロボットアーム１２は、筐体１３に取り付けられる。

筐体１３は、ロボットアーム１２を支持し、床面に固定される。筐体１３内には、モータのような電動アクチュエータを駆動させるための電源装置、流体アクチュエータを駆動させるためのボンベ、タンク、及びコンプレッサー、各種安全機構などが収容されても良い。制御装置３０が、筐体１３内に収容されても良い。

第１計測器２１は、Ｚ方向において、第１空間ＳＰ１に配置された物体の形状を計測する。例えば、第１計測器２１は、撮影部２１ａを含む。撮影部２１ａは、イメージセンサ及び測距センサから選択される１つ又は２つを含むカメラである。撮影部２１ａは、Ｚ方向において、第１空間ＳＰ１の物体を撮影し、画像（静止画）を取得する。撮影部２１ａが動画を取得し、動画から静止画が切り出されても良い。撮影部２１ａは、画像を制御装置３０へ送信する。

制御装置３０は、画像から、物体のＺ方向と交差する第１面（上面）の形状を計測する。ピッキングシステム１では、撮影部２１ａ及び制御装置３０が、第１計測器２１として機能する。第１計測器２１による計測結果（第１計測結果）は、各物体の第１面の形状に関する第１形状情報を含む。制御装置３０とは別の画像処理装置が撮影部２１ａに組み込まれ、第１計測器２１として用いられても良い。

第２計測器２２は、Ｙ方向において、ピッキングロボット１０による作用中の物体の形状を計測する。例えば、第２計測器２２は、ライトカーテン２２ａを含む。ライトカーテン２２ａは、投光部２２ａ１及び受光部２２ａ２を含む。ライトカーテン２２ａは、Ｚ方向において第１開口ＯＰ１と対向するセンシング領域ＳＲを有する。センシング領域ＳＲは、投光部２２ａ１から発せられた光が通過する領域である。ライトカーテン２２ａは、物体のセンシング領域ＳＲの通過を検出する。ライトカーテン２２ａは、検出結果を制御装置３０へ送信する。

制御装置３０は、ライトカーテン２２ａのＺ方向における位置、物体がセンシング領域ＳＲを通過した時刻、当該時刻におけるロボットハンド１１のＺ方向における位置などから、物体のＹ方向と交差する第２面（側面）の形状を計測する。ピッキングシステム１では、ライトカーテン２２ａ及び制御装置３０が、第２計測器２２として機能する。第２計測器２２による計測結果（第２計測結果）は、第２面の形状に関する第２形状情報を含む。制御装置３０とは別の演算装置がライトカーテン２２ａと共に設けられ、第２計測器２２として用いられても良い。

第２計測器２２は、ライトカーテン２２ａに代えて、レーザレンジファインダなどの測距センサ、又は撮影部を含んでも良い。制御装置３０は、測距センサによる測定結果又は画像に基づき、物体のＺ方向における長さを計測する。

第３計測器２３は、Ｚ方向において、第２空間ＳＰ２に配置された物体の形状を計測する。例えば、第３計測器２３は、撮影部２３ａを含む。撮影部２３ａは、イメージセンサ及び測距センサから選択される１つ又は２つを含むカメラである。撮影部２３ａは、Ｚ方向において、第２空間ＳＰ２を撮影し、画像（静止画）を取得する。撮影部２３ａが動画を取得し、動画から静止画が切り出されても良い。撮影部２３ａは、画像を制御装置３０へ送信する。

制御装置３０は、画像から、第２空間ＳＰ２に配置された物体の形状を計測する。ピッキングシステム１では、撮影部２３ａ及び制御装置３０が、第３計測器２３として機能する。第３計測器２３による計測結果（第３計測結果）は、第２空間ＳＰ２に配置された物体の三次元形状に関する障害物情報を含む。制御装置３０とは別の画像処理装置が撮影部２３ａに組み込まれ、第３計測器２３として用いられても良い。

制御装置３０は、上述した計算の他、ピッキングロボット１０を制御する。例えば、制御装置３０は、ロボットアーム１２の各駆動軸を動作させることで、ロボットハンド１１を移動させたり、ロボットハンド１１の姿勢を調整したりする。また、制御装置３０は、ロボットハンド１１に物体を保持させたり、物体を解放させたりする。

図２は、制御装置の機能構成を模式的に示すブロック図である。
制御装置３０は、統合部３１、計測情報処理部３２、保持計画生成部３３、配置計画生成部３４、動作計画生成部３５、及びロボット制御装置３６を含む。

統合部３１は、及び外部インタフェース（Ｉ／Ｆ）３７からのユーザーによる入力情報、上位システムからのピッキング指示の入力、ピッキングシステム１の状態などに基づいて、ピッキングシステム１による作業計画の生成、運用、及び管理を実行する。

計測情報処理部３２は、撮影部２１ａ、ライトカーテン２２ａ、及び撮影部２３ａを制御する。計測情報処理部３２は、撮影部２１ａ、ライトカーテン２２ａ、及び撮影部２３ａから得られた情報を処理し、動作計画や、動作制御、エラー検出等に必要な情報を生成する。計測情報処理部３２は、第１計測器２１～第３計測器２３としての機能の一部を担う。

例えば、計測情報処理部３２は、撮影部２１ａによって撮影された画像をセグメンテーションし、その結果を用いて第１形状情報を生成する。セグメンテーションでは、画像に写る各物品を識別し、画像を１つ以上の領域に分割する。各領域は、物体にそれぞれ対応する。第１形状情報は、第１容器４１内の各物体の第１面の形状に関し、第１面のセグメンテーション結果、各物体の第１面のＸ方向における長さ及びＹ方向における長さ、Ｘ－Ｙ平面における物体の第１面の位置などを含む。長さや位置は、セグメンテーション結果に基づいて算出される。例えば、撮影部２１ａと各物体との間の距離と、画像中の物体のＸ方向又はＹ方向の長さ（画素数）と、に基づき、実際の物体の長さが算出される。同様に、撮影部２１ａと各物体との間の距離と、画像中の第１面の位置と、に基づいて、Ｘ－Ｙ平面における物体の第１面の位置が算出される。

計測情報処理部３２は、ライトカーテン２２ａによる検出結果から、第２形状情報を生成する。第２形状情報は、保持された物体の第２面の少なくとも一部の形状に関する。具体的には、第２形状情報は、第２面の当該少なくとも一部のＺ方向における長さ（高さ）を含む。

図３（ａ）～図３（ｃ）は、第２計測器による計測方法を説明するための模式図である。
図３（ａ）及び図３（ｂ）を参照して、物体のＺ方向における長さの計測方法を説明する。制御装置３０は、ロボットアーム１２の各関節の角度を所定間隔で記録している。また、ライトカーテン２２ａは、投光部２２ａ１と受光部２２ａ２との間における遮蔽物の有無を、所定間隔で検出する。

図３（ａ）に示すように、ピッキングロボット１０が物体を保持する際、投光部２２ａ１から発せられた光Ｌの少なくとも一部は、ロボットハンド１１又はロボットアーム１２に遮られ、受光部２２ａ２に入射しない。ピッキングロボット１０が物体を上昇させると、図３（ｂ）及び図３（ｃ）に示すように、物体のＺ方向における一端（下端）がセンシング領域ＳＲを通過したとき、光Ｌが受光部２２ａ２に入射するようになる。

ライトカーテン２２ａは、光Ｌが遮られていた後に初めて受光部２２ａ２で検出された第２時刻ｔ２を記録する。制御装置３０は、第２時刻ｔ２の直前の第１時刻ｔ１におけるロボットアーム１２の各関節の角度から、第１時刻におけるロボットハンド１１のＺ方向における第１位置ｚ１を算出する。例えば、ロボットハンド１１の位置として、ロボットハンド１１のツールセンターポイント（ＴＣＰ）の位置が算出される。制御装置３０は、第２時刻ｔ２におけるロボットアーム１２の各関節の角度から、第２時刻におけるロボットハンド１１のＺ方向における第２位置ｚ２を算出する。制御装置３０は、（ｚ２＋ｚ１）／２を、物体がライトカーテン２２ａのセンシング領域ＳＲを通過したときのロボットハンド１１の位置ｚＨとして推定する。制御装置３０は、ライトカーテン２２ａが設けられたＺ方向における位置ｚＬを参照する。ライトカーテン２２ａの位置ｚＬは、予め登録される。制御装置３０は、ｚＨ－ｚＬを、物体の高さＳＺとして算出する。

図３（ｃ）に示すように、第２計測器２２によって計測される範囲は、物体の第２面の全てでなくても良い。第２計測器２２は、ＴＣＰと物体の下端との間の長さ（距離）を計測できれば良い。当該長さは、換言すると、ロボットハンド１１の先端からの物体の突出量である。当該長さは、ＴＣＰ以外を基準に算出されても良い。例えば、制御点が、ロボットアーム１２の先端に設定される場合、長さは、当該制御点を基準に算出される。ロボットアーム１２の一部に対して機械的に固定された点であれば、その点を基準に長さを計測可能である。また、ロボットハンド１１の構成によっては、第２計測器２２によって計測される突出量は、物体の実際のＺ方向における長さと等しくなりうる。例えば、ロボットハンド１１が吸着により物体の上面のみを保持する場合には、物体全体のＺ方向における長さが、突出量として算出されうる。

計測情報処理部３２は、撮影部２３ａによって撮影された画像から、障害物情報を生成する。障害物情報は、第２空間ＳＰ２における各物体のＸ－Ｙ平面における位置、各物体の上面のＺ方向における位置などを含む。

保持計画生成部３３は、保持計画を生成する。保持計画は、物体の保持方法、物体を保持するときのロボットアーム１２の保持位置、保持姿勢、保持位置に到達するまでの経由点などを含む。

配置計画生成部３４は、配置計画を生成する。配置計画は、保持された物体を第２容器４２で解放するときのロボットアーム１２の配置位置及び配置姿勢、配置位置に到達するまでの経由点などを含む。

動作計画生成部３５は、ロボットアーム１２の動作情報を生成する。動作情報は、保持動作、搬送動作、及び配置動作に関する情報を含む。保持動作は、ロボットアーム１２の先端が保持位置の上方から保持位置および保持姿勢に至るまでの動作である。搬送動作は、ロボットアーム１２の先端が保持位置の上方から配置位置の上方までに至る動作である。配置動作は、ロボットアーム１２の先端が配置位置の上方から配置位置および配置姿勢に至るまでの動作である。

ロボット制御装置３６は、保持計画生成部３３、配置計画生成部３４、又は動作計画生成部３５で生成された情報、統合部３１からの各動作切り替え指示等に従って、ピッキングロボット１０を含むピッキングシステム１を制御する。

外部Ｉ／Ｆ３７は、統合部３１（制御装置３０）と外部機器（不図示）との間のデータの入力及び出力を実行する。

図４は、実施形態に係るピッキングシステムによる処理手順を示す模式図である。
統合部３１は、外部Ｉ／Ｆ３７よりピッキング指示を受信する（ステップＳ０）。ピッキング指示は、例えば、上位のホストコンピュータから送信される。統合部３１は、計測情報処理部３２に、第１容器４１の撮影を指示する。計測情報処理部３２は、撮影部２１ａに第１容器４１の内部を撮影させ（ステップＳ１）、第１形状情報を生成する。第１容器４１の撮影後、保持計画生成部３３は、保持計画を生成する（ステップＳ２）。並行して、計測情報処理部３２は、撮影部２３ａに第２容器４２の内部を撮影させ（ステップＳ３）、障害物情報を生成する。

保持計画生成部３３による保持計画の生成が完了した後、ロボット制御装置３６は、生成された保持計画に基づき、保持動作を実行する（ステップＳ４）。並行して、配置計画生成部３４は、保持計画と第２容器４２の撮影結果を基に、移載される物体が第２空間ＳＰ２に配置される際の位置候補を算出する（ステップＳ５）。配置計画生成部３４は、位置候補の優先度を算出する（ステップＳ６）。配置計画生成部３４は、算出された位置候補及び優先度を保存する。ロボット制御装置３６は、保持動作の完了後、搬送動作を実行する（ステップＳ７）。搬送動作では、保持された物体が持ち上げられ、第２容器４２まで搬送される。計測情報処理部３２は、搬送動作中に、保持された物体をライトカーテン２２ａに検出させ（ステップＳ８）、第２形状情報を生成する。

配置計画生成部３４は、第２形状情報及び位置候補を基に、物体を第２容器４２内に配置する際のロボットハンド１１の位置を算出する（ステップＳ９）。以降では、物体を第２容器４２内に配置する際のロボットハンド１１の位置を、「ハンド位置」と呼ぶ。ハンド位置の算出後、ロボット制御装置３６は、配置動作を実行する（ステップＳ１０）。配置動作の完了後、指示された数量の物体が移載されたか判断される（ステップＳ１１）。指示された数量の物体が移載されるまで、ステップＳ１～Ｓ１０が繰り返される。

図５は、配置計画生成部による処理を示すフローチャートである。
配置計画生成部３４は、位置候補算出部３４ａとハンド位置算出部３４ｂを含む。位置候補算出部３４ａは、保持計画の生成が完了すると、処理を開始する。位置候補算出部３４ａは、第１形状情報、障害物情報、及び保持計画に基づき、物体の第２容器４２内での位置候補を算出する（ステップＳ５）。位置候補は、移載される物体が第２容器４２内に配置されるときの位置の候補である。続いて、位置候補算出部３４ａは、それぞれの位置候補の優先度を算出する（ステップＳ６）。位置候補算出部３４ａは、位置候補及び優先度を配置計画生成部３４内部に保存する。

ハンド位置算出部３４ｂは、第２計測器２２による物体の計測が完了すると、処理を開始する。ハンド位置算出部３４ｂは、位置候補算出部３４ａによって算出された位置候補と、第２計測器２２によって得られた第２形状情報と、を用いて物体のハンド位置を算出する（ステップＳ９）。また、ハンド位置の算出時、そのハンド位置に対応するロボットハンド１１の位置が算出される。その後、動作計画生成部３５は、算出されたロボットハンド１１の位置に基づき、動作情報を生成する。動作情報に基づく配置動作が実行される。

図６は、位置候補算出部による計算処理を示すフローチャートである。
図６を参照して、位置候補を算出するための位置候補算出部３４ａによる計算処理（第１計算）を説明する。まず、移載される物体の第１形状情報が取得される（ステップＳ５１）。より具体的には、第１形状情報に含まれる、Ｘ－Ｙ平面におけるサイズ及びセグメンテーション結果が取得される。セグメンテーション結果を用いて、平面メッシュデータが生成される（ステップＳ５２）。メッシュデータは、セグメンテーションによって分割された画像の一部を、格子状に区切ることで生成される。生成された平面メッシュデータは、「ＭＥＳＨ＿ＯＢＪ」として保存される。平面メッシュデータは、移載される物体の第１面のＸ－Ｙ平面における形状を示す。

障害物情報が取得される（ステップＳ５３）。障害物情報を用いて、第２空間ＳＰ２における障害物の形状を示す三次元メッシュデータが生成される（ステップＳ５４）。生成された三次元メッシュデータは、「ＭＥＳＨ＿ＴＯＴＥ」として保存される。

平面メッシュデータ及び三次元メッシュデータを用いて、保持された物体が配置される位置の候補が探索される（ステップＳ５６）。探索方法として、例えば、グリッドサーチ、二分探索木、又はMonte Carlo Tree Search（ＭＣＴＳ）が用いられる。第２容器４２に多くの物体が配置されている又は第２容器４２が過度に小さいなどでなければ、通常、複数の位置候補が得られる。好ましくは、配置されうる全ての位置が、位置候補として算出される。位置候補の計算時間の短縮のために、算出される位置候補の数が予め規定されても良い。その場合、位置候補算出部３４ａは、規定数の位置候補が算出されると、探索を終了する。

それぞれの位置候補の優先度が算出される（ステップＳ６）。位置候補算出部３４ａは、位置候補及び優先度を保存する。

図７は、位置候補算出部による位置候補の探索方法を示すフローチャートである。
図７において、Ｘ０は、Ｘ方向における第２容器４２の原点座標を示す。Ｙ０は、Ｙ方向における第２容器４２の原点座標を示す。Ｚ０は、Ｚ方向における第２容器４２の原点座標を示す。例えば、第２容器４２の底面のＺ方向における位置が、Ｚ０として設定される。例えば、第２容器４２の四隅のいずれかが、Ｘ－Ｙ平面における原点位置に設定される。第２容器４２の底面が、Ｚ方向における原点位置に設定される。ＳＸは、Ｘ方向における第２容器４２の長さである。ＳＹは、Ｙ方向における第２容器４２の長さである。ＳＺは、Ｚ方向における第２容器４２の長さである。ＳＸ、ＳＹ、及びＳＺは、予め設定される。

まず、Ｘ０が、変数Ｘに代入される（ステップＳ５６ａ）。変数Ｘが、Ｘ０＋ＳＸを超えないか判断される（ステップＳ５６ｂ）。すなわち、探索されるＸ座標が、第２容器４２の外に位置していないか判断される。変数ＸがＸ０＋ＳＸを超える場合、探索は終了する。変数ＸがＸ０＋ＳＸを超えない場合、Ｙ０が、変数Ｙに代入される（ステップＳ５６ｃ）。変数Ｙが、Ｙ０＋ＳＹを超えないか判断される（ステップＳ５６ｄ）。すなわち、探索されるＹ座標が、第２容器４２の外に位置していないか判断される。変数ＹがＹ０＋ＳＹを超える場合、現在の変数ＸにΔＸが加算された値が、変数Ｘに代入される（ステップＳ５６ｅ）。ステップＳ５６ｂが再度実行される。すなわち、探索されるＸ座標が、Ｘ方向に僅かにシフトされる。

ステップＳ５６ｄにおいて、変数ＹがＹ０＋ＳＹを超えない場合、Ｚ０＋ＳＺが、変数Ｚに代入される（ステップＳ５６ｆ）。ステップＳ５６ｆ完了時点の変数Ｘ、変数Ｙ、及び変数Ｚが、ＭＥＳＨ＿ＯＢＪの座標（Ｘ，Ｙ，Ｚ）として設定される（ステップＳ５６ｇ）。ＭＥＳＨ＿ＯＢＪは、移載される物体の平面メッシュデータである。ＭＥＳＨ＿ＯＢＪの座標（Ｘ，Ｙ，Ｚ）が、ＭＥＳＨ＿ＴＯＴＥと交差するか判断される（ステップＳ５６ｈ）。ＭＥＳＨ＿ＴＯＴＥは、第２容器４２内の三次元メッシュデータである。ステップＳ５６ｈでは、座標（Ｘ，Ｙ，Ｚ）に物体を配置したときに、物体の底面が、障害物（別の物体又は第２容器４２の底面又は側面）と接触するか判断される。

座標（Ｘ，Ｙ，Ｚ）がＭＥＳＨ＿ＴＯＴＥと交差しない場合、現在の変数ＺにΔＺを減算した値が、変数Ｚに代入される（ステップＳ５６ｉ）。ステップＳ５６ｇが再度実行される。すなわち、配置される物体の底面が、障害物と接触するまで、Ｚ方向における位置の下降が繰り返される。座標（Ｘ，Ｙ，Ｚ）がＭＥＳＨ＿ＴＯＴＥと交差する場合、その座標（Ｘ，Ｙ，Ｚ）が、位置候補として保存される（ステップＳ５６ｊ）。保存された位置候補の優先度が算出される（ステップＳ６）。優先度が算出されると、現在の変数ＹにΔＹが加算された値が、変数Ｙに代入される（ステップＳ５６ｋ）。その後、ステップＳ５６ｄが再度実行される。

優先度の算出方法は、重視する配置の基準に応じて任意に設定可能である。一例として、物体は、第２容器４２の隅又は底面から優先的に配置される。この場合、優先度を示すスコアＳｃは、以下の数式１により算出される。当該式において、ａ、ｂ、及びｃは、重み係数である。Ｘ、Ｙ、及びＺは、それぞれ、Ｘ方向、Ｙ方向、及びＺ方向における位置候補の座標である。Ｘ０及びＹ０は、優先的に配置したい隅のＸ－Ｙ平面における座標である。Ｘ１及びＹ１は、座標（Ｘ０，Ｙ０）の隅と対角に位置する隅のＸ－Ｙ平面における座標である。スコアＳｃが大きいほど、優先度が高いことを示す。

図７に示す例では、位置候補が算出されるたびに、優先度が算出される例を説明した。優先度は、複数の位置候補が算出された後に、それぞれの位置候補について算出されても良い。

図８は、ハンド位置算出部による処理の概略を示すフローチャートである。
図８を参照して、ハンド位置を算出するためのハンド位置算出部３４ｂによる計算処理（第２計算）を説明する。まず、第２形状情報が取得され、物体のＺ方向における突出量（ＳＺ＿ＯＢＪ）が設定される（ステップＳ９０）。第２容器４２内の障害物情報を示す三次元メッシュデータ「ＭＥＳＨ＿ＴＯＴＥ」が取得される（ステップＳ９１）。ＭＥＳＨ＿ＴＯＴＥとして、位置候補算出部３４ａによって生成された三次元メッシュデータが利用されても良いし、新たに三次元メッシュデータが生成されても良い。

ロボットハンド１１による物体の実際の保持位置を保持結果から取得する（ステップＳ９２）。ハンドの形状をメッシュデータ「ＭＥＳＨ＿ＨＡＮＤ」で取得する（ステップＳ９３）。取得したメッシュデータは、ロボットハンド１１による物体の実際の保持位置を基準に配置される。例えば、メッシュデータ「ＭＥＳＨ＿ＨＡＮＤ」は、予め用意される。メッシュデータ「ＭＥＳＨ＿ＨＡＮＤ」は、撮影部２１ａにより取得された画像に基づいて生成されても良い。位置候補算出部３４ａにより算出された位置候補、ＳＺ＿ＯＢＪ、三次元メッシュデータ「ＭＥＳＨ＿ＴＯＴＥ」、及びメッシュデータ「ＭＥＳＨ＿ＨＡＮＤ」を用いて、ハンド位置が決定される（ステップＳ９４）。

図９は、ハンド位置算出部による処理を示すフローチャートである。
図９を参照して、図８に示すフローチャートにおけるステップＳ９４の詳細を説明する。まず、位置候補算出部３４ａによって算出された１つ以上の位置候補から、１つの位置候補が抽出される（ステップＳ９４ａ）。ステップＳ９４ａでは、優先度の高い位置候補から順番に抽出される。抽出された位置候補が、移載される物体の底面の座標（Ｘ＿ＯＢＪ、Ｙ＿ＯＢＪ、及びＺ＿ＯＢＪ）として設定される（ステップＳ９４ｂ）。

座標（Ｘ＿ＯＢＪ、Ｙ＿ＯＢＪ、及びＺ＿ＯＢＪ）の具体的な設定方法の一例を説明する。ステップＳ９２で取得された、Ｘ－Ｙ平面内におけるロボットハンド１１の実際の保持位置を、（Ｘ＿ＧＴＣＰ，Ｙ＿ＧＴＣＰ）とする。第１容器４１での物体の座標を（Ｘ＿ＧＯＢＪ，Ｙ＿ＧＯＢＪ）とする。この場合、ロボットハンド１１の保持位置と物体の位置との相対位置は、（Ｘ＿ＲＥＬ，Ｙ＿ＲＥＬ）＝（Ｘ＿ＧＯＢＪ－Ｘ＿ＧＴＣＰ，Ｙ＿ＧＯＢＪ－Ｙ＿ＧＴＣＰ）となる。物体の位置候補が（Ｘ＿Ｃ，Ｙ＿Ｃ，Ｚ＿Ｃ）のとき、相対位置を考慮した物体の座標は、配置時のハンド位置候補は、（Ｘ＿ＯＢＪ，Ｙ＿ＯＢＪ，Ｚ＿ＯＢＪ）＝（Ｘ＿Ｃ－Ｘ＿ＲＥＬ，Ｙ＿Ｃ－Ｙ＿ＲＥＬ，Ｚ＿Ｃ）となる。

底面のＺ座標Ｚ＿ＯＢＪに、物体のＺ方向における突出量ＳＺ＿ＯＢＪを足し合わせた値を、「Ｚ＿ＴＣＰ」として設定する（ステップＳ９４ｃ）。Ｚ＿ＴＣＰは、ロボットハンド１１のＴＣＰのＺ方向における位置を示す。座標（Ｘ＿ＯＢＪ、Ｙ＿ＯＢＪ、及びＺ＿ＴＣＰ）の上にＭＥＳＨ＿ＨＡＮＤを配置した場合に、ＭＥＳＨ＿ＨＡＮＤがＭＥＳＨ＿ＴＯＴＥと交差するか判断される（ステップＳ９４ｄ）。

ＭＥＳＨ＿ＨＡＮＤがＭＥＳＨ＿ＴＯＴＥと交差する場合、Ｚ＿ＴＣＰにΔＺが加算された値が、新たなＺ＿ＴＣＰとして設定される（ステップＳ９４ｅ）。ステップＳ９４ｃで設定されたＺ＿ＴＣＰに対する新たなＺ＿ＴＣＰの上昇量が、閾値を超えるか判断される（ステップＳ９４ｆ）。ΔＺの加算が繰り返されるほど、物体は、より高い位置から落下されることになる。閾値として、物体を落下させても損傷しない高さが設定される。上昇量が閾値を超えない場合、新たなＺ＿ＴＣＰを用いて、ステップＳ９４ｄが再度実行される。

ステップＳ９４ｄにおいて、ＭＥＳＨ＿ＨＡＮＤがＭＥＳＨ＿ＴＯＴＥと交差しない場合、Ｚ＿ＴＣＰに対応するロボットアーム１２の各関節の角度が、逆運動学により算出される（ステップＳ９４ｇ）。各関節の角度が可動範囲内か判断される（ステップＳ９４ｈ）。各関節の角度が可動範囲内である場合、（Ｘ＿ＯＢＪ、Ｙ＿ＯＢＪ、及びＺ＿ＴＣＰ）をハンド位置として決定し（ステップＳ９４ｉ）、選択処理は終了する。

ステップＳ９４ｆにおいて上昇量が閾値を超える場合、又はステップＳ９４ｈにおいて各関節の角度が可動範囲外である場合、未だ抽出されていない位置候補が有るか判断される（ステップＳ９４ｊ）。未だ抽出されていない位置候補が有る場合、別の位置候補について処理が再度実行される。別の位置候補が存在しない場合、ハンド位置の算出処理は終了する。この場合、第２容器４２に物体を配置できないことを意味する。

実施形態の利点を説明する。
ロボットによるピッキング作業について、物体が損傷しないように、移載時の衝撃を低減することが求められている。移載時の衝撃低減のためには、Ｘ方向、Ｙ方向、及びＺ方向のそれぞれにおける物体のサイズ（三次元形状）が取得されることが好ましい。取得された三次元形状に基づき、周囲の障害物と衝突させずに、移載先の第２空間ＳＰ２に物体を配置できる。特に、物体のＺ方向におけるサイズを正確に取得することで、物体を移載する際の障害物への接触又は物体を解放する際の落下を防ぎ、物体への衝撃を低減できる。

移載元の第１容器４１に複数の物体が配置されている場合、第１計測器２１による計測結果からは、正確な三次元形状の取得が困難である。例えば、ある物体の一部が別の物体によって隠れている場合は、物体のＺ方向における長さを計測できない。移載される物体の三次元形状を取得する方法として、ロボットハンド１１を物体に作用させた後に、物体を計測する方法が考えられる。ロボットハンド１１の作用により物体の隠れた部分を露出させることで、物体の三次元形状を取得できる。一方、三次元形状を用いたハンド位置の計算では、計算量が多く、時間を要する。ロボットハンド１１の物体への作用後における計算時間が長いと、計算結果が得られるまでピッキングロボット１０を停止させる必要がある。このため、ピッキング作業の時間が長くなり、作業効率が低下する。

実施形態に係るピッキングシステム１では、第１計測器２１による第１計測結果が得られると、移載される物体の位置候補を算出する第１計算が実行される。位置候補は、第１計測器２１からの第１計測結果に基づいて算出され、第２空間ＳＰ２での物体の位置の候補である。上述した通り、第１計測器２１では、移載される物体のＺ方向における長さの正確な計測は困難である。しかし、第１計測結果が有れば、最終的な物体の配置位置を算出できなくても、物体の配置可能な位置の候補を算出できる。すなわち、第１計算は、第２計測器２２からの第２計測結果の取得前に開始できる。続いて、ピッキングシステム１では、第２計測結果が得られると、第２計測結果及び位置候補に基づき、第２空間ＳＰ２に物体を配置する際のロボットハンド１１の位置が算出される。すなわち、第２計算は、第１計算の後且つ第２計測結果の取得後に開始される。第２計算では、既に算出された位置候補が用いられるため、より短い時間でハンド位置を算出できる。

ピッキングシステム１によれば、三次元形状が得られた後に物体の配置位置及びハンド位置の計算を始める場合に比べて、ハンド位置をより早いタイミングで算出できる。このため、ハンド位置の算出のためにピッキングロボット１０が停止する時間を短縮できる。例えば、ピッキングロボット１０を停止させずに、ハンド位置を算出できる。この結果、ピッキング作業の時間を短縮し、作業効率を向上させることができる。物体の三次元形状に基づいてハンド位置を算出できるため、移載時における物体の障害物への接触又は解放時の物体の落下を防ぎ、物体への衝撃を低減できる。また、物体の三次元形状は、第１計測器２１及び第２計測器２２により計測されるため、物体の三次元モデル等を予め用意する必要は無い。

実施形態によれば、移載時の物体への衝撃を低減しつつ、ピッキング作業の時間を短縮可能である。

以上では、Ｚ方向が鉛直方向に平行であり、Ｘ方向及びＹ方向が水平面に平行である例について説明した。実施形態はこの例に限定されない。例えば、Ｙ方向が鉛直方向に平行であり、Ｘ方向及びＺ方向が水平面に平行であっても良い。いずれの場合においても、第１計測器２１及び第２計測器２２によって、異なる方向から物体の形状が計測される。第１計測器２１による計測後であって第２計測器２２による計測前に第１計算が実行され、第２計測器２２による計測後に、第２計算が実行される。これにより、移載時の物体への衝撃を低減しつつ、ピッキング作業の時間を短縮である。

図１０は、ハードウェア構成を示す模式図である。
制御装置３０は、例えば図１０に示すハードウェア構成を含む。図１０に示す処理装置９０は、ＣＰＵ９１、ＲＯＭ９２、ＲＡＭ９３、記憶装置９４、入力インタフェース９５、出力インタフェース９６、及び通信インタフェース９７を含む。

ＲＯＭ９２は、コンピュータの動作を制御するプログラムを格納している。ＲＯＭ９２には、上述した各処理をコンピュータに実現させるために必要なプログラムが格納されている。ＲＡＭ９３は、ＲＯＭ９２に格納されたプログラムが展開される記憶領域として機能する。

ＣＰＵ９１は、処理回路を含む。ＣＰＵ９１は、ＲＡＭ９３をワークメモリとして、ＲＯＭ９２又は記憶装置９４の少なくともいずれかに記憶されたプログラムを実行する。プログラムの実行中、ＣＰＵ９１は、システムバス９８を介して各構成を制御し、種々の処理を実行する。

記憶装置９４は、プログラムの実行に必要なデータや、プログラムの実行によって得られたデータを記憶する。

入力インタフェース（Ｉ／Ｆ）９５は、処理装置９０と入力装置９５ａとを接続する。入力Ｉ／Ｆ９５は、例えば、ＵＳＢ等のシリアルバスインタフェースである。ＣＰＵ９１は、入力Ｉ／Ｆ９５を介して、入力装置９５ａから各種データを読み込むことができる。

出力インタフェース（Ｉ／Ｆ）９６は、処理装置９０と出力装置９６ａとを接続する。出力Ｉ／Ｆ９６は、例えば、Digital Visual Interface（ＤＶＩ）やHigh-Definition Multimedia Interface（ＨＤＭＩ（登録商標））等の映像出力インタフェースである。ＣＰＵ９１は、出力Ｉ／Ｆ９６を介して、出力装置９６ａにデータを送信し、出力装置９６ａに画像を表示させることができる。

通信インタフェース（Ｉ／Ｆ）９７は、処理装置９０外部のサーバ９７ａと、処理装置９０と、を接続する。通信Ｉ／Ｆ９７は、例えば、ＬＡＮカード等のネットワークカードである。ＣＰＵ９１は、通信Ｉ／Ｆ９７を介して、サーバ９７ａから各種データを読み込むことができる。撮影部２１ａ及び２３ａによる画像及びライトカーテン２２ａによる検出結果は、サーバ９７ａに保存される。

記憶装置９４は、Hard Disk Drive（ＨＤＤ）及びSolid State Drive（ＳＳＤ）から選択される１つ以上を含む。入力装置９５ａは、マウス、キーボード、マイク（音声入力）、及びタッチパッドから選択される１つ以上を含む。出力装置９６ａは、モニタ及びプロジェクタから選択される１つ以上を含む。タッチパネルのように、入力装置９５ａと出力装置９６ａの両方の機能を備えた機器が用いられても良い。

上述した種々のデータの処理は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フレキシブルディスク及びハードディスクなど）、光ディスク（ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、ＤＶＤ－ＲＯＭ、ＤＶＤ±Ｒ、ＤＶＤ±ＲＷなど）、半導体メモリ、又は、他の非一時的なコンピュータで読取可能な記録媒体（non-transitory computer-readable storage medium）に記録されても良い。

例えば、記録媒体に記録された情報は、コンピュータ（または組み込みシステム）により読み出されることが可能である。記録媒体において、記録形式（記憶形式）は任意である。例えば、コンピュータは、記録媒体からプログラムを読み出し、このプログラムに基づいてプログラムに記述されている指示をＣＰＵで実行させる。コンピュータにおいて、プログラムの取得（または読み出し）は、ネットワークを通じて行われても良い。

以上で説明した実施形態によれば、移載時の物体への衝撃を低減しつつ、ピッキング作業の時間を短縮可能な、ピッキングシステム、制御装置、ピッキング方法、プログラム、及び記憶媒体が提供される。

以上、本発明のいくつかの実施形態を例示したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更などを行うことができる。これら実施形態やその変形例は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。また、前述の各実施形態は、相互に組み合わせて実施することができる。

１：ピッキングシステム、 １０：ピッキングロボット、 １１：ロボットハンド、 １２：ロボットアーム、 １３：筐体、 ２１：第１計測器、 ２１ａ：撮影部、 ２２：第２計測器、 ２２ａ：ライトカーテン、 ２２ａ１：投光部、 ２２ａ２：受光部、 ２３：第３計測器、 ２３ａ：撮影部、 ３０：制御装置、 ３１：統合部、 ３２：計測情報処理部、 ３３：保持計画生成部、 ３４：配置計画生成部、 ３４ａ：位置候補算出部、 ３４ｂ：ハンド位置算出部、 ３５：動作計画生成部、 ３６：ロボット制御装置、 ３７：外部Ｉ／Ｆ、 ４１：第１容器、 ４２：第２容器、 ９０：処理装置、 ９１：ＣＰＵ、 ９２：ＲＯＭ、 ９３：ＲＡＭ、 ９４：記憶装置、 ９５：入力インタフェース、 ９５ａ：入力装置、 ９６：出力インタフェース、 ９６ａ：出力装置、 ９７：通信インタフェース、 ９７ａ：サーバ、 ９８：システムバス、 ＯＰ１：第１開口、 ＯＰ２：第２開口、 ＳＰ１：第１空間、 ＳＰ２：第２空間、 ＳＲ：センシング領域

Claims (16)

1. ロボットハンドを用いて、第１空間から第２空間へ物体を移載するピッキングロボットと、
   前記ピッキングロボットを制御する制御装置と、を備え、
   前記制御装置は、
   前記第１空間の物体の第１方向における形状に関する第１計測結果を取得すると、前記第１計測結果に基づいて前記第２空間に前記物体を配置する際の位置候補を算出する第１計算と、
   前記物体への前記ロボットハンドの作用中に、前記第１方向と交差する第２方向における前記物体の形状に関する第２計測結果を取得すると、前記第２計測結果及び前記位置候補に基づき、前記第２空間に前記物体を配置する際の前記ロボットハンドの位置を算出する第２計算と、
   を実行する、ピッキングシステム。
2. 前記第１方向において前記物体の前記形状を計測して前記第１計測結果を取得する第１計測器と、
   前記第２方向において前記物体の前記形状を計測して前記第２計測結果を取得する第２計測器と、
   をさらに備えた、請求項１記載のピッキングシステム。
3. 前記第２計測器は、前記ピッキングロボットによる前記物体の保持中に、前記物体の前記形状を計測する、請求項２記載のピッキングシステム。
4. 前記第１計測器は、前記物体の前記第１方向と交差する第１面の形状を計測する、請求項２又は３に記載のピッキングシステム。
5. 前記第１計測器は、前記第１空間の画像から前記物体の領域をセグメンテーションすることにより、前記第１面の前記物体の前記形状を計測する、請求項４記載のピッキングシステム。
6. 前記第２計測器は、前記ロボットハンドの先端からの前記物体の前記第１方向における突出量を計測する、請求項２～５のいずれか１つに記載のピッキングシステム。
7. 前記第２計測器は、前記第１方向と交差する第１平面に沿って広がるセンシング領域を有し、
   前記第２計測器は、前記ピッキングロボットによる前記物体の前記第１方向の移動中、前記物体が前記センシング領域を通過した際の時刻に基づいて、前記突出量を計測する、請求項６記載のピッキングシステム。
8. 前記第２計測器は、前記センシング領域の前記第１方向における位置と、前記時刻での前記ロボットハンドの前記第１方向における位置と、に基づいて前記突出量を計測する、請求項７記載のピッキングシステム。
9. 前記第２空間の形状を計測する第３計測器をさらに備え、
   前記制御装置は、前記第１計算において、第１計測結果と前記第３計測器からの第３計測結果とに基づき前記位置候補を算出する、請求項１～７のいずれか１つに記載のピッキングシステム。
10. 前記第３計測器は、前記第２空間における障害物の形状を計測し、
    前記制御装置は、
    前記第１計算において、前記物体の前記形状及び前記障害物の前記形状に基づき、前記位置候補を算出し、
    前記第２計算において、前記物体の前記形状と、前記障害物の前記形状と、前記位置候補と、に基づき、前記ロボットハンドの前記位置を算出する、
    請求項９記載のピッキングシステム。
11. 前記制御装置は、
    前記第１計算において、複数の前記位置候補を算出し、
    前記第２計算において、前記複数の位置候補の１つと、前記第２計測結果が示す前記物体の前記第１方向における突出量と、を用いて前記ロボットハンドの前記位置を算出する、
    請求項１～１０のいずれか１つに記載のピッキングシステム。
12. 前記第１方向は、鉛直方向に平行であり、
    前記第２方向は、水平方向に平行である、請求項１～１１のいずれか１つに記載のピッキングシステム。
13. ロボットハンドを用いて第１空間から第２空間へ物体を移載するピッキングロボットを制御する制御装置であって、
    前記第１空間の物体の第１方向における形状に関する第１計測結果を取得すると、前記第１計測結果に基づいて前記第２空間に前記物体を配置する際の位置候補を算出する第１計算と、
    前記物体への前記ロボットハンドの作用中に、前記第１方向と交差する第２方向における前記物体の形状に関する第２計測結果を取得すると、前記第２計測結果及び前記位置候補に基づき、前記第２空間に前記物体を配置する際の前記ロボットハンドの位置を算出する第２計算と、
    を実行する、制御装置。
14. ロボットハンドを用いて第１空間から第２空間へ物体を移載するピッキングロボットを用いたピッキング方法であって、
    前記第１空間の物体の第１方向における形状に関する第１計測結果を取得すると、前記第１計測結果に基づいて前記第２空間に前記物体を配置する際の位置候補を算出する第１計算と、
    前記物体への前記ロボットハンドの作用中に、前記第１方向と交差する第２方向における前記物体の形状に関する第２計測結果を取得すると、前記第２計測結果及び前記位置候補に基づき、前記第２空間に前記物体を配置する際の前記ロボットハンドの位置を算出する第２計算と、
    を実行する、ピッキング方法。
15. ロボットハンドを用いて第１空間から第２空間へ物体を移載するピッキングロボットをコンピュータに制御させるプログラムであって、
    前記コンピュータに、
    前記第１空間の物体の第１方向における形状に関する第１計測結果が取得されると、前記第１計測結果に基づいて前記第２空間に前記物体を配置する際の位置候補を算出する第１計算と、
    前記物体への前記ロボットハンドの作用中に、前記第１方向と交差する第２方向における前記物体の形状に関する第２計測結果が取得されると、前記第２計測結果及び前記位置候補に基づき、前記第２空間に前記物体を配置する際の前記ロボットハンドの位置を算出する第２計算と、
    を実行させる、プログラム。
16. 請求項１５記載のプログラムを記憶した記憶媒体。
    
    

Images