JP2016078180A - 異常原因推定装置、ピッキング装置及びピッキング装置における異常原因推定方法 - Google Patents

Abstract

【課題】ピッキングの異常が発生した場合にその原因を迅速に突き止めることができ、復旧時間の短縮によってピッキング作業の効率化に寄与できる異常原因推定装置を提供する。
【解決手段】ピッキング装置２は、容器４にバラ積みされたワークを一個ずつ掴むロボット８と、ロボットコントローラ１６と、異常原因推定装置２２と、取り出し異常判断手段１０とを有している。異常原因推定装置２２は、三次元測定装置１２と認識手段１４とを有している。取り出し異常が発生した場合、異常原因推定装置２２は、三次元測定装置１２により取得された初期設定時の容器４の平面領域４ａの初期値データと、平面領域４ａの異常時位置データとから異常の原因を推定する。
【選択図】図１

Description

本発明は、異常原因推定装置、ピッキング装置及びピッキング装置における異常原因推定方法に関する。

ピッキング装置（以下、「ピッキングシステム」ともいう）では、産業用ロボットを用いて、トレイ等の容器に不規則に山積みされたワーク（部品、製品等）をピッキング（取り出し）することにより、部品供給や組立工程の自動化を図ることが行われている。
バラ積みされた部品をロボットアームでピッキングするためには、部品等を個々に認識する必要があるため、各部品の位置及び姿勢を認識する３次元物体認識装置が必要である。
物体を三次元計測する技術としては、２つのカメラの画像の視差情報から距離を算出するステレオ法や、プロジェクタとカメラ、あるいはレーザとカメラを用いた三角測量法などが既に知られている。

特許文献１には、バラ積みされたワークの三次元位置と姿勢とを認識し、ピッキングの精度向上と迅速化を目的とした制御方法が開示されている。

この種のピッキング装置では、経時変化などによる影響で正確な三次元計測ができなくなった場合にはピッキングができなくなったり、ピッキングはできても所定の組み立て精度を維持できないレベルにピッキング精度が低下するなどの異常が発生する問題があった。
特許文献１等に開示される技術は、あくまでもピッキング自体の精度向上と、ピッキングに要する時間の短縮等を目的としたもので、異常が発生した場合の事態に対処するものではなかった。
異常が発生した場合、ピッキングシステムを止めて異常の原因を調べ、復旧のための処理を実施することが行われているが、異常の原因が容易に判断できない場合もあり、システムの復旧に時間が掛かってしまうことがあった。

本発明は、このような現状に鑑みてなされたもので、ピッキングの異常が発生した場合にその原因を迅速に突き止めることができ、復旧時間の短縮によってピッキング作業の効率化に寄与できる異常原因推定装置の提供を、その主な目的とする。

上記目的を達成するために、本発明は、取り出し手段により容器内の対象物を取り出す際の取り出し異常時に、該取り出し異常の原因を推定する異常原因推定装置であって、前記容器の位置データを取得する位置データ取得手段と、前記位置データ取得手段により取得した位置データから前記容器を認識する認識手段と、前記認識手段により認識された前記容器の所定の位置に対応する位置データを初期値データとして記憶する初期値記憶手段と、を備え、前記初期値記憶手段に記憶された前記初期値データと、取り出し異常が発生した際に前記認識手段で認識された前記容器の異常時位置データとに基づいて取り出し異常の原因を推定する。
また、本発明のピッキング装置における異常原因推定方法は、容器内の対象物を取り出して別の場所に移すピッキング処理が正常になされているかを判断する第１のステップと、第１のステップで異常と判断された際に、前記容器の所定の位置に対応する位置データを初期値データとして、該初期値データと、取り出し異常と判断された際の前記容器の異常時位置データとに基づいて取り出し異常の原因を推定する第２のステップと、を有する。

本発明によれば、ピッキングの異常が発生した場合にその原因を迅速に突き止めることができ、復旧時間の短縮によってピッキング作業の効率化に寄与できる。

本発明の一実施形態に係るピッキング装置の概要構成図である。 ワークがバラ積みされた容器の平面図である。 認識手段の制御ブロック図である。 認識手段の機能ブロック図である。 異常が発生した場合の制御動作を示すフローチャートである。

以下、本発明の一実施形態を図を参照して説明する。
図１に本実施形態に係るピッキング装置を示す。
ピッキング装置２は、プラスチック製の容器４内にばら積みされた対象物としてのワーク６（図２参照）を一個ずつ取り出す取り出し手段としてのロボット８と、ロボット８による取り出し異常が発生したかどうかを判断する取り出し異常判断手段１０とを有している。
また、ピッキング装置２は、容器４の位置データを取得する位置データ取得手段としての三次元測定装置１２と、三次元測定装置１２により取得した位置データから容器４やワーク６を認識する認識手段１４と、ロボットコントローラ１６とを有している。

容器４は、物流業務を効率化するために用いられる台車やパレット等の作業機械（マテリアルハンドリング）の一つで、一般的にバラ積みされたワーク６は容器４に入れられてピッキング装置２にセットされる。
容器４のサイズはワーク６のサイズによって様々であるが、形状はほとんど同一であり、図２に示すように、上面側にドット表示で示す平面領域４ａが存在する。
平面領域４ａは４つの面が周方向に連なった矩形状となっている。
図２は容器４を上から見た平面図であり、符号４ｂは内方の底面を示している。

図１に示すように、ワーク６がバラ積みされた容器４の状態を上方に設置されている三次元測定装置１２で撮像ないしスキャンし、三次元情報（位置データ）を取得する。
三次元測定装置１２の構成としては、ステレオカメラや、三角測量法を使用したプロジェクタとカメラ、あるいはレーザとカメラの組み合わせ等を採用することができる。
三次元測定装置１２で取得した三次元情報に対して、認識手段１４で容器４とワーク６の認識処理を実施する。

認識手段１４では、取得された三次元情報（三次元データ）からそれぞれのワーク６の位置、姿勢を認識するために、予め登録されているデータを基にマッチング処理をかける。
マッチング方法は、三次元データのみで実施するＣＡＤマッチングやサーフェスマッチングに限定されず、輝度情報からエッジ抽出処理などを複合的に実施する手法でも構わない。
三次元データは、三次元測定装置１２のセンサ上の位置を表す二次元データと、容器４の高さ方向の距離データとからなる。

認識手段１４は、ワーク６の位置、姿勢を認識後、ロボットコントローラ１６に予め登録してある制御フローに基づきロボット８に動作指令を送る。
ロボット８は、三次元動作が可能な多関節のアーム１８と、ツメの開閉でワーク６を掴むロボットハンド２０とを有している。
ロボット８に関しては多関節だけでなく、容器４からワーク６を取り出して別の場所に移送できる機構であれば何でも構わない。
本実施形態では、ロボットハンド２０はツメを開閉してその間にワークを掴むツメ開閉方式としているが、ワーク６を一つずつ取り出せればよく、電磁石式、エアー吸着式、あるいはそれらの組合せであってもよい。

三次元測定装置１２と認識手段１４とにより、本実施形態における異常原因推定装置２２が構成されている。
取り出し異常判断手段１０は、ロボット８によって容器４からワーク６をピッキングできなかった場合や、ピッキング後に組み立てラインの所定位置にワーク６を正確に移送できなかった場合等に取り出し異常が発生したと判断し、異常信号を認識手段１４に送る。
所定位置にワーク６を正確に移送できなかった場合とは、移送後のワーク６の位置がずれている場合等を意味する。
ロボット８は、例えば、制御フローに従ったロボットハンド２０の動作後にロボットハンド２０にワーク６が掴まれているか否かを判断できるセンサによる検知構成、移送後の所定位置に対する位置ずれを検出できる構成を有している。
ロボット８は、ワーク６の取り出しに関する検出結果を取り出し異常判断手段１０に送信する。取り出し異常判断手段１０は、ロボット８の検出した結果を用いることで取り出し異常を判断する。

図３に、認識手段１４のハードウェア構成を示す。
認識手段１４は、ＣＰＵ（Central Processing Unit）２４、ＣＰＵ２４を動作させるためのプログラムを格納するＲＯＭ（Read Only Memory）２６、プログラム用ワークＲＡＭ（Random Access Memory）２８を備えている。
また、認識手段１４は、三次元測定装置１２により取得した容器４の平面領域４ａに対応する三次元データの初期値を記憶し、電源を切ってもデータを保持しておくことが可能な不揮発ＲＡＭ（Non-Volatile RAM）３０を備えている。

また、認識手段１４は、ロボットコントローラ１６に信号を送るためのＩ／Ｏインターフェース３２、三次元測定装置１２により取得された三次元データを一時的に記憶する画像用RAM及び／又は画像データを処理するFPGA（Field Programmable Gate Array）３４を備えている。
認識手段１４は、取り出し異常判断手段１０の出力する取り出し異常信号を受け取る。
これらについては公知の技術であるので詳細な説明は省略する。

図４に、認識手段１４によって実現される各機能を示す。
三次元測定装置１２により取得された三次元データは三次元データ取得部３６に入力され、認識部３８に出力される。
認識部３８では三次元データ取得部３６からの三次元データがワーク認識部４０と平面領域認識部４２とにそれぞれ入力される。
ワーク認識部４０で認識されたデータはロボットコントローラ１６に出力される。
平面領域認識部４２で初期設定時認識された初期値データは初期値データ記憶部４４に記憶される。

異常原因推定部４６は、取り出し異常判断手段１０から取り出し異常の信号を受けると、初期値データ記憶部４４から出力される初期値データと、平面領域認識部４２から出力される異常の際の異常時位置データとに基づいて、異常原因を推定（判断）する。
異常原因推定部４６は、異常原因がロボット８の位置ずれ等にある場合には、その旨を表示部４８に表示してシステムの復旧処置（点検）を促す。
異常原因が三次元測定装置１２にある場合には、異常原因推定部４６は三次元測定装置１２に対してキャリブレーションを実行する。
ワーク認識部４０で認識された三次元情報はロボットコントローラ１６に送られ、これに基づいてロボット８が動作して容器４からワーク６がピッキングされる。
上記各処理はＲＯＭ２６に記憶されたプログラムによってＣＰＵ２４が動作することで実現される。

システムが正常であれば、ロボット８により容器４からワーク６が一個ずつ正確に取り出されるが、経時的な変化による要因によって掴み損ない等の異常が発生する。
異常が発生した場合の対処方法について以下に説明する。

ピッキングできない場合としては、大きくは下記３つの原因が考えられる。
(1)ロボットによる問題
(2)環境による問題
(3)三次元測定による問題

本実施形態では、三次元測定装置１２で測定した容器４の平面領域４ａの情報から、原因が上記３つの原因のうちどれに当てはまるのかを推定する。
まず初期設置時に平面領域４ａの３次元情報を取得しておく。そのデータ（初期値データ）を正解値とした場合の変化値をパラメータとして、上記３つの原因を分類する。

平面領域４ａの変化として下記３つのパターンを想定する。
(1)まったく変化しない
(2)平面式の変化が線形近似可能な変化
(3)(2)以外の変化

まずピッキングできない場合の原因として、(1)ロボットによる問題がある。
これは、ロボット自体が故障した場合や、温度、経時変化などで座標がずれてしまい、ピッキングできなくなる場合を意味する。
この場合、三次元測定装置１２で取得される平面領域４ａの三次元情報はまったく変化しない。
つまり、上記(1)の原因が当てはまる。

次に、(2)環境による変化であるが、環境による変化とは、容器４の設置が煩雑で正解値としている初期設置状態（位置）に対してずれてしまっていることがある。
また、振動やヒューマンエラーによって、三次元測定装置１２やそれを支持している支持部材自体がずれてしまうことがある。
その場合、平面領域４ａの三次元情報は傾きや距離、シフトなどの状態変化として確認できる。
このような三次元の変化は、正解値である三次元データを平面式に変換した場合、線形的な変化しかしないため、式(1)で示すような式で近似が可能である。
ａｘ＋ｂｙ＋ｃｚ＝ｄ (1)

最後に(3)三次元測定による問題であるが、この場合、三次元測定自体が正確にできていないため、平面領域４ａの平面は大きく歪み、線形式では近似不可となる。

以上のように、本実施形態では、容器４の平面領域４ａの平面性を利用し、平面領域４ａの三次元情報の変化を検出することで、ピッキングできない問題が発生したときに、その原因を特定するようにしている。

図５に基づいて、ピッキング処理が正常になされずに異常が発生した際の原因推定の動作を説明する。
まず、三次元測定装置１２による撮像（撮影）を行い、三次元データを取得してそのデータについて信頼性があるか否かをチェックする（Ｓ１）。
例えばカメラ側で取得した輝度情報から飽和領域を算出し、ある閾値以下であることを確認する。輝度飽和領域が多いとテクスチャ情報が欠損しているため、不正確な三次元情報が出力されている可能性が高い。
データの信頼性がないと判断された場合には、撮像条件を変更して再度撮影し（Ｓ２）、Ｓ１のデータの信頼性のチェックに戻る。

データの信頼性があると判断された場合には、認識手段１４は取得した画像から容器４の平面領域４ａを抽出し、その三次元データ（異常時位置データ）を収集する（Ｓ３）。
初期設定時に取得した三次元データ（初期値データ）に対して差分処理を行う。すなわち、正解値に対する異常時位置データの差分処理（１）を実施する（Ｓ４）。
この場合、全三次元データのそれぞれの差分を算出してもよく、三次元データから容器４の重心を算出し、その差分から変化を検出してもよい。
差分処理（１）によって得られた差分に基づいて、正解値に対して変化があるか否かを判断する（Ｓ５）。

上記差分が予め設定された差分１以下の場合は、変化無しとしてロボット８に関する問題と判断する（Ｓ６）。
その場合はロボットが故障してないか、初期設置位置に対して動いてないかなどの点検を実施すればよい。この場合、表示部４８に点検を促すメッセージが表示される。
差分処理（１）によって得られた差分が差分１よりも大きい場合には、三次元測定装置１２と容器４との相対関係のずれであると判断し、次のステップへと移行し、平面近似を行う（Ｓ７）。
初期設定時に取得した初期値データに対して平面式で近似をする。平面式は例えば二乗和が最小となるように算出すればよい。

次に、正解値に対する差分処理（２）を実施する（Ｓ８）。
平面近似で得られた平面データとしての初期値データと、実際の三次元データ（異常時位置データ）との差分を抽出する。差分は平面近似で使用した二乗和の総和でもいいし、平均値でもいい。
差分処理（２）によって得られた差分に基づいて、正解値に対して変化があるか否かを判断する（Ｓ９）。
上記差分が予め設定された差分２以下の場合は、環境に関する問題と判断する（Ｓ１０）。

その場合は、容器４と三次元測定装置１２との相対関係が変化している可能性が高いため、容器４、三次元測定装置１２、もしくは三次元測定装置１２を支持する支持部材が初期設置位置に対して大きく変化してないかを点検すればよい。
この場合、表示部４８に点検を促すメッセージが表示される。

差分処理（２）によって得られた差分が差分２よりも大きい場合は、三次元測定装置１２に関する問題と判断する（Ｓ１１）。
三次元測定装置１２自体が正確に三次元情報を出力していない場合は、三次元測定装置１２自体のキャリブレーションを実施すればよい。
キャリブレーションは、得られた平面近似からのずれ量を用いて実施してもよく、任意のチャートを別途用いて再度実施してもよい。

上記のように本実施形態によれば、ピッキングできないときにその原因を迅速に特定することができ、これにより原因除去のための点検等を速やかに実施でき、システム停止によるダウンタイムを短縮できる。
復旧時間の短縮によってピッキング作業の効率化に寄与できる。

上記実施形態では、容器４の平面領域４ａを単なるフラットな面としたが、平面領域４ａの認識を高精度に実施するために、平面領域４ａに格子点やドットなどの特徴点が取得できる模様を設けてもよい。
このようにすれば、対応点が取得しやすくなり、平面領域４ａの認識精度を高めることができる。
また、平面領域４ａに段差を設ければ既知の情報を増やすことができる。この情報をもとに三次元測定装置自体のキャリブレーションをより高精度に実施することもできる。

以上、本発明の好ましい実施の形態について説明したが、本発明はかかる特定の実施形態に限定されるものではなく、上述の説明で特に限定しない限り、特許請求の範囲に記載された本発明の趣旨の範囲内において、種々の変形・変更が可能である。
本発明の実施の形態に記載された効果は、本発明から生じる最も好適な効果を例示したに過ぎず、本発明による効果は、本発明の実施の形態に記載されたものに限定されるものではない。

２ ピッキング装置
４ 容器
６ 対象物としてのワーク
８ 取り出し手段としてのロボット
１０ 取り出し異常判断手段
１２ 位置データ取得手段としての三次元測定装置
１４ 認識手段
２２ 異常原因推定装置
４４ 初期値記憶手段としての初期値データ記憶部

特開２０１０−１２０１４１号公報

Claims (10)

1. 取り出し手段により容器内の対象物を取り出す際の取り出し異常時に、該取り出し異常の原因を推定する異常原因推定装置であって、
   前記容器の位置データを取得する位置データ取得手段と、
   前記位置データ取得手段により取得した位置データから前記容器を認識する認識手段と、
   前記認識手段により認識された前記容器の所定の位置に対応する位置データを初期値データとして記憶する初期値記憶手段と、
   を備え、
   前記初期値記憶手段に記憶された前記初期値データと、取り出し異常が発生した際に前記認識手段で認識された前記容器の異常時位置データとに基づいて取り出し異常の原因を推定する異常原因推定装置。
2. 請求項１に記載の異常原因推定装置において、
   前記位置データ取得手段が三次元測定装置である異常原因推定装置。
3. 請求項２に記載の異常原因推定装置において、
   前記認識手段は、前記位置データ取得手段により取得される位置データのうち、前記容器の上面の平面領域に対応する位置データを前記位置データとする異常原因推定装置。
4. 請求項３に記載の異常原因推定装置において、
   前記初期値データと前記異常時位置データとの差分が予め設定された差分１以下の場合には、前記取り出し手段に異常の原因があると推定する異常原因推定装置。
5. 請求項３に記載の異常原因推定装置において、
   前記初期値データと前記異常時位置データとの差分が予め設定された差分１よりも大きい場合には、前記初期値データに対して平面式で近似を行い、平面近似で得られた平面データと前記異常時位置データとの差分を抽出し、差分が予め設定された差分２以下の場合には、前記容器と前記位置データ取得手段との相対関係のずれに異常の原因があると推定する異常原因推定装置。
6. 請求項５に記載の異常原因推定装置において、
   平面近似で得られた平面データと前記異常時位置データとの差分が、予め設定された差分２よりも大きい場合には、前記位置データ取得手段に異常の原因があると推定する異常原因推定装置。
7. 容器内の対象物を取り出す取り出し手段と、
   取り出し異常が発生したかどうかを判断する取り出し異常判断手段と、
   取り出し異常が発生した際に取り出し異常の原因を推定する異常原因推定装置と、
   を備え、
   前記異常原因推定装置が請求項１〜６のいずれか１つに記載のものであるピッキング装置。
8. 容器内の対象物を取り出して別の場所に移すピッキング処理が正常になされているかを判断する第１のステップと、
   第１のステップで異常と判断された際に、前記容器の所定の位置に対応する位置データを初期値データとして、該初期値データと、取り出し異常と判断された際の前記容器の異常時位置データとに基づいて取り出し異常の原因を推定する第２のステップと、
   を有するピッキング装置における異常原因推定方法。
9. 請求項８に記載のピッキング装置における異常原因推定方法において、
   前記容器は特徴点が取得できる模様を有するピッキング装置における異常原因推定方法。
10. 請求項８に記載のピッキング装置における異常原因推定方法において、
    前記容器は、前記位置データを取得するための２つ以上の平面を有しているピッキング装置における異常原因推定方法。

Images