JP2020192677A - 対象ワークの識別移載装置及び識別移載方法 - Google Patents

Abstract

【課題】 対象ワークの形状や、色、表面の図柄などに関わらず、無造作に配された対象ワークの中から対象ワークを正確に識別して、効率的に運搬する精度の高い対象ワークの識別移載装置及び識別移載方法を提供する。【解決手段】 無造作に積まれた複数の対象ワーク５から、人工知能（ＡＩ）によって得られた情報を基に対象ワーク５を識別し、移載用のアームロボットＺ７からの距離を勘案して捕捉対象ワーク５ａとして検出し、捕捉対象ワーク５ａの向き、傾きに応じてアームロボットＺ７を制御して捕捉・移載する。【選択図】 図２

Description

本発明は、調味料や具材などの食品が封入された対象ワーク（袋体）を識別してて所定位置に運搬する対象ワークの識別移載装置及び識別移載方法に関する。

本願発明は、調味料や調理用の具材などの食品を封入した対象ワーク（袋体）を捕捉し、コンベアで搬送されている容器などの移載先に収容する対象ワークの識別移載装置に関する。調味料や調理用具材を封入する袋体は、封入物を視認することができる一部または全体が透明な樹脂製等のフィルム、ないしは、封入物を視認することができない不透明な樹脂製等のフィルムで構成されているのが一般的である。袋体に封入される調味料としては、醤油、ソース、ドレッシング、タレ、つゆ等の液体状調味料、刻み海苔、刻みネギ、七味、擦りゴマ、胡椒等の固形状又は粉末状調味料、練りわさび、大根おろし、おろし生姜、マヨネーズ、ケチャップ、コチュジャン等のペースト状調味料等が知られている。袋体に封入される調理用の具材として、うどんやパスタ等の茹で麺類、チャーシュー等の食肉加工食品、味付け卵等の卵加工食品、乾燥カット野菜や乾燥エビ等の乾燥食品等が知られている。このような調味料や調理用の具材などを封入した袋体は、弁当等の容器詰め食品の製造ラインにおいて、その種別ごとにコンテナボックスや深底あるいは浅底トレーにバラ積みされた状態で供給され、製造ライン上で順次に手作業あるいは装置により容器に収容される。このようなバラ積み状態の調味料や調理用の具材を封入した袋体を移載する識別移載装置に関しての先行文献は少ないが、このような装置に関するものとしては下記のものがあり、本願出願人も関連するものを出願している。

特許文献１は、「（課題）不定形状、不定重量の対象物に対するピッキング機能を向上する。（解決手段）対象物の形状情報を取得するカメラ２及び制御手順（ステップＳ１０５〜Ｓ１２０）と、対象物の形状情報に基づいて当該対象物の重量を推定する重量推定部３２と、対象物に対するピッキング動作を行うピッキングロボット５と、重量推定部３２で推定した重量に基づいてピッキングロボット５のピッキング動作を制御する作業計画部３３と、を有し、重量推定部３２は、入力される対象物の形状情報と出力すべき重量との対応関係を学習した機械学習（例えば人工ニューラルネットワーク）により当該対象物の重量を推定する。」ピッキング装置が開示されている。

特許文献２は、「（課題）高い再現性を伴って粉末状ないし粒子状の食材を自動的に振りかけることができる自動選別移載装置を提供すること。（解決手段）下方に向けて垂下された回転軸と、回転軸を軸線回りに回転させる回転駆動機構と、回転軸の下端部に設けられた底板１４と、底板の周囲を取り囲むように設けられ、平面視で底板よりも大きい内面を有する下方筒体２２と、底板の上方側に設けられ、平面視で底板よりも小さい内面を有する上方筒体２１と、を備え、上方筒体の下端と底板の上面との間には、隙間Ｇが設けられている。」自動選別移載装置が開示されている。

特許文献３は、「（課題）照明光や外光による照明条件や板材の切削油の塗布状態等の撮影条件に左右されずに正確に板材等の計測対象物の位置や傾き情報を求めることが可能な画像処理装置および画像処理方法を提供する。（解決手段）本発明の画像処理装置１００は、計測対象物５に照明光を照射する照明部６と、前記計測対象物５をはさんで前記照明部６と相対する位置から前記計測対象物５全体の撮像画像を取得する撮像部１２と、前記計測対象物５の特定形状の範囲の位置計測データを計測する位置計測部２と、画像処理部４を備え、前記画像処理部４は、前記撮像画像から前記位置計測部２が計測する計測範囲を算出する計測位置算出部４３と、前記位置計測データと３次元基準データから前記計測対象物の傾き情報を求める傾き情報抽出部４４を有することを特徴とする。」画像処理装置を開示している。

特開２０１８−２７５８１号公報 特開２０１８−２０１４４７号公報 特開２０１７−１７３１４２号公報

しかしながら、調味料や具材などの食品を封入した対象ワーク（袋体）を弁当箱などの容器に収容する際に、バラ積みされた袋体を一つずつ正確に認識・捕捉し、効率よく容器に収容することは難しかった。例えば、バラ積みされた袋体が多数入れられたトレーの中では、袋体の重なり度合、形状、向き、傾きなどが雑然とした状態となっており、また、透明な袋体では、袋体の形状を機械では識別できない場合があるといった課題を有する。

そこで本発明の目的は、対象ワークの形状や、色、表面の図柄などに関わらず、無造作に配された対象ワークの中から対象ワークを正確に識別して、効率的に運搬する精度の高い対象ワークの識別移載装置及び識別移載方法を提供することにある。

本発明は、調味料や具材などの食品が封入された対象ワークを識別して、移載する対象ワークの識別移載装置であって、撮像部と、制御部と、アームロボットを備え、前記撮像部は、無造作に積まれた複数の対象ワークを撮像し、前記制御部は、前記撮像部で撮像された情報から捕捉する対象ワークを検出する、捕捉対象ワーク検出機能と、捕捉対象ワークを移載させるように前記アームロボットを制御するアームロボット制御機能を有し、捕捉対象ワーク検出機能は、前記撮像部で撮像した対象ワークの情報と、制御部が有する対象ワークの情報から、類似度を判定するステップと、前記類似度の値に、事前にスコア化された前記アームロボットからの距離スコアを加算して合計値を求めるステップにより、前記合計値の最も大きな対象ワークを捕捉対象ワークと判定し、アームロボットにより移載することを特徴とする。
本発明によれば、複数の対象ワークが無造作に積まれた中から、正確に対象ワークを検出し、検出された複数の対象ワークのうち、アームロボットからの距離が近いものを捕捉対象ワークと判定することで、効率的な移載作業を行うことができる。

次に、本発明は、制御部が類似度を判定するために有する対象ワークの情報は、深層学習や機械学習といった人工知能（ＡＩ）により得られる情報であることを特徴とし、制御部による類似度の判定には、撮像部で撮像された情報のうち、対象ワークの大きさ、形状、色、表面の図柄のうち、少なくとも一つが利用されることを特徴とする。
本発明によれば、制御部は深層学習や機械学習といった人工知能（ＡＩ）によって、対象ワークの情報を習得するので、対象ワークの大きさ、形状、色、表面の図柄などに制限がなく、どのような情報を制御部に提供するかによって、所望する様々な形態の対象ワークの識別が可能となり、その精度も向上させていくことができる。

さらに、本発明の制御部は、対象ワークの中心位置を検出する中心位置検出機能を有し、対象ワークの中心位置と前記撮像部との距離を算出し、対象ワークの中心位置をアームロボットにより捕捉することを特徴とする。
本発明によれば、深層学習や機械学習といった人工知能（ＡＩ）による学習を応用し、対象ワークの中心位置を検出する機能を持たせることで、比較的大きな対象ワーク、円形など多様な形状の対象ワークであっても、捕捉後の脱落などのミスなく移載を行うことができる。

また、本発明の制御部は、対象ワークの向き・傾き判別機能を有し、対象ワークの向きに応じてアームロボットを捕捉に最適な角度に制御し、捕捉した対象ワークを一定の向きで移載先に配することを特徴とする。
本発明によれば、深層学習や機械学習といった人工知能（ＡＩ）による学習を応用し、対象ワークの向き判別機能を持たせることで、移載先（ここでは、弁当などの食品用容器内）に、所望する向きに揃えて捕捉された対象ワークを収容することができ、収容（盛付け）抜けの発見が容易になり、製品の美観にも貢献する。
また傾き判別機能により、アームロボットを対象ワークの傾きに応じ、捕捉に最適な角度に制御するので、移載ミスの低減が図られる。

本発明によれば、無造作に積まれた複数の対象ワークから、人工知能（ＡＩ）によって得られた情報を基に対象ワークを識別し、移載用のアームロボットからの距離を勘案して対象ワークとして検出するので、効率的に作業が可能となり、対象ワークの識別に利用する類似度など対象ワークの識別移載に必要な情報を深層学習や機械学習を行うことで、その作業精度向上を図ることも可能となる。
この効率化、精度向上により、人手不足の環境下、労働環境の改善や労働力の確保にも貢献する。

本発明の第１の実施形態である対象ワークの識別移載装置の配される搬送ラインを示す図である。 上記実施形態の対象ワークの識別移載装置を示す図である。 上記実施形態の捕捉対象ワーク判定プロセスを示す概略図である。 上記実施形態による類似度判定状況を示す図である。 上記実施形態によるトッピングの例を説明する図である。 上記実施形態の撮像部による画像を示す図である。 上記実施形態における距離スコアを説明する図である。 上記実施形態における向き判別機能を説明する図である。 上記実施形態の全体のステップを示す概略図である。 上記実施形態の全体のステップの詳細を示す概略図である。

本発明を適用した具体的な実施の形態について、図面を参照しながら以下、詳細に説明する。

（本発明の第１の実施の形態）
図１は食品加工工場における搬送ラインＨｒを示す概略図であり、搬送ラインにおける対象ワークの識別移載装置１００を詳細に示す図である。
対象ワークの識別移載装置１００は、搬送ラインのベルトコンベア上を上流側から下流側へ流れる容器を移載先とし、前記ベルトコンベアを挟んで、アームロボットＺ７と複数の対象ワークが無造作に積まれたトレーＺ１０が対向して配され、トレー上部には鉛直下向きにトレーを撮像できるように撮像部１２が配されている（図１、図２）。
また、撮像部１２と、撮像部１２で撮像された画像データが処理される制御部４６がネットワーク接続され、制御部４６からの指示によりアームロボットＺ７が対象ワークを捕捉し、容器に盛付け、下流側の蓋閉め等の工程に送られる。
本実施の形態における、対象ワーク５は麺つゆ、わさび等の薬味、醤油やソース等の調味料が封入してあり、ポリエステルや多層フィルム等によって構成された一般的な袋体であり、対象ワーク５を収容する移載先は弁当用の容器や透明な麺類の容器である。

（撮像部１２）
本実施の形態における撮像部１２は、複数の対象ワーク（袋体）５が無造作にバラ積まれたトレーＺ１０の上部に鉛直下向きにトレー内を撮像できるように配され、撮像した画像データは、制御部において画像処理され判定や位置情報の取得に使用される。本実施の形態における撮像部１２には、２Ｄカメラ、３Ｄカメラなどの産業用カメラや、奥行き認識可能なデプスカメラ（Ｄｅｐｔｈ Ｃａｍｅｒａ）を使用している。

（制御部における捕捉対象ワーク検出機能）
本実施の形態の制御部４６における対象ワーク検出機能４７は、機械学習や深層学習といった人工知能（ＡＩ）によって得られる対象ワーク５の情報を基に、撮像部１２によって撮像された画像データから、移載対象として検出すべき対象ワーク５を識別する。
ここで、「対象ワークの識別」とは、撮像部１２で得られたＲＧＢ画像データやＤｅｐｔｈ画像データと、対象ワークを検出するために深層学習のうちＳＳＤによる学習済みモデルによって得られる対象ワークの情報とを照合し、その合致度合いを「類似度」Ｒとして数値化し、類似度（数値）が高いものほど検出すべき対象ワーク５である可能性が増加することを意味する。類似度判定部４８は、撮像部１２で得られた画像を、画像処理部４を経て、前記学習済みモデルと照合することで、捕捉する対象ワーク（以後、捕捉対象ワーク）５ａを判定する（図３）。その一例としては、図４から、対象ワーク５を識別し、類似度の高いものから順に５件検出していることが分かる。類似度Ｒの算出には（前記制御部による類似度の判定）には、前記撮像部１２で撮像された撮像情報のうち対象ワーク５の大きさ、形状、色、表面の図柄のうちの少なくとも一つが利用される。

図５は、麺類の容器Ｚ８に、わさびの袋５Ｗと麺つゆの袋５ＭをアームロボットＺ７で詰め込む作業を行うことを説明する図である。図６は、撮像部１２によって得られたＲＧＢ画像Ｚ２１とＤｅｐｔｈ画像Ｚ２２を示した例を説明する図である。
次に、前述の撮像部１２によって得られる画像データの画角（撮影領域）に、後述するアームロボットＺ７からの距離に応じた距離スコアをあらかじめ設定しておき、検出された対象ワーク５の位置に応じて距離スコアを付与し、類似度に加算し、最も値が大きく表れた対象ワーク５を移載する捕捉対象ワーク５として判定する。

図７は、あらかじめ設定された距離スコアを示す図であり、本実施の形態においては、アームロボットＺ７の位置を中心とし、対象ワーク５の大きさを基に、所定の半径ｒの半円から、半径２ｒの半円、半径３ｒ・・・Ｎｒと徐々に半径の大きな同心円の半円をＮ個描き、Ｎ個の半円内に対象ワーク５があれば１５０点を加点するが、抽出された対象ワーク５のうち、複数がＮ個の半円内にある場合は、Ｎ個のうち幾つの半円に重なるかにより、半円に重なった数をＭとして、類似度＋１５０点×Ｍとする計算式で最も値が大きく表れた対象ワーク５を捕捉対象ワーク５ａであると判定することになる。
これによりアームロボットＺ７の移動距離を短縮させ、効率的な移載（容器への盛付け）が可能となるが、距離スコアの付与方法は、アームロボットＺ７からの距離が近い半円から順に大きなスコアを設定するようにするなど上記方法に限定されない。

（制御部における捕捉対象ワーク５ａの向き判別機能及び中心検出機能）
そして、画像データから最も値が大きく表れて捕捉対象ワーク５ａであると判定された対象ワーク５ａの所定の領域を、前述の画像データから抽出し、対象ワーク５ａの向きを判別する。
本実施の形態においては、捕捉対象ワーク５ａの向きとは、その検出範囲が−１８０°＜θ≦＋１８０°で、画像データはトレーを上方から鉛直下向きに撮像されたものであるため、鉛直方向に対し、対象ワーク５ａが０°を基準に何度回転した状態かを判別することになる（図８）。
さらに、捕捉対象ワーク５ａの中心５ｃを求めることになるが、捕捉対象ワーク５ａの向きの判別、中心検出にも深層学習によってモデル化された情報が用いられる。
捕捉対象ワーク５ａの向き判別機能は、移載先である容器への盛付に際し、捕捉対象ワーク５ａの向きも所望の向きに揃えることを可能とするものであり、対象ワーク５の中心位置検出機能は、比較的サイズや重量の大きな対象ワーク５や円形など多様な形状の対象ワーク５をアームロボットＺ７で捕捉する際、捕捉ミスや運搬中の脱落を防止する効果も得られる。
これらの機能は、盛付け抜けなどのミスも防止でき、ミスの有無確認が容易になると同時に、完成した製品の美観などの観点からも有意義なものと言える。

（制御部における高さ位置測定機能）
上記ステップにより、捕捉対象ワーク５ａが平面上（Ｘ−Ｙ平面）でどこにどの向きで存在しているかが把握できたが、次に、検出された捕捉対象ワーク５ａの中心と撮像部１２との距離を測定することで、捕捉対象ワーク５ａの高さ位置（Ｚ軸）を測定し、位置を３次元的（Ｘ−Ｙ−Ｚ）に把握することになる。本実施の形態では、奥行（ここでは高さ）を認識できるＤｅｐｔｈ画像を基に、撮像部（デプスカメラ）１２と捕捉対象ワーク５ａの中心との距離を求める。

この後、捕捉対象ワーク５ａの位置情報を、画像データを基にしたピクセル座標系（ｐｘ）からワールド座標系（ｍｍ）へ変換すると同時に、捕捉対象ワーク５ａの向き情報と高さ位置情報を基に傾きを求め、アームロボットＺ７が捕捉対象ワーク５ａにどのようにアプローチして捕捉すればよいかの最適解を伝達し、捕捉するよう指令を出すことになる。

（アームロボット）
アームロボットＺ７は、制御部４６と接続されており、制御部からの指令に基づき、トレー内に無造作に積まれた複数の対象ワーク５の中から捕捉対象ワーク５ａを捕捉し、移載先である容器に盛付けする。本実施の形態のアームロボットＺ７は、アームを２つ有しており、それぞれ別のトレーＺ１０から対象ワークを識別して容器に移載する。
図９は上記一連のステップをフロー図で表したものであり、上記ステップが繰り返し行われることとなる。
本実施の形態では、アームロボットＺ７は捕捉対象となる袋体の向き、傾きに応じて袋体を捕捉する方法として、真空式で、対象となる袋体を吸着させる方法が取られているが、その方法は限定されるものではない。

１００ 対象ワークの識別移載装置、
１２ 撮像部（撮像カメラ）、
４ 画像処理部、
４６ 制御部、
４７ 対象ワーク検出機能、
４８ 類似度判定部、
５ 対象ワーク（袋体）、
５ａ 捕捉対象ワーク、
５ｃ 対象ワークの中心、
５Ｗ わさび（ワサビの入った合成樹脂製の袋体）、
５Ｍ 麺つゆ（麺つゆの入った合成樹脂製の袋体）、
Ｈｒ 搬送ライン、
Ｒ 類似度、
ｒ，２ｒ，３ｒ 距離スコア、
Ｚ７ アームロボット、
Ｚ８ 移載先（プラスチック製の食品容器）、
Ｚ１０ トレー（対象ワークが無造作に積まれた容器）、
Ｚ２１ ＲＧＢ画像、
Ｚ２２ Ｄｅｐｔｈ画像

Claims (9)

1. 調味料や具材などの食品が封入された対象ワークを識別して移載する対象ワークの識別移載装置であって、
   撮像部と、制御部と、アームロボットを備え、
   前記撮像部は、無造作に積まれた複数の対象ワークを撮像し、
   前記制御部は、前記撮像部で撮像された情報から捕捉対象ワークを検出する捕捉対象ワーク検出機能と、捕捉対象ワークを移載させるように前記アームロボットを制御するアームロボット制御機能を有し、
   捕捉対象ワーク検出機能は、前記撮像部で撮像した対象ワークの情報と、制御部が有する対象ワークの情報から、類似度を判定し、前記類似度の値に、事前にスコア化された前記アームロボットからの距離に応じて付与されるスコアを加算して合計値を求め、
   前記合計値の最も大きな対象ワークを捕捉対象ワークと判定し、アームロボット制御機能によりアームロボットで移載することを特徴とする対象ワークの識別移載装置。
2. 前記制御部が類似度を判定するために有する対象ワークの情報は、前記深層学習や機械学習といった人工知能（ＡＩ）により得られる情報であることを特徴とする請求項１に記載の対象ワークの識別移載装置。
3. 前記制御部による類似度の判定において、前記対象ワークが調味料や具材などの食品が封入された袋体であり、その大きさ、形状、色、表面の図柄のうちの少なくとも一つ撮像画像が利用されることを特徴とする請求項１または２記載の対象ワークの識別移載装置。
4. 前記制御部は、捕捉対象ワークの中心位置を検出する中心位置検出機能を有し、捕捉対象ワークの中心位置と前記撮像部との距離を算出し、捕捉対象ワークの中心位置をアームロボットにより捕捉することを特徴とする請求項１から３のうちいずれか一項に記載の対象ワークの識別移載装置。
5. 前記制御部は、捕捉対象ワークの向き・傾き判別機能を有し、捕捉対象ワークの向き・傾きに応じてアームロボットを捕捉に最適な角度に制御し、捕捉した対象ワークを一定の向きで移載することを特徴とする請求項１から４のうちいずれか一項に記載の対象ワークの識別移載装置。
6. 調味料や調理用の具材などの食品が封入された対象ワークを識別して移載する対象ワークの識別移載方法であって、
   撮像部と、制御部と、アームロボットを備え、
   前記撮像部は、無造作に積まれた複数の対象ワークを撮像し、
   前記制御部は、前記撮像部で撮像された情報から捕捉対象ワークを検出する捕捉対象ワーク検出機能と、捕捉対象ワークを移載させるように前記アームロボットを制御するアームロボット制御機能を有し、
   捕捉対象ワーク検出機能は、前記撮像部で撮像した対象ワークの情報と、制御部が有する対象ワークの情報から、類似度を判定する判定ステップと、前記類似度の値に、事前にスコア化された前記アームロボットからの距離に応じて付与されるスコアを加算して合計値を求める合計値算出ステップにより、
   前記合計値の最も大きな対象ワークを捕捉対象ワークと判定し、アームロボット制御機能によりアームロボットで移載することを特徴とする対象ワークの識別移載方法。
7. 前記制御部が類似度を判定するために有する対象ワークの情報は、前記撮像部で撮像された撮像情報から得られた撮像情報を深層学習や機械学習といった人工知能（ＡＩ）により得られる情報であることを特徴とする請求項６に記載の対象ワークの識別移載方法。
8. 前記制御部による類似度の判定において、前記対象ワークが調味料や具材などの食品が封入された袋体であり、その大きさ、形状、色、表面の図柄のうちの少なくとも一つの撮像画像が利用されることを特徴とする請求項６または７記載の対象ワークの識別移載方法。
9. 前記制御部は、捕捉対象ワークの中心位置を検出する中心位置検出機能を有し、捕捉対象ワークの中心位置と前記撮像部との距離を算出し、捕捉対象ワークの中心位置をアームロボットにより捕捉することを特徴とする請求項６から８のうちいずれか一項に記載の対象ワークの識別移載方法。