JP2023121062A - 位置検出装置、ピッキングシステム、位置検出方法、及び、位置検出装置用プログラム - Google Patents

Abstract

【課題】不定形の対象物品からなるばら積み体から対象物品の位置を検出する位置検出装置及びピッキングシステムを提供する。【解決手段】ピッキングシステム２００の位置検出装置１００は、ばら積み体Ｗを所定の撮像位置から撮像した撮像画像と、その各画素に対応する深度情報とを取得する撮像機構１と、対象物品を単体で撮像した教師画像を入力とし、対象物品の位置を示す２次元座標を出力とする学習モデルと、ばら積み体において撮像位置から最も近い地点に基づいて設定される所定の抽出レンジ内の深度情報を有する画素を撮像画像から抽出して、各画素が撮像画像と対応する２次元座標と深度情報を有する抽出画像を生成する画像前処理部と、学習モデルに抽出画像を入力して、画像中における対象物品の位置を示す検出２次元座標を出力させるＡＩ処理部と、検出２次元座標と対応する深度情報に基づいて対象物品の実際の位置を検出する位置検出部と、を備える。【選択図】図２

Description

本発明は、対象物品がばら積みされたばら積み体から少なくとも１つの対象物品の位置を検出する位置検出装置に関するものである。

金属加工等が行われる工場では、同一の寸法や形状を有するワーク等をロボットにピッキングさせ、各種加工装置等への搬出や搬入を自動化することが行われている。このようなワークは例えば位置や向きが整えられていないとともに、少なくとも一部のワークが積層したばら積みの状態のこともあり、ロボットによりピッキングできるようにするには、まずワークの位置を検出する必要がある。例えば多数のワークからなるばら積み体を撮像し、撮像画像中のワークの輪郭線や頂点等を抽出し、ワークのＣＡＤデータ等とパターンマッチングを行うことでピッキングの対象となるワークの実際の位置が検出される。

上記のような位置検出方法は、ワークがほぼ同じ形状をしている場合にはうまく機能することもあるが、例えば野菜、果物、調理物といった同じ種類であっても少しずつ形状や大きさが異なる不定形の対象物品がばら積みされている場合には非常に適用しにくい。

このため、特許文献１では不定形の対象物品がばら積みされている場合には、撮像されるレンジを逐次変更して、ばら積み体の頂点から底辺までが分割された各レンジで撮像を行い、多数の撮像画像によりばら積み体を断層的に解析することで対象物品の位置を検出することが提案されている。

また、ばら積み体が撮像された１枚の撮像画像中において、不定形の各対象物品の輪郭線等を自動的に検出して、位置を検出できるようにするために、ＡＩを利用することも試みられている。

しかしながら、このようなシステムを安価に構成することは非常に難しく、例えば農産物の加工工場や、各種食品工場のように単価の低い物品を取り扱う業種の場合には、人間にピッキングをさせたほうが経済合理的であると判断されることが多い。

例えば、ばら積み体を断層的に撮像して、多数の撮像画像に基づく解析が行えるようにするには、カメラの位置決め機構や高精度のオートフォーカス機構を導入しなくてはならなくなり、ロボットピッキングの導入費用が高額になってしまう。

一方、ばら積み体を撮像した撮像画像から、それぞれ色、形状、大きさが少しずつ異なる野菜を個別に識別できるような高度なＡＩを構築しようとすると、高い演算能力が必要となり、まずハードウェアの構成価格が上昇してしまう。また、野菜が積層されて一部が重なっている部分等もエラーなく識別できるようにするには、例えば教師データとして、それぞれ状態の異なるばら積み体の撮像画像を大量に用意し、高度なＡＩを用いた機械学習により学習モデルを生成する必要がある。このようなばら積み体の教師データを集めることは自動化しにくく困難かつ煩雑であるため、ばら積み体から各個別の対象物品を識別できる学習モデルを生成するには手間と費用が大きくかかってしまう。

特開２０１９－１１７０６８号公報

本発明は上述したような問題に鑑みてなされたものであり、それほど大きな演算負荷がかからず、安価なハードウェア構成であっても不定形の対象物品からなるばら積み体から対象物品の位置を１枚の撮像画像から検出することが可能な位置検出装置を提供することを目的とする。

すなわち、本発明に係る位置検出装置は、複数の不定形の対象物品がばら積みされたばら積み体から少なくとも１つの対象物品の位置を検出する位置検出装置であって、前記ばら積み体を所定の撮像位置から撮像した撮像画像と、前記撮像画像を構成する各画素に対応する深度情報とを取得する撮像機構と、前記対象物品が単体で撮像された教師画像を入力とし、前記教師画像中における前記対象物品の位置を示す２次元座標を出力とするように機械学習により生成された学習モデルと、前記ばら積み体において前記撮像位置から最も近い地点に基づいて設定される所定の抽出レンジ内の深度情報を有する画素を前記撮像画像から抽出して、各画素が前記撮像画像と対応する２次元座標と深度情報を有する抽出画像を生成する画像前処理部と、前記学習モデルに前記抽出画像を入力して、前記撮像画像中又は前記抽出画像中における前記対象物品の位置を示す検出２次元座標を出力させるＡＩ処理部と、前記検出２次元座標と、それに対応する深度情報に基づいて前記対象物品の実際の位置を検出する位置検出部と、を備えたことを特徴とする。

また、本発明に係る位置検出方法は、複数の不定形の対象物品がばら積みされたばら積み体から少なくとも１つの対象物品の位置を検出する位置検出方法であって、前記ばら積み体を所定の撮像位置から撮像した撮像画像と、前記撮像画像を構成する各画素に対応する深度情報とを取得することと、前記対象物品が単体で撮像された教師画像を入力とし、前記教師画像中における前記対象物品の位置を示す２次元座標を出力とするように機械学習により学習モデルを生成することと、前記ばら積み体において前記撮像位置から最も近い地点に基づいて設定される所定の抽出レンジ内の深度情報を有する画素を前記撮像画像から抽出して、各画素が前記撮像画像と対応する２次元座標と深度情報を有する抽出画像を生成することと、前記学習モデルに前記抽出画像を入力して、前記撮像画像中又は前記抽出画像中における前記対象物品の位置を示す検出２次元座標を出力させることと、前記検出２次元座標と、それに対応する深度情報に基づいて前記対象物品の実際の位置を検出することと、を備えたことを特徴とする。

このようなものであれば、前記ばら積み体において前記撮像位置から最も近い地点に基づいて設定される所定の抽出レンジ内の深度情報を有する画素を前記撮像画像から抽出して、前記抽出画像を生成するので、前記抽出画像には前記対象物品が１つだけ含まれるようにして、対象物品が重なりあっている部分がほとんど存在しないようにできる。このため、前記対象物品が単体で撮像された教師画像による機械学習により生成された簡易な学習モデルであっても、エラーを生じさせることなく、画像中の対象物品の２次元座標を出力することがしやすくなる。したがって、高度なＡＩを構築する必要がないので、それほど演算能力の高くない安価なハードウェアを用いても、前記撮像画像に基づいてばら積み体における少なくとも１つの前記対象物品の位置を検出することができる。また、学習モデルを生成するためにそれぞれ状態の異なるばら積み体の教師画像を用意する必要もないので、学習モデルの生成に関する手間や費用も低減できる。これらのことから例えばロボットピッキングの導入費用を従来よりも大幅に低減することが可能となる。

例えば前記ばら積み体を構成する多数の前記対象物品のうちピッキングしやすい位置にあるとともに、ピッキングした後に大きな荷崩れ等が生じにくい位置にあるものの位置が優先的に検出されやすくするには、前記撮像機構が、前記ばら積み体の上方から当該ばら積み体を撮像するように構成されており、前記深度情報が、前記ばら積み体における高さ情報であり、前記抽出レンジが、前記ばら積み体において最も高い地点に基づいて設定されるものであればよい。

前記抽出画像中には前記ばら積み体から１つの前記対象物品のみが抽出されやすくするには、前記抽出レンジが、前記対象物品の最大寸法の１／２以下に設定されていればよい。

前記撮像機構を安価に構成したことにより、撮像画像中において各方向の分解能が大きく異なる場合でも、ロボットピッキングに必要となる精度で前記対象物品の実際の位置を検出できるようにするには、前記位置検出部が、基準長さ寸法と、所定の深度情報を有する画素の画素数との比率である基準分解能を記憶する分解能記憶部と、前記撮像画像中における深度情報に応じた前記基準分解能の補正値を記憶する補正値記憶部と、前記検出２次元座標、前記基準分解能、及び、前記補正値に基づいて前記対象物品の実際の座標を算出する位置算出部をさらに備えたものであればよい。

例えば撮像機構に対する前記ばら積み体の位置が厳密に定められていなくても、前記撮像画像ごとに応じた前記基準分解能と前記補正値を得て、対象物品の実際の位置を精度良く検出できるようにするには、前記撮像画像が、前記ばら積み体とともに前記基準長さ寸法を有する基準体をさらに含むように撮像されており、前記位置検出部が、前記撮像画像中における基準体の画素数、基準体の深度情報、及び、前記基準長さ寸法に基づいて、前記基準分解能及び前記補正値を算出するキャリブレーション部をさらに備えたものであればよい。

前記撮像機構が、前記撮像機構が、２次元エリアセンサ、赤外線パターン照射器、及び、赤外線カメラを備えた深度カメラであれば、安価な構成でありながら前記ばら積み体から前記対象物品の位置を検出することが可能となる前記撮像画像を得られる。

前記撮像機構が、非テレセントリック光学系として構成されていれば、安価な光学系として構成できるので、ロボットピッキングの導入費用をさらに低減できる。また、前記撮像機構が、１つの筐体で２次元エリアセンサ、赤外線パターン照射器、及び、赤外線カメラを備えた深度カメラであれば、安価な光学系として構成できるので、ロボットピッキングの導入費用をさらに低減できる。

例えば対象物品をロボットピッキングにより搬送するだけでなく、対象物品の重量に応じて分類したり、必要とされる内容量の組み合わせを実現させたりするには、前記学習モデルが、重量が既知の前記対象物品が単体で撮像された教師画像を入力とし、前記教師画像中における前記対象物品の位置を示す２次元座標と、前記対象物品の重量を出力とするように機械学習により生成されており、前記ＡＩ処理部が、前記学習モデルに前記抽出画像を入力して、前記撮像画像中又は前記抽出画像中における前記対象物品の位置を示す検出２次元座標とともに、前記対象物品の検出重量を出力させるように構成されていればよい。

形状、大きさ、色、重量等のパラメータのばらつきがあり、本発明に係る位置検出装置の検出対象として好適な例としては、前記対象物品が、キャベツ、じゃがいも、又は、唐揚げのいずれかが挙げられる。

本発明に係る位置検出装置と、前記位置検出部で検出された位置に基づいて前記ばら積み体から前記対象物品をピッキングするピッキング装置と、をさらに備えたピッキングシステムであれば、不定形の対象物品がばら積みされた状態でもロボットピッキングを安価に導入することが可能となる。

前記位置検出装置により、例えば前記ばら積み体において最も高い位置にある対象物品の実際の位置だけが検出され続けるようにして、位置検出精度を高く保てるようにするには、前記位置検出装置が、撮像位置から最も近い前記対象物品の位置だけを検出するように構成されており、前記位置検出装置による前記対象物品の位置検出と、前記ピッキング装置による前記対象物品のピッキングとが交互に行われるように構成されていればよい。

例えば既存の位置検出装置において、プログラムを更新することにより本発明に係る位置検出装置と同様の効果を享受できるようにするには、複数の不定形の対象物品がばら積みされたばら積み体を所定の撮像位置から撮像した撮像画像と、前記撮像画像を構成する各画素に対応する深度情報とを取得する撮像機構を備え、前記ばら積み体から少なくとも１つの対象物品の位置を検出する位置検出装置に用いられるプログラムであって、前記対象物品が単体で撮像された教師画像を入力とし、前記教師画像中における前記対象物品の位置を示す２次元座標を出力とするように機械学習により生成された学習モデルと、前記ばら積み体において前記撮像位置から最も近い地点に基づいて設定される所定の抽出レンジ内の深度情報を有する画素を前記撮像画像から抽出して、各画素が前記撮像画像と対応する２次元座標と深度情報を有する抽出画像を生成する画像前処理部と、前記学習モデルに前記抽出画像を入力して、前記撮像画像中又は前記抽出画像中における前記対象物品の位置を示す検出２次元座標を出力させるＡＩ処理部と、前記検出２次元座標と、それに対応する深度情報に基づいて前記対象物品の実際の位置を検出する位置検出部としての機能をコンピュータに発揮させる位置検出装置用プログラムを用いればよい。

なお、位置検出装置用プログラムは、電子的に配信されるものであってもよいし、ＣＤ、ＤＶＤ、ＨＤＤ、ＳＤＤ等のプログラム記録媒体に記録されているものであってもよい。

このように本発明に係る検出装置は、前記撮像画像から所定の抽出レンジの深度情報を有する画素だけを抽出した抽出画像を生成し、１つの対象物品だけが存在する可能性が高い画像にしてから、学習モデルに基づいて画像中の対象物品の位置を示す２次元画像を得ているので、ばら積み体全体から個別の対象物品を識別できる学習モデルを構築したり、そのような学習モデルを生成できる高度なＡＩを利用したりする必要がない。したがって、学習モデルの生成に必要となる手間や費用を大幅に低減しつつ、安価なハードウェアを利用して不定形の対象物品からなるばら積み体から１つの対象物品の位置を検出することが可能となる。このため、ロボットピッキングシステムを導入するのに必要となる初期費用を抑えることができ、例えば単価の低い製品を取り扱う工場等であってもロボットピッキングシステムを導入することが可能となる。

本発明の第１実施形態における位置検出装置、及び、それを用いたピッキングシステムを示す模式図。 第１実施形態のピッキングシステムの構成を示す模式図。 メッシュコンテナ内にばら積みされたキャベツを撮像した撮像画像の模式図。 第１実施形態における位置検出装置の構成を示す機能ブロック図。 第１実施形態において抽出画像を生成する際に使用される抽出レンジの概念を示す模式図。 抽出画像の一例を示す模式図。 位置検出が完了し、境界ボックスが付加された撮像画像の例を示す模式図。 撮像画像中における各高さでの分解能の違いとその関係を示す模式図。 第１実施形態のピッキングシステムの動作を示すフローチャート。 第２実施形態のピッキングシステムにおける対象物品の例。 第２実施形態の位置検出装置の構成を示す機能ブロック図。

本発明の第１実施形態における位置検出装置１００、及び、それを用いたピッキングシステム２００について各図を参照しながら説明する。

第１実施形態のピッキングシステム２００は、不定形の対象物品Ｗ１がばら積みされたばら積み体Ｗから対象物品Ｗ１の実際の位置を撮像画像Ｐ１に基づいて検出し、検出された位置に基づいてロボット４により対象物品Ｗ１をピッキングするものである。図１に示すように第１実施形態では対象物品Ｗ１は例えばキャベツであり、概略直方体形状をなすメッシュコンテナＭＣ内にばら積みされたキャベツをロボット４で１つずつピッキングして、例えば人間や専用機械によりキャベツがカットやスライスされるベルトコンベアＢＣラインへと搬送される。メッシュコンテナＭＣの大きさは前工程の洗浄処理等に合わせて規格化されており、例えば幅Lx×奥行きLy×高さHが６０×４５.５×３３．４ｃｍの大きさを有するものである。このメッシュコンテナＭＣ内にキャベツがほぼ満杯となるまでばら積みされており、従来であれば人間がメッシュコンテナＭＣ内にあるキャベツを取り出してベルトコンベアＢＣ上に載置していた。第１実施形態のピッキングシステム２００は、この人間によるピッキングをロボット４によるピッキングに置き換えるためのものである。

ここで、本明細書における「ばら積み」とは、例えば位置の検出対象となる対象物品Ｗ１の向きや位置が予め定められておらず、対象物品Ｗ１同士を積み重ねることを許容する積み方を言う。第１実施形態ではメッシュコンテナＭＣ内に多数のキャベツが投入されることによって、成り行きで各キャベツの向きや位置が決定される積み方となる。なお、キャベツは概略楕円球体状をなすものの、その形状、大きさには工業製品等と比較して大きなばらつきがある不定形のものであるため、多数の球体による最密充填のように一意の充填状態とはならない。第１実施形態では、メッシュコンテナＭＣ内にキャベツを流し込むことで自然に実現される積み上げ状態をばら積みの一例としている。

第１実施形態のピッキングシステム２００は、図２に示すようにメッシュコンテナＭＣ内におけるキャベツの位置を検出する位置検出装置１００と、位置検出装置１００で検出されたキャベツの位置に基づいてキャベツをピッキングして、ベルトコンベアＢＣ上に設定された移送先位置へと移送するように構成されたピッキング装置１０１と、を備えている。

位置検出装置１００は、キャベツのばら積み体Ｗを上方から撮像する撮像機構１と、撮像機構１で得られた撮像画像Ｐ１に基づいてメッシュコンテナＭＣ内のキャベツの位置を算出する位置演算器２と、を備えている。

撮像機構１は、例えばメッシュコンテナＭＣの直上から真下を見下ろすように設けられており、メッシュコンテナＭＣ全体とキャベツのばら積み体Ｗの全体が１つの撮像画像Ｐ１内に含まれるように設定されている。撮像画像Ｐ１は各画素が色情報や輝度情報だけでなく、各画素に撮像されているメッシュコンテナＭＣの一部やキャベツの一部の深度情報（撮像機構１からの距離に関する情報）を含んでいる。

より具体的には、撮像機構１はいわゆる深度カメラであって、メッシュコンテナＭＣ及びキャベツのばら積み体Ｗが撮像された２次元画像を生成する２次元エリアセンサ１１と、撮像対象であるメッシュコンテナＭＣ及びキャベツのばら積み体Ｗに例えば多数のドットからなる赤外線パターンを照射する赤外線パターン照射器１２と、赤外線パターンが照射されている対象を撮像し、距離画像を出力する赤外線カメラ１３と、を備えている。

２次元エリアセンサ１１は、例えば受光素子と、撮像対象を受光素子上に結像させる非テレセントリック光学系を備えたものである。２次元エリアセンサ１１で生成される撮像画像Ｐ１は、レンズによる歪みが生じることになる。例えば図３の撮像例に示すように直方体状をなすメッシュコンテナＭＣを直上から真下に向かって撮像すると、上側の各辺の内側に底面側の各辺も同時に撮像されることになる。つまり、２次元画像中においてメッシュコンテナＭＣの上部側に存在するものは大きく撮像され、底面側に存在するものは小さく撮像されることになる。

赤外線カメラ１３で撮像される距離画像には、各点までの距離に応じてドットパターンの歪みが生じており、その歪みに基づいて２次元エリアセンサ１１で撮像される撮像画像Ｐ１の各画素に撮像されている点までの距離を算出することができる。

位置演算器２は、ＣＰＵ、メモリ、Ａ／Dコンバータ、Ｄ／Ａコンバータや各種入出力手段等を備えたいわゆるコンピュータであって、メモリに格納されている位置検出装置１００用プログラムが実行されていることにより、図３の機能ブロック図に示すように少なくとも３次元画像生成部２１、画像前処理部２２、学習モデル２３、ＡＩ処理部２４、位置検出部２Ｐ、分解能記憶部２５、補正値記憶部２６、キャリブレーション部２８、位置算出部２７としての機能を発揮するように構成されている。ここで、第１実施形態の位置演算器２は撮像機構１で得られた撮像画像Ｐ１から最も高い位置にある１つのキャベツをＡＩによって抽出して、キャベツが撮像されている画素や深度情報に基づいて実際の位置を推定する。このような処理を行うためのＡＩエンジンとしてはインテル（登録商標）社のフリーソフトであるOpenVINO（登録商標）を使用しており、専用のアクセラレータを搭載したボードＰＣによって各機能が実現される。すなわち、位置演算器２を構成するハードウェア及びソフトウエアは従来と比較して非常に安価な構成となっている。

各部について説明する。
３次元画像生成部２１は、２次元エリアセンサ１１で生成された撮像画像Ｐ１と、赤外線カメラ１３で生成された距離画像に基づいて、撮像画像Ｐ１の各画素に対応する深度情報を付加する。
学習モデル２３は、対象物品Ｗ１であるキャベツが単体で撮像された教師画像を入力とし、教師画像中におけるキャベツの位置を示す２次元座標を出力とするようにディープラーニング等の機械学習により生成されたものである。ここで、学習モデル２３は複数のキャベツが同時に重なりあった状態から各キャベツを抽出するようには機械学習を行っていない。したがって、撮像機構１で得られた撮像画像Ｐ１をそのまま学習モデル２３に対して入力しても、各キャベツの境界をうまく認識できず、重なりあったキャベツを１つのキャベツとして誤認識してしまうこともある。すなわち、学習モデル２３はそれほど高度なＡＩとしては構成されていない。

画像前処理部２２は、前述したような簡易な学習モデル２３であっても１つのキャベツを抽出できるように撮像画像Ｐ１の前処理を行う。すなわち、画像前処理部２２は、キャベツのばら積み体Ｗにおいて撮像位置から最も近い地点に基づいて設定される所定の抽出レンジ内の深度情報を有する画素を撮像画像Ｐ１から抽出して、各画素が撮像画像Ｐ１と対応する２次元座標と深度情報を有する抽出画像を生成するように構成されている。第１実施形態では画像前処理部２２は、図５に示すように各画素に紐付けられている深度情報に基づいて、撮像画像Ｐ１中のキャベツのばら積み体Ｗにおいて最も高い地点から、所定距離下方までの深度情報を有する画素を抽出して、それら以外の深度情報を有する画素についてはマスクして図６に示すような抽出画像を生成する。ここで、抽出レンジは、キャベツの代表的な最大寸法の１／２に設定されている。例えば代表的なキャベツの横幅又は高さの半分程度に抽出レンジは設定される。すなわち、抽出画像においてマスクがかけられない領域は最も高い位置にあるキャベツと同程度の高さにあるキャベツだけとなり、最も高い位置にあるキャベツから一層下側にあるキャベツについてはマスクがかけられた状態となる。このため、キャベツ同士の上下方向の重なっている部分をほぼ無くすことができ、簡易な学習モデル２３であっても最も高い位置にあるキャベツだけを抽出しやすくなる。なお、図３及び図６に示すように撮像画像Ｐ１と抽出画像において対象物品Ｗ１であるキャベツの撮像されている座標は同一となるように構成されており、抽出画像中のキャベツの位置を示す２次元座標を算出できれば、撮像画像Ｐ１中における２次元座標として使用できるように構成されている。

ここで、第１実施形態の学習モデル２３について詳述する。学習モデル２３は、対象物品Ｗ１であるキャベツが単体で撮像された教師画像を入力とし、教師画像中における前記対象物品Ｗ１の位置を示す２次元座標を出力とするようにディープラーニング等の機械学習により生成されたものである。ここで、各教師画像に含まれるキャベツについてはその大きさ、形、色等のパラメータの少なくとも一部が異なっているものが大部分を占める。また、教師画像については第１実施形態の位置検出装置１００と同じ構成の機器を使用して撮像される。学習モデル２３は、例えば教師画像中のキャベツの輪郭線を抽出し、教師画像の画素の配列方向であるＸ方向とＹ方向に平行な辺を有し、輪郭線に接する正方形又は長方形をなす境界ボックスを算出する。学習モデル２３は、算出された境界ボックスＢＬの各頂点、図心、重心等を教師画像中におけるキャベツの２次元座標として算出する。

ＡＩ処理部２４は、画像前処理部２２で生成された抽出画像を学習モデル２３に対して入力して、撮像画像Ｐ１中又は抽出画像中における対象物品Ｗ１であるキャベツの位置を示す検出２次元座標を出力させるように構成されている。なお、この検出２次元座標は、撮像画像Ｐ１中におけるキャベツの撮像されている画素の平面座標であるため、ピッキング装置１０１に対してピッキング位置を指定するには、ピッキング装置１０１に設定されている座標系に対応する実際の位置を示す座標へ変換する必要がある。また、第１実施形態ではＡＩ処理部２４は図６に示す抽出画像についてＡＩ処理を行い、図７に示すように最も高い位置にあるキャベツを囲う境界ボックスＢＬを抽出画像の元になった撮像画像Ｐ１上に重畳させる。

位置検出部２Ｐは、ＡＩ処理部２４から出力される検出２次元座標と、それに対応する深度情報に基づいて対象物品Ｗ１であるキャベツの実際の位置を検出する。第１実施形態の位置検出部２Ｐは、非テレセントリック光学系を用いて撮像されたことにより撮像画像Ｐ１に歪みが存在し、撮像されているキャベツの高さによって実際の水平方向位置の検出分解能が異なっていても、正確に実際の位置を算出するように構成されている。

具体的には位置検出部２Ｐは、基準長さ寸法と、所定の深度情報を有する画素の画素数との比率である基準分解能を記憶する分解能記憶部２５と、撮像画像Ｐ１中における深度情報に応じた基準分解能の補正値を記憶する補正値記憶部２６と、検出２次元座標、基準分解能、及び、補正値に基づいて対象物品Ｗ１であるキャベツの実際の座標を算出する位置算出部２７を備えている。

第１実施形態ではその形状と寸法が既知であるメッシュコンテナＭＣに基づいて基準長さ寸法が設定される。すなわち、撮像画像Ｐ１中におけるＸ方向の基準寸法はメッシュコンテナＭＣの幅寸法Lxであり、Ｙ方向の基準寸法はメッシュコンテナＭＣの奥行き寸法Lyであり、Ｚ方向の基準寸法はメッシュコンテナＭＣの高さ寸法Ｈである。

ところで、図３等の撮像画像Ｐ１に示されるように第１実施形態では非テレセントリック光学系で撮像されているため、直方体形状をなすメッシュコンテナＭＣの上辺と底辺が同時に撮像される。また、撮像画像Ｐ１中におけるメッシュコンテナＭＣの１つの側面部に着目すると、図８の模式図に示すように概略台形状をなしていることがわかる。すなわち、撮像画像Ｐ１中においては高さ（深度情報）に応じて、Ｘ方向又はY方向の分解能が異なる。具体的には撮像画像Ｐ１中における上辺側のメッシュコンテナＭＣの幅寸法（画素数）をAxとし、底辺側のメッシュコンテナＭＣの幅寸法（画素数）をBxとすると、それぞれの分解能はLx/Ax又はLx/Bxとなる。なお、Y方向についても同様であり、上辺側と底辺側の分解能はそれぞれLy/Ay又はLｙ/Bｙとなる。このため、撮像画像Ｐ１中におけるキャベツの座標から実際の位置を示す座標を算出するには、キャベツの高さに応じた分解能を用いて座標変換を行う必要がある。第１実施形態では、例えば撮像画像Ｐ１中におけるメッシュコンテナＭＣの上辺側における分解能Lx/Ax、Ly/AyをX方向及びY方向の基準分解能として分解能記憶部２５は記憶している。

次に任意の高さにおける撮像画像Ｐ１中のX方向又はY方向の分解能について検討する。図８に示すように最高点である高さｈでのメッシュコンテナＭＣの長さに相当する撮像画像Ｐ１中の長さ（画素数）は、２つの台形間の相似関係より、（ｈ/H）＊Aiとなる（以下、ｉはｘ，ｙを代表するものとする）。この撮像画像Ｐ１中の長さ（ｈ/H）＊Aiであっても本来のメッシュコンテナＭＣの幅寸法又は奥行き寸法はLiであることから、高さｈにおける分解能は（H/ｈ）Li/Aiと表すことができる。また、基準分解能はLi/Aiであることから、高さｈでの分解能の補正値はメッシュコンテナＭＣの高さ寸法Ｈを撮像されている対象物品Ｗ１の高さｈで割った値であるH/ｈであることがわかる。したがって、補正値記憶部２６は、撮像画像Ｐ１中における深度情報に応じた基準分解能の補正値としてH/ｈを記憶している。

位置算出部２７は、例えばメッシュコンテナＭＣの底面側における１つの頂点を原点としてキャベツの実際の位置座標を算出する。まず原点を基準として、ＡＩ処理部２４から出力された撮像画像Ｐ１中における最高点にあるキャベツの位置を示す検出２次元座標から、撮像画像Ｐ１中におけるＸ方向及びY方向の長さΔi（画素数）を算出する。位置算出部２７は、高さｈにあるキャベツについて算出された各長さΔiに基準分解能Li/Ai及び補正値H/ｈを乗じることで実際の位置におけるX座標及びY座標を算出する。なお、Z座標については赤外線カメラ１３で得られた深度情報をそのまま用いれば良い。

ここで、基準分解能及び補正値については予め記憶させた固定された値を使用してもよいが、撮像画像Ｐ１においてキャベツのばら積み体Ｗとともに撮像されているメッシュコンテナＭＣに基づいて逐次校正されるようにしてもよい。第１実施形態では位置検出部２Ｐは、撮像画像Ｐ１中における基準体であるメッシュコンテナＭＣの画素数、メッシュコンテナＭＣの深度情報、及び、基準長さ寸法であるメッシュコンテナＭＣの既知の寸法に基づいて、基準分解能及び補正値を算出するキャリブレーション部２８をさらに備えている。キャリブレーション部２８は、撮像画像Ｐ１中におけるメッシュコンテナＭＣの辺や頂点等の特徴点を抽出する。例えば撮像画像Ｐ１中におけるメッシュコンテナＭＣにおける上側の幅寸法Ax及び奥行寸法Ayと各辺の高さｈが抽出される。ここで基準長さ寸法Lx、Lyは既知であるので、抽出された各長さから基準分解能Li/Aiや補正値H/ｈをキャリブレーション部２８は算出する。このように、撮像画像Ｐ１中にばら積み体Ｗだけでなく、定形でかつその寸法が既知の基準体が含まれていればその場でキャリブレーション部２８が実際の位置の算出に必要となる基準分解能及び高さに対する補正値を算出することができる。

次にピッキング装置１０１について説明する。
図２に示すようにピッキング装置１０１は、先端部にアーム先端に各種ハンド４１を装着可能な多関節ロボット４と、当該ロボット４を制御するロボット制御器３と、を備えている。

多関節ロボット４は、各関節に設けられたモータの回転角を検出するエンコーダを備えており、各エンコーダの出力からハンド４１の位置を検出可能に構成されている。また、ロボット制御器３からの入力に応じて各モータの回転角を制御し、指定されている位置にハンド４１を移動させる。

ロボット制御器３は、ロボット４のハンド４１についてメッシュコンテナＭＣ内にあるキャベツをピックアップするピックアップ位置と、ピッキングされたキャベツをベルトコンベ上の所定位置でドロップオフするドロップオフ位置との間で少なくとも移動するように制御する。ドロップオフ位置については固定されているため予めオペレータにより入力される移送先指令により指定される。一方、ピックアップ位置については、位置検出装置１００により推定されるメッシュコンテナＭＣ内において最も高い位置にある対象物品Ｗ１であるキャベツの位置が逐次入力される。なお、ロボット制御器３に指定されたピックアップ位置及びドロップオフ位置へのハンド４１を移動させる制御構成については既存の制御手法を用いることができる。

このように構成されたピッキングシステム２００の動作について図９のフローチャートを参照しながら説明する。

まず、位置検出装置１００の撮像機構１によってメッシュコンテナＭＣ内にばら積みされているキャベツが撮像される（ステップＳ１）。

３次元画像生成部２１は、２次元エリアセンサ１１で撮像される撮像画像Ｐ１の各画素に、赤外線カメラ１３で撮像される距離画像に基づいて深度情報を付加し、３次元情報を含む撮像画像Ｐ１とする（ステップＳ２）。

次に画像前処理部２２は、撮像画像Ｐ１の各画素に紐付けられた深度情報に基づいて、最も高い位置にあるキャベツを特定し、その最高点から所定の抽出範囲内の深度情報を有する画素だけを抽出し、その他をマスクした抽出画像を生成する（ステップＳ３）。ここで、抽出画像には理想的には最も高い位置にあるキャベツもしくはそのキャベツを含む層だけが残り、上層にあるキャベツと下層にあるキャベツとの重なりが大幅に低減された状態となる。

ＡＩ処理部２４は、単体のキャベツが撮像された教師画像に基づいてその外縁や位置を検出するように学習行った学習モデル２３に対して、抽出画像を入力して、撮像画像Ｐ１における検出２次元座標を推定する（ステップＳ４）。

位置検出部２Ｐは、ＡＩ処理部２４で算出された検出２次元座標と、撮像画像Ｐ１における基準分解能と高さに応じた補正値に基づいて実際のキャベツの位置を算出し（ステップＳ５）、その位置を目標となるピックアップ位置としてロボット制御器３に対して入力する（ステップＳ６）。

ロボット制御器３及びロボット４は位置又は回転角のフィードバック制御によって、位置検出装置１００によって指定されたピックアップ位置にハンド４１を移動させる（ステップＳ７）。

次にハンド４１がピックアップ位置に到着すると、ロボット制御器３は所定のピックアップ動作をハンド４１に実行させる（ステップＳ８）。例えばハンド４１がキャベツを複数の爪からなる把持ハンド４１である場合には、位置検出装置１００において算出された境界ボックスＢＬの対角上の頂点に把持用の各爪が挿入されるようにロボット制御器３はハンド４１を制御する。このようにすれば、ばら積みされている各キャベツの隙間に爪を入り込む確率を高くすることができ、ハンド４１がキャベツを把持するのを失敗しにくくできる。なお、ハンド４１が突き刺し用の爪を備えている場合には、境界ボックスＢＬの重心位置に爪が突き刺さるように構成してもよい。

ハンド４１による最高点にあるキャベツの把持が完了すると、ロボット制御器３は予め固定されているドロップオフ位置までハンド４１を移動させて所定のドロップオフ動作をロボット４に対して実行させる（ステップＳ９）。

この結果、メッシュコンテナＭＣ内からベルトコンベアＢＣ上への１つのキャベツの移動が完了する。メッシュコンテナＭＣ内のキャベツの全てについて搬送が完了していない場合には（ステップＳ１０）、再びステップＳ１からＳ９までの動作がメッシュコンテナＭＣ内から全てのキャベツがピックアップされるまで繰り返される。

すなわち、第１実施形態のピッキングシステム２００では位置検出器がばら積み体Ｗにおいて最も高い位置にあるキャベツを検出する動作と、ピッキング装置１０１によるキャベツの搬送動作が交互に行われるように構成されている。

このように構成された第１実施形態の位置検出装置１００、及び、ピッキングシステム２００によれば、ばら積み体Ｗの撮像画像Ｐ１をそのまま使用してＡＩによって全てのキャベツの位置を一度に検出するのではなく、撮像画像Ｐ１から一番高い位置にあるキャベツが抽出された抽出画像に基づいてＡＩによる処理を行い１つのキャベツの位置検出を行うことができる。

抽出画像中では複数のキャベツが上下方向に対して重なり合う部分を極力減らすことができるので、高度なＡＩを用いなくてもその輪郭等を誤検出しにくくできる。したがって、ＡＩ処理部２４で用いられる学習モデル２３については、キャベツが単体で撮像された教師画像に基づいてディープラーニングを行うような簡易かつ膨大な計算資源を必要としないものにでき、ＡＩを用いたシステムの導入費用を大幅に低減できる。

また、位置検出部２Ｐでは各高さにおける分解能の違いを補正してキャベツの実際の位置を算出するように構成されているので、撮像画像Ｐ１においてレンズによる歪みが発生していても構わない。このため、高価な撮像光学系を導入する必要がない。

これらのことから、ＡＩを用いたピッキングシステム２００であっても従来と比較して大幅に導入費用を抑えることができ、例えば野菜の加工工場等のように対象物品Ｗ１の単価が低い用途であっても十分に利用可能なものにできる。

第１実施形態の位置検出装置１００、及び、ピッキングシステム２００の変形例について説明する。第１実施形態では、撮像画像Ｐ１中にその寸法及び形状が既知の基準体としてメッシュコンテナＭＣが含まれるように撮像していたが、撮像画像Ｐ１中に基準体が含まれないように撮像してもよい。このような場合には、撮像環境を固定しておき、基準分解能及び深度情報に応じた補正値については別途予め実測しておいて、固定値として使用し続けるようにすればよい。

撮像機構１はばら積み体Ｗの直上から真下に向かって撮像するように構成されていたが、例えば斜め上方からばら積み体Ｗを撮像するように撮像機構１を構成してもよい。この場合、深度情報は撮像光軸に沿った離間距離に対応することになるが、第１実施形態と同様に撮像機構１から最も近い位置にある対象物品Ｗ１の位置を撮像画像Ｐ１に基づいて検出することができる。

第１実施形態ではばら積み体Ｗにおいて最も高い位置にあるキャベツの位置だけを推定し、搬送を行うようにしていたが、例えば抽出画像中においてマスクが施されていない領域が複数ある場合にはそれぞれの対象物品Ｗ１について並行して位置検出を行っても良い。また、最も高い位置にある対象物品Ｗ１を最優先でピックアップするのではなく、２番目や３番目に高い位置にある対象物品Ｗ１を先にピックアップしてもよい。複数の対象物品Ｗ１の位置を同時に検出できた場合には、１つの対象物品Ｗ１をピックアップした後に再度撮像画像Ｐ１を取得して、前の画像とピックアップした部分以外に変化がない場合には既に算出している他の対象物品Ｗ１の位置に基づいてピックアップ動作を繰り返しても良い。このようにすれば、位置演算の負荷を低減しつつ、ばら積み体Ｗが荷崩れを起こしている場合には再度位置検出を行い直して確実なピックアップを実現できる。

次に本発明の第２実施形態における位置検出装置１００、及び、それを用いたピッキングシステム２００について各図を参照しながら説明する。

第２実施形態では、ピッキングの対象となる不定形の対象物品Ｗ１が図１０に示すように唐揚げやじゃがいもであり、ばら積みされた対象物品Ｗ１の位置だけでなくその重量を推定して、ばら積み体Ｗからいくつかの対象物品Ｗ１を搬送して予め定められた所定量に自動的に組み合わせるように構成されている。

第２実施形態のピッキングシステム２００の基本構成は図２と同様であるが、位置演算器２における学習モデル２３とＡＩ処理部２４の構成が第１実施形態と異なっている。

すなわち、学習モデル２３は、重量が既知の対象物品Ｗ１が単体で撮像された教師画像を入力とし、教師画像中における前記対象物品Ｗ１の位置を示す２次元座標だけでなく、対象物品Ｗ１の重量を出力とするように機械学習により生成されている。

さらに、ＡＩ処理部２４は、前述した２次元座標と重量を出力するように機械学習を行った学習モデル２３に抽出画像を入力して、撮像画像Ｐ１中又は抽出画像中における対象物品Ｗ１の位置を示す検出２次元座標とともに、対象物品Ｗ１の検出重量を出力させるように構成されている。

ロボット制御器３は、撮像画像Ｐ１に基づいて推定された位置に基づいてピッキング位置を設定するとともに、推定された重量に応じてドロップオフ位置を設定する。例えば対象物品Ｗ１がパック詰めされるパックが複数用意されており、各パックに載置される対象物品Ｗ１の総重量が予め定められた所定量以上となるように逐次ピッキング位置が設定される。例えば、これまでの搬送履歴を記憶しておき、ピッキングされて搬送が完了した対象物品Ｗ１の総重量に応じてドロップオフ位置が適宜設定されるようにする。

このように第２実施形態の位置検出装置１００、及び、ピックアップシステムであれば、不定形の対象物品Ｗ１について重量を加味した自動搬送が可能となり、例えばパッケージングの用途にも応用することができる。

その他の実施形態について説明する。
撮像機構１については各実施形態において説明したものに限られず、ばら積み体Ｗを所定の撮像位置から撮像した撮像画像Ｐ１と、撮像画像Ｐ１を構成する各画素に対応する深度情報とを取得するものであればよい。本発明はそれほど高価な撮像機構１を用いなくてもその機能を十分に実現できるものであるが、撮像機構１として様々な３Ｄカメラ等を用いることができる。３Ｄカメラとしては既存の方式のものを使用することができ、ステレオ方式や、ToF方式、構造化照明方式等様々なものを利用できる。

学習モデル２３については簡易なものを用いることが好ましいが、必要に応じて高度な方式のものを使用してもよい。また、位置演算器２の物理構成については実施形態で説明したものは一例であって、例示した物以外の構成であっても構わない。

位置演算器２は、撮像画像Ｐ１に基づいて対象物品Ｗ１の位置を検出するものであればよく、重量だけでなく、その他の対象物品Ｗ１の情報を推定するようにしてもよい。例えば対象物品Ｗ１の色等に基づいて、その鮮度や糖度等を推定して、それらの情報に基づいて対象物品Ｗ１の等級等を分類するためにピッキングシステム２００を用いてもよい。

抽出画像の生成方法については各実施形態において説明したように撮像画像Ｐ１において抽出レンジ外の深度情報を有する画素をマスクして生成する方法に限られない。例えば抽出レンジ内の深度情報を有する画素だけで新たな画像を形成して抽出画像としてもよい。マスクしていた部分を透明化してもよい。要するに抽出画像において学習モデル２３に入力した場合に対象物品Ｗ１の推定する対象となる領域と対象とならない領域がそれぞれ区成されていればよい。

対象物品Ｗ１については、キャベツ、じゃがいも、唐揚げに限定されるものではなく、不定形のものであればよい。例えば概略球状をなす野菜や果物や唐揚げ以外の加工食品であっても本発明の適用対象となり得る。

その他、本発明の趣旨に反しない限りにおいて様々な実施形態についてそれらの一部同士の組み合わせを行っても構わない。

２００ ：ピッキングシステム
１００ ：位置検出装置
１０１ ：ピッキング装置
１ ：撮像機構
１１ ：２次元エリアセンサ
１２ ：赤外線パターン照射器
１３ ：赤外線カメラ
２ ：位置演算器
２Ｐ ：位置検出部
３ ：ロボット制御器
４ ：ロボット
２１ ：３次元画像生成部
２２ ：画像前処理部
２３ ：学習モデル
２４ ：ＡＩ処理部
２５ ：分解能記憶部
２６ ：補正値記憶部
２７ ：位置算出部
２８ ：キャリブレーション部

Claims (13)

1. 複数の不定形の対象物品がばら積みされたばら積み体から少なくとも１つの対象物品の位置を検出する位置検出装置であって、
   前記ばら積み体を所定の撮像位置から撮像した撮像画像と、前記撮像画像を構成する各画素に対応する深度情報とを取得する撮像機構と、
   前記対象物品が単体で撮像された教師画像を入力とし、前記教師画像中における前記対象物品の位置を示す２次元座標を出力とするように機械学習により生成された学習モデルと、
   前記ばら積み体において前記撮像位置から最も近い地点に基づいて設定される所定の抽出レンジ内の深度情報を有する画素を前記撮像画像から抽出して、各画素が前記撮像画像と対応する２次元座標と深度情報を有する抽出画像を生成する画像前処理部と、
   前記学習モデルに前記抽出画像を入力して、前記撮像画像中又は前記抽出画像中における前記対象物品の位置を示す検出２次元座標を出力させるＡＩ処理部と、
   前記検出２次元座標と、それに対応する深度情報に基づいて前記対象物品の実際の位置を検出する位置検出部と、を備えた位置検出装置。
2. 前記撮像機構が、前記ばら積み体の上方から当該ばら積み体を撮像するように構成されており、
   前記深度情報が、前記ばら積み体における高さ情報であり、
   前記抽出レンジが、前記ばら積み体において最も高い地点に基づいて設定される請求項１記載の位置検出装置。
3. 前記抽出レンジが、前記対象物品の最大寸法の１／２以下に設定されている請求項１又は２記載の位置検出装置。
4. 前記位置検出部が、
   基準長さ寸法と所定の深度情報を有する画素の画素数との比率である基準分解能を記憶する分解能記憶部と、
   前記撮像画像中における深度情報に応じた前記基準分解能の補正値を記憶する補正値記憶部と、
   前記検出２次元座標、前記基準分解能、及び、前記補正値に基づいて前記対象物品の実際の座標を算出する位置算出部を備えた請求項１乃至３いずれかに一項に記載の位置検出装置。
5. 前記撮像画像が、前記ばら積み体とともに前記基準長さ寸法を有する基準体をさらに含むように撮像されており、
   前記位置検出部が、前記撮像画像中における基準体の画素数、基準体の深度情報、及び、前記基準長さ寸法に基づいて、前記基準分解能及び前記補正値を算出するキャリブレーション部をさらに備えた請求項４記載の位置検出装置。
6. 前記撮像機構が、２次元エリアセンサ、赤外線パターン照射器、及び、赤外線カメラを備えた深度カメラである請求項１乃至５いずれか一項に記載の位置検出装置。
7. 前記撮像機構が、非テレセントリック光学系として構成されている請求項１乃至６いずれか一項に記載の位置検出装置。
8. 前記学習モデルが、重量が既知の前記対象物品が単体で撮像された教師画像を入力とし、前記教師画像中における前記対象物品の位置を示す２次元座標と、前記対象物品の重量を出力とするように機械学習により生成されており、
   前記ＡＩ処理部が、前記学習モデルに前記抽出画像を入力して、前記撮像画像中又は前記抽出画像中における前記対象物品の位置を示す検出２次元座標とともに、前記対象物品の検出重量を出力させるように構成されている請求項１乃至７いずれか一項に記載の位置検出装置。
9. 前記対象物品が、キャベツ、じゃがいも、又は、唐揚げのいずれか１つである請求項１乃至８いずれか一項に記載の位置検出装置。
10. 請求項１乃至９いずれかに一項に記載の位置検出装置と、
    前記位置検出部で検出された位置に基づいて前記ばら積み体から前記対象物品をピッキングするピッキング装置と、をさらに備えたピッキングシステム。
11. 前記位置検出装置が、撮像位置から最も近い前記対象物品の位置だけを検出するように構成されており、
    前記位置検出装置による前記対象物品の位置検出と、前記ピッキング装置による前記対象物品のピッキングとが交互に行われるように構成されている請求項１０記載のピッキングシステム。
12. 複数の不定形の対象物品がばら積みされたばら積み体から少なくとも１つの対象物品の位置を検出する位置検出方法であって、
    前記ばら積み体を所定の撮像位置から撮像した撮像画像と、前記撮像画像を構成する各画素に対応する深度情報とを取得することと、
    前記対象物品が単体で撮像された教師画像を入力とし、前記教師画像中における前記対象物品の位置を示す２次元座標を出力とするように機械学習により学習モデルを生成することと、
    前記ばら積み体において前記撮像位置から最も近い地点に基づいて設定される所定の抽出レンジ内の深度情報を有する画素を前記撮像画像から抽出して、各画素が前記撮像画像と対応する２次元座標と深度情報を有する抽出画像を生成することと、
    前記学習モデルに前記抽出画像を入力して、前記撮像画像中又は前記抽出画像中における前記対象物品の位置を示す検出２次元座標を出力させることと、
    前記検出２次元座標と、それに対応する深度情報に基づいて前記対象物品の実際の位置を検出することと、を備えた位置検出方法。
13. 複数の不定形の対象物品がばら積みされたばら積み体を所定の撮像位置から撮像した撮像画像と、前記撮像画像を構成する各画素に対応する深度情報とを取得する撮像機構を備え、前記ばら積み体から少なくとも１つの対象物品の位置を検出する位置検出装置に用いられるプログラムであって、
    前記対象物品が単体で撮像された教師画像を入力とし、前記教師画像中における前記対象物品の位置を示す２次元座標を出力とするように機械学習により生成された学習モデルと、
    前記ばら積み体において前記撮像位置から最も近い地点に基づいて設定される所定の抽出レンジ内の深度情報を有する画素を前記撮像画像から抽出して、各画素が前記撮像画像と対応する２次元座標と深度情報を有する抽出画像を生成する画像前処理部と、
    前記学習モデルに前記抽出画像を入力して、前記撮像画像中又は前記抽出画像中における前記対象物品の位置を示す検出２次元座標を出力させるＡＩ処理部と、
    前記検出２次元座標と、それに対応する深度情報に基づいて前記対象物品の実際の位置を検出する位置検出部としての機能をコンピュータに発揮させる位置検出装置用プログラム。