JP2015043175A - 物品認識装置及び物品認識設備 - Google Patents

Abstract

【課題】テンプレート画像の登録作業の簡素化及び物品の認識率の低下の抑制。
【解決手段】物品の６個の矩形面のうちの一部の矩形面の画像に対応するテンプレート画像及び物品の寸法情報を予め取得し、パターンマッチング処理とエッジ検出処理とを実行する物品探索処理部と、物品探索処理部の検出情報と寸法情報とから、物品が矩形面のいずれの面を上面として収納されているかの収納姿勢を判別するとともに、物品の底面が属している基準面に対する物品上面の高さを算出する収納状態判別部と、物品探索処理部の検出情報に基づいて、物品存在領域の基本画像内における位置及び基本画像に対する傾きから、物品上面の平面位置及び平面視姿勢を特定する平面位置特定部とを備え、物品探索処理部は、物品探索指令が指令されるとパターンマッチング処理を実行し、当該パターンマッチング処理において物品存在領域を検出できない場合にエッジ検出処理を実行する。
【選択図】図２

Description

本発明は、上面が開放された容器に収容された直方体形状の物品を認識対象とし、前記物品を収容した前記容器の上方からの撮像画像である基本画像から、物品上面の位置及び当該物品上面の平面視姿勢を認識する物品認識装置に関する。

物品の位置を認識する技術として、例えば、下記の特許文献１には、物品の形状データから画像上の物品上面の輪郭を示す矩形モデル（テンプレート）を生成するとともに、基本画像（画像）から物品の形状を強調した二値のエッジ画像を作成し、当該矩形モデルとエッジ画像とのベクトル相関により作成した物品候補データと、エッジ画像から作成したエッジを構成する線分データとから線分探索により物品の正確な位置と姿勢を決定する技術が開示されている。

また、対象物の位置認識技術として、撮像画像の中から予め登録されているテンプレート画像にマッチングする領域を検出する方法も考えられる。例えば、下記の特許文献２には、人物の顔等の単一又は複数のテンプレート画像を予め登録し、撮像画像の中から、当該所定のテンプレート画像にマッチングするマッチング領域を検出する技術が開示されている。このように撮像画像中からテンプレート画像にマッチングする領域を検出する方法では、テンプレート画像の外形だけでなく、当該テンプレート画像に含まれる模様等も一致している領域を検出する為、該当する領域の検出精度が高い。また、予め登録されているテンプレート画像を用いる為、マッチング処理にかかる時間も比較的短い。これらのことより、撮像画像中からテンプレート画像にマッチングする領域を検出する方法は、物品の位置を認識する技術として有効である。

ところで、上述のような対象物の位置認識技術は、ピッキング装置によって複数の物品が収納されている容器から一の物品を選択してピッキングする際にも用いられる。具体的には、撮像装置で上方から容器内（物品上面）を撮像し、当該撮像画像中から一の物品の上面に対応する領域を検出する際に用いられる。しかし、このような場面では、ピッキング位置に容器を搬送する際等に容器内で物品が横転してしまうことにより、様々な収納姿勢の物品が混在する恐れがある。例えば、物品が直方体形状である場合、短辺を高さ方向に沿わせた収納姿勢の物品や、長辺を高さ方向に沿わせた収納姿勢の物品が混在する恐れがある。すなわち、このような場面では、当該物品を構成する６面全部が物品の上面となり得る。よって、ピッキング装置において、上述のようなテンプレート画像を用いたマッチング処理を行う場合には、どの収納姿勢であっても物品上面の領域を検出できるように、物品上面となり得る物品の各面の全部についてテンプレート画像を登録しておく必要がある。その為、多品種の物品を扱う設備において、物品のピッキングをピッキング装置にて行う場合には、上述のようなテンプレート画像を用いたマッチング処理によって物品の位置を認識しようとすると、多品種の物品のそれぞれについて各面の全部のテンプレート画像を登録しなければならず、登録作業に手間がかかるという問題がある。また、登録されるテンプレート画像のデータ量も大きくなり好ましくない。一方、登録するテンプレート画像の数を減らすと、当該登録されていないテンプレート画像に対応する面が上面となっている場合は、当該物品の位置を認識することができず、物品の認識率が低下する恐れがある。

特開２００７−１４０７２９号公報 特開２０１０−０２１８１７号公報

そこで、テンプレート画像の登録作業を簡素化するとともに、物品の認識率の低下を抑制する物品認識装置の実現が望まれる。

本発明に係る、上面が開放された容器に収容された直方体形状の物品を認識対象とし、前記物品を収容した前記容器の上方からの撮像画像である基本画像から、物品上面の位置及び当該物品上面の平面視姿勢を認識する物品認識装置の特徴構成は、前記物品の６個の矩形面のうちの一部の矩形面の画像に対応するテンプレート画像及び前記物品の１つの頂点から延びる３辺についての寸法情報を予め取得する情報取得部と、パターンマッチング処理とエッジ検出処理とを実行する物品探索処理部と、前記物品探索処理部の検出情報と、前記寸法情報とから、前記物品が前記矩形面のいずれの面を上面として収納されているかの収納姿勢を判別するとともに、前記物品の底面が属している基準面に対する前記物品上面の高さを算出する収納状態判別部と、前記物品探索処理部の検出情報に基づいて、前記物品存在領域の前記基本画像内における位置及び前記基本画像に対する傾きから、前記物品上面の平面位置及び平面視姿勢を特定する平面位置特定部と、を備え、前記パターンマッチング処理は、前記基本画像内に含まれる、前記テンプレート画像との一致度が予め定められた閾値以上である領域を物品存在領域として検出する処理であり、前記エッジ検出処理は、前記基本画像内のエッジ成分を抽出して生成したエッジ画像を生成し、前記各矩形面の外形に基づいて生成した矩形モデルとの関係が予め定められた条件に合致する領域を、前記物品存在領域として検出する処理であり、前記物品探索処理部は、物品探索指令が指令されると前記パターンマッチング処理を実行し、当該パターンマッチング処理において前記物品存在領域を検出できない場合に前記エッジ検出処理を実行する点にある。

この特徴構成によれば、物品探索処理部により実行されるパターンマッチング処理若しくはエッジ検出処理により検出された物品存在領域から、認識対象である物品上面の平面位置及び平面視での物品上面の配置姿勢である平面視姿勢を特定することができる。また、当該物品存在領域と物品の寸法情報とから、認識対象である物品の収納姿勢を判別することができるとともに、当該物品上面の基準面からの高さを算出することができる。すなわち、認識対象である物品上面についての基準面に対する３次元位置を認識することができる。また、容器底面からの基準面の高さを予め与えることで（基準面の高さがゼロの場合も含む）、認識対象である物品上面の容器内における３次元位置を認識することが可能となる。

また、上記構成によれば、直方体形状の物品の一部の矩形面の画像に対応するテンプレート画像を用いて、パターンマッチング処理を実行する。すなわち、物品の矩形面に模様や柄が施されている場合には、テンプレート画像にも模様や柄が含まれる。よって、当該パターンマッチング処理では、矩形面の外形だけでなく、模様や柄等も含んだテンプレート画像との一致度が予め定められた閾値以上である領域を検出する為、物品上面に対応する物品存在領域を高精度に検出することができる。また、パターンマッチング処理では、予め取得したテンプレート画像を用いる為、当該マッチング処理にかかる時間を短縮することができる。

また、上記構成によれば、物品の６個の矩形面のうちの一部（５個以下）の矩形面の画像に対応するテンプレート画像を取得して、パターンマッチング処理を実行する。よって、物品上面となり得る矩形面（６個の矩形面）のすべてについてテンプレート画像を取得しなくてよい為、６個の矩形面のすべてのテンプレート画像を予め用意する必要がない。その為、物品の矩形面の画像を予めテンプレート画像として登録しておく作業の簡略化を図ることができるとともに、当該登録したテンプレート画像のデータ量を抑制することができる。

一方、取得するテンプレート画像の数を減らすと、認識対象である物品上面の画像に対応するテンプレート画像を取得しなかった場合には、パターンマッチング処理では当該認識対象の物品上面に対応する物品存在領域を検出することができない。その為、物品上面の認識率が低下するおそれがある。しかし、上記構成によれば、パターンマッチング処理において物品存在領域を検出できない場合にエッジ検出処理を実行する為、当該物品上面に対応する物品存在領域を検出できる可能性がある。よって、予め取得するテンプレート画像の数を減らした場合であっても、物品存在領域の検出率が低下するのを抑制することができ、当該物品存在領域に対応する物品上面の位置についての認識率の低下も抑制することができる。その結果、テンプレート画像の登録作業を簡素化するとともに、物品の認識率の低下を抑制する物品認識装置を実現できる。

ここで、前記容器内における前記物品の前記収納姿勢が予め定められ、前記テンプレート画像は、当該予め定められている前記収納姿勢において上面となる前記矩形面の模様に対応する画像である構成とすると好適である。

この構成によれば、物品上面となり得る可能性が高い矩形面の画像に対応するテンプレート画像を取得して、パターンマッチング処理を実行する。物品は、基本的には、予め定められた収納姿勢となっている為、物品の上面は、６つの矩形面のうちの特定の１つの矩形面である可能性が高い。よって、予め定められた収納姿勢で上面となる矩形面についてのテンプレート画像を登録しておけば、パターンマッチング処理において物品存在領域を検出できる可能性が大きくなり、その結果、パターンマッチング処理を向上させることができる。

また、前記基本画像における各画素について、当該各画素に対応する位置での物品上面の容器底面からの高さを示す高さ情報を取得して、同一の高さ情報を有する画素が最も多く含まれる高さである画素群により形成される平面を仮想基準面とする仮想基準面設定部と、前記仮想基準面に底面が属する物品であるベース上段物品が存在すると仮定した場合に、前記収納姿勢として仮定される３つの異なる仮定収納姿勢のそれぞれについて、当該仮定収納姿勢において上面となる面の前記容器底面からの高さと同一の高さ情報を有する画素を前記基本画像から抽出して単一高さ画像を生成する単一高さ画像生成部と、をさらに備え、前記物品探索処理部は、前記パターンマッチング処理においては、前記単一高さ画像内に含まれる、前記テンプレート画像との一致度が予め定められた閾値以上である領域を前記物品存在領域として検出し、前記エッジ検出処理においては、前記単一高さ画像内に含まれるエッジ成分を抽出して生成したエッジ画像を生成し、前記矩形モデルとの関係が予め定められた条件に合致する領域を前記物品存在領域として検出し、前記収納状態判別部は、前記単一高さ画像のうち、前記物品探索処理部にて前記物品存在領域が検出された単一高さ画像に対応する前記仮定収納姿勢を前記収納姿勢として判別するとともに、前記仮想基準面を前記基準面と判別する構成とすると好適である。

この構成によれば、物品上面が存在し得る容器底面からの高さが仮想基準面の高さ情報と物品の寸法情報とから推定され、その推定される高さの情報を有する画素から単一高さ画像が生成される。物品探索処理部は、当該生成した単一高さ画像に探索範囲を絞り、当該単一高さ画像から物品存在領域を探索する。これにより、パターンマッチング処理やエッジ検出処理時の探索範囲を、基本画像全体から、物品存在領域が検出される可能性が比較的高い単一高さ画像に絞り込むことができる為、物品の認識率の低下を抑制しつつ、パターンマッチング処理やエッジ検出処理時の処理負担を軽減して、処理時間の短縮化を図ることができる。

また、単一高さ画像中に物品存在領域が検出された場合には、当該単一高さ画像を構成する画素が有する高さ情報が示す高さに物品上面が存在することになる為、物品は仮想基準面に底面が属していることになり、当該単一高さ画像を構成する画素が有する高さ情報を、認識対象である物品上面の容器底面からの高さとすることができるとともに、仮想基準面を当該認識対象の物品の底面が実際に属している基準面とすることができる。そして、当該物品存在領域が検出された単一高さ画像に対応する仮定収納姿勢を当該物品の実際の収納姿勢であるとすることができる。これにより、容器底面からの基準面の高さを予め与えなくても、認識対象である物品上面の容器内における３次元位置と収納姿勢を認識することができるとともに、当該認識対象である物品の載置面の容器底面からの高さ及び当該載置面における当該物品の収納姿勢も併せて認識することができる。

また、前記容器には、物品上面が同一の高さに属するように配置された同一形状の複数の物品により形成される物品層が高さ方向に積層される状態で収容され、前記仮想基準面設定部は、物品上面が前記仮想基準面に属する物品であるベース段物品の底面が属する面を仮想基準下面としてさらに設定し、前記単一高さ画像生成部は、前記仮想基準下面上での前記ベース段物品の前記収納姿勢として仮定される３つの新たな仮定収納姿勢のそれぞれについて、当該新たな仮定収納姿勢において上面となる面の前記容器底面からの高さと同一の高さ情報を有する画素を前記基本画像から抽出して３つの新たな単一高さ画像を生成し、前記収納状態判別部は、前記３つの新たな単一高さ画像のいずれかに、前記物品探索処理部にて前記物品存在領域が検出された場合には、当該物品存在領域が検出された単一高さ画像に対応する前記仮定収納姿勢を前記収納姿勢として判別するとともに、前記仮想基準下面を前記基準面と判別する構成とすると好適である。

この構成によれば、仮想基準面に底面が属するベース上段物品の物品上面だけでなく、当該ベース上段物品で形成される物品層よりも一段下の物品層に属する物品（ベース段物品）上面の容器内における３次元位置も認識することができる。これにより、ベース上段物品が存在せずにベース段物品が存在する場合に、再度、仮想基準面を設定し直して新たな処理を一から実行しなくても、ベース段物品の物品上面の３次元位置を認識することができる。よって、物品上面の位置認識処理を開始してから、物品上面の位置を認識するまでにかかる時間を短縮することができる。

また、前記物品探索処理部は、前記単一高さ画像生成部により生成された前記仮定収納姿勢に応じた単一高さ画像のうち、高さの大きい単一高さ画像から順に、前記パターンマッチング処理及び前記エッジ検出処理を実行する構成とすると好適である。

この構成によれば、パターンマッチング処理及びエッジ検出処理によって検出される物品存在領域は、容器内において最上面となる物品上面の位置に対応し、物品認識装置は、容器内において最上面となる物品上面の位置及び当該物品上面の平面視姿勢を認識することができる。よって、例えば、物品認識装置の認識結果を用いて、ピッキング装置等で上方から容器内の物品を取り出す際に、最上段の物品から順に取り出すことができる。

また、前記収納状態判別部は、前記仮想基準面若しくは前記仮想基準下面の容器底面からの高さと、前記基準面に対する物品上面の高さとから、物品上面の容器底面からの高さを算出し、前記収納状態判別部により算出された前記物品上面の容器底面からの高さが、前記寸法情報に含まれる前記３辺の長さのうち最も短い辺の長さよりも小さいか否かを判定する底面チェック部をさらに備え、前記底面チェック部が、前記物品上面の高さが前記物品の最も短い辺の長さよりも小さいと判定した場合には、エラー出力を行う構成とすると好適である。

この構成によれば、収納状態判別部により算出された物品上面の容器底面からの高さが、物品の３辺の長さのうち最も短い辺の長さよりも小さい場合、すなわち、物品の底面が容器底面に属する一段目の物品上面が認識されたものの、その物品の底面が容器底面よりも下に存在するといった実際にはあり得ない算出結果となった場合に、底面チェック部がエラー出力を行う。これにより、物品認識装置が、実際には物品上面が存在し得ないような位置を、物品上面の高さ方向の位置として誤って認識することを抑制することができる。

また、前記収納状態判別部は、前記寸法情報に基づいて、前記物品の３辺の中に、当該各辺の長さの差が予め定められた判別限界値よりも小さい一対の類似辺を含むと判別した場合であって、前記一対の類似辺のうちの短い方の辺を高さ方向に沿わせた姿勢を前記収納姿勢として判別したときには、当該判別の結果である前記収納姿勢を、前記一対の類似辺のうちの長い方の辺を高さ方向に沿わせた姿勢に更新する構成とすると好適である。

ところで、ピッキング装置として、複数のノズルを備え、物品上面を吸着する際に用いる吸着ノズルの組み合わせを、物品上面の面積に応じて変更するようなものを使用する場合、面積の大きい物品上面に対応した吸着ノズルの組み合わせで、面積の小さい物品上面を吸着しようとした場合は、吸着できない恐れがある。一方、面積の小さい物品上面に対応した吸着ノズルの組み合わせで、面積の大きい物品上面を吸着しようとした場合は吸着できる可能性が高い。このようなピッキング装置等に、本発明に係る物品認識装置の認識結果を用いる場合であっても、上記構成によれば、直方体形状の物品の３つの異なる矩形面の中に、共通の辺と一対の各類似辺とによって構成される一組の類似する矩形面が含まれる場合には、収納状態判別部は、当該類似の矩形面のうちの面積の小さい方の面が物品上面となる姿勢を判別結果とする。よって、これらの認識結果を用いたピッキング装置においても、類似する矩形面のうちの面積の小さい方の面に対応した吸着ノズルの組み合わせでピッキングを行う。従って、実際には、面積が小さい方の面を上面とした姿勢で容器内に物品が収納されているにも関わらず、面積が大きい方の面を上面とした姿勢であると誤って判別されそうな紛らわしい姿勢であっても、最終的な判別結果としては小さい方の面を上面とした姿勢であると更新される為、ピッキング装置は適切にピッキング処理を行うことができる。

また、前記平面位置特定部により特定された前記物品上面の平面位置及び平面視姿勢と、前記寸法情報とにより定まる前記基本画像における前記物品上面に対応する矩形領域が、前記基本画像における前記容器の存在領域の内部に包含されるか否かを判別する物品壁際チェック部をさらに備え、前記物品壁際チェック部が、前記矩形領域が前記容器の存在領域の内部に包含されないと判別した場合には、エラー出力を行う構成とすると好適である。

この構成によれば、基本画像における物品上面に対応する矩形領域が、基本画像における容器の存在領域の内部に包含されない場合、すなわち、物品上面に対応する矩形領域の一部が、容器外にはみ出しているといった実際にはあり得ない認識結果となった場合に、物品壁際チェック部がエラー出力を行う。これにより、物品認識装置が、実際には物品上面が存在し得ないような位置を、物品上面の存在する位置として誤って認識することを抑制することができる。

また、本発明に係る物品認識設備は、前記物品認識装置と、前記容器を水平方向に移動させる移動部と、前記物品探索処理部において、前記物品存在領域を検出できなかった場合に、前記容器を、前記基本画像の撮像位置から予め設定した量だけ水平移動させるように前記移動部を制御するリトライ制御部と、を備える構成とすると好適である。

この構成によれば、基本画像において物品存在領域を検出できなかった場合には、容器を前記基本画像の撮像位置から予め設定した量だけ水平移動することになる。これにより、基本画像に光の反射等によるノイズが含まれている場合等には、容器を水平移動して撮像位置を変えることで、光の反射の影響を低減できる可能性がある。よって、容器を水平移動した後に、再度撮像した基本画像においては、物品存在領域を検出できる可能性がある。従って、物品認識装置による物品の認識率の向上を図ることができる。

本発明の実施形態に係る物品搬送設備の概略構成図 本発明の実施形態に係るピッキング装置の制御ブロック図 本発明の実施形態に係るピッキング装置のピッキングの様子を示す概略図 本発明の実施形態に係る容器及び物品の斜視図 本発明の実施形態に係る基本画像を示す図 本発明の実施形態に係る単一高さ画像生成処理を説明するための概念図 本発明の実施形態に係る容器の断面図 本発明の実施形態に係る単一高さ画像を生成する際に用いるヒストグラム 本発明の実施形態に係る基本画像における容器存在部分を示す図 本発明の実施形態に係るパターンマッチング処理を説明する図 本発明の実施形態に係る物品認識処理を説明する図 本発明の実施形態に係る物品認識処理のフローチャート 本発明の実施形態に係る単一高さ画像生成処理のフローチャート

本発明に係る物品認識装置の実施形態について本発明を物品搬送設備１００におけるピッキング装置１に適用した場合を例に説明する。なお、以下の実施形態では、ピッキングコンベア６が容器５１を搬送する際に容器５１が載置される面を搬送面Ｐとし、当該搬送面Ｐにおける搬送方向に沿う方向を搬送方向ＷＸ、当該搬送面Ｐにおいて前記搬送方向ＷＸと直交する方向を幅方向ＷＹ、前記搬送面Ｐに直交する方向を高さ方向ＷＺとする。これらの３方向を直行座標軸としピッキングコンベヤ６の搬送面Ｐ上に設定された原点を有する座標系を「基準座標系」とし、この基準座標系における位置座標を基準座標とする。また、後述するように容器５１は平面視矩形状に形成されているが、この容器５１がピッキングコンベア６の搬送面Ｐに載置支持された状態での、容器５１の第１辺が沿う方向を容器内搬送方向Ｘ、前記容器内搬送方向Ｘに直交する第２辺が沿う方向を容器内幅方向Ｙ、容器内搬送方向Ｘ及び容器内幅方向Ｙに直交する方向を容器内高さ方向Ｚとする。これらの３方向を直行座標軸とし容器５１の底面上に設定された原点を有する座標系を「容器内座標系」とし、この容器内座標系における位置座標を容器内座標とする。なお、本実施形態では、高さ方向ＷＺと容器内高さ方向Ｚとは一致している為、総称して高さ方向Ｚとする。これは、本発明の高さ方向に相当する。

１．物品搬送設備
物品搬送設備１００は、図１に示すように、ピッキング装置１と、ピッキングコンベア６と、バーコードリーダ７と、撮像装置８と、出庫コンベア９と、入庫コンベア１０と、物品搬送コンベア１１と、自動倉庫１３とを備える。物品搬送設備１００では、まず、どの商品（物品）を何個出庫するか等のオーダーに基づき、当該オーダーに対応する商品（物品）が収納された容器５１を自動倉庫１３から取り出す。そして、物品搬送設備１００は、当該取り出した容器５１を、出庫コンベア９及びピッキングコンベア６を介してピッキング箇所１２に搬送し、ピッキング装置１により当該オーダーに対応する個数の物品５０を容器５１内から取り出し、当該取り出した物品５０を物品搬送コンベア１１に移載する。そして、オーダーに対応する個数の物品５０が取り出された後の容器５１は、入庫コンベア１０を介して自動倉庫１３へ戻される。

バーコードリーダ７は、容器５１の外側面に付されているバーコード５２（図４参照）を非接触（例えば、光学読み取り）で読み取るものである。本実施形態では、バーコードリーダ７は、ピッキング箇所１２に設けられている。バーコード５２には、容器５１の固有のＩＤ情報が含まれており、バーコードリーダ７は、読み取ったバーコード５２に含まれる容器５１の固有のＩＤ情報を後述の上位コントローラ２に出力する。

撮像装置８は、撮像した対象物から当該撮像装置８までの距離の情報を記録することができる装置（例えばステレオカメラ）である。撮像装置８は、ピッキング箇所１２に搬送されてきた容器５１を上方から撮像する。本実施形態では、撮像装置８は、図４に示すように、一対のカメラ８Ａ及び８Ｂを備える。カメラ８Ａは、当該ピッキング箇所１２の中心位置の直上であり搬送面Ｐからの高さが既知の位置に設けられ、ピッキング箇所１２全体を平面的に撮像する。他方のカメラ８Ｂは、ピッキング箇所１２の中心位置とは少しずれた位置の上方に設けられ、斜め上方からピッキング箇所１２全体を撮像する。本例では、カメラ８Ｂは、中心位置から搬送方向ＷＸにおける上流側にずれた位置の上方に設けられる。そして、撮像装置８は、カメラ８Ａで撮像した画像における各画素においてのカメラ８Ａからの距離情報を、カメラ８Ａ及びカメラ８Ｂの視差に基づいて算出して、各画素がカメラ８Ａからの距離情報を有する撮像画像を生成する。なお、当該撮像画像が、本発明の基本画像に相当する。

出庫コンベア９は、自動倉庫１３の収納棚（図示せず）からスタッカークレーン１３Ｂを介して搬送されてきた容器５１を、ピッキングコンベア６へ搬送する。

ピッキングコンベア６は、出庫コンベア９から搬送されてきた容器５１をピッキング箇所１２に搬送し、ピッキング処理が終わると当該容器５１を入庫コンベア１０に搬送する。また、ピッキングコンベア６には、搬送方向ＷＸにおける一部の領域（本例では中央付近）に幅方向ＷＹ全体に亘ってピッキング箇所１２が設定されている。ピッキング箇所１２は、ピッキング装置１により容器５１から物品５０を取り出す場所である。なお、本発明に係る物品認識装置３は、この容器５１から物品５０を取り出す場面で、取り出し対象となる物品５０の位置を認識する為に用いられる。本実施形態では、ピッキングコンベア６は、ピッキング箇所１２に容器５１を搬送する際に、当該ピッキング箇所１２の中心位置と、容器５１の底面の中心位置とが一致するように搬送する。そして、この当該ピッキング箇所１２の中心位置に、容器５１の底面の中心位置を一致させるように合わせた位置が基本画像の撮像位置である。また、ピッキングコンベア６は、後述のリトライ制御部２３からのリトライ動作指令に基づき、ピッキング箇所１２に存在する容器５１を搬送方向ＷＸに沿って水平移動させるように搬送面Ｐを作動する。なお、本実施形態におけるピッキングコンベア６が、本発明の移動部に相当する。

入庫コンベア１０は、ピッキングコンベア６から搬送されてきた物品５０の取り出し済みの容器５１を自動倉庫１３へ搬送する。自動倉庫１３へ搬送された容器５１は、スタッカークレーン等を介して収納棚へ再入庫される。自動倉庫１３は、容器５１を収納可能な収納棚を複数有するラック１３Ａと、スタッカークレーン１３Ｂとを有する。物品搬送コンベア１１は、ピッキング装置１によって容器５１から取り出された物品５０を、集品コンベア（図示せず）へ搬送する。当該集品コンベアへ搬送された物品５０は出荷される。

ここで、容器５１は、容器内部を撮像装置８にて撮像可能なように上面が開放された直方体形状に構成されている。例えば、容器５１は、トレーや上面を取り除いた段ボール箱等である。また、容器５１は、図４に示すように、容器内搬送方向Ｘ、容器内幅方向Ｙ及び高さ方向Ｚの各方向に複数の物品５０を積層して収容することが可能である。具体的には、図５及び図７に示すように、容器５１は、物品上面が同一の高さに属するように配置された同一形状の複数の物品５０により形成される物品層を、高さ方向Ｚに積層した状態で収容している。本実施形態では、図５及び図７に示すように、ピッキング箇所１２に搬送されてきた容器５１として、容器内搬送方向Ｘに４個及び容器内幅方向Ｙに３個ずつ配置された計１２個の物品５０から成る物品層が、高さ方向Ｚに２層積層され、さらにその上に３個の物品５０が不揃いな状態で積層されている例を用いて説明する。なお、本実施形態では、直方体形状の容器５１を用いているが立方体形状の容器５１であってもよい。

１つの容器５１に収容される物品５０は、全て同一形状の直方体形状に構成されている。なお、物品５０は、全て同一形状の立方体形状に構成されていてもよい。また、本実施形態では、物品５０の３辺の寸法は、図４に示すように、Ｈ１、Ｗ１、Ｌ１であり、これらの寸法情報は、物品情報データベース４（後述）に予め格納されている。なお、物品５０の各辺の長さの関係は、Ｈ１＜Ｗ１＜Ｌ１である。

２．ピッキング装置
ピッキング装置１は、上位コントローラ２と物品認識装置３とピッキングロボット５とを備え、上位コントローラ２と物品認識装置３とは情報伝達可能に接続される。また、上位コントローラ２とピッキングロボット５とが情報伝達可能に接続される。ピッキング装置１では、まず、上位コントローラ２が、センサ等（図示せず）にて、ピッキング箇所１２に容器５１が存在することを検知すると、物品認識装置３に物品探索指令を出力する。物品認識装置３は、当該物品探索指令に応じて、物品５０のピッキング箇所１２における物品上面の３次元位置及び平面視姿勢を認識する処理を実行し、当該認識結果情報を上位コントローラ２に出力する。上位コントローラ２は、当該認識結果情報及び後述の物品情報データベース４から取得した容器情報を、動作指令と併せてピッキングロボット５に出力する。なお、動作指令と併せて出力される付帯情報を動作指令情報という。つまり、動作指令情報には、認識結果情報及び容器情報が含まれる。

ピッキングロボット５は、図３に示すように、ハンド部１４と吸着ノズル１５と制御部（図示せず）とを備える。ハンド部１４は、ピッキングロボット５の本体部（図示せず）から延びるアームの先端部に、当該アームに対して回転可能に設けられている。ハンド部１４の下面には、ハンド部１４の下方空間において伸縮可能な吸着ノズル１５が複数本設けられている。吸着ノズル１５は、物品認識装置３により認識された物品上面まで伸びて、当該物品上面を吸着した状態で上方に向けて縮むことにより物品５０を容器５１から取り出す。制御部は、上位コントローラ２のロボット制御部２４から動作指令及び動作指令情報（認識結果情報及び容器情報）を受けて、当該ロボット制御部２４から取得した認識結果情報に含まれる容器位置情報と物品上面の３次元位置及び平面視姿勢との情報から、基準座標系における物品上面の３次元位置を及び平面視姿勢を算出する。そして、制御部は、これに基づき、容器５１内へのハンド部１４の進入角度及び使用する吸着ノズル１５を決定する。なお、ピッキングロボット５は、基準座標系の位置座標に基づいて動作する。そして、制御部は、当該決定した吸着ノズル１５で認識対象の物品５０を吸着して当該物品５０を取り出し、アームを移動させて当該取り出した物品５０を物品搬送コンベア１１へ移載する。以下では、上位コントローラ２及び物品認識装置３の各構成の詳細な説明をする。

２−１．上位コントローラ
上位コントローラ２は、物品情報取得部２１と、容器情報取得部２２と、リトライ制御部２３と、ロボット制御部２４とを備える。上位コントローラ２は、ピッキングロボット５及び物品認識装置３以外にも、別に設けられた物品情報データベース４、ピッキングコンベア６、及びバーコードリーダ７との間でも情報伝達可能に接続されている。

ここで、物品情報データベース４は、別の装置（図示せず）でマスター登録された各容器５１の３辺の寸法情報を、当該各容器５１に割り振られたＩＤ情報と対応づけて、マスター容器情報として格納している。なお、マスター容器情報には、容器５０に収容されている物品５０のＩＤ情報及び各容器５１内の物品５０の在庫数の情報が、容器のＩＤ情報と対応づけられて含まれている。

また、物品情報データベース４は、別の装置（図示せず）でマスター登録された複数種の物品５０の夫々の寸法情報及びテンプレート画像を、各物品５０のＩＤ情報と対応づけてマスター物品情報として格納している。物品５０の寸法情報は、当該物品５０の１つの頂点から延びる３辺の各辺の寸法を示す情報である。テンプレート画像は、後述のパターンマッチング処理で物品存在領域Ｍを検出する際の雛形となる画像である。本実施形態におけるマスター物品情報に含まれるテンプレート画像は、物品５０の６個の矩形面のうちの一部の矩形面の画像に対応する。具体的には、図１０における破線で囲まれた領域で示すように、別の撮像装置（図示せず）によって物品５０の６個の矩形面のうちの２個の矩形面がそれぞれ撮像され、当該撮像画像に基づく矩形面の画像がテンプレート画像Ｐ１及びＰ２として予めマスター登録されている。その際、各テンプレート画像のサイズや分解能も併せて登録されている。なお、当該テンプレート画像として登録される数は、５個以下であればよく、物品５０の６個の矩形面のうちの１個、３個若しくは４個の矩形面の画像に対応するテンプレート画像が予めマスター登録されていてもよい。また、本実施形態では、物品５０の矩形面のいずれの面を上面とした姿勢で容器５１内に収納されるかの予定収納姿勢が、容器５１毎に予め決められてマスター登録され、マスター物品情報には、当該マスター登録された予定収納姿勢が容器５１のＩＤ情報に対応づけられて含まれている。本実施形態では、図４に示すように、長さＨ１の辺が高さ方向に沿う姿勢で、かつ、商品名「○○○」が表示されている面が上面となる姿勢が予定収納姿勢として登録されている。また、マスター物品情報に含まれるテンプレート画像の一つは、当該物品５０の予定収納姿勢において上面となる矩形面の模様に対応する画像であり、本実施形態では、図１０に示すように、商品名「○○○」が表示されているテンプレート画像Ｐ２である。

容器情報取得部２２は、物品情報データベース４のマスター容器情報から、ピッキング箇所１２に存在する容器５１の固有の容器情報を取得する機能部である。具体的には、容器情報取得部２２は、ピッキング箇所１２に容器５１が存在することを検知すると、バーコードリーダ７から容器５１のＩＤ情報を取得する。そして、容器情報取得部２２は、物品情報データベース４に格納されているマスター容器情報から、当該ＩＤ情報に対応づけられている容器５１の容器情報（容器５１の寸法情報）を取得する。そして、容器情報取得部２２は、当該取得した容器情報を動作指令情報としてロボット制御部２４に出力する。

物品情報取得部２１は、物品情報データベース４のマスター物品情報から、ピッキング箇所１２に存在する容器５１に収容されている物品５０の物品情報を取得する機能部である。具体的には、物品情報取得部２１は、容器情報取得部２２が容器情報を取得する際に、物品情報データベース４に格納されているマスター物品情報から、前記容器５１のＩＤ情報に対応づけられている物品５０の物品情報（物品５０の寸法情報及びテンプレート画像）を取得する。そして、物品情報取得部２１は、当該取得した物品情報を物品認識装置３に出力する。

リトライ制御部２３は、物品存在領域Ｍを検出できなかった場合に、容器５１を、基本画像の撮像位置から予め設定した量だけ水平移動させるようにピッキングコンベア６を制御する機能部である。本実施形態では、リトライ制御部２３は、物品認識装置３からの出力結果に基づいて、ピッキングコンベア６を制御する。具体的には、リトライ制御部２３は、単一高さ画像生成部３６（後述）からいずれの単一高さ画像にも物品探索領域が存在しないと判別した旨の情報を受けた場合、エッジ検出処理部３９（後述）から物品探索範囲として設定されたいずれの単一高さ画像にも物品存在領域Ｍを検出できなかった旨の情報を受けた場合、及びチェック処理部４５からエラー出力がされた場合に機能する。また、本実施形態におけるリトライ制御部２３は、物品認識装置３から出力結果を受けると、まず、当該容器５１がピッキング箇所１２に搬送されてから、ピッキングコンベア６にリトライ動作指令を出力した回数を算出する。リトライ制御部２３は、リトライ動作指令の出力回数を０回と判別した場合には、容器５１を、基本画像の撮像位置から搬送方向ＷＸの下流側に向かって予め設定した第１リトライ用設定量（本例では７５ｍｍ）だけ水平移動させるようにピッキングコンベア６にリトライ動作指令を出力する。そして、リトライ制御部２３は、ピッキングコンベア６から水平移動が完了した旨の情報を取得すると、物品認識装置３に物品探索指令を出力し、当該物品認識装置３において再処理が実行される。また、リトライ制御部２３が、リトライ動作指令の出力回数を１回と判別した場合には、容器５１が既に撮像位置から搬送方向ＷＸの下流側に予め設定した量（７５ｍｍ）だけ水平移動された状態である。よって、リトライ制御部２３は、撮像位置に対して搬送方向ＷＸの下流側に第１リトライ用設定量（７５ｍｍ）ずれた位置から、撮像位置に対して搬送方向ＷＸの上流側に第１リトライ用設定量（７５ｍｍ）ずれた位置まで容器５１を水平移動させるようにピッキングコンベア６を制御する。すなわち、リトライ制御部２３は、撮像位置に対して搬送方向ＷＸの下流側に第１リトライ用設定量（７５ｍｍ）ずれた位置から、搬送方向ＷＸの上流側に予め設定した第２リトライ用設定量（本例では１５０ｍｍ）だけ水平移動させるようにピッキングコンベア６にリトライ動作指令を出力する。そして、リトライ制御部２３は、ピッキングコンベア６から水平移動が完了した旨の情報を取得すると、ロボット制御部２４を介して、物品認識装置３に物品探索指令を出力し、当該物品認識装置３において再々処理が実行される。また、リトライ制御部２３は、リトライ動作指令の出力回数を２回と判別した場合には、ピッキングコンベア６に対してリセット指示を出力し、ピッキングコンベア６は、容器５１を元の撮像位置に水平移動させる。なお、本実施形態の物品認識装置３と上位コントローラ２（リトライ制御部２３）とピッキングコンベア６とが本発明の物品認識設備に相当する。

ロボット制御部２４は、ピッキングロボット５を制御する機能部である。本実施形態では、ロボット制御部２４は、センサ等でピッキング箇所１２に容器５１が搬送されてきたことを検知すると、物品認識装置３に対して物品探索指令を出力するとともに、容器情報取得部２２で取得した容器情報、及び、物品情報取得部２１で取得した物品情報、を物品認識装置３に対して出力する。また、ロボット制御部２４は、物品認識装置３から出力された認識結果情報を取得すると、ピッキングロボット５の制御部に対して動作指令を出力するとともに、動作指令情報も併せて出力する。なお、認識結果情報は、容器姿勢・位置判別部３３から出力される容器位置情報及び物品位置特定部４１から出力される物品上面の３次元位置及び平面視姿勢の情報である。

２−２．物品認識装置
物品認識装置３は、物品上面の３次元位置及び当該物品上面の平面視での配置状態である平面視姿勢を認識する装置である。物品認識装置３は、画像取得部３１と、容器外形検出部３２と、容器姿勢・位置判別部３３と、物品探索範囲設定部３４と、物品探索処理部３７と、記憶部４０と、物品位置特定部４１と、情報取得部４４と、チェック処理部４５とを備える。そして、本実施形態の物品認識装置３は、容器５１内において最上面となり得る面の高さを予測して、その高さの高さ情報を有する画素のみから単一高さ画像を生成し、当該単一高さ画像内に、物品５０の矩形面とマッチングする領域が検出できれば、当該高さに最上面となり得る物品上面が存在することを認識できるという技術的思想に基づくものである。物品認識装置３は、ＣＰＵ等の演算処理装置を中核部材として備え、入力されたデータに対して種々の処理を行うための機能部として、ハードウェア又はソフトウェア（プログラム）或いはその両方により実装されて構成されている。

画像取得部３１は、撮像装置８から撮像画像を取得する機能部である。本実施形態では、画像取得部３１は、上位コントローラ２より物品探索指令を受けると、撮像装置８に対して撮像指示を出力し、当該撮像指示に基づいて撮像された撮像画像（基本画像）を撮像装置８から取得する。また、当該基本画像が撮像装置８（カメラ８Ａ）から撮像された物品上面までの距離情報を含んでいる為、画像取得部３１は、当該距離情報と既知である撮像装置８（カメラ８Ａ）の搬送面Ｐ（容器底面）からの高さとから、当該基本画像における各画素について、当該各画素に対応する位置での物品上面の容器底面からの高さを示す高さ情報を取得して、各画素が容器底面からの高さ情報を有する基本画像を生成する。そして、画像取得部３１は、当該生成した各画素が容器底面からの高さ情報を有する基本画像を記憶部４０に記憶させる。また、画像取得部３１は、容器外形検出部３２に対して容器検出処理を実行するよう指令する。なお、基本画像の一例を図５に示す。

情報取得部４４は、上位コントローラ２から出力された、ピッキング箇所１２に存在している容器５１の容器情報及び当該容器５１内に収納されている物品５０の物品情報を取得する機能部である。本実施形態では、情報取得部４４は、当該取得した容器情報及び物品情報を記憶部４０に記憶させる。なお、前記物品情報には、物品５０のテンプレート画像及び物品５０の寸法情報が含まれている為、情報取得部４４が本発明の情報取得部に相当する。

容器外形検出部３２は、基本画像内に容器５１の外形が含まれるか否かを検出する機能部である。具体的には、容器外形検出部３２は、まず、基本画像内におけるピッキング箇所１２の搬送面Ｐの色と容器５１の色とのコントラスト差から容器外形を抽出する。また、容器外形検出部３２は、記憶部４０から、容器情報に含まれる容器５１の寸法情報、特に容器５１を搬送面Ｐに載置した状態で搬送方向ＷＸに沿う方向の寸法と幅方向ＷＹに沿う方向の寸法情報とを取得する。容器外形検出部３２は、当該抽出した容器外形と、当該取得した容器５１の寸法情報とを比較して、予め定められた許容範囲内で一致していると判別する場合には、容器外形であると認識する。そして、容器外形検出部３２は、容器姿勢・位置判別部３３に対して、容器５１の平面視姿勢及び平面位置を特定するよう指令するとともに、物品探索範囲設定部３４に対して物品探索範囲を設定するよう指令する。なお、容器外形検出部３２は、当該抽出した容器外形が、容器５１の寸法情報と予め定められた許容範囲内で一致しない場合には、容器検出エラーのエラー報告を上位コントローラ２へ出力する。エラー報告を受信した上位コントローラ２は、物品認識装置３に対してリセット指示を出力する。これにより、記憶部４０に記憶された画像取得部３１により取得された撮像画像や情報取得部４４により取得された容器情報及び物品情報が消去される。

容器姿勢・位置判別部３３は、基本画像内における容器５１の平面視姿勢を判別するとともに、平面位置を特定する機能部である。ここで、基本画像は、図５に示すように、ピッキング箇所１２の領域と対応している。本実施形態では、ピッキング箇所１２の搬送方向ＷＸにおける下流側で幅方向ＷＹにおける物品搬送コンベア１１側の隅と、基本画像の左下の隅（図５の紙面左側）とが対応している。そして、この位置を原点ＷＯとして、基本画像の搬送方向ＷＸ方向に沿う方向にＷＸ軸、幅方向ＷＹに沿う方向にＷＹ軸をとり、当該座標系を画像座標系とする。なお、本実施形態では、当該画像座標系はピッキングロボット５の制御で用いられる基準座標系と各座標軸の方向が一致している。本実施形態では、容器姿勢・位置判別部３３は、容器外形検出部３２から指令を受けると、図５に示すように、基本画像中における容器５１の４隅（５１Ａ，５１Ｂ，５１Ｃ，５１Ｄ）の画像座標（ＷＸ，ＷＹ）をそれぞれ算出する。また、容器姿勢・位置判別部３３は、基本画像に対する容器５１の傾きを示す容器回転角を算出する。そして、容器姿勢・位置判別部３３は、算出した容器５１の画像座標（ＷＸ，ＷＹ）と容器回転角とを容器位置情報として上位コントローラ２のロボット制御部２４へ出力する。

物品探索範囲設定部３４は、基本画像内において認識対象である物品５０の上面を探索する際に、当該探索処理を実行する範囲である物品探索範囲を設定する機能部である。本実施形態では、物品探索範囲設定部３４は、仮想基準面設定部３５と単一高さ画像生成部３６とを備える。そして、物品探索範囲設定部３４は、容器５１内で最上面となり得る面（最上面となる物品上面が存在し得る面）を判別して、当該最上面となり得る面の高さ情報を有する画素から単一高さ画像を生成し、物品探索処理部３７での探索の対象となる物品探索範囲を、基本画像全体から当該高さ画像に絞り込む処理を行う。これにより、物品探索範囲を狭めることができ、物品認識装置３の処理負担を低減できる。また、ピッキングロボット５は、上方から吸着ノズル１５により物品５０の上面を吸着してピッキングする。その際に、容器５１内の底面側の物品５０を先にピッキングしようとすると、最上面側の物品５０をハンド部１４等によって破損してしまう恐れがある。これを抑制する為に、本実施形態では、容器５１内で最上面となる面に物品上面が属する物品５０から優先的に物品認識処理を実行し、ピッキングする。

仮想基準面設定部３５は、容器５１内で最上面となり得る面に物品上面を有する物品５０が載置されていると考えられる面、すなわち当該物品５０の底面が属すると考えられる面を仮想基準面及び仮想基準下面として設定する機能部である。本実施形態では、仮想基準面設定部３５は、図５及び図７に示すように、容器５１を上方から見た際に、平面視で容器５１内において一番広い平面が属する高さ、すなわち、当該基本画像内において同一の高さ情報を有する画素が最も多く含まれる高さを基準高さＨとし、当該基準高さＨの高さ情報を有する画素群により形成される平面を仮想基準面Ｓとして設定する。具体的には、仮想基準面設定部３５は、容器外形検出部３２からの指令に基づき、記憶部４０から基本画像を取得する。仮想基準面設定部３５は、当該基本画像に基づいて、図８に示すように、縦軸に画素の出現率（画素数）、横軸に画素値（各画素が有する高さ）をとったヒストグラムを生成する。そして、仮想基準面設定部３５は、当該ヒストグラムを谷で分割した際に最も面積が大きい山を判別し（図８の紙面左側の山）、その山の中で一番出現率が大きい画素値が有する高さ（図８の紙面左側から３番目のヒストグラムの画素値）を基準高さＨとする。また、当該ヒストグラムは、横軸の刻み幅を１ｍｍで作成している。そこで、基準高さＨの高さ情報を有する画素群には、基準高さＨの高さ情報を有する画素のみでなく、基準高さＨから予め定められた許容範囲内（例えば、±１ｍｍ程度ずれた高さ）の高さ情報を有する画素を含む構成、すなわち、図８の紙面左側の山において出現率がピークとなるヒストグラムの両側（図８の紙面左側の２番目と４番目）のヒストグラムの画素値も基準高さＨの画素値であるとしてもよい。本実施形態では、図５及び図７に示すように、高さ方向Ｚに積層された２層目の物品５０の物品上面から形成される平面が一番広い平面領域を有しており、当該平面が基本画像内における仮想基準面Ｓに対応する。そして、当該仮想基準面Ｓに底面が属している物品５０（３層目の物品）の物品上面が、容器５１内における最上面となる。なお、この仮想基準面Ｓに底面が属している物品５０（３層目の物品）が本発明のベース上段物品に相当する。

ところで、物品上面の高さを算出する方法として、上述のヒストグラムを用いる方法で直接的に算出する方法も考えられる。当該ヒストグラムで算出される物品上面の高さは、仮想基準面よりも高い位置にある図８の紙面右側で示される山に相当する。しかし、当該図８の紙面右側で示される山では、指標となる画素数（出現率）が少なく、画素値（高さ）が幅を有する（図８の例では３ｍｍ）為、実際の物品上面の高さとヒストグラムで算出される高さとでは誤差（図８例では２ｍｍ）が生じる可能性が高い。そこで、本願では、指標となる画素数が一番多い、すなわち、出現率がピークであり実際の高さとの誤差が少ないと考えられる面に仮想基準面を設定し、当該仮想基準面上に物品が存在する場合を仮定して、当該仮想基準面の基準高さＨと既知である物品の３辺の寸法情報とから３つの異なる各仮定の収納姿勢における物品上面の高さを推測し、その高さに物品上面に対応する物品存在領域が存在することを検出できれば、実際の物品上面の高さとする方法を用いている。これにより、より正確な物品上面の高さを算出することができる。

また、本実施形態では、図５及び図７に示すように、仮想基準面Ｓ上に不揃いな状態で３つの物品５０（３層目の物品）が積層されている例を用いて説明しているが、仮想基準面Ｓ上に物品５０（図６の紙面左側の物品）が存在しない場合もあり得る。例えば、図６の概念図において、紙面左側で示した仮想基準面Ｓ上の物品５０が存在しないとしたとき、紙面右側で示すように、一段下の２層目の物品５０の各収納姿勢における上面が容器５１内の最上面となり得る。具体的には、２層目の物品５０がすべて長さＨ１の辺が高さ方向に沿った収納姿勢（正立姿勢）で収納されており、２層目の物品５０の上に３層目の物品５０が載っていない場合には、最上面は仮想基準面Ｓとなる。また、当該２層目の物品５０群に、横転等によって長さＬ１の辺が高さ方向に沿った収納姿勢（横転ロング姿勢）の物品５０が含まれている場合には、Ｈ１＜Ｌ１の為、当該横転ロング姿勢の物品５０の物品上面が最上面となる。また、当該２層目の物品５０群に、長さＷ１の辺が高さ方向に沿った姿勢（横転ショート姿勢）の物品５０が含まれ、横転ロング姿勢の物品５０が含まれない場合には、Ｈ１＜Ｗ１の為、当該横転ショート姿勢の物品５０の物品上面が最上面となる。そこで、仮想基準面設定部３５は、物品上面が仮想基準面Ｓに属する物品であるベース段物品（本例では２層目の物品）の底面が属する面を仮想基準下面ＳＳとしてさらに設定する。具体的には、仮想基準面設定部３５は、仮想基準面Ｓの基準高さＨから、記憶部４０から取得した物品情報に含まれる正立姿勢である物品５０の高さＨ１を引いた高さ「Ｈ−Ｈ１」の高さ情報を有する画素群により形成される平面を仮想基準下面ＳＳとして設定する。また、仮想基準面設定部３５は、設定した仮想基準面Ｓ及び仮想基準下面ＳＳの情報を記憶部４０に記憶させる。

単一高さ画像生成部３６は、仮想基準面設定部３５により設定された仮想基準面Ｓに底面が属する物品５０であるベース上段物品（３層目の物品）が存在すると仮定した場合に、当該物品５０の収納姿勢として仮定される３つの異なる仮定収納姿勢のそれぞれについて、当該仮定収納姿勢において上面となる面の容器底面からの論理高さを算出し、当該論理高さと同一の高さ情報を有する画素を基本画像から抽出して単一高さ画像を生成する。本実施形態では、物品５０の仮定収納姿勢として、図６の紙面左側に示すように、仮想基準面Ｓ上での正立姿勢ＳＣ、横転ロング姿勢ＳＡ、横転ショート姿勢ＳＢの３つが考えられる。そこで、単一高さ画像生成部３６は、記憶部４０から取得した物品５０の寸法情報と仮想基準面Ｓの基準高さＨとに基づいて、各仮定収納姿勢において上面となる面の容器底面からの論理高さを算出する。具体的には、単一高さ画像生成部３６は、図６の紙面左側に示すように、正立姿勢ＳＣの場合には「Ｈ＋Ｈ１」、横転ロング姿勢ＳＡの場合には「Ｈ＋Ｌ１」、横転ショート姿勢ＳＢの場合には「Ｈ＋Ｗ１」と算出する。そして、仮想基準面設定部３５は、これらの算出した各論理高さの高さ情報を有する画素のうち容器５１の内側領域に存在する画素を前記基本画像から抽出して、それぞれの高さの高さ画像を生成する。

単一高さ画像生成部３６は、さらに、仮想基準下面ＳＳ上でのベース段物品（２層目の物品）の収納姿勢として仮定される３つの新たな仮定収納姿勢のそれぞれについて、当該新たな仮定収納姿勢において上面となる面の容器底面からの論理高さを算出し、当該論理高さと同一の高さ情報を有する画素を基本画像から抽出して３つの新たな単一高さ画像を生成する。本実施形態では、図６の紙面右側に示すように、３つの新たな仮定収納姿勢として、仮想基準下面ＳＳ上での正立姿勢ＳＳＣ、横転ロング姿勢ＳＳＡ、横転ショートＳＳＢ姿勢が考えられる。単一高さ画像生成部３６は、記憶部４０から取得した物品５０の寸法情報と仮想基準下面ＳＳの高さ「Ｈ−Ｈ１」とに基づいて、各仮定収納姿勢において上面となる面の容器底面からの論理高さを算出する。具体的には、単一高さ画像生成部３６は、図６紙面右側に示すように、正立姿勢ＳＳＣの場合には「Ｈ」、横転ロング姿勢ＳＳＡの場合には「Ｈ−Ｈ１＋Ｌ１」、横転ショート姿勢ＳＳＢの場合には「Ｈ−Ｈ１＋Ｗ１」と算出する。そして、仮想基準面設定部３５は、これらの算出した各高さの高さ情報を有する画素のうち容器５１の内側領域に存在する画素を前記基本画像から抽出して、それぞれの高さの高さ画像を生成する。

そして、単一高さ画像生成部３６は、生成したこれらの６つの仮定収納姿勢の上面に対応する単一高さ画像のそれぞれについて、２値化処理を行い、物品５０の上面に対応する領域（物品探索領域）が存在するか否かを判別する。例えば、ベース上段物品が一つも存在しない場合、すなわち、仮想基準面Ｓ上に物品５０が存在しない場合には、これらの仮想基準面Ｓ上での正立姿勢ＳＣ、横転ロング姿勢ＳＡ、横転ショート姿勢ＳＢの３つの仮定収納姿勢に対応する単一高さ画像には、物品５０の上面に対応する領域が存在しない。よって、単一高さ画像生成部３６は、これらの単一高さ画像には物品探索領域は存在しないと判別する。一方、例えば、仮想基準下面ＳＳ上に横転ロング姿勢ＳＳＡのベース段物品が存在する場合には、仮想基準下面ＳＳ上での横転ロング姿勢ＳＳＡに対応する単一高さ画像には、物品５０の上面に対応する領域が存在する。よって、単一高さ画像生成部３６は、仮想基準下面ＳＳ上での横転ロング姿勢ＳＳＡに対応する単一高さ画像には、物品探索領域が存在すると判別する。なお、ここにおける、当該物品探索領域が存在するとは、予め定められたある一定範囲以上の連続した領域が存在することをいい、本例では、物品５０の各収納姿勢に対応する単一高さ画像中に、当該対応する仮定収納姿勢において上面となる矩形面の表面積以上の連続した領域が含まれる場合に物品探索領域が存在するとする。なお、当該矩形面の面積×予め定められた閾値％（例えば、９０％）以上の連続した領域である場合に物品探索領域が存在するとしてもよい。

また、本実施形態では、単一高さ画像生成部３６は、前記物品探索領域が存在すると判別した単一高さ画像については、有効な単一高さ画像であるとして、カラー画像に変換し、物品探索範囲として記憶部４０に記憶させる。そして、単一高さ画像生成部３６は、６つの仮定収納姿勢に対応する単一高さ画像すべてに対して、同様の物品探索領域が存在するか否かの判別処理を実行し、当該判別処理が終了すると、有効な単一高さ画像が見つかった場合には、物品探索処理部３７に物品探索処理を実行するよう指令する。一方、単一高さ画像生成部３６は、６つの仮定収納姿勢に対応する６つの単一高さ画像のいずれにも物品探索領域が存在しないと判別する場合には、上位コントローラ２へその旨の情報を出力する。そして、上位コントローラ２のリトライ制御部２３がリトライ処理を実行する。図７の例では、正立姿勢のベース上段物品及び正立姿勢のベース段物品が存在している為、単一高さ画像生成部３６は、「Ｈ」及び「Ｈ１＋Ｈ」の高さの単一高さ画像において物品探索領域が存在すると判別し、当該「Ｈ」及び「Ｈ１＋Ｈ」の高さの単一高さ画像を物品探索範囲として設定し、記憶部４０に記憶する。

物品探索処理部３７は、基本画像に対して、テンプレート画像を用いてパターンマッチング処理を実行し、当該パターンマッチング処理において物品存在領域Ｍ（後述）を検出できない場合にエッジ検出処理を実行する機能部である。物品探索処理部３７は、パターンマッチング処理部３８とエッジ検出処理部３９とを備える。

パターンマッチング処理部３８は、物品探索範囲設定部３４にて物品探索範囲として設定された単一高さ画像内に含まれる、テンプレート画像との一致度が予め定められた閾値以上である領域を物品存在領域Ｍとして検出する機能部である。また、本実施形態では、パターンマッチング処理部３８は、単一高さ画像生成部３６により生成された仮定収納姿勢に応じた有効な単一高さ画像のうち、高さが高いものから順に、パターンマッチング処理及びエッジ検出処理を実行する。具体的には、パターンマッチング処理部３８は、まず、ベース上段物品の３つの仮定収納姿勢の中で、一番高い上面を有する仮定収納姿勢（本例では横転ロング姿勢）をＳＡ姿勢とし、二番目に高い上面を有する仮定収納姿勢（本例では横転ショート姿勢）をＳＢ姿勢、一番高さの低い上面を有する仮定収納姿勢（本例では正立姿勢）をＳＣ姿勢とし、同様に、ベース段物品の３つの仮定収納姿勢についても物品上面が高い順にＳＳＡ姿勢、ＳＳＢ姿勢、ＳＳＣ姿勢として、これらの仮定収納姿勢とそれに対応する単一高さ画像とを対応づけて記憶部４０に記憶させる。なお、その際に、パターンマッチング処理部３８は、各姿勢において物品５０の上面となる矩形面の寸法情報や縦横比も各姿勢に対応づけて記憶させる。そして、パターンマッチング処理部３８は、ＳＡ姿勢、ＳＢ姿勢、ＳＣ姿勢、ＳＳＡ姿勢、ＳＳＢ姿勢、ＳＳＣ姿勢に対応する高さの高い単一高さ画像の順に、パターンマッチング処理を実行する。図７の例では、ＳＡ姿勢、ＳＢ姿勢、ＳＳＡ姿勢、ＳＳＢ姿勢に対応する単一高さ画像が記憶部４０には記憶されていない為、これらの姿勢については対応づけられる単一高さ画像が存在せず、単一高さ画像は対応づけられない。一方、ＳＣ姿勢及びＳＳＣ姿勢については、対応する単一高さ画像（「Ｈ」及び「Ｈ１＋Ｈ」の単一高さ画像）が記憶部４０に記憶されている為、これらの単一高さ画像については、各姿勢（ＳＣ姿勢及びＳＳＣ姿勢）、当該各姿勢において物品５０の上面となる矩形面の寸法情報（Ｌ１×Ｗ１）、及び縦横比（Ｗ１：Ｌ１）等が対応づけられて再度記憶部４０に記憶される。そして、パターンマッチング処理部３８は、高さの大きいＳＣ姿勢の単一高さ画像（「Ｈ１＋Ｈ」の単一高さ画像）から先にパターンマッチング処理を実行する。なお、パターンマッチング処理部３８は、対応する単一高さ画像が有効でない仮定収納姿勢（ＳＡ姿勢、ＳＢ姿勢、ＳＳＡ姿勢、ＳＳＢ姿勢）については、記憶部４０に当該仮定収納姿勢に対応する単一高さ画像が保存されていない為、パターンマッチング処理を実行しない。

パターンマッチング処理部３８は、物品探索範囲設定部３４より物品探索処理の実行指令を受けると、記憶部４０から、物品情報に含まれる一のテンプレート画像を探索テンプレートとして取得するとともに、物品探索範囲として設定された単一高さ画像のうちの一番高さの高い単一高さ画像情報を取得する。そして、パターンマッチング処理部３８は、まず、探索テンプレートの寸法と当該取得した単一高さ画像に対応する仮定収納姿勢において上面となる矩形面（以下、単に仮定収納姿勢の上面）の寸法とが一致するか及び相似関係であるかを検出する。当該仮定収納姿勢の上面の寸法が一致するとともに相似関係である場合には、パターンマッチング処理部３８は、当該単一高さ画像のカラー画像に探索テンプレートをマッチングさせていく。また、当該カラー画像の分解能と探索テンプレートの分解能とが異なる場合には、これらの分解能から算出した倍率で当該カラー画像を拡大し、当該拡大したカラー画像に探索テンプレートをマッチングさせていく。そして、パターンマッチング処理部３８は、当該カラー画像中に、探索テンプレートの画像と一致度が予め定められた閾値以上（例えば、探索テンプレートを構成する画素数の８０％以上）である領域を検出すると、当該検出した領域を物品存在領域Ｍとして記憶部４０に記憶させるとともに、物品位置特定部４１に動作指令を出力する。なお、その際に、パターンマッチング法で検出した旨、当該検出した際の物品探索範囲である単一高さ画像に対応する仮定収納姿勢の情報、及び当該仮定収納姿勢の物品５０が属する段（ベース段若しくはベース上段）（以下、検出段）も併せて記憶させる。一方、パターンマッチング処理部３８は、探索テンプレートと仮定収納姿勢の上面との寸法が一致しない場合や相似関係でない場合、若しくは、当該探索テンプレートの画像と一致度が予め定められた閾値以上である領域を検出できなかった場合には、物品情報に含まれる他のテンプレート画像を探索テンプレートとして記憶部４０から取得し、再度、上記同様の処理を実行する。そして、物品情報に含まれる全てのテンプレート画像を用いてマッチング処理を実行しても物品存在領域Ｍを検出できなかった場合には、エッジ検出処理部３９に動作指令を出力する。また、探索テンプレートの寸法は、マスター登録時の画像サイズと分解能とから算出することができる。なお、本実施形態のテンプレート画像は、カラー画像であり、かつ、各矩形面に施された模様も含んでいる。

また、エッジ検出処理部３９から、再度パターンマッチング処理を実行する旨の動作指令があると、パターンマッチング処理部３８は、記憶部４０に格納されている他の物品探索範囲として設定された単一高さ画像のうち、二番目に高さの高い単一高さ画像情報を取得して、当該新たに取得した単一高さ画像について、上述した処理と同様のパターンマッチング処理を実行する。

図７〜図１０の例を用いて説明すると、ベース上段物品の正立姿勢（ＳＣ姿勢）における物品上面に対応する単一高さ画像Ｔ１が、記憶部４０に記憶されている単一高さ画像のうち一番高さの高い単一高さ画像（「Ｈ＋Ｈ１」の高さ画像）である。よって、パターンマッチング処理部３８は、当該単一高さ画像Ｔ１の情報及び探索テンプレートとしてテンプレート画像の一つであるテンプレート画像Ｐ１を記憶部４０から取得する。しかし、当該テンプレート画像Ｐ１とＳＣ姿勢における物品上面の矩形とは、相似関係でもなく、寸法も異なる。そこで、パターンマッチング処理部３８は、単一高さ画像Ｔ１においてテンプレート画像Ｐ１とマッチングする領域、すなわち物品存在領域Ｍはなかったとして、別のテンプレート画像Ｐ２を記憶部４０から探索テンプレートとして取得する。当該テンプレート画像Ｐ２とＳＣ姿勢における物品上面の矩形面の寸法は一致するとともに相似関係である。よって、パターンマッチング処理部３８は、当該単一高さ画像Ｔ１のカラー画像にテンプレート画像Ｐ２をマッチングさせていく。そして、パターンマッチング処理部３８は、図１０の単一高さ画像Ｔ１の紙面左下の領域に示すように、当該テンプレート画像Ｐ２の画像と一致度が予め定められた閾値以上である物品存在領域Ｍを検出する。そして、パターンマッチング処理部３８は、単一高さ画像Ｔ１に対応する仮定収納姿勢であるＳＣ姿勢の情報、物品存在領域Ｍの情報、及び検出段であるベース上段物品の情報等を記憶部４０に記憶させる。

エッジ検出処理部３９は、パターンマッチング処理部３８から動作指令を受けると、パターンマッチング処理部３８において用いられた単一高さ画像内に含まれるエッジ成分を抽出してエッジ画像を生成する。そして、エッジ検出処理部３９は、当該生成したエッジ画像中に含まれる、物品５０の各矩形面の外形に基づいて生成した矩形モデルとの関係が予め定められた条件に合致する領域を物品存在領域Ｍとして検出する機能部である。具体的には、エッジ検出処理部３９は、まず、記憶部４０から、パターンマッチング処理部３８で用いた単一高さ画像に対応する仮定収納姿勢の上面の寸法情報や縦横比の情報を取得する。そして、エッジ検出処理部３９は、これらの情報に基づいて、当該矩形面の外形のテンプレートである矩形モデルを生成する。一方、エッジ検出処理部３９は、パターンマッチング処理部３８で用いた単一高さ画像内に含まれるエッジ成分を抽出してエッジ画像を生成する。そして、エッジ検出処理部３９は、当該生成したエッジ画像と矩形モデルとを用いて、当該エッジ画像中における当該矩形モデルとの関係が予め定められた条件に合致する領域を探索する。そして、エッジ検出処理部３９は、当該矩形モデルとの関係が予め定められた条件（例えば、矩形モデルの４辺のうちの３辺に一致する３本のエッジに囲まれている領域等）に合致する領域を検出すると、当該領域を物品存在領域Ｍとして記憶部４０に記憶させるとともに、物品位置特定部４１に動作指令を出力する。なお、その際に、エッジ検出処理部３９は、エッジ検出で検出した旨、当該検出した際の物品探索範囲に設定されている単一高さ画像に対応する仮定収納姿勢の情報及び検出段も併せて記憶させる。

一方、エッジ検出処理部３９は、エッジ画像中に、矩形モデルとの関係が予め定められた条件に合致する領域を検出できなかった場合には、パターンマッチング処理部３８に、再度パターンマッチング処理を実行する旨の動作指令を出力する。なお、エッジ検出処理部３９は、当該再度パターンマッチング処理を実行する旨の動作指令の出力数をカウントしており、当該動作指令の出力時に、当該動作指令の出力回数が「物品探索範囲として設定された単一高さ画像数−１」である場合には、当該動作指令を出力せずに、物品探索範囲として設定されたいずれの単一高さ画像にも、物品存在領域Ｍを検出できなかったとして、上位コントローラ２へその旨の情報を出力する。そして、上位コントローラ２のリトライ制御部２３によりリトライ処理が実行される。

物品位置特定部４１は、認識対象である物品５０の容器５１内における物品上面の３次元位置及び平面視姿勢を特定する機能部である。物品位置特定部４１は、収納状態判別部４２と平面位置特定部４３とを備える。本実施形態では、物品位置特定部４１は、物品探索処理部３７（パターンマッチング処理部３８若しくはエッジ検出処理部３９）から動作指令を受けると、記憶部４０から物品存在領域Ｍの情報等を取得する。そして、収納状態判別部４２が、当該物品５０の基準面に対する収納姿勢を判別するとともに認識対象である物品５０の物品上面の容器５１内における高さ方向Ｚの位置を特定し、平面位置特定部４３が、当該物品存在領域Ｍから物品５０の容器５１内における平面位置及び平面視姿勢を特定する。そして、物品位置特定部４１は、当該特定した容器内５１における物品上面の３次元位置及び平面視姿勢の情報をチェック処理部４５に出力する。物品位置特定部４１は、当該チェック処理部４５から正常である旨の応答を受信すると、当該特定した容器内５１における物品上面の３次元位置及び平面視姿勢を確定し、これらの情報を上位コントローラ２のロボット制御部２４へ認識結果情報として出力する。

収納状態判別部４２は、物品探索処理部３７の検出情報と、物品５０の寸法情報とから、物品５０が矩形面のいずれの面を上面として収納されているかの収納姿勢を判別するとともに、物品５０の底面が属している基準面に対する物品上面の高さを算出する機能部である。そして、本実施形態では、収納状態判別部４２は、記憶部４０に格納されている単一高さ画像のうち、物品探索処理部３７にて物品存在領域Ｍが検出された単一高さ画像に対応する仮定収納姿勢が、ベース上段物品が存在すると仮定した場合の仮定収納姿勢の一つである場合には、物品存在領域Ｍが検出された単一高さ画像に対応する仮定収納姿勢を実際の収納姿勢であるとして判別するとともに、仮想基準面Ｓを実際に物品５０の底面が属している基準面と判別する。また、収納状態判別部４２は、記憶部４０に格納されている単一高さ画像のうち、物品探索処理部３７にて物品存在領域Ｍが検出された単一高さ画像に対応する仮定収納姿勢が、ベース段物品が存在すると仮定した場合の３つの新たな仮定収納姿勢の一つである場合には、記憶部４０に格納されている単一高さ画像のうち、物品探索処理部３７にて物品存在領域Ｍが検出された単一高さ画像に対応する仮定収納姿勢を、実際の収納姿勢であるとして判別するとともに、仮想基準下面ＳＳを基準面と判別する。

具体的には、収納状態判別部４２は、物品探索処理部３７の検出情報としての物品存在領域Ｍの情報、当該物品存在領域Ｍが検出された単一高さ画像に対応する仮定収納姿勢の情報及び検出段を記憶部４０から取得する。そして、収納状態判別部４２は、当該物品存在領域Ｍが検出された単一高さ画像に対応する仮定収納姿勢を物品５０の収納姿勢として判別する。図７〜図１０の例を用いて説明すると、収納状態判別部４２は、記憶部４０から物品存在領域Ｍの情報を取得する際に、当該物品存在領域Ｍが検出された単一高さ画像Ｔ１に対応するＳＣ姿勢の情報及び検出段も取得する。そして、収納状態判別部４２は、収納姿勢をベース上段物品の正立姿勢であると判別するとともに、仮想基準面Ｓを基準面と判別する。また、収納状態判別部４２は、仮想基準面Ｓ若しくは仮想基準下面ＳＳの容器底面からの高さと、基準面に対する物品上面の高さとから、物品上面の容器底面からの高さを算出する。図７〜図１０の例では、収納状態判別部４２は、基準面と判別した仮想基準面Ｓの高さ「Ｈ」と、当該基準面に対する物品上面の高さ、すなわち当該判別した収納姿勢（正立姿勢）における高さ方向に沿う辺の長さ「Ｈ１」とから、当該物品上面の容器底面からの高さ「Ｈ＋Ｈ１」を算出する。これにより、容器５１内における物品上面の高さ方向Ｚの位置を特定することができる。なお、物品存在領域Ｍが検出された単一高さ画像Ｔの高さを物品上面の容器底面からの高さとしてもよい。

また、収納状態判別部４２は、記憶部４０に記憶されている物品５０の寸法情報に基づいて、物品５０の３辺の中に、当該各辺の長さの差が予め定められた判別限界値よりも小さい一対の類似辺を含むと判別した場合であって、前記一対の類似辺のうちの短い方の辺を高さ方向に沿わせた姿勢を収納姿勢として判別したときには、当該判別の結果である収納姿勢を、前記一対の類似辺のうちの長い方の辺を高さ方向に沿わせた姿勢に更新する。図７〜図１０の例では、物品５０の３辺の寸法（Ｈ１，Ｗ１，Ｌ１）のうち、Ｗ１とＨ１との差が判別限界値（例えば、２ｃｍ）よりも小さく、ほぼ同じ長さ（Ｗ１がＨ１よりも少しだけ大きい）である場合には、収納状態判別部４２が、収納姿勢として、Ｈ１の辺を高さ方向に沿わせたＳＣ姿勢と判別した場合であっても、Ｗ１の辺を高さ方向に沿わせたＳＢ姿勢と判別し、当該判別結果を更新する。

平面位置特定部４３は、物品探索処理部３７の検出情報に基づいて、物品存在領域Ｍの基本画像内における位置及び基本画像に対する傾きから、物品上面の平面位置及び平面視姿勢を特定する機能部である。本実施形態では、平面位置特定部４３は、容器５１内における物品存在領域Ｍの中心位置Ｍ１を物品上面の平面位置と特定するとともに、容器５１に対する物品存在領域Ｍの回転角（傾き）を物品上面の平面視姿勢として特定する。具体的には、平面位置特定部４３は、基本画像中において、容器５１の搬送方向ＷＸにおける下流側かつ幅方向ＷＹにおける物品搬送コンベア１１側の隅における基準点を原点Ｏとして、原点Ｏから容器５１内における容器内搬送方向Ｘに沿う方向にＸ軸を、容器内幅方向Ｙに沿う方向にＹ軸をとる（すなわち、容器内座標系を設定する）とともに、記憶部４０から物品存在領域Ｍの情報を取得する。そして、平面位置特定部４３は、図１１に示すように、当該物品存在領域Ｍの中心位置Ｍ１の容器内座標（Ｘ，Ｙ）を算出し、当該中心位置Ｍ１の容器内座標（Ｘ，Ｙ）を物品上面の平面位置として特定する。また、平面位置特定部４３は、物品存在領域Ｍに対応する矩形領域を容器５１の矩形領域と相似となるように配置した基準角度（０°）から、当該物品存在領域Ｍに対応する矩形領域が当該物品存在領域Ｍの中心位置Ｍ１を中心として回転した回転角を算出し、当該回転角を平面視姿勢と特定する。画像座標系における容器５１の原点Ｏは、撮像装置８の設置位置及び基準画像における長さと実距離との関係から定まる変換係数を用いて、基準座標系における座標に変換することができる。これにより、平面位置特定部４３は、容器内座標系における中心位置Ｍ１の容器内座標（Ｘ，Ｙ）を画像座標系に変換して、さらに基準座標系に変換し、認識結果情報としてロボット制御部２４へ出力する。このように、認識結果情報としては中心位置Ｍ１の３次元位置の世界座標（画像座標）が含まれる。

チェック処理部４５は、物品認識装置３（物品位置特定部４１）で特定した物品上面の３次元位置及び平面視姿勢の値が不適切でないかをチェックする機能部である。チェック処理部４５は、底面チェック部４６と物品壁際チェック部４７とを備える。チェック処理部４５は、物品位置特定部４１から容器内５１における物品上面の３次元位置及び平面視姿勢の情報を取得すると、当該取得した物品上面の３次元位置及び平面視姿勢の値が不適切でないかをチェックし、正常である場合には物品位置特定部４１に対して正常である旨の情報を出力し、正常でない場合には上位コントローラ２のリトライ制御部２３へエラー出力を行う。

底面チェック部４６は、収納状態判別部４２により算出された物品上面の容器底面からの位置が、実際には存在し得ないような位置ではないかをチェックする機能部である。例えば、底面チェック部４６は、物品位置特定部４１により特定された物品上面の高さ方向Ｚの位置が、床にのめり込んだ状態の容器の容器底面上に載置されている物品５０の物品上面位置に相当しないか等をチェックする。具体的には、底面チェック部４６は、物品位置特定部４１から物品上面の３次元位置の情報を取得すると、収納状態判別部４２により算出された物品上面の容器底面からの高さが、物品５０の寸法情報に含まれる３辺の長さのうち最も短い辺の長さよりも小さいか否かを判定する。そして、底面チェック部４６は、物品上面の容器底面からの高さが物品５０の最も短い辺の長さよりも小さいと判定した場合には、物品５０が容器底面にめり込んでいるという現実には有り得ない結果であるので物品上面の認識を失敗したとして、エラー出力を行う。本実施形態では、物品５０の最も短い辺の長さはＨ１である為、底面チェック部４６は、収納状態判別部４２により算出された物品上面の容器底面からの高さがＨ１未満であるかを判定する。そして、底面チェック部４６は、収納状態判別部４２により算出された物品上面の容器底面からの高さがＨ１未満であると判定した場合には、上位コントローラ２のリトライ制御部２３へエラー出力を行う。なお、底面チェック部４６は、収納状態判別部４２により算出された物品上面の容器底面からの高さがＨ１以上であると判定した場合には、正常である旨の情報を物品位置特定部４１へ出力する。

物品壁際チェック部４７は、平面位置特定部４３により特定された物品上面の平面位置及び平面視姿勢と、記憶部４０に格納されている物品５０の寸法情報とにより定まる基本画像における物品上面に対応する矩形領域が、実際には存在し得ないような位置に存在していないかをチェックする機能部である。例えば、物品壁際チェック部４７は、物品５０の上面に対応する矩形領域が容器５１の側壁にめり込んだ状態となっていないか等をチェックする。具体的には、物品壁際チェック部４７は、平面位置特定部４３により特定された物品上面の平面位置及び平面視姿勢と、記憶部４０に格納されている物品５０の寸法情報とにより定まる基本画像における物品上面に対応する矩形領域が、基本画像における容器５１の存在領域の内部に包含されるか否かを判別する。本実施形態では、図１１に示すように、物品壁際チェック部４７は、物品存在領域Ｍの中心位置Ｍ１と平面視姿勢（回転角度）と物品５０の寸法情報とから物品上面の矩形領域を構成する４隅である５０Ａ，５０Ｂ，５０Ｃ，５０Ｄの各地点の容器内座標（Ｘ，Ｙ）を算出する。一方、物品壁際チェック部４７は、記憶部４０から容器５１の寸法情報を取得し、容器５１の存在領域に対応する矩形領域を構成する４隅である５１Ａ，５１Ｂ，５１Ｃ，５１Ｄの容器内座標系における各地点（Ｘ，Ｙ）座標を算出する。なお、当該容器５１の一隅の地点（本例では５１Ａ）が原点Ｏである。そして、物品壁際チェック部４７は、物品上面に対応する矩形領域の５０Ａ，５０Ｂ，５０Ｃ，５０Ｄの４隅の地点の容器内座標（Ｘ，Ｙ）が、容器５１の５１Ａ，５１Ｂ，５１Ｃ，５１Ｄの４隅の地点を結んで生成される矩形領域内に含まれていると判定する場合には、物品位置特定部４１に正常である旨のチェック結果情報を出力する。一方、底面チェック部４６は、物品上面に対応する矩形領域の４隅の地点の容器内座標（Ｘ，Ｙ）のうち一つでも、容器５１の４隅の地点を結んで生成される矩形領域の外部に位置していると判定した場合には、上位コントローラ２のリトライ制御部２３へエラー出力を行う。

４．物品認識処理の処理手順
本実施形態に係る上位コントローラ２、物品認識装置３及びピッキングコンベア６、すなわち物品認識設備による物品認識処理の処理手順について、図１２及び図１３を参照して説明する。以下に説明する物品認識処理の手順は、上位コントローラ２、物品認識装置３及びピッキングコンベア６の各機能部を構成するハードウェア又はソフトウェア（プログラム）或いはその両方により実行される。上記の各機能部がプログラムにより構成される場合には、上位コントローラ２、物品認識装置３及びピッキングコンベア６のそれぞれが有する演算処理装置（図示せず）が、それぞれが有する各機能部を構成するプログラムを実行するコンピュータとして動作してもよいし、上位コントローラ２の演算処理装置が、物品認識設備の全ての機能部を構成するプログラムを実行するコンピュータとして動作してもよい。

４−１．物品認識処理について
本実施形態に係る物品認識処理では、まず、情報取得部４４が、上位コントローラ２からの物品探索指令と併せて出力される容器情報及び物品情報を取得する（ステップ＃０１）。そして、画像取得部３１が、ステップ＃０１における当該物品探索指令に基づいて、撮像装置８から撮像画像を取得する（ステップ＃０２）。次に容器外形検出部３２が、ステップ＃０２で取得した撮像画像から容器５１の外形を検出する（ステップ＃０３）。ステップ＃０３で容器外形が検出できなかった場合には（ステップ＃０４：Ｎｏ）、容器外形検出部３２は、上位コントローラ２に対してエラー報告を出力し、上位コントローラ２よりリセット指示を受ける（ステップ＃２０）。そして、それに応じてステップ＃０１及びステップ＃０２で取得し記憶部４０に記憶したデータを消去する。一方、ステップ＃０４で容器外形を検出した場合には（ステップ＃０４：Ｙｅｓ）、物品探索範囲設定部３４が物品探索範囲設定処理を実行する（ステップ＃０５）。

物品探索範囲設定処理は、図１３に示すように、まず、物品探索範囲設定部３４が、記憶部４０から物品５０の３辺の寸法情報を取得する（ステップ＃５１）。次に、仮想基準面設定部３５が、基本画像から基準高さＨを算出し、ステップ＃５１の寸法情報と当該基準高さＨとを用いて仮想基準面Ｓを設定するとともに、仮想基準下面ＳＳをさらに設定する（ステップ＃５２）。そして、単一高さ画像生成部３６が、ステップ＃５１で取得した寸法情報と、ステップ＃５２で設定した仮想基準面Ｓ及び仮想基準下面ＳＳとに基づいて、仮想基準面Ｓ上のベース上段物品の３つの仮定収納姿勢、及び、仮想基準下面ＳＳ上のベース段物品の３つの仮定収納姿勢の６つの仮定収納姿勢のそれぞれについての物品上面の容器底面からの論理高さを算出する。そして、単一高さ画像生成部３６が、当該論理高さと同一の高さ情報を有する画素をそれぞれ抽出して、当該仮定収納姿勢における物品上面に対応する高さの単一高さ画像を生成する（ステップ＃５３）。単一高さ画像生成部３６は、ステップ＃５３で生成した単一高さ画像のそれぞれについて２値化を行い（ステップ＃５４）、物品探索領域が存在するか否かを判別する（ステップ＃５５）。単一高さ画像生成部３６が、物品探索領域が存在すると判別した場合は（ステップ＃５６：Ｙｅｓ）、有効な単一高さ画像であるとして、カラー画像に変換をし（ステップ＃５７）、物品探索範囲として設定し（ステップ＃５８）、記憶部４０に記憶する（ステップ＃５９）。そして、単一高さ画像生成部３６が、６つの全ての単一高さ画像について、物品探索領域の存在の有無を判別する処理が終了した場合には（ステップ＃６０：Ｙｅｓ）、物品探索範囲設定処理を終了する。単一高さ画像生成部３６が、６つの全ての単一高さ画像について、物品探索領域の存在の有無を判別する処理が終了していない場合には（ステップ＃６０：Ｎｏ）、６つの全ての単一高さ画像について物品探索領域の存在の有無を判別する処理が終了するまで、ステップ＃５６に戻って、残りの他の単一高さ画像について当該判別処理を実行する。

一方、ステップ＃５６において、単一高さ画像生成部３６が、物品探索領域が存在しないと判別した場合で（ステップ＃５６：Ｎｏ）、他の全ての単一高さ画像についても物品探索領域がないと判別した場合、すなわち、全ての単一高さ画像に物品探索領域がないと判別した場合には（ステップ＃６１：Ｙｅｓ）、有効な単一高さ画像がないとして（ステップ＃６２，図１２のステップ＃０６：Ｙｅｓ）物品探索範囲設定処理を終了し、図１２に戻って、リトライ制御部２３がピッキングコンベア６にリトライ指示を出力する（ステップ＃１７）。ステップ＃６１にて、単一高さ画像生成部３６が、６つの単一高さ画像の全てに物品探索領域がないと判別しない場合（ステップ＃６１：Ｎｏ）、例えば、既に物品探索領域があると判別した単一高さ画像がある場合等には、６つの全ての単一高さ画像についての当該判別処理が終了するまで、ステップ＃５６に戻って同様の処理を繰り返す（ステップ＃６０：Ｎｏ）。ステップ＃６１にて、単一高さ画像生成部３６が、６つの単一高さ画像の全てに物品探索領域がないと判別しない場合で（ステップ＃６１：Ｎｏ）、６つの全ての単一高さ画像についての当該判別処理が終了した場合には（ステップ＃６０：Ｙｅｓ）、物品探索範囲設定処理を終了する。

図１２の処理に戻って、ステップ＃０６において、単一高さ画像生成部３６が、有効な単一高さ画像があると判別した場合には（ステップ＃０６：Ｎｏ）、パターンマッチング処理部３８は、物品探索範囲に設定された有効な単一高さ画像のうち、一番高さの高い単一高さ画像に対してパターンマッチング処理を実行する（ステップ＃０７）。パターンマッチング処理において物品存在領域Ｍが検出されると（ステップ＃０８：Ｙｅｓ）、物品位置特定部４１が、当該物品存在領域Ｍに基づき、物品上面の３次元位置及び平面視姿勢を特定する（ステップ＃１１）。一方、パターンマッチング処理において物品存在領域Ｍが検出されない場合には（ステップ＃０８：Ｎｏ）、エッジ検出処理部３９がステップ＃０７で用いた有効な単一高さ画像に対してエッジ検出処理を実行する（ステップ＃０９）。エッジ検出処理において物品存在領域Ｍが検出されると（ステップ＃０９：Ｙｅｓ）、物品位置特定部４１が、当該物品存在領域Ｍに基づき、物品上面の３次元位置及び平面視姿勢を特定する（ステップ＃１１）。

一方、エッジ検出処理において物品存在領域Ｍが検出されない場合で（ステップ＃１０：Ｎｏ）、ステップ＃０６で判別した有効な単一高さ画像が他にあれば（ステップ＃１６：Ｙｅｓ）、ステップ＃０７に戻り、パターンマッチング処理部３８が、他の有効な単一高さ画像に対してパターンマッチング処理を実行する。なお、本実施形態では、パターンマッチング処理部３８は、高さの高い単一高さ画像順に当該パターンマッチング処理を実行する。また、エッジ検出処理において物品存在領域Ｍが検出されない場合で（ステップ＃１０：Ｎｏ）、ステップ＃０６で判別した有効な単一高さ画像が他になければ（ステップ＃１６：Ｎｏ）、エッジ検出処理部３９は、その旨の情報を上位コントローラ２へ出力し、リトライ制御部２３がピッキングコンベア６にリトライ指示を出力する（ステップ＃１７）。そして、リトライ制御部２３は、リトライ指示の出力回数が３回未満であれば（ステップ＃１８：Ｎｏ）、ピッキングコンベア６にリトライ処理を実行させる（ステップ＃１９）。リトライ制御部２３は、リトライ指示の出力回数が３回以上であれば（ステップ＃１８：Ｙｅｓ）、リセット指示をして（ステップ＃２０）、物品認識処理を終了する。また、物品位置特定部４１が、当該物品存在領域Ｍに基づき、物品上面の３次元位置及び平面視姿勢を特定すると（ステップ＃１１）、チェック処理部４５にて各種チェックが実行される（ステップ＃１２）。そして、チェック処理部４５にて各種チェックの結果が正常である場合には（ステップ＃１３：Ｙｅｓ）、物品位置特定部４１が、物品上面の３次元位置及び平面視姿勢を確定し（ステップ＃１４）、当該物品上面の３次元位置及び平面視姿勢の情報を上位コントローラ２へ出力して（ステップ＃１５）、当該物品認識処理を終了する。なお、チェック処理部４５にて各種チェックの結果が正常でない場合には（ステップ＃１３：Ｎｏ）、チェック処理部４５は、上位コントローラ２へその旨の情報を出力し、リトライ制御部２３がピッキングコンベア６にリトライ指示を出力する（ステップ＃１７）。

５．その他の実施形態
最後に、本発明に係る物品搬送設備１００のその他の実施形態について説明する。なお、以下のそれぞれの実施形態で開示される構成は、矛盾が生じない限り、他の実施形態で開示される構成と組み合わせて適用することも可能である。

（１）上記の実施形態では、ステレオカメラ等の一対のカメラ８Ａ及び８Ｂを有する撮像装置８を用いて、カメラ８Ａで撮像した画像における各画素においての当該カメラ８Ａからの距離情報を、一対のカメラ８Ａ及び８Ｂの視差に基づいて算出して、各画素が当該カメラ８Ａからの距離情報を有する撮像画像を生成する構成であった。しかし、本発明の実施形態はこれに限定されるものではなく、撮像装置８として、撮像画像と距離情報とを併せて取得できる距離画像センサを用いる構成であってもよい。

（２）上記の実施形態では、リトライ制御部２３が上位コントローラ２に設けられる構成であるが、物品認識装置３に設けられる構成であってもよい。その際には、リトライ制御部２３は、ピッキングコンベア６を直接的に制御する構成であってもよいし、上位コントローラ２を介して間接的に制御する構成であってもよい。

（３）上記の実施形態において、さらに、物品認識装置３が、認識対象である物品５０が、容器５１内に収容されている最後の一つであるか否かを判別するラスト物品判別部を備える構成であってもよい。なお、その際には、上位コントローラ２が、容器５１内に収容されている最後の一つの物品５０を取り出した後にピッキング箇所１２に存在する容器５１を他の容器５１に入れ替えるようにピッキングコンベア６の動作を制御する容器入替制御部（図示せず）を備える構成であることが好ましい。ラスト物品判別部が、認識対象である物品５０が容器５１内に収容されている最後の一つであると判定すると、最後の一つである旨の情報を上位コントローラ２に出力する。容器入替制御部は、当該最後の一つである旨の情報を受けると、物品認識装置３から取得する最後の物品５０の認識情報結果に基づく、ピッキングロボット５による最後の物品５０のピッキング処理が終了すると、ピッキングコンベア６の搬送面Ｐを搬送方向ＷＸの上流側から下流側へ動作させる。これにより、空となった容器５１は入庫コンベア１０側に搬送され、物品５０が収容されている新たな容器５１がピッキング箇所１２に搬送される。なお、ラスト物品判別部では、例えば、マスター容器情報から容器情報取得部２２を介して取得した各容器５１内に含まれる物品５０の在庫数と、物品認識装置３から認識結果情報を上位コントローラ２へ出力した回数（ピッキングロボットにて取り出した物品５０の個数に相当）とを比較すること等により、最後の一つを判別することができる。

（４）上記の実施形態では、上位コントローラ２は、センサ等によって、ピッキング箇所１２における容器５１の存在を検出すると自動的に物品探索指令を物品認識装置３に出力する構成であるが、本発明の実施形態はこれに限定されるものではない。上位コントローラ２は、作業者が物品探索処理開始ボタンを押す等の手動による物品探索の操作入力を検知した際に、物品探索指令を物品認識装置３に出力する構成であってもよい。

（５）上記の実施形態では、仮想基準面設定部３５は、基本画像内において同一の高さ情報を有する画素が最も多く含まれる高さを基準高さＨとし、当該基準高さＨの高さ情報を有する画素群により形成される平面を仮想基準面Ｓとして設定する構成であった。しかし、本発明の実施形態はこれに限定されるものではなく、基準高さＨを予め与える構成であってもよい。

（６）上記の実施形態では、仮想基準面設定部３５は、仮想基準面Ｓの基準高さＨとして、ヒストグラムを谷で分割した際に最も面積が大きい山を判別し、当該山の中で一番出現率が大きい画素値が有する高さ、すなわち、同一の高さ情報を有する画素が最も多く含まれる高さを基準高さＨとしている。しかし、本発明の実施形態はこれに限定されるものではない。例えば、ヒストグラムを谷で分割した際の最も面積が大きい山を構成する画素数及び画素値（各画素が有する高さ）から画素値（高さ）の平均値を算出し、当該平均値を基準高さＨとする構成であってもよい。

（７）上記の実施形態では、物品探索範囲設定部３４を備え、単一高さ画像を生成して、当該生成した単一高さ画像のうち有効な単一高さ画像を物品探索範囲とし、物品探索処理部３７では当該物品探索範囲に対して物品探索処理を実行する構成であった。そして、収納状態判別部４２は、物品存在領域Ｍが検出された単一高さ画像に対応づけられている仮定収納姿勢を収納姿勢と判別する構成であった。しかし、本発明の実施形態はこれに限定されるものではない。例えば、物品認識装置３が、物品探索範囲設定部３４を備えない構成とすることにより、物品探索処理部３７が、物品探索範囲として有効な単一高さ画像に絞らずに、基本画像全体に対して物品探索処理を実行する構成であってもよい。その場合、物品探索処理部３７により物品存在領域Ｍが検出されると、収納状態判別部４２は、物品上面に対応する当該物品存在領域Ｍの矩形領域と物品５０の寸法情報とから、物品５０がいずれの面を上面としているかを認識するとともに、収納姿勢を判別する。収納状態判別部４２は、さらに、収納姿勢を判別後に、物品５０の寸法情報により、当該物品５０の底面が属している基準面に対する物品上面の高さを算出する。

２：上位コントローラ（物品認識装置）
３：物品認識装置（物品認識装置）
６：ピッキングコンベア（移動部）（物品認識設備）
３７：物品探索処理部
４２：収納状態判別部
４３：平面位置特定部
４４：情報取得部
３５：仮想基準面設定部
３６：単一高さ画像生成部
４６：底面チェック部
４７：物品壁際チェック部
５０：物品
５１：容器
Ｍ：物品存在領域
Ｐ１，Ｐ２：テンプレート画像
Ｓ：仮想基準面
ＳＳ：仮想基準下面
Ｔ１：単一高さ画像

Claims (9)

1. 上面が開放された容器に収容された直方体形状の物品を認識対象とし、前記物品を収容した前記容器の上方からの撮像画像である基本画像から、物品上面の位置及び当該物品上面の平面視姿勢を認識する物品認識装置であって、
   前記物品の６個の矩形面のうちの一部の矩形面の画像に対応するテンプレート画像及び前記物品の１つの頂点から延びる３辺についての寸法情報を予め取得する情報取得部と、
   パターンマッチング処理とエッジ検出処理とを実行する物品探索処理部と、
   前記物品探索処理部の検出情報と、前記寸法情報とから、前記物品が前記矩形面のいずれの面を上面として収納されているかの収納姿勢を判別するとともに、前記物品の底面が属している基準面に対する前記物品上面の高さを算出する収納状態判別部と、
   前記物品探索処理部の検出情報に基づいて、前記物品存在領域の前記基本画像内における位置及び前記基本画像に対する傾きから、前記物品上面の平面位置及び平面視姿勢を特定する平面位置特定部と、を備え、
   前記パターンマッチング処理は、前記基本画像内に含まれる、前記テンプレート画像との一致度が予め定められた閾値以上である領域を物品存在領域として検出し、
   前記エッジ検出処理は、前記基本画像内のエッジ成分を抽出して生成したエッジ画像を生成し、前記各矩形面の外形に基づいて生成した矩形モデルとの関係が予め定められた条件に合致する領域を、前記物品存在領域として検出し、
   前記物品探索処理部は、物品探索指令が指令されると前記パターンマッチング処理を実行し、当該パターンマッチング処理において前記物品存在領域を検出できない場合に前記エッジ検出処理を実行する物品認識装置。
2. 前記容器内における前記物品の前記収納姿勢が予め定められ、
   前記テンプレート画像は、当該予め定められている前記収納姿勢において上面となる前記矩形面の模様に対応する画像である請求項１に記載の物品認識装置。
3. 前記基本画像における各画素について、当該各画素に対応する位置での物品上面の容器底面からの高さを示す高さ情報を取得して、同一の高さ情報を有する画素が最も多く含まれる高さである画素群により形成される平面を仮想基準面とする仮想基準面設定部と、
   前記仮想基準面に底面が属する物品であるベース上段物品が存在すると仮定した場合に、前記収納姿勢として仮定される３つの異なる仮定収納姿勢のそれぞれについて、当該仮定収納姿勢において上面となる面の前記容器底面からの高さと同一の高さ情報を有する画素を前記基本画像から抽出して単一高さ画像を生成する単一高さ画像生成部と、をさらに備え、
   前記物品探索処理部は、前記パターンマッチング処理においては、前記単一高さ画像内に含まれる、前記テンプレート画像との一致度が予め定められた閾値以上である領域を前記物品存在領域として検出し、前記エッジ検出処理においては、前記単一高さ画像内に含まれるエッジ成分を抽出して生成したエッジ画像を生成し、前記矩形モデルとの関係が予め定められた条件に合致する領域を前記物品存在領域として検出し、
   前記収納状態判別部は、前記単一高さ画像のうち、前記物品探索処理部にて前記物品存在領域が検出された単一高さ画像に対応する前記仮定収納姿勢を前記収納姿勢として判別するとともに、前記仮想基準面を前記基準面と判別する請求項１又は２に記載の物品認識装置。
4. 前記容器には、物品上面が同一の高さに属するように配置された同一形状の複数の物品により形成される物品層が高さ方向に積層される状態で収容され、
   前記仮想基準面設定部は、物品上面が前記仮想基準面に属する物品であるベース段物品の底面が属する面を仮想基準下面としてさらに設定し、
   前記単一高さ画像生成部は、前記仮想基準下面上での前記ベース段物品の前記収納姿勢として仮定される３つの新たな仮定収納姿勢のそれぞれについて、当該新たな仮定収納姿勢において上面となる面の前記容器底面からの高さと同一の高さ情報を有する画素を前記基本画像から抽出して３つの新たな単一高さ画像を生成し、
   前記収納状態判別部は、前記３つの新たな単一高さ画像のいずれかに、前記物品探索処理部にて前記物品存在領域が検出された場合には、当該物品存在領域が検出された単一高さ画像に対応する前記仮定収納姿勢を前記収納姿勢として判別するとともに、前記仮想基準下面を前記基準面と判別する請求項３に記載の物品認識装置。
5. 前記物品探索処理部は、前記単一高さ画像生成部により生成された前記仮定収納姿勢に応じた単一高さ画像のうち、高さの大きい単一高さ画像から順に、前記パターンマッチング処理及び前記エッジ検出処理を実行する請求項３又は４に記載の物品認識装置。
6. 前記収納状態判別部は、前記仮想基準面若しくは前記仮想基準下面の容器底面からの高さと、前記基準面に対する物品上面の高さとから、物品上面の容器底面からの高さを算出し、
   前記収納状態判別部により算出された前記物品上面の容器底面からの高さが、前記寸法情報に含まれる前記３辺の長さのうち最も短い辺の長さよりも小さいか否かを判定する底面チェック部をさらに備え、
   前記底面チェック部が、前記物品上面の高さが前記物品の最も短い辺の長さよりも小さいと判定した場合には、エラー出力を行う請求項３から５のいずれか一項に記載の物品認識装置。
7. 前記収納状態判別部は、前記寸法情報に基づいて、前記物品の３辺の中に、当該各辺の長さの差が予め定められた判別限界値よりも小さい一対の類似辺を含むと判別した場合であって、前記一対の類似辺のうちの短い方の辺を高さ方向に沿わせた姿勢を前記収納姿勢として判別したときには、当該判別の結果である前記収納姿勢を、前記一対の類似辺のうちの長い方の辺を高さ方向に沿わせた姿勢に更新する請求項１から６のいずれか一項に記載の物品認識装置。
8. 前記平面位置特定部により特定された前記物品上面の平面位置及び平面視姿勢と、前記寸法情報とにより定まる前記基本画像における前記物品上面に対応する矩形領域が、前記基本画像における前記容器の存在領域の内部に包含されるか否かを判別する物品壁際チェック部をさらに備え、
   前記物品壁際チェック部が、前記矩形領域が前記容器の存在領域の内部に包含されないと判別した場合には、エラー出力を行う請求項１〜７のいずれか一項に記載の物品認識装置。
9. 請求項１〜８のいずれか一項に記載の物品認識装置と、
   前記容器を水平方向に移動させる移動部と、
   前記物品探索処理部において、前記物品存在領域を検出できなかった場合に、前記容器を、前記基本画像の撮像位置から予め設定した量だけ水平移動させるように前記移動部を制御するリトライ制御部と、を備える物品認識設備。

Images