JP2019185204A - 画像処理装置、ロボットシステム、画像処理方法 - Google Patents

Abstract

【課題】物品自体の陰影の影響を抑えて物品を精度よく認識すること。【解決手段】載置面を背景にした物品をラインセンサ（１５）で撮像して、物品を画像認識する画像処理装置（４０）であり、撮像画像から陰影の背景データ及び陰影外の背景データを取得するデータ取得部（４１）と、陰影の背景データ及び陰影外の背景データに基づいて各背景データの背景色分布を統計処理する統計処理部（４２）と、統計処理の処理結果に応じて各背景データの背景色分布を包含する包含モデルを生成するモデル生成部（４３）と、撮像画像において包含モデルに基づいて物品を背景から切り出して認識する物品認識部（４４）とを備える構成にした。【選択図】図４

Description

本開示は、画像処理装置、ロボットシステム、画像処理方法に関する。

近年のロボットシステムでは、コンベア等の搬送機構で物品を搬送してロボットハンドにピッキングさせて仕分け作業や移載作業が実施される。この場合、ロボットハンドに設けられた三次元計測器で物品の位置と姿勢が立体的に認識されて、認識結果に応じてロボットハンドによって物品が適切に把持されている。この種の認識処理として、ＣＡＤモデル等の物品の形状モデルを予め記憶しておき、この形状モデルが三次元計測器で物品を計測した計測点群と最も一致する位置と姿勢を探索して、任意に置かれた物品を認識する方法が提案されている（例えば、特許文献１参照）。

特開平９−２７７１８４号公報

特許文献１では、物品の認識方法としてＩＣＰ（Iterative Closest Point）アルゴリズムが採用されている。ＩＣＰアルゴリズムは、物品の形状モデルである三次元辞書点群と三次元計測器の計測点群との間で、対応点の誤差が最小となるように座標計算を繰返すことで位置合わせしている。しかしながら、柔軟なパッケージで包装した物品の多くは不定形であるため、予め形状モデルを登録しておくことができない。また、透明パッケージでは、パッケージ形状を光学的に三次元計測することが難しい。三次元計測の代わりに画像認識を用いることで物品を認識可能だが、物品自体の陰影によって物品を精度よく認識できない場合がある。

本開示はかかる点に鑑みてなされたものであり、物品自体の陰影の影響を抑えて物品を精度よく認識することができる画像処理装置、ロボットシステム、画像処理方法を提供することを目的の１つとする。

本開示の一態様の画像処理装置は、載置面を背景にした物品の撮像画像から該物品を画像認識する画像処理装置であって、前記撮像画像から陰影の背景データ及び陰影外の背景データを取得するデータ取得部と、陰影の背景データ及び陰影外の背景データに基づいて各背景データの背景色分布を統計処理する統計処理部と、統計処理の処理結果に応じて各背景データの背景色分布を包含する包含モデルを生成するモデル生成部と、前記撮像画像において、前記包含モデルに基づいて物品を背景から切り出して認識する物品認識部とを備えたことを特徴とする。

本開示によれば、撮像画像の陰影と陰影外の背景データを用いて、陰影が付いた載置面と陰影が付いていない載置面を含む背景色の包含モデルが生成される。包含モデルには陰影が付いた背景色と陰影の全くない背景色に加えて、これらの背景色の中間色が含まれている。このため、包含モデルの内側には陰影の有無に関わらず背景色の画素データ（背景データ）が点在し、包含モデルの外側には背景色以外の画素データが点在する。撮像画像の画素データを包含モデルによって背景の画素データと物品の画素データに分けることができ、背景に陰影があっても撮像画像から物品だけを精度よく切り出して認識することができる。

本実施の形態のロボットシステムの構成図である。 比較例の物品認識処理の一例を示す図である。 本実施の形態のラインセンサと遮光体の位置関係を示す図である。 本実施の形態の画像処理装置のブロック図である。 本実施の形態の背景データの取得処理の一例を示す図である。 本実施の形態の統計処理の一例を示す図である。 本実施の形態の主成分分析のフローチャートの一例を示す図である。 本実施の形態の包含モデルの生成処理の一例を示す図である。 本実施の形態の物品認識処理の一例を示す図である。 本実施の形態の物品の取り出し動作の一例を示す図である。

以下、本実施の形態のロボットシステムについて説明する。図１は、本実施の形態のロボットシステムの構成図である。なお、図１のロボットシステムは一例を示すものであり、図で示した構成に限定されない。

図１に示すように、ロボットシステム１は、工場等に設置されたコンベア（搬送機構）１０で物品Ｐを搬送し、ロボット２０によってコンベア１０上の物品Ｐに対して仕分け作業や移載作業を実施するように構成されている。ロボット２０は、いわゆる垂直多関節ロボットであり、回転台２１に設けたロボットアーム２２の先端にロボットハンド２３が装着されている。回転台２１は設置面に対して垂直軸回りに回転可能に設置され、ロボットアーム２２は回転台２１に対して揺動可能に連結されている。ロボットアーム２２は複数のアーム部を連結して、各アーム部の関節の回転角度をサーボモータ等で制御している。

ロボットハンド２３には、吸着パッド２４や距離センサ２５が設けられており、距離センサ２５で物品Ｐの高さを計測して、吸着パッド２４の物品Ｐの表面に位置付けて把持している。ロボット２０にはロボットコントローラ２６が接続されており、ロボットコントローラ２６によって回転台２１の鉛直軸回りの回転角度、各アーム部の関節の回転角度が制御されて、ロボットアーム２２の先端のロボットハンド２３が所望の位置及び姿勢に調整される。なお、ロボットコントローラ２６は、ロボット２０と一体に構成されていてもよいし、ロボット２０とは別体に構成されていてもよい。

コンベア１０の上方には、ロボットハンド２３による取り出し位置よりも上流側にラインセンサ１５の撮像位置が設定されている。ラインセンサ１５は、コンベア１０の搬送方向を横切る１ラインを撮像領域１６にして、物品Ｐが撮像領域１６を通過する度に、搬送面１１を背景にして物品Ｐを撮像している。物品Ｐの撮像画像はラインセンサ１５から画像処理装置４０に出力されて、画像処理装置４０にて物品Ｐの重心位置が求められる。物品Ｐの重心位置は画像処理装置４０からロボットコントローラ２６に出力されて、ロボットコントローラ２６によってロボットハンド２３の移動先として物品Ｐの重心位置が設定されている。

ロボットシステム１では、コンベア１０に搬送された物品Ｐがラインセンサ１５の下方を通過することで物品Ｐが画像認識される。ロボット２０による取り出し位置まで物品Ｐが搬送されると、画像認識の認識結果に基づいてロボットハンド２３が物品Ｐに近づけられる。そして、ロボットハンド２３によって物品Ｐが把持されると、物品Ｐを把持した状態でコンベア１０上から物品Ｐが取り出されて、コンベア１０の近辺に載置された出荷コンテナ２９に物品Ｐが詰め込まれる。このようなロボット２０の動作によって物品Ｐの仕分け作業等が自動的に実施されている。

ところで、図２の比較例に示すように、物品Ｐの撮像画像には物品Ｐだけでなくコンベア１０の搬送面１１も背景として含まれている。このため、撮像画像から物品Ｐを認識するためには、撮像画像から背景の搬送面１１を除去して物品Ｐだけを切り出さなければならない。しかしながら、物品Ｐによって搬送面１１上に陰影が作られると、搬送面１１の陰影箇所１８が物品Ｐの一部として切り出されて物品Ｐの形状を正確に認識できない場合がある。特に、陰影箇所１８の影響によって物品Ｐの重心位置Ｏの算出結果に誤差が生じるため、ロボット２０で物品Ｐを安定的に把持できないおそれがある。

この場合、コンベア１０の搬送面１１や陰影箇所１８の背景色等を事前にデータベースに登録して、撮像画像から搬送面１１や陰影箇所１８の背景色を除去する構成も考えられる。しかしながら、ロボットシステム１の環境下では、時間帯によって窓からの自然光で屋内の明るさや色合いが変動したり、コンベア１０の近くの作業者やロボット２０によって一時的に照明が遮られたりする。このため、コンベア１０の搬送面１１や陰影の背景色をデータベースに一律に登録させておくことが難しい。コンベア１０を覆うように照明装置を設けて、照明変動を無くすことも考えられるが、設備コストが高くなってしまう。

このような問題は、ロボットシステム１においてコンベア１０で搬送される物品Ｐを画像認識する場合に限らず、静止した物品Ｐを画像認識する場合等のように様々なシチュエーションで起こり得る。よって、陰影の影響を受けることなく、撮像画像から物品Ｐだけを切り出して認識する方法が望まれている。

そこで、本実施の形態の画像処理装置４０では、物品Ｐの背景に意図的に陰影を作り出して、撮像画像の陰影の背景データと陰影外の背景データを用いて、撮像画像の色分布から背景色分布を除去する包含モデル６０（図８Ａ参照）を生成している。包含モデル６０内には背景データだけが含まれるため、包含モデル６０外の色分布の画素データを使用することで、背景から物品Ｐを切り出して認識することができる。特に、ロボットシステム１では物品Ｐの重心位置Ｏを精度良く求めることができ、ロボットハンド２３で物品Ｐを安定的に把持することが可能になっている。

以下、図３から図９を参照して、ロボットシステムの画像処理装置について詳細に説明する。図３は、本実施の形態のラインセンサと遮光体の位置関係を示す図である。図４は、本実施の形態の画像処理装置のブロック図である。図５は、本実施の形態の背景データの取得処理の一例を示す図である。図６は、本実施の形態の統計処理の一例を示す図である。図７は、本実施の形態の主成分分析のフローチャートの一例を示す図である。図８は、本実施の形態の包含モデルの生成処理の一例を示す図である。図９は、本実施の形態の物品認識処理の一例を示す図である。

図３Ａ及び図３Ｂに示すように、ラインセンサ１５はコンベア１０の上方に位置付けられ、コンベア１０の搬送方向に直交する幅方向を直線状の撮像領域１６にしている。また、撮像領域１６の一端側には遮光体３０が設けられている。遮光体３０は、本体部分３１から撮像領域１６を挟み込むように一対の平行壁３２を突出させて形成されている。屋内の光源１９からの光が遮光体３０によって遮光されることで、一対の平行壁３２の内側で撮像領域１６の一端側に陰影が形成される。遮光体３０に一対の平行壁３２を持たせることで、平行壁３２と本体部分３１によって陰影を安定的に作り出すことが可能になっている。

なお、本実施の形態においてラインセンサ１５、遮光体３０、光源１９の位置関係は適宜変更されてもよい。ラインセンサ１５の撮像領域１６は遮光体３０に作り出された陰影を撮像可能に位置付けられていればよく、遮光体３０は光源１９からの光を遮光してコンベア１０の搬送方向に直交する幅方向の一端側に陰影を形成するように位置付けられていればよい。例えば、図３Ｃに示すように、遮光体３０によって搬送方向の上流側に陰影が形成される場合には、ラインセンサ１５は遮光体３０よりも搬送方向の上流側を撮像領域１６に含めるように位置付けられていればよい。

図４に示すように、画像処理装置４０にはラインセンサ１５が接続されており、ラインセンサ１５で撮像された撮像画像が入力される。画像処理装置４０には、撮像画像から陰影の背景データ及び陰影外の背景データを取得するデータ取得部４１が設けられている。上記したように、ラインセンサ１５の撮像領域の一端側には遮光体３０によって陰影が形成され、搬送面１１の撮像領域の中央には物品Ｐが存在している。このため、ラインセンサ１５の撮像領域１６の一端側から陰影が付いた背景データが取得され、ラインセンサ１５の撮像領域１６の他端側から陰影が付いていない背景データが取得される。

例えば、図５Ａに示すように、データ取得部４１には、ラインセンサ１５からＮライン分の画素列が入力され、Ｎライン分の画素列の両端側から数画素が背景データとして取得されている。陰影の背景データは遮光体３０に近い幅方向の一端側ほど背景色のＲＧＢ値が低くなるが、陰影外の背景データは幅方向の他端側から離れてもＲＧＢ値に大きな変化はない。したがって、幅方向の一端側の陰影の背景データについては、ＲＧＢ値が低いデータ数を確保するために、幅方向の一端側に近い画素の比率を高めるように取得されてもよい。

この場合、図５Ｂに示すように、幅方向の一端側の背景データの取得範囲を狭める代わりに、幅方向の一端側の背景データのデータ数を整数倍してＲＧＢ値が低いデータ数を確保してもよい。具体的には、Ｎラインの画素列から陰影の背景データを取得する際には、陰影の背景データとしてＮラインの各画素列の一端からｎ／２個目までの画素データを取得して２倍する。これにより、Ｎラインという限られた画素列の中でＲＧＢ値が低い背景データを十分に確保することができる。一方で、陰影外の背景データを取得する際には、陰影外の背景データとしてＮラインの各画素列の他端からｎ個目までの画素データを取得する。

なお、Ｎラインは、物品Ｐの搬送方向の長さ寸法の半分に相当することが好ましい。これにより、物品Ｐがロボット２０による取り出し位置に到達する前に、画素データの取得処理から物品Ｐの認識処理まで済ませることができる。

図４に戻り、画像処理装置４０には、陰影の背景データ及び陰影外の背景データに基づいて各背景データの各背景色分布５１、５４（図６Ａ参照）を統計処理する統計処理部４２が設けられている。また、画像処理装置４０には、統計処理の処理結果に応じて陰影及び陰影外の各背景色分布５１、５４を包含する包含モデル６０（図８Ａ参照）を生成するモデル生成部４３が設けられている。統計処理部４２では色空間での各背景色分布５１、５４のバラツキ方向が特定され、モデル生成部４３ではバラツキ方向に基づいて陰影の濃淡による背景色の変化を含めるように包含モデル６０が生成されている。

例えば、図６Ａに示すように、統計処理部４２では、陰影及び陰影外の背景データ（画素データ）がＲＧＢ値に応じて色空間に配置されると、これら陰影及び陰影外の各背景色分布５１、５４に対して統計処理が実施される。統計処理としては、主成分分析（PCA: Principal Component Analysis）が実施されて各背景色分布５１、５４のバラツキが大きな主軸方向が求められる。主成分分析では、各背景色分布５１、５４の平均値から分散を得て共分散行列が作成され、この行列が対角化することで色分布が近似された特徴ベクトル、すなわち固有ベクトルが得られる。固有ベクトルは主軸ベクトルの傾き比として用いることができる。

この場合、図６Ｂに示すように、各背景色分布で主軸ベクトル（固有ベクトル）が求められると、色空間での主軸ベクトルの傾きが求められる。主軸ベクトルをＥ_ｒ、Ｅ_ｇ、Ｅ_ｂとすると、次式（１）によって色空間の各平面に投射した主軸ベクトルの角度θ_Ｒ、θ_Ｇ、θ_Ｂが表され、次式（２）によって主軸ベクトルとＧＢ平面上に投射した主軸ベクトルが成す角度θ_Ｐｏｌｅが表される。

ここで、主成分分析処理の処理フローについて簡単に説明すると、図７に示すように、先ず各背景色分布５１、５４の点群のＲＧＢ値の平均値が算出される（ステップＳ０１）。次に、背景色分布５１、５４の点群のＲＧＢ値と平均値とから共分散行列が作成される（ステップＳ０２）。次に、共分散行列から固有値が算出され（ステップＳ０３）、主軸として固有ベクトルが算出される（ステップＳ０４）。そして、ＲＧ平面、ＧＢ平面、ＢＲ平面に対する固有ベクトルの角度が算出されて主軸方向が算出される（ステップＳ０５）。ここでは、主成分分析で各背景色分布５１、５４の主軸を算出したが、他の統計処理を用いて各背景色分布５１、５４から主軸を算出してもよい。

図８Ａに示すように、モデル生成部４３では、陰影及び陰影外の各背景色分布５１、５４を含むように楕円体形状の包含モデル６０が生成される。陰影の背景色分布５１及び陰影外の背景色分布５４の中間色は、これら背景色分布５１、５４の間に分布すると想定される。このため、背景色分布５１、５４を含むように包含モデル６０を生成することで、陰影の濃淡による背景色の変化を含めることができる。楕円体の方程式は、Ｘ軸方向の径の半分をａ、Ｙ軸方向の径の半分をｂ、Ｚ軸方向の径の半分をｃとすると、次式（３）にて示される。

図８Ｂに示すように、上記の楕円体の方程式には傾きが含まれないため、包含モデル６０の傾きについては別途設定しなければならない。この場合、陰影の背景色分布５１の主軸方向５２及び陰影外の背景色分布５４の主軸方向５５の向きから包含モデル６０の長軸６１の向きが設定される。上記の式（２）によって陰影の背景色分布５１の主軸方向５２及び陰影外の背景色分布５４の主軸方向５５が求められるため、主軸方向５２、５５の間を通るように主軸方向５２、５５を合成した向きに包含モデル６０の長軸６１の向きが決定される。なお、包含モデル６０のＲＧ平面、ＧＢ平面、ＢＲ平面に対する角度は、上記した式（１）によって求めることができる。これにより、楕円体形状の包含モデル６０を色空間で最適な向きに調整できる。

図８Ｃに示すように、楕円体のパラメータａ−ｃについては、陰影及び陰影外の各背景色分布５１、５４の中で包含モデル６０の長軸方向でモデル中心から最も離れた画素データ、包含モデル６０の短軸方向で長軸６１から最も離れた画素データを楕円体が含むように設定される。包含モデル６０の向き及び楕円体のパラメータａ−ｃを設定することで、陰影の濃淡による背景色の変化を含めて背景色を識別することができる。なお、包含モデル６０は、陰影及び陰影外の背景色分布５１、５４を丁度含む大きさよりも、誤差を考慮して大きく形成されていることが好ましい。

このように、包含モデル６０を楕円体形状にして背景色の分布範囲だけをカバーするようにしたので、物品Ｐが背景色に近い色であっても背景色だけを包含モデル６０に含めることができる。また、包含モデル６０の大きさは適宜変更が可能であり、例えば、包含モデル６０の長軸６１を伸ばすことで、光の反射によって明るくなった背景色や過剰に暗くなった背景色を包含モデル６０に含めることができる。なお、本実施の形態では、包含モデル６０は楕円体形状に限られず、例えば、物品Ｐの色が背景色と全く異なる場合には直方体形状に形成されていてもよい。

図４に戻り、画像処理装置４０には、撮像画像において包含モデル６０に基づいて背景から物品Ｐを切り離して認識する物品認識部４４が設けられている。また、画像処理装置４０には、背景から切り離した物品Ｐの重心位置Ｏを算出する重心算出部４５が設けられている。物品認識部４４には、データ取得部４１から物品Ｐ全体を撮像した撮像画像の画素データが入力される。包含モデル６０に含まれる画素データは背景を構成するデータであるとして無視され、包含モデル６０に含まれない画素データが物品Ｐを構成するデータであるとして抽出される。

図９Ａに示すように、物品認識部４４では、物品Ｐの撮像画像の画素データがＲＧＢ値に応じて色空間に配置されると、包含モデル６０内の背景データの除いた画素データだけで画像が生成される。これにより、図９Ｂに示すように、背景に陰影があっても撮像画像から物品Ｐだけを精度よく切り出して認識することができる。重心算出部４５では、撮像画像から切り出された物品Ｐの外形形状に基づいて重心位置Ｏが算出される。このとき、背景の陰影が物品Ｐの外形形状と認識されることがないため、物品Ｐの重心位置Ｏを精度良く求めることが可能になっている。

なお、データ取得部４１、統計処理部４２、モデル生成部４３、物品認識部４４、重心算出部４５は各種処理を実行するプロセッサやメモリ等により構成されている。メモリは、用途に応じてＲＯＭ(Read Only Memory)、ＲＡＭ（Random Access Memory）等の一つ又は複数の記憶媒体で構成されている。メモリには、画像処理方法を画像処理装置４０に実行させるプログラムが記憶されている。

続いて、図１０を参照して、ロボットシステムによる物品の取り出し動作について説明する。図１０は、本実施の形態の物品の取り出し動作の一例を示す図である。なお、図１０では、図４の符号を適宜使用して説明する。

図１０Ａに示すように、コンベア１０の搬送面１１には、幅方向の一端側にだけ遮光体３０で陰影が作られている。コンベア１０によって物品Ｐがラインセンサ１５の下方に搬送されると、ラインセンサ１５によってコンベア１０の幅方向の横一列を撮像領域１６にして物品Ｐが撮像される。このとき、物品Ｐの周辺領域だけでなく、背景領域としてコンベア１０の幅方向の両端側も同時に撮像される。データ取得部４１によって物品Ｐの周辺領域の画素データと同じ取得タイミングで、コンベア１０の幅方向の両端側の陰影及び陰影外の背景データも取得される。

次に、図１０Ｂに示すように、統計処理部４２によって陰影及び陰影外の背景データの各背景色分布５１、５４が統計処理され、モデル生成部４３によって統計処理の処理結果に応じて陰影及び陰影外の背景色分布５１、５４を包含する包含モデル６０が生成される。包含モデル６０によって陰影の濃淡による背景色のバラツキ範囲が色空間内で規定される。そして、物品認識部４４によって物品Ｐの周辺領域の画素データのうち包含モデル６０外の画素データが使用されることで、背景の陰影が物品Ｐの一部として認識されることがなく、撮像画像から背景が除去されて物品Ｐだけが切り出されて認識される。

次に、図１０Ｃに示すように、重心算出部４５によって物品Ｐの重心位置Ｏ（図１０Ｂ参照）が算出されると、ロボット２０によってロボットハンド２３が物品Ｐの重心位置Ｏに位置付けられる。これにより、ロボットハンド２３によって物品Ｐを安定的に把持することが可能になっている。また、物品Ｐと搬送面１１の幅方向の両端を同時に撮像しているため、物品Ｐを撮像した時点の陰影及び陰影外の背景データを用いて物品Ｐを画像認識できる。物品Ｐをリアルタイムで画像認識することができるため、天候の変化等の環境変動や室内の照明変動の影響を受けることがない。

以上のように、本実施の形態では、撮像画像の陰影と陰影外の背景データを用いて、陰影が付いた載置面と陰影が付いていない載置面を含む背景色の包含モデル６０が生成される。包含モデル６０には陰影が付いた背景色と陰影の全くない背景色に加えて、これらの背景色の中間色が含まれている。このため、包含モデル６０の内側には陰影の有無に関わらず背景色の画素データが点在し、包含モデル６０の外側には背景色以外の画素データが点在する。撮像画像の画素データの色分布を包含モデル６０によって背景の画素データと物品の画素データに分けることができ、背景に陰影があっても撮像画像から物品Ｐだけを精度よく切り出して認識することが可能になっている。

なお、上記した本実施の形態では、本開示の技術を物品の画像認識を重心位置の算出に使用する構成にしたが、この構成に限定されない。本開示の技術は、物品を背景から切り出して認識する構成に適用可能であり、例えば、物品の重心位置以外の位置の検出処理や物品の画像認識を物品の判別処理に使用してもよい。

また、上記した本実施の形態では、本開示の技術を搬送中の物品の画像認識に使用する構成にしたが、この構成に限定されない。本開示の技術は静止中の物品の画像認識に使用することもできる。

また、上記した本実施の形態では、物品は食品及び工業製品に限定されるものではなく、画像認識の対象になるものであればよい。

また、上記した本実施の形態では、一種類の背景色から物品を切り出して認識する構成にしたが、この構成に限定されない。複数種類の背景色から物品を切り出して認識することも可能である。

また、上記した本実施の形態では、各画素データの色情報の表現形式としてＲＧＢを例示して説明したが、この構成に限定されない。各画素データの色情報の表現形式としてＹＵＶ等の他の表現形式を使用してもよい。

また、上記した本実施の形態では、撮像装置としてラインセンサを使用して、物品と搬送面の幅方向の両端を同時に撮像する構成にしたが、この構成に限定されない。複数の撮像装置を使用して、物品と幅方向の両端を個別に撮像してもよい。

また、上記した本実施の形態では、搬送路脇に遮光体を設けて搬送面に陰影を形成する構成にしたが、この構成に限定されない。搬送面に陰影が存在する場合には遮光体を設けなくてもよい。すなわち、陰影は遮光体によって形成されるものに限定されない。

また、上記した本実施の形態では、搬送面の幅方向の両端から陰影及び陰影外の背景データを取得する構成にしたが、この構成に限定されない。陰影及び陰影外の背景データを取得する構成であれば、背景データの取得位置は限定されない。例えば、物品によって形成された陰影の背景データを取得するようにしてもよい。この場合、搬送面に光源を近づけて物品の陰影を一方向に延ばすようにして、物品が搬送されない位置で撮像装置で物品の陰影の背景データを取得してもよい。

また、上記した本実施の形態では、陰影及び陰影外の背景色分布を使用して包含モデルを生成する構成にしたが、この構成に限定されない。陰影及び陰影外の背景色分布に加えて、陰影と陰影外の中間色の背景色分布を使用して包含モデルを生成してもよい。

また、上記した本実施の形態では、陰影及び陰影外の各背景データの背景色分布を全て包含するように包含モデルを生成したが、この構成に限定されない。包含モデルは、陰影及び陰影外の各背景データの背景色分布を完全に包含するように生成される構成に限定されず、陰影及び陰影外の各背景データの背景色分布の少なくとも一方を部分的に包含するように生成されてもよい。このような構成であっても、例えば、物品で作られる陰影が暗くなり過ぎなければ、撮像画像から物品を精度良く切り出すことができる。

また、上記した本実施の形態では、物品が撮像される度に包含モデルを作成して画像認識する構成にしたが、この構成に限定されない。数分に１回等のように定期的に包含モデルを作成して画像認識する構成でもよい。すなわち、包含モデルの生成タイミングと物品の認識タイミングが一致していなくてもよい。

また、本実施の形態においては、ロボットとして垂直多関節ロボットを例示したが、この構成に限定されない。ロボットは、水平多関節ロボット（スカラーロボット）、直交ロボット、パラレルリングロボット等の他の産業用ロボットでもよい。

また、本実施の形態においては、楕円体形状の包含モデルを例示して説明したが、この構成に限定されない。包含モデルは少なくとも背景色を包含するように形成されていればよく、モデル形状は特に限定されない。

また、本実施の形態においては、本開示の技術をロボットシステムに適用する構成にしたが、この構成に限定されない。本開示の技術は背景から物品を切り出して認識する他のシステムにも適用可能である。

また、本実施の形態のプログラムは記憶媒体に記憶されてもよい。記録媒体は、特に限定されないが、光ディスク、光磁気ディスク、フラッシュメモリ等の非一過性の記録媒体であってもよい。

また、本実施の形態及び変形例を説明したが、他の実施の形態として、上記実施の形態及び変形例を全体的又は部分的に組み合わせたものでもよい。

また、本実施の形態は上記の実施の形態及び変形例に限定されるものではなく、技術的思想の趣旨を逸脱しない範囲において様々に変更、置換、変形されてもよい。さらに、技術の進歩又は派生する別技術によって、技術的思想を別の仕方で実現することができれば、その方法を用いて実施されてもよい。したがって、特許請求の範囲は、技術的思想の範囲内に含まれ得る全ての実施態様をカバーしている。

下記に、上記の実施の形態における特徴点を整理する。
上記実施の形態に記載の画像処理装置は、載置面を背景にした物品の撮像画像から該物品を画像認識する画像処理装置であって、撮像画像から陰影の背景データ及び陰影外の背景データを取得するデータ取得部と、陰影の背景データ及び陰影外の背景データに基づいて各背景データの背景色分布を統計処理する統計処理部と、統計処理の処理結果に応じて各背景データの背景色分布を包含する包含モデルを生成するモデル生成部と、撮像画像において、包含モデルに基づいて物品を背景から切り出して認識する物品認識部とを備えたことを特徴とする。

上記実施の形態に記載の画像処理方法は、載置面を背景にした物品の撮像画像から該物品を画像認識する画像処理方法であって、撮像画像から陰影の背景データ及び陰影外の背景データを取得するステップと、陰影の背景データ及び陰影外の背景データに基づいて各背景データの背景色分布を統計処理するステップと、統計処理の処理結果に応じて各背景データの背景色分布を包含する包含モデルを生成するステップと、撮像画像において、包含モデルに基づいて物品を背景から切り出して認識するステップとを備えたことを特徴とする。

これらの構成によれば、撮像画像の陰影と陰影外の背景データを用いて、陰影が付いた載置面と陰影が付いていない載置面を含む背景色の包含モデルが生成される。包含モデルには陰影が付いた背景色と陰影の全くない背景色に加えて、これらの背景色の中間色が含まれている。このため、包含モデルの内側には陰影の有無に関わらず背景色の画素データが点在し、包含モデルの外側には背景色以外の画素データが点在する。撮像画像の画素データの色分布を包含モデルによって背景の画素データと物品の画素データに分けることができ、背景に陰影があっても撮像画像から物品だけを精度よく切り出して認識することができる。

上記実施の形態に記載の画像処理装置において、モデル生成部は、陰影の背景データ及び陰影外の背景データの背景色分布を完全に包含する包含モデルを生成する。この構成によれば、全ての背景データの背景色分布を包含するような包含モデルによって撮像画像から物品だけを精度よく切り出すことができる。

上記実施の形態に記載の画像処理装置において、モデル生成部は、楕円体形状の包含モデルを生成する。この構成によれば、物品が背景色に近い色であっても背景色だけを包含モデルに含めることができ、撮像画像から物品だけを精度良く切り出すことができる。

上記実施の形態に記載の画像処理装置において、統計処理部は、陰影の背景データ及び陰影外の背景データの各背景色分布を統計処理してそれぞれ主軸方向を求め、モデル生成部は、各背景色分布の主軸の向きに基づいて楕円体形状の長軸の向きを設定する。この構成によれば、背景色だけを含めるように、楕円体形状の包含モデルの向きを設定することができる。

上記実施の形態に記載の画像処理装置において、撮像装置によって撮像画像が撮像され、遮光体によって載置面に陰影が形成される。この構成によれば、遮光体によって載置面に意図的に陰影を作り出すことができる。

上記実施の形態に記載の画像処理装置において、載置面は搬送機構の搬送面であり、搬送面の搬送方向に直交する幅方向の一端側に陰影が形成されており、データ取得部は、搬送面の幅方向の一端側で陰影の背景データを取得すると共に他端側で陰影外の背景データを取得する。この構成によれば、搬送中の物品を撮像画像から精度よく切り出して認識することができる。

上記実施の形態に記載の画像処理装置において、撮像画像が物品及び搬送面の幅方向の両端を同時に撮像した画像であり、物品認識部は、撮像画像において、包含モデルに基づいて物品を背景から切り出してリアルタイムで認識する。この構成によれば、リアルタイムで物品を認識しているため、室内の照明変動や周囲の環境変動の影響を受けることない。

上記実施の形態に記載の画像処理装置において、撮像画像は、搬送面の幅方向を撮像領域とする単一のラインセンサで撮像した画像である。この構成によれば、単一のラインセンサによって搬送面の両端側を同時に撮像することができるため、部品点数を減らしてコストを低減することができる。

上記実施の形態に記載のロボットシステムは、載置面に陰影を作り出す遮光体と、載置面を背景にして物品を撮像する撮像装置と、上記の画像処理装置と、画像処理装置の認識結果に基づいて載置面から物品を取り出すロボットとを備え、画像処理装置は背景から切り出した物品の重心位置を算出し、ロボットが物品の重心位置を把持することを特徴とする。この構成によれば、画像処理装置で物品だけを切り出して重心位置が精度よく求められるため、ロボットで物品の重心位置を把持して安定的に物品を持ち上げることができる。

１ ：ロボットシステム
１０：コンベア（搬送機構）
１１：搬送面（載置面）
１５：ラインセンサ（撮像装置）
２０：ロボット
３０：遮光体
４０：画像処理装置
４１：データ取得部
４２：統計処理部
４３：モデル生成部
４４：物品認識部
５１：背景色分布
５２：主軸方向
５４：背景色分布
５５：主軸方向
６０：包含モデル
６１：長軸
Ｏ ：重心位置
Ｐ ：物品

Claims (10)

1. 載置面を背景にした物品の撮像画像から該物品を画像認識する画像処理装置であって、
   前記撮像画像から陰影の背景データ及び陰影外の背景データを取得するデータ取得部と、
   陰影の背景データ及び陰影外の背景データに基づいて各背景データの背景色分布を統計処理する統計処理部と、
   統計処理の処理結果に応じて各背景データの背景色分布を包含する包含モデルを生成するモデル生成部と、
   前記撮像画像において、包含モデルに基づいて物品を背景から切り出して認識する物品認識部とを備えたことを特徴とする画像処理装置。
2. 前記モデル生成部は、陰影の背景データ及び陰影外の背景データの背景色分布を完全に包含する包含モデルを生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記モデル生成部は、楕円体形状の包含モデルを生成することを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 前記統計処理部は、陰影の背景データ及び陰影外の背景データの各背景色分布を統計処理してそれぞれ主軸方向を求め、
   前記モデル生成部は、各背景色分布の主軸の向きに基づいて前記楕円体形状の長軸の向きを設定することを特徴とする請求項３に記載の画像処理装置。
5. 撮像装置によって前記撮像画像が撮像され、遮光体によって前記載置面に陰影が形成されることを特徴とする請求項１から請求項４のいずれかに記載の画像処理装置。
6. 前記載置面は搬送機構の搬送面であり、
   前記搬送面の搬送方向に直交する幅方向の一端側に陰影が形成されており、
   前記データ取得部は、前記搬送面の幅方向の一端側で陰影の背景データを取得すると共に他端側で陰影外の背景データを取得することを特徴とする請求項１から請求項５のいずれかに記載の画像処理装置。
7. 前記撮像画像が物品及び前記搬送面の幅方向の両端を同時に撮像した画像であり、
   前記物品認識部は、前記撮像画像において、包含モデルに基づいて物品を背景から切り出してリアルタイムで認識することを特徴とする請求項６に記載の画像処理装置。
8. 前記撮像画像は、前記搬送面の幅方向を撮像領域とする単一のラインセンサで撮像した画像であることを特徴とする請求項６又は請求項７に記載の画像処理装置。
9. 前記載置面に陰影を作り出す遮光体と、
   前記載置面を背景にして物品を撮像する撮像装置と、
   請求項１から請求項８のいずれかに記載の画像処理装置と、
   前記画像処理装置の認識結果に基づいて前記載置面から物品を取り出すロボットとを備え、
   前記画像処理装置は背景から切り出した物品の重心位置を算出し、前記ロボットが物品の重心位置を把持することを特徴とするロボットシステム。
10. 載置面を背景にした物品の撮像画像から該物品を画像認識する画像処理方法であって、
    前記撮像画像から陰影の背景データ及び陰影外の背景データを取得するステップと、
    陰影の背景データ及び陰影外の背景データに基づいて各背景データの背景色分布を統計処理するステップと、
    統計処理の処理結果に応じて各背景データの背景色分布を包含する包含モデルを生成するステップと、
    前記撮像画像において、包含モデルに基づいて物品を背景から切り出して認識するステップとを備えたことを特徴とする画像処理方法。

Images