JP2014229154A - 物品識別システムとそのプログラム - Google Patents

Abstract

【課題】上下に重なっている物品を正確に分離する物品識別システムを提供する。
【解決手段】撮像装置により物品のカラー画像と距離画像とを取得し、輪郭抽出部は距離画像から物品の輪郭を抽出する。エッジ抽出部は距離画像でのエッジを抽出し、輪郭の内部でのエッジから上下に重なっている物品を分離する。個別識別部は分離された個々の物品の種類を識別する。さらに、個品識別部は他の物品の下側となる物品に対して、個品の識別用データの適用条件を、それ以外の物品の場合とは異ならせるように構成されている。
【選択図】図１９

Description

この発明はパン等の物品の識別に関し、特に画像認識により物品の種類を識別するシステムとそのプログラムとに関する。

出願人は、パン、野菜、果物等の食品、あるいは透明の袋に詰めた錠剤等を、画像認識により識別することを検討している（例えば特許文献１ 特開2011-170745）。問題の１つは、複数の物品が上下に重なっている場合、個々の物品へ分離することが難しい点に有る。

互いに接触している物品の分離に関する先行技術を示す。特許文献２（特開2012-198848）は、パンの画像の輪郭から屈曲点を抽出し、屈曲点間を接続するように、パンとパンとの境界線の候補を発生させることを提案している。そして真の境界線では、境界線候補が短く、輪郭のくびれが深く、屈曲点の周囲で輪郭は鋭角に屈曲し、かつ境界線を直径とする円がパンからはみ出さない、と指摘している。そして特許文献２は、上記の特徴を備えている候補を境界線として、個々のパンを分離することを提案している。

非特許文献１（第１１回情報科学技術フォーラム 2012 講演論文集 H-019）は、トレイ上で互いに接触しているパンに対して、RGB画像と距離画像とを取得し、距離画像からWatershed法により、個々のパンを分離することを提案している。例えばトレイからの距離が極大となる点（カメラから見てパンが凸になる点）を開始点とし、開始点から始めて距離の勾配が小さい領域を併合して１つの領域とし、勾配が大きい部分を境界とするように、画像を分割する。パンの分離に成功する場合、１個のパンが１個の領域となる。しかしながら上下に重なった物品を分離する手法は提案されていない。

特開2011-170745 特開2012-198848

第１１回情報科学技術フォーラム 2012 講演論文集 H-019

この発明の課題は、上下に重なっている複数の物品を分離し、個々の物品を識別できるようにすることにある。

この発明の物品識別システムは、物品のカラー画像と距離画像とを取得する撮像装置と、
前記距離画像から物品の輪郭を抽出する輪郭抽出部と、
距離画像でのエッジを抽出し、前記輪郭の内部でのエッジから上下に重なっている物品を分離するエッジ抽出部と、
分離された個々の物品の種類を識別する個品識別部とを備えている。

またこの発明の物品識別システムのためのプログラムは、物品のカラー画像と距離画像とを取得する撮像装置と、
撮像装置からのカラー画像と距離画像とを処理し、上下に重なる物品を分離することにより、個々の物品の種類を識別するコンピュータとから成る物品識別システムのためのプログラムであって、
前記コンピュータを、
前記距離画像から物品の輪郭を抽出する輪郭抽出部と、
距離画像でのエッジを抽出し、前記輪郭の内部でのエッジから上下に重なっている物品を分離するエッジ抽出部と、
分離された個々の物品の種類を識別する個品識別部として機能させる。

好ましくは、他の物品の下側となる物品に対して、個品の識別用データの適用条件を、それ以外の物品の場合とは異ならせるように、個品識別部が構成されている。この明細書において、物品識別システムに関する記載は、そのまま物品識別システムのためのプログラムにも当てはまる。

物品が上下に重なっていると、距離画像にエッジが生じる（図５）。このエッジは、上下に重なって未分離の物品を１個の物品と見なした際の輪郭の内側にあり、かつエッジの下側もトレイ等の背景面も高い位置にあるという特徴がある。このことから、上下に重なった物品を個々の物品に分離できる（図１９）。下側の物品は一部が隠れているので、個品の識別用データをそのまま適用すると、問題が生じる。例えば物品の面積、縦横比、長さ等は、物品の一部が隠れていると正しく求めることができない。この一方で、物品表面のテクスチャ、色相等のカラーデータは、物品の一部が隠れても有効なことが多い。そこで物品の一部が隠れてると影響を受ける、物品識別用のデータに関して、他の物品の下側の物品には適用しないか、適用条件を変更することが好ましい。

物品の高さとして、トレイ、バケット、ベルトコンベヤ等の基準平面からの高さが便利である。このため、距離画像をこれらの基準平面からの高さに変換しておくことが好ましい。しかし距離画像全体を変換せずに、高さが必要な個所のみ、個別に座標変換しても良い。物品が上下に重なる場合、物品同士が重ならずに互いに接触していることが多い。そこで接触している物品の分離についても説明するが、接触している物品の分離は実行しなくても良い。

実施例の物品識別システムの使用環境を示す図 実施例の物品識別システムのブロック図 実施例の物品識別アルゴリズムを示すフローチャート 変形例の物品識別アルゴリズムを示すフローチャート 上下に重なる物品のモデルを示す図 実施例で分割線上の明度に着目する意味を示す図 トレイ上のパンのグレイスケール画像 トレイの底面からの距離画像 トレイ上のパンのグレイスケール画像 パンのカラー画像のみに基づく分離結果を示す図 トレイの底面からの距離画像 距離画像の屈曲点間を距離画像の谷により接続する分割線を示す図 距離画像の屈曲点間を距離画像の谷により接続するように分割線を発生させ、分割線上の明度の平均値が閾値以上のものを削除した際の、パンの分離結果を示す図 ラプラスフィルタを示す図 ガウシアン差分フィルタを示す図 上下に重なったパンのグレイスケール画像と輪郭とを示す図 図１６に対応する距離画像を示す図 図１６の距離画像をラプラシアンフィルタで処理してエッジ画像とし、元の距離画像からエッジ画像を減算した画像を示す図 図１８の距離画像から分割候補線を発生させた際の分割結果を示す図

以下に最適実施例を示す。この発明の範囲は、特許請求の範囲の記載に基づき、明細書の記載とこの分野での周知技術とを参酌し、当業者の理解に従って定められるべきである。

図１において、２は物品識別装置で、パーソナルコンピュータ等から成り、例えばテーブル４に収容され、アーム５に取り付けられた撮像装置６と共に、物品識別システムを構成する。８はカラーカメラで、RGB画像を撮像する。９はIR（赤外線）プロジェクタ、１０はIR（赤外線）カメラで、プロジェクタ９から、トレイ１１とパン１２，１３とに投影された格子点を、IRカメラ１０で撮像し、カメラ１０からの距離を求める。撮像装置６は、トレイ１１及び互いに接触するパン１２，１３等の、距離画像と、RGB画像等のカラー画像とを出力する。トレイ１１の代わりに、バケット等の容器、あるいはベルトコンベヤ等を用いても良く、パンの代わりに野菜、果物、魚類、肉類、錠剤等を識別しても良い。また上下に重なる複数個の物品を識別するが、１個の物品を識別することがあっても良い。テーブル１６にはPOS装置１８が設けられ、物品識別装置２からの個品の識別データに基づき、会計処理を行う。なお物品識別装置２からのデータの出力先は任意である。また１４は記憶媒体で、図３もしくは図４のアルゴリズムを、物品識別装置２に実行させ、図２のように機能させるための物品識別プログラムを記憶している。

図２は物品識別装置２を示し、図３はその動作を示す。入力は撮像装置６からのRGB画像と距離画像で（ステップ１）、HSV変換部２４によりRGB画像をHSV画像（色相と彩度と明度の画像）に変換する（ステップ２）。個品の識別に明度のみを用いる場合、HSV画像ではなく明度の画像に変換すればよい。座標変換部２６は、撮像装置６からの距離の画像を、トレイ１１の底面からの距離の画像に変換する（ステップ３）。例えば同じ形状のトレイ１１を常時用いる場合、物品が無いトレイ１１の底面を撮像して、その距離画像から基準平面の方程式を求めて記憶する。そしてこの方程式を用いて、基準平面からの距離を表すように、距離画像を座標変換する。なお座標変換の手法は任意である。

メモリ２８はHSV画像を記憶し、メモリ３０は撮像装置６からの距離を表す画像を記憶する。メモリ３２は、トレイ１１の底面からの距離の画像、即ち正規化距離画像と、正規化距離画像からエッジを抽出したエッジ画像とを記憶する。３３は作業用のメモリである。輪郭抽出部３４は、正規化した距離画像から物品の輪郭を抽出し、例えば正規化した距離画像でのエッジにより、あるいは正規化した距離画像を適宜の閾値で２値化することにより、輪郭を抽出する（ステップ４）。閾値は固定でも可変でも良い。屈曲点検出部３５は、輪郭の屈曲点を検出する（ステップ５）。輪郭の接線方向あるいは法線方向が大きく変化することが屈曲点の条件である。

ステップ４で、エッジではなく、２値化等により輪郭を抽出したものとして説明する。エッジ抽出部３６は、正規化済みの距離画像での物品の輪郭内で、ラプラシアンフィルタ（図１４）等により、エッジを抽出し、エッジの位置で画素値が＋となるエッジ画像とし、メモリ３２に記憶する（ステップ６）。なお抽出したエッジ中で所定の高さ以上のもののみを用いても良く、エッジ抽出前に画像を平滑化しても良い。

ステップ４でエッジを抽出する場合は、上記の処理をステップ４で実行しておく。正規化した距離画像での画素値から、エッジ画像での画素値を減算し、メモリ３２に記憶する（ステップ７）。ただし減算によって正規化した距離が負、即ちトレイ１１の底面よりも下側となる場合、距離は０とする。また減算では、エッジ画像の画素値に適宜の係数を乗算してから減算しても良く、あるいはエッジ画像を平滑化フィルタ等で処理することにより、平滑化と係数との乗算を実行した後に減算しても良い。なおエッジの位置で画素値が−となるエッジ抽出フィルタを用いる場合、エッジ画像の画素値を正規化済みの距離画像の画素値に加算する。

物品が上下に重なる場合、エッジの下側が基準平面よりも高く、かつステップ４で抽出した輪郭の内側にあるという特徴がある。輪郭の内側の領域をエッジにより分割し、エッジの下側（他の物品の下側）、エッジの上側（他の物品の上側）であることを、領域の属性として、メモリ３３に記憶する。また輪郭の内側のエッジに基づく分割候補線には、明度による検証を実行しないように、検証が不要との属性を輪郭の内側のエッジに対し、メモリ３３に記憶する。

図５は、トレイ１１上の物品４６，４７の上に、物品４８が重なっている状況を示す。ここで図の鎖線のように斜め上方から、あるいは鉛直上方から、物品４６〜４８を見ると、距離画像にエッジが存在し、このエッジは上方の物品４８の輪郭を示している。ラプラシアンフィルタを用いると、エッジ画像でエッジは正の輪郭として現れ、エッジ画像の画素値を正規化した距離画像での画素値から減算すると、上下の物品が重なったエッジはトレイからの距離が短い、正規化距離画像での谷に変化する。

２個の屈曲点間を、正規化した距離画像の谷、即ちトレイ１１からの高さが所定値以下のルート、を経由して接続する線を、分割候補線とし、分割候補線発生部３７により発生させる（ステップ８）。分割候補線は、短く、分割候補線を直径とする円が輪郭からはみ出さず、両端の屈曲点での屈曲が著しいものが、信頼性が高い。谷は、谷の両側の領域に比べトレイ１１からの高さが低い領域であり、例えば谷の両外側への方向（谷に直角な方向で外向きの方向）での距離の勾配が＋か０等としても良い。

検証部３８は、分割候補線上の明度の平均値が閾値以上であると分割候補線を削除し、分割候補線上の明度の平均値が閾値未満のものを残して、残った分割候補線により互いに接触している複数個の物品を個々の物品へ分離する。ただし輪郭内のエッジに基づく分割候補線、即ち物品の上下の重なりに基づく分割候補線に対しては、明度の検証を省略することが好ましい（ステップ９）。平均値に代えて中央値等を用いても良い。なお、分割候補線の信頼性が低い場合、オペレータが分割候補線を削除し、追加し、あるいは修正できるようにしても良い（ステップ１０）。個々の物品へ分離すると、距離画像と、HSV画像あるいはRGB画像とをメモリ３０，３２から読み出す（ステップ１１）。

物品のテクスチャ、形状、色相と彩度、明度等に基づき、個品識別データベース４０のデータを参照して、個品識別部４２により物品の種類を識別することができる（ステップ１２）。距離画像があるので、物品の体積、及び基準平面からの距離の平均と分散を形状の特徴に追加し、物品表面の凹凸の程度をテクスチャの特徴に追加できる。識別結果をPOS装置１８等へ出力する（ステップ１３）。

ステップ１２で、物品の種類を識別する際に、エッジの下側の物品は一部が隠れている。物品の種類を識別するための形状、テクスチャ、カラーの３要素には、物品の面積、体積、縦横比、周長と面積との比等のように、物品の一部が隠れると、意味が低下するデータがある。この一方で、テクスチャ及び色相等のカラーデータは、物品の一部が隠れても、識別データとして有効であることが多い。そこで物品の一部が隠れると意味が低下するデータは、エッジの下側の物品には適用しないようにするか、あるいは面積の下限から上限までの範囲で識別する場合に下限のみを用いる等に、適用条件を変更する。以上のようにして、エッジの下側の物品に対し、個品識別データベース４０のデータの適用条件を変更する。

分割候補線上の明度を用いる意味を図６に示す。５０は物品のくびれで、距離画像の谷であり、５１は物品間の境界で、同様に距離画像の谷である。一般に距離画像の分解能は、RGB画像の分解能に比べ低いので、距離画像のみから、くびれ５０と境界５１を識別することには限界がある。くびれ５０の底面には、トレイ１１の底面に平行なエリアがあることが多く、このエリアでは鎖線のように光線を反射するので、明度が高くなる。これに対し境界５１にはトレイ１１の底面に平行なエリアがあることは少ない。このため、くびれ５０ではRGB画像もしくはグレースケール画像が明るくなり、境界５１ではRGB画像もしくはグレースケール画像が暗くなる。なお上下に重なる物品によるエッジでは、くびれ５０と同様に明度が高いエッジとなることがあり、明度による検証は省略することが好ましい。

変形例のアルゴリズムを図４に示し、物品識別装置のハードウェアは図２と同じで、図３と同じステップは同じ処理を表す。図３のステップ６，７を省略し、ステップ９までを実行する。これによって、上下に重ならずに、互いに接触している物品を分離するように分割候補線を発生させることができる。ステップ９に続いて、物品の輪郭内でステップ６を実行し、上下に重なった物品間のエッジを抽出し、エッジ画像とする。エッジ画像に平滑化等の処理を施し、適宜の閾値と比較して、上下に物品が重なる輪郭とし、この輪郭を分割候補線に追加する（ステップ２１）。またエッジを境界とする上下関係をメモリ３３等に記憶する。そして図３のステップ１０〜１３を実行し、ステップ１２では、物品の識別用データの適用条件をエッジの下側の物品に対して変更する。

図７，図８に、簡単に分離できる程度に接触しているパンの例を示す。図７はトレイ上のパンのグレースケール画像を示し、図８はトレイを基準として正規化した距離画像を示す。図７の画像からは、個々のパンをカラー画像のみから切り出すことができる。図８の正規化した距離画像では、トレイ１１の底面とパンとを正確に分離できている。

図９〜図１３に、くびれのある複雑な形状のパンが互いに接触している際の、パンの分離を示す。図９はパンのグレースケール画像を示し、特許文献２のようにして、明度画像の輪郭から屈曲点と分割候補線とを発生させると、図１０のようになり、不要な分割候補線が多数含まれている。

図９に対応する正規化した距離画像を図１１に示し、距離画像の輪郭から、特許文献２のようにして分割候補線を発生させると、図１２のようになり、やはり不要な分割候補線が含まれている。分割候補線上の明度の平均値が閾値以上のものを削除する実施例では、図１３のようになり、複雑な形状で互いに接触している複数個のパンを分離できる。

図１４はラプラシアンフィルタの値を示し、このフィルタで処理すると、エッジで画素値は正となる。エッジ抽出フィルタには、図１５のガウシアン差分フィルタ等も使用でき、このフィルタはラプラシアンフィルタに平滑化機能を追加したフィルタである。またSUSANフィルタを変形したエッジ抽出フィルタも使用でき、このフィルタでは、注目画素でのトレイからの距離d1と周囲の画素でのトレイからの距離dsの差の偶数乗Δ＝（d1-ds）^ｎを求め、ｎは偶数である。そしてexp（−Δ・k）を周囲の画素毎に求めて加算値sumを求める。なおkは正の係数である。エッジがなければ加算値sumは大きく、エッジで加算値sumは小さくなる。さらにケニーのエッジ検出アルゴリズムを変形しても良い。例えば正規化距離画像での注目画素毎に、勾配の絶対値と勾配方向とを求め、勾配の絶対値が最大となる画素を、勾配方向に直角になることを優先しながら接続して、エッジを抽出しても良い。しかしながらSUSANフィルタやケニーのエッジ検出アルゴリズムは、ラプラシアンフィルタ、ガウシアン差分フィルタに比べ、計算量が多い。

図１６は上下に重なった３個のドーナツとその輪郭とを示し、正規化済みの距離画像を図１７に示す。図１７の画像をラプラシアンフィルタで処理したエッジ画像を、元の距離画像から減算すると図１８の画像となる。上下の物品が重なったエッジはトレイの底面に近い谷に変換され、エッジでの重なりの始まりと終わりには屈曲点があり、エッジは分割候補線となる。そしてエッジを分割候補線に追加すると、図１９のように、３個のドーナツを分離できる。なおエッジに基づく分割候補線には、明度による検証をしないことが望ましい。下側のドーナツは一部が欠けているので、面積、体積、縦横比、等の要素を識別に用いないか、もしくは適用条件を制限すると、３個のドーナツの種類を正しく識別できる。

なお図４のアルゴリズムを実行する場合、図１７の正規化済み距離画像から、ステップ４で、３個のドーナツを分離していない状態での輪郭を抽出する。その後に、ドーナツが上下に重なることによるエッジを抽出し、エッジを上下のドーナツの境界を分割候補線とすると、図１９のように分割できる。この場合も、下側のドーナツに対して、面積、体積、縦横比、等の要素を識別に用いないか、もしくは適用条件を制限する。

実施例ではパンの識別を示したが、野菜、果物、魚介類、肉類、薬品の錠剤等、識別対象の物品は任意である。実施例では、互いに接触している物品の分離と、上下に重なっている物品の分離とを実行したが、互いに接触している物品の分離は省略しても良い。

２ 物品識別装置
４ テーブル
５ アーム
６ 撮像装置
８ カラーカメラ
９ IRプロジェクタ
１０ IRカメラ
１１ トレイ
１２，１３ パン
１４ 記憶媒体
１６ テーブル
１８ POS装置
２０ バス
２２ 入力部
２４ HSV変換部
２６ 座標変換部
２８〜３３ メモリ
３４ 輪郭抽出部
３５ 屈曲点検出部
３６ エッジ抽出部
３７ 分割候補線発生部
３８ 検証部
４０ 個品識別データベース
４２ 個品識別部
４６〜４８ 物品
５０ くびれ
５１ 境界

Claims (3)

1. 物品のカラー画像と距離画像とを取得する撮像装置と、
   前記距離画像から物品の輪郭を抽出する輪郭抽出部と、
   距離画像でのエッジを抽出し、前記輪郭の内部でのエッジから上下に重なっている物品を分離するエッジ抽出部と、
   分離された個々の物品の種類を識別する個品識別部とを備えている、物品識別システム。
2. 他の物品の下側となる物品に対して、個品の識別用データの適用条件を、それ以外の物品の場合とは異ならせるように、個品識別部が構成されていることを特徴とする、請求項１の物品識別システム。
3. 物品のカラー画像と距離画像とを取得する撮像装置と、
   撮像装置からのカラー画像と距離画像とを処理し、上下に重なる物品を分離することにより、個々の物品の種類を識別するコンピュータとから成る物品識別システムのためのプログラムであって、
   前記コンピュータを、
   前記距離画像から物品の輪郭を抽出する輪郭抽出部と、
   距離画像でのエッジを抽出し、前記輪郭の内部でのエッジから上下に重なっている物品を分離するエッジ抽出部と、
   分離された個々の物品の種類を識別する個品識別部として機能させる、物品識別システムのためのプログラム。