JP2015210651A - 商品識別システム - Google Patents

Abstract

【課題】売り場を撮影した画像データから、陳列棚に陳列されている各商品を精度良く識別することができる商品識別システムを提供する。【解決手段】陳列棚に陳列されている商品を識別する商品識別システム１００であって、商品が陳列されている陳列棚を撮影した画像データから、画像データに含まれる商品の画像領域を検出画像領域として検出する商品検出手段３０と、検出画像領域の固有特徴情報を算出するとともに、各商品に対応する商品画像から算出された商品特徴情報に基づいて、検出画像領域がいずれの商品に対応するかを識別する商品識別手段４０と、を有する。【選択図】図１

Description

本発明は、陳列棚に陳列されている商品を識別する商品識別システムに関する。

店舗における品揃えや商品の陳列は売り上げに大きく影響するため、多くの店舗において、陳列棚の現状把握および棚割の改善が行われている。
しかし、近年商品の多様化により、多数の商品が存在するため、陳列棚の現状を把握する際に、実際に陳列棚に陳列されている１つ１つの商品を識別する作業は、コストや時間を要する。そこで、例えば特許文献１に示すように、店舗の陳列棚を撮影した画像データに基づいて、実際に陳列棚に陳列されている商品を識別する方法が提案されている。

特開２００９−１８７４８２号公報

画像集の形状や輪郭の認識方法として、テンプレートマッチングやＳＩＦＴ（Scale-Invariant Feature Transform）やＳＵＲＦ（Speed-Up Robust Features）等の特徴量抽出方法を用いた物体の認識が広く知られているが、このような認識方法は、正確な座標と周囲の情報から構成される特徴点を検出するため、解像度を含む画像データの品質に対する要求が高く、また検出にも時間を要する。特に、画像データ中の認識すべき物体の数が多くなると、バッチ処理のシステム設計が必要であった。また、画像データから、陳列棚や商品の形状や特徴にあわせて、複数の画像処理技術を組み合わせる必要があるが、陳列棚の形状や特徴が店舗により必ずしも統一されておらず、また商品の形状や特徴も多様であるため、汎用的に検出できる技術の実現が難しかった。

本発明は上記実情に鑑みてなされたものであって、売り場を撮影した画像データから、陳列棚に陳列されている各商品をすばやく精度良く識別することができる商品識別システムを提供することを目的とする。

本発明に係る商品識別システムの特徴構成は、陳列棚に陳列されている商品を識別する商品識別システムであって、前記商品が陳列されている前記陳列棚を撮影した画像データから、前記画像データに含まれる商品の画像領域を検出画像領域として検出する商品検出手段と、前記検出画像領域の固有特徴情報を算出するとともに、各商品に対応する商品画像から算出された商品特徴情報に基づいて、前記検出画像領域がいずれの商品に対応するかを識別する商品識別手段と、を有する点にある。

さらに、前記固有特徴情報は、前記検出画像領域が有する色情報および模様情報からなる情報であり、前記商品特徴情報は、前記固有特徴情報に対応する、前記商品画像が有する色情報および模様情報からなる情報である点にある。

さらに、前記色情報が、前記検出画像領域および前記商品画像を構成する各画素の色空間情報であり、前記模様情報が、前記検出画像領域および前記商品画像の各画素の座標情報である点にある。

さらに、前記商品識別手段は、前記固有特徴情報と、各商品ごとの商品特徴情報との類似度を算出する類似度算出手段を備えている点にある。

さらに、前記商品識別手段は、前記類似度が最も高くなる商品特徴情報を有する商品を、前記検出画像領域に対応付ける点にある。

さらに、前記検出画像領域に対応付けられた商品を、他の商品に訂正する商品訂正手段を備えている点にある。

さらに、前記商品訂正手段は、前記類似度のより高い商品特徴情報を有する商品群から、前記他の商品を選択可能に構成されている点にある。

さらに、前記商品訂正手段によって前記他の商品に訂正された場合に、前記検出画像領域の固有特徴情報を、前記他の商品の商品特徴情報であると学習する商品学習手段を備えている点にある。

さらに、前記商品識別手段は、前記検出画像領域のうち一部の領域から、前記固有特徴情報を算出する点にある。

さらに、前記商品検出手段は、前記商品が陳列されている前記陳列棚を撮影した画像データを取得する画像データ取得手段と、前記画像データ取得手段が取得した画像データを所定サイズに分割してブロック画像を生成するブロック画像生成手段と、前記ブロック画像生成手段で生成されたブロック画像ごとに、前記ブロック画像が有する物体特徴情報を抽出する物体特徴抽出手段と、前記物体特徴抽出手段が抽出した抽出物体特徴情報と、予め各物体ごとに対応付けられて学習された物体検出基準とに基づいて、前記ブロック画像が有する抽出物体特徴情報がいずれの物体に属するかを特定する物体特定手段とを備えている点にある。

さらに、前記陳列棚に陳列されている商品を撮影した画像データに対して色調補正、形状補正の少なくともいずれか一つの処理を行う画像処理手段を備えている点にある。

本発明によれば、売り場を撮影した画像データから、陳列棚に陳列されている各商品をすばやく精度良く識別することができる商品識別システムを提供することができる。

本発明による商品識別システムの概略図 ハードウェア構成の概略図 陳列棚が撮影された画像の説明図 商品マスターデータテーブルの説明図 （ａ）は分割撮影の説明図、（ｂ）は分割撮影された各画像の説明図 （ａ）は結合された各画像の説明図、（ｂ）は歪み補正された画像の説明図 （ａ）は歪み補正前の説明図、（ｂ）は歪み補正後の説明図 物体検出の説明図 （ａ）は商品検出手段の説明図、（ｂ）は入力画像および教師データの説明図 検出画像領域および算出対象領域の説明図 固有特徴情報および商品特徴情報の説明図 商品識別の説明図 商品識別結果表示の説明図 商品訂正の説明図 商品訂正の説明図 教師データの説明図 縮小処理の説明図

以下に本発明を実施するための形態について図面を参照しながら説明する。

本発明の商品識別システムの一実施形態について、図面を参照しながら説明する。
本実施形態の商品識別システム１００は、商品が陳列されている陳列棚の画像データを取得し、その画像データと、商品マスターデータテーブルに予め登録された商品の商品特徴情報とをマッチングすることにより、画像データに含まれる商品の識別を行うものである。

（ハードウェア構成）
まず、商品識別システム１００のハードウェア構成について説明する。
図２には、本実施形態に係る商品識別システム１００のハードウェア構成の概略が示されている。商品識別システム１００は、オペレーションシステム等の標準的なソフトウェアがインストールされた汎用のコンピュータ１で構成される。該コンピュータ１を使用するユーザは、該商品識別システム１００により実際に陳列棚に陳列されている商品の識別が行われる店舗の従業員であってもよいし、いずれかの商品のメーカーの従業員であってもよい。

該コンピュータ１は、汎用のＣＰＵ（Central Processing Unit）２と、ＲＯＭ（Read‐Only Memory）３と、ＲＡＭ（Random Access Memory）４と、画像メモリ５と、記憶手段６と、入出力インターフェース７と、ネットワークインターフェース８等がバス９によってそれぞれ接続された本体と、入出力インターフェース７に接続された入出力手段１０とを備えている。

ＣＰＵ２は、ＲＡＭ４に展開された命令およびデータを処理することで商品識別システム１００の全体の制御を行う。ＲＯＭ３は、本実施形態に係る画像識別システムに各処理を実行させる商品識別プログラムやブートプログラム等の各種プログラムを記憶している。ＲＡＭ４は、ＣＰＵ２による各種命令およびデータが読み書きされるワークエリアとして使用される。画像メモリ５は、例えばＳＲＡＭ（Static Random Access Memory）やＤＲＡＭ（Dynamic Random Access Memory）で構成され、デジタルカメラ等から入力された、商品が陳列されている陳列棚を撮影した画像データを一時格納するために使用される。記憶手段６は、ＲＡＭ４を補う不揮発性の記憶装置であり、例えばＨＤＤ(Hard Disk Drive)やＳＳＤ(solid state drive)で構成され、各種情報を保存する。前記各種情報には、商品や陳列棚等の各物体に対応付けられた物体特徴情報や、各商品に対応付けられた商品マスターデータ等が含まれる。

入出力インターフェース７は、入出力手段１０と接続され、入出力手段１０とコンピュータ１間で、信号の入出力を行うためのインターフェースであり、ＵＳＢ（Universal Serial Bus）、ＳＣＳＩ（Small Computer System Interface）、ＩＥＥＥ１３９４等の規格によるものが例示できる。コンピュータ１で処理するデータとしての信号を入力する入力手段としては、例えばマウスやタッチパネル式のポインティングデバイスや、キーボード等の操作入力手段、磁気／光学ディスクドライブやメモリカードリーダといった記憶媒体に記憶されたデータを読み取る外部装置等のデータ入力手段、デジタルカメラや、写真を光学的に読み取るスキャナ等の画像データ入力手段が挙げられる。コンピュータ１の処理結果としての信号を出力する出力手段としては、例えばＣＲＴ、液晶ディスプレイ、プラズマディスプレイ等の表示装置、磁気／光学ディスクドライブやメモリカードライタといった記憶媒体にデータを書き込む外部装置、レーザプリンタやインクジェットプリンタ等の印刷装置が挙げられる。なお、入出力手段１０は、入出力インターフェース７に対して固定的に接続されたものでもよいし、入出力インターフェース７に対して着脱可能に接続されるものであってもよい。

ネットワークインターフェース８は、例えばモデムやＬＡＮアダプタ等で構成され、コンピュータをＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）のようなイントラネットや、インターネットのような外部ネットワーク等のネットワークに接続する。これにより、コンピュータ１は、該ネットワークを介して、例えばＰＯＳシステムやファイルサーバ、センタサーバ（商品識別システムへ情報を提供する本部や商品メーカー等のサーバ）等、他の装置に接続され、前記他の装置との通信を行うことが可能となる。

以上のように構成されたコンピュータ１が、記録媒体からインストールされたコンピュータ１を商品識別システム１００として機能させる商品識別プログラムによって制御されて、商品識別システム１００として機能する。なお、前記記録媒体としては、ＲＯＭ（Read-Only Memory）、ＲＡＭ（Random Access Memory）、ＤＶＤ（Digital Versatile Disk）、ＭＯ（Magneto-Optical disk）、ＭＤ（Mini Disc）、ＣＤ（Compact Disc）、磁気テープおよび磁気ディスク等が挙げられる。また、商品識別プログラムは、インターネット等のネットワークを介して接続されたサーバの記憶装置からダウンロードされた後にインストールされたものであってもよい。このサーバの記憶装置も、コンピュータ１を商品識別システム１００として機能させる商品識別プログラムを記録したコンピュータ読み取り可能な記録媒体に含まれる。

（商品識別システム）
図１は、本発明の一実施形態による商品識別システム１００を示す概略図であり、ＣＰＵ２が、コンピュータ１を商品識別システム１００として機能させる商品識別プログラムを実行することで、コンピュータ１が備える各ハードウェア資源が協働して、画像処理手段２０、商品検出手段３０、商品識別手段４０、結果出力手段５０、記憶手段６０（物体記憶手段６１，商品記憶手段６２）、学習手段７０（物体学習手段７１，商品学習手段７２）、訂正手段８０（物体訂正手段８１，商品訂正手段８２）等の各手段として機能する。

画像処理手段２０は、画像メモリ５に一時的に格納されたデジタルカメラ等から入力された画像データに対して、色調補正、形状補正等の画像処理を行う。商品検出手段３０は、画像処理手段２０により画像処理された画像データから、前記画像データに含まれる商品や陳列棚といった物体の画像領域を特定し、前記物体の画像領域として特定された画像領域から商品の画像領域を検出画像領域として検出する。商品識別手段４０は、商品検出手段３０により検出された検出画像領域の固有特徴情報を算出するとともに、各商品に対応する商品画像から算出された商品特徴情報に基づいて、前記検出画像領域がいずれの商品に対応するかを識別する。結果出力手段５０は、物体の検出結果や商品の識別結果を出力する。記憶手段６０（物体記憶手段６１，商品記憶手段６２）は、商品や陳列棚等の各物体に対応付けられた物体特徴情報や、各商品ごとに対応してその特徴を表す商品マスターデータ群からなる商品マスターデータテーブルを記憶する。学習手段７０（物体学習手段７１，商品学習手段７２）は、予め、物体特徴情報を学習したり、各商品の商品特徴情報を学習したりする。訂正手段８０（物体訂正手段８１，商品訂正手段８２）は、物体の誤検出や商品の誤識別の訂正結果を学習手段７０に反映させる。

なお、商品識別システム１００を構成する各手段の一部または全部は、１台のコンピュータ１によって実現される構成に限らず、ネットワークを介して接続された複数のコンピュータ、サーバ、記憶装置等によって実現されてもよい。

また、本実施形態の商品識別システム１００は、汎用のＣＰＵ２が前記商品識別プログラムに従って処理を実行することにより、上記各手段を実現したが、専用のハードウェア、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定用途向けＩＣ（Integrated Circuit）や、ＦＰＧＡ（Field Programmable Gate Array）等のＰＬＤ（Programmable Logic Device）によって、各手段を実現してもよい。

以下、本発明による商品識別システム１００が備える各手段について詳述する。
説明にあたり、「商品」とは、通常、陳列棚に陳列されて販売される物品であればよく、例えば、食品や、化粧品や、書籍等あってもよく、本発明による商品識別システム１００は、学習手段７０に学習させる教師データを、物品に応じてチューニングすることで、任意の商品を識別させることができる。なお「商品」とは、単一の物品そのものを指すこともあるし、同じ品番を有する物品群を指すこともある。本実施形態において、「商品」とは、スーパーマーケットやコンビニエンスストアの陳列棚に陳列されている缶入りのビールや缶やＰＥＴボトル入りの清涼飲料等の各種飲料である。

図３には、各商品が陳列された陳列棚２００の画像データが例示されている。本実施形態においては、陳列棚２００は３段から構成され、上段や中段には、３５０ｍＬ缶入り飲料２０１、５００ｍＬ缶入り飲料２０２、５００ｍＬＰＥＴボトル入り飲料２０３が配置され、下段には、大容量ＰＥＴボトル入り飲料２０４や、６本入りカートン２０５が配置されている。

（商品マスターデータ）
商品記憶手段６２には、商品マスターデータが記憶されている。図４に示すように、商品マスターデータは、陳列棚に陳列される全ての商品に対して、予め各商品ごとに教師画像や商品情報が相互に関連付けられた商品マスターデータ群で構成されている。商品マスターデータは、未登録の商品、例えば新商品に対応する商品マスターデータを追加し更新することができる。

商品マスターデータにおける教師画像は、商品の特徴的な外観を表し、例えば、商品を撮影した写真から切り出した画像や、メーカーから提供された画像や、カタログからスキャナで取り込んだ画像や、コンピュータで作成された画像等の各種画像を使用することができる。

商品マスターデータおける商品情報としては、商品の属性を分類することができる情報であればよく、例えば、同一商品ごとに付された識別コード、類似商品コード、商品名、メーカー名、商品分類、サイズ、商品特徴情報等が挙げられる。

識別コードは、ＪＡＮ（Japanese Article Number）コードや、ＥＡＮ（European Article Number）コードが好ましく例示できる。なお、商品として書籍等を扱う場合には、ＩＳＢＮ（International Standard Book Number）が好ましく例示できる。商品分類は、ビール、清涼飲料等の商品の属する分類が好ましく例示できる。サイズは、３５０ｍＬ、５００ｍＬ等の内容量や、商品の縦横高さの寸法が好ましく例示できる。商品特徴情報は、各商品に対応する商品画像から算出された色情報および模様情報からなる情報であり、商品学習手段７２によって学習される。類似商品コードは、商品特徴情報が類似する商品同士に付されるコードであり、これが付された商品を識別するときは、商品識別手段４０の識別重みを変更して、識別精度を上げたり、識別結果に注意表示をすることで、商品の識別率を担保することができる。なお、類似商品コードは、予めユーザによって登録される構成であってもよいし、商品マスターデータテーブルに記憶された各商品マスターデータのうち、商品特徴情報が、所定の類似閾値以上のものに相互に付される構成であってもよい。さらに、商品訂正手段８２で、誤識別された商品を正しい商品に訂正したときに付されるように構成されてもよい。

（画像データ）
商品識別システム１００により商品の識別対象となる陳列棚の画像データは、デジタルカメラで陳列棚を撮影することで得られる。その際、陳列棚ごとや所定のスパンごとに撮影することが望ましいが、デジタルカメラの画角や、撮影スペースの問題から、所望の範囲の全てが１枚の写真に納まらない場合は、複数枚に分割して撮影してもよい。また、写真は、陳列棚の正面から撮影することが望ましいが、斜め方向から撮影したものでも使用することができる。さらに、監視カメラ等で撮影された動画から、処理対象となる陳列棚の映像を、静止画として切り出して使用することも可能である。上記のように陳列棚をデジタルカメラで撮影した場合には、その画像データを直接取り込み、画像メモリ５に記憶させることができるが、フィルムカメラで撮影した場合には、プリントした写真をスキャナ等で読み込むことで、デジタル化したデータを画像メモリ５に記憶させることができる。

（画像処理手段）
画像処理手段２０は、商品検出手段３０における商品や陳列棚の特定の精度や、商品識別手段４０における商品識別の精度を高めるために、画像メモリ５に記憶された画像データに、色補正、斜め補正、歪補正、シャドー補正、パノラマ合成、トリミング等の各画像処理を施す機能ブロックである。

例えば、図５（ａ）、（ｂ）に示すように、陳列棚を正面、斜め右前、斜め左前の３方向に分割して撮影した画像データに対して、図６（ａ）に示すように、互いに両端が重なるように撮影した画像データを連続した１つの写真に結合し、遠近法や円筒法により合成されたパノラマ画像に対して、陳列棚が水平となるように、図６（ｂ）に示すように、樽型収差、糸巻き型収差、または魚眼型収差等の幾何学歪みを補正したりリサイズすることで、陳列棚の全てが１枚に収まった画像データを得ることができる。

さらに、陳列棚の歪みは、図７（ａ）に示すように、補正領域を示すポイントＰをユーザがマウスによって指定することで、図７（ｂ）に示すように、指定された領域が矩形状になるように歪みが補正されて、補正後の画像がディスプレイに表示される。また、写真が正面からではなく、斜め方向から撮影したものである場合には、写真画像の歪みや縦横比も合わせて補正することもできる。

（商品検出手段）
商品検出手段３０は、画像処理手段２０で画像処理された画像データに基づいて、画像中にどのような物体が存在するかを特定する。

具体的には、商品検出手段３０は、画像メモリ５から商品が陳列されている陳列棚を撮影した画像データを取得する画像データ取得手段と、前記画像データ取得手段が取得した画像データに対して、商品検出手段３０での商品や陳列棚の特定に用いるために、画像を２値化し輪郭強調処理したり、色調補正を行う検出補正手段と、検出補正手段により補正された画像データを所定サイズに分割してブロック画像を生成するブロック画像生成手段と、ブロック画像生成手段で生成されたブロック画像ごとに、該ブロック画像が有する物体特徴情報を抽出する物体特徴抽出手段と、物体特徴抽出手段が抽出した抽出物体特徴情報と、後述する物体検出基準に基づいて、前記ブロック画像が有する前記抽出物体特徴情報がいずれの物体カテゴリに属するかを特定するカテゴリ特定手段と、共通の物体カテゴリに属すると特定された抽出物体特徴情報をグループ化するとともに、その物体を特定する物体特定手段と、特定結果をディスプレイに出力する特定結果出力手段を備えている。各手段は、コンピュータによって実行される画像識別プログラムによって実現される。

物体特定手段は、例えば「陳列棚の境目ライン」、「缶のトップ」、「缶のボトム」、「商品間の隙間ライン」、「ＰＥＴボトルのトップ」、「カートンの表面」・・・という物体特徴を示す線分で区画された画像領域をグループ化し、該グループ化された画像領域に「缶」があると特定する。なお、「缶」や「ＰＥＴボトル」の幅と高さの寸法比が既知であるため、各線分よって区画される画像領域の幅と高さの比に基づいて、前記グループ化された画像領域が、「缶」や「ＰＥＴボトル」であることを精度良く検出することができる。

商品検出手段３０は、上述の構成により、各ブロック画像の有する物体特徴情報がどの物体カテゴリ、例えば「缶のトップ」等に属するか、あるいはいずれにも該当しないか、というような特定を各ブロック画像ごとに行い、図８に示すように、特定結果をディスプレイに表示された画像の「缶のトップ」や「ＰＥＴボトルのトップ」に対応する位置に、「缶のトップ」を示す線分ＣＴや「ＰＥＴボトルのトップ」を示す線分ＰＴをオーバーレイする。このとき、例えば線分ＣＴが実際の「缶のトップ」位置からずれていたり、表示されていないときや、他の物体カテゴリを表す線分が表示されているときは、ユーザがマウスやキーボードを操作することによって、画像中の所定の位置に「缶のトップ」を示す線分ＣＴを表示させることができる。物体訂正手段８１は、このようにユーザによって示された線分を含む所定領域の画像データを、教師データとして利用して物体学習手段７１に学習させることで、次回の物体検出の精度を向上させることができる。なお、前記ブロック画像生成手段により、画像データを複数のブロック画像に自動で分割する構成に限らず、ブロック画像に替えて、ユーザがマウスをドラッグすることで指定した任意の指定領域単位で、上述の物体特定を行うように構成してもよい。

（物体検出基準）
上述した物体検出基準は、物体学習手段７１によって算出される。物体検出基準の算出は、図９（ａ）に示すように、教師あり学習を用いる識別手法であるＳＶＭ（Support Vector Machine）が好適に例示できる。物体学習手段７１に、特定すべき物体カテゴリごとの特徴を有する教師データを読み込ませ２値化した後、輝度値またはエッジ情報等の画像情報からその画像特徴を算出して、画像特徴を座標軸とする特徴量空間において、それぞれの物体カテゴリを識別する境界となる分離超平面を各物体カテゴリごとに算出させる。入力された各教師データや学習された各分離超平面は、物体記憶手段６１に記憶される。

詳述すると、教師データは、予め各物体カテゴリごとに用意される。「物体カテゴリ」とは、「陳列棚の境目ライン」、「缶のトップ」、「缶のボトム」、「商品間の隙間ライン）」、「ＰＥＴボトルのトップ」、「カートンの表面」・・・のように商品や陳列棚の輪郭や位置を検出するのに必要なものを含んでいる。ここで、物体学習手段７１が学習する物体カテゴリ「缶のトップ」を例に、分離超平面の学習処理について説明する。

「缶のトップ」について学習させる場合、図９（ｂ）に示すように、物体学習手段７１に、「缶のトップ」に対応すると判定してよい「ＯＫパターン」の教師データ群と、「缶のトップ」に対応すると判定してはならない「ＮＧパターン」の教師データ群とを与える。

なお、教師データは、例えば、デジタルカメラにより撮像された陳列棚の画像データを入力してもよいし、通信を介して予め用意したサンプルを教師データとして入力してもよい。

物体学習手段７１は、「ＯＫパターン」である教師データ群が有する特徴の領域と、「ＮＧパターン」である教師データ群が有する特徴の領域の二つの領域に分割するような分離平面を算出する。このとき、分離平面は、「ＯＫパターン」領域と「ＮＧパターン」領域の間に複数想定されうるが、二つの領域の最端の座標との距離が最大になる位置に「缶のトップ」についての分離超平面を算出する。物体学習手段７１は、「缶のトップ」以外の各物体カテゴリ、例えば「陳列枠の境目ライン」や「商品間の隙間ライン」等についても同様に分離超平面を求め、物体記憶手段６１に記憶する。

以上のように、予め各物体ごとに対応付けられた物体特徴情報を教師データとして学習し、入力されたブロック画像から抽出された物体特徴情報が、ある物体カテゴリに属するか否かの基準となる分離超平面を物体カテゴリごとに算出し、これを各物体の物体検出基準として用いる。

なお、物体学習手段７１は、必ずしも商品識別システム１００と同じコンピュータによって実現される必要はなく、別のコンピュータにより実現されてもよい。この場合、学習結果のみが商品識別システム１００に登録される。

また、商品検出手段３０は、上述のように物体学習手段７１が算出した物体検出基準に基づいて物体を検出する構成に限らず、ユーザがマウスやキーボードを操作することによって、画像中の所定の位置に「缶のトップ」や「陳列棚の境目ライン」等を示す全ての線分を指定することもできる。

（商品識別手段）
商品識別手段４０は、商品検出手段３０により検出された「缶」や「ＰＥＴボトル」と検出された画像領域の固有特徴情報を算出するとともに、予め商品記憶手段６２に記憶された商品マスターデータテーブルの各商品マスターデータが有する商品特徴情報に基づいて、「缶」や「ＰＥＴボトル」がいずれの商品に対応するかを個別に識別する。

具体的には、商品識別手段４０は、商品検出手段３０により商品であると検出された検出画像領域ＭＡの有する固有特徴情報を算出する固有特徴算出手段と、前記固有特徴算出手段が算出した固有特徴情報が、予め各商品に対応して記憶されたいずれの商品が有する商品特徴情報に対応するかを判別する商品判別手段と、その判別結果をディスプレイに出力する判別結果出力手段を備えている。

前記固有特徴算出手段は、検出画像領域ＭＡ内に、例えば図１０，１１に示すように、縦８０ピクセル×横４０ピクセルの算出対象領域ＣＡを区画し、この算出対象領域ＣＡ内の固有特徴情報を算出する。算出対象領域ＣＡは、各商品の幅や高さに合わせて、検出画像領域ＭＡ中で特に顕著な特徴を有する部分を含むことが好ましく、例えば商品が「缶」入り飲料であれば、缶の中央の商品名が表示されている部分が例示でき、「ＰＥＴボトル」入り飲料であればラベル部分が例示できる。「缶」の上下部分や、「ＰＥＴボトル」の飲み口部分は、商品ごとの特徴が少ないため、このような領域を固有特徴情報の算出対象から除外することで、各商品ごとに固有の特徴を精度良く算出することができる。なお、算出対象領域ＣＡの形やサイズは、現画像の解像度により適宜設定されればよく、他のサイズであってもよいが、商品マスターデータの商品特徴情報と対応していることが好ましい。

（固有特徴情報）
「固有特徴情報」とは、色情報および模様情報からなる情報である。
本実施形態では、色情報として算出対象領域を構成する各画素の色空間情報である三原色（ＲＧＢ）および色相（Ｈｕｅ）が採用され、模様情報として算出対象領域を構成する各画素の座標情報であるグレースケールのヒストグラムおよびフーリエ変換したベクトル情報が採用される。

図１０に示されるように、固有特徴情報は、縦８０ピクセル×横４０ピクセルの算出対象領域ＣＡの各行および各列の画素について、図１１に示すように、それぞれ算出された三原色（ＲＧＢ）の平均値Ｒ，Ｇ，Ｂや、色相（Ｈｕｅ）ＨＵ、グレースケールのヒストグラムＨＳ、フーリエ変換したベクトル情報ＶＣで構成される。なお、固有特徴情報を構成する色情報および模様情報の組み合わせは上記のものに限らない。少なくとも一つの色情報と、少なくとも一つの模様情報を組み合わせた情報であればよい。例えば、色情報は三原色（ＲＧＢ）の平均値や、色相（Ｈｕｅ）以外の色空間情報であってもよいし、模様情報は算出対象領域ＣＡのビットマップ画像であってもよい

前記商品判別手段は、前記固有特徴算出手段が算出した固有特徴情報と、商品マスターデータテーブルに記憶されている各商品特徴情報との関係の強さを、所定の関係式に基づき類似度として算出し、類似度の最大の商品の商品マスターデータ、または、一定の類似閾値を超えた商品の商品マスターデータを抽出するものであり、図１２に示すような、教師あり学習を用いたＡＮＮ（Artificial Neural Network）が好適に利用される。

抽出結果として、前記固有特徴情報がいずれの商品マスターデータにも該当しない場合には、候補がなかった旨を表示させてもよい。候補がなかった場合を設けておくことにより、撮影時の環境によって商品が正常に撮影されなかった場合や、対応する商品が商品マスターデータテーブルに未登録である場合において、類似度が所定閾値より低い場合には、強制的に登録済みのいずれかの商品に判別するのではなく、「候補なし」であると判定することができる。これにより誤判別を低減することができ、さらにユーザは、必要に応じて、当該商品マスターデータを手作業等によって新たに追加登録することができる。

図１３に示すように、前記判別結果出力手段は、前記商品判別手段が判別した結果、すなわち商品名やメーカー名を、ディスプレイに表示された各商品の算出対象領域ＣＡ内にオーバーレイする。

なお、前記判別結果出力手段は、商品名やメーカー名を表示するに際して、前記類似度が最大の商品を表示させる。このとき、類似度が最大のものと次点のものの類似度差閾値が所定閾値より小さい、すなわち、両商品の商品特徴情報が類似している場合や、最大の類似度自体が、所定閾値より小さい場合は、図１４に示すように、類似度の上位の数個、例えば３個からなる誤判別候補リストを作成し、ディスプレイにオーバーレイされる商品名やメーカー名や算出対象領域の表示色を通常と異ならせることでユーザに注意を喚起することが好ましい。

図１５に示すように、ユーザは、画像中の商品と、商品名等との正誤を確認し、誤判別されている場合には、誤判別候補リストから正しい商品を選択することで簡単に商品訂正することもできる。

画像処理手段２０は、商品識別手段４０での商品の識別に用いるために、画像データ中の商品と特定された検出画像領域ＭＡのサイズを、予め記憶された商品マスターデータの教師画像ないし商品特徴情報のサイズに揃えるため、画像データをリサイズするように構成してもよい。

前記固有特徴算出手段は、所定サイズにリサイズされた画像領域に対して、固有特徴情報を算出をしてもよい。具体的には、検出画像領域ＭＡの高さ、または幅が、商品マスターデータの教師画像と同じサイズになるように拡大処理ないし縮小処理をする。

図１７に示すように、検出画像領域ＭＡの幅をＷ１とし、教師画像における商品の幅をＷ０とすると、拡大や縮小の比率はＷ０／Ｗ１で算出される。Ｗ１＞Ｗ０であれば、前記比率は、１より小さくなり、検出画像領域ＭＡは縮小処理される。Ｗ１＜Ｗ０であれば前記比率は１より大きくなり、検出画像領域ＭＡは拡大処理される。Ｗ１＝Ｗ０であれば比率が１となり、すなわち拡大処理ないし縮小処理は行われない。なお、検出画像領域ＭＡの幅Ｗ１に加えて、または、替えて、検出画像領域ＭＡの高さＨ１と、教師画像における商品の高さＨ０に基づいて、拡大処理ないし縮小処理を行うように構成してもよい。また、検出画像領域ＭＡの拡大処理ないし縮小処理に替えて、算出対象領域ＣＡを、検出画像領域ＭＡのサイズに比例させて区画し、商品マスターデータの商品特徴情報のサイズに基づいて、算出対象領域ＣＡを拡大処理ないし縮小処理させてもよい。

（商品特徴情報）
上述した、商品マスターデータが有する商品特徴情報は、前記商品判別手段で固有特徴情報がいかなる商品に対応するかを判別する際に利用され、これは商品学習手段７２によって予め学習される。

商品学習手段７２は、教師画像の一部である学習対象領域から、商品特徴情報を算出し、これを学習して商品記憶手段６２に記憶する。商品学習手段７２は、前記検出画像領域内に、例えば図１２に示すように、縦８０ピクセル×横４０ピクセルの学習対象領域ＳＡを区画し、この学習対象領域ＳＡ内の商品特徴情報を算出する。これを、各商品について、撮影角度や、撮影条件をずらした、数十個から数百パターン繰り返す。

学習対象領域ＳＡは、商品ごとに顕著に特徴を有する部分が好ましく、例えば商品が「缶」入り飲料であれば、缶の中央の商品名が表示されている部分が例示でき、「ＰＥＴボトル」入り飲料であればラベル部分が例示できる。「缶」の上下部分や、「ＰＥＴボトル」の飲み口部分は、商品ごとの特徴が少ないため、このような領域を商品特徴情報の学習対象から除外することで、各商品ごとに固有の特徴を精度良く学習することができる。
なお、学習対象領域ＳＡのサイズは、算出対象領域ＣＡに対応していればよく、他のサイズであってもよい。

また、陳列棚に陳列されている商品は、必ずしも正面を向いていないため、商品学習手段７２は、商品を複数方向から見た画像に基づいて商品特徴情報を学習することが望ましい。これにより、商品識別手段４０における商品識別の精度を向上させることができる。

「商品特徴情報」とは、色情報および模様情報からなる情報であり、固有特徴情報と対応する。本実施形態では、色情報として学習対象領域を構成する各画素の色空間情報である三原色（ＲＧＢ）および色相（Ｈｕｅ）が採用され、模様情報として学習対象領域を構成する各画素の座標情報であるグレースケールのヒストグラムおよびフーリエ変換したベクトル情報が採用される。なお、学習特徴情報を構成する色情報と模様情報との組み合わせは上記のものに限らない。少なくとも一つの色情報と、少なくとも一つの模様情報を組み合わせた情報であればよい。例えば、色情報は三原色（ＲＧＢ）および色相（Ｈｕｅ）以外の色空間情報であってもよいし、模様情報は算出対象領域のビットマップ画像であってもよい。

商品特徴情報も、図１１に示されるように、固有特徴情報と同様に、縦８０ピクセル×横４０ピクセルの算出対象領域の各行および各列について、それぞれ算出された三原色（ＲＧＢ）の平均値や、色相（Ｈｕｅ）、グレースケールのヒストグラム、フーリエ変換したベクトル情報で構成される。

以上のように、予め教師データを用いて、商品ごとに色情報と模様情報を商品特徴情報として記憶しておき、商品識別の対象となる商品について、その算出対象領域の固有特徴情報を入力として、記憶した複数の商品特徴情報に基づいて、商品を判別するので、高精度に対象を識別することができる。

（商品識別の訂正）
ところで、各商品は、陳列棚に同一の商品ごとに整理して陳列される。従って、商品識別手段４０よって同一の商品と識別された物体間や、同一の商品とみなせる物体群の中に、他の商品として識別された物体がある場合は、誤識別の可能性が高い。このような場合は、ディスプレイにオーバーレイされる商品名やメーカー名や算出対象領域の表示色を通常と異ならせることでユーザに注意を喚起することが好ましく、これにより、ユーザは、マウスやキーボードを操作することによって、誤識別された可能性の高い商品を正しい商品に訂正することができる。商品訂正手段８２は、誤識別された固有特徴情報を教師データとして、商品学習手段７２に学習させることで、次回の商品識別の精度を向上させることができる。

なお、このような場合における教師データは、図１６に示すように、算出対象領域ＣＡを所定ピクセルだけ、上下左右にシフトした合計９枚の教師データを作成し、それぞれに固有特徴情報を算出して、これを商品学習手段７２に学習させる。

誤識別の訂正は、ユーザが目視によってしてもよく、商品訂正手段８２によって自動的に行われる構成であってもよい。但し、商品訂正手段８２によって自動で誤識別の訂正をする場合には、訂正対象の商品の固有特徴情報と、訂正対象の商品の固有特徴情報との類似度が所定の閾値未満であれば、実際に他の商品が誤配置されたり、商品マスターデータテーブルに未登録の商品を他の商品として認識した可能性があるため、前記識別の訂正を行わないように構成してもよい。

商品識別手段４０は、上述のように、検出画像領域の固有特徴情報と、商品学習手段７２が学習した商品特徴情報に基づいて商品を識別する構成に限らず、ユーザがマウスやキーボードを操作することによって、検出画像領域に商品名やメーカー名を指定することもできる。

以上説明のように売り場を撮影した画像データから、陳列棚に陳列されている各商品を精度良く識別することができる商品識別システム１００が実現される。

上述した実施形態は、いずれも本発明の一例であり、該記載により本発明が限定されるものではなく、各部の具体的構成は本発明の作用効果が奏される範囲で適宜変更設計可能である。

２０ 画像処理手段
３０ 商品検出手段
４０ 商品識別手段
５０ 結果出力手段
６０ 記憶手段
６１ 物体記憶手段
６２ 商品記憶手段
７０ 学習手段
７１ 物体学習手段
７２ 商品学習手段
８０ 訂正手段
８１ 物体訂正手段
８２ 商品訂正手段
１００ 商品識別システム
ＭＡ 検出画像領域
ＣＡ 算出対象領域
ＳＡ 学習対象領域

Claims (11)

1. 陳列棚に陳列されている商品を識別する商品識別システムであって、
   前記商品が陳列されている前記陳列棚を撮影した画像データから、前記画像データに含まれる商品の画像領域を検出画像領域として検出する商品検出手段と、
   前記検出画像領域の固有特徴情報を算出するとともに、各商品に対応する商品画像から算出された商品特徴情報に基づいて、前記検出画像領域がいずれの商品に対応するかを識別する商品識別手段と、
   を有することを特徴とする商品識別システム。
2. 前記固有特徴情報は、前記検出画像領域が有する色情報および模様情報からなる情報であり、
   前記商品特徴情報は、前記固有特徴情報に対応する、前記商品画像が有する色情報および模様情報からなる情報であることを特徴とする請求項１に記載の商品識別システム。
3. 前記色情報が、前記検出画像領域および前記商品画像を構成する各画素の色空間情報であり、
   前記模様情報が、前記検出画像領域および前記商品画像の各画素の座標情報であることを特徴とする請求項２に記載の商品識別システム。
4. 前記商品識別手段は、
   前記固有特徴情報と、各商品ごとの商品特徴情報との類似度を算出する類似度算出手段を備えていることを特徴とする請求項２または３に記載の商品識別システム。
5. 前記商品識別手段は、前記類似度が最も高くなる商品特徴情報を有する商品を、前記検出画像領域に対応付けることを特徴とする請求項４に記載の商品識別システム。
6. 前記検出画像領域に対応付けられた商品を、他の商品に訂正する商品訂正手段を備えていることを特徴とする請求項５に記載の商品識別システム。
7. 前記商品訂正手段は、前記類似度のより高い商品特徴情報を有する商品群から、前記他の商品を選択可能に構成されていることを特徴とする請求項６に記載の商品識別システム。
8. 前記商品訂正手段によって前記他の商品に訂正された場合に、前記検出画像領域の固有特徴情報を、前記他の商品の商品特徴情報であると学習する商品学習手段を備えていることを特徴とする請求項６または７に記載の商品識別システム。
9. 前記商品識別手段は、前記検出画像領域のうち一部の領域から、前記固有特徴情報を算出することを特徴とする請求項１から８のいずれか一項に記載の商品識別システム。
10. 前記商品検出手段は、
    前記商品が陳列されている前記陳列棚を撮影した画像データを取得する画像データ取得手段と、
    前記画像データ取得手段が取得した画像データを所定サイズに分割してブロック画像を生成するブロック画像生成手段と、
    前記ブロック画像生成手段で生成されたブロック画像ごとに、前記ブロック画像が有する物体特徴情報を抽出する物体特徴抽出手段と、
    前記物体特徴抽出手段が抽出した抽出物体特徴情報と、予め各物体ごとに対応付けられて学習された物体検出基準とに基づいて、前記ブロック画像が有する抽出物体特徴情報がいずれの物体に属するかを特定する物体特定手段とを備えていることを特徴とする請求項１から９のいずれか一項に記載の商品識別システム。
11. 前記陳列棚に陳列されている商品を撮影した画像データに対して色調補正、形状補正の少なくともいずれか一つの処理を行う画像処理手段を備えていることを特徴とする請求項１から１０のいずれか一項に記載の商品識別システム。

Images