JP2015064628A

JP2015064628A - 店舗システム

Info

Publication number: JP2015064628A
Application number: JP2013196518A
Authority: JP
Inventors: 真幸初田; Masayuki Hatsuda
Original assignee: Brain Co Ltd
Current assignee: Brain Co Ltd
Priority date: 2013-09-24
Filing date: 2013-09-24
Publication date: 2015-04-09
Anticipated expiration: 2033-09-24
Also published as: JP6177068B2

Abstract

【課題】適切な学習データを選択して学習する。【解決手段】商品の画像から抽出した特徴量を、学習データ中の特徴量と比較することにより、商品の種類を識別する店舗システムにおいて、学習データ管理部は、店舗システムが種類を識別した商品の特徴量の内で信頼度が高いもの、及び店舗システムが識別した商品の種類をマニュアルで訂正したものの特徴量を学習データに追加する。さらに、同種の商品に対する学習データでの特徴量と、識別対象の商品の特徴量との、特徴量の空間での距離が所定値以上である場合、学習データを追加しないように、学習データ管理部を構成する。【選択図】図４

Description

この発明は、パン、野菜等の商品を画像認識により識別する店舗システムに関する。

出願人は、パン、生野菜、果物等の食品、あるいは透明の袋に詰めた錠剤等を、画像識別により識別するシステムを開発している（例えば特許文献１特開2011-170745）。商品を画像識別により自動的に識別できると、POS端末でのレジ打ち作業を軽減でき、またパン、生野菜等のようにバーコード等を付けるのに適さない商品を、POS端末で容易に処理できる。

商品の識別に関し、非特許文献１は、カラー画像の他に商品の距離画像を用い、商品の切り分けと凹凸等の形態的な特徴を利用することを開示している。また識別手法として、同種の商品のクラスターに対し主成分分析を行った際の、マイナー成分を識別に用いることを開示している。さらに識別の信頼度を表す概念として、相違度を提案している。多次元の特徴量の空間での、同種の商品のクラスターと識別対象の商品との距離の平均値を相違度とする。すると第２候補の商品と第１候補の商品との相違度の比により、識別の信頼性を表すことができる。

特開2011-170745

前田，森本，藤井「距離センサを用いた物体の分離・識別に関する検討」DIA2013 動的画像処理実用化ワークショップ2013

商品の種類の単位を品番とし、品番毎に価格等があるとすると、パン、野菜、果物などでは同じ品番でも、商品の形態、色彩等の特徴が変化することがある。例えばパンであれば、パン職人の焼き方が一定ではないため徐々に焼色が強くなる、野菜であれば出始めから旬へと徐々に赤みが強くなる、等である。商品を識別するための特徴量と、商品の品番の組合せ等からなるデータを学習データとすると、学習データを更新し、有効期限を定める必要がある。このためには常時学習を続ける必要がある。

この発明の課題は、適切な学習データを選択して、常時学習し続ける店舗システムを提供することにある。

この発明は、商品の画像から抽出した特徴量を、学習データ中の特徴量と比較することにより、商品の種類を識別する店舗システムにおいて、店舗システムが種類を識別した商品の特徴量の内で信頼度が高いもの、及び店舗システムが識別した商品の種類をマニュアルで訂正したものの特徴量を学習データに追加する、学習データ管理部を備えていることを特徴とする。

画像識別では一般に識別のもっともらしさを数量的に表すデータ、即ち信頼度が得られる。例えば非特許文献１の相違度などがその例である。そこで信頼度が所定値以上のものを学習すると、信頼性の高い学習データを追加できる。画像識別では、識別に失敗し、店員がマニュアルで訂正することがある。訂正が必要なのは、特徴量の空間で学習データが不足している領域である。そこでマニュアルで訂正した商品を学習することにより、同種の誤識別を減らすことができる。

好ましくは、同種の商品に対する学習データでの特徴量と、識別対象の商品の特徴量との、特徴量の空間での距離が所定値以上である場合、学習データを追加しないように、学習データ管理部が構成されている。距離は、同種の商品での特徴量の分布の標準偏差等で正規化した距離でも、正規化をしない距離でも良い。さらに距離はユークリッド距離（２乗和の平方根形の距離）でも、マンハッタン距離（絶対値の和から成る距離）、等でも良い。識別の信頼度が高い商品では、その商品と同種の商品に対する学習データからの距離も小さいことが多い。そこで距離による検査を行うのは、種類をマニュアルで訂正した商品に限っても良い。商品の種類をマニュアルで訂正した場合、訂正が誤りであることも有る。例えば商品の合計価格が正しければ商品の種類は重要ではないと考えて、正しい価格の正しくない品番に訂正した場合等である。そこで学習データを追加する対象から、特徴空間での距離から不適切なものを検出し、学習対象からのぞくことができる。

また好ましくは、商品の種類を識別する毎に、識別の信頼度が高い商品と、種類をマニュアルで訂正した商品との特徴量を、学習データに追加するように、学習データ管理部が構成されている。この発明では、識別の信頼度が高い商品と、種類をマニュアルで訂正した商品とが学習の対象であるが、これらを全て学習する必要はない。例えば１種類の商品に対し、１日に学習する件数に上限を設けても良い。しかしこのような管理をせずに、識別の信頼度が高い商品と、種類をマニュアルで訂正した商品とが発生する毎に学習すると、学習の頻度を増すことができる。また新しい種類の商品を導入すると、短期間で学習データを得ることができる。

好ましくは、学習データには学習した時期のデータが含まれ、店舗システムは、学習後所定期間以上経過した学習データと、所定個数よりも前に学習された学習データとを、商品の識別に用いないように構成されている。所定期間は例えば30日、100日、１年等である。例えばパンの場合であれば、同じパン職人でも、焼き色が徐々に変化する、形態が徐々に変化する等のことがある。またパン職人が変われば、同じパンでも特徴量は変化する。これに対して所定期間以上古い学習データを用いないことにより、同種の商品に対する形態、色彩等の特徴が変化しても影響を小さくできる。画像による識別では、学習データの多い商品を優先して識別する傾向がある。特に学習データを追加する機会を増すと、学習データの数は商品の販売量に応じて定まる。すると販売量の多い商品を優先して識別するようになる。これに対して、学習データの数を例えば100個、500個、1000個等に制限すると、販売数が多い商品を過剰に優先して識別することが無くなる。学習データの使用期間、個数等を制限するには、例えば使用期間を越えた学習データを削除し、所定の個数を超えると古いものから削除すれば良い。特に、学習データを直近に学習した所定個数以下のデータに制限すると、単に個数に制限を設けるだけでなく、新しい学習データを優先することができる。

実施例の店舗システムのブロック図識別コンピュータのブロック図学習データの内容を模式的に示す図学習データの追加アルゴリズムを示すフローチャート学習データの使用条件を示す図

以下に最適実施例を示す。この発明の範囲は、特許請求の範囲の記載に基づき、明細書の記載とこの分野での周知技術とを参酌し、当業者の理解に従って定められるべきである。

図１〜図５に、実施例の店舗システム２を示す。４はパネルで、乳白色の半透明なパネル５と、その下部にある白色のバックライト光源６とから成り、乳白色で半透明のトレイ８を乗せるようにされている。１０はデジタルカメラで、これ以外に距離画像用カメラ１１を設けても良い。１２はタッチパネルで、商品を識別する過程でのヒューマンインターフェースとして用いる。バックライトパネル４と、デジタルカメラ１０と、距離画像用カメラ１１と、タッチパネル１２は、USB（ユニバーサル・シリアル・バス）等により、パーソナルコンピュータ等から成る識別コンピュータ１４に接続されている。またLAN等により、識別コンピュータ１４はPOS端末１６に接続され、１８はそのディスプレイである。

図２は識別コンピュータ１４の構成を示し、カメラドライブ２０はデジタルカメラ１０を動作させると共に、その出力画像を一時記憶し、カメラ調整インターフェース２１により、R,G,Bの各値に対するゲインを調整する。ゲインの調整では、例えばデジタルカメラ１０内でゲインを調整するが、カメラドライブ２０でゲインを変えても良い。バックライトパネルドライブ２２はバックライトパネル４をオン／オフさせる。距離画像用のカメラ１１を設ける場合、ドライブ３０によりカメラ１１をドライブし、メモリ３１に空のトレイ８の距離画像、もしくはその表面を表す方程式を記憶させて、以降の距離画像（商品を乗せたトレイ８の距離画像）との差分を求め、トレイ８の表面を基準とする距離画像とする。

学習データメモリ２４は、商品の特徴量と商品名、価格等から成る学習用のデータを記憶し、商品の種類（品番）毎に、例えば最大500データ等の所定個数以下のデータを記憶する。学習データの有効期間は学習から例えば100日等の所定期間である。商品の品番の数は増減するので、学習データメモリ２４は品番の増加に対応できるようにする。特徴量は、商品のRGB画像に基づいて、商品を識別するための特徴となるデータであり、距離画像を用いる場合は、距離画像上での商品の特徴を学習用データに含める。特徴量は、例えば非特許文献１に示すように、同じ品番の商品の学習データに対して主成分分析を行った際の、商品間での差が小さいマイナー成分であり、店舗システム２は特徴量として50〜200成分のデータを用いる。

学習データ管理部２６は、学習データを学習データメモリ２４に追加する。店舗システム２が商品を識別すると、識別の信頼性を数量的に表すデータが発生する。また客の鍵などの商品ではないもの、不良品、購入を取りやめる商品など、清算から除外するものが発生する。画像識別では誤識別が有り得るので、そのような場合、店員あるいは客がマニュアルでタッチパネル１２等を介して商品の種類を訂正する。これらの中で、識別の信頼度が所定値以上の商品、及びマニュアルで種類を訂正した商品に対し、特徴量を学習データに追加する。マニュアルで訂正した商品には、種類を誤っているものも含まれ得るので、その商品と同種の商品への学習データとの距離空間での距離が所定値以上のものを、学習対象から除外する。

学習データ管理部２６は、学習から100日以上経過して期限切れ、同じ品番の商品に対して500個超の学習データがある場合の最も古いデータ、等の学習データを削除する。最も古いデータを削除するには、学習日時により学習データを検索しても良く、あるいは同じ品番の商品への学習データに、1から始まり500で終わる番号を付け、最新の番号を別途に記憶し、学習する毎に次の番号に学習データを上書きしても良い。

商品識別部２８は、デジタルカメラ１０からのRGB画像（ゲイン調整済み）及び距離画像（トレイの距離画像との差分後の画像）と、学習データとを用いて、商品の種類を識別する。POSインターフェース３６は、識別した商品に対する、商品名、個数、及び撮像したRGB画像（例えばJPEG画像で、分解能を低下させた小容量の画像）等から成る売上げデータをPOS端末１６へ送出する。

POS端末１６は、送出された売上げデータ中の、商品名と個数とに基づき売上げを計算し、現金等の授受を行ってレシートを発行する。レシートには、商品名と個数、価格等の他に、例えば連続番号のレシートのID（取引番号）、売上げの日時等が記載されている。なお清算除外、商品の種類の訂正を、POS端末１６で行い、その旨を識別コンピュータ１４へ送出して、学習データの追加の処理に用いても良い。

図３に学習データ４０の構成を示し、１個の学習データに対し、学習の日時、あるいは月日等の学習時期のデータと、商品の品番、及び同種の商品に対する学習データ内での番号が含まれている。データ番号は1から始まり500で終わり,500の次は1となる番号で、最新の番号を学習データ管理部２６が別途に記憶する。特徴量は例えば50種類〜200種類有り、学習データ毎に記憶されている。そして前記のように、１種類の品番には、学習データは最大で500個に制限されている。

図４に学習データの追加アルゴリズムを示す。ステップS1で商品を画像識別し、ステップS2で清算除外、識別結果の訂正を行う。ステップS3で、高信頼度の商品と品番を訂正した商品の特徴量を、学習データの候補とする。なお特徴量はステップS1で取得済みである。

ステップS4で、同品番の学習データの平均からの、特徴空間での距離Sを求める。i番目の特徴量をxi、学習データでのその平均値と標準偏差をai、diとすると、（xi-ai）^２をdi^２で割ったものの和、あるいは｜xi-ai｜／di和等により、距離が定まる。そして距離Sが所定値以上のものを学習対象から除外する。この処理に限らず、同品番の学習データを基準とするもっともらしさにより、学習データの適否を判別するものであればよい。そしてステップS5で学習データを追加する。

図５は学習データへの制限を示し、学習後所定日数以上経過したものを無効として学習データメモリ２４から削除し（C1）、また品番毎の学習データの個数が500個を越えると、直近の500個を残して、もっと古い学習データを削除する（C2）。

実施例ではパンの識別を示したが、野菜、果物、魚介類、肉類、薬品の錠剤等、識別対象の商品は任意である。距離画像用カメラ１１には、複眼視によるカメラ、液晶シャッタアレイカメラ等を用いても良い。また識別コンピュータ１４は物理的にはPOS端末１６と一体でも良い。識別結果に対する訂正、清算からの除外等の処理は、タッチパネル１２により行ったが、POS端末１６により行っても良い。その場合、清算除外品と識別結果を訂正した商品とをPOS端末１６から識別コンピュータ１４へ送出する。

２店舗システム
４バックライトパネル
５パネル
６バックライト光源
８トレイ
１０デジタルカメラ
１１距離画像用カメラ
１２タッチパネル
１４識別コンピュータ
１５ LAN
１６ POS端末
１８ディスプレイ
２０カメラドライブ
２１カメラ調整インターフェース
２２バックライトパネルドライブ
２４学習データメモリ
２６学習データ管理部
２８商品識別部
３０ドライブ
３１メモリ
３６ POSインターフェース
４０学習データ

Claims

商品の画像から抽出した特徴量を、学習データ中の特徴量と比較することにより、商品の種類を識別する店舗システムにおいて、
店舗システムが種類を識別した商品の特徴量の内で信頼度が高いもの、及び店舗システムが識別した商品の種類をマニュアルで訂正したものの特徴量を学習データに追加する、学習データ管理部を備えていることを特徴とする、店舗システム。
同種の商品に対する学習データでの特徴量と、識別対象の商品の特徴量との、特徴量の空間での距離が所定値以上である場合、学習データを追加しないように、学習データ管理部が構成されていることを特徴とする、請求項１の店舗システム。
商品の種類を識別する毎に、識別の信頼度が高い商品と、種類をマニュアルで訂正した商品との特徴量を、学習データに追加するように、学習データ管理部が構成されていることを特徴とする、請求項１または２の店舗システム。
学習データには学習した時期のデータが含まれ、
学習後所定期間以上経過した学習データと、所定個数よりも前に学習された学習データとを、商品の識別に用いないように構成されていることを特徴とする、請求項１〜３のいずれかの店舗システム。