JP2001092975A - 商品認識システムおよび商品認識方法 - Google Patents

商品認識システムおよび商品認識方法

Info

Publication number
JP2001092975A
JP2001092975A JP2000228144A JP2000228144A JP2001092975A JP 2001092975 A JP2001092975 A JP 2001092975A JP 2000228144 A JP2000228144 A JP 2000228144A JP 2000228144 A JP2000228144 A JP 2000228144A JP 2001092975 A JP2001092975 A JP 2001092975A
Authority
JP
Japan
Prior art keywords
data
product
class
library
similarity distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000228144A
Other languages
English (en)
Inventor
Gu Iemingu
グ イエミング
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NCR International Inc
Original Assignee
NCR International Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NCR International Inc filed Critical NCR International Inc
Publication of JP2001092975A publication Critical patent/JP2001092975A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Cash Registers Or Receiving Machines (AREA)

Abstract

(57)【要約】 【目的】 商品を同定するため類似性距離測度の計算を
使用する商品認識システムおよび方法を与える。 【構成】 本システムは商品データ収集器と、ライブラ
リと、コンピュータとを含む。商品データ収集器は商品
から第一データを収集する。ライブラリは商品クラスに
関連する第二データを含む。コンピュータはライブラリ
から第二データを読み取り、第一データと各第二データ
との間の類似性距離測度値を決定し、第二データから最
小類似性距離測度値を生ずる第三データおよび対応する
商品クラスを決定し、対応する商品クラス内にある当該
商品を同定する。

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は産品のチェックアウト
（checkout、清算、棚卸し等の処理）を行う装置に関
し、特に商品認識システム（produce recognition syst
em）および商品認識方法に関する。
【０００２】バーコードリーダーは小売店の代金精算お
よび棚卸し管理においてその有用性が良く知られてい
る。ほとんどの商品にバーコードラベルが付けてあるの
で、バーコードリーダーは通常の取引における大抵の商
品を同定し記録することができる。
【０００３】バーコードリーダーで同定することができ
ず、記録することができない典型的な商品は商品であ
る。というのは、商品は普通、バーコードでラベル付け
できないからである。バーコードリーダーにはそのよう
な商品の価格を決定する補助として商品の重量を計量す
る秤を含めことができる。しかし、商品の同定は依然と
してチェックアウトを行う者（以下オペレータという）
がしなければならない仕事であり、オペレータは商品を
同定し、次いで手動で商品の同定コードを入力しなけれ
ばならない。オペレータによる同定方法は、普通、商品
を商品の絵と視覚的に比較する手順を含むか、データフ
ァイル内に格納された商品コードを参照する必要があっ
て、遅速であり非能率である。オペレータが視覚的に同
定する方法はまた、１５％の割合でエラーを起こしがち
である。
【０００４】
【発明が解決しようとする課題】本発明の目的は、改良
された正確な商品認識システムおよび商品認識方法を与
えることにある。
【０００５】
【課題を解決するための手段】第一の局面から見ると本
発明は、商品データ収集器と、ライブラリ、およびコン
ピュータを含む商品認識システムとして実現される。本
商品データ収集器は当該商品から第一データを収集す
る。ライブラリは複数のクラスの商品に関わる第二デー
タを有する。コンピュータはライブラリから前記第二デ
ータを読みとり、前記第一データと前記第二データの各
々との間の類似性距離測度値（distance measure of li
keness value）を決定し、最小類似性距離測度値を与え
る第二データから第三データおよびそれに対応する商品
クラスを決定し、商品の対応クラス内にある商品を同定
する。
【０００６】第二の局面から見ると本発明は、商品を認
識する方法であって、前記商品から第一データを収集す
るステップと、ライブラリから、前記一商品を含む複数
の商品に関連する或数の第二データを読みとるステップ
と、前記第一データと前記第二データ各々との間の類似
性距離測度値を決定するステップと、最小類似性距離測
度値を与える第二データから、第三データおよび対応商
品クラスを決定するステップと、対応商品クラス内にあ
る当該商品を同定するステップとを含む。
【０００７】本同定ステップは、類似性距離測度値をサ
イズ順に並べるステップ、サイズ順に並べた類似性距離
測度値およびそれに対応する商品名のリストをオペレー
タに表示するステップ、およびオペレータがリストから
選んだ一商品の選択を記録するステップを随意的選択的
に含めることができる。
【０００８】商品を同定するための類似性距離測度テス
トは、サンプルデータを参照データと比較する他の同定
タスクにも適用できる。
【０００９】本システムおよび方法は、商品のスペクト
ルデータを商品クラス内にある商品スペクトルデータと
比較することにより当該商品を同定する。
【００１０】類似性距離測度（distance measure of li
keness, ＤＭＬ）の値が確定される。この類似性距離測
度値は、未知商品が指定クラス内に存在する確からしさ
に対応している。
【００１１】類似性距離測度（ＤＭＬ）値は昇順に並べ
られ、最小距離をもつものが最も確からしい同定物とし
て選択される。
【００１２】さらに別の局面から見ると本発明は、商品
の認識に使用するための商品データライブラリを構築す
る方法として実現される。本方法は、前記商品を記述す
るためのクラスを確定するステップと、既知商品から実
例サンプルを収集するステップと、クラス毎の典型実例
を決定するステップと、前記典型実例に対して距離スケ
ールを決定し、前記実例サンプル、前記典型実例、およ
び距離スケールをライブラリに格納するステップとを含
む。
【００１３】本発明のさらなる利点および長所は、本発
明に関する以下の実施例に関する説明、前記特許請求の
範囲、および添付図面から当業者に明白となろう。
【００１４】参照する図１の商品チェックアウト装置１
０はバーコードデータ収集器１２、商品データ収集器１
４、および秤１６を含む。
【００１５】バーコードデータ収集器１２は商品３２上
のバーコード２２を読み取り、商品３２に関連する商品
同定番号を取得する。この番号は別名、価格検索（pric
e look-up, PLU）番号としても知られている。バーコー
ドデータ収集器１２は任意のバーコードデータ収集器で
よく、バーコードを読み取るためのレーザービームを使
用する光学バーコードスキャナを含んでいる。バーコー
ドデータ収集器１２はチェックアウトカウンタ内に、あ
るいはチェックアウトカウンタ上に、配置することがで
きる。
【００１６】商品データ収集器１４は商品１８その他バ
ーコード化してないの任意の商品（以下、非バーコード
商品という）についてデータを収集する。そのようなデ
ータは好適には色データおよび色分布データを含むが、
数法データ、形状データ、表面組織データ（surface te
xture data）、および芳香データをも含むことができ
る。各データサンプルは、商品認識ソフトウェア２１で
処理すべきサンプル例である。
【００１７】分類ライブラリ３０は、以前に収集し処理
した商品データから導出されたデータライブラリであ
る。ライブラリ３０はいろいろの商品、すなわち商品ク
ラスに関する情報を含んでおり、各クラスは一つのＰＬ
Ｕ番号に関連づけられている。一般に、分類ライブラリ
は種々のクラス３６に関する情報を含んでおり、各クラ
ス３６が同定可能な商品を表している。
【００１８】参照データ３８はデータ縮約ステップで使
用する、装置に依存するデータ（装置依存性データ）で
ある。たとえば、データ３８は較正データ、ピクセル-
波長マッピング、およびデータ縮約プロセスで使用する
内挿情報を含む。
【００１９】取引の際、商品が窓６０（図２）に入る周
囲光を阻止したとき、あるいは商品１８を秤１６上に置
いたとき、あるいはタッチスクリーン２３（もしくはそ
の他の装置）によってオペレータの指令が記録されたと
き、商品データ収集器１４は自動的に作動開始される。
【００２０】秤１６が商品１８の重量を決定する。秤１
６はバーコードデータ収集器１２と連動して作動する
が、別個に動作し、別個に装着するように設計すること
ができる。秤１６は取引端末機２０が当該重量情報にも
とづいて商品１８の価格を決定できるよう、商品１８の
重量情報を取引端末機２０へ送信する。
【００２１】バーコードデータ収集器１２および商品デ
ータ収集器１４は互いに別個に動作するが、両者を統合
することもできる。バーコードデータ収集器１２は取引
端末機２０および取引サーバ２４と連動して動作する。
【００２２】バーコードを付けた商品の場合は取引端末
機２０バーコードデータ収集器１２から商品同定番号を
取得し、取引サーバ２４を介してＰＬＵデータファイル
２８から対応する価格を取り出す。
【００２３】バーコード化してない商品の場合、取引端
末機２０は商品認識ソフトウェア２１を実行する。この
ソフトウェアは商品データ収集器１４から商品特性デー
タを取得し、収集した商品データを分類ライブラリ３０
内の商品データ内の商品データと比較することにより商
品１８を同定し、分類ライブラリ３０から商品同定番号
を取り出し、それに対応する価格をＰＬＵデータファイ
ル２８から取り出す。
【００２４】別の実施例では商品１８の同定は取引サー
バ２４で処理することができる。取引サーバ２４は収集
した収穫特性を受信し、それを分類ライブラリ３０内の
商品データと比較する。同定に続いて取引サーバ２４は
商品１８に対する価格を取得し、それを取引端末機２０
に転送する。
【００２５】取引端末機２０（もしくは他の店舗内ネッ
トワークを介して取引端末機２０に接続された利用可能
なコンピュータ）もまた商品ライブラリ構築ソフトウェ
ア３４を実行し、ライブラリ３０を構築することができ
る。
【００２６】好適な格納媒体２６は一つ以上のハードデ
ィスクドライブを含む。ＰＬＵファイル２８および分類
ライブラリ３０は格納媒体２６内に格納されるが、その
代わりにいずれも取引端末機２０、またはバーコードデ
ータ収集器１２に、置くことができる。参照データ３８
も格納媒体２６に格納されているが、商品データ収集器
１４内に格納することもできる。
【００２７】商品を適正に同定することを助けるため、
商品認識ソフトウェア２１はさらなる候補商品を表示
し、オペレータの認証に供する。好適な商品認識ソフト
ウェア２１は候補商品を適合確率にもとづいて配列し、
それらをテキストおよびまたは彩色イメージとして取引
端末機２０のオペレータ用ディスプレイ上に表示する。
オペレータは最も確からしい候補を受け入れ、あるいは
表示された候補を覆すことにより異なる選択をすること
ができる。
【００２８】ここで図２を参照すると、スペクトル分析
を行う商品データ収集器１４の一例が示してある。他の
形式の商品データ収集器も採用することができる。
【００２９】例としてあげた商品データ収集器１４は主
な要素として光源４０，スペクトロメータ５１，制御回
路５６，透明窓６０，およびハウジング６２を含む。
【００３０】光源４０は光７０を発生する。好適な光源
４０は白色光スペクトル分布を発生し、４００ｎｍない
し７００ｎｍの範囲をもつことが好ましい。この範囲は
光の可視領域に対応する。
【００３１】光源４０は一つ以上の発光ダイオード（Ｌ
ＥＤ）を含むことが好ましい。ニチア化学工業社（Ｎｉ
ｃｈｉａ Ｃｈｅｍｉｃａｌ Ｉｎｄｕｓｔｉｒｅｓ,
Ｌｔｄ）で製造されているような、広スペクトル白色光
を発生するＬＥＤを使用することが望ましい。これは長
寿命、停電力消費、高速ターンオン時間、低動作温度、
良好な指向性をもつからである。この代わりの実施例は
さらに、狭い波長領域にいろいろの色をもつＬＥＤを含
むが、スペクトル内の変化を平均化するとともに広スペ
クトル白色ＬＥＤのスペクトルを補足するため、これら
ＬＥＤを広スペクトル白色ＬＥＤと組み合わせて使用す
ることが好ましい。
【００３２】広スペクトル白色ＬＥＤよりは利点が少な
いが、本発明で他の形式の光源４０を使用することも考
えられる。たとえば、広スペクトルをもつ故にタングス
テンハロゲン光を使用することができる。しかしその発
熱量は大きい。
【００３３】重畳しないいろいろの波長領域をもつ複数
の異なる色のＬＥＤ群を使用することができるが、全ス
ペクトル分布にギャップがあると、集光性能は望ましい
性能にやや欠ける。
【００３４】スペクトロメータ５１は光分離素子５２お
よび光検出器アレイ５４を含む。
【００３５】好適な本実施例では光分離素子５２は光７
６を連続波長帯域をもつ光８０に分離する。光分離素子
５２は、オプチカル・コーチング・ラボラトリー社で製
造されているような線形変化フィルタ（linear variabl
e filter、LVF）９０であることが好ましいが、プリズ
ムもしくは回折格子のような機能上等価な他の任意のコ
ンポーネントでよい。
【００３６】光検出器アレイ５４はスペクトルデータを
含んだ波形信号８２を生成する。このアレイのピクセル
は光分離素子５２により生成された連続波長帯域の空間
的標本を採取し、一組の離散信号レベルを生成する。光
検出器アレイ５４は相補的金属酸化物半導体（ＣＭＯ
Ｓ）アレイであることが好ましいが、電荷結合デバイス
（ＣＣＤ）アレイであってもよい。
【００３７】制御回路５６は商品データ収集器１４の動
作を制御し、デジタル化した商品データ波形信号８４を
生ずる。この目的のため、制御回路５６はアナログ-デ
ジタル（Ａ／Ｄ）変換器を含む。標本率２２-２４ｋＨ
ｚをもつ１２ビットＡ／Ｄ変換器が満足の行く結果を生
ずる。
【００３８】透明窓６０は窓６０から反射された光が反
射光７４を邪魔することを防止するための反射防止表面
塗布層を含む。
【００３９】ハウジング６２は光源４０，スペクトロメ
ータ５１，光検出器アレイ５４，制御回路網５６，およ
び透明窓６０を含む。
【００４０】運用に際して、オペレータが商品１８を窓
６０上に置く。制御回路網５６が光源４０を点灯させ
る。光分離素子５２が反射光７４をいろいろの波長に分
離し、連続波長帯域をもつ光８０を生成する。光検出器
アレイ５４が商品データを含んだ波形信号８２を発生す
る。制御回路網５６はデジタル化した商品データ８４を
生成し、これを取引端末機２０へ送る。制御回路網５６
は光源を消灯し、待機状態に入る。
【００４１】取引端末機２０は商品１８を同定するた
め、デジタル化した商品データ信号８４内の商品データ
を使用する。ここに商品データはデジタル波形からな
り、これを取引端末機２０が、分類ライブラリ３０内に
格納しているデジタル化した波形ライブラリと比較す
る。同定後、取引端末機２０は商品１８の全料金を計算
するため、ＰＬＵデータファイル２８から単価を、また
秤１６から重量を取得する。取引端末機２０は全料金を
取引高に算入する。
【００４２】分類ライブラリ３０は以前に収集し処理し
た商品データから導出される。一般に、分類ライブラリ
は種々のクラス３６に関する情報を含んでおり、各クラ
ス３６が同定可能な商品を表している。たとえば、バナ
ナ、ゴールデンデリシャスりんご、およびホワイトポテ
トは３つの異なるクラスである。
【００４３】各クラスは、一クラス番号によりただ一つ
同定されるが、各クラス番号は一つ以上のＰＬＵ番号に
関連しうる。一つのクラス番号が二つ以上のＰＬＵ番号
に関連しているときは、分類不能な別の特徴をもつ以外
は類似している一商品を表す別のＰＬＵ番号がある。こ
れらの特徴には育成方法（通常の方法か有機栽培方法
か）、熟成方法（通常の熟成方法か、それとも木上で熟
成させたものか）、種有りか種無しか等）を含めること
ができる。分類不能な特徴（以下、識別不能特性とい
う）は通常は視覚的に商品を検査することによっては識
別されないので、それらの商品の同定は別の手段、たと
えばスティッカー、色コードを付けたリボン等を使用し
て行わなければならない。
【００４４】本発明で述べているような、スペクトロメ
ータのみを使用する商品認識システムの場合、商品サイ
ズがもう一つの識別不能特性である。ほとんどの店舗は
これら識別不能特性が異なる商品に異なる価格を付ける
ので、クラス３６が、いろいろの価格検索番号（ＰＬＵ
番号）を有する商品を収容している。
【００４５】識別不能特性をもつ商品１８を処理する方
法が２つある。第一の方法では、ユーザーインターフェ
ースを使ってオペレータに多重ＰＬＵ番号をもつクラス
３６を提示するとき、クラス３６は多重選択形式に展開
され、オペレータがその識別不能特性に基づいて商品１
８を同定する。
【００４６】第二の方法ではオペレータがさらなる入力
を行う。オペレータが正しいクラス３６を選択した後、
商品認識ソフトウェア２１が、グラフィックユーザーイ
ンターフェースのポップアップウィンドウ等を介してオ
ペレータを促し、商品１８に対する識別不能な特徴を入
力させる。
【００４７】いずれの場合にも、商品認識ソフトウェア
２１は未知サンプル例（すなわち波形サンプル）とライ
ブラリ３０内のすべてのクラス３６との間のＤＭＬ値を
比較し、最小のＤＭＬ値をもつ候補からはじまる商品候
補リストを出力する。
【００４８】二乗差の和（sum of squared differenc
e、ＳＳＤ）が未知サンプル例と既知商品との間の最も
簡単な距離測度である。未知サンプル例の同定にとって
は未知サンプル例と或一クラスのサンプル例との間の距
離が最も重要である。類似性距離測度値（ＤＭＬ値）は
未知サンプル例と或クラスとの間の距離を与え、最小Ｄ
ＭＬ値をもつものが最も確からしい候補である。
【００４９】さらに詳細に述べると、各サンプル例はＮ
次元空間内の一点であり、Ｎはサンプル例を記述するの
に使用されるパラメータの数である。点Ｐ1（ｘ11, ｘ
21 ... , ｘN1）とＰ2（ｘ12, ｘ22, ... , ｘN2）との
間の距離は
【数１】 で定義される。 二つのサンプル例間の距離ｄ（Ｐ1,
Ｐ2）はＮ次元空間の中で二つのサンプル例がどのくら
い離れているかを測る量である。クラス３６が十分に良
く確定される理想的な場合、すなわち各クラスがＮ次元
空間内の単一の点によって表される場合、商品の同定は
点のマッチングに帰着する。サンプル例Ｐはｄ（Ｐ,
Ｐj）= 0 であるときのみ、サンプル例Ｐは商品ｊと同
定される。
【００５０】実際には常に測定器の誤差その他の因子に
よる測定誤差が存在する。同一クラス属する二つの商品
で同一のものは無く、また同一商品についてもその表面
上で色および外観が変化する。さらに窓６０に対する商
品１８の方向および距離の変化が測定に影響する。これ
らすべての因子がＮ次元空間におけるサンプル例データ
の広がりを与える。
【００５１】スーパーマーケットでは、一クラスに属す
る全商品について、多数のサンプル例（点）の距離が測
定される。Ｎ次元空間には実際に確定可能な体積内に広
がっている全サンプル点（サンプル例）を得るための、
全商品から得られる十分なサンプル例がある。すなわ
ち、当該クラスの全商品の外観を完全に特徴づけるだけ
の形状とサイズをもつＮ次元空間の体積を与えるに十分
なサンプル例が、全商品から得られる。この体積の形状
は、３次元におけるボールのように規則的であることも
あれば、３次元ダンベルのようにきわめて不規則である
こともありうる。
【００５２】もしも未知のサンプル例Ｐが或特定のクラ
スの体積内にあるなら、サンプル例をそのクラスの商品
として同定できる可能性がある。サンプル例Ｐが当該ク
ラス内の商品であると確実に同定できるわけではない。
なぜならば、この体積に重畳する体積をもった他のクラ
ス３６が存在しうるからである。つまりサンプル例Ｐは
いくつかのクラス３６の体積内に同時的にあり得る。そ
れゆえ、上記の単純な距離測度ｄ（Ｐ1,Ｐ2）はそのよ
うな場合に対する最良の同定手段ではない。なぜならば
一つのクラスはＮ次元空間の点によってではなく体積に
よって特徴付けられるからである。
【００５３】一つのクラスはＮ次元空間の中で良く記述
できるのみならず、統計的手法で良く記述することがで
きる。すなわち、各サンプル例はランダム事象であり、
一つのクラスはＮ次元空間内の或体積内の確率密度分布
になっている。
【００５４】一例として、クラス「ゴールデントマト」
内の多数の商品からランダムに標本採取した商品を考え
よう。このクラス内にある商品は比較的に良く確定され
た色および外観を有する。商品はすべて赤色であるが、
商品毎に、そして場合によっては同一商品の部位ごと
に、わずかな色変化がある。しかし、たとえば「りん
ご」というような他のクラス３６と比べると、商品毎の
色変化は遙かに少ない。典型的なトマトは、「トマトの
赤色」である色をもっているので、その典型的なトマト
に関連した一つの典型的なサンプル例（典型サンプル
例）Ｐは、クラス「ゴールデントマト」のＮ次元体積の
中心点またはその付近にあるであろう。このクラス内の
商品はほんのわずかな色変化しかもたないので、ランダ
ム抽出したほとんどのサンプル例はこの典型サンプル例
Ｐtに近接する。サンプル例Ｐtから離れるにしたがって
見出される点の数は少なくなる。このことは線図で図３
に示してある。この場合、２次元平面上に一ランダム事
象を発見する確率密度が編み目の面としてプロットして
あり、図の底部に等高線が示してある。特定のクラスに
ついて確率密度の減衰領域は、サンプル例Ｐtと当該ク
ラスについてランダム抽出した全サンプル例の点との間
の距離をヒストグラム（度数分布図）で確認することが
できる。
【００５５】Ｎが３より大きい場合、Ｎ次元空間におけ
る複数のクラス３６の相対的位置および重畳を想像する
ことは困難であり、ましてや図示することはもっと困難
である。したがって、以下の議論は２次元空間で始め、
より高次の次元に拡張する。
【００５６】２次元空間における最初の理想的な例が図
４に示してある。この例は、各クラスが対称的な確率分
布で表すことができること、すなわち図３に示すすべて
の等高線が円であることを仮定している。分布関数の実
際の形（たとえばそれがガウス分布であるか、あるいは
非ガウス分布であるか）がわからないまま、その分布は
一つの特徴的な距離尺度ｄにより特徴付けることができ
る。この距離尺度は図３では一等高線の半径である。距
離尺度は、典型サンプル例からの距離を取ったときに確
率密度がその距離内部でよりも顕著に低くなる距離であ
ると見なすことができる。
【００５７】未知のサンプル例Ｐが２つのクラスＣ1お
よびＣ2の重畳する領域内にあったとする。この未知サ
ンプル例Ｐはいずれのクラスにも属しうる。サンプル例
Ｐは典型的なサンプル例Ｐt1およびＰt2からほぼ等しい
距離ｄ1およびｄ2にあるから、単純な距離測度は似たク
ラスを同定する助けにはならない。しかしながら、確率
密度は距離スケールを基準とする相対距離に反比例する
という仮定の下で、サンプル例ＰはクラスＣ1に属する
よりはＣ2に属する確率がより高い。というのは
【数２】 であるからである。それぞれの距離スケールに相対的
に、サンプル例ＰはクラスＣ1の典型サンプル例Ｐt1よ
りもクラスＣ2の典型サンプル例Ｐt2により近い。
【００５８】２次元空間における第二例が図５に示して
ある。この例は非対称分布を例示している。分布は常に
対称的にはなっていないからである。たとえば、分布が
測定誤差を受けているとき、誤差はスペクトルの青色端
よりも赤色端付近でより大きいかもしれない。実際、ほ
とんどのクラス３６がもっている本来の色の変化はスペ
クトル領域にわたって一様ではない。非対称分布の場
合、ｘおよびｙ次元に対する距離スケールを確定しなけ
ればならない。
【００５９】Ｐt1、Ｐt2、およびＰの相対的位置は図４
では同じであるが、クラスＣ2の分布はｘ次元において
クラスＣ1の分布よりもはるかに狭い。したがって、サ
ンプル例ＰはクラスＣ2よりもクラスＣ1に属する可能性
がはるかに高い。
【００６０】２次元空間における対称分布および非対称
分布に対する一般化された距離測度がここで確定され
る。この距離測度は未知サンプル例Ｐ（ｘ,ｙ）のクラ
スＣjに対する類似性距離測度（ＤＭＬ）である。
【数３】 ここでＰtj（ｘtj,ｙtj）はクラスＣjの典型サンプル例
であり、ｄxj 及びｄyjはそれぞれｘおよびｙ次元にお
けるクラスＣjの典型距離スケールである。
【００６１】下記のＤＭＬの定義がＮ次元空間に拡張さ
れたものである。
【数４】 ここでＰ（ｘ1 . ｘ2, ... ｘN）は未知サンプル例、Ｐ
tj（ｘt1j , ｘt2j , ... ｘtNj）はｊ番目のクラスの
典型サンプル例、そしてｄijは距離スケールである。ま
たＤjはサンプル例Ｐと、典型サンプル例Ｐtjおよびそ
れに対応する距離スケールによって確定されるクラスと
の間の距離測度である。未知サンプル例Ｐをライブラリ
の諸典型サンプル例Ｐtjと比較するとき、最小ＤＭＬ値
Ｄiをもつクラスが最も確からしいものとして同定され
る。
【００６２】ＤＭＬ値が計算できるためにはその前に典
型サンプル例およびそれに関連する距離スケールが決定
されなければならない。もしも各クラスが比較的によく
確定された色を有しており、かつ距離-サンプル例相関
変化がほぼランダムであるなら、典型サンプル例は平均
的サンプル例によってよく近似できる。
【数５】 ここに、ライブラリ３４内の各クラスはランダム抽出さ
れた多数のサンプル例によって表されており、各サンプ
ル例はＮ個のパラメータにより測定され、ｎjはｊ番目
のクラス内のサンプル例数であり、ライブラリ３４内の
ｊ番目のクラスはＮ次元空間内のｎj個の点群
【数６】 で表されている。サンプル例 である各点Ｐjkは実際に
はベクトルであり、和
【数７】 はベクトル和である。したがって距離スケールは。ｉ番
目のパラメータに対する最小二乗偏差
【数８】 として定義することができる。
【００６３】実際の適用にあたっては、サンプル例点は
縮約スペクトルデータ（reduced spectral data）によ
って確定される。分類ライブラリを構築するためにピク
セルに基づいた生のデータを使用することができるが、
最初にデータを縮約しておくことが好ましい。その理由
は、生のデータは普通は特定の装置に強く依存するから
である。
【００６４】図６を参照すると、ライブラリ３０のよう
な、「開始」ステップ９０で始まる分類ライブラリを構
築する方法が詳細に例示してある。
【００６５】ステップ９２では商品認識ソフトウェア２
１が、ライブラリ３０内の各クラス３６について既知商
品１８からサンプル例を収集する。クラス３６は予め定
義してある。
【００６６】ステップ９４で、商品認識ソフトウェア２
１は各サンプル例に対して、参照データ３８（図８）を
使用してデータ縮約手順を実行する。
【００６７】ステップ９６で、商品ライブラリ構築ソフ
トウェア３４が典型サンプル例とそれに対応する距離ス
ケールを各クラス３６に対して計算する。
【００６８】ステップ９８で、商品ライブラリ構築ソフ
トウェア３４が、当該サンプル例データに加えて、典型
サンプル例および距離スケールをもつ商品認識ライブラ
リ３０を構築する。
【００６９】ステップ１００で商品ライブラリ構築ソフ
トウェア３４はライブラリを格納媒体２６に格納し、こ
れをライブラリが商品認識ソフトウェア２１がロードで
きるようにする。
【００７０】オペレーションはステップ１０２で終了す
る。
【００７１】ここで図７に進む。本発明の商品認識方法
は「開始」ステップ１１０で始まる。
【００７２】ステップ１１２で、商品認識ソフトウェア
２１は分類ライブラリ３０および参照データ３８をロー
ドする。
【００７３】ステップ１１４で商品認識ソフトウェア２
１は商品データ収集器１４から届くデータを待つ。商品
データ収集器１４は自動もしくは手動開始された後、未
知商品１８から抽出したサンプル例を生成する。商品デ
ータの収集に続いてオペレーションはステップ１１６へ
進む。
【００７４】さらに詳細に述べると、商品データ収集器
１４は、商品１８を照明し、商品１８から集めた光をい
ろいろの波長をもつ複数の異なる部分光に分離し、複数
の部分光に含まれるエネルギーを複数の電気信号に変換
し、複数の電気信号をデジタル化してデジタルスペクト
ルを生成する。サンプルスペクトルはサンプル抽出した
サンプル例を表す。
【００７５】ステップ１１６で、商品認識ソフトウェア
２１は抽出したサンプル例（図８）に関するデータ縮約
を行う。
【００７６】ステップ１１８で、商品認識ソフトウェア
２１はライブラリ３０内の全クラスについてサンプル例
と典型サンプル例との間のＤＭＬ値を計算する。
【００７７】ステップ１２０で、商品認識ソフトウェア
２１はそのＤＭＬ値を昇順に並べ替え、予定数の確から
しいものの選択を行う。
【００７８】ステップ１２２で、商品認識ソフトウェア
２１はその所定数のもっともらしい選択対象をＤＭＬ値
の昇順に表示する。
【００７９】ステップ１２４で、商品認識ソフトウェア
２１はタッチスクリーンを介してオペレータが行った商
品１８の選択を記録する。取引端末機２０は同定情報を
使って商品１８の単価を取引サーバから取得する。取引
端末機２０はついで秤１６から得た重量情報を単価に乗
じて総額を決定する。オペレーションはステップ１１４
に戻り、別の商品について準備する。
【００８０】図８に進むと、商品ライブラリ３０を構築
するため、および取引中の商品データを生成するために
使用するデータ縮約方法が例示してある。この方法はス
テップ１３０で始まる。
【００８１】ステップ１３２で、商品認識ソフトウェア
２１は生のサンプル例データF0からシステムのダークレ
ベルＤを差し引く。ダークレベルＤは、窓６０を覆った
ときの商品データ収集器１４内の照明レベルである。
【００８２】ステップ１３４で、商品認識ソフトウェア
２１は、参照データ３８内の装置依存性マッピング公式
を使用して生のサンプル例データ点Ｆiを、ピクセルグ
リッドから所定の波長グリッド（たとえば５nm間隔で４
００nmから７００nmまで）のサンプル例データ点Ｆ(λ)
jへマッピング
【数９】 する。ここにＰはピクセルグリッド内のピクセル数、Ｎ
は予め設定した波長の個数である。装置依存性マッピン
グ公式は参照データ３８内に格納される。線形可変フィ
ルタ（ＬＶＦ）の場合、装置依存性マッピング公式は次
の形を取る。
【数１０】 ここでＣ0およびＣ1は２つの定数因子である。
【００８３】ステップ１３６では、商品認識ソフトウェ
ア２１は参照データ３８内に格納されている較正情報を
使ってサンプル例データ点Ｆ(λ)jを規格化する。
【００８４】較正情報は参照スペクトルＦref(λ)を含
んでおり、 Ｆref(λ)は商品データ収集器１４の寿命期
間中、種々の時間に外部参照
【数１１】 を使用して測定される。ただしＦn(λ)は規格化したデ
ータである。
【００８５】あるいは、商品データ収集器１４が内部参
照を使用して内部参照スペクトルＦ'ref(λ)
【数１２】 を測定するなら、較正情報は矯正因子Ｃdev(λ)をも含
むことができる。
【００８６】ステップ１３８で処理は終了する。
【００８７】有利な点として、ＤＭＬ値の解析が商品を
同定するための適切な測度を与える。本発明の技術的方
法は他の物品を同定するのにも等しく適用することがで
きよう。
【００８８】本発明はその好適な実施例を特に参照して
記載したが、本発明の種々の設計変更例または本発明の
要旨および別記請求の範囲内で実行することができる。
特に、本発明で発展させたＤＭＬアルゴリズムは特別の
データ型であるスペクトルデータに基づいて議論した
が、本発明は任意のデータ型もしくは種々のデータ型の
組み合わせに適用して同じ効果をあげることができる。
すなわち、サンプル点ベクトルは抽象的な数の集合でよ
く、その集合は同一型の数でもよく、スペクトルデー
タ、物理的大きさ、表面の風合い測度、重量等のような
ある数の異なる型のデータでもよく、これらのデータは
いろいろの方法で縮約しまたは異なる空間に再マッピン
グすることができる。
【図面の簡単な説明】
【図１】 商品認識システムを含む取引処理システムの
ブロック図を示す。
【図２】 スペクトルデータを収集する商品データ収集
器の一例のブロック図を示す。
【図３】 ２次元平面上の確率密度分布の例を示す図で
ある。
【図４】 ２つのクラスについて、対称な２次元確率密
度分布を示す図である。
【図５】 ２つの商品クラスについて、非対称な確率密
度分布を示す図である。
【図６】 本発明のライブラリ構築プロセスを例示する
流れ図である。
【図７】 本発明の認識方法を例示する流れ図である。
【図８】 データ縮約手順を例示する流れ図である。
【符号の説明】 ２３ タッチスクリーン ３４ 商品ライブラリ構築ソフトウェア ３６ クラス ３８ 参照データ ５２ 光分離素子

Claims (8)

    【特許請求の範囲】
  1. 【請求項１】 同定すべき前記商品に関する第一データ
    を取得するステップと、 複数の個々の商品または複数のクラスの商品に関連する
    第二データを商品データライブラリから読みとるステッ
    プと、 同定すべき前記商品に関連する前記第一データと前記デ
    ータライブラリに格納されている前記第二データとの間
    の類似性距離測度値を決定するステップと、 前記第二データから、最小の類似性距離測度値を生ずる
    ある商品またはあるクラスの商品を決定するステップ
    と、 前記商品が前記対応する商品または対応するクラスの商
    品であることを決定するステップと、を含むことを特徴
    とする商品を同定する方法。
  2. 【請求項２】 請求項１に記載の方法において、同定す
    べき商品から前記第一データが取得されることを特徴と
    する方法。
  3. 【請求項３】 請求項２に記載の方法において、前記同
    定ステップが類似性距離測度値をサイズ順に並べるステ
    ップと、 前記並べ替えた類似性距離測度値および対応する商品名
    のリストをオペレータに表示するステップと、 オペレータがリストから選んだ選択を記録するステップ
    とを含むことを特徴とする方法。
  4. 【請求項４】 複数の異なる商品に対する典型商品デー
    タを含む参照商品データライブラリを読みとるステップ
    と、 商品データ収集器を作動開始させるステップと、 認識すべき前記商品から第一データを収集するステップ
    と、 前記第一データにデータ縮約を行って第二データを生成
    するステップと、 前記第二データと参照商品データライブラリ内の典型商
    品データとの間の類似性距離測度値を決定するステップ
    と、 前記類似性距離測度値をサイズにしたがって分類するス
    テップと、 所定数の最小類似性距離測度値および対応する商品名と
    を含むリストを構築するステップと、 前記リストを表示するステップと、 前記リストからオペレータが選んだ一商品名の選択を記
    録するステップとを含むことを特徴とする商品を認識す
    る方法。
  5. 【請求項５】 一商品から第一データを収集する商品デ
    ータ収集器と、 商品クラスに関連づけられた第二データを含むライブラ
    リと、 前記第二データをライブラリから読み取り、前記第一デ
    ータと前記各第二データとの間の類似性距離測度値を決
    定し、第三データを決定し、最小の類似性距離測度値を
    生ずる対応の商品クラスを前記第二データから決定し、
    前記商品が対応する商品クラス内にあることを同定する
    コンピュータとを含むことを特徴とする商品認識システ
    ム。
  6. 【請求項６】 請求項５に記載の商品認識システムにお
    いて、 前記第二データが、 前記クラス内の商品に対する商品データと、 前記クラスに対する典型商品データと、 典型商品データに対する典型距離スケールデータとを含
    むことを特徴とするシステム。
  7. 【請求項７】 請求項５に記載の商品認識システムにお
    いて、前記第三データおよび対応するクラスの商品を、
    最小の類似性距離測度値を生ずる第二データから決定す
    ると、前記コンピュータが類似性距離測度値をサイズに
    したがって分類し、最小の類似性距離測度値を所定数だ
    け含むリストを構築し、前記リストを表示し、前記リス
    トからオペレータが選んだ一クラスの選択を記録するこ
    とを特徴とするシステム。
  8. 【請求項８】 前記商品を記述するためのクラスを確定
    するステップと、 既知商品からサンプル例を収集するステップと、 クラス毎の典型サンプル例を決定するステップと、 前記典型サンプル例に対して距離スケールを決定し、前
    記サンプル例、前記典型サンプル例、および距離スケー
    ルをライブラリに格納するステップとを含むことを特徴
    とする商品の認識に使用する商品データライブラリを構
    築する方法。
JP2000228144A 1999-07-28 2000-07-28 商品認識システムおよび商品認識方法 Pending JP2001092975A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/362488 1999-07-28
US09/362,488 US6529855B1 (en) 1999-07-28 1999-07-28 Produce recognition system and method

Publications (1)

Publication Number Publication Date
JP2001092975A true JP2001092975A (ja) 2001-04-06

Family

ID=23426316

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000228144A Pending JP2001092975A (ja) 1999-07-28 2000-07-28 商品認識システムおよび商品認識方法

Country Status (3)

Country Link
US (1) US6529855B1 (ja)
EP (1) EP1073000A3 (ja)
JP (1) JP2001092975A (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009180653A (ja) * 2008-01-31 2009-08-13 Musashino Corp 商品判別システム
JP2012243126A (ja) * 2011-05-20 2012-12-10 Yasuhiko Mizoguchi 商品情報検索システム、商品情報検索方法及び商品情報検索プログラム
JP2014232538A (ja) * 2014-07-07 2014-12-11 東芝テック株式会社 情報処理装置及びプログラム
JP2019046236A (ja) * 2017-09-04 2019-03-22 株式会社東芝 学習装置、情報処理装置、学習方法およびプログラム
JP2021103551A (ja) * 2013-06-26 2021-07-15 アマゾン テクノロジーズ インコーポレイテッド 物品の相互作用及び移動検出方法
US12002009B2 (en) 2013-06-26 2024-06-04 Amazon Technologies, Inc. Transitioning items from a materials handling facility

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4470018B2 (ja) * 2004-06-28 2010-06-02 コニカミノルタセンシング株式会社 光学測定システムおよび試料の光学特性管理方法
SE535853C2 (sv) 2010-07-08 2013-01-15 Itab Scanflow Ab Kassadisk
US11288472B2 (en) 2011-08-30 2022-03-29 Digimarc Corporation Cart-based shopping arrangements employing probabilistic item identification
US9595029B1 (en) * 2012-10-04 2017-03-14 Ecr Software Corporation System and method for self-checkout, scan portal, and pay station environments
JP5747014B2 (ja) 2012-11-05 2015-07-08 東芝テック株式会社 商品認識装置及び商品認識プログラム
JP6851133B2 (ja) * 2014-01-03 2021-03-31 ハーマン インターナショナル インダストリーズ インコーポレイテッド ユーザに方向付けられた個人情報アシスタント
US10650368B2 (en) * 2016-01-15 2020-05-12 Ncr Corporation Pick list optimization method
US10489589B2 (en) * 2016-11-21 2019-11-26 Cylance Inc. Anomaly based malware detection

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5166755A (en) 1990-05-23 1992-11-24 Nahum Gat Spectrometer apparatus
WO1992018846A1 (en) * 1991-04-17 1992-10-29 Bemis Manufacturing Company Method and apparatus for data point analysis
US5546475A (en) * 1994-04-29 1996-08-13 International Business Machines Corporation Produce recognition system
EP0727760A3 (en) * 1995-02-17 1997-01-29 Ibm Product size detection system
US5649070A (en) * 1995-02-17 1997-07-15 International Business Machines Corporation Learning system with prototype replacement
US6069696A (en) * 1995-06-08 2000-05-30 Psc Scanning, Inc. Object recognition system and method
CA2179338C (en) * 1995-08-07 2000-04-25 Gordon Albert Thomas Apparatus and method for spectroscopic product recognition and identification
US6345109B1 (en) * 1996-12-05 2002-02-05 Matsushita Electric Industrial Co., Ltd. Face recognition-matching system effective to images obtained in different imaging conditions
US6075594A (en) * 1997-07-16 2000-06-13 Ncr Corporation System and method for spectroscopic product recognition and identification

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009180653A (ja) * 2008-01-31 2009-08-13 Musashino Corp 商品判別システム
JP2012243126A (ja) * 2011-05-20 2012-12-10 Yasuhiko Mizoguchi 商品情報検索システム、商品情報検索方法及び商品情報検索プログラム
JP2021103551A (ja) * 2013-06-26 2021-07-15 アマゾン テクノロジーズ インコーポレイテッド 物品の相互作用及び移動検出方法
US12002009B2 (en) 2013-06-26 2024-06-04 Amazon Technologies, Inc. Transitioning items from a materials handling facility
JP2014232538A (ja) * 2014-07-07 2014-12-11 東芝テック株式会社 情報処理装置及びプログラム
JP2019046236A (ja) * 2017-09-04 2019-03-22 株式会社東芝 学習装置、情報処理装置、学習方法およびプログラム

Also Published As

Publication number Publication date
EP1073000A3 (en) 2005-01-05
US6529855B1 (en) 2003-03-04
EP1073000A2 (en) 2001-01-31

Similar Documents

Publication Publication Date Title
US6606579B1 (en) Method of combining spectral data with non-spectral data in a produce recognition system
CN107767590A (zh) 物品自动识别商用条码电子秤及物品自动识别方法
WO2019237729A1 (zh) 一种购物结算方法、装置和用户终端
CA2179338C (en) Apparatus and method for spectroscopic product recognition and identification
US6075594A (en) System and method for spectroscopic product recognition and identification
US9412050B2 (en) Produce recognition method
KR100190737B1 (ko) 객체 인식 장치 및 방법
JP2001092975A (ja) 商品認識システムおよび商品認識方法
Bolle et al. Veggievision: A produce recognition system
US5377095A (en) Merchandise analysis system with sales data table and various functions for predicting the sale by item
US6219438B1 (en) Produce indentifier using barcode scanner and wavelet image processing and having compensation for dirt accumulated on viewing window
US20240013633A1 (en) Identifying barcode-to-product mismatches using point of sale devices
US20110129117A1 (en) System and method for identifying produce
CN107610379A (zh) 一种购物识别方法及购物车识别装置
US6530521B1 (en) Produce recognition apparatus and method of obtaining information about produce items
JP2000030067A (ja) 物体認識方法
Dai et al. A deep learning-based object detection scheme by improving YOLOv5 for sprouted potatoes datasets
US6471125B1 (en) Method of tracking produce selection data
Gothai et al. Design features of grocery product recognition using deep learning
US6409085B1 (en) Method of recognizing produce items using checkout frequency
US11748787B2 (en) Analysis method and system for the item on the supermarket shelf
US6577983B1 (en) Produce recognition method
US6412694B1 (en) Produce recognition system and method including weighted rankings
US6658138B1 (en) Produce texture data collecting apparatus and method
Zhao et al. A novel hyperspectral feature-extraction algorithm based on waveform resolution for raisin classification