JP2013156940A - 情報処理装置、店舗システム及びプログラム - Google Patents

Abstract

【課題】商品の全部または一部の検出を確実に行う。
【解決手段】情報処理装置は、撮像手段と、前記撮像手段が撮像した背景画像を取り込む背景取込手段と、前記撮像手段が撮像した物体の画像を含む画像を取り込む取込手段と、前記背景画像と前記画像との差分に基づいて、前記物体の画像の全部または一部の検出を行う検出手段と、前記物体の画像と、辞書に登録された各登録商品の基準画像とが、どの程度類似しているかを示す類似度を算出する類似度算出手段と、前記類似度に基づいて前記物体に対応する前記登録商品の候補を抽出する商品候補抽出手段と、を備える。
【選択図】図９

Description

本発明の実施形態は、情報処理装置、店舗システム及びプログラムに関する。

従来、対象となる物品（オブジェクト）をイメージセンサデバイスにより撮像した画像データから当該対象物品の特徴量を抽出し、予め用意された辞書における照合用のデータ（特徴量）と比較して類似度を算出し、算出した類似度に応じて当該物品の種別等を認識（検出）する一般物体認識に係る技術が存在している。また、この一般物体認識に係る技術を、青果品等の商品の識別に用いて、オブジェクト認識された商品を売上登録する店舗システムが提案されている。

しかしながら、フレーム画像に含まれるオブジェクト認識対象となる物品（オブジェクト）の抽出は、フレーム画像から輪郭線等を抽出するパターンマッチング技術等を用いた場合、イメージセンサデバイスにより撮像した画像中の背景画像が大きく変化すると、認識対象となる物品（オブジェクト）を正しく抽出できない、という問題が生じる。また、実際の商品読取装置（情報処理装置）やチェックアウトシステム（店舗システム）の利用環境においてオブジェクト認識の操作を実施する際、オブジェクト認識対象となる物品（オブジェクト）を含む撮像画像内に映りこむ背景画像が変化することが容易に考えられる。

実施形態の情報処理装置は、撮像手段と、前記撮像手段が撮像した背景画像を取り込む背景取込手段と、前記撮像手段が撮像した物体の画像を含む画像を取り込む取込手段と、前記背景画像と前記画像との差分に基づいて、前記物体の画像の全部または一部の検出を行う検出手段と、前記物体の画像と、辞書に登録された各登録商品の基準画像とが、どの程度類似しているかを示す類似度を算出する類似度算出手段と、前記類似度に基づいて前記物体に対応する前記登録商品の候補を抽出する商品候補抽出手段と、を備える。

実施形態の店舗システムは、撮像手段と、前記撮像手段が撮像した背景画像を取り込む背景取込手段と、前記撮像手段が撮像した物体の画像を含む画像を取り込む取込手段と、前記背景画像と前記画像との差分に基づいて、前記物体の画像の全部または一部の検出を行う検出手段と、前記物体の画像と、辞書に登録された各登録商品の基準画像とが、どの程度類似しているかを示す類似度を算出する類似度算出手段と、前記類似度に基づいて前記物体に対応する前記登録商品の候補を抽出する商品候補抽出手段と、前記登録商品の候補が一の場合は当該登録商品を、または、前記登録商品の候補が複数の場合は選択された一の登録商品を、売上登録処理する売上登録処理手段と、を備える。

実施形態のプログラムは、コンピュータを、撮像手段が撮像した背景画像を取り込む背景取込手段と、前記撮像手段が撮像した物体の画像を含む画像を取り込む取込手段と、前記背景画像と前記画像との差分に基づいて、前記物体の画像の全部または一部の検出を行う検出手段と、前記物体の画像と、辞書に登録された各登録商品の基準画像とが、どの程度類似しているかを示す類似度を算出する類似度算出手段と、前記類似度に基づいて前記物体に対応する前記登録商品の候補を抽出する商品候補抽出手段と、として機能させる。

図１は、実施形態に係るチェックアウトシステム（店舗システム）の一例を示す斜視図である。 図２は、ＰＯＳ端末及び商品読取装置のハードウェア構成を示すブロック図である。 図３は、ＰＬＵファイルのデータ構成を例示する概念図である。 図４は、ＰＯＳ端末及び商品読取装置の機能構成を示すブロック図である。 図５は、画像取込部によって取り込まれたフレーム画像の一例を示す図である。 図６は、確定画面の一例を示す図である。 図７は、確認画面の一例を示す図である。 図８は、商品候補のイラスト画像が表示された画面例を示す図である。 図９は、商品読取装置が実行する商品識別処理の手順を示すフローチャートである。 図１０は、ＰＯＳ端末が実行する売上登録処理の手順を示すフローチャートである。 図１１は、セルフＰＯＳの構成を示す外観斜視図である。 図１２は、セルフＰＯＳのハードウェア構成を示すブロック図である。

以下では、チェックアウトシステムを例に本実施形態に係る情報処理装置、店舗システム及びプログラムについて、図面を参照して説明する。店舗システムは、一取引に係る商品の登録、精算を行うＰＯＳ端末を備えるチェックアウトシステム（ＰＯＳシステム）等である。本実施形態は、スーパーマーケット等の店舗に導入されたチェックアウトシステムへの適用例である。

図１は、チェックアウトシステム１の一例を示す斜視図である。図１に示すように、チェックアウトシステム１は、商品に関する情報を読み取る商品読取装置１０１と、一取引に係る商品の登録、精算を行うＰＯＳ端末１１とを備える。以下では、商品読取装置１０１を本実施形態にかかる情報処理装置として適用する例について説明する。

ＰＯＳ端末１１は、チェックアウト台４１上のドロワ２１上面に載置されている。ドロワ２１は、ＰＯＳ端末１１によって開放動作の制御を受ける。ＰＯＳ端末１１の上面には、オペレータ（店員）によって押下操作されるキーボード２２が配置されている。キーボード２２を操作するオペレータから見てキーボード２２よりも奥側には、オペレータに向けて情報を表示する表示デバイス２３が設けられている。表示デバイス２３は、その表示面２３ａに情報を表示する。表示面２３ａには、タッチパネル２６が積層されている。表示デバイス２３よりもさらに奥側には、顧客用表示デバイス２４が回転可能に立設されている。顧客用表示デバイス２４は、その表示面２４ａに情報を表示する。なお、図１に示す顧客用表示デバイス２４は、表示面２４ａを図１中手前側に向けているが、表示面２４ａが図１中奥側に向くように顧客用表示デバイス２４を回転させることによって、顧客用表示デバイス２４は顧客に向けて情報を表示する。

ＰＯＳ端末１１が載置されているチェックアウト台４１とＬ字を形成するようにして、横長テーブル状のカウンタ台１５１が配置されている。カウンタ台１５１の上面には、荷受け面１５２が形成されている。荷受け面１５２には、商品Ｇを収納する買物カゴ１５３が載置される。買物カゴ１５３は、顧客によって持ち込まれる第１の買物カゴ１５３ａと、第１の買物カゴ１５３ａから商品読取装置１０１を挟んだ位置に載置される第２の買物カゴ１５３ｂとに分けて考えることができる。なお、買物カゴ１５３は、いわゆるカゴ形状のものに限るものではなく、トレー等であってもよい。また、買物カゴ１５３（第２の買物カゴ１５３ｂ）は、いわゆるカゴ形状のものに限らず、箱状や袋状等であってもよい。

カウンタ台１５１の荷受け面１５２には、ＰＯＳ端末１１とデータ送受信可能に接続された商品読取装置１０１が設置されている。商品読取装置１０１は、薄型矩形形状のハウジング１０２を備える。ハウジング１０２の正面には読取窓１０３が配置されている。ハウジング１０２の上部には、表示・操作部１０４が取り付けられている。表示・操作部１０４には、タッチパネル１０５が表面に積層された表示デバイス１０６が設けられている。表示デバイス１０６の右隣にはキーボード１０７が配設されている。キーボード１０７の右隣には、図示しないカードリーダのカード読取溝１０８が設けられている。オペレータから見て表示・操作部１０４の裏面左奥側には、顧客に情報を提供するための顧客用表示デバイス１０９が設置されている。

このような商品読取装置１０１は、商品読取部１１０（図２参照）を備えている。商品読取部１１０は、読取窓１０３の奥側に撮像部１６４（図２参照）を配置している。

顧客によって持ち込まれた第１の買物カゴ１５３ａには、一取引に係る商品Ｇが収納されている。第１の買物カゴ１５３ａ内の商品Ｇは、商品読取装置１０１を操作するオペレータにより第２の買物カゴ１５３ｂに移動される。この移動過程で、商品Ｇが商品読取装置１０１の読取窓１０３に向けられる。この際、読取窓１０３内に配置された撮像部１６４（図２参照）は商品Ｇを撮像する。

商品読取装置１０１では、撮像部１６４により撮像された画像に含まれる商品Ｇが、後述するＰＬＵファイルＦ１（図３参照）に登録されたどの商品に対応するかを指定させるための画面を表示・操作部１０４に表示し、指定された商品の商品ＩＤをＰＯＳ端末１１に通知する。ＰＯＳ端末１１では、商品読取装置１０１から通知される商品ＩＤに基づき、当該商品ＩＤに対応する商品の商品分類、商品名、単価等の売上登録に係る情報を、売上マスタファイル（図示しない）等に記録して売上登録を行う。

図２は、ＰＯＳ端末１１及び商品読取装置１０１のハードウェア構成を示すブロック図である。ＰＯＳ端末１１は、情報処理を実行する情報処理部としてのマイクロコンピュータ６０を備える。マイクロコンピュータ６０は、各種演算処理を実行し各部を制御するＣＰＵ（Central Processing Unit）６１に、ＲＯＭ（Read Only Memory）６２とＲＡＭ（Random Access Memory）６３とがバス接続されて構成されている。

ＰＯＳ端末１１のＣＰＵ６１には、前述したドロワ２１、キーボード２２、表示デバイス２３、タッチパネル２６、顧客用表示デバイス２４がいずれも各種の入出力回路（いずれも図示せず）を介して接続されている。これらは、ＣＰＵ６１による制御を受ける。

キーボード２２は、「１」、「２」、「３」・・・等の数字や「×」という乗算の演算子が上面に表示されているテンキー２２ｄ、仮締めキー２２ｅ、及び締めキー２２ｆを含む。

ＰＯＳ端末１１のＣＰＵ６１には、ＨＤＤ（Hard Disk Drive）６４が接続されている。ＨＤＤ６４には、プログラムや各種ファイルが記憶されている。ＨＤＤ６４に記憶されているプログラムや各種ファイルは、ＰＯＳ端末１１の起動時に、その全部又は一部がＲＡＭ６３にコピーされてＣＰＵ６１により実行される。ＨＤＤ６４に記憶されているプログラムの一例は、商品販売データ処理用のプログラムＰＲである。ＨＤＤ６４に記憶されているファイルの一例は、ストアコンピュータＳＣから配信されて格納されているＰＬＵファイルＦ１である。

ＰＬＵファイルＦ１は、店舗に陳列して販売する商品Ｇの各々について、商品Ｇの売上登録にかかる情報と、その商品Ｇの画像との関連付けが設定された商品ファイルである。

図３は、ＰＬＵファイルＦ１のデータ構成を例示する概念図である。図３に示すように、ＰＬＵファイルＦ１は、商品Ｇごとに、ユニークに割り当てられた商品ＩＤ、商品Ｇが属する商品分類、商品名、単価等の商品に関する情報と、その商品を撮像した商品画像（基準画像）と、その商品を示すイラスト画像とを、その商品Ｇの商品情報として格納するファイルである。尚、商品画像は、類似度の判定に用いられる商品の撮像画像（写真）である。なお、ＰＬＵファイルＦ１は、後述する接続インターフェース６５を介し、商品読取装置１０１が読み出し可能に構成されている。

なお、ＰＬＵファイルＦ１のデータ構成は図３の例に限らず、例えば、商品画像から読み取られる色合いや表面の凹凸状況等の特徴量を、各商品について格納する形態としてもよい。

図２に戻り、ＰＯＳ端末１１のＣＰＵ６１には、ストアコンピュータＳＣとデータ通信を実行するための通信インターフェース２５が入出力回路（図示せず）を介して接続されている。ストアコンピュータＳＣは、店舗のバックヤード等に設置されている。ストアコンピュータＳＣのＨＤＤ（図示せず）には、ＰＯＳ端末１１に配信されるＰＬＵファイルＦ１が格納されている。

さらに、ＰＯＳ端末１１のＣＰＵ６１には、商品読取装置１０１との間でデータ送受信を可能にする接続インターフェース６５が接続されている。接続インターフェース６５には、商品読取装置１０１が接続されている。また、ＰＯＳ端末１１のＣＰＵ６１には、レシート等に印字を行うプリンタ６６が接続されている。ＰＯＳ端末１１は、ＣＰＵ６１の制御の下、一取引の取引内容をレシートに印字する。

商品読取装置１０１も、マイクロコンピュータ１６０を備える。マイクロコンピュータ１６０は、ＣＰＵ１６１にＲＯＭ１６２とＲＡＭ１６３とがバス接続されて構成されている。ＲＯＭ１６２には、ＣＰＵ１６１によって実行されるプログラムが記憶されている。ＣＰＵ１６１には、撮像部１６４、音声出力部１６５が各種の入出力回路（いずれも図示せず）を介して接続されている。撮像部１６４、音声出力部１６５は、ＣＰＵ１６１によって動作が制御される。表示・操作部１０４は接続インターフェース１７６を介して、商品読取部１１０及びＰＯＳ端末１１に接続されている。表示・操作部１０４は、商品読取部１１０のＣＰＵ１６１、ＰＯＳ端末１１のＣＰＵ６１によって動作が制御される。

撮像部１６４は、カラーＣＣＤイメージセンサやカラーＣＭＯＳイメージセンサ等のイメージセンサ（図示せず）とＬＥＤなどの光源（図示せず）とを有しており、ＣＰＵ１６１の制御の下で読取窓１０３からの撮像を行う撮像手段である。例えば撮像部１６４では３０ｆｐｓの動画像の撮像を行う。撮像部１６４が所定のフレームレートで順次撮像したフレーム画像（撮像画像）はＲＡＭ１６３に保存される。

なお、本実施形態においては、詳細は後述するが、背景のフレーム画像と、商品Ｇを含むフレーム画像との差分から売上登録のために読取窓１０３に向けられた商品Ｇを検出するため、撮像部１６４の撮像方向は、背景の変化が少ない方向（例えば、上方向や下方向など）が好ましい。

「背景変化が少ない方向」とは、例えば、商品読取装置１０１の読取窓１０３内に撮像部１６４を所定の角度をつけて配置し、人の出入りが少ない、すなわち撮像部１６４にて撮像した際に変化が少ない特定の方向を読取方向とする。その他、例えば、撮像部１６４をカウンタ台１５１上面の荷受け面１５２に設け、鉛直上向き方向を撮像部１６４の読取方向とした場合や、例えば、撮像部１６４をカウンタ台１５１上面の荷受け面１５２に向けて鉛直下向き方向を読取方向とした場合等が想定される。

音声出力部１６５は、予め設定された警告音等を発生するための音声回路とスピーカ等である。音声出力部１６５は、ＣＰＵ１６１の制御の下で警告音や音声による報知を行う。

さらに、ＣＰＵ１６１には、ＰＯＳ端末１１の接続インターフェース６５に接続して、ＰＯＳ端末１１との間でデータ送受信を可能にする接続インターフェース１７５が接続されている。また、ＣＰＵ１６１は、接続インターフェース１７５を介して、表示・操作部１０４との間でデータ送受信を行う。

次に、ＣＰＵ１６１、ＣＰＵ６１がプログラムを実行することで実現されるＣＰＵ１６１、ＣＰＵ６１の機能構成について、図４を参照して説明する。

図４は、ＰＯＳ端末１１及び商品読取装置１０１の機能構成を示すブロック図である。図４に示すように、商品読取装置１０１のＣＰＵ１６１は、ＲＯＭ１６２が格納するプログラムを実行することにより、背景取込手段および取込手段である画像取込部５１、検出手段である商品検出部５２、類似度算出手段である類似度算出部５３、商品候補抽出手段である類似度判定部５４、確定報知部５５、商品候補提示部５６、入力受付部５７、情報出力部５８としての機能を備える。また、同様に、ＰＯＳ端末１１のＣＰＵ６１は、プログラムＰＲを実行することにより、売上登録部６１１としての機能を備える。

画像取込部５１は、撮像部１６４に撮像オン信号を出力して撮像部１６４に撮像動作を開始させる。画像取込部５１は、撮像動作開始後に撮像部１６４が撮像してＲＡＭ１６３に保存されたフレーム画像を順次取り込む。画像取込部５１によるフレーム画像の取り込みは、ＲＡＭ１６３に保存された順に行われる。

図５は、画像取込部５１によって取り込まれたフレーム画像の一例を示す図である。図５に示すように、オペレータが読取窓１０３に商品Ｇをかざすと、撮像部１６４の読取領域Ｒには商品Ｇの全部または一部が撮影される。

ところで、撮像部１６４の光源の近く、すなわち読取窓１０３の近くに商品Ｇ（オブジェクト）が位置していない場合、撮像部１６４による撮影画像は明度０かそれに近い状態となる。そして、読取窓１０３に認識させたい商品Ｇ（オブジェクト）を近づけることにより、光源からの光が商品Ｇ（オブジェクト）に反射するので撮像部１６４による撮影画像の明度が明るく変化する。

画像取込部５１は、このような明度変化（色の属性の変化）を検知し、明度が所定の基準値を超えた場合に、オブジェクト認識処理を実行するオブジェクト認識エンジン（商品検出部５２、類似度算出部５３、類似度判定部５４、確定報知部５５、商品候補提示部５６、入力受付部５７）を起動させる。これにより、後述するオブジェクト認識処理が不要の際のＣＰＵ負荷を抑制することができる。

なお、商品読取装置１０１の設置環境によっては、商品Ｇ（オブジェクト）がない状態での撮影画像にはばらつきが生じることがある。そこで、不要な外乱による影響による不要なオブジェクト認識処理によりＣＰＵ負荷を増やすことの無いように、オブジェクト認識エンジン（商品検出部５２、類似度算出部５３、類似度判定部５４、確定報知部５５、商品候補提示部５６、入力受付部５７）を動作させる明度の基準値を制御・設定する必要がある。

なお、色の属性としては、色の明るさを表す明度の他に、色味の強さを表す彩度を用いるようにしてもよい。

商品検出部５２は、画像取込部５１により取り込まれたフレーム画像に含まれる商品Ｇの全部または一部を、パターンマッチング技術等を用いて検出する。具体的には、取り込まれたフレーム画像を２値化した画像から輪郭線等を抽出する。次いで、前回のフレーム画像から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較した差分に基づいて、売上登録のために読取窓１０３に向けられた商品を検出する。

なお、前回のフレーム画像とは、例えば、オブジェクト認識エンジン（商品検出部５２、類似度算出部５３、類似度判定部５４、確定報知部５５、商品候補提示部５６、入力受付部５７）を起動させる前、すなわちオブジェクト認識処理の起動前に、画像取込部５１によって取り込まれた背景のフレーム画像である。このようなオブジェクト認識アプリケーション起動前に前回のフレーム画像として背景のフレーム画像を自動的に取得することは、背景が比較的余り変わらない環境の場合（例えば、撮像部１６４がカウンタ台１５１上面の荷受け面１５２に向けて鉛直下向き方向を読取方向として取り付けられている場合など）での利用に有用である。なお、環境には、照明（周囲と商品読取装置１０１自体の照明）の状態と、利用者の服装などが含まれる。

また、前回のフレーム画像として、前回のオブジェクト認識処理の実行直後に、画像取込部５１によって取り込まれた背景のフレーム画像を用いるようにしても良い。このようにすることは、背景が比較的変わりやすい環境や、セルフレジなどのようにお客様の服装や商品読取装置１０１との距離などがさまざまに変わることが予測されるような場合での利用に有用である。

さらに、利用者が任意のタイミングで前回のフレーム画像を背景として取得するようにしても良い。任意のタイミングで前回のフレーム画像を背景として取得するケースとしては、様々な場合が考えられるが、例えば辞書であるＰＬＵファイルＦ１の作成時などに有効である。

なお、商品を検出する別の方法としては、取り込まれたフレーム画像から肌色領域の有無を検出する。次いで、肌色領域が検出された場合、すなわち、店員の手が検出された場合は、この肌色領域の近傍において上述した輪郭線の検出を行うことで、店員の手が把持していると想定される商品の輪郭抽出を試みる。この時、手の形状を示す輪郭と、手の輪郭の近傍にそれ以外の物体の輪郭とが検出された場合、この物体の輪郭から商品を検出する。

類似度算出部５３は、撮像部１６４により撮像された商品Ｇの全部または一部の画像から、商品Ｇの色合いや表面の凹凸状況等の表面の状態を特徴量として読み取る。なお、類似度算出部５３は、処理時間の短縮を図るため、商品Ｇの輪郭や大きさは考慮しないものとする。

また、類似度算出部５３は、ＰＬＵファイルＦ１に登録された各商品（以下、登録商品という）の商品画像から、当該登録商品の色合いや表面の凹凸状況等の表面の状態を特徴量として読み取り、商品Ｇの特徴量とそれぞれ比較することで、商品ＧとＰＬＵファイルＦ１に登録された商品との類似度を算出する。ここで、類似度は、ＰＬＵファイルＦ１に記憶されている各商品の商品画像を１００％＝「類似度：１．０」とした場合に、商品Ｇの全部または一部の画像がどの程度類似しているかを示すものである。なお、例えば、色合いと表面の凹凸状況とでは、重み付けを変えて類似度を算出してもよい。

このように画像中に含まれる物体を認識することは一般物体認識（generic object recognition）と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６ [平成２２年８月１０日検索]，インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >

また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，[平成２２年８月１０日検索]，インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >

なお、撮像された商品Ｇの画像と、ＰＬＵファイルＦ１に登録された登録商品の商品画像との類似度の算出方法は特に問わないものとする。例えば、撮像された商品Ｇの画像と、ＰＬＵファイルＦ１に登録された各登録商品との類似度を絶対評価として算出してもよいし、相対評価として算出してもよい。

類似度を絶対評価として算出する場合、撮像された商品Ｇの画像と、ＰＬＵファイルＦ１に登録された各登録商品とを１対１で比較し、この比較の結果導出される類似度をそのまま採用すればよい。また、類似度を相対評価として算出する場合、ＰＬＵファイルＦ１に５つの登録商品（商品ＧＡ、ＧＢ、ＧＣ、ＧＤ、ＧＥ）が登録されていたとすると、撮像された商品Ｇは、商品ＧＡに対して類似度が０．６、商品ＧＢに対しては類似度が０．１、商品ＧＣに対しては類似度が０．１、商品ＧＤに対しては類似度が０．１、商品ＧＥに対しては類似度が０．１等、各登録商品との類似度の総和が１．０（１００％）となるよう算出すればよい。

類似度判定部５４は、画像取込部５１が取り込んだフレーム画像ごとに、商品Ｇの画像と、ＰＬＵファイルＦ１に登録されている商品画像との類似度を比較する。本実施形態では、登録商品の商品画像と商品Ｇの画像との類似度について複数の条件が段階的に設けられており、類似度判定部５４は、満たされる条件に応じて登録商品の確定あるいは商品の候補の選定を行う。類似度に関する条件は特に限定されるものではないが、以下では条件ａ〜ｃを用いる場合について説明する。

ここで、条件ａおよび条件ｂは、本実施形態に係る第１の条件であり、撮像部１６４が撮像した商品ＧをＰＬＵファイルＦ１に登録された登録商品のうち一の商品として確定するための条件である。また、条件ｃは、本実施形態に係る第２の条件であり、ＰＬＵファイルＦ１に登録された登録商品から、撮像部１６４が撮像した商品Ｇの候補を抽出するための条件である。

類似度判定部５４は、条件ａまたは条件ｂを満たす登録商品を、撮像部１６４が撮像した商品Ｇに一対一で対応する商品（以下、確定商品という）であると判定（確定）する。また、類似度判定部５４は、条件ｃを満たす登録商品については、確定商品ではなく、撮像部１６４が撮像した商品Ｇの候補（以下、商品候補という）であると判定する。そして、ＰＬＵファイルＦ１に登録された複数の登録商品から条件ｃを満たす登録商品を抽出することにより、商品Ｇに対する商品候補を抽出する。

条件ａ〜ｃは類似度に応じて段階的に設定されればその詳細は特に限定されるものではないが、一例として、予め設定された複数の閾値によって条件ａ〜ｃを設けることができる。ここでは、第１閾値〜第３閾値によって条件ａ〜ｃを設定する場合について説明する。なお、第１〜３閾値の大小関係は、第１閾値＞第２閾値＞第３閾値とする。

類似度判定部５４は、登録商品との類似度が予め定められた第１閾値（例えば９０％）以上となった回数をカウントし、この回数が所定回数以上となった場合に条件ａが満たされたと判定する。尚、第１閾値を誤判定が無いよう十分に高く設定した場合には、所定回数を１回として条件ａを判定してもよい。

また、類似度判定部５４は、登録商品との類似度が第１閾値（例えば９０％）未満、かつ、第１閾値より小さい第２閾値（例えば７５％）以上となった場合に条件ｂが満たされたと判定する。そして、条件ｂを満たした登録商品は、確定商品ではあるがオペレータによる確認操作を要すると判定する。なお、登録商品との類似度が第１閾値（例えば９０％）未満、かつ、第１閾値より小さい第２閾値（例えば７５％）以上となった回数をカウントし、この回数が所定回数以上となった場合に条件ｂが満たされたと判定してもよい。

さらに、類似度判定部５４は、登録商品との類似度が第２閾値（例えば７５％）未満、かつ、第２閾値より小さい第３閾値（例えば１０％）以上である場合に、条件ｃが満たされたと判定する。なお、さらには登録商品との類似度が第２閾値（例えば７５％）未満、かつ、第２閾値より小さい第３閾値（例えば１０％）以上となった回数をカウントし、この回数が所定回数以上となった場合に条件ｃが満たされたと判定してもよい。

なお、各条件ａ〜ｃは、類似度の大きさ、判定回数等に応じて適宜設定可能であり、上述した例に限定されるものではない。また、条件ａ〜ｃの判断に用いる所定回数はそれぞれ条件毎に異なる回数を設けるものであってもよい。

確定報知部５５は、撮像部１６４によって撮像された商品が、条件ａまたは条件ｂを満たした登録商品であるとして一意的に確定されたことを、画像出力や音声出力等によってオペレータや客に報知する。

より詳細には、確定報知部５５は、条件ａを満たした登録商品が、撮像部１６４によって撮像された商品（確定商品）として一意的に確定されたことを示す確定画面７１（図６参照）を表示デバイス１０６に表示させる。

図６は、確定画面７１の一例を示す図である。条件ａを満たす登録商品があった場合に、確定報知部５５は読取領域Ｒ（図５参照）の撮像画像の表示を停止し、確定商品に対応するイラスト画像Ｇ１および商品名「にんじん」をＰＬＵファイルＦ１から読み出して、確定画面７１に表示する。また、確定報知部５５は、ＰＬＵファイルＦ１から読み出した確定商品の商品名、商品価格（単価）を、商品名表示領域８１、価格表示領域８２にそれぞれ表示する。尚、確定報知部５５は、イラスト画像Ｇ１の代わりに、ＰＬＵファイルＦ１から読み出した商品画像（写真）を表示してもよい。

また、確定報知部５５は、この確定画面７１の表示のタイミングに合わせて、オブジェクト認識が十分な信頼性を持つ状態で確定したとして、従来のバーコード読み取りと同等の音声を鳴動させることで、認識が正常終了しデータが確定したことを知らせる。

また、確定報知部５５は、この確定画面７１の表示のタイミングに合わせて、ＰＬＵファイルＦ１から読み出した商品名等、確定商品に関する情報を音声出力部１６５に出力する。音声出力部１６５は、入力された情報を出力することにより、確定商品を示す情報をオペレータや客に報知する。

また、確定報知部５５は、条件ｂを満たした登録商品（確定商品）が、撮像部１６４によって撮像された商品Ｇであるか否かの最終確認操作を受付ける確認画面７２（図７参照）を表示デバイス１０６に表示させる。

図７は、確認画面７２の一例を示す図である。条件ｂを満たす登録商品があった場合に、確定報知部５５は確定商品に対応するイラスト画像Ｇ１をＰＬＵファイルＦ１から読み出して、確認画面７２に表示する。また、確定報知部５５は、ＰＬＵファイルＦ１から読み出した確定商品の商品名を用いて、読み取られた商品Ｇがイラスト画像Ｇ１の商品であるか否かを問うメッセージを「にんじんですか？」等と表示する。また、確認画面７２には、「はい／いいえ」等のボタンがタッチパネル１０５に対するタッチ操作によって選択操作可能に設けられる。

このように、確認画面７２においては、類似度判定の結果、１つの商品Ｇに対して唯一に選別された登録商品（確定商品）の商品名や商品画像が示され、商品Ｇと登録商品とが一対一の関係を持って表示される。従って、確認画面７２は、条件ｂを満たす登録商品が撮像部１６４によって撮像された商品Ｇとして一意的に確定されたことを報知する画面である。

本実施形態では、このように撮像された商品が一意的に確定した場合に、撮像画像に替えて確定商品のイラスト画像を表示する。従って、オペレータは商品の識別が確定したことを直感的に認識することができ、かつ、識別された商品がどの商品であるかを一目で認識することができる。

なお、確定報知部５５は、確認画面７２が表示されるタイミングに合わせて、確定商品に関する情報および確認を促す情報を音声出力部１６５に音声出力させるとしてもよいし、確認画面７２では音声出力を行わないとしてもよい。確定画面７１、確認画面７２における音声出力の有無は、適宜設定可能である。

商品候補提示部５６は、条件ｃを満たした登録商品に関する情報を、商品候補として表示デバイス１０６に表示させる。より詳細には、商品候補提示部５６は、条件ｃを満たした登録商品のイラスト画像および商品名をＰＬＵファイルＦ１から読み出し、類似度算出部５３が算出した類似度の高いものから、表示デバイス１０６に順次出力する。表示デバイス１０６は、商品候補提示領域８３（図８参照）において、商品候補のイラスト画像および商品名を類似度の高いものから順に表示する。

図８は、商品候補のイラスト画像Ｇ１、Ｇ２、Ｇ３が表示された画面例を示す図である。図８に示すように、商品候補提示領域８３には、類似度の高い登録商品から順に、商品候補のイラスト画像Ｇ１、Ｇ２、Ｇ３および各商品名が表示される。これらイラスト画像Ｇ１、Ｇ２、Ｇ３はタッチパネル１０５に対する選択操作に応じて選択可能に構成されている。また、商品候補提示領域８３の下部には、商品リストから商品を選択するための選択ボタン８４が設けられており、商品リストから選択された商品は上述した確定商品として処理される。尚、図８では、イラスト画像Ｇ１〜Ｇ３に対応する３つの商品候補が表示された例を示したが、商品候補の数や表示方法は特に限定されるものではない。また、イラスト画像に替えて商品画像（写真）を表示してもよい。

また、商品候補提示部５６は、商品候補提示領域８３が表示されるタイミングに合わせて、複数の候補が有る旨を、音声出力部１６５に音声出力させるようにしてもよいし、商品候補提示領域８３が表示されるタイミングでは音声出力を行わないとしてもよい。

さらに、商品候補提示部５６は、野菜や果物の区別などを容易に判断できるような情報を、音声出力部１６５に音声出力させるようにしてもよい。さらにまた、商品候補提示部５６は、例えば、商品候補提示領域８３に表示される商品が類似性の高い商品（同一カテゴリにおける品種、似たような緑の野菜など）の場合に、選択ボタン８４の存在や自動絞込みなどの情報を、音声出力部１６５に音声出力させるようにしてもよい。

なお、表示デバイス１０６に商品候補のイラスト画像Ｇ１〜Ｇ３が表示されていても、これら商品候補に対する選択操作を受付けない場合には、画像取込部５１による画像取込処理、商品検出部５２による検出処理、および類似度算出部５３による類似度算出処理は継続される。従って、商品候補が選択されない間は、表示デバイス１０６の画面に読取領域Ｒの撮像画像が表示される。

入力受付部５７は、タッチパネル１０５またはキーボード１０７を介して表示デバイス１０６の表示に対応する各種入力操作を受付ける。例えば入力受付部５７は、確認画面７２（図７参照）に対する選択操作に基づいて、表示されたイラスト画像Ｇ１の商品が確定商品であることを最終確認した旨の入力操作（確認操作）を受付ける。尚、確定報知部５５は、入力受付部５７が確認操作を受付けた場合に、上述の確定画面７１を表示デバイス１０６に表示する。

入力受付部５７は、表示デバイス１０６に表示された商品候補のイラスト画像Ｇ１〜Ｇ３（図８参照）の中からいずれか１つのイラスト画像に対する選択操作を受付ける。入力受付部５７は、選択されたイラスト画像の登録商品を、商品Ｇに対する確定商品であるとして受付ける。尚、商品検出部５２が複数の商品Ｇを検出可能である場合には、入力受付部５７は商品候補の中から、複数の商品候補の選択操作を受付けてもよい。尚、確定報知部５５は、入力受付部５７が選択操作を受付けた場合に、受付けた商品候補を確定商品として表示させた確定画面７１を表示デバイス１０６に表示させる。

情報出力部５８は、上述のようにして確定された確定商品について、その商品を示す情報（例えば、商品ＩＤや商品名等）を、接続インターフェース１７５を介してＰＯＳ端末１１に出力する。

尚、情報出力部５８は、タッチパネル１０５又はキーボード１０７を介して別途入力された販売個数を、商品ＩＤ等とともにＰＯＳ端末１１に出力するとしてもよい。また、情報出力部５８がＰＯＳ端末１１に出力する情報としては、情報出力部５８がＰＬＵファイルＦ１から読み出した商品ＩＤを直接通知してもよいし、商品ＩＤを特定することが可能な商品名、または、商品画像、イラスト画像のファイル名を通知してもよいし、その商品ＩＤの格納場所（ＰＬＵファイルＦ１での格納アドレス）をＰＯＳ端末１１に通知してもよい。

ＰＯＳ端末１１の売上登録部６１１は、情報出力部５８から出力された商品ＩＤと販売個数とに基づいて、対応する商品の売上登録を行う。具体的に、売上登録部６１１は、ＰＬＵファイルＦ１を参照して、通知された商品ＩＤ及び当該商品ＩＤに対応する商品分類、商品名、単価等を、販売個数とともに売上マスタファイル等に記録して売上登録を行う。

なお、商品読取装置１０１は、商品に関する情報としてバーコードや二次元コードなどのコードシンボルを光学的に読み取る周知のコードシンボル読取部（図示せず）も備えている。商品読取装置１０１は、コードシンボル読取部でコードシンボルを読み取って得られた番号である商品ＩＤをＰＯＳ端末１１に送信する。商品読取装置１０１は、前述したような商品読取部１１０によるオブジェクト認識処理によって商品に関する情報を読み取るオブジェクト認識処理モードと、コードシンボル読取部によるコードシンボル読取処理によって商品に関する情報を読み取るコードシンボル読取モードと、をキーボード１０７のキー操作などによって切り替えることができる。

商品読取装置１０１がコードシンボル読取モードに設定されている場合のチェックアウトシステム１の動作について簡単に説明する。商品読取装置１０１がコードシンボル読取モードに設定されている場合、ＰＯＳ端末１１は、コードシンボル読取部においてコードシンボルを読み取って得られた番号がＰＬＵファイルＦ１に記憶された商品ＩＤと一致する場合に、その旨を示す信号および当該商品ＩＤに対応する商品の商品分類、商品名、単価等の売上登録に係る情報を商品読取装置１０１に送信する。一方、商品読取装置１０１は、商品ＩＤと一致した旨を示す信号および当該商品ＩＤに対応する商品の売上登録に係る情報を受信すると、例えば短いブザー音の鳴動による“ピッ”という報知音を発するとともに、売上登録に係る情報を表示デバイス１０６に表示する。

ＰＯＳ端末１１は、商品読取装置１０１から通知される商品ＩＤに基づき、当該商品ＩＤに対応する商品の商品分類、商品名、単価等の売上登録に係る情報をＰＬＵファイルＦ１から取得し、売上マスタファイル（図示せず）等に記録して売上登録を行う。

次に、オブジェクト認識処理モードにおけるチェックアウトシステム１の動作について詳細に説明する。先ず、商品読取装置１０１の動作について説明する。図９は、商品読取装置１０１が実行する商品識別処理の手順を示すフローチャートである。図９では、第１閾値を類似度９０％（０．９０）、第２閾値を類似度７５％（０．７５）、第３閾値を類似度１０％（０．１０）と設定した場合について説明するが、各閾値はこれらに限定されるものではない。

ＰＯＳ端末１１による商品登録の開始等に応じて処理が開始されると、画像取込部５１は、撮像部１６４に撮像オン信号を出力して撮像部１６４による撮像を開始し（ステップＳ１１）、撮像部１６４が撮像してＲＡＭ１６３に保存された背景画像データを取り込む（ステップＳ１２）。

このようにオブジェクト認識エンジン（商品検出部５２、類似度算出部５３、類似度判定部５４、確定報知部５５、商品候補提示部５６、入力受付部５７）を起動させる前に、背景のフレーム画像を取得することで、現時点における照明（周囲と商品読取装置１０１自体の照明）の状態や利用者の服装などを含む背景を取得することができる。

次いで、画像取込部５１は、撮像部１６４が撮像してＲＡＭ１６３に保存されたフレーム画像（撮像画像）を取り込む（ステップＳ１３）。

次いで、画像取込部５１は、画像取込部５１が取り込んだフレーム画像の色の属性（例えば、明度）を取得し（ステップＳ１４）、色の属性（例えば、明度）が所定の基準値を超えている場合には（ステップＳ１５：Ｙｅｓ）、売上登録のために読取窓１０３に商品Ｇが向けられたとして、オブジェクト認識処理を実行するオブジェクト認識エンジン（商品検出部５２、類似度算出部５３、類似度判定部５４、確定報知部５５、商品候補提示部５６、入力受付部５７）を起動させ（ステップＳ１６）、ステップＳ１７に進む。

なお、色の属性（例えば、明度）の基準値は、動的に変化させても良い。例えば、商品読取装置１０１の前に商品Ｇが置きっぱなしになっているような場合には、色の属性（例えば、明度）に変化がないので、所定時間経過後（例えば２秒後）に現在の明度以上に基準値を設定すれば、置きっぱなしになっている商品Ｇについての認識処理は実行しないことになる。なお、このように基準値を変化させた場合には、次の物体が撮像されたことで明度が変化したことをトリガーにして、元の基準値に戻すようにすれば良い。

次いで、商品検出部５２は、背景のフレーム画像と画像取込部５１が取り込んだフレーム画像との差分に基づいて、画像取込部５１が取り込んだフレーム画像から商品Ｇの全部または一部の検出を行う（ステップＳ１７）。

続いて、類似度算出部５３は、商品Ｇの全部または一部の画像から商品Ｇの特徴量を読み取り、ＰＬＵファイルＦ１に登録された各商品画像の特徴量と比較することで登録商品との類似度を算出する（ステップＳ１８）。

類似度判定部５４は、類似度が９０％以上となる登録商品があるか否かを判定する（ステップＳ１９）。９０％以上となる登録商品が無い場合（ステップＳ１９：Ｎｏ）には、ステップＳ２１に移行する。９０％以上となる登録商品がある場合（ステップＳ１９：Ｙｅｓ）には、同一の登録商品に対する類似度が９０％以上となった回数が所定回数（例えば、３回）となったか否かを判定する（ステップＳ２０）。所定回数に満たない場合（ステップＳ２０：Ｎｏ）は、ステップＳ１２に戻り、画像取込部５１は撮像部１６４により撮像された新たなフレーム画像を取り込む。

所定回数となった場合（ステップＳ２０：Ｙｅｓ）には、確定報知部５５は、確定商品のイラスト画像を含む確定画面７１（図６参照）を表示させるとともに、商品が確定された旨を第１音声および確定商品の商品名を音声通知することにより確定商品を報知する（ステップＳ２７）。第１音声は、商品読取装置１０１がコードシンボル読取モードに設定されている場合における、例えば短いブザー音の鳴動による“ピッ”という商品ＩＤと一致した旨を示す報知音に類する音である。このようにコードシンボル読取モード時における商品ＩＤと一致した旨を示す報知音に類する音とすることで、長年の慣習から確定したことが分かりやすくなっている。なお、コードシンボル読取モードを有さずに、オブジェクト認識処理モードのみの場合であっても、第１音声は、商品読取装置１０１がコードシンボル読取モードに設定されている場合における、例えば“ピッ”という商品ＩＤと一致した旨を示す報知音に類する音としたほうが良い。

また、情報出力部５８は、確定商品とされた登録商品の商品ＩＤ等を、キーボード１０７を介して別途入力された販売個数とともにＰＯＳ端末１１に出力し（ステップＳ２８）、その後はステップＳ２９の処理に移行する。

ステップＳ１９：Ｎｏの場合に、類似度判定部５４は、類似度が７５％以上９０％未満となる登録商品があるか否かを判定する（ステップＳ２１）。類似度がこの範囲内となる登録商品がある場合（ステップＳ２１：Ｙｅｓ）には、その登録商品をオペレータの確認を要する確定商品であると判定し、表示デバイス１０６に確認画面７２を表示させるとともに、商品に関する情報および確認を促す情報を音声通知する（ステップＳ２２）。入力受付部５７は、確認画面７２（図７参照）において「はい」が選択されたか否かを判定する（ステップＳ２３）。「はい」が選択された場合（ステップＳ２３：Ｙｅｓ）にはステップＳ２７に移行し、確定報知部５５は確定画面７１を表示させるとともに、確定商品の商品名を音声通知する。一方、「いいえ」が選択された場合（ステップＳ２３：Ｎｏ）にはステップＳ１２に戻る。

一方、類似度が７５％以上９０％未満となる登録商品が無い場合（ステップＳ２１：Ｎｏ）に、類似度判定部５４は、類似度が１０％以上７５％未満の登録商品があるか否かを判定し、類似度がこの範囲内である登録商品を商品Ｇの商品候補として抽出する（ステップＳ２４）。この範囲内の登録商品が無い場合（ステップＳ２４：Ｎｏ）には、ステップＳ１２に戻る。類似度が１０％以上７５％未満の登録商品がある場合（ステップＳ２４：Ｙｅｓ）には、類似度判定部５４は、該当する登録商品を商品Ｇの商品候補であると判定する。そして、商品候補提示部５６は、商品候補として判定された登録商品のイラスト画像および商品名を、類似度の高い順にソートして商品候補提示領域８３に表示するとともに、複数の候補が有る旨を第２音声で音声通知する（ステップＳ２５）。第２音声は、上述した第１音声とは異なる音声であって、例えば少し長いブザー音の鳴動による“ピピピッ”という音や選択を促す音声である。

なお、複数の候補が有る場合において、商品候補提示部５６は、野菜や果物の区別、同一カテゴリにおける品種、似たような野菜などを容易に判断できるような音声を通知するようにしても良い。例えば、類似性の高い商品（緑の野菜やりんごの品種など）の場合に、選択の絞り込みの補助とすることができる。

入力受付部５７は、登録商品の商品画像に対する選択操作を受付けたか否かを判定する（ステップＳ２６）。選択を受付けた場合（ステップＳ２６：Ｙｅｓ）にはステップＳ２７に移行し、確定報知部５５は確定画面７１を表示させる。一方、選択を受付けない場合（ステップＳ２６：Ｎｏ）にはステップＳ１２に移行する。

ステップＳ２９においてＣＰＵ１６１は、ＰＯＳ端末１１から商品登録の終了通知等による業務終了の有無を判定する。業務を継続する場合（ステップＳ２９：Ｎｏ）、ＣＰＵ１６１は、ステップＳ１２へ処理を戻し、画像取込部５１は、撮像部１６４が撮像してＲＡＭ１６３に保存された背景画像データを取り込んで処理を継続させる。このように前回のオブジェクト認識処理の実行直後に、画像取込部５１によって取り込まれた背景のフレーム画像を用いるようにすることで、背景が比較的変わりやすい環境や、セルフレジなどのようにお客様の服装や商品読取装置１０１との距離などがさまざまに変わることが予測されるような場合においても、商品Ｇの全部または一部の検出を確実に行うことができる。

なお、本実施形態では、ＲＡＭ１６３に記憶される背景画像データは、ステップＳ２８にて、商品読取装置１０１にて商品を特定してＰＯＳ端末１１に商品ＩＤを出力した後は、画像取込部５１によって新たな背景画像データが取り込まれるため、最新のものに更新される。

また、ステップＳ２３にて確認画面７２（図７参照）において「はい」が選択されなかった場合や、ステップＳ２６にて選択操作を受け付けなかった場合においても、ステップＳ１２の処理に戻り、新たな背景画像データが取り込まれるため、ＲＡＭ１６３に記憶される背景画像データは最新のものに更新される。

業務を終了する場合（ステップＳ２９：Ｙｅｓ）、画像取込部５１は、撮像部１６４に撮像オフ信号を出力して撮像部１６４による撮像を終了し（ステップＳ３０）、処理を終了する。

次に、ＰＯＳ端末１１の動作について説明する。図１０は、ＰＯＳ端末１１が実行する売上登録処理の手順を示すフローチャートである。

まず、キーボード２２の操作指示による商品登録の開始等に応じて処理が開始されると、ＣＰＵ６１は、商品読取装置１０１が図９のステップＳ２８で出力した、確定商品の商品ＩＤとその販売個数とを受信する（ステップＳ３１）。次いで、売上登録部６１１は、ステップＳ３１で受信した商品ＩＤ及び販売個数に基づいて、ＰＬＵファイルＦ１から商品種別や単価等を読み出し、商品読取装置１０１で読み取られた商品Ｇの売上を売上マスタファイルに登録する（ステップＳ３２）。続いて、ＣＰＵ６１は、キーボード２２の操作指示による売上登録の終了等による業務終了の有無を判定する（ステップＳ３３）。業務を継続する場合（ステップＳ３３：Ｎｏ）、ＣＰＵ６１は、ステップＳ３１へ再び戻り処理を継続させる。業務を終了する場合（ステップＳ３３：Ｙｅｓ）、ＣＰＵ６１は処理を終了する。

以上のように、本実施形態によれば、撮像部１６４によって撮像された背景画像および撮像部１６４によって撮像された商品Ｇの画像を含む画像を取り込み、背景画像と商品Ｇの画像を含む画像との差分に基づいて、商品Ｇの画像の全部または一部の検出を行い、商品Ｇの画像とＰＬＵファイルＦ１に登録された各登録商品の基準画像とがどの程度類似しているかを示す類似度を算出し、算出された類似度に基づいて商品Ｇに対応する登録商品の候補を抽出する。従って、オブジェクト認識アプリケーション起動前に前回のフレーム画像として背景のフレーム画像を自動的に取得することで、背景が比較的余り変わらない環境の場合（例えば、撮像部１６４がカウンタ台１５１上面の荷受け面１５２に向けて鉛直下向き方向を読取方向として取り付けられている場合など）での利用に有用である。また、前回のオブジェクト認識処理の実行直後に、背景画像を取り込むことで、背景が比較的変わりやすい環境や、セルフレジなどのようにお客様の服装や商品読取装置１０１との距離などがさまざまに変わることが予測されるような場合においても、商品Ｇの全部または一部の検出を確実に行うことができる。

以上、本発明の実施形態を説明したが、上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。上記実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、追加等を行うことができる。また、上記実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

例えば、上記実施形態では、商品読取装置１０１において、商品Ｇを一つずつ撮像する形態について説明したが、一度に撮像する商品Ｇの個数は特に限らず、複数であってもよい。一度に複数の商品Ｇを撮像するような場合には、複数の商品Ｇと登録商品の画像（Ｇ１、Ｇ２、Ｇ３、・・・）との類似度をそれぞれ算出し、算出結果と上記閾値とを比較することにより、確定商品、候補商品を選別すればよい。

また、上述した各表示画面の構成は、図５〜図８の例に限らず、他の要素を表示するための表示領域や操作ボタンを設ける形態としてよい。

また、上記実施形態では、ＰＯＳ端末１１がＰＬＵファイルＦ１を備える形態としたが、これに限らず、商品読取装置１０１がＰＬＵファイルＦ１を備える形態としてもよいし、ＰＯＳ端末１１及び商品読取装置１０１がアクセス可能な外部装置がＰＬＵファイルＦ１を備える形態としてもよい。

また、上記実施形態では、商品読取装置１０１が類似度算出部５３、類似度判定部５４の機能を有するとしたが、これに限らず、ＰＯＳ端末１１が類似度算出部５３、類似度判定部５４の機能を備えて、算出結果や判定結果を商品読取装置１０１に出力する形態としてもよい。

なお、上述では、複数の閾値として、第１〜第３閾値の３つの閾値によって類似度を４段階に判定する例を挙げて説明したが、実施形態はこれに限定されるものではない。３つ以上の閾値を用いてより多段階に判定するとしてもよいし、２つ以下の閾値を用いて判定してもよい。また、各閾値はユーザによって変更可能に設けられていてもよい。また、上述では、第１〜第３閾値、および条件ａ〜ｃを全商品で共通とした例を挙げたが、これに限定されず、登録商品ごとに各閾値や条件がそれぞれ設定されてもよい。

また、上述では、第１の条件を、確認画面７２を表示させる場合（条件ｂ）と確認画面７２を表示させない場合（条件ａ）との２段階に分ける実施形態としたが、このように第１の条件を多段階に分けずともよい。即ち、上述の例に沿って他の例を示すと、いずれの条件ａ、ｂが満たされた場合にも確認画面７２を表示させずに商品を確定する形態としてもよく、また、確認画面７２を表示させるか否かを設定可能としてもよい。

また、上記実施形態では、店舗システムとしてＰＯＳ端末１１と商品読取装置１０１とで構成されるチェックアウトシステム１を適用したがこれに限るものではなく、ＰＯＳ端末１１及び商品読取装置１０１の機能を備えた１台構成の装置に適用するようにしても良い。ＰＯＳ端末１１及び商品読取装置１０１の機能を備えた１台構成の装置としては、スーパーマーケット等の店舗に設置されて用いられるセルフチェックアウト装置（以降、単にセルフＰＯＳと称する）が挙げられる。

ここで、図１１はセルフＰＯＳ２００の構成を示す外観斜視図、図１２はセルフＰＯＳ２００のハードウェア構成を示すブロック図である。尚、以下では、図１および図２に示される同様の構成については同一の符号を付して示し、その重複する説明を省略する。図１１および図１２に示すように、セルフＰＯＳ２００の本体２０２は、タッチパネル１０５が表面に配設された表示デバイス１０６や、商品の種別等を認識（検出）するために商品画像を読み取る商品読取部１１０を備えている。

表示デバイス１０６としては例えば液晶表示器が用いられる。表示デバイス１０６は、客にセルフＰＯＳ２００の操作方法を知らせるための案内画面や、各種の入力画面や、商品読取部１１０で読み込んだ商品情報を表示する登録画面、商品の合計金額や預かり金額、釣銭額等を表示し、支払い方法の選択をする精算画面等を表示する。

商品読取部１１０は、客が商品に付されたコードシンボルを商品読取部１１０の読取窓１０３にかざすことで商品画像を撮像部１６４により読み取るものである。

また、本体２０２の右側にはかごに入った未精算の商品を置くための商品載置台２０３が設けられ、本体２０２の左側には精算済みの商品を置くための商品載置台２０４が設けられ、精算済みの商品を入れるための袋を掛けるための袋掛けフック２０５や、精算済みの商品を袋に入れる前に一時的に置いておくための一時置き台２０６が設けられている。商品載置台２０３および２０４には計量器２０７，２０８がそれぞれ備えられており、精算の前後で商品の重量が同じであることを確認する機能を有している。

また、セルフＰＯＳ２００の本体２０２には、精算用の紙幣の入金や釣り紙幣の受け取りを行うための釣り銭器２０１が設けられている。

このような構成のセルフＰＯＳ２００を店舗システムに適用した場合、セルフＰＯＳ２００が情報処理装置として機能することになる。

また、上記実施形態の各装置で実行されるプログラムは、各装置が備える記憶媒体（ＲＯＭ又は記憶部）に予め組み込んで提供するものとするが、これに限らず、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。さらに、記憶媒体は、コンピュータ或いは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶又は一時記憶した記憶媒体も含まれる。

また、上記実施形態の各装置で実行されるプログラムをインターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよく、インターネット等のネットワーク経由で提供又は配布するように構成してもよい。

１ 店舗システム
５１ 背景取込手段、取込手段
５２ 検出手段
５３ 類似度算出手段
５４ 商品候補抽出手段
１０１，２００ 情報処理装置
１６４ 撮像手段
６１１ 売上登録処理手段
Ｆ１ 辞書

特開２００３−１７３３６９号公報

Claims (6)

1. 撮像手段と、
   前記撮像手段が撮像した背景画像を取り込む背景取込手段と、
   前記撮像手段が撮像した物体の画像を含む画像を取り込む取込手段と、
   前記背景画像と前記画像との差分に基づいて、前記物体の画像の全部または一部の検出を行う検出手段と、
   前記物体の画像と、辞書に登録された各登録商品の基準画像とが、どの程度類似しているかを示す類似度を算出する類似度算出手段と、
   前記類似度に基づいて前記物体に対応する前記登録商品の候補を抽出する商品候補抽出手段と、
   を備える情報処理装置。
2. 前記撮像手段は、前記背景取込手段によって取り込まれる前記背景画像の変化が少ない方向を撮像方向として設けられる、
   請求項１記載の情報処理装置。
3. 前記背景取込手段は、前記検出手段と前記類似度算出手段と前記商品候補抽出手段とを起動させる前に、前記撮像手段が撮像した背景画像を取り込む、
   請求項１または２記載の情報処理装置。
4. 前記背景取込手段は、前記商品候補抽出手段の実行後に、前記撮像手段が撮像した背景画像を取り込む、
   請求項１または２記載の情報処理装置。
5. 撮像手段と、
   前記撮像手段が撮像した背景画像を取り込む背景取込手段と、
   前記撮像手段が撮像した物体の画像を含む画像を取り込む取込手段と、
   前記背景画像と前記画像との差分に基づいて、前記物体の画像の全部または一部の検出を行う検出手段と、
   前記物体の画像と、辞書に登録された各登録商品の基準画像とが、どの程度類似しているかを示す類似度を算出する類似度算出手段と、
   前記類似度に基づいて前記物体に対応する前記登録商品の候補を抽出する商品候補抽出手段と、
   前記登録商品の候補が一の場合は当該登録商品を、または、前記登録商品の候補が複数の場合は選択された一の登録商品を、売上登録処理する売上登録処理手段と、
   を備える店舗システム。
6. コンピュータを、
   撮像手段が撮像した背景画像を取り込む背景取込手段と、
   前記撮像手段が撮像した物体の画像を含む画像を取り込む取込手段と、
   前記背景画像と前記画像との差分に基づいて、前記物体の画像の全部または一部の検出を行う検出手段と、
   前記物体の画像と、辞書に登録された各登録商品の基準画像とが、どの程度類似しているかを示す類似度を算出する類似度算出手段と、
   前記類似度に基づいて前記物体に対応する前記登録商品の候補を抽出する商品候補抽出手段と、
   として機能させるためのプログラム。

Images