JP2016126578A - 情報処理装置、店舗システム及びプログラム - Google Patents

Abstract

【課題】商品のかざし方の適否を習得することができる情報処理装置、店舗システム及びプログラムを提供する。
【解決手段】情報処理装置は、指定手段と、取込手段と、算出手段と、更新手段と、出力手段とを備える。指定手段は、各物品を識別するための特徴量を物品ごとに記憶した辞書から、対象の物品を指定する。取込手段は、撮像部にかざされた物体を当該撮像部で撮像した画像を取り込む。算出手段は、取込手段が取り込んだ画像に含まれる物体の特徴量と、指定手段が指定した物品の特徴量とを比較し、その類似度を算出する。更新手段は、算出手段が算出した類似度に応じて、取込手段が取り込んだ画像と、当該画像に含まれる物品の類似度とを対応付けて記憶するリストを更新する。出力手段は、更新手段が更新したリストの画像及び当該画像の類似度を示す情報を出力する。
【選択図】図６

Description

本発明の実施形態は、情報処理装置、店舗システム及びプログラムに関する。

従来、イメージセンサデバイスにより撮像した画像データから抽出した対象物品の特徴量と、予め用意された辞書における照合用のデータ（特徴量）とを比較した類似度に応じて当該物品の種別等を認識（検出）する一般物体認識（オブジェクト認識）に係る技術が存在している。また、この一般物体認識に係る技術を、青果品等の商品の識別に用いて、識別された商品を売上登録する店舗システムが提案されている。

上記した一般物体認識においては、商品をかざす面や、商品の位置、イメージセンサデバイスと商品との距離など、商品のかざし方によって撮像される画像データが異なる。

従って、商品のかざし方によっては、商品が認識できない場合がある。

本発明が解決しようとする課題は、商品のかざし方の適否を習得することができる情報処理装置、店舗システム及びプログラムを提供することである。

実施形態の情報処理装置は、指定手段と、取込手段と、算出手段と、更新手段と、出力手段とを備える。前記指定手段は、各物品を識別するための特徴量を物品ごとに記憶した辞書から、対象の物品を指定する。前記取込手段は、撮像部にかざされた物体を当該撮像部で撮像した画像を取り込む。前記算出手段は、前記取込手段が取り込んだ前記画像に含まれる前記物体の特徴量と、前記指定手段が指定した前記物品の特徴量とを比較し、その類似度を算出する。前記更新手段は、前記算出手段が算出した前記類似度に応じて、前記取込手段が取り込んだ前記画像と、当該画像に含まれる前記物品の前記類似度とを対応付けて記憶するリストを更新する。前記出力手段は、前記更新手段が更新した前記リストの前記画像及び当該画像の前記類似度を示す情報を出力する。

図１は、実施形態にかかるチェックアウトシステムの一例を示す斜視図である。 図２は、ＰＯＳ端末及び商品読取装置のハードウェア構成を示すブロック図である。 図３は、ＰＬＵファイルのデータ構成を例示する概念図である。 図４は、適正情報テーブルのデータ構成を例示する概念図である。 図５は、不適正情報テーブルのデータ構成を例示する概念図である。 図６は、ＰＯＳ端末の機能構成を示すブロック図である。 図７は、読取精度チェック処理の流れを示すフローチャートである。 図８は、精度チェック画面の一例を示す説明図である。 図９は、フレーム画像表示処理の流れを示すフローチャートである。 図１０は、拡大フレーム画像の一例を示す説明図である。 図１１は、一覧フレーム画像の一例を示す説明図である。 図１２は、マニュアル出力処理の流れを示すフローチャートである。 図１３は、かざし方マニュアルの一例を示す説明図である。 図１４は、セルフＰＯＳの構成を示す外観斜視図である。 図１５は、セルフＰＯＳのハードウェア構成を示すブロック図である。

以下では、本実施形態に係る情報処理装置、店舗システム及びプログラムについて、チェックアウトシステムを例に図面を参照して説明する。店舗システムは、一取引に係る商品の売上登録、精算を行うＰＯＳ端末を備えるチェックアウトシステム（ＰＯＳシステム）等である。本実施形態は、スーパーマーケット等の店舗に導入されたチェックアウトシステムへの適用例である。

図１は、実施形態にかかるチェックアウトシステム１の一例を示す斜視図である。図１に示すように、チェックアウトシステム１は、商品に関する情報を読み取る商品読取装置１０１と、一取引に係る商品の売上登録、精算を行うＰＯＳ端末１１とを備える。以下では、ＰＯＳ端末１１を本実施形態にかかる情報処理装置として適用する例について説明する。

ＰＯＳ端末１１は、チェックアウト台４１上のドロワ２１上面に載置される。ＰＯＳ端末１１は、ドロワ２１の開放を制御する。ＰＯＳ端末１１は、上面にキーボード２２を備える。キーボード２２は、オペレータ（店員）が操作を入力するキーを備える。ＰＯＳ端末１１は、キーボード２２を操作するオペレータから見てキーボード２２よりも奥側に、オペレータに向けて情報を表示する第１の表示デバイス２３を備える。第１の表示デバイス２３は、タッチパネル２６が積層された表示面２３ａを備える。

ＰＯＳ端末１１は、第１の表示デバイス２３よりも更に奥側に、顧客に向けて情報を表示する第２の表示デバイス２４を備える。なお、図１に示す第２の表示デバイス２４は、表示面２４ａを図１の手前側に向けている。しかし、第２の表示デバイス２４は、表示面２４ａが図１の奥側に向くように回転させることで顧客に向けて情報を表示することができる。

カウンタ台１５１は、横長のテーブルである。カウンタ台１５１は、ＰＯＳ端末１１が載置されているチェックアウト台４１とＬ字を形成するように配置される。カウンタ台１５１は、上面に荷受け面１５２を形成する。荷受け面１５２には、商品を収納する買物カゴ１５３が載置される。買物カゴ１５３には、第１の買物カゴ１５３ａと、第２の買物カゴ１５３ｂとがある。第１の買物カゴ１５３ａは、顧客が購入対象の商品を入れたカゴである。第２の買物カゴ１５３ｂは、商品読取装置１０１が売上登録した商品を入れるカゴである。第２の買物カゴ１５３ｂは、第１の買物カゴ１５３ａから商品読取装置１０１を挟んだ位置に載置される。なお、買物カゴ１５３は、いわゆるカゴ形状のものに限るものではなく、トレーや、箱状や、袋状等であってもよい。

商品読取装置１０１は、カウンタ台１５１の荷受け面１５２に載置される。商品読取装置１０１は、ＰＯＳ端末１１とデータを送受信することができる。商品読取装置１０１は、薄型矩形形状のハウジング１０２を備える。ハウジング１０２は、正面に読取窓１０３を備える。ハウジング１０２は、上部に表示・操作部１０４を備える。

表示・操作部１０４は、タッチパネル１０５が表面に積層された表示部である第１の表示デバイス１０６を備える。表示・操作部１０４は、第１の表示デバイス１０６の右隣にはキーボード１０７を備える。表示・操作部１０４は、キーボード１０７の右隣にカードリーダのカード読取溝１０８を備える。表示・操作部１０４は、オペレータから見て裏面左奥側に、顧客に向けて情報を提供する第２の表示デバイス１０９を備える。

このような商品読取装置１０１は、商品読取部１１０（図２参照）を備える。商品読取部１１０は、読取窓１０３の奥側に撮像部１６４（図２参照）を配置する。

商品読取装置１０１を操作するオペレータは、第１の買物カゴ１５３ａ内の商品を、第２の買物カゴ１５３ｂに移動する。オペレータは、この移動過程で、商品読取装置１０１の読取窓１０３に商品を向ける。この際、読取窓１０３内に配置された撮像部１６４（図２参照）は、商品を撮像する。

商品読取装置１０１は、売上登録する商品の商品ＩＤをＰＯＳ端末１１に通知する。具体的には、商品読取装置１０１は、売上登録の対象商品が、ＰＬＵファイルＦ１（図３参照）に記憶された商品の何れに対応するかを指定させる画面を表示・操作部１０４に表示する。そして、商品読取装置１０１は、指定された商品の商品ＩＤをＰＯＳ端末１１に通知する。ＰＯＳ端末１１では、商品読取装置１０１から通知された商品ＩＤに基づき、売上登録に係る情報を、売上マスタファイル（不図示）等に記録して売上登録を行う。売上登録に係る情報とは、例えば、商品ＩＤに対応する商品の商品分類や、商品名や、単価等である。

図２は、ＰＯＳ端末１１及び商品読取装置１０１のハードウェア構成を示すブロック図である。ＰＯＳ端末１１は、情報処理を実行する情報処理部としてのマイクロコンピュータ６０を備える。マイクロコンピュータ６０は、ＣＰＵ（Central Processing Unit）６１と、ＲＯＭ（Read Only Memory）６２と、ＲＡＭ（Random Access Memory）６３とを備える。マイクロコンピュータ６０は、各種演算処理を実行し各部を制御するＣＰＵ６１と、ＲＯＭ６２と、ＲＡＭ６３とをバス接続する。

ＰＯＳ端末１１のＣＰＵ６１は、各種の入出力回路（不図示）を介して、前述したドロワ２１と、キーボード２２と、第１の表示デバイス２３と、タッチパネル２６と、第２の表示デバイス２４と接続する。これら機器は、ＣＰＵ６１に制御される。

キーボード２２は、数字や演算子などのテンキー２２ｄと、仮締めキー２２ｅと、締めキー２２ｆとを有する。

ＰＯＳ端末１１のＣＰＵ６１には、ＨＤＤ６４（Hard Disk Drive）が接続される。ＨＤＤ６４には、プログラムや各種ファイルを記憶する。ＣＰＵ６１は、ＰＯＳ端末１１の起動時に、ＨＤＤ６４が記憶しているプログラムや各種ファイルの全部または一部をＲＡＭ６３にコピーすることで実行する。

ＨＤＤ６４は、オブジェクト認識処理用プログラムＰＲと、ＰＬＵファイルＦ１と、適正情報テーブルＴ１と、不適正情報テーブルＴ２とを記憶する。なお、ＨＤＤ６４は、記憶装置であればよく、ＳＳＤ（Solid State Drive）などの他の記憶媒体で構成された記憶装置であってもよい。

オブジェクト認識処理用プログラムＰＲは、オブジェクト認識処理に係る各種機能を有するプログラムである。

ＰＬＵファイルＦ１は、店舗に陳列して販売する商品の各々について、商品の売上登録に係る情報を格納する商品ファイルである。以下の説明では、ＰＬＵファイルＦ１を辞書として用いるが、辞書はＰＬＵファイルＦ１と異なるファイルであっても良い。辞書は、撮像した画像データから抽出した商品を識別するための照合用データ（特徴量）を、複数の商品について記憶する。辞書は、ＰＬＵファイルＦ１と異なるファイルである場合、辞書に記憶される照合用データ（特徴量）と、ＰＬＵファイルＦ１の情報（識別情報）とを対応付けて記憶する。特徴量は、商品の標準的な形状、表面の色合い、模様、凹凸状況等の外観の特徴をパラメータ化したものである。

図３は、ＰＬＵファイルＦ１のデータ構成を例示する概念図である。図３に示すように、ＰＬＵファイルＦ１は、商品ごとに、商品ＩＤと、商品に関する情報と、イラスト画像と、特徴量とを、その商品の商品情報として格納するファイルである。商品ＩＤは、商品を識別可能な識別情報である。商品に関する情報は、商品が属する商品分類、商品名、品種、単価等の情報である。イラスト画像は、その商品を示す画像である。特徴量は、撮像した商品画像から読み取られる色合いや表面の凹凸状況等の情報である。なお、特徴量は、後述する類似度の判定に用いられる照合用のデータである。なお、後述する接続インターフェース６５を介して、商品読取装置１０１は、ＰＬＵファイルＦ１を読み出すことができる。

加えて、ＰＬＵファイルＦ１は、図３に示すように、ガイダンス情報を各商品に対して記憶する。ガイダンス情報は、商品を撮像部１６４にかざす際に、撮像部１６４が撮像する物品の特徴毎の注意点を表したガイダンスを表示するための情報である。

撮像対象商品の特徴毎の注意点を表したガイダンス表示としては、例えば以下に示すガイダンスが挙げられる。
１．撮像対象となる全商品に共通するものであって、撮像部１６４に対する撮像距離を示すガイダンス。
２．リンゴのように球形の物品（オブジェクト）について、くるくる回しながら、物品全体を撮像するように案内するガイダンス。
３．大根やネギのように長い物品（オブジェクト）について、長手方向を軸としてくるくる回しながら、物品全体を長手方向に流して撮像するように案内するガイダンス。
４．スダチのように小さい物品（オブジェクト）について、物品（オブジェクト）を把持している店員の手が撮像部１６４による撮像画像内にできるだけ入らないように撮像するように案内するガイダンス。

図３の最上段に示された「にんじん」は、ガイダンス情報として１と３とが設定された状態を示すものである。

図４は、適正情報テーブルＴ１のデータ構成を例示する概念図である。適正情報テーブルＴ１は、商品ごとに類似度が高いフレーム画像を記憶したリストである。適正情報テーブルＴ１は、商品識別情報と、予め設定された個数の適正情報とを対応付けて記憶する。商品識別情報は、商品を識別可能な情報である。商品識別情報は、例えば、商品ＩＤである。適正情報は、撮像部１６４への商品の適正なかざし方を示す情報である。適正情報は、フレーム画像と、類似度とを対応付けて記憶する。具体的には、フレーム画像は、適正なかざし方により撮像部１６４に撮像された商品のフレーム画像である。類似度は、対応付けられたフレーム画像から抽出した特徴量と、ＰＬＵファイルＦ１に記憶された特徴量との類似度である。図４に示す適正情報テーブルＴ１は、類似度が高い適正情報が７個記憶されている。しかし、適正情報の個数は、一例であり、６個以下であってもよいし、８個以上であってもよい。

図５は、不適正情報テーブルＴ２のデータ構成を例示する概念図である。不適正情報テーブルＴ２は、商品ごとに類似度が低いフレーム画像を記憶したリストである。不適正情報テーブルＴ２は、商品識別情報と、予め設定された個数の不適正情報とを対応付けて記憶する。商品識別情報は、前述の商品識別情報と同様に、商品を識別可能な情報である。不適正情報は、撮像部１６４への商品の不適正なかざし方を示す情報である。具体的には、不適正情報は、フレーム画像と、類似度とを対応付けて記憶する。フレーム画像は、不適正なかざし方により撮像部１６４に撮像された商品のフレーム画像である。類似度は、対応付けられたフレーム画像から抽出した特徴量と、ＰＬＵファイルＦ１に記憶された特徴量との類似度である。図５に示す不適正情報テーブルＴ２は、類似度が低い不適正情報が７個記憶されている。しかし、不適正情報の個数は、一例であり、６個以下であってもよいし、８個以上であってもよい。

図２に戻り、ＰＯＳ端末１１のＣＰＵ６１には、ストアコンピュータＳＣとデータ通信を実行するための通信インターフェース２５が入出力回路（不図示）を介して接続される。ストアコンピュータＳＣは、店舗のバックヤード等に設置される。ストアコンピュータＳＣのＨＤＤ（不図示）には、ＰＯＳ端末１１に配信されるＰＬＵファイルＦ１が格納される。

更に、ＰＯＳ端末１１のＣＰＵ６１には、商品読取装置１０１との間でデータ送受信を可能にする接続インターフェース６５が接続される。接続インターフェース６５には、商品読取装置１０１が接続される。また、ＰＯＳ端末１１のＣＰＵ６１には、レシート等に印字を行う第１のプリンタ６６が接続される。第１のプリンタ６６は、ＣＰＵ６１の制御の下、一取引の取引内容をレシートに印字する。

商品読取装置１０１も、マイクロコンピュータ１６０を備える。マイクロコンピュータ１６０は、ＣＰＵ１６１と、ＲＯＭ１６２と、ＲＡＭ１６３とを備える。マイクロコンピュータ１６０は、ＣＰＵ１６１と、ＲＯＭ１６２と、ＲＡＭ１６３とをバス接続する。ＲＯＭ１６２は、ＣＰＵ１６１が実行するプログラムを記憶する。ＣＰＵ１６１は、各入出力回路（いずれも不図示）を介して撮像部１６４及び音声出力部１６５と接続する。ＣＰＵ１６１は、撮像部１６４及び音声出力部１６５の動作を制御する。

表示・操作部１０４は、接続インターフェース１７６を介して、商品読取部１１０及びＰＯＳ端末１１と接続する。表示・操作部１０４は、商品読取部１１０のＣＰＵ１６１と、ＰＯＳ端末１１のＣＰＵ６１とによって動作が制御される。

撮像部１６４は、カラーＣＣＤイメージセンサやカラーＣＭＯＳイメージセンサ等のイメージセンサ（不図示）とＬＥＤなどの光源（不図示）とを有する。撮像部１６４は、ＣＰＵ１６１の制御の下で読取窓１０３の内部から撮像を行う。撮像部１６４は、例えば、３０ｆｐｓ（Flame Per Second）のフレームレートでフレーム画像を撮像する。撮像部１６４は、所定のフレームレートで順次撮像したフレーム画像（撮像画像）をＲＡＭ１６３に保存する。

音声出力部１６５は、予め設定された警告音等を発生するための音声回路とスピーカ等である。音声出力部１６５は、ＣＰＵ１６１の制御の下で警告音や音声による報知を行う。

更に、ＣＰＵ１６１は、接続インターフェース１７５と接続する。接続インターフェース１７５は、ＰＯＳ端末１１の接続インターフェース６５に接続して、ＰＯＳ端末１１とデータを送受信する。また、接続インターフェース１７５は、表示・操作部１０４の接続インターフェース１７６に接続して、表示・操作部１０４とデータを送受信する。

更に、接続インターフェース６５は、第２のプリンタ１２１を接続することができる。印字部である第２のプリンタ１２１は、文書や、画像などの書類を印刷する画像形成装置である。第２のプリンタ１２１は、接続インターフェース１２２と、駆動モータ１２３と、印字ヘッド１２４とを備える。接続インターフェース１２２は、ＰＯＳ端末１１の接続インターフェース６５に接続して、ＰＯＳ端末１１とデータを送受信する。駆動モータ１２３は、印刷対象の用紙を搬送するモータである。印字ヘッド１２４は、用紙に印刷するプリントヘッドなどである。

次に、ＣＰＵ６１がプログラム（オブジェクト認識処理用プログラムＰＲ）を実行することで実現されるＣＰＵ６１の機能構成について説明する。

図６は、ＰＯＳ端末１１の機能構成を示すブロック図である。ＰＯＳ端末１１のＣＰＵ６１は、画像取込部５１と、商品検出部５２と、類似度算出部５３と、類似度判定部５４と、入力受付部５５と、売上登録部５６と、物品指定部９１と、フレーム画像選出部９２と、テーブル更新部９３と、マニュアル出力部９４と、表示制御部９５と、印刷制御部９６と、通信制御部９７として機能する。ＰＯＳ端末１１のＣＰＵ６１は、上述の各機能によりオブジェクト認識を用いた売上登録処理と、オブジェクト認識の精度をチェックする精度チェック処理とを実行する。

（売上登録処理）
まず、オブジェクト認識を用いた売上登録処理について説明する。

画像取込部５１は、撮像部１６４に撮像制御信号を出力して撮像部１６４に撮像動作を開始させる。これにより、撮像部１６４は、撮像部１６４にかざされた商品を撮像する。そして、撮像部１６４は、撮像部１６４にかざされた商品を撮像したフレーム画像をＲＡＭ１６３に保存する。取込手段である画像取込部５１は、撮像動作開始後に撮像部１６４がＲＡＭ１６３に保存したフレーム画像を、ＲＡＭ１６３に保存された順番に取り込む。

ところで、撮像部１６４は、撮像部１６４の光源の近く、すなわち読取窓１０３の近くに商品（オブジェクト）がない場合、明度０かそれに近い状態のフレーム画像を撮像する。そして、フレーム画像の明度は、認識させたい商品（オブジェクト）が読取窓１０３に近づけられると、光源からの光が商品（オブジェクト）に反射するために明るくなる。

画像取込部５１は、このような明度変化（色の属性の変化）を検知し、明度が所定の基準値より高い場合に、商品（オブジェクト）がかざされた状態であると判定する。一方、明度が所定の基準値より低い場合に、画像取込部５１は、商品（オブジェクト）がかざされていない状態、すなわちフレームアウトした状態であると判定する。

商品検出部５２は、画像取込部５１が取り込んだフレーム画像に含まれる商品の全部または一部を、パターンマッチング技術等を用いて検出する。具体的には、商品検出部５２は、取り込まれたフレーム画像を２値化した画像から輪郭線等を抽出する。商品検出部５２は、前回のフレーム画像から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較する。そして、商品検出部５２は、新たに抽出した輪郭線の物体を商品として認識する。これにより、商品検出部５２は、読取窓１０３に向けられた商品を検出する。

商品検出部５２は、商品を検出する別の方法として、取り込まれたフレーム画像から肌色領域の有無を検出する。次いで、商品検出部５２は、肌色領域が検出された場合、すなわち、店員の手が検出された場合に、この肌色領域の近傍で上述した輪郭線を検出する。これにより、商品検出部５２は、店員の手が把持していると想定される商品の輪郭線を検出する。この時、商品検出部５２は、手の形状を示す輪郭と、手の輪郭の近傍にそれ以外の物体の輪郭とが検出された場合、この物体の輪郭から商品を検出する。

類似度算出部５３は、撮像部１６４により撮像された商品の全部または一部のフレーム画像から、商品の色合いや表面の凹凸状況等の表面の状態を特徴量として抽出する。なお、類似度算出部５３は、処理時間の短縮を図るため、商品の輪郭や大きさは考慮しないものとする。

また、算出手段である類似度算出部５３は、ＰＬＵファイルＦ１に記憶された各商品（以下、登録商品という）の特徴量と、フレーム画像に含まれる商品の特徴量とを比較することで類似度を算出する。ここで、類似度は、ＰＬＵファイルＦ１に記憶された登録商品の特徴量を１００％＝「類似度：１．０」とした場合に、商品の全部または一部の特徴量がどの程度類似しているかを示すものである。なお、類似度算出部５３は、例えば、色合いと表面の凹凸状況とでは、重み付けを変えて類似度を算出してもよい。

このように画像中に含まれる物体を認識することは一般物体認識（generic object recognition）と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６ [平成２２年８月１０日検索]，インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >

また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，[平成２２年８月１０日検索]，インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >

なお、撮像されたフレーム画像から抽出された商品の特徴量と、ＰＬＵファイルＦ１に記憶された登録商品の特徴量との類似度の算出方法は特に問わないものとする。例えば、類似度は、絶対評価として算出してもよいし、相対評価として算出してもよい。

まず、類似度を絶対評価として算出する場合について説明する。類似度算出部５３は、フレーム画像から抽出した商品の特徴量と、ＰＬＵファイルＦ１に記憶された各登録商品の特徴量とを１対１で比較する。これにより、類似度算出部５３は、絶対評価として類似度を算出する。

次に、類似度を相対評価として算出する場合について説明する。類似度算出部５３は、フレーム画像から抽出した商品の特徴量と、ＰＬＵファイルＦ１に記憶された登録商品の特徴量とを比較する。この際、類似度算出部５３は、類似度の総和が１．０（１００％）となるように類似度を算出する。これにより、類似度算出部５３は、相対評価として類似度を算出する。

類似度判定部５４は、類似度算出部５３が算出した類似度が所定の閾値を超えているか否かを判定する。これにより類似度判定部５４は、撮像部１６４が撮像した商品の売上登録方法が自動登録と、商品候補提示と、商品候補無しとの何れに分類されるかを判定する。

類似度判定部５４は、ＰＬＵファイルＦ１に類似度が第１の閾値以上の登録商品（以下、確定商品という）が含まれている場合に、撮像部１６４が撮像した商品を自動登録により売上登録すると判定する。ここで、自動登録とは、撮像部１６４が撮像した商品である確率が高いために、オペレータの確認操作が無くても、確定商品を自動的に売上登録することである。

類似度判定部５４は、確定商品がなく、類似度が第１の閾値未満かつ第２の閾値以上の登録商品（以下、商品候補という）がＰＬＵファイルＦ１に含まれている場合に、撮像部１６４が撮像した商品を商品候補提示により売上登録すると判定する。ここで、商品候補提示とは、撮像部１６４が撮像したフレームが像に含まれる商品の候補である商品候補を提示し、オペレータの確認操作により売上登録することである。なお、商品候補は、一つであってもよいし複数であってもよい。

類似度判定部５４は、ＰＬＵファイルＦ１に類似度が第２の閾値以上の登録商品が含まれていない場合に、撮像部１６４が撮像した商品に該当する商品候補なしと判定する。ここで、商品候補無しとは、類似度算出部５３が算出した類似度が第２の閾値未満の登録商品しかないため、撮像部１６４が撮像した商品を認識できなかったことを示す。

入力受付部５５は、キーボード２２又はタッチパネル２６などの入力部を介して操作を受け付ける。更に詳しくは、入力受付部５５は、売上登録に関する操作を受け付ける。入力受付部５５は、例えば、類似度判定部５４が提示した商品候補から売上登録する商品を選択する操作を受け付ける。なお、入力受付部５５は、キーボード２２又はタッチパネル２６以外の入力部から操作を受け付けてもよい。例えば、入力部は、商品読取装置１０１のキーボード１０７や、タッチパネル１０５などであってもよい。

売上登録部５６は、選択された商品を売上マスタファイル等に記録して売上登録する。具体的には、売上登録部５６は、ＰＬＵファイルＦ１を参照して、選択された商品の商品ＩＤ及び売上登録に係る情報を、販売個数とともに売上マスタファイル等に記録する。

（読取精度チェック処理）
次に、上述した実施形態にかかるＰＯＳ端末１１のＣＰＵ６１がオブジェクト認識処理用プログラムＰＲに従って実行する読取精度チェック処理について説明する。読取精度チェック処理とは、撮像部１６４にかざされた商品の読取精度をチェックすることにより、オペレータに商品のかざし方の適否を通知する処理である。

指定手段である物品指定部９１は、予め用意された辞書であるＰＬＵファイルＦ１から読取精度チェック処理の対象商品を選択させる。物品指定部９１は、ＰＬＵファイルＦ１に記憶された登録商品から選択された対象商品を読取精度チェック処理の対象商品に指定する。

フレーム画像選出部９２は、撮像部１６４が撮像した複数のフレーム画像から、適正情報テーブルＴ１または不適正情報テーブルＴ２に登録する登録候補のフレーム画像を選出する。撮像部１６４は、例えば、３０ｆｐｓのフレームレートでフレーム画像を撮像している。そのため、最も類似度の高いフレーム画像の前後のフレーム画像は、撮像部１６４へのかざし方が殆ど同一であるため類似度が高い。従って、最も類似度の高いフレーム画像と、最も類似度の高いフレーム画像の前後のフレーム画像とを比べた場合に、フレーム画像に撮像された内容は、殆ど差異がない。よって、殆ど同じフレーム画像が、適正情報テーブルＴ１に記憶されてしまうことになる。また、不適正情報テーブルＴ２の場合においても同様の問題が発生する。そこで、フレーム画像選出部９２は、撮像部１６４が撮像した複数のフレーム画像から、登録候補となるフレーム画像を選出することで、殆ど同じフレーム画像が記憶されてしまうことを防止する。

フレーム画像選出部９２は、予め設定された設定時間内に撮像部１６４が撮像した複数のフレーム画像から、最も類似度の高いフレーム画像を登録候補のフレーム画像として選出する。

なお、フレーム画像選出部９２のフレーム画像の選出方法は、上述に限らない。例えば、フレーム画像選出部９２は、撮像部１６４が予め設定された枚数のフレーム画像を撮像した場合に、その複数のフレーム画像から最も類似度の高いフレーム画像を登録候補のフレーム画像として選出してもよい。または、フレーム画像選出部９２は、予め設定された設定時間が経過した直後のフレーム画像を登録候補のフレーム画像として選出してもよい。または、フレーム画像選出部９２は、撮像部１６４が予め設定された枚数のフレーム画像を撮像した直後のフレーム画像を登録候補のフレーム画像として選出してもよい。

更新手段であるテーブル更新部９３は、適正情報テーブルＴ１と不適正情報テーブルＴ２とを更新する。テーブル更新部９３は、フレーム画像選出部９２が選出したフレーム画像から算出した類似度に応じて、適正情報テーブルＴ１または不適正情報テーブルＴ２を更新する。

ここで、ＰＬＵファイルＦ１には、商品を識別するための特徴量が記憶されている。よって、撮像部１６４への商品の適切なかざし方とは、ＰＬＵファイルＦ１に記憶された読取精度チェック処理の対象商品の特徴量と、近似した特徴量を抽出することができるフレーム画像を撮像部１６４に撮像させるための商品のかざし方である。よって、ＰＬＵファイルＦ１に記憶された対象商品の特徴量と、登録候補のフレーム画像の特徴量との類似度が高い場合に、登録候補のフレーム画像は、適切なかざし方で撮像させたフレーム画像であると判断することができる。同様に、類似度が低い場合には、登録候補のフレーム画像は、不適切なかざし方で撮像させたフレーム画像であると判断することができる。従って、テーブル更新部９３は、類似度が高い場合に、適正情報テーブルＴ１に登録候補のフレーム画像及び類似度を登録する。また、テーブル更新部９３は、類似度が低い場合に、不適正情報テーブルＴ２に登録候補のフレーム画像及び類似度を登録する。

具体的には、テーブル更新部９３は、適正情報テーブルＴ１に記憶された最も低い類似度より、フレーム画像から算出した類似度が高いか否かを判定する。テーブル更新部９３は、フレーム画像から算出した類似度が高い場合に、撮像部１６４が撮像したフレーム画像と、フレーム画像の類似度とを対応付けて適正情報テーブルＴ１に記憶する。また、テーブル更新部９３は、適正情報テーブルＴ１に記憶された最も低い類似度の適正情報を適正情報テーブルＴ１から削除する。

なお、テーブル更新部９３は、精度チェック処理を開始した直後には、予め設定された個数の適正情報を適正情報テーブルＴ１に記憶していない。この場合には、テーブル更新部９３は、フレーム画像から算出した類似度に関わらず、撮像部１６４が撮像したフレーム画像と、フレーム画像の類似度とを対応付けて適正情報テーブルＴ１に記憶する。

テーブル更新部９３は、不適正情報テーブルＴ２に記憶された最も高い類似度より、フレーム画像から算出した類似度が低いか否かを判定する。テーブル更新部９３は、フレーム画像から算出した類似度が低い場合に、撮像部１６４が撮像したフレーム画像と、フレーム画像の類似度とを対応付けて不適正情報テーブルＴ２に記憶する。また、テーブル更新部９３は、不適正情報テーブルＴ２に記憶された最も高い類似度の不適正情報を不適正情報テーブルＴ２から削除する。

なお、テーブル更新部９３は、精度チェック処理を開始した直後には、予め設定された個数の不適正情報を不適正情報テーブルＴ２に記憶していない。この場合には、テーブル更新部９３は、フレーム画像から算出した類似度に関わらず、撮像部１６４が撮像したフレーム画像と、フレーム画像の類似度とを対応付けて不適正情報テーブルＴ２に記憶する。

出力手段であるマニュアル出力部９４は、撮像部１６４への商品のかざし方を商品ごとに提示したかざし方マニュアルを出力する。ここで、かざし方マニュアルとは、適正情報テーブルＴ１に記憶された適正情報または不適正情報テーブルＴ２に記憶された不適正情報を撮像部１６４への商品のかざし方の一例として提示した電子ファイルである。さらに詳しくは、マニュアル出力部９４は、かざし方マニュアルを文書ファイルの形式でＨＤＤ６４に記憶する。なお、かざし方マニュアルのファイル形式は、文書ファイルに限らない。例えば、かざし方マニュアルのファイル形式は、画像ファイルの形式であってもよい。また、マニュアル出力部９４は、ＨＤＤ６４以外の記憶媒体にかざし方マニュアルを記憶させてもよい。

また、マニュアル出力部９４は、かざし方マニュアルを出力する際に、かざし方マニュアルを出力する対象商品の指定を受け付けることができる。マニュアル出力部９４は、適正情報テーブルＴ１または不適正情報テーブルＴ２に記憶された各商品から対象商品を選択させる。なお、対象商品は、１つであってもよいし、複数であってもよい。また、マニュアル出力部９４は、適正情報テーブルＴ１に記憶された適正情報または不適正情報テーブルＴ２に記憶された不適正情報の少なくとも何れか一方を提示すればよい。

表示制御部９５は、第１の表示デバイス２３、第２の表示デバイス２４、第１の表示デバイス１０６または第２の表示デバイス１０９などの表示部への画面表示を制御する。出力手段である表示制御部９５は、適正情報テーブルＴ１に記憶された適正情報または不適正情報テーブルＴ２に記憶された不適正情報を表示部に表示する。さらに詳しくは、表示制御部９５は、適正情報と不適正情報との一覧を表示部に表示する。または、表示制御部９５は、適正情報と不適正情報との拡大画面を表示部に表示する。また、表示制御部９５は、テーブル更新部９３が適正情報テーブルＴ１と不適正情報テーブルＴ２とを更新した場合には、更新後の適正情報と不適正情報とを表示部に表示する。

また、表示制御部９５は、マニュアル出力部９４が出力したかざし方マニュアルを表示部に表示する。

印刷制御部９６は、第２のプリンタ１２１を制御する。例えば、出力手段である印刷制御部９６は、マニュアル出力部９４が出力したかざし方マニュアルを第２のプリンタ１２１に印字させる。

通信制御部９７は、通信インターフェース２５を制御する。例えば、通信制御部９７は、通信インターフェース２５を介して、マニュアル出力部９４が出力したかざし方マニュアルをストアコンピュータＳＣに送信する。なお、通信制御部９７は、ストアコンピュータＳＣに限らず、他の装置に送信してもよい。

次に、上述した実施形態にかかるＰＯＳ端末１１のＣＰＵ６１がオブジェクト認識処理用プログラムＰＲに従って実行する読取精度チェック処理について説明する。

図７は、ＰＯＳ端末１１のＣＰＵ６１がオブジェクト認識処理用プログラムＰＲに従って実行する読取精度チェック処理の流れを示すフローチャートである。

まず、ＰＯＳ端末１１の物品指定部９１は、商品リスト画面（不図示）に表示された登録商品の一覧から選択された登録商品を読取精度チェック処理の対象商品に指定する（ステップＳ１１）。ここで、商品リスト画面は、読取精度をチェックする対象商品を指定させるために、ＰＬＵファイルＦ１に記憶された登録商品の一覧を表示した画面である。

次いで、ＰＯＳ端末１１の表示制御部９５は、精度チェック画面Ｇ１を表示する（ステップＳ１２）。ここで、図８は、精度チェック画面Ｇ１の一例を示す説明図である。精度チェック画面Ｇ１は、精度チェック結果を表示する画面である。精度チェック画面Ｇ１は、大別すると、フレーム画像表示領域Ｇ１１と、通常認識判定領域Ｇ１２と、リアルタイム認識判定領域Ｇ１３と、適切なかざし方表示領域Ｇ１４と、不適切なかざし方表示領域Ｇ１５と、中止ボタンＢ１１と、かざし方ボタンＢ１２とを有する。

フレーム画像表示領域Ｇ１１は、撮像部１６４が撮像したフレーム画像を表示する領域である。通常認識判定領域Ｇ１２は、通常のオブジェクト認識処理での精度チェック結果を表示する領域である。すなわち、通常認識判定領域Ｇ１２は、複数のフレーム画像での精度チェック結果を表示する。通常認識判定領域Ｇ１２は、判定結果領域と、メッセージ表示領域とを備える。判定結果領域は、判定結果を表示する領域である。メッセージ表示領域は、商品認識精度チェック処理におけるメッセージを表示する領域である。図８に示すメッセージ表示領域は、「商品をかざしてください」とのメッセージを表示する。リアルタイム認識判定領域Ｇ１３は、オブジェクト認識処理におけるリアルタイムな精度チェック結果を表示する領域である。すなわち、リアルタイム認識判定領域Ｇ１３は、シングルフレーム画像での精度チェック結果を表示する。なお、リアルタイム認識判定領域Ｇ１３は、リアルタイム性を損なうことがなければ複数フレーム画像での精度チェック結果を表示してもよい。

精度チェック画面Ｇ１は、適切なかざし方表示領域Ｇ１４と、不適切なかざし方表示領域Ｇ１５とに、フレーム画像の類似度に応じて、撮像部１６４へのかざし方の適否を識別可能な態様で表示する。適切なかざし方表示領域Ｇ１４は、撮像部１６４への商品の適切なかざし方の例として、フレーム画像Ｇ１４ａ及びフレーム画像Ｇ１４ａの類似度を示す情報を表示する領域である。すなわち、適切なかざし方表示領域Ｇ１４は、適正情報テーブルＴ１に記憶されたフレーム画像Ｇ１４ａを表示する領域である。ここで、適切なかざし方表示領域Ｇ１４のフレーム画像Ｇ１４ａの類似度を示す情報とは、「適切なかざし方」とのメッセージである。テーブル更新部９３は、類似度が高い場合に、適切なかざし方で撮像させたフレーム画像であると判断してフレーム画像を適正情報テーブルＴ１に記憶している。よって、適切なかざし方表示領域Ｇ１４は、「適切なかざし方」とのメッセージを表示することで、フレーム画像Ｇ１４ａの類似度が高いことを明示している。また、適切なかざし方表示領域Ｇ１４は、左側の類似度が高い降順でフレーム画像Ｇ１４ａを表示する。なお、適切なかざし方表示領域Ｇ１４は、フレーム画像Ｇ１４ａを昇順で表示してもよいし、フレーム画像Ｇ１４ａを整列せずに表示してもよい。

不適切なかざし方表示領域Ｇ１５は、撮像部１６４への商品の不適切なかざし方の例として、フレーム画像Ｇ１５ａ及びフレーム画像Ｇ１５ａの類似度を示す情報を表示する領域である。すなわち、不適切なかざし方表示領域Ｇ１５は、不適正情報テーブルＴ２に記憶されたフレーム画像Ｇ１５ａを表示する領域である。ここで、不適切なかざし方表示領域Ｇ１５のフレーム画像Ｇ１５ａの類似度を示す情報とは、「不適切なかざし方」とのメッセージである。テーブル更新部９３は、類似度が低い場合に、不適切なかざし方で撮像させたフレーム画像であると判断してフレーム画像を不適正情報テーブルＴ２に記憶している。よって、不適切なかざし方表示領域Ｇ１５は、「不適切なかざし方」とのメッセージを表示することで、フレーム画像Ｇ１５ａの類似度が低いことを明示している。また、不適切なかざし方表示領域Ｇ１５は、左側の類似度が低い昇順でフレーム画像Ｇ１５ａを表示する。なお、不適切なかざし方表示領域Ｇ１５は、フレーム画像Ｇ１５ａを降順で表示してもよいし、フレーム画像Ｇ１５ａを整列せずに表示してもよい。

中止ボタンＢ１１は、読取精度チェック処理を中止する場合に押下するボタンである。かざし方ボタンＢ１２は、不適切なかざし方表示領域Ｇ１５と、不適切なかざし方表示領域Ｇ１５とに表示されたフレーム画像Ｇ１４ａ，Ｇ１５ａを拡大した一覧を表示させるボタンである。

次いで、ＰＯＳ端末１１の画像取込部５１は、撮像部１６４にかざされた商品を撮像させる（ステップＳ１３）。次いで、ＰＯＳ端末１１の商品検出部５２は、撮像部１６４が撮像したフレーム画像から撮像部１６４にかざされた商品を検出する（ステップＳ１４）。次いで、ＰＯＳ端末１１の類似度算出部５３は、フレーム画像に含まれる物体の特徴量を抽出する（ステップＳ１５）。次いで、ＰＯＳ端末１１の類似度判定部５４は、フレーム画像に含まれる物体の類似度を算出する（ステップＳ１６）。

次いで、ＰＯＳ端末１１のフレーム画像選出部９２は、撮像部１６４が撮像を開始してから設定時間が経過したか否かを判定する（ステップＳ１７）。撮像部１６４が撮像を開始してから設定時間が経過していない場合に、ＰＯＳ端末１１のＣＰＵ６１は、ステップＳ１３に移行する。

一方、撮像部１６４が撮像を開始してから設定時間が経過した場合に、ＰＯＳ端末１１のフレーム画像選出部９２は、登録候補のフレーム画像を選出する（ステップＳ１８）。

次いで、ＰＯＳ端末１１のテーブル更新部９３は、適正情報テーブルＴ１に記憶された最も低い類似度より、登録候補のフレーム画像から算出した類似度が高いか否かを判定する（ステップＳ１９）。適正情報テーブルＴ１より類似度が高い場合に（ステップＳ１９；Ｙｅｓ）、ＰＯＳ端末１１のテーブル更新部９３は、適正情報テーブルＴ１を更新する（ステップＳ２０）。具体的には、テーブル更新部９３は、登録候補のフレーム画像と、登録候補のフレーム画像から算出した類似度とを適正情報として適正情報テーブルＴ１に記憶させる。

次いで、ＰＯＳ端末１１の表示制御部９５は、適切なかざし方表示領域Ｇ１４の表示を更新する（ステップＳ２１）。すなわち、表示制御部９５は、適正情報テーブルＴ１に記憶したフレーム画像を適切なかざし方表示領域Ｇ１４に表示させる。

一方、適正情報テーブルＴ１より類似度が低い場合に（ステップＳ１９；Ｎｏ）、ＰＯＳ端末１１のテーブル更新部９３は、不適正情報テーブルＴ２に記憶された最も高い類似度より、登録候補のフレーム画像から算出した類似度が低いか否かを判定する（ステップＳ２２）。不適正情報テーブルＴ２より類似度が高い場合に（ステップＳ２２；Ｎｏ）、ＰＯＳ端末１１のＣＰＵ６１は、ステップＳ２５に移行する。

一方、不適正情報テーブルＴ２より類似度が低い場合に（ステップＳ２２；Ｙｅｓ）、ＰＯＳ端末１１のテーブル更新部９３は、不適正情報テーブルＴ２を更新する（ステップＳ２３）。具体的には、テーブル更新部９３は、登録候補のフレーム画像と、登録候補のフレーム画像から算出した類似度とを不適正情報として不適正情報テーブルＴ２に記憶させる。

次いで、ＰＯＳ端末１１の表示制御部９５は、不適切なかざし方表示領域Ｇ１５の表示を更新する（ステップＳ２４）。すなわち、表示制御部９５は、不適正情報テーブルＴ２に記憶したフレーム画像を不適切なかざし方表示領域Ｇ１５に表示させる。

次いで、ＰＯＳ端末１１の入力受付部５５は、中止ボタンＢ１１の押下が検出されるか否かを判定する（ステップＳ２５）。中止ボタンＢ１１の押下が検出されない場合に（ステップＳ２５；Ｎｏ）、ＰＯＳ端末１１のＣＰＵ６１は、ステップＳ１３に移行する。

一方、中止ボタンＢ１１の押下が検出された場合に（ステップＳ２５；Ｙｅｓ）、ＰＯＳ端末１１のＣＰＵ６１は、読取精度チェック処理を終了する。

次に、上述した実施形態にかかるＰＯＳ端末１１のＣＰＵ６１がオブジェクト認識処理用プログラムＰＲに従って実行するフレーム画像表示処理について説明する。フレーム画像表示処理とは、適正情報テーブルＴ１または不適正情報テーブルＴ２に記憶されたフレーム画像を表示する処理である。すなわち、フレーム画像表示処理は、撮像部１６４に適切なかざし方または不適切なかざし方でかざされた商品を撮像したフレーム画像を表示する処理である。

図９は、ＰＯＳ端末１１のＣＰＵ６１がオブジェクト認識処理用プログラムＰＲに従って実行するフレーム画像表示処理の流れを示すフローチャートである。なお、図９に示すフローチャートは、精度チェック画面Ｇ１を表示した状態から開始するものとする。

まず、ＰＯＳ端末１１の表示制御部９５は、精度チェック画面Ｇ１を表示する（ステップＳ３１）。

次いで、ＰＯＳ端末１１の入力受付部５５は、フレーム画像Ｇ１４ａ，Ｇ１５ａを選択する操作が検出されるか否かを判定する（ステップＳ３２）。さらに詳しくは、入力受付部５５は、適切なかざし方表示領域Ｇ１４の各フレーム画像Ｇ１４ａの何れかを選択する操作が検出されるか否かを判定する。または、入力受付部５５は、不適切なかざし方表示領域Ｇ１５の各フレーム画像Ｇ１５ａの何れかを選択する操作が検出されるか否かを判定する。

フレーム画像Ｇ１４ａ，Ｇ１５ａを選択する操作が検出された場合に（ステップＳ３２；Ｙｅｓ）、ＰＯＳ端末１１の表示制御部９５は、拡大フレーム画像Ｇ２を表示する（ステップＳ３３）。なお、表示制御部９５は、選択されたフレーム画像Ｇ１４ａ，Ｇ１５ａを拡大した拡大フレーム画像Ｇ２を表示する。

ここで、図１０は、拡大フレーム画像Ｇ２の一例を示す説明図である。拡大フレーム画像Ｇ２は、選択されたフレーム画像像Ｇ１４ａ，Ｇ１５ａを拡大した画像である。オペレータは、拡大フレーム画像Ｇ２を参照することで、撮像部１６４への商品の適切なかざし方または不適切なかざし方を拡大した画像で確認することができる。また、拡大フレーム画像Ｇ２は、閉じるボタンＢ２１を有する。閉じるボタンＢ２１は、拡大フレーム画像Ｇ２を閉じる場合に押下するボタンである。また、拡大フレーム画像Ｇ２は、類似度を示す情報として、適切なかざし方または不適切なかざし方の何れを表示する。図１０に示す拡大フレーム画像Ｇ２は、類似度を示す情報として、適切なかざし方を表示している。

次いで、ＰＯＳ端末１１の入力受付部５５は、閉じるボタンＢ２１の押下が検出されるか否かを判定する（ステップＳ３４）。閉じるボタンＢ２１の押下が検出されない場合に（ステップＳ３４；Ｎｏ）、ＰＯＳ端末１１の表示制御部９５は、拡大フレーム画像Ｇ２の表示を維持する。

一方、閉じるボタンＢ２１の押下が検出された場合に（ステップＳ３４；Ｙｅｓ）、ＰＯＳ端末１１の表示制御部９５は、拡大フレーム画像Ｇ２を閉じてフレーム画像表示処理を終了する。

フレーム画像Ｇ１４ａ，Ｇ１５ａを選択する操作が検出されない場合に（ステップＳ３２；Ｎｏ）、ＰＯＳ端末１１の入力受付部５５は、かざし方ボタンＢ１２の押下が検出されるか否かを判定する（ステップＳ３５）。かざし方ボタンＢ１２の押下が検出されない場合に（ステップＳ３５；Ｎｏ）、ＰＯＳ端末１１のＣＰＵ６１は、ステップＳ３２に移行する。

一方、かざし方ボタンＢ１２の押下が検出された場合に（ステップＳ３５；Ｙｅｓ）、ＰＯＳ端末１１の表示制御部９５は、一覧フレーム画像Ｇ３を表示する（ステップＳ３７）。

ここで、図１１は、一覧フレーム画像Ｇ３の一例を示す説明図である。一覧フレーム画像Ｇ３は、適切なかざし方表示領域Ｇ１４のフレーム画像Ｇ１４ａと、不適切なかざし方表示領域Ｇ１５のフレーム画像Ｇ１５ａとの一覧を表示した画面である。すなわち、一覧フレーム画像Ｇ３は、適正情報テーブルＴ１と不適正情報テーブルＴ２に記憶されたフレーム画像を表示した画面である。また、一覧フレーム画像Ｇ３は、適切なかざし方表示領域Ｇ１４と、不適切なかざし方表示領域Ｇ１５と同様に、類似度を示す情報を表示している。また、一覧フレーム画像Ｇ３は、閉じるボタンＢ３１を有する。閉じるボタンＢ３１は、一覧フレーム画像Ｇ３を閉じる場合に押下するボタンである。一覧フレーム画像Ｇ３は、適切なかざし方のフレーム画像Ｇ１４ａと、不適切なかざし方とのフレーム画像Ｇ１５ａとの一覧を表示している。これにより、オペレータは、適切なかざし方の傾向と、不適切なかざし方の傾向とを把握することができる。

次いで、ＰＯＳ端末１１の入力受付部５５は、閉じるボタンＢ３１の押下が検出されるか否かを判定する（ステップＳ３７）。閉じるボタンＢ３１の押下が検出されない場合に（ステップＳ３７；Ｎｏ）、ＰＯＳ端末１１の表示制御部９５は、一覧フレーム画像Ｇ３の表示を維持する。

一方、閉じるボタンＢ３１の押下が検出された場合に（ステップＳ３７；Ｙｅｓ）、ＰＯＳ端末１１の表示制御部９５は、一覧フレーム画像Ｇ３を閉じてフレーム画像表示処理を終了する。

次に、上述した実施形態にかかるＰＯＳ端末１１のＣＰＵ６１がオブジェクト認識処理用プログラムＰＲに従って実行するマニュアル出力処理について説明する。マニュアル出力処理とは、適正情報テーブルＴ１または不適正情報テーブルＴ２に記憶されたフレーム画像を商品ごとに提示したかざし方マニュアルを出力する処理である。

図１２は、ＰＯＳ端末１１のＣＰＵ６１がオブジェクト認識処理用プログラムＰＲに従って実行するマニュアル出力処理の流れを示すフローチャートである。

まず、ＰＯＳ端末１１の表示制御部９５は、マニュアル出力画面（不図示）を表示する（ステップＳ４１）。マニュアル出力画面は、かざし方マニュアルの出力に係る操作を入力する画面である。マニュアル出力画面は、かざし方マニュアルを出力する対象商品を指定させるために、適正情報テーブルＴ１と不適正情報テーブルＴ２とに登録された商品の一覧を有する。また、マニュアル出力画面は、指定された商品のかざし方マニュアルを出力する出力ボタンを有する。

次いで、ＰＯＳ端末１１の入力受付部５５は、かざし方マニュアルを出力する対象商品を指定する入力を受け付ける（ステップＳ４２）。

次いで、ＰＯＳ端末１１のマニュアル出力部９４は、マニュアル出力画面の出力ボタンの押下が検出するか否かを判定する（ステップＳ４３）。出力ボタンの押下が検出されない場合に（ステップＳ４３；Ｎｏ）、ＰＯＳ端末１１のマニュアル出力部９４は、かざし方マニュアルの出力を待機する。

一方、出力ボタンの押下が検出された場合に（ステップＳ４３；Ｙｅｓ）、ＰＯＳ端末１１のマニュアル出力部９４は、かざし方マニュアルをＨＤＤ６４に出力する（ステップＳ４４）。なお、マニュアル出力部９４は、ＨＤＤ６４以外の記憶媒体にかざし方マニュアルを出力してもよい。

ここで、図１３は、かざし方マニュアルＭ１の一例を示す説明図である。かざし方マニュアルＭ１は、撮像部１６４への商品のかざし方の一例として、適正情報テーブルＴ１の適正情報と不適正情報テーブルＴ２の不適正情報とを商品ごとに提示する。すなわち、かざし方マニュアルＭ１は、商品ごとに類似度が高いフレーム画像と、類似度が低いフレーム画像とを提示する。さらに、かざし方マニュアルＭ１は、類似度を示す情報を提示する。かざし方マニュアルＭ１の類似度を示す情報とは、適正なかざし方を示す適正との文言と、不適正なかざし方を示す不適正との文言と、類似度を示す数字である。図１３に示すかざし方マニュアルＭ１は、類似度を示す数字として、画像Ａ−１に９８％、画像Ａ−１４に２％と提示している。また、図１３に示すかざし方マニュアルＭ１は、他のフレーム画像にも同様に類似度を示す情報を提示している。オペレータは、かざし方マニュアルＭ１を参照することで、撮像部１６４への商品の適切なかざし方と、撮像部１６４への商品の不適切なかざし方とを習得することができる。図１３に示すかざし方マニュアルＭ１は、商品Ａ、商品Ｂ及び商品Ｃの適正情報と不適正情報とが提示されている。すなわち、図１３に示すかざし方マニュアルＭ１は、各商品の類似度が高いフレーム画像と、類似度が低いフレーム画像とを提示している。

次いで、ＰＯＳ端末１１の表示制御部９５は、マニュアル印刷画面（不図示）を表示する（ステップＳ４５）。マニュアル印刷画面は、かざし方マニュアルＭ１を印刷するか否かを入力する画面である。マニュアル印刷画面は、印刷ボタンと、閉じるボタンとを有する。印刷ボタンは、かざし方マニュアルＭ１を印刷する場合に押下するボタンである。閉じるボタンは、かざし方マニュアルＭ１を印刷せずにマニュアル印刷画面を閉じる場合に押下するボタンである。

次いで、ＰＯＳ端末１１の入力受付部５５は、印刷ボタンの押下が検出されるか否かを判定する（ステップＳ４６）。印刷ボタンの押下が検出された場合に（ステップＳ４６；Ｙｅｓ）、ＰＯＳ端末１１の印刷制御部９６は、かざし方マニュアルＭ１を第２のプリンタ１２１に印刷させる（ステップＳ４７）。

印刷ボタンの押下が検出されない場合に（ステップＳ４６；Ｎｏ）、ＰＯＳ端末１１の入力受付部５５は、マニュアル印刷画面の閉じるボタンの押下が検出されるか否かを判定する（ステップＳ４８）。マニュアル印刷画面の閉じるボタンの押下が検出されない場合に（ステップＳ４８；Ｎｏ）、ＰＯＳ端末１１のＣＰＵ６１は、ステップＳ４６に移行する。

一方、マニュアル印刷画面の閉じるボタンの押下が検出された場合に（ステップＳ４８；Ｙｅｓ）、ＰＯＳ端末１１のＣＰＵ６１は、かざし方マニュアルＭ１を印刷せずにマニュアル印刷画面を閉じてマニュアル出力処理を終了する。かざし方マニュアルＭ１には、適切なかざし方によって撮像部１６４が撮像した商品のフレーム画像と、不適切なかざし方によって撮像部１６４が撮像した商品のフレーム画像とが提示される。また、かざし方マニュアルＭ１には、類似度を示す情報が提示される。よって、オペレータは、かざし方マニュアルＭ１を参照することで、商品のかざし方の適否を習得することができる。

以上のように、本実施形態のＰＯＳ端末１１によれば、物品指定部９１は、ＰＬＵファイルＦ１に記憶された登録商品から対象商品を指定する入力を受け付ける。類似度判定部５４は、撮像部１６４が撮像したフレーム画像から抽出した特徴量と、ＰＬＵファイルＦ１に記憶された対象商品の特徴量とを比較して類似度を算出する。そして、テーブル更新部９３は、算出した類似度が適正情報テーブルＴ１に記憶された類似度より高い場合に、撮像したフレーム画像を適正情報テーブルＴ１に記憶させる。また、テーブル更新部９３は、算出した類似度が不適正情報テーブルＴ２に記憶された類似度より低い場合に、撮像したフレーム画像を不適正情報テーブルＴ２に記憶させる。マニュアル出力部９４は、適正情報テーブルＴ１と不適正情報テーブルＴ２とに記憶されたフレーム画像と、類似度を示す情報とを出力する。これにより、オペレータは、撮像部１６４への商品の適切なかざし方と、不適切なかざし方とを出力されたフレーム画像を参照することができる。よって、オペレータは、商品のかざし方の適否を習得することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

例えば、上記実施形態では、ＰＯＳ端末１１がＰＬＵファイルＦ１を備える形態としたが、これに限らず、商品読取装置１０１がＰＬＵファイルＦ１を備える形態としてもよい。または、ＰＯＳ端末１１及び商品読取装置１０１がアクセス可能な外部装置がＰＬＵファイルＦ１を備える形態としてもよい。

また、上記実施形態では、テーブル更新部９３は、フレーム画像選出部９２が選出されたフレーム画像を、適正情報テーブルＴ１または不適正情報テーブルＴ２に登録するか否かを判定している。しかしながら、テーブル更新部９３は、撮像部１６４が撮像した全てのフレーム画像を登録候補としてもよい。この場合には、撮像部１６４は、フレーム画像を撮像するフレームレートを遅くすればよい。これにより、殆ど同じフレーム画像が適正情報テーブルＴ１または不適正情報テーブルＴ２に記憶されてしまうことを防止することができる。

また、上記実施形態では、画像取込部５１と、商品検出部５２と、類似度算出部５３と、類似度判定部５４と、入力受付部５５と、売上登録部５６と、物品指定部９１と、フレーム画像選出部９２と、テーブル更新部９３と、表示制御部９５と、マニュアル出力部９４と、印刷制御部９６と、通信制御部９７との機能を有する情報処理装置としてＰＯＳ端末１１を適用した。しかし、これに限らず、上述の機能を備える情報処理装置は、算出結果や判定結果をＰＯＳ端末１１に出力する商品読取装置１０１に適用してもよい。また、上記実施形態では、照合用データを特徴量として説明したが、照合用データは、撮像された商品画像（基準画像）としてもよい。

また、上記実施形態では、店舗システムとしてＰＯＳ端末１１と商品読取装置１０１とで構成されるチェックアウトシステム１を適用した。しかし、これに限るものではなく、ＰＯＳ端末１１及び商品読取装置１０１の機能を備えた１台構成の装置に適用するようにしてもよい。ＰＯＳ端末１１及び商品読取装置１０１の機能を備えた１台構成の装置としては、スーパーマーケット等の店舗に設置されて用いられるセルフチェックアウト装置（以降、セルフＰＯＳとする）が挙げられる。

ここで、図１４は、セルフＰＯＳ２００の構成を示す外観斜視図である。図１５は、セルフＰＯＳ２００のハードウェア構成を示すブロック図である。なお、以下では、図１および図２に示される同様の構成については同一の符号を付して示し、その重複する説明を省略する。図１４および図１５に示すように、セルフＰＯＳ２００の本体２０２は、タッチパネル１０５が表面に配設された第１の表示デバイス１０６や、商品の種別等を認識（検出）するために商品画像を読み取る商品読取部１１０を備える。

第１の表示デバイス１０６は、例えば液晶表示器などである。第１の表示デバイス１０６は、例えば、案内画面や、入力画面や、売上登録画面や、精算画面等を表示する。案内画面は、客にセルフＰＯＳ２００の操作方法を知らせるための画面である。入力画面は、各種情報の入力を求める画面である。売上登録画面は、商品読取部１１０で読み込んだ商品情報を表示する画面である。精算画面は、商品の合計金額や預かり金額、釣銭額等を表示し、支払い方法の選択をする画面である。

商品読取部１１０は、客が商品に付されたコードシンボルを商品読取部１１０の読取窓１０３にかざすことで商品画像を撮像部１６４により読み取るものである。

また、本体２０２は、右側にかごに入った未精算の商品を置くための商品載置台２０３を備える。本体２０２は、左側に精算済みの商品を置くための商品載置台２０４が備える。商品載置台２０４は、精算済みの商品を入れるための袋を掛ける袋掛けフック２０５や、精算済みの商品を袋に入れる前に一時的に置いておくための一時置き台２０６を備える。商品載置台２０３，２０４は、計量器２０７，２０８をそれぞれ備え、精算の前後で商品の重量が同じであることを確認する機能を有する。

また、セルフＰＯＳ２００は、本体２０２に精算用の紙幣の入金や釣り紙幣の受け取りを行うための釣り銭器２０１を備える。

このような構成のセルフＰＯＳ２００を店舗システムに適用した場合、セルフＰＯＳ２００が情報処理装置として機能することになる。

上記実施形態や変形例の各装置で実行されるプログラムは、各装置が備える記憶媒体（ＲＯＭ又は記憶部）に予め組み込んで提供するものとするが、これに限らないものとする。例えば、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。さらに、記憶媒体は、コンピュータ或いは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶又は一時記憶した記憶媒体も含まれる。

また、上記実施形態や変形例の各装置で実行されるプログラムをインターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよいし、インターネット等のネットワーク経由で提供又は配布するように構成してもよい。

１１ ＰＯＳ端末
５１ 画像取込部
５２ 商品検出部
５３ 類似度算出部
５４ 類似度判定部
５５ 入力受付部
５６ 売上登録部
９１ 物品指定部
９２ フレーム画像選出部
９３ テーブル更新部
９４ マニュアル出力部
９５ 表示制御部
９６ 印刷制御部
９７ 通信制御部
６４ ＨＤＤ
Ｆ１ ＰＬＵファイル
Ｔ１ 適正情報テーブル
Ｔ２ 不適正情報テーブル

特開２００３−１７３３６９号公報

Claims (6)

1. 各物品を識別するための特徴量を物品ごとに記憶した辞書から、対象の物品を指定する指定手段と、
   撮像部にかざされた物体を当該撮像部で撮像した画像を取り込む取込手段と、
   前記取込手段が取り込んだ前記画像に含まれる前記物体の特徴量と、前記指定手段が指定した前記物品の特徴量とを比較し、その類似度を算出する算出手段と、
   前記算出手段が算出した前記類似度に応じて、前記取込手段が取り込んだ前記画像と、当該画像に含まれる前記物品の前記類似度とを対応付けて記憶するリストを更新する更新手段と、
   前記更新手段が更新した前記リストの前記画像及び当該画像の前記類似度を示す情報を出力する出力手段と、
   を備える情報処理装置。
2. 前記出力手段は、前記リストの前記画像及び当該画像の前記類似度を示す情報を提示した電子ファイルを出力する、
   請求項１に記載の情報処理装置。
3. 印字部を更に備え、
   前記出力手段は、前記電子ファイルを前記印字部に印字させる、
   請求項１または２に記載の情報処理装置。
4. 表示部を更に備え、
   前記出力手段は、前記リストの前記画像を前記表示部に表示させる、
   請求項１乃至３の何れか１に記載の情報処理装置。
5. 各物品を識別するための特徴量を物品ごとに記憶した辞書から、対象の物品を指定する指定手段と、
   撮像部にかざされた物体を当該撮像部で撮像した画像を取り込む取込手段と、
   前記取込手段が取り込んだ前記画像に含まれる前記物体の特徴量と、前記指定手段が指定した前記物品の特徴量とを比較し、その類似度を算出する算出手段と、
   前記算出手段が算出した前記類似度に応じて、前記取込手段が取り込んだ前記画像と、当該画像に含まれる前記物品の前記類似度とを対応付けて記憶するリストを更新する更新手段と、
   前記更新手段が更新した前記リストの前記画像及び当該画像の前記類似度を示す情報を出力する出力手段と、
   前記物品を識別するための特徴量を用いて前記撮像部が撮像した商品を識別して売上登録処理を実行する売上登録手段と、
   を備える店舗システム。
6. コンピュータを、
   各物品を識別するための特徴量を物品ごとに記憶した辞書から、対象の物品を指定する指定手段と、
   撮像部にかざされた物体を当該撮像部で撮像した画像を取り込む取込手段と、
   前記取込手段が取り込んだ前記画像に含まれる前記物体の特徴量と、前記指定手段が指定した前記物品の特徴量とを比較し、その類似度を算出する算出手段と、
   前記算出手段が算出した前記類似度に応じて、前記取込手段が取り込んだ前記画像と、当該画像に含まれる前記物品の前記類似度とを対応付けて記憶するリストを更新する更新手段と、
   前記更新手段が更新した前記リストの前記画像及び当該画像の前記類似度を示す情報を出力する出力手段と、
   として機能させるプログラム。

Images