JP2021002102A - 画像認識装置、ｐｏｓ端末装置、画像認識方法、およびプログラム - Google Patents

Abstract

【課題】複数の条件から一つを選択したことをシールで認識させる場合に、見逃しを低減できる画像認識装置、ＰＯＳ端末装置、画像認識方法およびプログラムを提供すること。【解決手段】実施形態の画像認識装置は、受付部と商品識別情報取得部と商品関連情報取得部と判定部と貼付物情報取得部と変更部と通知部とを持つ。受付部は、画像情報を受け付ける。商品識別情報取得部は、画像情報に基づき商品識別情報を取得する。商品関連情報取得部は、サーバから商品識別情報に関連する商品関連情報を取得する。判定部は、商品関連情報に基づき商品に貼付物が貼付されているかを判定する。貼付物情報取得部は、商品に貼付物が貼付されている場合に画像情報に基づき貼付物情報を取得する。変更部は、貼付物情報に基づき商品関連情報を変更する。通知部は、商品に貼付物が貼付されていると判定された場合に画像情報に基づき貼付物を取得できない場合に通知する。【選択図】図２

Description

本発明の実施形態は、画像認識装置、ＰＯＳ端末装置、画像認識方法、およびプログラムに関する。

撮影された画像データから、商品に付与された情報コードと値引き情報等の情報とを読み取る情報読取装置が知られている（例えば、特許文献１参照）。仮に、商品に情報コードと値引き情報等の情報とを表したシールを貼付しておき、情報読取装置に、そのシールを認識させることによって、情報コードと値引き情報等の情報とを読み取らせることを考える。このようにした場合には、情報読取装置が、商品に貼付されているシールを見逃してしまう可能性があった。

情報読取装置が、見逃しにくいシールのデザイン開発は、一般的に行われている。しかし、情報読取装置が、見逃しをなくすことは困難である。このため、情報コードと値引き情報等の情報との検出を確実にするには、商品にシールを貼付することでは運用が難しい。

しかし、シールは、人間にとっては分かりやすいため、商品にシールを貼付することによって運用することが理想的である。ただし、商品にシールを貼付する作業は手間がかかる。仮に、商品にシールを貼付する作業を、顧客に行わせる場合には、シールが、情報コードに貼付される可能性がある。シールが、情報コードに貼付された場合には、情報読取装置が、情報コードを読み取ることができなくなる。このため、商品にシールを貼付する作業を、顧客に行わせることは避けるべきである。

仮に、小売店で買った食料品を店内で食べるときに適用される消費税率と、その食料品を店外で食べるときに適用される消費税率とが異なるとする。この場合に、食料品に適用する消費税率を、商品に貼付されているシールで情報読取装置に認識させる。この場合にも、情報読取装置が、シールを見逃してしまうことが無く、顧客への負荷が低いことが必要になる。

以上は、食料品に適用する二種類の消費税率から一つを、商品に貼付されているシールで情報読取装置に認識させる場合に限らず、複数の条件から一つを選択したことを、シールで情報読取装置に認識させる場合に当てはまる。

特開２０１６−９１３６０号公報

本発明が解決しようとする課題は、複数の条件から一つを選択したことを、シールで認識させる場合に、見逃しを低減できる画像認識装置、ＰＯＳ端末装置、画像認識方法、およびプログラムを提供することである。

実施形態の画像認識装置は、画像情報受付部と、商品識別情報取得部と、商品関連情報取得部と、判定部と、貼付物情報取得部と、変更部と、通知部とを持つ。画像情報受付部は、商品を撮影することによって生成された画像情報を受け付ける。商品識別情報取得部は、前記画像情報に基づいて、前記商品を識別する情報である商品識別情報を取得する。商品関連情報取得部は、販売時点情報管理サーバから、前記商品識別情報に関連付けられている商品に関連する情報である商品関連情報を取得する。判定部は、前記商品関連情報に基づいて、前記商品に、第１貼付物と、前記第１貼付物に貼付されている第２貼付物とを含む貼付物が貼付されているか否かを判定する。貼付物情報取得部は、前記判定部が、前記商品に貼付物が貼付されていると判定した場合に、前記画像情報に基づいて、前記商品に貼付されている貼付物に表されている情報である貼付物情報を取得する。変更部は、前記貼付物情報に基づいて、前記商品関連情報取得部が取得した前記商品関連情報を変更する。通知部は、前記判定部が前記商品に貼付物が貼付されていると判定した場合に、前記貼付物情報取得部が、前記画像情報に基づいて、前記商品に貼付されている貼付物を取得できなかった場合に、通知する。

実施形態の商品販売情報処理システムの一例を示す図。 実施形態のＰＯＳ端末のハードウェア構成の一例を示す図。 実施形態のＰＯＳ端末の一例を示す機能ブロック図。 画像情報の一例を示す図。 実施形態の販売時点情報管理サーバの一例を示す図。 実施形態の販売時点情報管理サーバの商品関連情報ＤＢの一例を示す図。 ＰＯＳ端末が、情報コードと貼付物とを読み取る処理の一例を示す図。 実施形態の商品販売情報処理システムの動作の一例を示すフローチャート。 実施形態の変形例のＰＯＳ端末の一例を示す機能ブロック図。 画像情報の一例を示す図。

以下、実施形態の画像認識装置、ＰＯＳ端末装置、画像認識方法、およびプログラムを、図面を参照して説明する。なお以下の説明では、同一または類似の機能を有する構成に同一の符号を付す。そして、それら構成の重複する説明は省略する場合がある。

また、本願でいう「ＸＸに基づいて」とは、「少なくともＸＸに基づく」ことを意味し、ＸＸに加えて別の要素に基づく場合も含む。また、「ＸＸに基づいて」とは、ＸＸを直接に用いる場合に限定されず、ＸＸに対して演算や加工が行われたものに基づく場合も含む。「ＸＸ」は、任意の要素（例えば、任意の情報）である。

実施形態の商品販売情報処理システムについて説明する。図１は、実施形態の商品販売情報処理システムの一例を示す図である。図１に示されるように、実施形態の商品販売情報処理システム１は、小売店等の店舗で使用されるシステムである店舗システムとして構成される。商品販売情報処理システム１は、販売時点情報管理サーバ２とＰＯＳ（Ｐｏｉｎｔ Ｏｆ Ｓａｌｅｓ）端末３とを含んでいる。販売時点情報管理サーバ２とＰＯＳ端末３とは、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の電気通信回線４を介して電気的に接続されている。

販売時点情報管理サーバ２は、商品を販売することによる売り上げ実績を集計する。販売時点情報管理サーバ２は、ＰＯＳ端末３が商品識別情報に関連付けられている商品に関連する情報である商品関連情報を要求するために送信する商品関連情報要求を受信する。販売時点情報管理サーバ２は、受信した商品関連情報要求に基づいて、商品関連情報を含む商品関連情報応答を作成する。販売時点情報管理サーバ２は、作成した商品関連情報応答を、商品関連情報要求を送信したＰＯＳ端末３へ送信する。

ＰＯＳ端末３は、撮像部を備える。ＰＯＳ端末３は、撮像部に、商品を撮影させ、撮影させることによって生成された画像情報を受け付ける。ＰＯＳ端末３は、受け付けた画像情報に基づいて、商品を識別する情報である商品識別情報を取得する。ＰＯＳ端末３は、取得した商品識別情報を含む商品関連情報要求を作成する。ＰＯＳ端末３は、作成した商品関連情報要求を、販売時点情報管理サーバ２へ送信する。ＰＯＳ端末３は、送信した商品関連情報要求に対する応答である商品関連情報応答を受信する。

ＰＯＳ端末３は、受信した商品関連情報応答に含まれる商品関連情報を取得し、取得した商品関連情報に基づいて、貼付物が貼付される商品であるか否かを判定する。ＰＯＳ端末３は、貼付物が貼付される商品であると判定した場合に、画像情報に基づいて、商品に貼付されている貼付物を検出する処理を行う。ＰＯＳ端末３は、貼付物を検出した場合に、検出した貼付物に表されている情報である貼付物情報を取得する。ＰＯＳ端末３は、取得した貼付物情報に基づいて、取得した商品関連情報を変更する。

ＰＯＳ端末３は、貼付物が貼付される商品であると判定した場合に、画像情報に基づいて、商品に貼付されている貼付物を検出する処理を行っても、貼付物を検出できなかった場合に、通知する。

以下、商品販売情報処理システム１に含まれるＰＯＳ端末３と販売時点情報管理サーバ２とについて、順次説明する。ＰＯＳ端末３について説明する。図２は、実施形態のＰＯＳ端末のハードウェア構成の一例を示す図である。図２に示されるように、ＰＯＳ端末３は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３２ａ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３２ｂ、時計部３２ｃ、Ｉ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）ポート３２ｄ、ネットワークインタフェース３２ｇ、キーボードコントローラ３２ｈ、タッチパネルコントローラ３２ｉ、ディスプレイコントローラ３２ｊ、プリンタコントローラ３２ｋ、撮像部コントローラ３２ｎ、記憶装置コントローラ３２ｐ等を、備えている。図２に示されるように、これら各構成要素は、アドレスバス、データバス等のバスライン３２ｑを介して相互に接続されている。

ＣＰＵ３１は、ＲＯＭ３２ａ等に記憶されたコンピュータ読み取り可能な各種プログラムを実行することにより、ＰＯＳ端末３を制御する。ＲＯＭ３２ａは、ＣＰＵ３１が実行する各種データと、ＢＩＯＳプログラム、アプリケーションプログラム、デバイスドライバプログラム等の各種プログラムとを記憶する。ＲＡＭ３２ｂは、ＣＰＵ３１が各種プログラムを実行する際に一時的にデータやプログラムを記憶する。

本実施形態では、ＰＯＳ端末３用のアプリケーションプログラムには、ＣＣＤスキャナ等の撮像部３３ｇが商品を撮影することによって生成された画像情報を受け付けるモジュールが含まれる。また、ＰＯＳ端末３用のアプリケーションプログラムには、画像情報に基づいて、商品を識別する情報である商品識別情報を取得するモジュールが含まれる。また、ＰＯＳ端末３用のアプリケーションプログラムには、販売時点情報管理サーバ２から、商品識別情報に関連付けられている商品に関連する情報である商品関連情報を取得するモジュールが含まれる。また、ＰＯＳ端末３用のアプリケーションプログラムには、商品関連情報に基づいて、商品に、貼付物が貼付されているか否かを判定するモジュールが含まれる。また、ＰＯＳ端末３用のアプリケーションプログラムには、商品に貼付物が貼付されていると判定した場合に、画像情報に基づいて、商品に貼付されている貼付物を検出するモジュールが含まれる。また、ＰＯＳ端末３用のアプリケーションプログラムには、検出した貼付物に表されている情報である貼付物情報を取得するモジュールが含まれる。また、ＰＯＳ端末３用のアプリケーションプログラムには、貼付物情報に基づいて、取得した商品関連情報を変更するモジュールが含まれる。また、ＰＯＳ端末３用のアプリケーションプログラムには、商品に貼付物が貼付されていると判定した場合に、画像情報に基づいて、商品に貼付されている貼付物を検出しなかった場合に、通知するモジュールが含まれる。

時計部３２ｃは、現在の日時を計時する。Ｉ／Ｏポート３２ｄは、モードスイッチ３２ｅとドロワ開放装置３２ｆと接続される。Ｉ／Ｏポート３２ｄは、モードスイッチ３２ｅが出力したモード選択信号を取得する。Ｉ／Ｏポート３２ｄは、ドロワ（図示せず）の引出しを自動開放させるドロワ開放装置３２ｆに信号を出力する。

ネットワークインタフェース（Ｉ／Ｆ）３２ｇは、電気通信回線４等を通じて接続される他の装置との間で、データ通信を行う。本実施形態では、ＰＯＳ端末３が、ネットワークインタフェース（Ｉ／Ｆ）３２ｇを介して、販売時点情報管理サーバ２との間で、データ通信を行う場合について説明を続ける。キーボードコントローラ３２ｈは、キーボード３３ａと接続される。キーボードコントローラ３２ｈは、キーボード３３ａが出力する操作キーに対応したキー信号を取得し、取得したキー信号をＣＰＵ３１に出力する。

タッチパネルコントローラ３２ｉは、タッチパネルセンサ３３ｂと、ディスプレイ３３ｃと接続される。ここで、ディスプレイ３３ｃは、お客様が使用可能な客用のディスプレイである。タッチパネルコントローラ３２ｉは、客用のディスプレイ３３ｃを制御して、ＣＰＵ３１が出力したデータを処理することによって得られる画像等を、ディスプレイ３３ｃに表示させる。タッチパネルセンサ３３ｂは、ディスプレイ３３ｃに設けられ、お客様が任意の位置を押すことによって、押された位置に対応する信号を出力する。タッチパネルコントローラ３２ｉは、タッチパネルセンサ３３ｂが出力した信号を取得し、取得した信号をＣＰＵ３１に出力する。

ディスプレイコントローラ３２ｊは、ディスプレイ３３ｄと接続される。ここで、ディスプレイ３３ｄは、オペレータ（店員）が使用するオペレータ用のディスプレイである。ディスプレイコントローラ３２ｊは、オペレータ用のディスプレイ３３ｄを制御して、ＣＰＵ３１が出力したデータを処理することによって得られる画像等を、オペレータ用のディスプレイ３３ｄに表示させる。

プリンタコントローラ３２ｋは、レシート／ジャーナル（Ｒ／Ｊ）プリンタ３３ｅと接続される。プリンタコントローラ３２ｋは、Ｒ／Ｊプリンタ３３ｅを制御し、ＣＰＵ３１が出力したデータを取得し、取得したデータを処理することによって、Ｒ／Ｊプリンタ３３ｅに、レシート印字およびジャーナル印字を行わせる。撮像部コントローラ３２ｎは、撮像部３３ｇと接続される。撮像部３３ｇの一例は、カメラ、ＣＣＤスキャナ等である。撮像部コントローラ３２ｎは、撮像部３３ｇを制御して、撮像部３３ｇに画像を撮影させる。撮像部コントローラ３２ｎは、撮像部３３ｇが撮影した画像に基づいて画像情報を生成し、生成した画像情報を、画像ＩＤとともにＣＰＵ３１へ出力する。

記憶装置コントローラ３２ｐは、記憶装置３３ｈと接続される。記憶装置３３ｈは、例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、またはこれらのうち複数が組み合わされたハイブリッド型記憶装置などにより実現される。記憶装置コントローラ３２ｐは、ＣＰＵ３１が出力した指示信号に基づいて、記憶装置３３ｈに対するデータの書き込みおよび読み出しを制御する。記憶装置３３ｈは、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）プログラムや、アプリケーションプログラム、デバイスドライバプログラムなどの他、各種のデータを記憶する。

図３は、実施形態のＰＯＳ端末の一例を示す機能ブロック図である。ＰＯＳ端末３のＣＰＵ３１は、ＲＯＭ３２ａに記憶されているアプリケーションプログラムにしたがって、図３に示されるように、画像情報受付部３１ａと、商品識別情報取得部３１ｂと、商品関連情報取得部３１ｃと、判定部３１ｄと、貼付物検出部３１ｅと、貼付物情報取得部３１ｆと、変更部３１ｇと、通知部３１ｈと、登録部３１ｉと、決済部３１ｊとして機能する。

画像情報受付部３１ａは、撮像部コントローラ３２ｎが出力した画像情報と画像ＩＤとを受け付ける。ここで、画像情報は、前述したように、撮像部コントローラ３２ｎが、撮像部３３ｇが撮影した画像に基づいて生成したものである。画像情報受付部３１ａは、受け付けた画像情報と画像ＩＤとを、商品識別情報取得部３１ｂと、貼付物検出部３１ｅとに出力する。

ここで、画像情報受付部３１ａが受け付ける画像情報の一例について説明する。図４は、画像情報の一例を示す図である。商品５０には、情報コード５１と、貼付物５２とが付与されている。商品５０は、経済活動において生産、流通、交換される物財のことである。商品５０は、食料品と、食料品以外の物とを含む。食料品の例は、おむすび、サンドイッチ、総菜、弁当、飲料などであり、食料品以外の物は、衣類、本、雑誌などである。

情報コード５１は、商品５０を識別する情報である商品識別情報を、数値、文字などの情報で表したものである。情報コード５１の一例は、数字、文字、記号などの情報を一定の規則にしたがい一次元のコードに変換したものであるバーコード、ドットを縦横に配列し多くの情報を表した二次元コード、ＱＲコード（登録商標）などが含まれる。

貼付物５２は、商品５０が食料品である場合に、その商品５０に貼付される。つまり、商品５０が食料品である場合には、画像情報に、情報コード５１の画像情報と貼付物５２の画像情報とが含まれる。商品５０が食料品以外のものである場合には、画像情報に、情報コード５１の画像情報が含まれる。貼付物５２は、第１貼付物５２ａと、第２貼付物５２ｂとを含む。第１貼付物５２ａは、台紙などのシートの裏面に塗布された接着剤などによって、商品５０に貼付される。第２貼付物５２ｂは、台紙などのシートの裏面に塗布された接着剤などによって、第１貼付物５２ａに貼付される。第１貼付物５２ａは、小売店で買った食料品を店内で飲食することを表す。第２貼付物５２ｂは、小売店で買った食料品を店外で飲食することを表す。第１貼付物５２ａを商品５０に接着する接着剤の接着力よりも、第２貼付物５２ｂを第１貼付物５２ａに接着する接着剤の接着力の方が低いことが好ましい。このように構成することによって、第２貼付物５２ｂをはがす場合に、第１貼付物５２ａがはがれてしまうことを低減できる。

店内に貼付物５２が貼付された商品５０が陳列される場合には、図４の左図に示すように、第１貼付物５２ａに重なるように第２貼付物５２ｂが貼付されている。小売店の店員が、貼るようにしてもよい。

小売店のお客様は、食料品である商品５０を購入し、その食料品を店外で食べる場合には、第２貼付物５２ｂが貼付されたまま商品５０をレジカウンターへ持っていく。つまり、小売店のお客様は、第２貼付物５２ｂが見える状態で、商品５０をレジカウンターへ持っていく。レジカウンターは、商品５０の決済を行う場所であり、一又は複数のレジスターが設置されている。

また、小売店のお客様は、食料品である商品５０を購入し、その食料品を店内で食べる場合には、図４の真ん中の図に示すように、第１貼付物５２ａに重なるように貼付されている第２貼付物５２ｂをはがす。図４の真ん中の図は、第２貼付物５２ｂが、半分程度はがれた状態を示す。第２貼付物５２ｂをはがした後に、小売店のお客様は、図４の右図に示すように、第２貼付物５２ｂをはがした状態で、商品５０をレジカウンターへ持っていく。つまり、小売店のお客様は、第１貼付物５２ａが見える状態で、商品５０をレジカウンターへ持っていく。図３に戻り説明を続ける。

商品識別情報取得部３１ｂは、画像情報受付部３１ａが出力した画像情報と画像ＩＤとを取得する。商品識別情報取得部３１ｂは、画像情報を解析することによって、情報コード５１から、商品識別情報を取得する。例えば、商品識別情報取得部３１ｂは、オブジェクト認識処理、パターンマッチングなど行うことによって、情報コード５１から、商品識別情報を取得する。商品識別情報の一例は、ＷＰＣ（Ｗｏｒｌｄ Ｐｒｏｄｕｃｔ Ｃｏｄｅ）である。商品識別情報取得部３１ｂは、取得した商品識別情報と画像ＩＤとを関連付けた情報を商品関連情報取得部３１ｃに出力する。

商品関連情報取得部３１ｃは、商品識別情報取得部３１ｂが出力した商品識別情報と画像ＩＤとを関連付けた情報を取得する。商品関連情報取得部３１ｃは、販売時点情報管理サーバ２から、取得した商品識別情報に関連付けられている商品関連情報を取得する。具体的には、商品関連情報取得部３１ｃは、取得した商品識別情報と画像ＩＤとを関連付けた情報を含み、販売時点情報管理サーバ２を宛先とする商品関連情報要求を作成し、作成した商品関連情報要求を、ネットワークＩ／Ｆ３２ｇに出力する。商品関連情報取得部３１ｃは、商品関連情報要求に対して、販売時点情報管理サーバ２が送信した商品関連情報応答を、ネットワークＩ／Ｆ３２ｇから取得する。商品関連情報取得部３１ｃは、取得した商品関連情報応答に含まれる商品関連情報を取得し、取得した商品関連情報を、判定部３１ｄに出力する。商品関連情報には、画像ＩＤと、商品の名称と、その商品の価格と、その商品に適用される消費税率と、貼付物が貼付されるか否かを示す情報とが含まれる。ここでは、商品関連情報に含まれるその商品に適用される消費税率が、第１税率である場合について説明を続ける。第１税率は、例えば８％である。

判定部３１ｄは、商品関連情報取得部３１ｃが出力した商品関連情報を取得する。判定部３１ｄは、取得した商品関連情報に含まれる貼付物５２が貼付されるか否かを示す情報に基づいて、商品５０が、貼付物５２が貼付される商品であるか否かを判定する。具体的には、判定部３１ｄは、商品関連情報に含まれる貼付物５２が貼付されるか否かを示す情報が、貼付物５２が貼付されることを示す場合には商品５０に貼付物５２が貼付されると判定し、貼付物５２が貼付されることを示さない場合には商品５０に貼付物５２が貼付されないと判定する。

判定部３１ｄは、商品５０に貼付物５２が貼付されると判定した場合に、商品関連情報を、貼付物検出部３１ｅに出力する。判定部３１ｄは、商品５０に貼付物５２が貼付されないと判定した場合に、商品関連情報を、登録部３１ｉに出力する。

貼付物検出部３１ｅは、画像情報受付部３１ａが出力した画像情報と画像ＩＤとを関連付けた情報を取得する。貼付物検出部３１ｅは、判定部３１ｄが出力した商品関連情報を取得した場合、取得した商品関連情報に含まれる画像ＩＤに基づいて、その画像ＩＤと同じ画像ＩＤと関連付けられている画像情報を取得する。貼付物検出部３１ｅは、取得した画像情報を解析することによって、貼付物５２を検出する処理を行う。貼付物検出部３１ｅは、貼付物５２を検出できた場合に、検出した貼付物５２の画像情報と、商品関連情報とを、貼付物情報取得部３１ｆに出力する。貼付物検出部３１ｅは、貼付物５２を検出できなかった場合に、その商品５０についての処理を中止し、貼付物５２を検出できなかったことを示す情報を、通知部３１ｈに出力する。

貼付物情報取得部３１ｆは、貼付物検出部３１ｅが出力した貼付物５２の画像情報と、商品関連情報とを取得する。貼付物情報取得部３１ｆは、取得した貼付物５２の画像情報を解析することによって、貼付物情報を取得する。具体的には、貼付物情報取得部３１ｆは、オブジェクト認識処理、パターンマッチングなど行うことによって、貼付物５２の画像情報が、第１貼付物５２ａと、第２貼付物５２ｂとのいずれであるかを判定する。貼付物情報取得部３１ｆは、判定した結果に基づいて、商品５０を店内で飲食することを示す情報と、商品５０を店外で飲食することを示す情報とのいずれかを取得する。

ここで、貼付物情報取得部３１ｆは、オブジェクト認識処理、パターンマッチングなど行うことによって、第１貼付物５２ａと第２貼付物５２ｂとの両方を検出した場合には、第２貼付物５２ｂと判定してもよい。このように構成することによって、お客様によっては、店内で飲食しようと思って、第２貼付物５２ｂをはがしてしまったが、その後に、意思が変わって、はがした第２貼付物５２ｂを貼り付ける場合がある。この場合に、第１貼付物５２ａの上に、第２貼付物５２ｂをきちんと貼ることができればよいが、ずれてしまい、第１貼付物５２ａと第２貼付物５２ｂとの両方が見える場合がある。このような場合に、貼付物情報取得部３１ｆは、第２貼付物５２ｂと判定するため、お客様にとって、意思の変更が容易となる。

貼付物情報取得部３１ｆは、商品５０を店内で飲食することを示す情報と商品５０を店外で飲食することを示す情報とのいずれかと、商品関連情報とを、変更部３１ｇに出力する。

変更部３１ｇは、貼付物情報取得部３１ｆが出力した商品５０を店内で飲食することを示す情報と商品５０を店外で飲食することを示す情報とのいずれかと、商品関連情報とを取得する。変更部３１ｇは、取得した商品５０を店内で飲食することを示す情報と商品５０を店外で飲食することを示す情報とのいずれかに基づいて、商品関連情報を変更する。具体的には、変更部３１ｇは、商品５０を店外で飲食することを示す情報を取得した場合に、商品関連情報に含まれるその商品に適用される消費税率を、第１税率から第２税率に変更する。本実施形態では、第１税率より、第２税率の方が高い場合について説明を続ける。第２税率の一例は、１０％である。

変更部３１ｇは、その商品に適用される消費税率を、第１税率から第２税率に変更した場合には、変更した消費税率を含む商品関連情報を、登録部３１ｉに出力する。変更部３１ｇは、商品５０を店内で飲食することを示す情報を取得した場合には、商品関連情報を変更することなく、商品関連情報を、登録部３１ｉに出力する。

通知部３１ｈは、貼付物検出部３１ｅが出力した貼付物５２を検出できなかったことを示す情報を取得した場合に、店員にエラーが発生したことを通知する。具体的には、通知部３１ｈは、ディスプレイコントローラ３２ｊに、エラーが発生したことを示す画像情報を出力してもよい。この場合、ディスプレイコントローラ３２ｊは、通知部３１ｈが出力したエラーが発生したことを示す画像情報を取得し、取得した画像情報を処理することによって、ディスプレイ３３ｄにエラーが発生したことを示す画像を表示する。このように構成することによって、店員は、商品５０が食料品にもかかわらず、貼付物が貼付されていないことを認識できる。

登録部３１ｉは、判定部３１ｄ又は変更部３１ｇが出力した商品関連情報を取得する。登録部３１ｉは、取得した商品関連情報に含まれる商品の名称と、その商品の価格と、その商品に適用される消費税率とを関連付けた情報を、記憶装置コントローラ３２ｐに出力する。記憶装置コントローラ３２ｐは、登録部３１ｉが出力した商品の名称と、その商品の価格と、その商品に適用される消費税率とを関連付けた情報を取得し、取得した商品の名称と、その商品の価格と、その商品に適用される消費税率とを関連付けた情報を、記憶装置３３ｈに登録する。決済部３１ｊは、お客様が購入しようとしている全ての商品５０について登録処理が完了した場合に、決済処理を行う。決済処理は、現金、電子マネー、クレジットカードなどによって行われてもよい。

販売時点情報管理サーバ２の構成について説明する。図５は、実施形態の販売時点情報管理サーバの一例を示す図である。販売時点情報管理サーバ２は、ネットワークＩ／Ｆ２１と、記憶部２２と、情報処理部２３と、各構成要素を図５に示されているように電気的に接続するためのアドレスバスやデータバスなどのバスライン２５とを備える。

ネットワークＩ／Ｆ２１は、電気通信回線４などを通じて接続される他の装置との間で、データ通信を行う。本実施形態では、販売時点情報管理サーバ２が、ネットワークＩ／Ｆ２１を介して、ＰＯＳ端末３の間で、データ通信を行う場合について説明を続ける。ネットワークＩ／Ｆ２１は、ＰＯＳ端末３が出力した商品関連情報要求を取得し、取得した商品関連情報要求を、情報処理部２３に出力する。ネットワークＩ／Ｆ２１は、商品関連情報要求に対して、情報処理部２３が出力した商品関連情報応答を取得し、取得した商品関連情報応答を取得し、取得した商品関連情報応答を、ＰＯＳ端末３に出力する。

記憶部２２は、例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、またはこれらのうち複数が組み合わされたハイブリッド型記憶装置などにより実現される。記憶部２２には、情報処理部２３により実行されるプログラム２２ａと、アプリケーション２２ｂとが記憶される。また、記憶部２２には、商品関連情報ＤＢ２２ｃが記憶される。

プログラム２２ａは、例えばオペレーティングシステムであり、ユーザやアプリケーションプログラムとハードウェアの中間に位置し、ユーザやアプリケーションプログラムに対して標準的なインターフェースを提供すると同時に、ハードウェアなどの各リソースに対して効率的な管理を行う。

本実施形態では、販売時点情報管理サーバ２用のアプリケーション２２ｂに、ＰＯＳ端末３が送信した商品関連情報要求を受け付けるモジュールが含まれる。また、販売時点情報管理サーバ２用のアプリケーション２２ｂに、商品関連情報要求に含まれる商品識別情報に基づいて、商品関連情報ＤＢ２２ｃから、その商品識別情報に関連付けて記憶されている商品の名称と、その商品の価格と、その商品に適用される消費税率と、貼付物が貼付されるか否かを示す情報とを取得するモジュールが含まれる。また、販売時点情報管理サーバ２用のアプリケーション２２ｂに、取得した商品の名称と、その商品の価格と、その商品に適用される消費税率と、貼付物が貼付されるか否かを示す情報と、商品関連情報要求に含まれる画像ＩＤとを含む商品関連情報応答を作成するモジュールが含まれる。また、販売時点情報管理サーバ２用のアプリケーション２２ｂに、作成した商品関連情報応答を出力するモジュールが含まれる。

商品関連情報ＤＢ２２ｃについて説明する。図６は、実施形態の販売時点情報管理サーバの商品関連情報ＤＢの一例を示す図である。図６に示されるように、商品関連情報ＤＢ２２ｃは、商品識別情報と、その商品の名称と、その商品の価格と、その商品に適用される消費税率と、その商品への貼付物の貼付の有無を示す情報とを関連付けたテーブル形式の情報である。

図６に示される例では、商品識別情報「*****」と、商品の名称「*****」と、商品の価格「*****」と、消費税率「**」と、貼付物の貼付の有無「**」とが関連付けられている。
また、図６に示される例では、商品識別情報「+++++」と、商品の名称「+++++」と、商品の価格「+++++」と、消費税率「++」と、貼付物の貼付の有無「++」とが関連付けられている。図５に戻り説明を続ける。

情報処理部２３は、例えば、ＣＰＵなどのプロセッサが記憶部２２に格納されたプログラム２２ａとアプリケーション２２ｂとを実行することにより実現されるソフトウェア機能部である。なお、情報処理部２３の全部または一部は、ＬＳＩ、ＡＳＩＣ、またはＦＰＧＡなどのハードウェアにより実現されてもよく、ソフトウェア機能部とハードウェアとの組み合わせによって実現されてもよい。情報処理部２３は、例えば、受付部２３ａと、処理部２３ｂとして機能する。

受付部２３ａは、ネットワークＩ／Ｆ２１が出力した商品関連情報要求を受け付ける。受付部２３ａは、受け付けた商品関連情報要求を、処理部２３ｂに出力する。処理部２３ｂは、受付部２３ａが出力した商品関連情報要求を取得し、取得した商品関連情報要求に含まれる商品識別情報を取得する。処理部２３ｂは、取得した商品識別情報に基づいて、商品関連情報ＤＢ２２ｃから、その商品識別情報に関連付けて記憶されている商品の名称と、その商品の価格と、その商品に適用される消費税率と、貼付物が貼付されるか否かを示す情報とを取得する。処理部２３ｂは、取得した商品の名称と、その商品の価格と、その商品に適用される消費税率と、貼付物が貼付されるか否かを示す情報と、商品関連情報要求に含まれる画像ＩＤとを含む商品関連情報応答を作成する。処理部２３ｂは、作成した商品関連情報応答を、ネットワークＩ／Ｆ２１へ出力する。

図７は、ＰＯＳ端末が、情報コードと貼付物とを読み取る処理の一例を示す図である。ＰＯＳ端末３の撮像部３３ｇは、商品５０に付与された情報コード５１と、貼付物５２とを読み取る。図５に示される例では、撮像部３３ｇは、店員が撮像部３３ｇの手前側（図５の紙面手前側）で、矢印で示すように、例えば図５の左側から右側へ通過させた商品５０の情報コード５１と貼付物５２とを読み取る。

実施形態の商品販売情報処理システムの動作について説明する。図８は、実施形態の商品販売情報処理システムの動作の一例を示すフローチャートである。図８には、主に、ＰＯＳ端末３の動作が示されている。

（ステップＳ１） 店員が商品５０を撮像部３３ｇの手前側を通過させた場合に、撮像部３３ｇは、撮像部コントローラ３２ｎの制御に基づいて、商品５０を撮像する。撮像部コントローラ３２ｎは、撮像部３３ｇが撮像した画像に基づいて、画像情報を生成する。撮像部コントローラ３２ｎは、生成した画像情報を、画像ＩＤとともにＣＰＵ３１へ出力する。ＣＰＵ３１は、画像情報受付部３１ａとして動作する。画像情報受付部３１ａは、撮像部コントローラ３２ｎが出力した画像情報と画像ＩＤとを受け付ける。画像情報受付部３１ａは、受け付けた画像情報と画像ＩＤとを、商品識別情報取得部３１ｂと、貼付物検出部３１ｅとに出力する。

（ステップＳ２） ＣＰＵ３１は、商品識別情報取得部３１ｂとして動作する。商品識別情報取得部３１ｂは、画像情報受付部３１ａが出力した画像情報と画像ＩＤとを取得し、取得した画像情報を解析することによって、商品識別情報を取得する。商品識別情報取得部３１ｂは、取得した商品識別情報と画像ＩＤとを関連付けた情報を商品関連情報取得部３１ｃに出力する。

（ステップＳ３） ＣＰＵ３１は、商品関連情報取得部３１ｃとして動作する。商品関連情報取得部３１ｃは、商品識別情報取得部３１ｂが出力した商品識別情報と画像ＩＤとを関連付けた情報を取得する。商品関連情報取得部３１ｃは、取得した商品識別情報と画像ＩＤとを関連付けた情報を含み、販売時点情報管理サーバ２を宛先とする商品関連情報要求を作成する。商品関連情報取得部３１ｃは、作成した商品関連情報要求を、ネットワークＩ／Ｆ３２ｇに出力する。ネットワークＩ／Ｆ３２ｇは、商品関連情報取得部３１ｃが出力した商品関連情報要求を取得し、取得した商品関連情報要求を、販売時点情報管理サーバ２へ送信する。

販売時点情報管理サーバ２のネットワークＩ／Ｆ２１は、ＰＯＳ端末３が送信した商品関連情報要求を取得し、取得した商品関連情報要求を、情報処理部２３へ出力する。情報処理部２３の受付部２３ａは、ネットワークＩ／Ｆ２１が出力した商品関連情報要求を取得し、取得した商品関連情報要求を処理部２３ｂへ出力する。処理部２３ｂは、受付部２３ａが出力した商品関連情報要求を取得し、取得した商品関連情報要求に含まれる商品識別情報を取得する。処理部２３ｂは、取得した商品識別情報に基づいて、商品関連情報ＤＢ２２ｃから、その商品識別情報に関連付けて記憶されている商品の名称と、その商品の価格と、その商品に適用される消費税率と、貼付物が貼付されるか否かを示す情報とを取得する。処理部２３ｂは、取得した商品の名称と、その商品の価格と、その商品に適用される消費税率と、貼付物が貼付されるか否かを示す情報と、商品関連情報要求に含まれる画像ＩＤとを含む商品関連情報応答を作成する。処理部２３ｂは、作成した商品関連情報応答を、ネットワークＩ／Ｆ２１へ出力する。ネットワークＩ／Ｆ２１は、処理部２３ｂが出力した商品関連情報応答を取得し、取得した商品関連情報応答を、ＰＯＳ端末３へ送信する。

ＰＯＳ端末３のネットワークＩ／Ｆ３２ｇは、販売時点情報管理サーバ２が送信した商品関連情報応答を取得し、取得した商品関連情報応答を、ＣＰＵ３１へ出力する。ＣＰＵ３１は、商品関連情報取得部３１ｃとして動作する。商品関連情報取得部３１ｃは、取得した商品関連情報応答に含まれる商品関連情報を取得し、取得した商品関連情報を、判定部３１ｄに出力する。

（ステップＳ４） ＣＰＵ３１は、判定部３１ｄとして動作する。判定部３１ｄは、商品関連情報取得部３１ｃが出力した商品関連情報を取得する。判定部３１ｄは、取得した商品関連情報に含まれる貼付物が貼付されるか否かを示す情報に基づいて、貼付物が貼付される商品であるか否かを判定する。判定部３１ｄは、貼付物が貼付される商品であると判定した場合に、商品関連情報を、貼付物検出部３１ｅに出力する。

（ステップＳ５） ＣＰＵ３１は、貼付物検出部３１ｅとして動作する。貼付物検出部３１ｅは、画像情報受付部３１ａが出力した画像情報と画像ＩＤとを関連付けた情報を取得する。貼付物検出部３１ｅは、判定部３１ｄが出力した商品関連情報を取得した場合、取得した商品関連情報に含まれる画像ＩＤに基づいて、その画像ＩＤと同じ画像ＩＤと関連付けられている画像情報を取得する。貼付物検出部３１ｅは、取得した画像情報を解析することによって、貼付物を検出する処理を行う。

（ステップＳ６） ＣＰＵ３１は、貼付物検出部３１ｅとして動作する。貼付物検出部３１ｅは、貼付物を検出できなかった場合に、その商品５０についての処理を中止し、貼付物を検出できなかったことを示す情報を、通知部３１ｈに出力する。通知部３１ｈは、貼付物検出部３１ｅが出力した貼付物を検出できなかったことを示す情報を取得した場合に、店員にエラーが発生したことを通知する。

（ステップＳ７） 貼付物検出部３１ｅは、ステップＳ５で、貼付物を検出できた場合に、検出した貼付物の画像情報と、商品関連情報とを、貼付物情報取得部３１ｆに出力する。ＣＰＵ３１は、貼付物情報取得部３１ｆとして動作する。貼付物情報取得部３１ｆは、貼付物検出部３１ｅが出力した貼付物の画像情報と、商品関連情報とを取得する。貼付物情報取得部３１ｆは、取得した貼付物の画像情報を解析することによって、貼付物情報を取得する。貼付物情報取得部３１ｆは、取得した貼付物情報に基づいて、商品５０を店内で飲食することを示す情報と商品５０を店外で飲食することを示す情報とのいずれかを取得する。貼付物情報取得部３１ｆは、取得した商品５０を店内で飲食することを示す情報と商品５０を店外で飲食することを示す情報とのいずれかと、商品関連情報とを、変更部３１ｇに出力する。

（ステップＳ８） ＣＰＵ３１は、変更部３１ｇとして動作する。変更部３１ｇは、貼付物情報取得部３１ｆが出力した商品５０を店内で飲食することを示す情報と商品５０を店外で飲食することを示す情報とのいずれかと、商品関連情報とを取得する。変更部３１ｇは、取得した商品５０を店内で飲食することを示す情報と商品５０を店外で飲食することを示す情報とのいずれかに基づいて、商品関連情報に含まれるその商品に適用される消費税率を変更する。変更部３１ｇは、その商品に適用される消費税率を、第１税率から第２税率に変更した場合には、変更した消費税率を含む商品関連情報を、登録部３１ｉに出力する。変更部３１ｇは、商品５０を店内で飲食することを示す情報を取得した場合には、商品関連情報に変更を行わないで、商品関連情報を、登録部３１ｉに出力する。

（ステップＳ９） 判定部３１ｄは、ステップＳ４で、商品に貼付物が貼付されないと判定した場合に、商品関連情報を、登録部３１ｉに出力する。ＣＰＵ３１は、登録部３１ｉとして動作する。登録部３１ｉは、判定部３１ｄ又は変更部３１ｇが出力した商品関連情報を取得する。登録部３１ｉは、取得した商品関連情報に含まれる商品の名称と、その商品の価格と、その商品に適用される消費税率とを関連付けた情報を、記憶装置コントローラ３２ｐに出力する。記憶装置コントローラ３２ｐは、登録部３１ｉが出力した商品の名称と、その商品の価格と、その商品に適用される消費税率とを関連付けた情報を取得し、取得した商品の名称と、その商品の価格と、その商品に適用される消費税率とを関連付けた情報を、記憶装置３３ｈに登録する。

（ステップＳ１０） ＣＰＵ３１は、決済部３１ｊとして動作する。決済部３１ｊは、お客様が購入しようとしている全ての商品５０について登録処理が完了したか否かを判定する。登録処理が完了していない商品がある場合には、ステップＳ１に戻る。

（ステップＳ１１） 決済部３１ｊは、全ての商品５０について登録処理が完了した場合に、決済処理を行う。

前述した実施形態では、商品販売情報処理システム１にＰＯＳ端末３が一台含まれる場合について説明したが、この例に限られない。例えば、ＰＯＳ端末３が二台以上であってもよい。

前述した実施形態では、商品５０を撮像することによって、情報コード５１の画像と、貼付物５２の画像とを含む画像情報を取得する場合について説明したが、この例に限られない。例えば、情報コード５１の画像と、貼付物５２の画像とを異なるタイミングで取得してもよい。

前述した実施形態では、第１税率より、第２税率の方が高い場合について説明したが、この例に限られない。例えば、第１税率より、第２税率の方を低くしてもよい。

前述した実施形態では、商品５０を店内で飲食することと、商品５０を店外で飲食することとのいずれか一方を、貼付物５２で表す場合について説明したが、この例に限られない。例えば、三以上の条件から一つを選択したことを、貼付物で表してもよい。

前述した実施形態では、レジカウンターで店員が決済処理を行う場合について説明したが、この例に限られない。例えば、セルフレジにも適用できる。また、画像認識技術を使用したレジカウンターにも適用できる。

前述した実施形態において、ＰＯＳ端末３は、販売時点情報管理サーバ２から、商品識別情報に関連付けられている商品関連情報を取得できない場合に、店員に通知するようにしてもよい。

前述した実施形態において、情報コード５１と、貼付物５２とが一体化されてもよい。つまり、情報コード５１を含む貼付物が用意されてもよい。また、商品５０に、情報コード５１と、貼付物５２との両方を印刷するようにしてもよい。

以上説明した少なくとも一つの実施形態によれば、商品５０を店内で飲食することを表す第１貼付物５２ａ、商品５０を店外で飲食することを表す第２貼付物５２ｂなどの二者択一条件のいずれかを選択したことを表す貼付物５２を使用する。ＰＯＳ端末３は、商品に貼付物５２が貼付されていると判定した場合に、商品を撮影することによって生成された画像情報に基づいて、商品に貼付されている貼付物５２を検出しなかった場合に通知する。このように構成することによって、貼付物５２が貼付される商品５０にもかかわらず、貼付物を見逃してしまうことを防止できる。

また、貼付物５２は、商品５０に貼付される第１貼付物５２ａと、第２貼付物５２ｂに貼付される第２貼付物５２ｂとを含む。このように構成することによって、一枚の貼付物５２を商品５０に貼付すればよいため、二枚以上の貼付物を商品に貼付する場合と比較して、貼付処理の確実性を向上できるとともに、利便性を向上できる。また、お客様は、店外で飲食する場合には、第２貼付物５２ｂを貼付したままレジカウンターに商品を持って行けばよく、店内で飲食する場合には、第２貼付物５２ｂをはがして、第１貼付物５２ａが見える状態でレジカウンターに商品を持って行けばよいため、意思表示が容易である。前述した実施形態において、ＰＯＳ端末３は、画像認識装置の一例である。

実施形態の変形例の商品販売情報処理システムの一例について説明する。実施形態の変形例の商品販売情報処理システムの一例は、図１を適用できる。ただし、ＰＯＳ端末３−１とＰＯＳ端末３−２との代わりに、ＰＯＳ端末３ａ−１とＰＯＳ端末３ａ−２とを備える。販売時点情報管理サーバ２とＰＯＳ端末３ａ−１とＰＯＳ端末３ａ−２とは、ＬＡＮなどの電気通信回線４を介して電気的に接続されている。以下、ＰＯＳ端末３ａ−１とＰＯＳ端末３ａ−２とのうち、任意のＰＯＳ端末を、ＰＯＳ端末３ａと記載する。ＰＯＳ端末３ａについて説明する。

販売時点情報管理サーバ２は、商品を販売することによる売り上げ実績を集計する。販売時点情報管理サーバ２は、ＰＯＳ端末３ａが送信する商品関連情報要求を受信し、受信した商品関連情報要求に基づいて、商品関連情報を含む商品関連情報応答を作成する。販売時点情報管理サーバ２は、作成した商品関連情報応答を、商品関連情報要求を送信したＰＯＳ端末３ａへ送信する。

ＰＯＳ端末３ａは、撮像部を備える。ＰＯＳ端末３ａは、撮像部に、商品を撮影させ、撮影させることによって生成させた画像情報を受け付ける。ＰＯＳ端末３ａは、受け付けた画像情報に基づいて、商品を識別する情報である商品識別情報を取得する。ＰＯＳ端末３ａは、取得した商品識別情報を含む関連情報要求を作成する。ＰＯＳ端末３ａは、作成した関連情報要求を、販売時点情報管理サーバ２へ送信する。ＰＯＳ端末３ａは、送信した関連情報要求に対する応答である関連情報応答を受信する。

ＰＯＳ端末３ａは、受信した関連情報応答に含まれる商品関連情報を取得し、取得した商品関連情報に基づいて、貼付物が貼付される商品であるか否かを判定する。ＰＯＳ端末３ａは、貼付物が貼付される商品であると判定した場合に、画像情報に基づいて、商品に貼付されている貼付物を検出する処理を行う。ＰＯＳ端末３ａは、貼付物を検出した場合に、検出した貼付物に表されている情報である貼付物情報を取得し、取得した貼付物情報に基づいて、取得した商品関連情報を変更する。

実施形態の変形例では、第１貼付物５２ａの代わりに、第１貼付物５２ａａを使用する点で、実施形態と異なる。第１貼付物５２ａａについては後述する。ＰＯＳ端末３ａは、貼付物が貼付される商品であると判定した場合に、画像情報に基づいて、商品に貼付されている貼付物を検出しなかった場合に、通知する。

以下、商品販売情報処理システム１に含まれるＰＯＳ端末３ａと販売時点情報管理サーバ２とのうち、実施形態と異なるＰＯＳ端末３ａについて説明する。ＰＯＳ端末３ａのハードウェア構成は、図２を適用できる。

図９は、実施形態の変形例のＰＯＳ端末の一例を示す機能ブロック図である。ＰＯＳ端末３ａのＣＰＵ３１は、ＲＯＭ３２ａに記憶されているアプリケーションプログラムにしたがって、図９に示されるように、画像情報受付部３１ａと、商品識別情報取得部３１ｂと、商品関連情報取得部３１ｃと、判定部３１ｄと、貼付物検出部３１ｅと、貼付物情報取得部３１ｆａと、変更部３１ｇと、通知部３１ｈと、登録部３１ｉと、決済部３１ｊとして機能する。

ここで、画像情報受付部３１ａが受け付ける画像情報の一例について説明する。図１０は、画像情報の一例を示す図である。商品５０には、情報コード５１と、貼付物５２とが付与されている。貼付物５２は、第１貼付物５２ａａと、第２貼付物５２ｂとを含む。第１貼付物５２ａａは、台紙などのシートの裏面に塗布された接着剤などによって、商品５０に貼付される。第２貼付物５２ｂは、台紙などのシートの裏面に塗布された接着剤などによって、第１貼付物５２ａａに貼付される。第１貼付物５２ａａは、小売店で買った食料品を店内で飲食することを表す。第２貼付物５２ｂは、小売店で買った食料品を店外で飲食することを表す。第１貼付物５２ａａを商品５０に接着する接着剤の接着力よりも、第２貼付物５２ｂを第１貼付物５２ａに接着する接着剤の接着力の方が低いことが好ましい。このように構成することによって、第２貼付物５２ｂをはがす場合に、第１貼付物５２ａａがはがれてしまうことを低減できる。

店内に貼付物５２が貼付された商品５０が陳列される場合には、図１０の左図に示すように、第１貼付物５２ａに重なるように第２貼付物５２ｂが貼付されている。小売店の店員が、貼るようにしてもよい。

小売店のお客様は、食料品である商品５０を購入し、その食料品を店外で食べる場合には、第２貼付物５２ｂが貼付されたまま商品５０をレジカウンターへ持っていく。つまり、小売店のお客様は、第２貼付物５２ｂが見える状態で、商品５０をレジカウンターへ持っていく。

また、小売店のお客様は、食料品である商品５０を購入し、その食料品を店内で食べる場合には、図１０の真ん中の図に示すように、第１貼付物５２ａａに重なるように貼付されている第２貼付物５２ｂをはがす。図１０の真ん中の図は、第２貼付物５２ｂが、半分程度はがれた状態を示す。第２貼付物５２ｂをはがした後に、小売店のお客様は、図１０の右図に示すように、第２貼付物５２ｂをはがした状態で、商品５０をレジカウンターへ持っていく。つまり、小売店のお客様は、第１貼付物５２ａａが見える状態でレジカウンターへ持っていく。第１貼付物５２ａａには、追加スタンプ用領域５２ａｂが含まれる。レジカウンターで、店員は、追加スタンプ用領域５２ａｂに、スタンプなどの追加印字を行う。

貼付物情報取得部３１ｆａは、貼付物検出部３１ｅが出力した貼付物５２の画像情報と、商品関連情報とを取得する。貼付物情報取得部３１ｆａは、取得した貼付物５２の画像情報を解析することによって、貼付物情報を取得する。具体的には、貼付物情報取得部３１ｆａは、オブジェクト認識処理、パターンマッチングなど行うことによって、貼付物５２の画像情報が、第１貼付物５２ａａと、第２貼付物５２ｂとのいずれであるかを判定する。

貼付物情報取得部３１ｆａは、第１貼付物５２ａａと判定した場合には、追加印字が行われているか否かを判定する。貼付物情報取得部３１ｆａは、第１貼付物５２ａａと判定し、且つ追加印字が行われている場合には、商品５０を店内で飲食することを示す情報を取得する。貼付物情報取得部３１ｆａは、第１貼付物５２ａａと判定し、且つ追加印字が行われていない場合又は、第２貼付物５２ｂと判定した場合には、商品５０を店外で飲食することを示す情報を取得する。

ここで、貼付物情報取得部３１ｆａは、オブジェクト認識処理、パターンマッチングなど行うことによって、第１貼付物５２ａａと第２貼付物５２ｂとの両方を検出した場合には、第２貼付物５２ｂと判定してもよい。このように構成することによって、お客様によっては、店内で飲食しようと思って、第２貼付物５２ｂをはがしてしまったが、その後に、意思が変わって、はがした第２貼付物５２ｂを貼り付ける場合がある。この場合に、第１貼付物５２ａａの上に、第２貼付物５２ｂをきちんと貼ることができればよいが、ずれてしまい、第１貼付物５２ａａと第２貼付物５２ｂとの両方が見える場合がある。このような場合に、貼付物情報取得部３１ｆは、第２貼付物５２ｂと判定するため、お客様にとって、意思の変更が容易となる。貼付物情報取得部３１ｆａは、商品５０を店内で飲食することを示す情報と商品５０を店外で飲食することを示す情報とのいずれかと、商品関連情報とを、変更部３１ｇに出力する。

実施形態の変形例の商品販売情報処理システムの動作は、図８を適用できる。ただし、ステップＳ７の処理が異なる。

ステップＳ７では、貼付物検出部３１ｅは、ステップＳ５で、貼付物を検出できた場合に、検出した貼付物の画像情報と、商品関連情報とを、貼付物情報取得部３１ｆａに出力する。貼付物情報取得部３１ｆａは、貼付物検出部３１ｅが出力した貼付物の画像情報と、商品関連情報とを取得する。貼付物情報取得部３１ｆａは、取得した貼付物の画像情報を解析することによって、貼付物情報を取得する。貼付物情報取得部３１ｆａは、貼付物５２の画像情報を解析することによって、第１貼付物５２ａａと、第２貼付物５２ｂとのいずれであるかを判定する。

貼付物情報取得部３１ｆａは、第１貼付物５２ａａと判定した場合には、追加印字が行われているか否かを判定する。貼付物情報取得部３１ｆａは、第１貼付物５２ａａと判定し、且つ追加印字が行われている場合には、商品５０を店内で飲食することを示す情報を取得する。貼付物情報取得部３１ｆａは、第１貼付物５２ａａと判定し、且つ追加印字が行われていない場合又は、第２貼付物５２ｂと判定には、商品５０を店外で飲食することを示す情報を取得する。貼付物情報取得部３１ｆａは、商品５０を店内で飲食することを示す情報と商品５０を店外で飲食することを示す情報とのいずれかと、商品関連情報とを、変更部３１ｇに出力する。

前述した実施形態の変形例では、貼付物情報取得部３１ｆａが、第１貼付物５２ａａと判定し、且つ追加印字が行われていない場合には、商品５０を店外で飲食することを示す情報を取得する場合について説明したが、この例に限られない。例えば、貼付物情報取得部３１ｆａは、第１貼付物５２ａａと判定し、且つ追加印字が行われていない場合には、エラーであることを示す情報を取得してもよい。貼付物情報取得部３１ｆａは、エラーであることを示す情報を取得した場合に、通知部３１ｈに、エラーであることを示す情報を出力する。通知部３１ｈは、貼付物情報取得部３１ｆａが出力したエラーであることを示す情報を取得した場合に、店員にエラーが発生したことを通知する。

実施形態の変形例によれば、第１貼付物５２ａに追加スタンプ用領域５２ａｂを設けた第１貼付物５２ａａを使用する。ＰＯＳ端末３は、第１貼付物５２ａａと判定し、且つ追加印字が行われている場合に、商品５０を店内で飲食することを示す情報を取得する。このように構成することによって、仮に、店内で飲食するお客様が、第２貼付物５２ｂを貼ったままの商品５０を持ってレジスタンドに向かい、決済が終了した後に、第２貼付物５２ｂをはがして、店内で飲食しようとした場合でも、追加スタンプ用領域５２ａｂにスタンプがないことによって、第２税率に該当する消費税を払っていないことを確認できる。

以上、本発明の実施形態およびその変形例を説明したが、これらの実施形態およびその変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態およびその変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、組合せを行うことができる。これら実施形態およびその変形例は、発明の範囲や要旨に含まれると同時に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１…商品販売情報処理システム、２…販売時点情報管理サーバ、３、３−１、３−２、３ａ−１、３ａ−２…ＰＯＳ端末、４…電気通信回線、２１…ネットワークＩ／Ｆ、２２…記憶部、２２ａ…プログラム、２２ｂ…アプリケーション、２２ｃ…商品関連情報ＤＢ、２３…情報処理部、２３ａ…受付部、２３ｂ…処理部、３１…ＣＰＵ、３１ａ…画像情報受付部、３１ｂ…商品識別情報取得部、３１ｃ…商品関連情報取得部、３１ｄ…判定部、３１ｅ…貼付物検出部、３１ｆ、３１ｆａ…貼付物情報取得部、３１ｇ…変更部、３１ｈ…通知部、３１ｉ…登録部、３１ｊ…決済部、５０…商品、５１…情報コード、５２…貼付物、５２ａ、５２ａａ…第１貼付物、５２ｂ…第２貼付物

Claims (6)

1. 商品を撮影することによって生成された画像情報を受け付ける画像情報受付部と、
   前記画像情報に基づいて、前記商品を識別する情報である商品識別情報を取得する商品識別情報取得部と、
   販売時点情報管理サーバから、前記商品識別情報に関連付けられている商品に関連する情報である商品関連情報を取得する商品関連情報取得部と、
   前記商品関連情報に基づいて、前記商品に、第１貼付物と、前記第１貼付物に貼付されている第２貼付物とを含む貼付物が貼付されているか否かを判定する判定部と、
   前記判定部が、前記商品に貼付物が貼付されていると判定した場合に、前記画像情報に基づいて、前記商品に貼付されている貼付物に表されている情報である貼付物情報を取得する貼付物情報取得部と、
   前記貼付物情報に基づいて、前記商品関連情報取得部が取得した前記商品関連情報を変更する変更部と、
   前記判定部が前記商品に貼付物が貼付されていると判定した場合、前記貼付物情報取得部が、前記画像情報に基づいて、前記商品に貼付されている貼付物を取得できなかった場合に通知する通知部と
   を有する画像認識装置。
2. 前記貼付物情報取得部は、前記第１貼付物と、前記第２貼付物とを検出した場合に、検出した第２貼付物に表されている貼付物情報を取得する、請求項１に記載の画像認識装置。
3. 前記第１貼付物は、追加情報が表される領域を含み、
   前記貼付物情報取得部は、前記第１貼付物と、前記領域に表される追加情報とを検出した場合に、検出した第１貼付物に表されている情報である第１貼付物情報を取得し、
   前記変更部は、前記第１貼付物情報に基づいて、前記商品関連情報取得部が取得した前記商品関連情報を変更する、請求項１又は請求項２に記載の画像認識装置。
4. 商品を撮影することによって生成された画像情報を受け付ける画像情報受付部と、
   前記画像情報に基づいて、前記商品を識別する情報である商品識別情報を取得する商品識別情報取得部と、
   販売時点情報管理サーバから、前記商品識別情報に関連付けられている商品に関連する情報である商品関連情報を取得する商品関連情報取得部と、
   前記商品関連情報に基づいて、前記商品に、第１貼付物と、前記第１貼付物に貼付されている第２貼付物とを含む貼付物が貼付されているか否かを判定する判定部と、
   前記判定部が、前記商品に貼付物が貼付されていると判定した場合に、前記画像情報に基づいて、前記商品に貼付されている貼付物を検出する貼付物検出部と、
   前記貼付物検出部が検出した前記貼付物に表されている情報である貼付物情報を取得する貼付物情報取得部と、
   前記貼付物情報に基づいて、前記商品関連情報取得部が取得した前記商品関連情報を変更する変更部と、
   前記判定部が、前記商品に貼付物が貼付されていると判定した場合に、前記貼付物検出部が、前記画像情報に基づいて、前記商品に貼付されている貼付物を検出しなかった場合に、通知する通知部と
   を有するＰＯＳ端末装置。
5. 商品を撮影することによって生成された画像情報に基づいて、前記商品を識別する情報である商品識別情報を取得するステップと、
   販売時点情報管理サーバから、前記商品識別情報に関連付けられている商品に関連する情報である商品関連情報を取得するステップと、
   前記商品関連情報に基づいて、前記商品に、第１貼付物と、前記第１貼付物に貼付されている第２貼付物とを含む貼付物が貼付されているか否かを判定するステップと、
   前記判定するステップで前記商品に貼付物が貼付されていると判定した場合に、前記画像情報に基づいて、前記商品に貼付されている貼付物に表されている情報である貼付物情報を取得するステップと、
   前記貼付物情報に基づいて、前記商品関連情報を取得するステップで取得した前記商品関連情報を変更するステップと、
   前記判定するステップで前記商品に貼付物が貼付されていると判定した場合に、前記貼付物を取得するステップで、前記画像情報に基づいて、前記商品に貼付されている貼付物を取得できなかった場合に、通知するステップと
   を有する、コンピュータが実行する画像認識方法。
6. コンピュータに、
   商品を撮影することによって生成された画像情報に基づいて、前記商品を識別する情報である商品識別情報を取得するステップと、
   販売時点情報管理サーバから、前記商品識別情報に関連付けられている商品に関連する情報である商品関連情報を取得するステップと、
   前記商品関連情報に基づいて、前記商品に、第１貼付物と、前記第１貼付物に貼付されている第２貼付物とを含む貼付物が貼付されているか否かを判定するステップと、
   前記判定するステップで前記商品に貼付物が貼付されていると判定した場合に、前記画像情報に基づいて、前記商品に貼付されている貼付物に表されている情報である貼付物情報を取得するステップと、
   前記貼付物情報に基づいて、前記商品関連情報を取得するステップで取得した前記商品関連情報を変更するステップと、
   前記判定するステップで前記商品に貼付物が貼付されていると判定した場合に、前記貼付物を検出するステップで、前記画像情報に基づいて、前記商品に貼付されている貼付物を取得できなかった場合に、通知するステップと
   を実行させる、プログラム。

Images