JP2013030202A - Store system and program - Google Patents
Store system and program Download PDFInfo
- Publication number
- JP2013030202A JP2013030202A JP2012243607A JP2012243607A JP2013030202A JP 2013030202 A JP2013030202 A JP 2013030202A JP 2012243607 A JP2012243607 A JP 2012243607A JP 2012243607 A JP2012243607 A JP 2012243607A JP 2013030202 A JP2013030202 A JP 2013030202A
- Authority
- JP
- Japan
- Prior art keywords
- product
- image
- unit
- registration
- recognized
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Cash Registers Or Receiving Machines (AREA)
Abstract
Description
本発明の実施形態は、店舗システムおよびプログラムに関する。 Embodiments described herein relate generally to a store system and a program.
従来、スーパーマーケット等では、商品に添付されたバーコードや二次元コード(例えばQRコード(登録商標))等のコードシンボルをCCDイメージセンサ等のデジタルカメラによって撮像し、その撮像した画像から検出したコードシンボルを検出して復号することで商品コードを読み取る商品コード読取装置が用いられている。 Conventionally, in a supermarket or the like, a code symbol such as a barcode or a two-dimensional code (for example, QR code (registered trademark)) attached to a product is imaged by a digital camera such as a CCD image sensor, and the code detected from the captured image 2. Description of the Related Art A product code reader that reads a product code by detecting and decoding a symbol is used.
しかしながら、従来技術においては、バーコードや二次元コード等のコードシンボルを商品に対して添付しなければならないため、生鮮食料品やパンなどについては、別途パッケージ等を用意してコードシンボルを添付するか、コードシンボル表を用意するようにしている。 However, in the prior art, since a code symbol such as a barcode or a two-dimensional code must be attached to a product, a package or the like is separately prepared for a fresh food product or bread, and the code symbol is attached. Or a code symbol table is prepared.
実施形態の店舗システムは、撮像手段が撮像した画像を出力する画像出力手段と、出力された前記画像の特徴量を読み取ることによって特定の物体を認識する物体認識手段と、認識された前記物体について、少なくとも商品名を含む商品に関する情報を記憶するファイルに基づいて売上登録を行う登録手段と、認識された前記物体毎の画像に対応させて前記商品名を付記した画像を表示部に表示する確認画像表示手段と、を備える。 The store system according to the embodiment includes an image output unit that outputs an image captured by an image capturing unit, an object recognition unit that recognizes a specific object by reading a feature amount of the output image, and the recognized object A registration unit for registering sales based on a file storing information on a product including at least a product name, and a confirmation to display an image with the product name added in correspondence with the recognized image of each object Image display means.
実施形態のプログラムは、コンピュータを、撮像手段が撮像した画像の特徴量を読み取ることによって特定の物体を認識する物体認識手段として機能させる。また、実施形態のプログラムは、コンピュータを、認識された前記物体について、少なくとも商品名を含む商品に関する情報を記憶するファイルに基づいて売上登録を行う登録手段と、認識された前記物体毎の画像に対応させて前記商品名を付記した画像を表示部に表示する確認画像表示手段と、として機能させる。 The program according to the embodiment causes a computer to function as an object recognition unit that recognizes a specific object by reading a feature amount of an image captured by the imaging unit. Further, the program according to the embodiment includes a registration unit that performs sales registration on the recognized object based on a file that stores information on a product including at least a product name, and an image for each recognized object. Correspondingly, it functions as confirmation image display means for displaying an image with the product name added thereto on the display unit.
以下では、チェックアウトシステムを例に本実施形態にかかる店舗システムおよびプログラムについて、図面を参照して説明する。店舗システムは、一取引にかかる商品の登録、精算を行うPOS端末を備えるチェックアウトシステム(POSシステム)などである。本実施形態は、スーパーマーケットや洋菓子店やドーナツ店等の店舗に導入されたチェックアウトシステムへの適用例である。 Below, the store system and program concerning this embodiment are explained with reference to drawings for a checkout system as an example. The store system is a checkout system (POS system) provided with a POS terminal that performs registration and settlement of commodities related to one transaction. This embodiment is an application example to a checkout system introduced in a store such as a supermarket, a pastry shop, or a donut shop.
図1は、チェックアウトシステム1を示す斜視図である。図1に示すように、チェックアウトシステム1は、一取引にかかる商品の登録、精算を行うPOS端末11を備える。POS端末11は、チェックアウト台51上のドロワ21上面に載置されている。ドロワ21は、POS端末11によって開放動作の制御を受ける。POS端末11の上面には、オペレータ(店員)によって押下操作されるキーボード22が配置されている。キーボード22を操作するオペレータから見てキーボード22よりも奥側には、オペレータに向けて情報を表示する表示デバイス23が設けられている。表示デバイス23は、その表示面23aに情報を表示する。表示面23aには、タッチパネル26が積層されている。表示デバイス23よりもさらに奥側には、表示部である顧客用表示デバイス24が回転自在に立設されている。顧客用表示デバイス24は、その表示面24aに情報を表示する。なお、図1に示す顧客用表示デバイス24は、表示面24aを図1中手前側に向けているが、表示面24aが図1中奥側に向くように顧客用表示デバイス24を回転させることによって、顧客用表示デバイス24は顧客に向けて情報を表示する。
FIG. 1 is a perspective view showing a checkout system 1. As shown in FIG. 1, the checkout system 1 includes a
POS端末11が載置されているチェックアウト台51とL字を形成するようにして、陳列ケース151が配置されている。陳列ケース151の上面には、荷受面152が形成されている。荷受面152には、商品Aを収納する紙箱153が載置される。なお、紙箱153は、洋菓子店やパン店等の店舗において用いられるトレイなどであっても良い。
A
陳列ケース151の荷受面152には、POS端末11とデータ送受信自在に接続された商品読取装置101が設置されている。商品読取装置101は、薄型矩形形状のハウジング102を備える。ハウジング102の正面には読取窓103が配置されている。ハウジング102の上部には、表示・操作部104が取り付けられている。表示・操作部104には、タッチパネル105が表面に積層された表示デバイス106が設けられている。表示デバイス106の右隣にはキーボード107が配設されている。キーボード107の右隣には、図示しないカードリーダのカード読取溝108が設けられている。オペレータから見て表示・操作部104の裏面左奥側には、顧客に情報を提供するための顧客用表示デバイス109が設置されている。
A
このような商品読取装置101は、商品読取部110(図2参照)を備えている。商品読取部110は、読取窓103の奥側に撮像部164(図2参照)を配置している。
Such a
洋菓子店やドーナツショップなどにおいては、陳列ケース151内の商品Aを顧客が選択し、それを店員がトレイ(図示せず)などに取る。その後、商品Aは、店員の手によってトレイから紙箱153へと移動される。全ての商品が紙箱153へと移動された後、紙箱153が商品読取装置101の読取窓103に向けられる。この際、読取窓103の奥側に配置された撮像部164(図2参照)は紙箱153内の全ての商品Aを撮像する。商品読取装置101では、撮像部164により撮像された画像に含まれる商品Aの全部または一部を検出する。商品読取装置101では、撮像部164により撮像された画像に商品Aの全部または一部が含まれることを検出した場合、その撮像された画像をPOS端末11へ出力する。POS端末11では、商品Aの各々について、商品Aの売上登録にかかる情報と商品Aの画像とが関連付けられたPLUファイルF1(詳細は後述する。図3参照)を参照して、商品読取部110の撮像部164により撮像された商品Aの全部または一部の画像から特定の物体である商品Aを認識することで売上登録を行う商品Aを特定し、その特定された商品Aの商品ID、商品分類、商品名、単価などの売上登録にかかる情報を、売上マスタファイル(図示しない)などに記録して売上登録を行う。
In pastry shops and donut shops, the customer selects the product A in the
図2は、POS端末11及び商品読取装置101のハードウェア構成を示すブロック図である。POS端末11は、情報処理を実行する情報処理部としてのマイクロコンピュータ60を備える。マイクロコンピュータ60は、各種演算処理を実行し各部を制御するCPU61(Central Processing Unit)に、ROM62(Read Only Memory)とRAM63(Random Access Memory)とがバス接続されて構成されている。
FIG. 2 is a block diagram illustrating a hardware configuration of the
POS端末11のCPU61には、前述したドロワ21、キーボード22、表示デバイス23、タッチパネル26、顧客用表示デバイス24がいずれも各種の入出力回路(いずれも図示せず)を介して接続されている。これらは、CPU61による制御を受ける。
The
キーボード22は、「1」、「2」、「3」…等の数字や「×」という乗算の演算子が上面に表示されているテンキー22d、仮締めキー22e、及び締めキー22fを含む。
The
POS端末11のCPU61には、HDD64(Hard Disk Drive)が接続されている。HDD64には、プログラムや各種ファイルが記憶されている。HDD64に記憶されているプログラムや各種ファイルは、POS端末11の起動時に、その全部又は一部がRAM63にコピーされてCPU61により順次実行される。HDD64に記憶されているプログラムの一例は、商品販売データ処理用のプログラムPRである。HDD64に記憶されているファイルの一例は、ストアコンピュータSCから配信されて格納されているPLUファイルF1である。
An HDD 64 (Hard Disk Drive) is connected to the
PLUファイルF1は、店舗に陳列して販売する商品Aの各々について、商品Aの売上登録にかかる情報と、その商品Aの画像との関連付けが設定されたファイルである。図3は、PLUファイルF1のデータ構成を例示する概念図である。図3に示すように、PLUファイルF1は、商品Aごとに、ユニークに割り当てられた商品ID、商品Aが属する商品分類、商品名、単価などの商品に関する情報と、その商品を撮像した商品画像と、「類似度:0.XX」という閾値と、仕切りが必要か否かを表す情報と、を格納するファイルである。詳細は後述するが、この「類似度:0.XX」という閾値は、商品Aがドーナツなどであり、揚げ不足/過ぎのような場合などは、予めPLUファイルF1に記憶していた商品の商品画像と比較することで、正規の状態とは異なった物品であると判断することが可能となる。仕切りが必要か否かを表す情報は、洋菓子店やドーナツショップなどで販売されるケーキやドーナツを紙箱153内に箱詰めする際に、「仕切りが必要である」旨の警告を発するためのものである。
The PLU file F1 is a file in which an association between information related to sales registration of the product A and an image of the product A is set for each of the products A displayed and sold in the store. FIG. 3 is a conceptual diagram illustrating the data configuration of the PLU file F1. As shown in FIG. 3, for each product A, the PLU file F <b> 1 includes a product ID uniquely assigned to each product A, product information to which the product A belongs, product information such as product name, unit price, and product image obtained by capturing the product. And a threshold value of “similarity: 0.XX” and information indicating whether partitioning is necessary. Although the details will be described later, the threshold value of “similarity: 0.XX” is the product of the product stored in the PLU file F1 in advance when the product A is a donut or the like, and the frying is insufficient / too much. By comparing with the image, it is possible to determine that the article is different from the normal state. The information indicating whether or not a partition is necessary is for issuing a warning that “a partition is necessary” when a cake or donut sold at a pastry shop or a donut shop is packed in a
図2に戻り、POS端末11のCPU61には、ストアコンピュータSCとデータ通信を実行するための通信インターフェース25が入出力回路(図示せず)を介して接続されている。ストアコンピュータSCは、店舗のバックヤード等に設置されている。ストアコンピュータSCのHDD(図示せず)には、POS端末11に配信されるPLUファイルF1が格納されている。
Returning to FIG. 2, a
さらに、POS端末11のCPU61には、商品読取装置101との間でデータ送受信を可能にする接続インターフェース65が接続されている。接続インターフェース65には、商品読取装置101が接続されている。また、POS端末11のCPU61には、レシートなどに印字を行うプリンタ66が接続されている。POS端末11は、CPU61の制御のもと、一取引の取引内容をレシートに印字する。
Further, the
商品読取装置101も、マイクロコンピュータ160を備える。マイクロコンピュータ160は、CPU161にROM162とRAM163とがバス接続されて構成されている。ROM162には、CPU161によって実行されるプログラムが記憶されている。CPU161には、撮像部164、音声出力部165が各種の入出力回路(いずれも図示せず)を介して接続されている。撮像部164、音声出力部165は、CPU161によって動作が制御される。表示・操作部104は接続インターフェース176を介してPOS端末11に接続されている。表示・操作部104はPOS端末11のCPU61によって動作が制御される。
The
撮像部164は、カラーCCDイメージセンサやカラーCOMSイメージセンサなどであり、CPU161の制御の下で読取窓103からの撮像を行う撮像手段である。例えば撮像部164では30fpsの動画像の撮像を行う。撮像部164が所定のフレームレートで順次撮像したフレーム画像はRAM163に保存される。
The
音声出力部165は、予め設定された警告音などを発生するための音声回路とスピーカなどである。音声出力部165は、CPU161の制御の下で警告音などの音声による報知を行う。
The
さらに、CPU161には、POS端末11の接続インターフェース65に接続して、POS端末11との間でデータ送受信を可能にする接続インターフェース175が接続されている。CPU161の制御の下、商品読取装置101の撮像部164によって撮像された画像(商品Aの全部または一部を含む画像)は、接続インターフェース175を介して出力され、接続インターフェース65を介してPOS端末11に入力される。
Furthermore, a
次に、CPU161、CPU61がプログラムを順次実行することで実現されるCPU161、CPU61の機能部について、図4を参照して説明する。図4は、CPU161、CPU61の機能構成を示すブロック図である。図4に示すように、CPU161は、プログラムを順次実行することにより、撮像画像取込部1611、商品検出部1612、画像出力手段である画像出力部1613としての機能を備える。同様に、CPU61は、物体認識手段である物体認識部611、登録手段である商品登録部612、類似度判定部613、不良品報知部614、確認画像表示手段である確認画像表示部615、仕切り警告手段である仕切り警告部616としての機能を備える。
Next, functional units of the
撮像画像取込部1611は、撮像部164に撮像オン信号を出力して撮像部164に撮像動作を開始させる。撮像画像取込部1611は、撮像動作開始後に撮像部164が撮像してRAM163に保存されたフレーム画像を順次取り込む。撮像画像取込部1611によるフレーム画像の取り込みは、RAM163に保存された順に行われる。
The captured
商品検出部1612は、撮像画像取込部1611により取り込まれたフレーム画像に含まれる商品Aの全部または一部を、パターンマッチング技術などを用いて検出する。具体的には、取り込まれたフレーム画像を2値化した画像から輪郭線などを抽出する。次いで、直近のフレーム画像から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較し、変更があった部分、すなわち、売上登録のために読取窓103に向けられた商品の写り込みを検出する。なお、商品を検出する別の方法としては、取り込まれたフレーム画像から肌色領域の有無を検出する。次いで、肌色領域が検出された場合、すなわち、店員の手の写り込みが検出された場合は、上述した輪郭線の検出を行うことで、店員の手が把持していると想定される商品の輪郭抽出を試みる。この時、手の形状を示す輪郭と、それ以外の輪郭とが検出された場合は、店員の手が商品を把持していることから、商品の写り込みを検出する。
The
画像出力部1613は、撮像画像取込部1611が取り込んだフレーム画像を、接続インターフェース175を介してPOS端末11へ出力する。画像出力部1613は撮像画像取込部1611が取り込んだフレーム画像を逐次POS端末11へ出力してもよいが、本実施形態では、商品検出部1612により商品Aの全部または一部が検出されたフレーム画像をPOS端末11へ出力するものとする。このように、商品検出部1612により商品Aの全部または一部が検出されたフレーム画像をPOS端末11へ出力することで、商品Aの全部または一部が含まれていないフレーム画像によってPLUファイルF1を参照して実行する物体認識がPOS端末11で行われることを防止できる。特定の物体の認識処理は処理時間を要することから、特定の物体の認識の見込みのない、商品Aの全部または一部が含まれていないフレーム画像での処理を防止することで、処理時間の短縮を図ることができる。
The
物体認識部611は、PLUファイルF1の商品画像を参照して、商品読取装置101の撮像部164により撮像された商品Aの全部または一部の画像から、特徴量として色合いや表面の凹凸状況等の表面の状態を読み取ることによって特定の物体として商品Aを認識する。なお、物体認識部611は、処理時間の短縮を図るため、商品Aの輪郭や大きさは考慮しないものとする。POS端末11では、物体認識部611の認識結果により、PLUファイルF1に予め登録されている商品の中から商品読取装置101が読み取った商品を特定できる。
The
類似度判定部613は、物体認識部611が認識した商品Aについて類似度を算出し、類似度がPLUファイルF1において予め定められた閾値を超えているか否かを判定する。
The
このように画像中に含まれる物体を認識することは一般物体認識(generic object recognition)と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井 啓司,“一般物体認識の現状と今後”,情報処理学会論文誌,Vol.48,No.SIG16 [平成22年8月10日検索],インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >
Recognizing an object contained in an image in this way is called generic object recognition. Regarding such general object recognition, various recognition techniques are described in the following documents.
Keiji Yanai, “Current Status and Future of General Object Recognition”, IPSJ Journal, Vol. 48, no. SIG16 [Search August 10, 2010], Internet <URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf>
また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら,“Semantic Texton Forests for Image Categorization and Segmentation”,[平成22年8月10日検索],インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >
Further, techniques for performing general object recognition by dividing an image into regions for each object are described in the following documents.
Jamie Shotton et al., “Semantic Texton Forests for Image Categorization and Segmentation”, [August 10, 2010 search], Internet <URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1. 1.145.3036 & rep = rep1 & type = pdf>
商品登録部612は、物体認識部611により認識された商品画像と関連する売上登録にかかる情報、すなわち、商品読取装置101が読み取った商品として特定された商品の商品ID、商品分類、商品名、単価などを売上マスタファイルなどに記録して売上登録を行う。
The
次に、チェックアウトシステム1の動作について詳細に説明する。図5は、本実施形態にかかるチェックアウトシステム1の動作の一例を示すフローチャートである。 Next, the operation of the checkout system 1 will be described in detail. FIG. 5 is a flowchart showing an example of the operation of the checkout system 1 according to the present embodiment.
先ず、商品読取装置101側の動作について説明する。図5に示すように、POS端末11による商品登録の開始などに応じて処理が開始されると、撮像画像取込部1611は、撮像部164に撮像オン信号を出力して撮像部164による撮像を開始する(ステップS1)。次いで、撮像画像取込部1611は、撮像部164が撮像してRAM163に保存されたフレーム画像(撮像画像)を取り込む(ステップS2)。次いで、商品検出部1612は、撮像画像取込部1611が取り込んだフレーム画像から紙箱153内の全ての商品Aの全部または一部の検出を行う(ステップS3)。次いで、画像出力部1613は、商品検出部1612により紙箱153内の全ての商品Aの全部または一部が検出されたフレーム画像をPOS端末11へ出力する(ステップS4)。
First, the operation on the
図6は、読取窓103における読取領域Rの例を示す概念図である。具体的には、図6は商品Aを読み取る際の読取領域Rを例示する概念図である。図6に示すように、前述した商品Aの移動過程において読取領域Rに紙箱153内の商品Aが映り込んだ場合は、その読取領域Rを撮像したフレーム画像からステップS3で紙箱153内の全ての商品Aの全部または一部が検出される。この紙箱153内の全ての商品Aの全部または一部の検出により、ステップS4では読取領域Rを撮像したフレーム画像がPOS端末11へ出力されることとなる。
FIG. 6 is a conceptual diagram illustrating an example of the reading region R in the
次いで、CPU161は、POS端末11から商品登録の終了通知などによる業務終了の有無を判定する(ステップS5)。業務を継続する場合(ステップS5:No)、CPU161は、ステップS2へ処理を戻して処理を継続させる。業務を終了する場合(ステップS5:Yes)、撮像画像取込部1611は、撮像部164に撮像オフ信号を出力して撮像部164による撮像を終了し(ステップS6)、処理を終了する。
Next, the
次に、POS端末11側の動作について説明する。図5に示すように、キーボード22の操作指示による商品登録の開始などに応じて処理が開始されると、CPU61は、商品読取装置101から出力された、紙箱153内の全ての商品Aの全部または一部を検出したフレーム画像を受信する(ステップS11)。次いで、物体認識部611は、PLUファイルF1の商品画像を参照して、商品読取装置101から出力された紙箱153内の全ての商品Aの全部または一部の画像から特定の物体として商品Aを順に認識する(ステップS12)。
Next, the operation on the
ここで、ステップS12における認識の結果、商品Aの候補が複数出てくる場合がある。そこで、商品Aの候補が複数ある場合には(ステップS13:Yes)、物体認識部611は、図7に示すような表示デバイス23への画面表示によって(ステップS14)、店員に報知する。図7は、表示デバイス23による表示例を示す概念図である。図7に示すように、表示デバイス23の表示画面には、ステップS12における認識の結果である複数の商品Aの候補の商品名、単価がPLUファイルF1から取得されて表示される。図7に示す例では、「プレーンドーナツ」と「シュガードーナツ」とが表示されている。
Here, as a result of the recognition in step S12, a plurality of candidates for the product A may appear. Therefore, when there are a plurality of candidates for the product A (step S13: Yes), the
その後、物体認識部611は、オペレータ(店員)がタッチパネル26を介して正しい候補を商品Aとして選択したと判定すると(ステップS15:Yes)、ステップS16に進む。
Thereafter, when the
なお、商品Aの候補が複数ない場合には(ステップS13:No)、そのままステップS16に進む。 In addition, when there are not a plurality of candidates for the product A (step S13: No), the process directly proceeds to step S16.
次いで、類似度判定部613は、物体認識部611が認識した商品Aについて、類似度を算出する(ステップS16)。類似度は、PLUファイルF1に記憶されている各商品の商品画像を100%=「類似度:1.0」とした場合に、商品読取装置101から出力された商品Aの全部または一部の画像がどの程度類似しているかを示すものである。上述したように、例えば色合いや表面の凹凸状況等の表面の状態に応じて類似度を算出する。なお、例えば、色合いと表面の凹凸状況とでは、重み付けを変えるようにしても良い。
Next, the
次いで、類似度判定部613は、ステップS16で算出した類似度が予め定められた閾値(「類似度:0.XX」)を超えているか否かを判定する(ステップS17)。
Next, the
類似度判定部613が、ステップS16で算出した類似度が予め定められた閾値(「類似度:0.XX」)を超えていると判定した場合(ステップS17:Yes)、ステップS18において、商品登録部612が、特定の物体である商品Aの認識結果や、その認識結果の中から選択されて一つに特定された商品Aの売上を登録する。
When the
加えて、仕切り警告部616が、認識された商品AについてPLUファイルF1に記憶された仕切りが必要か否かを表す情報を参照して、仕切りが必要な商品である場合には、その旨を店員に報知する(ステップS19)。具体的には、仕切り警告部616は、表示デバイス23や接続インターフェース65、176を介した表示デバイス106への画面表示や、接続インターフェース65、175を介した音声出力部165による警告音の出力などで仕切りが必要な旨を店員に報知する。
In addition, when the
次いで、CPU61は、全ての物体を認識したか否かを判定する(ステップS20)。CPU61は、全ての物体を認識したと判定した場合は(ステップS20:Yes)、ステップS21に進み、全ての物体を認識していないと判定した場合は(ステップS20:No)、ステップS12へ処理を戻して次の物体の認識処理を継続させる。
Next, the
ステップS21では、確認画像表示部615が、図8に示すような顧客用表示デバイス24への画面表示によって、顧客に購入商品を確認させる。図8に示す例では、商品Aが詰められている紙箱153の画像を表示領域G1に表示するとともに、予め保存していた商品Aの商品名や単価などの商品情報および個数、合計金額などの購入商品の履歴も表示領域G2に併せて表示させている。また、表示領域G1に表示されている商品Aの商品画像には商品名も付記されている。この表示領域G2における購入商品の履歴の表示は、RAM63にスタックしている購入商品にかかる情報をもとにPOS端末11のCPU61が行う。このような画面表示によって、希望している商品と間違いないかを顧客に対して確認することができる。従来においては、洋菓子店やドーナツショップなどでは、商品Aが詰められている紙箱153を陳列ケース151越しに顧客に提示し誤りがないか確認し、その後に売買取引のための登録や締め操作などのPOS操作を行なうが、本システムにおいては、購入商品を商品読取装置101で映し、全ての商品の商品名や価格などの情報を一括で読み出すため、顧客が確認後に短時間でPOS操作を完了することが可能となる。
In step S <b> 21, the confirmation
次いで、CPU61は、キーボード22の操作指示による売上登録の終了などによる業務終了の有無を判定する(ステップS22)。業務を終了する場合(ステップS22:Yes)、CPU61は、顧客用表示デバイス24への画面表示を終了して、処理を終了する。
Next, the
一方、類似度判定部613が、ステップS16で算出した類似度が予め定められた閾値(「類似度:0.XX」)を超えていないと判定した場合(ステップS17:No)、不良品報知部614は、正規品と認識されなかった商品であることを店員に報知し(ステップS23)、販売中止、あるいは値引き販売するなどの措置を店舗側に促す。具体的には、不良品報知部614は、表示デバイス23や接続インターフェース65、176を介した表示デバイス106への画面表示や、接続インターフェース65、175を介した音声出力部165による警告音の出力などでエラーを店員に報知する。この報知を行うことで、チェックアウトシステム1は、別の商品Aを読み取らせるなどの、適切な操作を店員に促すことができる。
On the other hand, when the
CPU61は、キーボード22の操作指示などによる値引き販売の指示があったと判定した場合には(ステップS24:Yes)、ステップS18において、商品登録部612が、特定の物体である商品Aの認識結果や、その認識結果の中から選択されて一つに特定された商品Aの売上を値引きして登録する。また、キーボード22の操作指示などによる販売中止の指示があったと判定した場合には(ステップS24:No)、ステップS12へ処理を戻す。
If the
図9に示すように、物体認識部611が認識した商品Aが「プレーンドーナツ」であった場合、閾値が「類似度:0.50」としてPLUファイルF1に記憶されていると、(a)で示す商品については類似度が0.717であることから、算出した類似度が予め定められた閾値を超えていると判定される。一方、(b)で示す商品については類似度が0.252であることから、算出した類似度が予め定められた閾値を超えていないと判定される。したがって、(a)で示す商品については、「プレーンドーナツ」として通常通りに売上登録される。一方、(b)で示す商品については、「プレーンドーナツ」として一応認識されるものの、古くなり変色したもの、傷んだもの、変形したもの、すなわち色合いや表面の凹凸状況等が正常でないものとして、不良品として売上登録されない。特に、ドーナツやパンなどにおいては、正規の焼き具合や揚げ具合による商品画像をPLUファイルF1に記憶しておき、焼き不足/過ぎや揚げ不足/過ぎなどが閾値を外れた場合、不良品であると判断することができる。
As shown in FIG. 9, when the product A recognized by the
このように本実施形態のチェックアウトシステム1によれば、ドーナツやパンなどが、古くなり変色したもの、傷んだもの、変形したもの、調理不良により色合いが異なるものなどであった場合、PLUファイルF1に記憶されている商品画像と比較することで、基準を外れたものを不良品であると判断することができる。 As described above, according to the checkout system 1 of the present embodiment, when a donut or bread is old, discolored, damaged, deformed, or has a different color due to poor cooking, the PLU file By comparing with the product image stored in F1, it is possible to determine that a product out of the standard is a defective product.
特に、繁忙店など商品の鮮度をチェックする時間に制約がある店舗や、多数の店員を抱えドーナツやパンの調理に個人差がある店舗などでも、正規の商品と数値的な判断で比較することが可能となる。 Compare with regular products by numerical judgment, especially in busy stores such as stores that have limited time to check the freshness of products and stores that have many store staff and individual differences in cooking donuts and bread. Is possible.
また、このように本実施形態のチェックアウトシステム1によれば、商品画像とともに、その商品の名称や単価などの商品情報を顧客に確認させることができることから、間違いを減少することが可能となる。また、トレイ上の商品や紙箱153内の商品を一括で読み取り、商品情報も一括で呼び出すことができるため、売買に関する取引を短時間で行なうことが可能となる。
In addition, according to the checkout system 1 of the present embodiment as described above, the product information such as the product name and unit price can be confirmed together with the product image, so that mistakes can be reduced. . In addition, since the products on the tray and the products in the
さらに、このように本実施形態のチェックアウトシステム1によれば、類似品が多く、商品Aの候補が複数出てくる店舗においては、商品Aの候補を全て表示して選択させることで、商品の誤りを防ぐことが可能となる。 Furthermore, according to the checkout system 1 of the present embodiment as described above, in a store where there are many similar products and a plurality of candidates for the product A appear, all the candidates for the product A are displayed and selected. It is possible to prevent errors.
本実施形態のPOS端末11、商品読取装置101で実行されるプログラムは、ROM等に予め組み込まれて提供される。本実施形態のPOS端末11、商品読取装置101で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
Programs executed by the
さらに、本実施形態のPOS端末11、商品読取装置101で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態のPOS端末11、商品読取装置101で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
Further, the program executed by the
本実施形態のPOS端末11で実行されるプログラムは、上述した各部(物体認識部611、商品登録部612、類似度判定部613、不良品報知部614、確認画像表示部615、仕切り警告部616)を含むモジュール構成となっており、実際のハードウェアとしてはCPU(プロセッサ)が上記ROMからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、物体認識部611、商品登録部612、類似度判定部613、不良品報知部614、確認画像表示部615、仕切り警告部616が主記憶装置上に生成されるようになっている。
The program executed by the
本実施形態の商品読取装置101で実行されるプログラムは、上述した各部(撮像画像取込部1611、商品検出部1612、画像出力部1613)を含むモジュール構成となっており、実際のハードウェアとしてはCPU(プロセッサ)が上記ROMからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、撮像画像取込部1611、商品検出部1612、画像出力部1613が主記憶装置上に生成されるようになっている。
The program executed by the
なお、本実施形態においては、POS端末11側に物体認識部611、商品登録部612、類似度判定部613、不良品報知部614、確認画像表示部615、仕切り警告部616を備えるようにしたが、これに限るものではなく、商品読取装置101側に物体認識部611、商品登録部612、類似度判定部613、不良品報知部614、確認画像表示部615、仕切り警告部616を備えるようにしても良い。この場合、商品読取装置101が店舗システムである。
In the present embodiment, an
また、本実施形態においては、商品読取装置101側に撮像画像取込部1611、商品検出部1612、画像出力部1613を備えるようにしたが、これに限るものではなく、POS端末11側に撮像画像取込部1611、商品検出部1612、画像出力部1613を備えるようにしても良い。この場合、POS端末11が店舗システムである。
Further, in the present embodiment, the captured
1 店舗システム
24 表示部
164 撮像手段
611 物体認識手段
612 登録手段
615 確認画像表示手段
616 仕切り警告手段
1613 画像出力手段
F1 ファイル
DESCRIPTION OF SYMBOLS 1
実施形態の店舗システムは、撮像手段が撮像した画像の特徴量を読み取ることによって特定の物体を認識する物体認識手段と、認識された前記物体について、商品名を記憶するファイルに基づいて売上登録を行う登録手段と、認識された前記物体毎の画像に対応させて前記商品名を付記した画像を表示部に表示する確認画像表示手段と、を備える。 Store system embodiment, the object recognizing means for recognizing a particular object by reading the feature amount of images that the imaging means has captured the recognized the object, based on the file that stores commodity name sales Registration means for performing registration, and confirmation image display means for displaying on the display unit an image with the product name associated with the recognized image of each object.
実施形態のプログラムは、コンピュータを、撮像手段が撮像した画像の特徴量を読み取ることによって特定の物体を認識する物体認識手段として機能させる。また、実施形態のプログラムは、コンピュータを、認識された前記物体について、商品名を記憶するファイルに基づいて売上登録を行う登録手段と、認識された前記物体毎の画像に対応させて前記商品名を付記した画像を表示部に表示する確認画像表示手段と、として機能させる。 The program according to the embodiment causes a computer to function as an object recognition unit that recognizes a specific object by reading a feature amount of an image captured by the imaging unit. The program of the embodiment, the computer, the recognized object; and registration means for performing sales registration on the basis of the file to store the goods name, the in correspondence with the recognized image of said each object product It is made to function as confirmation image display means for displaying an image with a name attached thereto on the display unit.
Claims (6)
出力された前記画像の特徴量を読み取ることによって特定の物体を認識する物体認識手段と、
認識された前記物体について、少なくとも商品名を含む商品に関する情報を記憶するファイルに基づいて売上登録を行う登録手段と、
認識された前記物体毎の画像に対応させて前記商品名を付記した画像を表示部に表示する確認画像表示手段と、
を備えることを特徴とする店舗システム。 Image output means for outputting an image captured by the imaging means;
Object recognition means for recognizing a specific object by reading the feature amount of the output image;
Registration means for performing sales registration on the recognized object based on a file that stores information on a product including at least a product name;
Confirmation image display means for displaying on the display unit an image with the product name added in correspondence with the recognized image of each object;
A store system comprising:
ことを特徴とする請求項1記載の店舗システム。 The feature quantity of the image used by the object recognition means for object recognition is the state of the surface of the object.
The store system according to claim 1.
ことを特徴とする請求項1または2記載の店舗システム。 The display unit that displays an image of the object recognized by the confirmation image display unit is a customer display device that displays information for a customer.
The store system according to claim 1 or 2, characterized in that.
ことを特徴とする請求項1ないし3のいずれか一記載の店舗システム。 The confirmation image display means also displays a history of sales registration by the registration means on the display unit.
The store system according to any one of claims 1 to 3, wherein
ことを特徴とする請求項1ないし4のいずれか一記載の店舗システム。 If the object recognition means determines that there are a plurality of object candidates as a result of recognition, the object recognition means informs the plurality of object candidates and accepts selection of any one object;
The store system according to any one of claims 1 to 4, wherein
撮像手段が撮像した画像の特徴量を読み取ることによって特定の物体を認識する物体認識手段と、
認識された前記物体について、少なくとも商品名を含む商品に関する情報を記憶するファイルに基づいて売上登録を行う登録手段と、
認識された前記物体毎の画像に対応させて前記商品名を付記した画像を表示部に表示する確認画像表示手段と、
として機能させることを特徴とするプログラム。 Computer
Object recognition means for recognizing a specific object by reading the feature quantity of the image captured by the imaging means;
Registration means for performing sales registration on the recognized object based on a file that stores information on a product including at least a product name;
Confirmation image display means for displaying on the display unit an image with the product name added in correspondence with the recognized image of each object;
A program characterized by functioning as
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012243607A JP5521019B2 (en) | 2012-11-05 | 2012-11-05 | Store system and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012243607A JP5521019B2 (en) | 2012-11-05 | 2012-11-05 | Store system and program |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010186528A Division JP5132732B2 (en) | 2010-08-23 | 2010-08-23 | Store system and program |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2013030202A true JP2013030202A (en) | 2013-02-07 |
JP2013030202A5 JP2013030202A5 (en) | 2013-12-05 |
JP5521019B2 JP5521019B2 (en) | 2014-06-11 |
Family
ID=47787115
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012243607A Active JP5521019B2 (en) | 2012-11-05 | 2012-11-05 | Store system and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5521019B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016110585A (en) * | 2014-12-10 | 2016-06-20 | カシオ計算機株式会社 | Sales processing system and commodity popularity analysis method |
WO2020174526A1 (en) * | 2019-02-25 | 2020-09-03 | 日本電気株式会社 | Processing device, processing method, and program |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001216571A (en) * | 2000-02-03 | 2001-08-10 | Glory Ltd | Method and device for adjusting charge |
JP2004127013A (en) * | 2002-10-03 | 2004-04-22 | Matsushita Electric Ind Co Ltd | Point-of-sale information managing device |
JP2008003859A (en) * | 2006-06-22 | 2008-01-10 | Toshiba Tec Corp | Merchandise data processor, settlement device and pos system |
-
2012
- 2012-11-05 JP JP2012243607A patent/JP5521019B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001216571A (en) * | 2000-02-03 | 2001-08-10 | Glory Ltd | Method and device for adjusting charge |
JP2004127013A (en) * | 2002-10-03 | 2004-04-22 | Matsushita Electric Ind Co Ltd | Point-of-sale information managing device |
JP2008003859A (en) * | 2006-06-22 | 2008-01-10 | Toshiba Tec Corp | Merchandise data processor, settlement device and pos system |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016110585A (en) * | 2014-12-10 | 2016-06-20 | カシオ計算機株式会社 | Sales processing system and commodity popularity analysis method |
WO2020174526A1 (en) * | 2019-02-25 | 2020-09-03 | 日本電気株式会社 | Processing device, processing method, and program |
Also Published As
Publication number | Publication date |
---|---|
JP5521019B2 (en) | 2014-06-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5132733B2 (en) | Store system and program | |
JP5544332B2 (en) | Store system and program | |
JP5132732B2 (en) | Store system and program | |
JP5194149B2 (en) | Store system and program | |
JP5483622B2 (en) | Store system and program | |
JP5579202B2 (en) | Information processing apparatus, store system, and program | |
JP5722963B2 (en) | Store system and program | |
JP2013089085A (en) | Information processor, information processing method and program | |
JP5620416B2 (en) | Information processing apparatus and program | |
JP2013186548A (en) | Information processing device, store system and program | |
JP6208091B2 (en) | Information processing apparatus and program | |
JP2012053708A (en) | Store system, sales registration device and program | |
JP5256260B2 (en) | Store system and program | |
JP5437404B2 (en) | Information processing apparatus, store system, and program | |
JP6376955B2 (en) | Information processing apparatus, sales data processing apparatus, and program | |
JP5529948B2 (en) | Store system and program | |
JP5501305B2 (en) | Congestion degree notification device, program, and congestion degree notification method | |
JP5521019B2 (en) | Store system and program | |
JP2013008103A (en) | Provision commodity confirmation device, program and provision commodity confirmation method | |
JP2015043182A (en) | System and program for store | |
JP5820011B2 (en) | Information processing apparatus, information processing system, and information processing method | |
JP2014139836A (en) | Information processing apparatus, information processing system, and information processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121106 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121106 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131017 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140123 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140128 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140307 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140401 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140407 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5521019 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |