JP2012043378A - Store system and program - Google Patents
Store system and program Download PDFInfo
- Publication number
- JP2012043378A JP2012043378A JP2010186587A JP2010186587A JP2012043378A JP 2012043378 A JP2012043378 A JP 2012043378A JP 2010186587 A JP2010186587 A JP 2010186587A JP 2010186587 A JP2010186587 A JP 2010186587A JP 2012043378 A JP2012043378 A JP 2012043378A
- Authority
- JP
- Japan
- Prior art keywords
- product
- similarity
- image
- unit
- recognized
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明の実施形態は、店舗システムおよびプログラムに関する。 Embodiments described herein relate generally to a store system and a program.
従来、スーパーマーケット等では、商品に添付されたバーコードや二次元コード(例えばQRコード(登録商標))等のコードシンボルをCCDイメージセンサ等のデジタルカメラによって撮像し、その撮像した画像から検出したコードシンボルを検出して復号することで商品コードを読み取る商品コード読取装置が用いられている。 Conventionally, in a supermarket or the like, a code symbol such as a barcode or a two-dimensional code (for example, QR code (registered trademark)) attached to a product is imaged by a digital camera such as a CCD image sensor, and the code detected from the captured image 2. Description of the Related Art A product code reader that reads a product code by detecting and decoding a symbol is used.
しかしながら、従来技術においては、バーコードや二次元コード等のコードシンボルを商品に対して添付しなければならないため、生鮮食料品やパンなどについては、別途パッケージ等を用意してコードシンボルを添付するか、コードシンボル表を用意するようにしている。 However, in the prior art, since a code symbol such as a barcode or a two-dimensional code must be attached to a product, a package or the like is separately prepared for a fresh food product or bread, and the code symbol is attached. Or a code symbol table is prepared.
実施形態の店舗システムは、撮像手段が撮像した画像を出力する画像出力手段と、出力された前記画像の特徴量を読み取ることによって特定の物体を認識する物体認識手段と、を備える。また、実施形態の店舗システムは、対象となる物体をそれぞれ分類したグループ毎に、認識された前記物体について予め決められた当該物体の基準画像に対してどの程度類似しているかを示す類似度についての閾値を記憶する複数種類の閾値ファイルと、対象となる物体が含まれるグループに応じて前記閾値ファイルの種類を切り替える切り替え手段と、認識された前記物体について前記類似度を算出し、算出した前記類似度が、切り替えられた前記閾値ファイルに予め定められている閾値を超えているか否かを判定する類似度判定手段と、算出した前記類似度が予め定められた閾値を超えていないと判定した場合、前記物体が正規品と認識されないものであることを報知する不良品報知手段と、を備える。 The store system according to the embodiment includes an image output unit that outputs an image captured by the imaging unit, and an object recognition unit that recognizes a specific object by reading a feature amount of the output image. In addition, the store system according to the embodiment has a similarity indicating how similar the recognized object is to a predetermined reference image of the object for each group into which the target object is classified. A plurality of types of threshold files for storing the threshold value, switching means for switching the type of the threshold file according to a group including a target object, and calculating the similarity for the recognized object, Similarity determination means for determining whether or not the similarity exceeds a predetermined threshold in the switched threshold file, and determined that the calculated similarity does not exceed a predetermined threshold A defective product notifying unit for notifying that the object is not recognized as a regular product.
実施形態のプログラムは、コンピュータを、撮像手段が撮像した画像の特徴量を読み取ることによって特定の物体を認識する物体認識手段として機能させる。また、実施形態のプログラムは、コンピュータを、対象となる物体をそれぞれ分類したグループ毎に、認識された前記物体について予め決められた当該物体の基準画像に対してどの程度類似しているかを示す類似度についての閾値を記憶する複数種類の閾値ファイルの種類を、対象となる物体が含まれるグループに応じて切り替える切り替え手段と、認識された前記物体について前記類似度を算出し、算出した前記類似度が、切り替えられた前記閾値ファイルに予め定められている閾値を超えているか否かを判定する類似度判定手段と、算出した前記類似度が予め定められた閾値を超えていないと判定した場合、前記物体が正規品と認識されないものであることを報知する不良品報知手段と、として機能させる。 The program according to the embodiment causes a computer to function as an object recognition unit that recognizes a specific object by reading a feature amount of an image captured by the imaging unit. In addition, the program according to the embodiment shows how similar the computer is for each group in which the target object is classified, and how similar the computer recognizes the recognized reference image of the object. Switching means for switching a plurality of types of threshold files for storing threshold values for degrees according to a group including a target object, and calculating the similarity for the recognized object, and calculating the similarity Is a similarity determination unit that determines whether or not the threshold value that is preset in the switched threshold file is exceeded, and when it is determined that the calculated similarity does not exceed a predetermined threshold, It functions as defective product notifying means for notifying that the object is not recognized as a genuine product.
以下では、チェックアウトシステムを例に本実施形態にかかる店舗システムおよびプログラムについて、図面を参照して説明する。店舗システムは、一取引にかかる商品の登録、精算を行うPOS端末を備えるチェックアウトシステム(POSシステム)などである。本実施形態は、スーパーマーケットやパン・ドーナツ店等の店舗に導入されたチェックアウトシステムへの適用例である。 Below, the store system and program concerning this embodiment are explained with reference to drawings for a checkout system as an example. The store system is a checkout system (POS system) provided with a POS terminal that performs registration and settlement of commodities related to one transaction. The present embodiment is an application example to a checkout system introduced in a store such as a supermarket or a bread donut store.
図1は、チェックアウトシステム1を示す斜視図である。図1に示すように、チェックアウトシステム1は、一取引にかかる商品の登録、精算を行うPOS端末11を備える。POS端末11は、チェックアウト台51上のドロワ21上面に載置されている。ドロワ21は、POS端末11によって開放動作の制御を受ける。POS端末11の上面には、オペレータ(ユーザ)によって押下操作されるキーボード22が配置されている。キーボード22を操作するオペレータから見てキーボード22よりも奥側には、オペレータに向けて情報を表示する表示デバイス23が設けられている。表示デバイス23は、その表示面23aに情報を表示する。表示面23aには、タッチパネル26が積層されている。表示デバイス23よりもさらに奥側には、顧客用表示デバイス24が回転自在に立設されている。顧客用表示デバイス24は、その表示面24aに情報を表示する。なお、図1に示す顧客用表示デバイス24は、表示面24aを図1中手前側に向けているが、表示面24aが図1中奥側に向くように顧客用表示デバイス24を回転させることによって、顧客用表示デバイス24は顧客に向けて情報を表示する。
FIG. 1 is a perspective view showing a checkout system 1. As shown in FIG. 1, the checkout system 1 includes a
POS端末11が載置されているチェックアウト台51とL字を形成するようにして、横長テーブル状のカウンタ台151が配置されている。カウンタ台151の上面には、荷受面152が形成されている。荷受面152には、商品Aを収納する買物カゴ153が載置される。買物カゴ153は、顧客によって持ち込まれる第1の買物カゴ153aと、第1の買物カゴ153aから商品読取装置101を挟んだ位置に位置付けられる第2の買物カゴ153bとに分けて考えることができる。なお、買物カゴ153(第1の買物カゴ153a)は、いわゆるカゴ形状のものに限るものではなく、パン店等の店舗において用いられるトレーなどであっても良い。また、買物カゴ153(第2の買物カゴ153b)は、いわゆるカゴ形状のものに限るものではなく、ドーナツ店等の店舗において用いられる紙箱などであっても良い。
A horizontally long table-shaped counter table 151 is arranged so as to form an L shape with the checkout table 51 on which the
カウンタ台151の荷受面152には、POS端末11とデータ送受信自在に接続された商品読取装置101が設置されている。商品読取装置101は、薄型矩形形状のハウジング102を備える。ハウジング102の正面には読取窓103が配置されている。ハウジング102の上部には、表示・操作部104が取り付けられている。表示・操作部104には、タッチパネル105が表面に積層された表示デバイス106が設けられている。表示デバイス106の右隣にはキーボード107が配設されている。キーボード107の右隣には、図示しないカードリーダのカード読取溝108が設けられている。オペレータから見て表示・操作部104の裏面左奥側には、顧客に情報を提供するための顧客用表示デバイス109が設置されている。
On the
このような商品読取装置101は、商品読取部110(図2参照)を備えている。商品読取部110は、読取窓103の奥側に撮像部164(図2参照)を配置している。
Such a
顧客によって持ち込まれた第1の買物カゴ153aには、一取引にかかる商品Aが収納されている。商品Aは、オペレータの手によって第2の買物カゴ153bへと移動される。この移動過程で、商品Aが商品読取装置101の読取窓103に向けられる。この際、読取窓103の奥側に配置された撮像部164(図2参照)は商品Aを撮像する。商品読取装置101では、撮像部164により撮像された画像に含まれる商品Aの全部または一部を検出する。商品読取装置101では、撮像部164により撮像された画像に商品Aの全部または一部が含まれることを検出した場合、その撮像された画像をPOS端末11へ出力する。POS端末11では、商品Aの各々について、商品Aの売上登録にかかる情報と商品Aの画像とが関連付けられたPLUファイルF1(詳細は後述する。図3参照)を参照して、商品読取部110の撮像部164により撮像された商品Aの全部または一部の画像から特定の物体である商品Aを認識することで売上登録を行う商品Aを特定し、その特定された商品Aの商品ID、商品分類、商品名、単価などの売上登録にかかる情報を、売上マスタファイル(図示しない)などに記録して売上登録を行う。
In the
図2は、POS端末11及び商品読取装置101のハードウェア構成を示すブロック図である。POS端末11は、情報処理を実行する情報処理部としてのマイクロコンピュータ60を備える。マイクロコンピュータ60は、各種演算処理を実行し各部を制御するCPU61(Central Processing Unit)に、ROM62(Read Only Memory)とRAM63(Random Access Memory)とがバス接続されて構成されている。
FIG. 2 is a block diagram illustrating a hardware configuration of the
POS端末11のCPU61には、前述したドロワ21、キーボード22、表示デバイス23、タッチパネル26、顧客用表示デバイス24がいずれも各種の入出力回路(いずれも図示せず)を介して接続されている。これらは、CPU61による制御を受ける。
The
キーボード22は、「1」、「2」、「3」…等の数字や「×」という乗算の演算子が上面に表示されているテンキー22d、仮締めキー22e、及び締めキー22fを含む。
The
POS端末11のCPU61には、HDD64(Hard Disk Drive)が接続されている。HDD64には、プログラムや各種ファイルが記憶されている。HDD64に記憶されているプログラムや各種ファイルは、POS端末11の起動時に、その全部又は一部がRAM63にコピーされてCPU61により順次実行される。HDD64に記憶されているプログラムの一例は、商品販売データ処理用のプログラムPRである。HDD64に記憶されているファイルの一例は、ストアコンピュータSCから配信されて格納されているPLUファイルF1や閾値ファイルF2である。
An HDD 64 (Hard Disk Drive) is connected to the
PLUファイルF1は、店舗に陳列して販売する商品Aの各々について、商品Aの売上登録にかかる情報と、その商品Aの画像との関連付けが設定された商品ファイルである。図3は、PLUファイルF1のデータ構成を例示する概念図である。図3に示すように、PLUファイルF1は、商品Aごとに、ユニークに割り当てられた商品ID、商品Aが属する商品分類、商品名、単価などの商品に関する情報と、その商品を撮像した商品画像と、を格納するファイルである。このようなPLUファイルF1は、対象となる商品群(パン、青果、惣菜等)によって分けられている。 The PLU file F1 is a product file in which an association between information related to sales registration of the product A and an image of the product A is set for each of the products A displayed and sold in the store. FIG. 3 is a conceptual diagram illustrating the data configuration of the PLU file F1. As shown in FIG. 3, for each product A, the PLU file F <b> 1 includes a product ID uniquely assigned to each product A, product information to which the product A belongs, product information such as product name, unit price, and product image obtained by capturing the product. And a file for storing them. Such a PLU file F1 is divided according to target product groups (bread, fruits and vegetables, side dishes, etc.).
閾値ファイルF2は、「類似度:0.XX」という閾値を格納するファイルである。詳細は後述するが、この「類似度:0.XX」という閾値は、商品Aが果物や生鮮品などであり、鮮度が落ち変色した場合などは、予めPLUファイルF1に記憶していた商品の商品画像と比較することで、正規の状態とは異なった物品であると判断することが可能となる。このような閾値ファイルF2も、対象となる商品群(パン、青果、惣菜等)によって分けられている。 The threshold file F2 is a file that stores a threshold of “similarity: 0.XX”. Although the details will be described later, the threshold value of “similarity: 0.XX” is the value of the product stored in the PLU file F1 in advance when the product A is a fruit or a fresh product and the freshness is changed. By comparing with the product image, it is possible to determine that the product is different from the normal state. Such a threshold file F2 is also divided by target product groups (bread, fruits and vegetables, side dishes, etc.).
図2に戻り、POS端末11のCPU61には、ストアコンピュータSCとデータ通信を実行するための通信インターフェース25が入出力回路(図示せず)を介して接続されている。ストアコンピュータSCは、店舗のバックヤード等に設置されている。ストアコンピュータSCのHDD(図示せず)には、POS端末11に配信されるPLUファイルF1が格納されている。
Returning to FIG. 2, a
さらに、POS端末11のCPU61には、商品読取装置101との間でデータ送受信を可能にする接続インターフェース65が接続されている。接続インターフェース65には、商品読取装置101が接続されている。また、POS端末11のCPU61には、レシートなどに印字を行うプリンタ66が接続されている。POS端末11は、CPU61の制御のもと、一取引の取引内容をレシートに印字する。
Further, the
商品読取装置101も、マイクロコンピュータ160を備える。マイクロコンピュータ160は、CPU161にROM162とRAM163とがバス接続されて構成されている。ROM162には、CPU161によって実行されるプログラムが記憶されている。CPU161には、撮像部164、音声出力部165が各種の入出力回路(いずれも図示せず)を介して接続されている。撮像部164、音声出力部165は、CPU161によって動作が制御される。表示・操作部104は接続インターフェース176を介してPOS端末11に接続されている。表示・操作部104はPOS端末11のCPU61によって動作が制御される。
The
撮像部164は、カラーCCDイメージセンサやカラーCOMSイメージセンサなどであり、CPU161の制御の下で読取窓103からの撮像を行う撮像手段である。例えば撮像部164では30fpsの動画像の撮像を行う。撮像部164が所定のフレームレートで順次撮像したフレーム画像はRAM163に保存される。
The
音声出力部165は、予め設定された警告音などを発生するための音声回路とスピーカなどである。音声出力部165は、CPU161の制御の下で警告音などの音声による報知を行う。
The
さらに、CPU161には、POS端末11の接続インターフェース65に接続して、POS端末11との間でデータ送受信を可能にする接続インターフェース175が接続されている。CPU161の制御の下、商品読取装置101の撮像部164によって撮像された画像(商品Aの全部または一部を含む画像)は、接続インターフェース175を介して出力され、接続インターフェース65を介してPOS端末11に入力される。
Furthermore, a connection interface 175 that connects to the
次に、CPU161、CPU61がプログラムを順次実行することで実現されるCPU161、CPU61の機能部について、図4を参照して説明する。図4は、CPU161、CPU61の機能構成を示すブロック図である。図4に示すように、CPU161は、プログラムを順次実行することにより、撮像画像取込部1611、商品検出部1612、画像出力手段である画像出力部1613としての機能を備える。同様に、CPU61は、物体認識手段である物体認識部611、商品登録部612、類似度判定手段である類似度判定部613、不良品報知手段である不良品報知部614、切り替え手段であるモード切り替え部615としての機能を備える。
Next, functional units of the
撮像画像取込部1611は、撮像部164に撮像オン信号を出力して撮像部164に撮像動作を開始させる。撮像画像取込部1611は、撮像動作開始後に撮像部164が撮像してRAM163に保存されたフレーム画像を順次取り込む。撮像画像取込部1611によるフレーム画像の取り込みは、RAM163に保存された順に行われる。
The captured
商品検出部1612は、撮像画像取込部1611により取り込まれたフレーム画像に含まれる商品Aの全部または一部を、パターンマッチング技術などを用いて検出する。具体的には、取り込まれたフレーム画像を2値化した画像から輪郭線などを抽出する。次いで、直近のフレーム画像から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較し、変更があった部分、すなわち、売上登録のために読取窓103に向けられた商品の写り込みを検出する。なお、商品を検出する別の方法としては、取り込まれたフレーム画像から肌色領域の有無を検出する。次いで、肌色領域が検出された場合、すなわち、店員の手の写り込みが検出された場合は、上述した輪郭線の検出を行うことで、店員の手が把持していると想定される商品の輪郭抽出を試みる。この時、手の形状を示す輪郭と、それ以外の輪郭とが検出された場合は、店員の手が商品を把持していることから、商品の写り込みを検出する。
The
画像出力部1613は、撮像画像取込部1611が取り込んだフレーム画像を接続インターフェース175を介してPOS端末11へ出力する。画像出力部1613は撮像画像取込部1611が取り込んだフレーム画像を逐次POS端末11へ出力してもよいが、本実施形態では、商品検出部1612により商品Aの全部または一部が検出されたフレーム画像をPOS端末11へ出力するものとする。このように、商品検出部1612により商品Aの全部または一部が検出されたフレーム画像をPOS端末11へ出力することで、商品Aの全部または一部が含まれていないフレーム画像によってPLUファイルF1を参照して実行する物体認識がPOS端末11で行われることを防止できる。特定の物体の認識処理は処理時間を要することから、特定の物体の認識の見込みのない、商品Aの全部または一部が含まれていないフレーム画像での処理を防止することで、処理時間の短縮を図ることができる。
The
物体認識部611は、PLUファイルF1の商品画像を参照して、商品読取装置101の撮像部164により撮像された商品Aの全部または一部の画像から、特徴量として色合いや表面の凹凸状況等の表面の状態を読み取ることによって特定の物体として商品Aを認識する。なお、物体認識部611は、処理時間の短縮を図るため、商品Aの輪郭や大きさは考慮しないものとする。POS端末11では、物体認識部611の認識結果により、PLUファイルF1に予め登録されている商品の中から商品読取装置101が読み取った商品を特定できる。
The
類似度判定部613は、物体認識部611が認識した商品Aについて類似度を算出し、類似度が閾値ファイルF2において予め定められた閾値を超えているか否かを判定する。
The
このように画像中に含まれる物体を認識することは一般物体認識(generic object recognition)と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井 啓司,“一般物体認識の現状と今後”,情報処理学会論文誌,Vol.48,No.SIG16 [平成22年8月10日検索],インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >
Recognizing an object contained in an image in this way is called generic object recognition. Regarding such general object recognition, various recognition techniques are described in the following documents.
Keiji Yanai, “Current Status and Future of General Object Recognition”, IPSJ Journal, Vol. 48, no. SIG16 [Search August 10, 2010], Internet <URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf>
また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら,“Semantic Texton Forests for Image Categorization and Segmentation”,[平成22年8月10日検索],インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >
Further, techniques for performing general object recognition by dividing an image into regions for each object are described in the following documents.
Jamie Shotton et al., “Semantic Texton Forests for Image Categorization and Segmentation”, [searched August 10, 2010], Internet <URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1. 1.145.3036 & rep = rep1 & type = pdf>
商品登録部612は、物体認識部611により認識された商品画像と関連する売上登録にかかる情報、すなわち、商品読取装置101が読み取った商品として特定された商品の商品ID、商品分類、商品名、単価などを売上マスタファイルなどに記録して売上登録を行う。
The
モード切り替え部615は、対象となる商品群(パン、青果、惣菜等)によってPLUファイルF1の種類を切り替えるとともに、PLUファイルF1の種類を切り替えに連動して閾値ファイルF2の種類も切り替える。
The
次に、チェックアウトシステム1の動作について詳細に説明する。図5は、本実施形態にかかるチェックアウトシステム1の動作の一例を示すフローチャートである。 Next, the operation of the checkout system 1 will be described in detail. FIG. 5 is a flowchart showing an example of the operation of the checkout system 1 according to the present embodiment.
先ず、商品読取装置101側の動作について説明する。図5に示すように、POS端末11による商品登録の開始などに応じて処理が開始されると、撮像画像取込部1611は、撮像部164に撮像オン信号を出力して撮像部164による撮像を開始する(ステップS1)。次いで、撮像画像取込部1611は、撮像部164が撮像してRAM163に保存されたフレーム画像(撮像画像)を取り込む(ステップS2)。次いで、商品検出部1612は、撮像画像取込部1611が取り込んだフレーム画像から商品Aの全部または一部の検出を行う(ステップS3)。次いで、画像出力部1613は、商品検出部1612により商品Aの全部または一部が検出されたフレーム画像をPOS端末11へ出力する(ステップS4)。
First, the operation on the
図6は、読取窓103における読取領域Rの例を示す概念図である。具体的には、図6は商品Aを読み取る際の読取領域Rを例示する概念図である。図6に示すように、前述した商品Aの移動過程において読取領域Rに商品Aが映り込んだ場合は、その読取領域Rを撮像したフレーム画像からステップS3で商品Aの全部または一部が検出される。この商品Aの全部または一部の検出により、ステップS4では読取領域Rを撮像したフレーム画像がPOS端末11へ出力されることとなる。
FIG. 6 is a conceptual diagram illustrating an example of the reading region R in the
次いで、CPU161は、POS端末11から商品登録の終了通知などによる業務終了の有無を判定する(ステップS5)。業務を継続する場合(ステップS5:No)、CPU161は、ステップS2へ処理を戻して処理を継続させる。業務を終了する場合(ステップS5:Yes)、撮像画像取込部1611は、撮像部164に撮像オフ信号を出力して撮像部164による撮像を終了し(ステップS6)、処理を終了する。
Next, the
次に、POS端末11側の動作について説明する。なお、POS端末11側においては、モード切り替え部615により、所定の商品群(例えば、青果)を対象としたPLUファイルF1および閾値ファイルF2に切り替えられているものとする。図5に示すように、キーボード22の操作指示による商品登録の開始などに応じて処理が開始されると、CPU61は、商品読取装置101から出力された、商品Aの全部または一部を検出したフレーム画像を受信する(ステップS11)。次いで、物体認識部611は、所定の商品群(例えば、青果)を対象としたPLUファイルF1の商品画像を参照して、商品読取装置101から出力された商品Aの全部または一部の画像から特定の物体として商品Aを認識する(ステップS12)。
Next, the operation on the
次いで、類似度判定部613は、物体認識部611が認識した商品Aについて、類似度を算出する(ステップS13)。類似度は、PLUファイルF1に記憶されている各商品の商品画像を100%=「類似度:1.0」とした場合に、商品読取装置101から出力された商品Aの全部または一部の画像がどの程度類似しているかを示すものである。上述したように、例えば色合いや表面の凹凸状況等の表面の状態に応じて類似度を算出する。なお、例えば、色合いと表面の凹凸状況とでは、重み付けを変えるようにしても良い。
Next, the
次いで、類似度判定部613は、ステップS13で算出した類似度が所定の商品群(例えば、青果)を対象とした閾値ファイルF2において予め定められた閾値(「類似度:0.XX」)を超えているか否かを判定する(ステップS14)。
Next, the
類似度判定部613が、ステップS13で算出した類似度が所定の商品群(例えば、青果)を対象とした閾値ファイルF2において予め定められた閾値(「類似度:0.XX」)を超えていると判定した場合(ステップS14:Yes)、ステップS15において、商品登録部612が、特定の物体である商品Aの認識結果や、その認識結果の中から選択されて一つに特定された商品Aの売上を登録する。
The degree of similarity calculated in step S13 by the
次いで、CPU61は、キーボード22の操作指示による売上登録の終了などによる業務終了の有無を判定する(ステップS16)。業務を継続する場合(ステップS16:No)、CPU61は、ステップS11へ処理を戻して処理を継続させる。業務を終了する場合(ステップS16:Yes)、CPU61は処理を終了する。
Next, the
一方、類似度判定部613が、ステップS13で算出した類似度が所定の商品群(例えば、青果)を対象とした閾値ファイルF2において予め定められた閾値(「類似度:0.XX」)を超えていないと判定した場合(ステップS14:No)、不良品報知部614は、正規品と認識されなかった商品であることを店員に報知し(ステップS17)、販売中止、あるいは値引き販売するなどの措置を店舗側に促す。具体的には、不良品報知部614は、表示デバイス23や接続インターフェース65、176を介した表示デバイス106への画面表示や、接続インターフェース65、175を介した音声出力部165による警告音の出力などでエラーを店員に報知する。この報知を行うことで、チェックアウトシステム1は、別の商品Aを読み取らせるなどの、適切な操作を店員に促すことができる。
On the other hand, the
CPU61は、キーボード22の操作指示などによる値引き販売の指示があったと判定した場合には(ステップS18:Yes)、ステップS15において、商品登録部612が、特定の物体である商品Aの認識結果や、その認識結果の中から選択されて一つに特定された商品Aの売上を値引きして登録する。また、キーボード22の操作指示などによる販売中止の指示があったと判定した場合には(ステップS18:No)、ステップS11へ処理を戻す。
If the
図7に示すように、物体認識部611が認識した商品Aが「バナナ」であった場合、閾値が「類似度:0.50」として所定の商品群(例えば、青果)を対象とした閾値ファイルF2に記憶されていると、(a)で示す商品については類似度が0.717であることから、算出した類似度が予め定められた閾値を超えていると判定される。一方、(b)で示す商品については類似度が0.252であることから、算出した類似度が予め定められた閾値を超えていないと判定される。したがって、(a)で示す商品については、「バナナ」として通常通りに売上登録される。一方、(b)で示す商品については、「バナナ」として一応認識されるものの、古くなり変色したもの、傷んだもの、変形したもの、すなわち色合いや表面の凹凸状況等が正常でないものとして、不良品として売上登録されない。同様に、惣菜なども、正規の焼き具合や揚げ具合による商品画像をPLUファイルF1に記憶しておき、焼き不足/過ぎや揚げ不足/過ぎなどが閾値を外れた場合、不良品であると判断することができる。
As shown in FIG. 7, when the product A recognized by the
このように本実施形態のチェックアウトシステム1によれば、生鮮品や惣菜などが、古くなり変色したもの、傷んだもの、変形したもの、調理不良により色合いが異なるものなどであった場合、商品群毎にPLUファイルF1に記憶されている商品画像と比較することで、基準を外れたものを不良品であると判断することができる。 Thus, according to the checkout system 1 of the present embodiment, if a fresh product or side dish is old, discolored, damaged, deformed, or has a different color due to poor cooking, By comparing with the product image stored in the PLU file F1 for each group, it is possible to determine that a product out of the standard is a defective product.
特に、繁忙店など商品の鮮度をチェックする時間に制約がある店舗や、多数の店員を抱え惣菜の調理に個人差がある店舗などでも、正規の商品と数値的な判断で比較することが可能となる。 In particular, it is possible to compare with regular products with numerical judgment even in stores such as busy stores where there are restrictions on the time to check the freshness of products and stores that have many store staff and individual differences in cooking of prepared foods It becomes.
本実施形態のPOS端末11、商品読取装置101で実行されるプログラムは、ROM等に予め組み込まれて提供される。本実施形態のPOS端末11、商品読取装置101で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
Programs executed by the
さらに、本実施形態のPOS端末11、商品読取装置101で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態のPOS端末11、商品読取装置101で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
Further, the program executed by the
本実施形態のPOS端末11で実行されるプログラムは、上述した各部(物体認識部611、商品登録部612、類似度判定部613、不良品報知部614、モード切り替え部615)を含むモジュール構成となっており、実際のハードウェアとしてはCPU(プロセッサ)が上記ROMからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、物体認識部611、商品登録部612、類似度判定部613、不良品報知部614、モード切り替え部615が主記憶装置上に生成されるようになっている。
The program executed by the
本実施形態の商品読取装置101で実行されるプログラムは、上述した各部(撮像画像取込部1611、商品検出部1612、画像出力部1613)を含むモジュール構成となっており、実際のハードウェアとしてはCPU(プロセッサ)が上記ROMからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、撮像画像取込部1611、商品検出部1612、画像出力部1613が主記憶装置上に生成されるようになっている。
The program executed by the
なお、本実施形態においては、POS端末11側に物体認識部611、商品登録部612、類似度判定部613、不良品報知部614、モード切り替え部615を備えるようにしたが、これに限るものではなく、商品読取装置101側に物体認識部611、商品登録部612、類似度判定部613、不良品報知部614、モード切り替え部615を備えるようにしても良い。この場合、商品読取装置101が店舗システムである。
In this embodiment, the
また、本実施形態においては、商品読取装置101側に撮像画像取込部1611、商品検出部1612、画像出力部1613を備えるようにしたが、これに限るものではなく、POS端末11側に撮像画像取込部1611、商品検出部1612、画像出力部1613を備えるようにしても良い。この場合、POS端末11が店舗システムである。
Further, in the present embodiment, the captured
1 店舗システム
164 撮像手段
611 物体認識手段
613 類似度判定手段
614 不良品報知手段
615 切り替え手段
1613 画像出力手段
F1 商品ファイル
F2 閾値ファイル
DESCRIPTION OF SYMBOLS 1
Claims (6)
出力された前記画像の特徴量を読み取ることによって特定の物体を認識する物体認識手段と、
対象となる物体をそれぞれ分類したグループ毎に、認識された前記物体について予め決められた当該物体の基準画像に対してどの程度類似しているかを示す類似度についての閾値を記憶する複数種類の閾値ファイルと、
対象となる物体が含まれるグループに応じて前記閾値ファイルの種類を切り替える切り替え手段と、
認識された前記物体について前記類似度を算出し、算出した前記類似度が、切り替えられた前記閾値ファイルに予め定められている閾値を超えているか否かを判定する類似度判定手段と、
算出した前記類似度が予め定められた閾値を超えていないと判定した場合、前記物体が正規品と認識されないものであることを報知する不良品報知手段と、
を備えることを特徴とする店舗システム。 Image output means for outputting an image captured by the imaging means;
Object recognition means for recognizing a specific object by reading the feature amount of the output image;
A plurality of types of threshold values for storing a threshold value for similarity indicating how much the recognized object is similar to a predetermined reference image of the object for each group into which the target object is classified Files and
Switching means for switching the type of the threshold file according to a group including the target object;
A similarity determination unit that calculates the similarity for the recognized object, and determines whether the calculated similarity exceeds a threshold set in advance in the switched threshold file;
When it is determined that the calculated similarity does not exceed a predetermined threshold value, defective product notifying means for notifying that the object is not recognized as a genuine product,
A store system comprising:
前記切り替え手段は、対象となる物体が含まれるグループに応じて前記商品ファイルの種類も切り替える、
ことを特徴とする請求項1記載の店舗システム。 A product file that stores product management information in which information related to sales registration of the object and an image of the object are associated with each group that classifies the target object,
The switching means also switches the type of the product file according to a group including a target object.
The store system according to claim 1.
ことを特徴とする請求項1または2記載の店舗システム。 The object recognition means uses the state of the surface of the object as a feature amount of the image, and calculates a similarity according to the state of the surface of the object.
The store system according to claim 1 or 2, characterized in that.
撮像手段が撮像した画像の特徴量を読み取ることによって特定の物体を認識する物体認識手段と、
対象となる物体をそれぞれ分類したグループ毎に、認識された前記物体について予め決められた当該物体の基準画像に対してどの程度類似しているかを示す類似度についての閾値を記憶する複数種類の閾値ファイルの種類を、対象となる物体が含まれるグループに応じて切り替える切り替え手段と、
認識された前記物体について前記類似度を算出し、算出した前記類似度が、切り替えられた前記閾値ファイルに予め定められている閾値を超えているか否かを判定する類似度判定手段と、
算出した前記類似度が予め定められた閾値を超えていないと判定した場合、前記物体が正規品と認識されないものであることを報知する不良品報知手段と、
として機能させることを特徴とするプログラム。 Computer
Object recognition means for recognizing a specific object by reading the feature quantity of the image captured by the imaging means;
A plurality of types of threshold values for storing a threshold value for similarity indicating how much the recognized object is similar to a predetermined reference image of the object for each group into which the target object is classified Switching means for switching the file type according to the group including the target object;
A similarity determination unit that calculates the similarity for the recognized object, and determines whether the calculated similarity exceeds a threshold set in advance in the switched threshold file;
When it is determined that the calculated similarity does not exceed a predetermined threshold value, defective product notifying means for notifying that the object is not recognized as a genuine product,
A program characterized by functioning as
ことを特徴とする請求項4記載のプログラム。 For each group into which the object to be classified is classified, the switching means is also a product file type that stores product management information in which information related to sales registration of the object and an image of the object are associated with each other. Switch according to the group that contains the object,
The program according to claim 4.
ことを特徴とする請求項4または5記載のプログラム。 The object recognition means uses the state of the surface of the object as a feature amount of the image, and calculates a similarity according to the state of the surface of the object.
6. The program according to claim 4 or 5, characterized in that:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010186587A JP5256260B2 (en) | 2010-08-23 | 2010-08-23 | Store system and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010186587A JP5256260B2 (en) | 2010-08-23 | 2010-08-23 | Store system and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012043378A true JP2012043378A (en) | 2012-03-01 |
JP5256260B2 JP5256260B2 (en) | 2013-08-07 |
Family
ID=45899561
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010186587A Active JP5256260B2 (en) | 2010-08-23 | 2010-08-23 | Store system and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5256260B2 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013186548A (en) * | 2012-03-06 | 2013-09-19 | Toshiba Tec Corp | Information processing device, store system and program |
KR101482063B1 (en) | 2014-05-09 | 2015-01-13 | 주식회사 로탬 | Apparatus and method for managing vending information of vending machine |
JP2015043182A (en) * | 2013-08-26 | 2015-03-05 | 東芝テック株式会社 | System and program for store |
JP2015079424A (en) * | 2013-10-18 | 2015-04-23 | 東芝テック株式会社 | Commodity sales data processor and program |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09166490A (en) * | 1995-08-07 | 1997-06-24 | At & T Ipm Corp | Device and method for product recognition and product identification by spectroscopic method |
-
2010
- 2010-08-23 JP JP2010186587A patent/JP5256260B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09166490A (en) * | 1995-08-07 | 1997-06-24 | At & T Ipm Corp | Device and method for product recognition and product identification by spectroscopic method |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013186548A (en) * | 2012-03-06 | 2013-09-19 | Toshiba Tec Corp | Information processing device, store system and program |
JP2015043182A (en) * | 2013-08-26 | 2015-03-05 | 東芝テック株式会社 | System and program for store |
JP2015079424A (en) * | 2013-10-18 | 2015-04-23 | 東芝テック株式会社 | Commodity sales data processor and program |
KR101482063B1 (en) | 2014-05-09 | 2015-01-13 | 주식회사 로탬 | Apparatus and method for managing vending information of vending machine |
Also Published As
Publication number | Publication date |
---|---|
JP5256260B2 (en) | 2013-08-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5194149B2 (en) | Store system and program | |
JP5544332B2 (en) | Store system and program | |
JP5132732B2 (en) | Store system and program | |
JP5132733B2 (en) | Store system and program | |
JP5579202B2 (en) | Information processing apparatus, store system, and program | |
JP5483622B2 (en) | Store system and program | |
JP5194160B1 (en) | Information processing apparatus, information processing method, and program | |
JP5647637B2 (en) | Information processing apparatus, store system, and program | |
JP5722963B2 (en) | Store system and program | |
JP2013117872A (en) | Store system and program | |
JP5620416B2 (en) | Information processing apparatus and program | |
JP6208091B2 (en) | Information processing apparatus and program | |
JP5256260B2 (en) | Store system and program | |
JP5501305B2 (en) | Congestion degree notification device, program, and congestion degree notification method | |
JP5529948B2 (en) | Store system and program | |
JP5521019B2 (en) | Store system and program | |
JP5802803B2 (en) | Information processing apparatus and program | |
JP2013008103A (en) | Provision commodity confirmation device, program and provision commodity confirmation method | |
JP2012041083A (en) | Label issuing apparatus and program | |
JP2015043182A (en) | System and program for store | |
JP5820011B2 (en) | Information processing apparatus, information processing system, and information processing method | |
JP2013089258A (en) | Information processor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130118 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130122 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130325 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130416 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130422 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5256260 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160426 Year of fee payment: 3 |