JP2012043371A - 店舗システムおよびプログラム - Google Patents

店舗システムおよびプログラム Download PDF

Info

Publication number
JP2012043371A
JP2012043371A JP2010186528A JP2010186528A JP2012043371A JP 2012043371 A JP2012043371 A JP 2012043371A JP 2010186528 A JP2010186528 A JP 2010186528A JP 2010186528 A JP2010186528 A JP 2010186528A JP 2012043371 A JP2012043371 A JP 2012043371A
Authority
JP
Japan
Prior art keywords
unit
image
display
registration
reading
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010186528A
Other languages
English (en)
Other versions
JP5132732B2 (ja
Inventor
Hiroyuki Furuyama
Masahito Sano
Hiroyuki Ueda
Nobuo Watanabe
浩之 上田
雅仁 佐野
浩之 古山
伸夫 渡辺
Original Assignee
Toshiba Tec Corp
東芝テック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Tec Corp, 東芝テック株式会社 filed Critical Toshiba Tec Corp
Priority to JP2010186528A priority Critical patent/JP5132732B2/ja
Publication of JP2012043371A publication Critical patent/JP2012043371A/ja
Application granted granted Critical
Publication of JP5132732B2 publication Critical patent/JP5132732B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06QDATA PROCESSING SYSTEMS OR METHODS, SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL, SUPERVISORY OR FORECASTING PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL, SUPERVISORY OR FORECASTING PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/08Payment architectures
    • G06Q20/20Point-of-sale [POS] network systems
    • G06Q20/208Input by product or record sensing, e.g. weighing or scanner processing
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07GREGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00Cash registers
    • G07G1/0036Checkout procedures
    • G07G1/0045Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader

Abstract

【課題】希望している商品と間違いないかを顧客に対して確認することができる店舗システムを提供する。
【解決手段】撮像手段が撮像した画像を出力する画像出力手段1613と、出力された画像の特徴量を読み取ることによって特定の物体を認識する物体認識手段611と、認識された物体について、当該物体に関連する情報であって売上登録に用いる情報を記憶するファイルF1に基づいて売上登録を行う登録手段612と、認識された物体についての画像を当該物体の売上登録にかかる情報とともに表示部に表示する確認画像表示手段615と、を備える。
【選択図】図4

Description

本発明の実施形態は、店舗システムおよびプログラムに関する。

従来、スーパーマーケット等では、商品に添付されたバーコードや二次元コード(例えばQRコード(登録商標))等のコードシンボルをCCDイメージセンサ等のデジタルカメラによって撮像し、その撮像した画像から検出したコードシンボルを検出して復号することで商品コードを読み取る商品コード読取装置が用いられている。

しかしながら、従来技術においては、バーコードや二次元コード等のコードシンボルを商品に対して添付しなければならないため、生鮮食料品やパンなどについては、別途パッケージ等を用意してコードシンボルを添付するか、コードシンボル表を用意するようにしている。

実施形態の店舗システムは、撮像手段が撮像した画像を出力する画像出力手段と、出力された前記画像の特徴量を読み取ることによって特定の物体を認識する物体認識手段と、を備える。また、実施形態の店舗システムは、認識された前記物体について、当該物体に関連する情報であって売上登録に用いる情報を記憶するファイルに基づいて売上登録を行う登録手段と、認識された前記物体についての画像を当該物体の売上登録にかかる情報とともに表示部に表示する確認画像表示手段と、を備える。

実施形態のプログラムは、コンピュータを、撮像手段が撮像した画像の特徴量を読み取ることによって特定の物体を認識する物体認識手段として機能させる。また、実施形態のプログラムは、コンピュータを、認識された前記物体について、当該物体に関連する情報であって売上登録に用いる情報を記憶するファイルに基づいて売上登録を行う登録手段と、認識された前記物体についての画像を当該物体の売上登録にかかる情報とともに表示部に表示する確認画像表示手段と、として機能させる。

図1は、本実施形態にかかるチェックアウトシステムを示す斜視図である。 図2は、POS端末及び商品読取装置のハードウェア構成を示すブロック図である。 図3は、PLUファイルのデータ構成を例示する概念図である。 図4は、CPUの機能構成を示すブロック図である。 図5は、チェックアウトシステムの処理動作の一例を示すフローチャートである。 図6は、読取窓における読取領域の例を示す概念図である。 図7は、表示デバイスによる表示例を示す概念図である。 図8は、顧客用表示デバイスによる表示例を示す概念図である。 図9は、処理の具体例を模式的に示す説明図である。

以下では、チェックアウトシステムを例に本実施形態にかかる店舗システムおよびプログラムについて、図面を参照して説明する。店舗システムは、一取引にかかる商品の登録、精算を行うPOS端末を備えるチェックアウトシステム(POSシステム)などである。本実施形態は、スーパーマーケットや洋菓子店やドーナツ店等の店舗に導入されたチェックアウトシステムへの適用例である。

図1は、チェックアウトシステム1を示す斜視図である。図1に示すように、チェックアウトシステム1は、一取引にかかる商品の登録、精算を行うPOS端末11を備える。POS端末11は、チェックアウト台51上のドロワ21上面に載置されている。ドロワ21は、POS端末11によって開放動作の制御を受ける。POS端末11の上面には、オペレータ(店員)によって押下操作されるキーボード22が配置されている。キーボード22を操作するオペレータから見てキーボード22よりも奥側には、オペレータに向けて情報を表示する表示デバイス23が設けられている。表示デバイス23は、その表示面23aに情報を表示する。表示面23aには、タッチパネル26が積層されている。表示デバイス23よりもさらに奥側には、表示部である顧客用表示デバイス24が回転自在に立設されている。顧客用表示デバイス24は、その表示面24aに情報を表示する。なお、図1に示す顧客用表示デバイス24は、表示面24aを図1中手前側に向けているが、表示面24aが図1中奥側に向くように顧客用表示デバイス24を回転させることによって、顧客用表示デバイス24は顧客に向けて情報を表示する。

POS端末11が載置されているチェックアウト台51とL字を形成するようにして、陳列ケース151が配置されている。陳列ケース151の上面には、荷受面152が形成されている。荷受面152には、商品Aを収納する紙箱153が載置される。なお、紙箱153は、洋菓子店やパン店等の店舗において用いられるトレイなどであっても良い。

陳列ケース151の荷受面152には、POS端末11とデータ送受信自在に接続された商品読取装置101が設置されている。商品読取装置101は、薄型矩形形状のハウジング102を備える。ハウジング102の正面には読取窓103が配置されている。ハウジング102の上部には、表示・操作部104が取り付けられている。表示・操作部104には、タッチパネル105が表面に積層された表示デバイス106が設けられている。表示デバイス106の右隣にはキーボード107が配設されている。キーボード107の右隣には、図示しないカードリーダのカード読取溝108が設けられている。オペレータから見て表示・操作部104の裏面左奥側には、顧客に情報を提供するための顧客用表示デバイス109が設置されている。

このような商品読取装置101は、商品読取部110(図2参照)を備えている。商品読取部110は、読取窓103の奥側に撮像部164(図2参照)を配置している。

洋菓子店やドーナツショップなどにおいては、陳列ケース151内の商品Aを顧客が選択し、それを店員がトレイ(図示せず)などに取る。その後、商品Aは、店員の手によってトレイから紙箱153へと移動される。全ての商品が紙箱153へと移動された後、紙箱153が商品読取装置101の読取窓103に向けられる。この際、読取窓103の奥側に配置された撮像部164(図2参照)は紙箱153内の全ての商品Aを撮像する。商品読取装置101では、撮像部164により撮像された画像に含まれる商品Aの全部または一部を検出する。商品読取装置101では、撮像部164により撮像された画像に商品Aの全部または一部が含まれることを検出した場合、その撮像された画像をPOS端末11へ出力する。POS端末11では、商品Aの各々について、商品Aの売上登録にかかる情報と商品Aの画像とが関連付けられたPLUファイルF1(詳細は後述する。図3参照)を参照して、商品読取部110の撮像部164により撮像された商品Aの全部または一部の画像から特定の物体である商品Aを認識することで売上登録を行う商品Aを特定し、その特定された商品Aの商品ID、商品分類、商品名、単価などの売上登録にかかる情報を、売上マスタファイル(図示しない)などに記録して売上登録を行う。

図2は、POS端末11及び商品読取装置101のハードウェア構成を示すブロック図である。POS端末11は、情報処理を実行する情報処理部としてのマイクロコンピュータ60を備える。マイクロコンピュータ60は、各種演算処理を実行し各部を制御するCPU61(Central Processing Unit)に、ROM62(Read Only Memory)とRAM63(Random Access Memory)とがバス接続されて構成されている。

POS端末11のCPU61には、前述したドロワ21、キーボード22、表示デバイス23、タッチパネル26、顧客用表示デバイス24がいずれも各種の入出力回路(いずれも図示せず)を介して接続されている。これらは、CPU61による制御を受ける。

キーボード22は、「1」、「2」、「3」…等の数字や「×」という乗算の演算子が上面に表示されているテンキー22d、仮締めキー22e、及び締めキー22fを含む。

POS端末11のCPU61には、HDD64(Hard Disk Drive)が接続されている。HDD64には、プログラムや各種ファイルが記憶されている。HDD64に記憶されているプログラムや各種ファイルは、POS端末11の起動時に、その全部又は一部がRAM63にコピーされてCPU61により順次実行される。HDD64に記憶されているプログラムの一例は、商品販売データ処理用のプログラムPRである。HDD64に記憶されているファイルの一例は、ストアコンピュータSCから配信されて格納されているPLUファイルF1である。

PLUファイルF1は、店舗に陳列して販売する商品Aの各々について、商品Aの売上登録にかかる情報と、その商品Aの画像との関連付けが設定されたファイルである。図3は、PLUファイルF1のデータ構成を例示する概念図である。図3に示すように、PLUファイルF1は、商品Aごとに、ユニークに割り当てられた商品ID、商品Aが属する商品分類、商品名、単価などの商品に関する情報と、その商品を撮像した商品画像と、「類似度:0.XX」という閾値と、仕切りが必要か否かを表す情報と、を格納するファイルである。詳細は後述するが、この「類似度:0.XX」という閾値は、商品Aがドーナツなどであり、揚げ不足/過ぎのような場合などは、予めPLUファイルF1に記憶していた商品の商品画像と比較することで、正規の状態とは異なった物品であると判断することが可能となる。仕切りが必要か否かを表す情報は、洋菓子店やドーナツショップなどで販売されるケーキやドーナツを紙箱153内に箱詰めする際に、「仕切りが必要である」旨の警告を発するためのものである。

図2に戻り、POS端末11のCPU61には、ストアコンピュータSCとデータ通信を実行するための通信インターフェース25が入出力回路(図示せず)を介して接続されている。ストアコンピュータSCは、店舗のバックヤード等に設置されている。ストアコンピュータSCのHDD(図示せず)には、POS端末11に配信されるPLUファイルF1が格納されている。

さらに、POS端末11のCPU61には、商品読取装置101との間でデータ送受信を可能にする接続インターフェース65が接続されている。接続インターフェース65には、商品読取装置101が接続されている。また、POS端末11のCPU61には、レシートなどに印字を行うプリンタ66が接続されている。POS端末11は、CPU61の制御のもと、一取引の取引内容をレシートに印字する。

商品読取装置101も、マイクロコンピュータ160を備える。マイクロコンピュータ160は、CPU161にROM162とRAM163とがバス接続されて構成されている。ROM162には、CPU161によって実行されるプログラムが記憶されている。CPU161には、撮像部164、音声出力部165が各種の入出力回路(いずれも図示せず)を介して接続されている。撮像部164、音声出力部165は、CPU161によって動作が制御される。表示・操作部104は接続インターフェース176を介してPOS端末11に接続されている。表示・操作部104はPOS端末11のCPU61によって動作が制御される。

撮像部164は、カラーCCDイメージセンサやカラーCOMSイメージセンサなどであり、CPU161の制御の下で読取窓103からの撮像を行う撮像手段である。例えば撮像部164では30fpsの動画像の撮像を行う。撮像部164が所定のフレームレートで順次撮像したフレーム画像はRAM163に保存される。

音声出力部165は、予め設定された警告音などを発生するための音声回路とスピーカなどである。音声出力部165は、CPU161の制御の下で警告音などの音声による報知を行う。

さらに、CPU161には、POS端末11の接続インターフェース65に接続して、POS端末11との間でデータ送受信を可能にする接続インターフェース175が接続されている。CPU161の制御の下、商品読取装置101の撮像部164によって撮像された画像(商品Aの全部または一部を含む画像)は、接続インターフェース175を介して出力され、接続インターフェース65を介してPOS端末11に入力される。

次に、CPU161、CPU61がプログラムを順次実行することで実現されるCPU161、CPU61の機能部について、図4を参照して説明する。図4は、CPU161、CPU61の機能構成を示すブロック図である。図4に示すように、CPU161は、プログラムを順次実行することにより、撮像画像取込部1611、商品検出部1612、画像出力手段である画像出力部1613としての機能を備える。同様に、CPU61は、物体認識手段である物体認識部611、登録手段である商品登録部612、類似度判定部613、不良品報知部614、確認画像表示手段である確認画像表示部615、仕切り警告手段である仕切り警告部616としての機能を備える。

撮像画像取込部1611は、撮像部164に撮像オン信号を出力して撮像部164に撮像動作を開始させる。撮像画像取込部1611は、撮像動作開始後に撮像部164が撮像してRAM163に保存されたフレーム画像を順次取り込む。撮像画像取込部1611によるフレーム画像の取り込みは、RAM163に保存された順に行われる。

商品検出部1612は、撮像画像取込部1611により取り込まれたフレーム画像に含まれる商品Aの全部または一部を、パターンマッチング技術などを用いて検出する。具体的には、取り込まれたフレーム画像を2値化した画像から輪郭線などを抽出する。次いで、直近のフレーム画像から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較し、変更があった部分、すなわち、売上登録のために読取窓103に向けられた商品の写り込みを検出する。なお、商品を検出する別の方法としては、取り込まれたフレーム画像から肌色領域の有無を検出する。次いで、肌色領域が検出された場合、すなわち、店員の手の写り込みが検出された場合は、上述した輪郭線の検出を行うことで、店員の手が把持していると想定される商品の輪郭抽出を試みる。この時、手の形状を示す輪郭と、それ以外の輪郭とが検出された場合は、店員の手が商品を把持していることから、商品の写り込みを検出する。

画像出力部1613は、撮像画像取込部1611が取り込んだフレーム画像を、接続インターフェース175を介してPOS端末11へ出力する。画像出力部1613は撮像画像取込部1611が取り込んだフレーム画像を逐次POS端末11へ出力してもよいが、本実施形態では、商品検出部1612により商品Aの全部または一部が検出されたフレーム画像をPOS端末11へ出力するものとする。このように、商品検出部1612により商品Aの全部または一部が検出されたフレーム画像をPOS端末11へ出力することで、商品Aの全部または一部が含まれていないフレーム画像によってPLUファイルF1を参照して実行する物体認識がPOS端末11で行われることを防止できる。特定の物体の認識処理は処理時間を要することから、特定の物体の認識の見込みのない、商品Aの全部または一部が含まれていないフレーム画像での処理を防止することで、処理時間の短縮を図ることができる。

物体認識部611は、PLUファイルF1の商品画像を参照して、商品読取装置101の撮像部164により撮像された商品Aの全部または一部の画像から、特徴量として色合いや表面の凹凸状況等の表面の状態を読み取ることによって特定の物体として商品Aを認識する。なお、物体認識部611は、処理時間の短縮を図るため、商品Aの輪郭や大きさは考慮しないものとする。POS端末11では、物体認識部611の認識結果により、PLUファイルF1に予め登録されている商品の中から商品読取装置101が読み取った商品を特定できる。

類似度判定部613は、物体認識部611が認識した商品Aについて類似度を算出し、類似度がPLUファイルF1において予め定められた閾値を超えているか否かを判定する。

このように画像中に含まれる物体を認識することは一般物体認識(generic object recognition)と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井 啓司,“一般物体認識の現状と今後”,情報処理学会論文誌,Vol.48,No.SIG16 [平成22年8月10日検索],インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >

また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら,“Semantic Texton Forests for Image Categorization and Segmentation”,[平成22年8月10日検索],インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >

商品登録部612は、物体認識部611により認識された商品画像と関連する売上登録にかかる情報、すなわち、商品読取装置101が読み取った商品として特定された商品の商品ID、商品分類、商品名、単価などを売上マスタファイルなどに記録して売上登録を行う。

次に、チェックアウトシステム1の動作について詳細に説明する。図5は、本実施形態にかかるチェックアウトシステム1の動作の一例を示すフローチャートである。

先ず、商品読取装置101側の動作について説明する。図5に示すように、POS端末11による商品登録の開始などに応じて処理が開始されると、撮像画像取込部1611は、撮像部164に撮像オン信号を出力して撮像部164による撮像を開始する(ステップS1)。次いで、撮像画像取込部1611は、撮像部164が撮像してRAM163に保存されたフレーム画像(撮像画像)を取り込む(ステップS2)。次いで、商品検出部1612は、撮像画像取込部1611が取り込んだフレーム画像から紙箱153内の全ての商品Aの全部または一部の検出を行う(ステップS3)。次いで、画像出力部1613は、商品検出部1612により紙箱153内の全ての商品Aの全部または一部が検出されたフレーム画像をPOS端末11へ出力する(ステップS4)。

図6は、読取窓103における読取領域Rの例を示す概念図である。具体的には、図6は商品Aを読み取る際の読取領域Rを例示する概念図である。図6に示すように、前述した商品Aの移動過程において読取領域Rに紙箱153内の商品Aが映り込んだ場合は、その読取領域Rを撮像したフレーム画像からステップS3で紙箱153内の全ての商品Aの全部または一部が検出される。この紙箱153内の全ての商品Aの全部または一部の検出により、ステップS4では読取領域Rを撮像したフレーム画像がPOS端末11へ出力されることとなる。

次いで、CPU161は、POS端末11から商品登録の終了通知などによる業務終了の有無を判定する(ステップS5)。業務を継続する場合(ステップS5:No)、CPU161は、ステップS2へ処理を戻して処理を継続させる。業務を終了する場合(ステップS5:Yes)、撮像画像取込部1611は、撮像部164に撮像オフ信号を出力して撮像部164による撮像を終了し(ステップS6)、処理を終了する。

次に、POS端末11側の動作について説明する。図5に示すように、キーボード22の操作指示による商品登録の開始などに応じて処理が開始されると、CPU61は、商品読取装置101から出力された、紙箱153内の全ての商品Aの全部または一部を検出したフレーム画像を受信する(ステップS11)。次いで、物体認識部611は、PLUファイルF1の商品画像を参照して、商品読取装置101から出力された紙箱153内の全ての商品Aの全部または一部の画像から特定の物体として商品Aを順に認識する(ステップS12)。

ここで、ステップS12における認識の結果、商品Aの候補が複数出てくる場合がある。そこで、商品Aの候補が複数ある場合には(ステップS13:Yes)、物体認識部611は、図7に示すような表示デバイス23への画面表示によって(ステップS14)、店員に報知する。図7は、表示デバイス23による表示例を示す概念図である。図7に示すように、表示デバイス23の表示画面には、ステップS12における認識の結果である複数の商品Aの候補の商品名、単価がPLUファイルF1から取得されて表示される。図7に示す例では、「プレーンドーナツ」と「シュガードーナツ」とが表示されている。

その後、物体認識部611は、オペレータ(店員)がタッチパネル26を介して正しい候補を商品Aとして選択したと判定すると(ステップS15:Yes)、ステップS16に進む。

なお、商品Aの候補が複数ない場合には(ステップS13:No)、そのままステップS16に進む。

次いで、類似度判定部613は、物体認識部611が認識した商品Aについて、類似度を算出する(ステップS16)。類似度は、PLUファイルF1に記憶されている各商品の商品画像を100%=「類似度:1.0」とした場合に、商品読取装置101から出力された商品Aの全部または一部の画像がどの程度類似しているかを示すものである。上述したように、例えば色合いや表面の凹凸状況等の表面の状態に応じて類似度を算出する。なお、例えば、色合いと表面の凹凸状況とでは、重み付けを変えるようにしても良い。

次いで、類似度判定部613は、ステップS16で算出した類似度が予め定められた閾値(「類似度:0.XX」)を超えているか否かを判定する(ステップS17)。

類似度判定部613が、ステップS16で算出した類似度が予め定められた閾値(「類似度:0.XX」)を超えていると判定した場合(ステップS17:Yes)、ステップS18において、商品登録部612が、特定の物体である商品Aの認識結果や、その認識結果の中から選択されて一つに特定された商品Aの売上を登録する。

加えて、仕切り警告部616が、認識された商品AについてPLUファイルF1に記憶された仕切りが必要か否かを表す情報を参照して、仕切りが必要な商品である場合には、その旨を店員に報知する(ステップS19)。具体的には、仕切り警告部616は、表示デバイス23や接続インターフェース65、176を介した表示デバイス106への画面表示や、接続インターフェース65、175を介した音声出力部165による警告音の出力などで仕切りが必要な旨を店員に報知する。

次いで、CPU61は、全ての物体を認識したか否かを判定する(ステップS20)。CPU61は、全ての物体を認識したと判定した場合は(ステップS20:Yes)、ステップS21に進み、全ての物体を認識していないと判定した場合は(ステップS20:No)、ステップS12へ処理を戻して次の物体の認識処理を継続させる。

ステップS21では、確認画像表示部615が、図8に示すような顧客用表示デバイス24への画面表示によって、顧客に購入商品を確認させる。図8に示す例では、商品Aが詰められている紙箱153の画像を表示領域G1に表示するとともに、予め保存していた商品Aの商品名や単価などの商品情報および個数、合計金額などの購入商品の履歴も表示領域G2に併せて表示させている。また、表示領域G1に表示されている商品Aの商品画像には商品名も付記されている。この表示領域G2における購入商品の履歴の表示は、RAM63にスタックしている購入商品にかかる情報をもとにPOS端末11のCPU61が行う。このような画面表示によって、希望している商品と間違いないかを顧客に対して確認することができる。従来においては、洋菓子店やドーナツショップなどでは、商品Aが詰められている紙箱153を陳列ケース151越しに顧客に提示し誤りがないか確認し、その後に売買取引のための登録や締め操作などのPOS操作を行なうが、本システムにおいては、購入商品を商品読取装置101で映し、全ての商品の商品名や価格などの情報を一括で読み出すため、顧客が確認後に短時間でPOS操作を完了することが可能となる。

次いで、CPU61は、キーボード22の操作指示による売上登録の終了などによる業務終了の有無を判定する(ステップS22)。業務を終了する場合(ステップS22:Yes)、CPU61は、顧客用表示デバイス24への画面表示を終了して、処理を終了する。

一方、類似度判定部613が、ステップS16で算出した類似度が予め定められた閾値(「類似度:0.XX」)を超えていないと判定した場合(ステップS17:No)、不良品報知部614は、正規品と認識されなかった商品であることを店員に報知し(ステップS23)、販売中止、あるいは値引き販売するなどの措置を店舗側に促す。具体的には、不良品報知部614は、表示デバイス23や接続インターフェース65、176を介した表示デバイス106への画面表示や、接続インターフェース65、175を介した音声出力部165による警告音の出力などでエラーを店員に報知する。この報知を行うことで、チェックアウトシステム1は、別の商品Aを読み取らせるなどの、適切な操作を店員に促すことができる。

CPU61は、キーボード22の操作指示などによる値引き販売の指示があったと判定した場合には(ステップS24:Yes)、ステップS18において、商品登録部612が、特定の物体である商品Aの認識結果や、その認識結果の中から選択されて一つに特定された商品Aの売上を値引きして登録する。また、キーボード22の操作指示などによる販売中止の指示があったと判定した場合には(ステップS24:No)、ステップS12へ処理を戻す。

図9に示すように、物体認識部611が認識した商品Aが「プレーンドーナツ」であった場合、閾値が「類似度:0.50」としてPLUファイルF1に記憶されていると、(a)で示す商品については類似度が0.717であることから、算出した類似度が予め定められた閾値を超えていると判定される。一方、(b)で示す商品については類似度が0.252であることから、算出した類似度が予め定められた閾値を超えていないと判定される。したがって、(a)で示す商品については、「プレーンドーナツ」として通常通りに売上登録される。一方、(b)で示す商品については、「プレーンドーナツ」として一応認識されるものの、古くなり変色したもの、傷んだもの、変形したもの、すなわち色合いや表面の凹凸状況等が正常でないものとして、不良品として売上登録されない。特に、ドーナツやパンなどにおいては、正規の焼き具合や揚げ具合による商品画像をPLUファイルF1に記憶しておき、焼き不足/過ぎや揚げ不足/過ぎなどが閾値を外れた場合、不良品であると判断することができる。

このように本実施形態のチェックアウトシステム1によれば、ドーナツやパンなどが、古くなり変色したもの、傷んだもの、変形したもの、調理不良により色合いが異なるものなどであった場合、PLUファイルF1に記憶されている商品画像と比較することで、基準を外れたものを不良品であると判断することができる。

特に、繁忙店など商品の鮮度をチェックする時間に制約がある店舗や、多数の店員を抱えドーナツやパンの調理に個人差がある店舗などでも、正規の商品と数値的な判断で比較することが可能となる。

また、このように本実施形態のチェックアウトシステム1によれば、商品画像とともに、その商品の名称や単価などの商品情報を顧客に確認させることができることから、間違いを減少することが可能となる。また、トレイ上の商品や紙箱153内の商品を一括で読み取り、商品情報も一括で呼び出すことができるため、売買に関する取引を短時間で行なうことが可能となる。

さらに、このように本実施形態のチェックアウトシステム1によれば、類似品が多く、商品Aの候補が複数出てくる店舗においては、商品Aの候補を全て表示して選択させることで、商品の誤りを防ぐことが可能となる。

本実施形態のPOS端末11、商品読取装置101で実行されるプログラムは、ROM等に予め組み込まれて提供される。本実施形態のPOS端末11、商品読取装置101で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

さらに、本実施形態のPOS端末11、商品読取装置101で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態のPOS端末11、商品読取装置101で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

本実施形態のPOS端末11で実行されるプログラムは、上述した各部(物体認識部611、商品登録部612、類似度判定部613、不良品報知部614、確認画像表示部615、仕切り警告部616)を含むモジュール構成となっており、実際のハードウェアとしてはCPU(プロセッサ)が上記ROMからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、物体認識部611、商品登録部612、類似度判定部613、不良品報知部614、確認画像表示部615、仕切り警告部616が主記憶装置上に生成されるようになっている。

本実施形態の商品読取装置101で実行されるプログラムは、上述した各部(撮像画像取込部1611、商品検出部1612、画像出力部1613)を含むモジュール構成となっており、実際のハードウェアとしてはCPU(プロセッサ)が上記ROMからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、撮像画像取込部1611、商品検出部1612、画像出力部1613が主記憶装置上に生成されるようになっている。

なお、本実施形態においては、POS端末11側に物体認識部611、商品登録部612、類似度判定部613、不良品報知部614、確認画像表示部615、仕切り警告部616を備えるようにしたが、これに限るものではなく、商品読取装置101側に物体認識部611、商品登録部612、類似度判定部613、不良品報知部614、確認画像表示部615、仕切り警告部616を備えるようにしても良い。この場合、商品読取装置101が店舗システムである。

また、本実施形態においては、商品読取装置101側に撮像画像取込部1611、商品検出部1612、画像出力部1613を備えるようにしたが、これに限るものではなく、POS端末11側に撮像画像取込部1611、商品検出部1612、画像出力部1613を備えるようにしても良い。この場合、POS端末11が店舗システムである。

1 店舗システム
24 表示部
164 撮像手段
611 物体認識手段
612 登録手段
615 確認画像表示手段
616 仕切り警告手段
1613 画像出力手段
F1 ファイル

特開平06−223271号公報

Claims (6)

  1. 撮像手段が撮像した画像を出力する画像出力手段と、
    出力された前記画像の特徴量を読み取ることによって特定の物体を認識する物体認識手段と、
    認識された前記物体について、当該物体に関連する情報であって売上登録に用いる情報を記憶するファイルに基づいて売上登録を行う登録手段と、
    認識された前記物体についての画像を当該物体の売上登録にかかる情報とともに表示部に表示する確認画像表示手段と、
    を備えることを特徴とする店舗システム。
  2. 前記確認画像表示手段は、前記登録手段による売上登録の履歴も前記表示部に表示する、
    ことを特徴とする請求項1記載の店舗システム。
  3. 前記物体認識手段は、認識の結果、物体の候補が複数あると判定した場合には、当該複数の物体の候補を報知し、何れか一つの物体の選択を受け付ける、
    ことを特徴とする請求項1または2記載の店舗システム。
  4. 前記ファイルには、仕切りが必要か否かを表す情報が記憶されており、
    認識された前記物体について、前記ファイルに記憶された仕切りが必要か否かを表す情報を参照して、仕切りが必要な物体である場合には、その旨を報知する仕切り警告手段として前記コンピュータを機能させる、
    ことを特徴とする請求項1ないし3のいずれか一記載の店舗システム。
  5. コンピュータを、
    撮像手段が撮像した画像の特徴量を読み取ることによって特定の物体を認識する物体認識手段と、
    認識された前記物体について、当該物体に関連する情報であって売上登録に用いる情報を記憶するファイルに基づいて売上登録を行う登録手段と、
    認識された前記物体についての画像を当該物体の売上登録にかかる情報とともに表示部に表示する確認画像表示手段と、
    として機能させることを特徴とするプログラム。
  6. 前記確認画像表示手段は、前記登録手段による売上登録の履歴も前記表示部に表示する、
    ことを特徴とする請求項5記載のプログラム。
JP2010186528A 2010-08-23 2010-08-23 店舗システムおよびプログラム Active JP5132732B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010186528A JP5132732B2 (ja) 2010-08-23 2010-08-23 店舗システムおよびプログラム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010186528A JP5132732B2 (ja) 2010-08-23 2010-08-23 店舗システムおよびプログラム
US13/214,401 US20120047040A1 (en) 2010-08-23 2011-08-22 Store system and sales registration method
CN2011102413062A CN102376052A (zh) 2010-08-23 2011-08-22 店铺系统及商品销售数据处理方法

Publications (2)

Publication Number Publication Date
JP2012043371A true JP2012043371A (ja) 2012-03-01
JP5132732B2 JP5132732B2 (ja) 2013-01-30

Family

ID=45594825

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010186528A Active JP5132732B2 (ja) 2010-08-23 2010-08-23 店舗システムおよびプログラム

Country Status (3)

Country Link
US (1) US20120047040A1 (ja)
JP (1) JP5132732B2 (ja)
CN (1) CN102376052A (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103310559A (zh) * 2012-03-06 2013-09-18 东芝泰格有限公司 信息处理装置及其控制方法
JP2015038720A (ja) * 2013-07-16 2015-02-26 東芝テック株式会社 情報処理装置及びプログラム
JP2015046189A (ja) * 2014-11-11 2015-03-12 東芝テック株式会社 情報処理装置及びプログラム
JP2015130116A (ja) * 2014-01-08 2015-07-16 東芝テック株式会社 情報処理装置及びプログラム
JP2015187870A (ja) * 2015-04-30 2015-10-29 東芝テック株式会社 商品認識装置及び商品認識プログラム
JPWO2015140855A1 (ja) * 2014-03-20 2017-04-06 日本電気株式会社 Pos端末装置、posシステム、画像処理方法及びプログラム
WO2017126253A1 (ja) * 2016-01-21 2017-07-27 日本電気株式会社 情報処理装置、情報処理方法、及び、プログラム

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5235228B2 (ja) 2010-08-23 2013-07-10 東芝テック株式会社 ラベル発行装置およびプログラム
JP5544332B2 (ja) 2010-08-23 2014-07-09 東芝テック株式会社 店舗システムおよびプログラム
JP5194149B2 (ja) 2010-08-23 2013-05-08 東芝テック株式会社 店舗システムおよびプログラム
US20140180874A1 (en) * 2012-12-21 2014-06-26 Lucy Ma Zhao Local product comparison system
WO2014196178A1 (ja) * 2013-06-04 2014-12-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 誘導方法及び誘導システム
WO2015147329A1 (ja) * 2014-03-27 2015-10-01 日本電気株式会社 Pos端末装置、情報処理装置、情報処理システム、画像認識方法および画像認識プログラム
WO2015145977A1 (ja) * 2014-03-27 2015-10-01 日本電気株式会社 情報処理装置、画像処理方法と記録媒体、ならびに、pos端末装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06176268A (ja) * 1992-02-21 1994-06-24 Plant Chain:Kk 飲食店等に於ける飲食物の支払金自動集計装置
JP2001134723A (ja) * 1999-11-02 2001-05-18 Glory Ltd 非接触型データ記憶体のデータ処理装置及び方法、並びに食堂精算用非接触idタグ読出装置
JP2004102563A (ja) * 2002-09-09 2004-04-02 Nec Infrontia Corp 決済システム
JP2004127013A (ja) * 2002-10-03 2004-04-22 Matsushita Electric Ind Co Ltd 販売時点情報管理装置
JP2005267346A (ja) * 2004-03-19 2005-09-29 Nec Infrontia Corp 梱包支援システムおよび方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6003015A (en) * 1996-02-28 1999-12-14 Hm Electronics, Inc. Order confirmation system and method of using same
JP3573652B2 (ja) * 1999-04-06 2004-10-06 松下電器産業株式会社 袋詰め誤り検出システム
US7845554B2 (en) * 2000-10-30 2010-12-07 Fujitsu Frontech North America, Inc. Self-checkout method and apparatus
NL1018512C1 (nl) * 2001-07-11 2001-11-02 Beheermij Van Der Loo B V Automatisch kassasysteem.
US7603287B2 (en) * 2002-08-14 2009-10-13 Ipdev Co. Point of purchase display accessory

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06176268A (ja) * 1992-02-21 1994-06-24 Plant Chain:Kk 飲食店等に於ける飲食物の支払金自動集計装置
JP2001134723A (ja) * 1999-11-02 2001-05-18 Glory Ltd 非接触型データ記憶体のデータ処理装置及び方法、並びに食堂精算用非接触idタグ読出装置
JP2004102563A (ja) * 2002-09-09 2004-04-02 Nec Infrontia Corp 決済システム
JP2004127013A (ja) * 2002-10-03 2004-04-22 Matsushita Electric Ind Co Ltd 販売時点情報管理装置
JP2005267346A (ja) * 2004-03-19 2005-09-29 Nec Infrontia Corp 梱包支援システムおよび方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103310559A (zh) * 2012-03-06 2013-09-18 东芝泰格有限公司 信息处理装置及其控制方法
JP2013186564A (ja) * 2012-03-06 2013-09-19 Toshiba Tec Corp 情報処理装置及びプログラム
JP2015038720A (ja) * 2013-07-16 2015-02-26 東芝テック株式会社 情報処理装置及びプログラム
JP2015130116A (ja) * 2014-01-08 2015-07-16 東芝テック株式会社 情報処理装置及びプログラム
JPWO2015140855A1 (ja) * 2014-03-20 2017-04-06 日本電気株式会社 Pos端末装置、posシステム、画像処理方法及びプログラム
JP2015046189A (ja) * 2014-11-11 2015-03-12 東芝テック株式会社 情報処理装置及びプログラム
JP2015187870A (ja) * 2015-04-30 2015-10-29 東芝テック株式会社 商品認識装置及び商品認識プログラム
WO2017126253A1 (ja) * 2016-01-21 2017-07-27 日本電気株式会社 情報処理装置、情報処理方法、及び、プログラム
US10762486B2 (en) 2016-01-21 2020-09-01 Nec Corporation Information processing apparatus, information processing method, and non-transitory storage medium

Also Published As

Publication number Publication date
CN102376052A (zh) 2012-03-14
JP5132732B2 (ja) 2013-01-30
US20120047040A1 (en) 2012-02-23

Similar Documents

Publication Publication Date Title
US9990541B2 (en) Commodity recognition apparatus and commodity recognition method
US8927882B2 (en) Commodity search device that identifies a commodity based on the average unit weight of a number of commodities resting on a scale falling within a predetermined weight deviation of a referece unit weight stored in a database
CN103208154B (zh) 信息处理装置、店铺系统及信息处理方法
JP6189761B2 (ja) 商品データ登録装置、チェックアウトシステムおよびプログラム
JP5619095B2 (ja) 商品認識装置及び商品認識プログラム
CN105448000B (zh) 商品登录装置、商品登录方法以及存储介质
US8622293B2 (en) Label issuing device and label issuing method
US9042660B2 (en) Information processing apparatus and information processing method
CN102842190B (zh) 结账装置及商品销售数据处理方法
US20130057670A1 (en) Information processing apparatus and method
US20140023241A1 (en) Dictionary registration apparatus and method for adding feature amount data to recognition dictionary
US9292748B2 (en) Information processing apparatus and information processing method
JP5485954B2 (ja) 店舗システム及びプログラム
US8712853B2 (en) Code reading apparatus, sales registering apparatus, and sales registering method
JP5297506B2 (ja) コード読取装置およびプログラム
JP5320360B2 (ja) 商品コード読取装置及びプログラム
JP5149950B2 (ja) 商品情報読取装置及びプログラム
CN102375977B (zh) 店铺系统及商品销售数据处理方法
US20160358150A1 (en) Information processing apparatus and commodity recognition method by the same
JP5826801B2 (ja) 商品認識装置及び商品認識プログラム
CN103226687A (zh) 商品读取装置及商品读取方法
JP5487288B2 (ja) 商品読取装置及び商品読取プログラム
JP6274097B2 (ja) 商品識別装置および商品認識ナビゲーション方法
US20130103509A1 (en) Commodity data processing apparatus and commodity data processing method
US20130223682A1 (en) Article recognition system and article recognition method

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120613

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120626

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120827

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121009

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121106

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151116

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5132732

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150