JP2021166096A - 販売データ処理装置およびプログラム - Google Patents

販売データ処理装置およびプログラム Download PDF

Info

Publication number
JP2021166096A
JP2021166096A JP2021116127A JP2021116127A JP2021166096A JP 2021166096 A JP2021166096 A JP 2021166096A JP 2021116127 A JP2021116127 A JP 2021116127A JP 2021116127 A JP2021116127 A JP 2021116127A JP 2021166096 A JP2021166096 A JP 2021166096A
Authority
JP
Japan
Prior art keywords
unit
product
imaging
sales data
imaging unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021116127A
Other languages
English (en)
Other versions
JP7177226B2 (ja
Inventor
大輔 宮城
Daisuke Miyagi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba TEC Corp
Original Assignee
Toshiba TEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba TEC Corp filed Critical Toshiba TEC Corp
Priority to JP2021116127A priority Critical patent/JP7177226B2/ja
Publication of JP2021166096A publication Critical patent/JP2021166096A/ja
Priority to JP2022179499A priority patent/JP7425161B2/ja
Application granted granted Critical
Publication of JP7177226B2 publication Critical patent/JP7177226B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07GREGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00Cash registers
    • G07G1/0036Checkout procedures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/38Payment protocols; Details thereof
    • G06Q20/40Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401Transaction verification
    • G06Q20/4016Transaction verification involving fraud or risk level assessment in transaction processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10712Fixed beam scanning
    • G06K7/10722Photodetector array or CCD scanning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404Methods for optical code recognition
    • G06K7/1408Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/14131D bar codes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/08Payment architectures
    • G06Q20/20Point-of-sale [POS] network systems
    • G06Q20/202Interconnection or interaction of plural electronic cash registers [ECR] or to host computer, e.g. network details, transfer of information from host to ECR or from ECR to ECR
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/08Payment architectures
    • G06Q20/20Point-of-sale [POS] network systems
    • G06Q20/208Input by product or record sensing, e.g. weighing or scanner processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm
    • G06V40/113Recognition of static hand signs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07GREGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00Cash registers
    • G07G1/0036Checkout procedures
    • G07G1/0045Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07GREGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00Cash registers
    • G07G1/12Cash registers electronically operated
    • G07G1/14Systems including one or more distant stations co-operating with a central processing unit
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07GREGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G3/00Alarm indicators, e.g. bells
    • G07G3/006False operation
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07GREGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00Cash registers
    • G07G1/0036Checkout procedures
    • G07G1/0045Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Human Computer Interaction (AREA)
  • Toxicology (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Social Psychology (AREA)
  • Computer Security & Cryptography (AREA)
  • Cash Registers Or Receiving Machines (AREA)

Abstract

【課題】セルフチェックアウト時の商品登録の抜けや個数違いへの対応を可能とする。
【解決手段】商品に付されたコードシンボルまたは商品の外観のいずれかに合致する商品情報を販売データとして登録し、前記販売データに基づく所定の処理を行う販売データ処理装置であって、オペレータの入力操作を受け付ける操作部と、前記コードシンボルまたは商品の外観を撮像する第1撮像部と、前記第1撮像部の出力に基づいて商品を認識する認識部と、前記第1撮像部の撮像領域を含む所定の領域を、前記第1撮像部の撮像方向と異なる方向から撮像する第2撮像部と、前記第2撮像部の出力から、手の動作を検知する動作検知部と、前記第2撮像部の出力から、手が持った物を検知する物体検知部と、前記動作検知部および前記物体検知部の出力が、前記認識部または前記第1撮像部の出力と整合するかを判断する照合部と、を備える。
【選択図】図4

Description

本発明の実施形態は、販売データ処理装置およびプログラムに関する。
従来、オペレータの操作により作動し、商品に付されたコードまたは商品の外観のいずれかに合致する商品情報を販売データとして登録し、決済等の所定の処理を行う販売データ処理装置が用いられている。このような装置の一種に、客がオペレータとなり、商品登録から決済までを行うセルフチェックアウト装置がある。セルフチェックアウト装置は客が操作するものであるので、不慣れによる誤操作や不正行為への対策が講じられている。
セルフチェックアウト装置において想定される誤操作や不正行為の一例としては、いくつか購入するうちの一部について商品登録が行われないことや、同一商品を複数個購入する場合の登録個数の違いなどがある。後者の具体例としては、同一商品を複数購入する場合に、商品を読み込ませはするものの、個数の入力を行わなかったり、異なる個数を入力してしまったりすることである。
本発明が解決しようとする課題は、セルフチェックアウト時の商品登録の抜けや個数違いへの対応を可能とすることである。
実施形態の販売データ処理装置は、商品に付されたコードシンボルまたは商品の外観のいずれかに合致する商品情報を販売データとして登録し、前記販売データに基づく所定の処理を行うものであって、オペレータの入力操作を受け付ける操作部と、前記コードシンボルまたは商品の外観を撮像する第1撮像部と、前記第1撮像部の出力に基づいて商品を認識する認識部と、前記第1撮像部の撮像領域を含む所定の領域を、前記第1撮像部の撮像方向と異なる方向から撮像する第2撮像部と、前記第2撮像部の出力から、手の動作を検知する動作検知部と、前記第2撮像部の出力から、手が持った物を検知する物体検知部と、前記動作検知部および前記物体検知部の出力が、前記認識部または前記第1撮像部の出力と整合するかを判断する照合部と、を備える。
図1は、実施形態のセルフPOSの外観の一例を示す斜視図である。 図2は、セルフPOSのハードウェア構成の一例を示すブロック図である。 図3は、制御部の機能構成の一例を示すブロック図である。 図4は、検知処理の流れの一例を示すフローチャートである。
(第1の実施形態)
実施形態について図面を用いて説明する。本実施形態では、セルフチェックアウト装置(以下、セルフPOSと称する)を販売データ処理装置の一例として説明する。図1は、セルフPOS1の外観の一例を示す斜視図である。
セルフPOS1は、客がオペレータとなる装置であって、客の操作により、店舗で販売される商品の売上登録処理および決済処理を実行する。売上登録処理においてセルフPOS1はまず、取引において販売される商品に付されたバーコード等のシンボルを光学的に読み取るなどにより商品コードを取得する。売上登録処理においてセルフPOS1は次に、商品コードに関連付けて記憶された商品情報(商品名や価格等)を表示するとともに、集計対象として記憶する。
決済処理においてセルフPOS1はまず、集計対象とされた商品情報に基づいて当該取引に係る合計金額を計算して表示し、顧客から預かった預り金に基づいて釣銭を計算して表示する。決済処理においてセルフPOS1は次に、釣銭の発行を釣銭機に指示する。決済処理後の商品情報や決済情報(合計金額、預り金額、釣銭額等)は、レシートに印字されて発行される。
セルフPOS1は、本体部110、第1の載置台120および第2の載置台130を備えている。本体部110は、二つの載置台120,130の間に設けられ、データ登録や決済を行う。
第1の載置台120は、データ登録前の商品が入れられた籠を載せるための台であって、本体部110の側面部に固定されている。第2の載置台130は、データ登録済の商品を載せるための台であって、本体部110を挟んで第1の載置台120の反対側に設置されている。
第2の載置台130は、データ登録済の商品を入れる持帰り袋を掛けるためのフック132や、データ登録済の商品を持帰り袋に入れる前に一時的に置いておくための一時置台133を備える。一時置台133には、例えば卵やパンなど、破損や変形のおそれがあるために最後に袋詰めしたいものなどが置かれる。
また、第2の載置台130は、計量器131を内蔵している。セルフPOS1は、計量器131の出力から、袋詰めされた商品が適切にデータ登録されたか判断している。判断は、データ登録と袋詰めとのタイミングを確認することで行ってもよいし、さらには、各商品の商品情報として重量を予め記憶しておき、データ登録された商品の重量と計量器131による計量値の増分とを比較するなどしてもよい。
なお、第1の載置台120にも計量器を内蔵したセルフPOSもある。このタイプのセルフPOSは、商品の総重量がデータ登録の前後で変わらないことを確認している。
このようなセルフPOS1において、オペレータである客は、第1の載置台120上の商品を手に取り、同商品のデータ登録を本体部110で行い、同商品を第2の載置台130に置く。この動作を客は繰り返し行い、商品が第1の載置台120上から第2の載置台130上へすべて移動したら、本体部110で決済を行う。
本体部110は、表示部111、タッチパネル112、商品読取部113、プリンタ114、釣銭器115、監視カメラ116、および報知ランプ117を備えている。
表示部111は、例えば液晶表示器であって、オペレータに向けた情報を表示する。例えば、表示部111は、顧客にセルフPOS1の操作方法を知らせるための案内画面や、各種の入力画面や、商品読取部113が読み込んだ商品情報を表示する登録画面を、表示する。また、表示部111は、商品の合計金額や預かり金額、釣銭額等を表示し、支払い方法の選択をする精算画面等を表示する。
タッチパネル112は、操作部の一例であって、表示部111の表面に重ねて設けられて、表示部111の表示内容に応じた各種操作を受け付ける。
商品読取部113は、商品から情報を読み取る(商品を認識する)ものであって、読取窓113aにかざされた商品を撮像して得た画像に基づいたデータ検索により、商品情報を得る。
なお、商品によっては、読取窓113aにかざしても商品登録ができないものがある。このような商品としては、例えばコロッケなど、客自らパッキングする惣菜がある。このような商品を登録するにあたっては、オペレータは、タッチパネル112に表示させた候補から購入する商品を選択し、必要に応じて個数を入力する。
プリンタ114は、レシートなどを印字し、発行する。
釣銭器115は、オペレータが向き合う側に、紙幣入金口115a、紙幣出金口115b、硬貨入金口115c、硬貨出金口115dを備え、精算用の金銭を受け入れ、釣銭を排出する。
監視カメラ116は、セルフPOS1に対して行われたことを監視するものであって、オペレータの動作、特に手の動きを確認可能な程度の範囲を、撮像する。
報知ランプ117は、必要に応じて作動され、点灯もしくは点滅により、周囲に、セルフPOS1に異常が発生していることや、店員を呼ぶ必要があることなどを知らせる。
次に、図2は、セルフPOS1のハードウェア構成の一例を示すブロック図である。セルフPOS1は、CPU(Central Processing Unit)101、ROM(Read Only Memory)102、RAM(Random Access Memory)103、記憶部104、通信インタフェース105、接続インタフェース106,107を、さらに備えている。
CPU101は、セルフPOS1の動作を統括的に制御する。ROM102は、各種プログラムやデータを記憶する。RAM103は、各種プログラムを一時的に記憶するとともに、各種データを書き換え自在に記憶する。また、RAM103は、画像データテーブルT1を記憶する。なお、画像データテーブルT1は、RAM103に限らず、記憶部104等の他の記憶媒体に記憶されていてもよいし、ストアサーバ等の他の機器に記憶されていてもよい。
記憶部104は、HDD(Hard Disk Drive)やSSD(Solid State Drive)等の不揮発性の記憶装置である。記憶部104は、制御プログラムP1と、PLUファイルF1とを記憶する。なお、PLUファイルF1は、記憶部104に限らず、他の記憶媒体に記憶されていてもよいし、ストアサーバ等の他の機器に記憶されていてもよい。
制御プログラムP1は、オペレーティングシステムや、セルフPOS1が備えている機能を実現させるためのプログラムである。制御プログラムP1には、本実施形態に係る特徴的な機能を実現させるためのプログラムが含まれる。
PLUファイルF1は、店舗で販売される各種商品の各々について、商品の売上登録に係る情報を格納する商品ファイルである。PLUファイルF1は、商品ごとに、商品コード、商品情報、照合用特徴量、認識分類などを、関連付けて記憶している。
商品コードは、商品を識別可能な識別情報であって、例えば所定桁の数で表される。商品情報は、商品が属する商品分類、商品名、単価等の情報を含む。照合用特徴量は、商品の標準的な形状、表面の色合い、模様、凹凸状況等の外観の特徴をパラメータ化したものである。尚、照合用特徴量は、後述する類似度の判定に用いられる照合用のデータである。
認識分類は、その商品の認識に用いる認識方法を指示するための情報である。認識方法としては、コードシンボル認識か、一般物体認識が設定される。
コードシンボル認識は、バーコードや2次元コード等のコードシンボルが示している商品コードを読み取ることにより商品を認識する方法であって、コードシンボルが付されている商品に対して設定される認識方法である。
一般物体認識は、コードシンボルが付されていない商品に対して設定される認識方法であって、一般物体認識により商品を認識する方法である。一般物体認識は、オブジェクト認識とも呼ばれ、商品を撮像した画像と、照合用特徴量とを比較することなどにより、商品を認識する方法である。
なお、照合用特徴量と、認識分類とは、PLUファイルF1とは異なるファイルに記憶されていてもよい。
さらに、本実施形態では、PLUファイルF1は、商品の標準的な大きさをも記憶している。なお、実施にあたっては、商品の標準的な大きさを記憶するものがPLUファイルF1でなく別のファイルであってもよい。
CPU101と、ROM102と、RAM103と、記憶部104と、通信インタフェース105と、接続インタフェース106と、プリンタ114と、釣銭器115と、計量器131とは、バスを介して接続されている。また、表示部111と、タッチパネル112とは、接続インタフェース107を介して接続インタフェース106に接続されている。さらに、商品読取部113および監視カメラ116は、接続インタフェース106に接続されている。
商品読取部113は、CPU201、ROM202、RAM203、接続インタフェース204、撮像部205および音声出力部206を、備えている。CPU201と、ROM202と、RAM203と、接続インタフェース204と、撮像部205と、音声出力部206とは、バスを介して接続されている。
CPU201は、商品読取部113を統括的に制御する。ROM202は、各種プログラムやデータを記憶する。RAM203は、各種プログラムを一時的に記憶するとともに、各種データを書き換え自在に記憶する。接続インタフェース204は、接続インタフェース106に接続されている。
撮像部205は、第1撮像部の一例であって、顧客が商品読取部113の読取窓113a(図1参照)にかざした商品を撮像し、撮像画像を得る。CPU201は、撮像画像にコードシンボルが含まれていれば、コード認識で商品を認識する。また、CPU201は、撮像画像にコードシンボルが含まれていなければ、一般物体認識で商品を認識する。
音声出力部206は、エラーが発生した場合などに、音声を出力することにより、オペレータや外部に対して、異常の発生を報知する。
監視カメラ116は、CPU301、ROM302、RAM303、接続インタフェース304、撮像部305および音声出力部306を、備えている。CPU301と、ROM302と、RAM303と、接続インタフェース304と、撮像部305と、音声出力部306とは、バスを介して接続されている。
CPU301は、監視カメラ116を統括的に制御する。ROM302は、各種プログラムやデータを記憶する。RAM303は、各種プログラムを一時的に記憶するとともに、各種データを書き換え自在に記憶する。接続インタフェース304は、接続インタフェース106に接続されている。
音声出力部306は、エラーが発生した場合などに、音声を出力することにより、オペレータや外部に対して、異常の発生を報知する。
撮像部305は、第2撮像部の一例であって、撮像部205の撮像方向と異なる方向から撮像を行う。撮像部205がセルフPOS1の奥から手前に向かって撮像するのに対し、撮像部305は、オペレータの頭上から下を見下ろす向きで撮像する。
また、撮像部305は、撮像部205が撮像する領域を含む所定の領域を、撮像する。撮像部205が撮像するのは、読取窓113aの正面の領域(第1領域)である。撮像部305が撮像する領域(第2領域)は、少なくとも、第1領域と、第1の載置台120の平面視領域と、第2の載置台130の平面視領域と、を含む。また、第2領域は、紙幣入金口115a、紙幣出金口115b、硬貨入金口115c、硬貨出金口115dが撮像部305に撮像されるように設定されていると、より好ましい。
さらに、撮像部305は、例えば、RGB−Dカメラや、ステレオカメラであると、好ましい。
図3は、制御部10,20,30の機能構成の一例を示すブロック図であって、(a)は制御部10、(b)は制御部20、(c)は制御部30が備える機能部を例示している。
CPU101と、ROM102と、RAM103とは、制御部10を構成する。制御部10は、ROM102が記憶しCPU101が実行するプログラムに応じて各種機能部を実現し、商品登録部11、精算部12、照合部13、および異常報知部14として機能する。
商品登録部11は、売上登録処理を行う。すなわち、商品登録部11は、商品読取部113が読み取った商品情報を、集計対象としてRAM103に記憶する。
精算部12は、決済処理を行う。すなわち、精算部12は、商品登録部11により登録された商品情報に基づいて、当該取引の代金を算出し、釣銭器115を介して客と金銭の受け渡しを行い、レシートを発行する。
照合部13については、後述する。
異常報知部14は、報知部の一例であって、報知ランプ117の作動状態(点灯、点滅、消灯)を制御する。
CPU201と、ROM202と、RAM203とは、制御部20を構成する。制御部20は、ROM202が記憶しCPU201が実行するプログラムに応じて各種機能部を実現し、コード認識部21およびオブジェクト認識部22として機能する。
コード認識部21およびオブジェクト認識部22は、認識部の例であって、撮像部205の出力に基づいて商品を認識する。コード認識部21は、コードシンボル認識を行う。オブジェクト認識部22は、一般物体認識を行う。
CPU301と、ROM302と、RAM303とは、制御部30を構成する。制御部30は、ROM302が記憶しCPU301が実行するプログラムに応じて各種機能部を実現し、動作検知部31、物体検知部32、および個数判断部33として機能する。
動作検知部31は、撮像部305の出力を解析して、手の動作を検知する。物体検知部32は、撮像部305の出力を解析して、手が持った物を検知する。つまり、物体検知部32は、オペレータの手が物を持っていることを検知する。なお、動作検知部31および物体検知部32としては、例えば、インテルのリアルセンス(RealSense)テクノロジーを利用可能である。
個数判断部33は、コード認識部21およびオブジェクト認識部22が選出した商品情報に関連付けられた商品の外観に関する情報と、撮像部305の出力とに基づいて、物体検知部32が検知した物体の個数を判断する。個数判断部33が用いる商品の外観に関する情報は、商品の標準的な形状や、商品の標準的な大きさである。
商品の標準的な形状が分かれば、撮像部305の出力した撮像画像と比較することにより、物体の個数を判断することができる。また、インテルのリアルセンス(RealSense)テクノロジーを利用して、撮像部305の出力した撮像画像の中の物体と撮像部305との距離を算出し、この距離と、商品の標準的な大きさとを考え合わせることにより、物体の個数を判断することができる。
そして、照合部13は、オペレータによる商品登録に係る入力と、撮像部305に由来する出力とが、整合するかを判断する。商品登録に係る入力については、タッチパネル112および撮像部205に由来する出力から判断する。撮像部205に由来する出力は、読取窓113aに物体がかざされたことの検知でもよいし、コード認識部21またはオブジェクト認識部22の出力でもよい。撮像部305に由来する出力は、動作検知部31、物体検知部32、および個数判断部33の出力である。
より具体的には、照合部13は、物を持った手の移動と物を持たない手の移動との間に、商品登録に係る入力(売上登録処理)があることをもって、「整合」と判断する。
これに対して、物を持った手の移動と物を持たない手の移動との間に商品登録に係る入力がなかった場合には、オペレータが、商品を読取窓113aにかざさなかった可能性がある。この場合、続いて所定の事象が検知されると、照合部13は、整合しない(不整合)と判断する。所定の事象としては、例えば、計量器131による計量値の増加や、物を持たなかった手が第1の載置台120上の物を手に取ること、などが考えられる。
なお、照合部13は、判断の材料に、物を持った手の移動方向および物を持たない手の移動方向を、加えてもよい。
つまり、照合部13は、順方向に(第1の載置台120から第2の載置台130へ向かって)物を持った手が移動する間に商品登録に係る入力があった場合に「整合」と判断してもよい。
また、照合部13は、物を持った手が順方向に移動する間に商品登録に係る入力がなく、そのまま逆方向に(第2の載置台130から第1の載置台120へ向かって)物を持たない手が移動した場合、「不整合」と判断してもよい。
さらに、照合部13は、個数判断部33の出力をも、判断の材料に加える。照合部13は、個数判断部33の出力が、オペレータの入力値と合致する場合、「整合」と判断する。ここで、照合部13は、オペレータが個数として数値を入力した場合、当該数値を、オペレータの入力値とする。また、照合部13は、オペレータが数値を入力しない場合には、オペレータが「1」を入力したもの(入力値=1)とする。
セルフPOS1において同一商品を複数個登録する場合には、商品読取部113に商品をかざす前(あるいは後)に、個数を手入力する。商品読取部113にかざした商品の購入数が1である場合には、個数の手入力は不要である。例えば、オペレータである客が、みかんを2個手に持ち、個数の手入力なしに読取窓113aにかざし、それらのみかんを第2の載置台130上の持帰り袋に入れたとする。この場合、オブジェクト認識部22は、商品はみかんであると認識する。これを受けて個数判断部33は、みかんが2個である(もしくは、少なくとも1個ではない)と判断する。そしてこれを受けて照合部13は、オペレータの入力値と個数判断部33との出力が整合しないと判断する。
異常報知部14は、照合部13が整合しないと出力した場合に、報知ランプ117によりその旨を報知する。
このようなセルフPOS1における商品登録抜けおよび登録個数違いに対応するための検知処理の流れについて、以下に説明する。図4は、検知処理の流れの一例を示すフローチャートである。この例では、手の移動方向をも判断の材料に加味している。
検知処理においては、まず、制御部10が、精算を行うタイミングであるかを判断する(ステップS1)。ここでの精算とは、精算部12による決済処理である。精算を行うタイミングであれば(ステップS1のYes)、制御部10は、検知処理を終了する。精算を行うタイミングでなければ(ステップS1のNo)、制御部10は、処理をステップS2へ進める。精算を行うタイミングであるかは、タッチパネル112に、商品登録を終えて精算に移る旨を指示する操作が行われたか、によって判断する。
ステップS2においては、制御部10は、動作検知部31および物体検知部32の出力から、物を持った手が順方向に移動したかを判断する。物を持った手が順方向に移動することが検知されなければ(ステップS2のNo)、制御部10は、処理をステップS1へ戻す。物を持った手が順方向に移動することが検知されると(ステップS2のYes)、制御部10は、処理をステップS3へ進める。
ステップS3においては、制御部10は、商品登録に係る入力があったかを判断する。ステップS3において入力ありの場合(ステップS3のYes)、制御部10は、照合部13の出力から、不整合なしかを判断する(ステップS4)。不整合なしの場合(ステップS4のYes)、制御部10は、商品登録に係る入力に基づいて売上登録処理を行う(ステップS5)。
ステップS4において、不整合ありの場合(ステップS4のNo)、制御部10は、異常報知部14により報知ランプ117を作動させて異常を報知して(ステップS6)、処理を終了する。
ステップS3において入力なしの場合(ステップS3のNo)、制御部10は、動作検知部31および物体検知部32の出力から、物を持たない手だけが戻って(すなわち逆方向に移動して)第1の載置台120上の物を持ったかを判断する(ステップS7)。ステップS7の判断がNoの場合には、制御部10は処理をステップS3へ戻し、商品登録に係る入力を待機する。
ステップS7において、物を持たずに戻った手が次の商品を持った場合には、制御部10は、処理をステップS7のYesからステップS8へと進める。そしてステップS8において制御部10は、異常報知部14により報知ランプ117を作動させて異常を報知して、処理を終了する。
以上のように、本実施形態によれば、商品登録に係るオペレータの入力、オペレータの手の移動、手の移動方向、手が物体を持っているか、手に持たれた物体の個数、などを判断の材料として、整合性を判断し、不整合の場合に、異常を報知することができる。これにより、店員は、オペレータである客の操作に異常があることを知ることができるので、該当のセルフPOS1における客の操作の訂正を行うことができる。よって、本実施形態によれば、セルフチェックアウト時の商品登録の抜けや個数違いへの対応を可能とすることができる。
なお、本実施形態では、セルフPOS1は、CPU101,201,301を備え、CPU101,201,301が、商品登録部11、精算部12、照合部13、および異常報知部14、コード認識部21、オブジェクト認識部22、動作検知部31、物体検知部32、および個数判断部33を分担して実現しているが、実施にあたっては、1つのCPUが全機能部を実現してもよいし、2または4つ以上のCPUで分担して実現してもよい。
また、本実施形態では、撮像部305は、オペレータの頭上から下を見下ろす向きで撮像しているが、実施にあたっては、撮像部205の撮像方向と異なる方向から撮像するのであればよく、見下ろす向きに限らない。
なお、本実施形態のセルフPOS1で実行されるプログラムは、ROM等に予め組み込まれて提供される。
本実施形態のセルフPOS1で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
さらに、本実施形態のセルフPOS1で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態のセルフPOS1で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
本実施形態のセルフPOS1で実行されるプログラムは、上述した各部(商品登録部11、精算部12、照合部13、および異常報知部14、コード認識部21、オブジェクト認識部22、動作検知部31、物体検知部32、および個数判断部33)を含むモジュール構成となっている。CPU(プロセッサ)101,201,301は、上記記憶媒体からプログラムを読み出して実行することにより、上記各部を主記憶装置上にロードする。これにより、商品登録部11、精算部12、照合部13、および異常報知部14、コード認識部21、オブジェクト認識部22、動作検知部31、物体検知部32、および個数判断部33が、主記憶装置上に生成される。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
1 …セルフPOS(販売データ処理装置)
110…本体部
111…表示部
112…タッチパネル(操作部)
113…商品読取部、113a…読取窓
114…プリンタ
115…釣銭器
115a…紙幣入金口、115b…紙幣出金口
115c…硬貨入金口、115d…硬貨出金口
116…監視カメラ
117…報知ランプ
120…第1の載置台
130…第2の載置台
131…計量器
132…フック
133…一時置台
101…CPU
102…ROM
103…RAM、T1…画像データテーブル
104…記憶部、F1…PLUファイル、P1…制御プログラム
105…通信インタフェース
106…接続インタフェース
107…接続インタフェース
201…CPU
202…ROM
203…RAM
204…接続インタフェース
205…撮像部(第1撮像部)
206…音声出力部
301…CPU
302…ROM
303…RAM
304…接続インタフェース
305…撮像部(第2撮像部)
306…音声出力部
10 …制御部
11 …商品登録部
12 …精算部
13 …照合部
14 …異常報知部(報知部)
20 …制御部
21 …コード認識部(認識部)
22 …オブジェクト認識部(認識部)
30 …制御部
31 …動作検知部
32 …物体検知部
33 …個数判断部
特開2012−48742号公報
実施形態の販売データ処理装置は、商品の情報を撮像する第1撮像部と、前記第1撮像部によって撮像される前の商品を載置する第1の載置台と、前記第1撮像部によって撮像された後の商品を載置する第2の載置台と、前記第1の載置台、前記第2の載置台、前記第1撮像部によって撮像される商品、および操作者の手を撮像する第2撮像部と、前記第2撮像部の出力から、前記手の動作を検知する動作検知部と、前記第2撮像部の出力から、前記手が物を持っていることを検知する物体検知部と、前記動作検知部および前記物体検知部の出力に基づいて前記手で持たれた物の前記第1の載置台から前記第2の載置台への方向の移動を検知した後、前記第1撮像部によって商品が撮像されずに前記手が商品を持っていないことを検知した場合に、異常を報知する報知部と、を備える。

Claims (7)

  1. 商品に付されたコードシンボルまたは商品の外観のいずれかに合致する商品情報を販売データとして登録し、前記販売データに基づく所定の処理を行う販売データ処理装置であって、
    オペレータの入力操作を受け付ける操作部と、
    前記コードシンボルまたは商品の外観を撮像する第1撮像部と、
    前記第1撮像部の出力に基づいて商品を認識する認識部と、
    前記第1撮像部の撮像領域を含む所定の領域を、前記第1撮像部の撮像方向と異なる方向から撮像する第2撮像部と、
    前記第2撮像部の出力から、手の動作を検知する動作検知部と、
    前記第2撮像部の出力から、手が持った物を検知する物体検知部と、
    前記動作検知部および前記物体検知部の出力が、前記認識部または前記第1撮像部の出力と整合するかを判断する照合部と、
    を備える販売データ処理装置。
  2. 前記第2撮像部の撮像方向は、上から下を見下ろす方向である
    ことを特徴とする請求項1に記載の販売データ処理装置。
  3. 前記照合部は、物を持った手の移動と物を持たない手の移動との間に、前記操作部からの販売データ登録か前記認識部または前記第1撮像部の出力があれば、整合と判断する
    ことを特徴とする請求項1または2に記載の販売データ処理装置。
  4. 前記照合部は、さらに、物を持った手の移動方向および物を持たない手の移動方向を、前記判断の材料とする
    ことを特徴とする請求項3に記載の販売データ処理装置。
  5. 前記操作部からの販売データ登録または前記認識部が選出した商品情報に関連付けられた商品の外観に関する情報と前記第2撮像部の出力とに基づいて、前記物体検知部が検知した物体の個数を判断する個数判断部をさらに備え、
    前記照合部は、オペレータの入力値と前記個数判断部の出力とが合致する場合、整合と判断する
    ことを特徴とする請求項1〜4のいずれか1つに記載の販売データ処理装置。
  6. 前記照合部が整合しないと出力した場合に、その旨を報知する報知部をさらに備える
    ことを特徴とする請求項1〜5のいずれか1つに記載の販売データ処理装置。
  7. オペレータの入力操作を受け付ける操作部と、商品に付されたコードシンボルまたは商品の外観を撮像する第1撮像部と、前記第1撮像部の撮像領域を含む所定の領域を、前記第1撮像部の撮像方向と異なる方向から撮像する第2撮像部と、を備え、前記コードシンボルまたは商品の外観のいずれかに合致する商品情報を販売データとして登録し、前記販売データに基づく所定の処理を行う販売データ処理装置のコンピュータを、
    前記第1撮像部の出力に基づいて商品を認識する認識部と、
    前記第2撮像部の出力から、手の動作を検知する動作検知部と、
    前記第2撮像部の出力から、手が持った物を検知する物体検知部と、
    前記動作検知部および前記物体検知部の出力が、前記認識部または前記第1撮像部の出力と整合するかを判断する照合部と、
    として機能させるプログラム。
JP2021116127A 2017-03-23 2021-07-14 販売データ処理装置およびプログラム Active JP7177226B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021116127A JP7177226B2 (ja) 2017-03-23 2021-07-14 販売データ処理装置およびプログラム
JP2022179499A JP7425161B2 (ja) 2017-03-23 2022-11-09 販売データ処理装置およびプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017057533A JP6916015B2 (ja) 2017-03-23 2017-03-23 販売データ処理装置およびプログラム
JP2021116127A JP7177226B2 (ja) 2017-03-23 2021-07-14 販売データ処理装置およびプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017057533A Division JP6916015B2 (ja) 2017-03-23 2017-03-23 販売データ処理装置およびプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022179499A Division JP7425161B2 (ja) 2017-03-23 2022-11-09 販売データ処理装置およびプログラム

Publications (2)

Publication Number Publication Date
JP2021166096A true JP2021166096A (ja) 2021-10-14
JP7177226B2 JP7177226B2 (ja) 2022-11-22

Family

ID=61873264

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2017057533A Active JP6916015B2 (ja) 2017-03-23 2017-03-23 販売データ処理装置およびプログラム
JP2021116127A Active JP7177226B2 (ja) 2017-03-23 2021-07-14 販売データ処理装置およびプログラム
JP2022179499A Active JP7425161B2 (ja) 2017-03-23 2022-11-09 販売データ処理装置およびプログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2017057533A Active JP6916015B2 (ja) 2017-03-23 2017-03-23 販売データ処理装置およびプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022179499A Active JP7425161B2 (ja) 2017-03-23 2022-11-09 販売データ処理装置およびプログラム

Country Status (4)

Country Link
US (1) US20180276456A1 (ja)
EP (1) EP3379505A1 (ja)
JP (3) JP6916015B2 (ja)
CN (1) CN108629591B (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019163095A1 (ja) * 2018-02-23 2019-08-29 日本電気株式会社 登録装置、登録方法及びプログラム
JP2020035015A (ja) * 2018-08-27 2020-03-05 東芝テック株式会社 チェックアウト装置
JP6744898B2 (ja) * 2018-10-12 2020-08-19 ソニーセミコンダクタソリューションズ株式会社 計測装置、計測方法、プログラム
JP2020149639A (ja) * 2019-03-15 2020-09-17 株式会社寺岡精工 商品登録システム及びプログラム
JP2020153839A (ja) * 2019-03-20 2020-09-24 東芝テック株式会社 計量装置
US11170186B2 (en) * 2019-03-29 2021-11-09 Ncr Corporation Scanner bar
CN110276619B (zh) * 2019-06-28 2021-12-24 联想(北京)有限公司 一种信息处理方法、装置及信息处理系统
EP3839855B1 (de) * 2019-12-17 2024-04-03 Diebold Nixdorf Systems GmbH Selbstbedienungs-registrierterminal und verfahren
US20210264503A1 (en) * 2020-02-26 2021-08-26 Toshiba Tec Kabushiki Kaisha Sales management system, sales management device, and control method of sales management device
WO2021176840A1 (ja) * 2020-03-02 2021-09-10 日本電気株式会社 登録確認装置、制御方法、およびプログラム
JP7365941B2 (ja) 2020-03-06 2023-10-20 東芝テック株式会社 商品販売データ処理装置及びプログラム
JP2022109011A (ja) * 2021-01-14 2022-07-27 東芝テック株式会社 不正行為認識装置及びその制御プログラム、不正行為認識方法
JP2022126273A (ja) * 2021-02-18 2022-08-30 東芝テック株式会社 商品登録装置およびプログラム
US20240054470A1 (en) * 2021-03-30 2024-02-15 Nec Corporation Detection system, detection method, and storage medium
JP2023002229A (ja) * 2021-06-22 2023-01-10 東芝テック株式会社 セルフチェックアウト装置およびプログラム
JP2023107429A (ja) * 2022-01-24 2023-08-03 東芝テック株式会社 読取装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008027427A (ja) * 2006-06-20 2008-02-07 Toshiba Tec Corp セルフチェックアウト端末
JP2016224734A (ja) * 2015-05-29 2016-12-28 東芝テック株式会社 商品情報処理装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6236736B1 (en) * 1997-02-07 2001-05-22 Ncr Corporation Method and apparatus for detecting movement patterns at a self-service checkout terminal
US5967264A (en) * 1998-05-01 1999-10-19 Ncr Corporation Method of monitoring item shuffling in a post-scan area of a self-service checkout terminal
US20020170782A1 (en) * 2001-05-17 2002-11-21 Ncr Corporation Scalable self-checkout system
US8448858B1 (en) * 2004-06-21 2013-05-28 Stoplift, Inc. Method and apparatus for detecting suspicious activity using video analysis from alternative camera viewpoint
US7631808B2 (en) * 2004-06-21 2009-12-15 Stoplift, Inc. Method and apparatus for detecting suspicious activity using video analysis
RU2323475C2 (ru) * 2004-11-12 2008-04-27 Общество с ограниченной ответственностью "Центр Нейросетевых Технологий - Интеллектуальные Системы Безопасности" (ООО "ИСС") Способ (варианты) и устройство (варианты) автоматизированного обнаружения умышленных либо случайных нарушений технологической процедуры оператором
JP2007226320A (ja) * 2006-02-21 2007-09-06 Toshiba Tec Corp 商品販売データ処理装置及び方法並びにプログラム
US8239268B2 (en) * 2006-06-20 2012-08-07 Toshiba Tec Kabushiki Kaisha Self-checkout terminal
US7988045B2 (en) * 2007-05-31 2011-08-02 International Business Machines Corporation Portable device-based shopping checkout
JP2009163331A (ja) * 2007-12-28 2009-07-23 Toshiba Tec Corp 商品販売データ処理装置及びコンピュータプログラム
US8571298B2 (en) * 2008-12-23 2013-10-29 Datalogic ADC, Inc. Method and apparatus for identifying and tallying objects
JP5038456B2 (ja) * 2010-04-02 2012-10-03 東芝テック株式会社 販売登録装置、チェックアウトシステムおよびプログラム
JP5132733B2 (ja) * 2010-08-23 2013-01-30 東芝テック株式会社 店舗システムおよびプログラム
US9367770B2 (en) * 2011-08-30 2016-06-14 Digimarc Corporation Methods and arrangements for identifying objects
US20130254114A1 (en) * 2012-03-23 2013-09-26 Ncr Corporation Network-based self-checkout

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008027427A (ja) * 2006-06-20 2008-02-07 Toshiba Tec Corp セルフチェックアウト端末
JP2016224734A (ja) * 2015-05-29 2016-12-28 東芝テック株式会社 商品情報処理装置

Also Published As

Publication number Publication date
CN108629591B (zh) 2022-05-31
EP3379505A1 (en) 2018-09-26
JP7425161B2 (ja) 2024-01-30
JP2023011908A (ja) 2023-01-24
CN108629591A (zh) 2018-10-09
US20180276456A1 (en) 2018-09-27
JP7177226B2 (ja) 2022-11-22
JP2018160140A (ja) 2018-10-11
JP6916015B2 (ja) 2021-08-11

Similar Documents

Publication Publication Date Title
JP6916015B2 (ja) 販売データ処理装置およびプログラム
JP6310885B2 (ja) 商品情報処理装置
JP6585475B2 (ja) チェックアウト装置およびプログラム
JP5612645B2 (ja) 情報処理装置及びプログラム
JP6890996B2 (ja) チェックアウト装置およびプログラム
JP5473155B2 (ja) チェックアウト装置及び売上処理プログラム
JP6747873B2 (ja) 情報処理装置及びプログラム
JP6745646B2 (ja) 認識システム、情報処理装置、及びプログラム
JP2014052800A (ja) 情報処理装置及びプログラム
US20180068534A1 (en) Information processing apparatus that identifies an item based on a captured image thereof
JP6208091B2 (ja) 情報処理装置およびプログラム
US20190385141A1 (en) Check-out system with merchandise reading apparatus and pos terminal
JP5770899B2 (ja) 情報処理装置及びプログラム
JP6920868B2 (ja) 商品情報読取装置およびプログラム
JP6295944B2 (ja) 商品識別装置および商品認識ナビゲーション方法
JP2015043182A (ja) 店舗システムおよびプログラム
JP6964166B2 (ja) 認識システム、情報処理装置、及びプログラム
JP7349862B2 (ja) 商品登録装置及びプログラム
JP2019153120A (ja) 販売データ処理装置、セルフ精算装置およびプログラム
JP6178250B2 (ja) 情報処理装置およびプログラム
JP2013030202A (ja) 店舗システムおよびプログラム
EP4109369A1 (en) Self-service checkout device and program
JP2024046874A (ja) 販売データ処理装置および会計装置
JP2021005414A (ja) チェックアウト装置およびプログラム
JP2016115284A (ja) 商品識別装置および商品認識ナビゲーション方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210811

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210811

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221011

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221110

R150 Certificate of patent or registration of utility model

Ref document number: 7177226

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150