JP2019153104A - 販売データ処理装置、情報処理装置およびプログラム - Google Patents

販売データ処理装置、情報処理装置およびプログラム Download PDF

Info

Publication number
JP2019153104A
JP2019153104A JP2018038174A JP2018038174A JP2019153104A JP 2019153104 A JP2019153104 A JP 2019153104A JP 2018038174 A JP2018038174 A JP 2018038174A JP 2018038174 A JP2018038174 A JP 2018038174A JP 2019153104 A JP2019153104 A JP 2019153104A
Authority
JP
Japan
Prior art keywords
image
voucher
article
candidate
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018038174A
Other languages
English (en)
Inventor
英浩 内藤
Hidehiro Naito
英浩 内藤
飯坂　仁志
Hitoshi Iizaka
仁志 飯坂
秀彦 宮越
Hidehiko Miyakoshi
秀彦 宮越
裕紀 川口
Yuki Kawaguchi
裕紀 川口
直樹 尾籠
Naoki Okago
直樹 尾籠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba TEC Corp
Original Assignee
Toshiba TEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba TEC Corp filed Critical Toshiba TEC Corp
Priority to JP2018038174A priority Critical patent/JP2019153104A/ja
Priority to US16/291,298 priority patent/US20190272648A1/en
Priority to EP19160504.7A priority patent/EP3537358A1/en
Publication of JP2019153104A publication Critical patent/JP2019153104A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/387—Payment using discounts or coupons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/04—Payment circuits
    • G06Q20/045—Payment circuits using payment protocols involving tickets
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/18—Payment architectures involving self-service terminals [SST], vending machines, kiosks or multimedia terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/204—Point-of-sale [POS] network systems comprising interface for record bearing medium or carrier for electronic funds transfer or payment credit
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/42—Confirmation, e.g. check or permission by the legal debtor of payment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • G07G1/0063—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles with means for detecting the geometric dimensions of the article of which the code is read, such as its size or height, for the verification of the registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Landscapes

  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Finance (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Geometry (AREA)
  • Cash Registers Or Receiving Machines (AREA)

Abstract

【課題】オブジェクト認識の認識結果の確認にかかる手間を軽減することができる販売データ処理装置、情報処理装置およびプログラムを提供する。【解決手段】販売データ処理装置は、撮像制御手段と、抽出手段と、第１送信手段と、第１受信手段とを備える。前記撮像制御手段は、撮像部に画像を撮像させる。前記抽出手段は、前記撮像制御手段が撮像させた前記画像に含まれている物品の候補物品を抽出する。前記第１送信手段は、前記抽出手段が抽出した前記候補物品の物品識別情報と、当該候補物品の前記画像とを送信する。前記第１受信手段は、前記第１送信手段が送信した前記画像に含まれている前記物品と、前記物品識別情報の前記候補物品とが適合しているかの確認結果が示された確認結果情報を受信する。【選択図】図５

Description

本発明の実施形態は、販売データ処理装置、情報処理装置およびプログラムに関する。
従来、撮像部が撮像した撮像画像から対象物品の特徴量を抽出し、予め用意された照合用の特徴量と比較することで、対象物品の種別等を識別する一般物体認識（オブジェクト認識）に関する技術がある。このオブジェクト認識を用いて、販売対象の商品を識別するＰＯＳ（Point Of Sales）システムが提案されている。
また、販売対象の商品を登録する登録処理と、登録処理により登録された商品の会計処理とを顧客の操作により実行するセルフＰＯＳ端末が知られている。セルフＰＯＳ端末に対しても、オブジェクト認識を用いて販売対象の商品を識別する機能の導入が求められている。
しかしながら、オブジェクト認識による対象物品の認識精度は未だ完璧ではない。そこで、店員がオブジェクト認識の認識結果を確認する方法が考えられる。ところが、オブジェクト認識の度に、店員がセルフＰＯＳ端末まで出向き確認するのでは煩雑である。
本発明が解決しようとする課題は、オブジェクト認識の認識結果の確認にかかる手間を軽減することができる販売データ処理装置、情報処理装置およびプログラムを提供することである。
実施形態の販売データ処理装置は、撮像制御手段と、抽出手段と、第１送信手段と、第１受信手段とを備える。前記撮像制御手段は、撮像部に画像を撮像させる。前記抽出手段は、前記撮像制御手段が撮像させた前記画像に含まれている物品の候補物品を抽出する。前記第１送信手段は、前記抽出手段が抽出した前記候補物品の物品識別情報と、当該候補物品の前記画像とを送信する。前記第１受信手段は、前記第１送信手段が送信した前記画像に含まれている前記物品と、前記物品識別情報の前記候補物品とが適合しているかの確認結果が示された確認結果情報を受信する。
図１は、本実施形態にかかるセルフＰＯＳシステムの一例を示す説明図である。 図２は、セルフＰＯＳ端末のハードウェア構成の一例を示すブロック図である。 図３は、金券情報テーブルのデータ構成の一例を説明する説明図である。 図４は、アテンダント端末のハードウェア構成の一例を示すブロック図である。 図５は、セルフＰＯＳシステムの各種装置が備える特徴的な機能構成の一例を示すブロック図である。 図６は、確認画面の一例を示す説明図である。 図７は、本実施形態のセルフＰＯＳ端末が実行する金券確認処理の一例を示すフローチャートである。
以下、添付図面を参照して、販売データ処理装置、情報処理装置およびプログラムの実施形態を詳細に説明する。なお、以下に説明する実施形態は、販売データ処理装置、情報処理装置およびプログラムの一実施形態であって、その構成や仕様等を限定するものではない。本実施形態の販売データ処理装置、情報処理装置およびプログラムは、スーパーマーケット等の店舗において顧客が操作するセルフＰＯＳ端末及びアテンダント端末への適用例である。また、本実施形態では、オブジェクト認識の対象物品として、商品券や図書券等の商品の支払いに用いられる金券を認識する場合を例に説明する。
図１は、本実施形態にかかるセルフＰＯＳシステム１の一例を示す説明図である。セルフＰＯＳシステム１は、スーパーマーケット等の小売店において、顧客自身が購入する商品の商品登録や会計を行うシステムである。セルフＰＯＳシステム１は、複数台のセルフＰＯＳ端末１０と、アテンダント端末２０とを備える。セルフＰＯＳ端末１０と、アテンダント端末２０とは、有線又は無線により通信可能に接続されている。
セルフＰＯＳ端末１０は、販売対象の商品を登録する登録処理と、登録処理により登録された商品の会計処理とを顧客の操作により実行する販売データ処理装置である。セルフＰＯＳ端末１０は、スキャナ１０５（図２参照）を備えている。スキャナ１０５は、スキャナ１０５の前方にかざされた金券等の物品を撮像する。セルフＰＯＳ端末１０は、スキャナ１０５が撮像した画像に含まれている金券の種別をオブジェクト認識により認識する。
アテンダント端末２０は、アテンダントと呼ばれる店員が操作するＰＯＳ端末やパーソナルコンピュータ等の情報処理装置である。アテンダント端末２０は、複数のセルフＰＯＳ端末１０に対応付けられている。そして、アテンダント端末２０は、対応付けられている複数のセルフＰＯＳ端末１０の状態を表示する。また、アテンダント端末２０は、セルフＰＯＳ端末１０の状態に応じて、セルフＰＯＳ端末１０を補助する。
セルフＰＯＳ端末１０は、オブジェクト認識によりスキャナ１０５が撮像した金券の候補である候補金券を一又は複数抽出する。セルフＰＯＳ端末１０を操作する顧客は、抽出された一又は複数の候補金券から、会計に利用する金券の種別を選択する。セルフＰＯＳ端末１０は、撮像した金券と、選択された候補金券とが適合しているか否かの確認を要求する確認要求情報をアテンダント端末２０に送信する。
確認要求情報には、セルフＰＯＳ端末コード、金券コード、金券枚数、及び処理画像が含まれている。セルフＰＯＳ端末コードは、セルフＰＯＳ端末１０を識別可能な識別情報である。すなわち、セルフＰＯＳ端末コードは、確認要求情報の要求元のセルフＰＯＳ端末１０を示す情報である。金券コードは、金券の種別を識別可能な識別情報である。すなわち、金券コードは、一又は複数の候補金券から選択された一の候補金券の種別を示す情報である。金券枚数は、利用する金券の枚数を示す情報である。処理画像は、セルフＰＯＳ端末１０が撮像した金券の画像である。また、一取引で複数の種別の金券を利用する場合、確認要求情報には、種別ごとの金券コード、金券枚数、及び処理画像が含まれている。
アテンダント端末２０は、受信した確認要求情報に含まれている各種情報を表示する。そして、アテンダント端末２０は、確認要求情報に含まれている処理画像の金券と、確認要求情報に含まれている金券コードの金券とが適合しているか否かの店員の確認を受け付ける。アテンダント端末２０は、確認要求情報に含まれているセルフＰＯＳ端末コードのセルフＰＯＳ端末１０に、店員の確認結果が示された確認結果情報を送信する。そして、セルフＰＯＳ端末１０は、確認結果情報に含まれる確認結果を表示する。また、セルフＰＯＳ端末１０は、確認結果に応じた処理を実行する。
次に、セルフＰＯＳシステム１の各種装置のハードウェア構成について説明する。
図２は、セルフＰＯＳ端末１０のハードウェア構成の一例を示すブロック図である。セルフＰＯＳ端末１０は、制御部１０１、記憶部１０２、通信インタフェース１０３、入出金部１０４、スキャナ１０５、カードリーダ１０６、プリンタ１０７、表示操作部１０８、及び表示灯１０９を備える。これら各部は、データバスやアドレスバス等のシステムバス１１０を介して相互に接続している。
制御部１０１は、セルフＰＯＳ端末１０の全体の動作を制御し、セルフＰＯＳ端末１０が有する各種の機能を実現するコンピュータである。制御部１０１は、ＣＰＵ（Central Processing Unit）と、ＲＯＭ（Read Only Memory）と、ＲＡＭ（Random Access Memory）とを備える。ＣＰＵは、セルフＰＯＳ端末１０の動作を統括的に制御する。ＲＯＭは、各種プログラムやデータを記憶する記憶媒体である。ＲＡＭは、各種プログラムや各種データを一時的に記憶する記憶媒体である。そして、ＣＰＵは、ＲＡＭをワークエリア（作業領域）としてＲＯＭ又は記憶部１０２等に格納されたプログラムを実行する。
記憶部１０２は、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）などの記憶装置である。記憶部１０２は、制御プログラム１１１と、金券情報テーブル１１２とを記憶する。
制御プログラム１１１は、オペレーティングシステムや、セルフＰＯＳ端末１０が備えている機能を発揮させるためのプログラムである。制御プログラム１１１には、本実施形態に係る特徴的な機能を発揮させるプログラムが含まれる。
図３は、金券情報テーブル１１２のデータ構成の一例を説明する説明図である。金券情報テーブル１１２は、金券の各種情報を記憶する情報テーブルである。金券情報テーブル１１２は、金券コード、名称、金額、見本画像、特徴量、及び利用可否を関連付けて記憶する。金券コードは、金券の種別を識別可能な識別情報である。名称は、金券の名称を示す情報である。金額は、金券が有している価値を示す情報である。見本画像は、金券の見本となる画像の情報である。特徴量は、金券の外観の特徴を示す照合用の情報である。金券の外観の特徴には、金券の大きさや、金券の形状や、金券に印字されている数字や文字等の文字情報や、金券の色彩等が含まれる。利用可否は、会計に利用可能な金券であるか否かを示す情報である。
通信インタフェース１０３は、ネットワークを介して接続された装置との通信を実行する。例えば、通信インタフェース１０３は、ネットワークを介して接続されたアテンダント端末２０との通信を実行する。
入出金部１０４は、会計処理等の処理において、貨幣の入金と出金とを実行する自動釣銭機である。入出金部１０４は、入金口から入金された硬貨や紙幣等の貨幣を収納部に収納する。また、入出金部１０４は、釣銭として硬貨や紙幣等の貨幣を収納部から出金口に出金する。
スキャナ１０５は、セルフＰＯＳ端末１０の前方にかざされた物品を撮像するカラーＣＣＤイメージセンサやカラーＣＭＯＳイメージセンサ等の撮像部や照明を備える。スキャナ１０５は、例えば３０ｆｐｓ（Frame Per Second）等のフレームレートで画像を撮像する。スキャナ１０５は、順次撮像した画像をＲＡＭ等に記憶する。
カードリーダ１０６は、クレジットカード等の決済に用いるカードの記憶媒体が記憶する情報の読み取りを実行する装置である。
プリンタ１０７は、一取引における取引内容をレシート用紙に印字する。
表示操作部１０８は、例えばタッチパネルが積層された液晶表示装置である。
表示灯１０９は、セルフＰＯＳ端末１０に異常が発生したこと等を店員に通知する警告灯である。
図４は、アテンダント端末２０のハードウェア構成の一例を示すブロック図である。アテンダント端末２０は、制御部２０１、記憶部２０２、通信インタフェース２０３、表示部２０４、及び操作部２０５を備える。これら各部は、データバスやアドレスバス等のシステムバス２０６を介して相互に接続している。
制御部２０１は、アテンダント端末２０の全体の動作を制御し、アテンダント端末２０が有する各種の機能を実現するコンピュータである。制御部２０１は、ＣＰＵと、ＲＯＭと、ＲＡＭとを備える。ＣＰＵは、アテンダント端末２０の動作を統括的に制御する。ＲＯＭは、各種プログラムやデータを記憶する記憶媒体である。ＲＡＭは、各種プログラムや各種データを一時的に記憶する記憶媒体である。そして、ＣＰＵは、ＲＡＭをワークエリア（作業領域）としてＲＯＭ又は記憶部２０２等に格納されたプログラムを実行する。
記憶部２０２は、ＨＤＤやＳＳＤなどの記憶装置である。記憶部２０２は、制御プログラム２０７と、金券情報テーブル２０８とを記憶する。
制御プログラム２０７は、オペレーティングシステムや、アテンダント端末２０が備えている機能を発揮させるためのプログラムである。制御プログラム２０７には、本実施形態に係る特徴的な機能を発揮させるプログラムが含まれる。
金券情報テーブル２０８は、セルフＰＯＳ端末１０の記憶部１０２に記憶された金券情報テーブル１１２と同様に、金券の各種情報を記憶する情報テーブルである。
通信インタフェース２０３は、ネットワークを介して接続された装置との通信を実行する。例えば、通信インタフェース２０３は、ネットワークを介して接続されたセルフＰＯＳ端末１０との通信を実行する。
表示部２０４は、例えば液晶表示装置である。なお、表示部２０４は、例えばタッチパネルが積層された液晶表示装置であってもよい。
操作部２０５は、例えばキーボードやマウス等の操作を入力する入力装置である。
次に、セルフＰＯＳシステム１の各種装置が備える特徴的な機能について説明する。ここで、図５は、セルフＰＯＳシステム１の各種装置が備える特徴的な機能構成の一例を示すブロック図である。
セルフＰＯＳ端末１０の制御部１０１は、記憶部１０２の制御プログラム１１１をＲＡＭに展開し、制御プログラム１１１に従って動作することで、図５に示す各機能部をＲＡＭ上に生成する。具体的には、セルフＰＯＳ端末１０の制御部１０１は、機能部として、通信制御部１００１、操作制御部１００２、商品登録部１００３、撮像制御部１００４、金券検出部１００５、特徴量抽出部１００６、類似度算出部１００７、候補抽出部１００８、利用判定部１００９、表示制御部１０１０、画像生成部１０１１、確認制御部１０１２、金券登録部１０１３、及び会計処理部１０１４を備える。
通信制御部１００１は、通信インタフェース１０３を制御して、ネットワークに接続された装置との通信を制御する。例えば、通信制御部１００１は、アテンダント端末２０との通信を制御する。
操作制御部１００２は、表示操作部１０８を制御して、各種操作を受け付ける。
商品登録部１００３は、販売対象の商品を登録する商品登録処理を制御する。例えば、商品登録部１００３は、スキャナ１０５が商品を識別可能な商品コードを読み取った場合に、読み取った商品コードにより特定される商品を登録する。なお、商品登録部１００３は、商品コードの読み取りに限らず、操作入力により特定された商品を登録してもよい。
撮像制御部１００４は、撮像制御手段の一例である。撮像制御部１００４は、スキャナ１０５を制御して、画像を撮像させる。そして、撮像制御部１００４は、スキャナ１０５が順次撮像した画像をＲＡＭ等に記憶させる。
金券検出部１００５は、撮像制御部１００４がスキャナ１０５に撮像させた画像に含まれている金券を検出する。例えば、金券検出部１００５は、画像に含まれる金券の全部または一部を、パターンマッチング技術等を用いて検出する。具体的には、金券検出部１００５は、画像を２値化した画像から輪郭線等を抽出する。金券検出部１００５は、予め用意した画像から抽出した輪郭線と、検出対象の画像から抽出した輪郭線との差分に基づいて金券を検出する。ここで、予め用意した画像は、金券等が含まれていない背景をスキャナ１０５が撮像した画像である。よって、金券検出部１００５は、検出対象の画像に金券が含まれていることを条件に、予め用意した画像から抽出した輪郭線にはない輪郭線を、検出対象の画像から抽出した輪郭線から検出することができる。そして、金券検出部１００５は、予め用意した画像から抽出した輪郭線にはない輪郭線に基づいて金券を検出する。
特徴量抽出部１００６は、スキャナ１０５が撮像した画像から金券検出部１００５が検出した金券の外観の特徴量を抽出する。すなわち、特徴量抽出部１００６は、金券の大きさや、金券の形状や、金券に印字されている数字や文字等の文字情報や、金券の色彩等の特徴量を抽出する。
類似度算出部１００７は、金券情報テーブル１１２に登録された金券の照合用特徴量と、特徴量抽出部１００６が抽出した金券の特徴量とを比較することで、金券情報テーブル１１２に登録された金券の種別ごとの類似度を算出する。ここで、類似度は、金券情報テーブル１１２に記憶されている金券の照合用特徴量を１００％＝「類似度：１．０」とした場合に、金券の全部または一部がどの程度類似しているかを示すものである。なお、類似度算出部１００７は、例えば、大きさと形状と文字情報と色彩とでは、重み付けを変えて類似度を算出してもよい。
このように画像中に含まれる物体を認識することは一般物体認識（generic object recognition）と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６ [平成３０年２月２３日検索]，インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >
また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，[平成３０年２月２３日検索]，インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >
なお、金券情報テーブル１１２に登録された各種金券の照合用特徴量と、特徴量抽出部１００６が抽出した金券の特徴量との類似度の算出方法は特に問わないものとする。例えば、類似度算出部１００７は、金券情報テーブル１１２に登録された金券の照合用特徴量と、特徴量抽出部１００６が抽出した金券の特徴量との類似度を絶対評価として算出してもよいし、相対評価として算出してもよい。
候補抽出部１００８は、抽出手段の一例である。候補抽出部１００８は、撮像制御部１００４が撮像させた画像に含まれている物品の候補となる候補物品を示す物品識別情報を抽出する。さらに詳しくは、候補抽出部１００８は、類似度算出部１００７が算出した各種金券ごとの類似度に基づいて、撮像制御部１００４がスキャナ１０５に撮像させた画像に含まれる金券の候補の金券コードを抽出する。例えば、候補抽出部１００８は、類似度が閾値以上の一又は複数の金券の金券コードを、候補金券として抽出する。
利用判定部１００９は、候補抽出部１００８が抽出した候補金券が会計に利用可能であるか否かを判定する。例えば、利用判定部１００９は、候補抽出部１００８が抽出した候補金券の金券コードに関連付けられている金券情報テーブル１１２の利用可否に基づいて利用可能であるか否かを判定する。利用判定部１００９は、金券情報テーブル１１２の利用可否に可能と設定されている場合に、会計に利用可能と判定する。また、利用判定部１００９は、金券情報テーブル１１２の利用可否に不可と設定されている場合に、会計への利用不可と判定する。
表示制御部１０１０は、表示操作部１０８を制御して、各種画面を表示させる。例えば、表示制御部１０１０は、セルフＰＯＳ端末１０の操作を案内する操作画面を表示する。さらに詳しくは、表示制御部１０１０は、例えば金券認識画面を表示させる。金券認識画面は、オブジェクト認識において、候補抽出部１００８が抽出した候補金券から確認要求の対象となる一の候補金券を選択させる画面である。
金券認識画面には、画像表示領域と、候補選択領域とが含まれている。画像表示領域は、撮像制御部１００４がスキャナ１０５に撮像させた画像を表示する領域である。候補選択領域は、候補抽出部１００８が抽出した候補金券の其々を表示する領域である。候補選択領域には、例えば金券情報テーブル１１２から読み出した、各候補金券の金券コードや、名称や、金額や、見本画像等が含まれている。セルフＰＯＳ端末１０の操作者となる顧客は、候補選択領域から一の候補金券を選択する。
また、表示制御部１０１０は、候補選択領域から一の候補金券が選択された場合に、選択された候補金券の利用枚数の入力を要求する枚数入力画面を表示する。例えば、枚数入力画面には、置数ボタンが含まれている。顧客は、所望の置数ボタンを選択することで利用枚数を入力する。
また、表示制御部１０１０は、利用判定部１００９の判定結果に基づいて、候補金券の金券が利用可能か否かを示す画面を表示させる。例えば、表示制御部１０１０は、候補金券の金券が利用不可の場合、利用不可であることを示すメッセージ等を表示する。
また、表示制御部１０１０は、通信制御部１００１が送信した確認要求情報に対する応答として、アテンダント端末２０から受信した確認結果情報を表示させる。例えば、表示制御部１０１０は、通信制御部１００１が送信した確認要求情報に含まれている処理画像の金券と、確認要求情報に含まれている金券コードの候補金券とが適合しているか否かの店員の確認結果を表示させる。
画像生成部１０１１は、画像処理手段の一例である。画像生成部１０１１は、撮像制御部１００４がスキャナ１０５に撮像させた画像に対して、視認性を向上させる画像処理を実行することで処理画像を生成する。例えば、画像生成部１０１１は、トリミング処理や、台形補正処理等の画像処理を、撮像制御部１００４がスキャナ１０５に撮像させた画像に対して実行する。トリミング処理は、スキャナ１０５が撮像した画像から、金券部分の画像を切り出す処理である。台形補正処理は、トリミング処理により切り出した金券部分の画像を矩形形状に修正する処理である。例えば、スキャナ１０５にかざした金券が傾いている場合等、スキャナ１０５が撮像した画像の金券は台形になってしまう。画像生成部１０１１は、台形補正処理により台形の物品を矩形形状に修正する。
確認制御部１０１２は、第１送信手段、及び第１受信手段の一例である。確認制御部１０１２は、通信制御部１００１と協働で、候補金券に対する確認要求情報の送信を制御する。さらに詳しくは、確認制御部１０１２は、金券認識画面で選択された候補金券の金券コードと、枚数入力画面で入力された候補金券の利用枚数と、画像生成部１０１１が候補金券の画像から生成した処理画像とを含む確認要求情報をアテンダント端末２０に送信する。なお、確認要求情報は、最終的にアテンダント端末２０に到達すればよい。すなわち、確認制御部１０１２は、確認要求情報を中継する中継装置に確認要求情報を送信してもよい。この場合には、中継装置がアテンダント端末２０に確認要求情報を送信する。
また、確認制御部１０１２は、送信した確認要求情報に対する確認結果情報を受信する。確認結果情報には、確認要求情報に含まれている処理画像の金券と、確認要求情報に含まれている金券コードの候補金券とが適合しているかの確認結果が含まれている。
金券登録部１０１３は、確認結果情報に含まれる確認結果が承認である場合、確認要求情報の確認対象の候補金券を利用対象の金券として登録する。一方、金券登録部１０１３は、確認結果情報に含まれる確認結果が拒否である場合、確認要求情報の確認対象の候補金券は利用対象の金券として登録しない。
会計処理部１０１４は、商品登録部１００３が販売登録した商品の会計処理を制御する。例えば、会計処理部１０１４は、商品登録部１００３が販売登録した商品の合計価格を算出する。また、会計処理部１０１４は、顧客から受領した金額から合計価格を減算してお釣りを算出する。さらに、会計処理部１０１４は、金券登録部１０１３により利用対象の金券が登録されている場合には、販売登録した商品の合計価格から登録されている金券の合計金額を減算する。このようにして、会計処理部１０１４は、請求金額を算出する。
アテンダント端末２０の制御部２０１は、記憶部２０２の制御プログラム２０７をＲＡＭに展開し、制御プログラム２０７に従って動作することで、図５に示す各機能部をＲＡＭ上に生成する。具体的には、アテンダント端末２０の制御部２０１は、機能部として、通信制御部２００１、操作制御部２００２、及び表示制御部２００３を備える。
通信制御部２００１は、第２送信手段、及び第２受信手段の一例である。通信制御部２００１は、通信インタフェース２０３を制御して、ネットワークに接続された装置との通信を制御する。例えば、通信制御部２００１は、セルフＰＯＳ端末１０との通信を制御する。例えば、通信制御部２００１は、セルフＰＯＳ端末１０から確認要求情報を受信する。また、通信制御部２００１は、確認要求情報に含まれているセルフＰＯＳ端末コードのセルフＰＯＳ端末１０に、確認要求情報に対する確認結果情報を送信する。
操作制御部２００２は、入力手段の一例である。操作制御部２００２は、操作部２０５を制御して、各種操作を受け付ける。また、操作制御部２００２は、表示部２０４にタッチパネルが積層されている場合、表示部２０４を制御して、各種操作を受け付ける。例えば、操作制御部２００２は、表示制御部２００３が表示した画面において、通信制御部２００１が受信した確認要求情報に含まれている処理画像の金券と、金券コードの候補金券とが適合しているか否かの確認結果を入力する操作を受け付ける。
表示制御部２００３は、表示制御手段の一例である。表示制御部２００３は、表示部２０４を制御して、各種画面を表示させる。例えば、表示制御部２００３は、対応付けられているセルフＰＯＳ端末１０の其々の状態を表示する状態一覧画面を表示させる。さらに詳しくは、表示制御部２００３は、通信制御部２００１が確認要求情報を受信した場合に、例えば確認画面Ｇ１を表示する。
ここで、図６は、確認画面Ｇ１の一例を示す説明図である。確認画面Ｇ１は、セルフＰＯＳ端末１０が撮像した金券と、セルフＰＯＳ端末１０で選択された候補金券とが適合しているか否かを確認する画面である。確認画面Ｇ１には、セルフＰＯＳ端末表示領域Ｇ１１と、一又は複数の確認対象表示領域Ｇ１２と、合計表示領域Ｇ１３とが含まれている。
セルフＰＯＳ端末表示領域Ｇ１１は、確認要求情報を送信したセルフＰＯＳ端末１０のセルフＰＯＳ端末コードを表示する領域である。確認対象表示領域Ｇ１２は、確認対象の其々の候補金券に関する情報を表示する領域である。すなわち、確認対象表示領域Ｇ１２は、確認要求情報に含まれている金券コードの金券に関する情報を表示する領域である。図６に示す確認画面Ｇ１は、確認要求情報に２種類の候補金券が含まれていた為に、２つの確認対象表示領域Ｇ１２が含まれている。
確認対象表示領域Ｇ１２には、番号と、名称と、金額と、枚数と、小計と，スキャン画像と、見本画像と、ＯＫボタンＧ１２１と、ＮＧボタンＧ１２２とが含まれている。番号は、確認要求情報に含まれている候補金券の通し番号である。名称は、確認要求情報に含まれている金券コードに、金券情報テーブル２０８で関連付けられている候補金券の名称である。金額は、確認要求情報に含まれている金券コードに、金券情報テーブル２０８で関連付けられている候補金券の金額である。枚数は、確認要求情報に含まれている候補金券の利用枚数である。小計は、金額に枚数を乗算した数値である。スキャン画像は、確認要求情報に含まれている処理画像である。見本画像は、確認要求情報に含まれている金券コードに、金券情報テーブル２０８で関連付けられている候補金券の見本画像である。
ＯＫボタンＧ１２１と、ＮＧボタンＧ１２２とは、確認要求情報に含まれている処理画像の金券と、確認要求情報に含まれている金券コードの候補金券とが適合しているかの確認結果を入力するボタンである。ＯＫボタンＧ１２１は、セルフＰＯＳ端末１０が撮像した金券が、セルフＰＯＳ端末１０で選択された候補金券に適合する場合に押下されるボタンである。ＮＧボタンＧ１２２は、セルフＰＯＳ端末１０が撮像した金券が、セルフＰＯＳ端末１０で選択された候補金券に適合しない場合に押下されるボタンである。
合計表示領域Ｇ１３は、確認対象表示領域Ｇ１２の其々の金券の小計の合計金額を表示する領域である。また、合計表示領域Ｇ１３には、ＯＫボタンＧ１３１と、ＮＧボタンＧ１３２とが含まれている。ＯＫボタンＧ１３１は、合計金額が正しい場合に押下されるボタンである。ＮＧボタンＧ１３２は、合計金額が誤りである場合に押下されるボタンである。そして、通信制御部２００１は、ＯＫボタンＧ１３１、又はＮＧボタンＧ１３２が押下された場合に、ＯＫボタンＧ１２１と、ＮＧボタンＧ１２２とにより入力された各種金券の確認結果を含む確認結果情報を送信する。
次に、セルフＰＯＳ端末１０が実行する金券確認処理について説明する。ここで、図７は、本実施形態のセルフＰＯＳ端末１０が実行する金券確認処理の一例を示すフローチャートである。
操作制御部１００２は、一取引の会計で金券の利用を明示する操作を受け付ける（ステップＳ１１）。金券の利用を明示する操作を受け付けていないことを条件に（ステップＳ１１；Ｎｏ）、セルフＰＯＳ端末１０は、ステップＳ１１に移行して待機する。
金券の利用を明示する操作を受け付けたことを条件に（ステップＳ１１；Ｙｅｓ）、セルフＰＯＳ端末１０は、金券認識処理を実行する（ステップＳ１２）。
さらに詳しくは、表示制御部１０１０は、利用する金券をスキャナ１０５の前方にかざすことを案内する案内画面を表示させる。撮像制御部１００４は、スキャナ１０５の前方を所定のフレームレートで撮像する。金券検出部１００５は、画像から金券を検出する検出処理を、撮像制御部１００４が撮像させた画像に対して実行する。特徴量抽出部１００６は、金券検出部１００５が金券を検出したことを条件に、画像の金券部分から金券の特徴量を抽出する。類似度算出部１００７は、特徴量抽出部１００６が抽出した特徴量と、金券情報テーブル１１２に記憶された各種金券の照合用の特徴量とを比較して、各種金券ごとの類似度を算出する。候補抽出部１００８は、類似度に基づいて候補金券を抽出する。
ここで、撮像制御部１００４は、所定のフレームレートで画像を撮像させる。そこで、金券検出部１００５と、特徴量抽出部１００６と、類似度算出部１００７と、候補抽出部１００８は、所定のフレームレートで撮像された各画像に対して金券認識処理を実行して、累積結果に基づいて候補金券を抽出してもよい。例えば、候補抽出部１００８は、所定の類似度以上の画像が閾値以上の場合に該当する金券を候補金券として抽出してもよい。
候補抽出部１００８は、金券認識処理により候補金券を抽出したか否かを判定する（ステップＳ１３）。候補金券を抽出していないことを条件に（ステップＳ１３；Ｎｏ）セルフＰＯＳ端末１０は、ステップＳ１３で待機する。
候補金券を抽出したことを条件に（ステップＳ１３；Ｙｅｓ）、利用判定部１００９は、候補金券を会計に利用可能であるか否かを判定する（ステップＳ１４）。
候補金券を会計に利用できないことを条件に（ステップＳ１４；Ｎｏ）、表示制御部１０１０は、候補金券を会計に利用できないこと通知する画面を表示させる（ステップＳ１５）。また、セルフＰＯＳ端末１０は、ステップＳ１１に移行する。
候補金券を会計に利用可能であることを条件に（ステップＳ１４；Ｙｅｓ）、表示制御部１０１０は、顧客が利用しようとしている金券を候補金券から選択させる金券認識画面を表示させる（ステップＳ１６）。
ステップＳ１４において、候補抽出部１００８が抽出した複数の候補金券のうち一部の候補金券が利用不可の場合、セルフＰＯＳ端末１０は、ステップＳ１５に移行せずに、ステップＳ１６に移行しもよい。この場合、表示制御部１０１０は、候補金券のうち利用不可の候補金券はその旨の明示し、利用可能な候補金券は選択可能であることを明示した金券認識画面を表示させてもよい。
操作制御部１００２は、候補金券を選択する操作を受け付けたか否かを判定する（ステップＳ１７）。候補金券を選択する操作を受け付けていないことを条件に（ステップＳ１７；Ｎｏ）、セルフＰＯＳ端末１０は、ステップＳ１７で待機する。
候補金券を選択する操作を受け付けたことを条件に（ステップＳ１７；Ｙｅｓ）、操作制御部１００２は、選択した候補金券の利用枚数を入力する操作を受け付けたか否かを判定する（ステップＳ１８）。利用枚数を入力する操作を受け付けたていないことを条件に（ステップＳ１８；Ｎｏ）、セルフＰＯＳ端末１０は、ステップＳ１８で待機する。
利用枚数を入力する操作を受け付けたことを条件に（ステップＳ１８；Ｙｅｓ）、操作制御部１００２は、他にも利用する金券があるか否かを選択させる操作を受け付ける（ステップＳ１９）。他にも利用する金券があることが選択されたことを条件に（ステップＳ１９；Ｎｏ）、セルフＰＯＳ端末１０は、ステップＳ１２に移行して、利用する金券を認識する金券認識処理を実行する。
他に利用する金券が無いことが選択されたことを条件に（ステップＳ１９；Ｙｅｓ）、確認制御部１０１２は、自装置に対応付けられたアテンダント端末２０に、候補金券の確認を要求する確認要求情報を送信する（ステップＳ２０）。
通信制御部１００１は、確認要求情報に対する確認結果情報を受信したか否かを判定する（ステップＳ２１）。確認結果情報を受信していないことを条件に（ステップＳ２１；Ｎｏ）、セルフＰＯＳ端末１０は、ステップＳ２１で待機する。
確認結果情報を受信したことを条件に（ステップＳ２１；Ｙｅｓ）、表示制御部１０１０は、確認結果情報を表示させる（ステップＳ２２）。
セルフＰＯＳ端末１０は、金券確認処理を以上により終了する。
以上のように、本実施形態に係るセルフＰＯＳ端末１０によれば、スキャナ１０５は、かざされた金券を撮像する。セルフＰＯＳ端末１０は、オブジェクト認識により撮像した画像に含まれている金券の候補を抽出する。また、セルフＰＯＳ端末１０は、抽出した金券の候補を示す金券コードと、撮像した画像とをアテンダント端末２０に送信して、金券コードと、画像の金券とが適合しているかの確認を要求する。そして、セルフＰＯＳ端末１０は、アテンダント端末２０から確認要求に対する確認結果を受信する。よって、店員は、セルフＰＯＳ端末１０に出向くことなく、アテンダント端末２０において金券を確認することができる。よって、本実施形態に係るセルフＰＯＳ端末１０は、オブジェクト認識の認識結果の確認にかかる手間を軽減することができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
また、上記実施形態では、オブジェクト認識の対象物品として、商品券や図書券等の商品の支払いに用いられる金券を認識する場合を例に説明した。しかしながら、オブジェクト認識の対象物品は、金券に限らない。例えば、オブジェクト認識の対象物品は、商品であってもよい。セルフＰＯＳ端末１０は、候補商品の確認要求情報をアテンダント端末２０に送信することで、アテンダント端末２０の店員により画像に含まれている物品と、確認要求情報の候補商品とが適合しているか確認される。よって、セルフＰＯＳ端末１０は、実際に販売する商品とは異なる商品が販売登録してしまう可能性を低減させることができる。
また、オブジェクト認識の対象物品が商品の場合には、アテンダント端末２０は、セルフＰＯＳ端末１０がオブジェクト認識により商品を認識するごとに、撮像した画像の物品と候補商品とが適合しているか否かを判定してもよい。
または、アテンダント端末２０は、一取引での販売対象の商品を一括して確認してもよい。この場合、セルフＰＯＳ端末１０は、例えば商品登録を終了する操作が入力された場合に、商品登録で撮像した一又は複数の画像と、一又は複数の候補商品とをアテンダント端末２０に送信する。アテンダント端末２０は、受信した一又は複数の画像と、一又は複数の候補商品とを表示して、撮像した画像の物品と候補商品とが適合しているか否かの入力を受け付ける。
また、オブジェクト認識の対象物品が商品の場合には、アテンダント端末２０は、類似度に応じて、撮像した画像の物品と候補商品とが適合しているかの確認を店員に要求してもよい。例えば、アテンダント端末２０は、受信した確認要求情報の画像から抽出された特徴量と、選択された候補商品との類似度が閾値未満のであることを条件に、確認画面Ｇ１を表示して店員に確認を求める。このように、アテンダント端末２０は、店員の確認対象を減らすことで、店員の負担を軽減することができる。
また、セルフＰＯＳ端末１０は、一又は複数の候補商品から顧客が選択した一の候補商品の類似度が閾値未満であることを条件に、確認要求情報をアテンダント端末２０に送信してもよい。そして、セルフＰＯＳ端末１０は、一又は複数の候補商品から顧客が選択した一の候補商品の類似度が閾値以上であることを条件に、確認要求情報をアテンダント端末２０に送信しなくてもよい。この場合においても、店員による確認対象が少なくなるため、セルフＰＯＳ端末１０は、店員の負担を軽減することができる。
また、オブジェクト認識の対象物品が金券の場合にも、アテンダント端末２０は、類似度に応じて、撮像した画像の物品と候補金券とが適合しているかの確認を店員に求めてもよい。しかし、金券の重要性を考慮して、アテンダント端末２０は、類似度に関わらず撮像した画像の物品と候補金券とが適合しているかの確認をアテンダント端末２０に要求することが好ましい。
上記実施形態や変形例の各装置で実行されるプログラムは、各装置が備える記憶媒体（ＲＯＭ又は記憶部）に予め組み込んで提供するものとするが、これに限らないものとする。例えば、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。さらに、記憶媒体は、コンピュータ或いは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶又は一時記憶した記憶媒体も含まれる。
また、上記実施形態や変形例の各装置で実行されるプログラムをインターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよいし、インターネット等のネットワーク経由で提供又は配布するように構成してもよい。
１ セルフＰＯＳシステム
１０ セルフＰＯＳ端末
２０ アテンダント端末
１０５ スキャナ
１００１、２００１ 通信制御部
１００２、２００２ 操作制御部
１００３ 商品登録部
１００４ 撮像制御部
１００５ 金券検出部
１００６ 特徴量抽出部
１００７ 類似度算出部
１００８ 候補抽出部
１００９ 利用判定部
１０１０、２００３ 表示制御部
１０１１ 画像生成部
１０１２ 確認制御部
１０１３ 金券登録部
１０１４ 会計処理部
特開２０１６−０９５７６５公報

Claims (6)

  1. 撮像部に画像を撮像させる撮像制御手段と、
    前記撮像制御手段が撮像させた前記画像に含まれている物品の候補物品を抽出する抽出手段と、
    前記抽出手段が抽出した前記候補物品の物品識別情報と、当該候補物品の前記画像とを送信する第１送信手段と、
    前記第１送信手段が送信した前記画像に含まれている前記物品と、前記物品識別情報の前記候補物品とが適合しているかの確認結果が示された確認結果情報を受信する第１受信手段と、
    を備える販売データ処理装置。
  2. 前記抽出手段は、前記画像に含まれている前記物品の候補となる金券を抽出する、
    請求項１に記載の販売データ処理装置。
  3. 視認性を向上させる画像処理を前記画像に対して実行する画像処理手段を更に備え、
    前記第１送信手段は、前記画像処理手段が前記画像処理により生成した処理画像を送信する、
    請求項１又は２に記載の販売データ処理装置。
  4. 複数の販売データ処理装置に対応付けられた情報処理装置であって、
    画像と、当該画像に含まれている物品の候補物品を示す物品識別情報とを受信する受信手段と、
    前記受信手段が受信した前記画像と、前記物品識別情報の前記物品に関する情報とを表示する表示制御手段と、
    前記受信手段が受信した前記画像に含まれている前記物品と、前記物品識別情報の前記候補物品とが適合しているかの確認結果を入力する入力手段と、
    前記入力手段が受け付けた前記確認結果を送信する送信手段と、
    を備える情報処理装置。
  5. 前記表示制御手段は、前記受信手段が受信した前記画像と、前記物品識別情報が示す物品の見本画像とを表示させる、
    請求項４に記載の情報処理装置。
  6. コンピュータを、
    撮像部に画像を撮像させる撮像制御手段と、
    前記撮像制御手段が撮像させた前記画像に含まれている物品の候補物品を抽出する抽出手段と、
    前記抽出手段が抽出した前記候補物品の物品識別情報と、当該候補物品の前記画像とを送信する第１送信手段と、
    前記第１送信手段が送信した前記画像に含まれている前記物品と、前記物品識別情報の前記候補物品とが適合しているかの確認結果が示された確認結果情報を受信する第１受信手段と、
    として機能させるためのプログラム。
JP2018038174A 2018-03-05 2018-03-05 販売データ処理装置、情報処理装置およびプログラム Pending JP2019153104A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018038174A JP2019153104A (ja) 2018-03-05 2018-03-05 販売データ処理装置、情報処理装置およびプログラム
US16/291,298 US20190272648A1 (en) 2018-03-05 2019-03-04 Sales data processing apparatus, information processing apparatus, and information processing method
EP19160504.7A EP3537358A1 (en) 2018-03-05 2019-03-04 Sales data processing apparatus, information processing apparatus, and information processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018038174A JP2019153104A (ja) 2018-03-05 2018-03-05 販売データ処理装置、情報処理装置およびプログラム

Publications (1)

Publication Number Publication Date
JP2019153104A true JP2019153104A (ja) 2019-09-12

Family

ID=65717725

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018038174A Pending JP2019153104A (ja) 2018-03-05 2018-03-05 販売データ処理装置、情報処理装置およびプログラム

Country Status (3)

Country Link
US (1) US20190272648A1 (ja)
EP (1) EP3537358A1 (ja)
JP (1) JP2019153104A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023016283A (ja) * 2021-07-21 2023-02-02 東芝テック株式会社 保守支援システム、保守支援装置及びその制御プログラム

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7333955B2 (en) * 2001-09-24 2008-02-19 E2Interactive, Inc. System and method for securing communication service
US20030014321A1 (en) * 2001-07-13 2003-01-16 International Business Machines Corporation System for single-action scan and purchase in a physical environment
US7970644B2 (en) * 2003-02-21 2011-06-28 Accenture Global Services Limited Electronic toll management and vehicle identification
US8239268B2 (en) * 2006-06-20 2012-08-07 Toshiba Tec Kabushiki Kaisha Self-checkout terminal
EP2254086A1 (en) * 2009-05-22 2010-11-24 Merlin Inc. Method and system for recognizing customer by using his mobile phone
JP5059151B2 (ja) * 2010-02-26 2012-10-24 東芝テック株式会社 セルフチェックアウト端末装置及びその制限確認プログラム
JP2012038214A (ja) * 2010-08-10 2012-02-23 Toshiba Tec Corp 読取装置およびプログラム
JP5422619B2 (ja) * 2011-08-26 2014-02-19 東芝テック株式会社 読取装置、読取システム、およびプログラム
JP5450560B2 (ja) * 2011-10-19 2014-03-26 東芝テック株式会社 商品データ処理装置、商品データ処理方法及び制御プログラム
JP5487288B2 (ja) * 2012-03-05 2014-05-07 東芝テック株式会社 商品読取装置及び商品読取プログラム
US9152868B2 (en) * 2012-03-23 2015-10-06 Microsoft Technology Licensing, Llc Personal identification combining proximity sensing with biometrics
US20130339242A1 (en) * 2012-05-09 2013-12-19 Ganart Technologies, Inc. System and method for formless, self-service registration for access to financial services
JP5927147B2 (ja) * 2013-07-12 2016-05-25 東芝テック株式会社 商品認識装置及び商品認識プログラム
JP6258761B2 (ja) * 2013-07-16 2018-01-10 東芝テック株式会社 情報処理装置及びプログラム
JP6223118B2 (ja) * 2013-10-23 2017-11-01 東芝テック株式会社 買物支援システム
JP6104777B2 (ja) * 2013-10-23 2017-03-29 東芝テック株式会社 買物支援装置及びプログラム
JP6419421B2 (ja) * 2013-10-31 2018-11-07 株式会社東芝 画像表示装置、画像表示方法およびプログラム
JP6141207B2 (ja) * 2014-01-07 2017-06-07 東芝テック株式会社 情報処理装置、店舗システム及びプログラム
JP6134664B2 (ja) * 2014-01-31 2017-05-24 東芝テック株式会社 商品データ登録装置およびプログラム
JP2015152959A (ja) * 2014-02-10 2015-08-24 東芝テック株式会社 読取装置
JP6247116B2 (ja) * 2014-03-03 2017-12-13 東芝テック株式会社 情報処理装置及びプログラム
JP6272795B2 (ja) * 2015-03-26 2018-01-31 東芝テック株式会社 読取装置
US10699507B2 (en) * 2015-04-09 2020-06-30 Filigrade B.V. Method of verifying an authenticity of a printed item and data processing terminal
US9805252B2 (en) * 2015-05-15 2017-10-31 Toshiba Tec Kabushiki Kaisha Video based facial recognition for customer verification at touchless checkout
JP6609453B2 (ja) * 2015-10-09 2019-11-20 東芝テック株式会社 決済装置とその制御プログラム
JP6664933B2 (ja) * 2015-11-05 2020-03-13 東芝テック株式会社 情報処理装置、管理システム、及びプログラム
JP2017117299A (ja) * 2015-12-25 2017-06-29 東芝テック株式会社 商品販売処理装置及びチェックアウトシステム
JP2017130015A (ja) * 2016-01-20 2017-07-27 東芝テック株式会社 入金装置
JP6552428B2 (ja) * 2016-02-05 2019-07-31 東芝テック株式会社 商品販売データ処理装置
JP6835485B2 (ja) * 2016-05-31 2021-02-24 東芝テック株式会社 スキャナ装置
JP6745646B2 (ja) * 2016-05-31 2020-08-26 東芝テック株式会社 認識システム、情報処理装置、及びプログラム
US10410097B2 (en) * 2016-06-06 2019-09-10 Mutualink, Inc. System and method for distributed intelligent pattern recognition
JP6760780B2 (ja) * 2016-07-04 2020-09-23 東芝テック株式会社 情報処理装置およびプログラム
JP2018032332A (ja) * 2016-08-26 2018-03-01 東芝テック株式会社 情報処理装置およびプログラム
US9972158B2 (en) * 2016-10-01 2018-05-15 Cantaloupe Systems, Inc. Method and device of automatically determining a planogram in vending

Also Published As

Publication number Publication date
EP3537358A1 (en) 2019-09-11
US20190272648A1 (en) 2019-09-05

Similar Documents

Publication Publication Date Title
JP6189761B2 (ja) 商品データ登録装置、チェックアウトシステムおよびプログラム
JP5596630B2 (ja) 商品リスト発券装置
JP2014153894A (ja) 情報処理装置及びプログラム
JP6745646B2 (ja) 認識システム、情報処理装置、及びプログラム
JP6747873B2 (ja) 情報処理装置及びプログラム
JP2015141682A (ja) 会計装置、チェックアウトシステムおよびプログラム
JP6122805B2 (ja) 情報処理装置及びプログラム
US20160132855A1 (en) Commodity sales data processing apparatus, reading apparatus and method by the same
US20170344851A1 (en) Information processing apparatus and method for ensuring selection operation
US20190385141A1 (en) Check-out system with merchandise reading apparatus and pos terminal
JP6190019B2 (ja) 情報処理装置及びプログラム
JP6376955B2 (ja) 情報処理装置、販売データ処理装置およびプログラム
JP5781554B2 (ja) 情報処理装置及びプログラム
JP5567606B2 (ja) 情報処理装置及びプログラム
US20190272648A1 (en) Sales data processing apparatus, information processing apparatus, and information processing method
JP6449407B2 (ja) 会計装置、チェックアウトシステムおよびプログラム
JP6348784B2 (ja) 情報処理装置及びプログラム
CN110378187B (zh) 读取装置及控制方法、计算机可读存储介质、电子设备
JP6200339B2 (ja) 商品データ登録装置、チェックアウトシステムおよびプログラム
JP5521019B2 (ja) 店舗システムおよびプログラム
JP6964166B2 (ja) 認識システム、情報処理装置、及びプログラム
JP7189726B2 (ja) 読取装置及びプログラム
JP6997278B2 (ja) チェックアウトシステム
JP2014052799A (ja) 情報処理装置及びプログラム
JP2020177705A (ja) 情報処理装置及びプログラム