CN115516533A - 结账支付装置和结账支付系统 - Google Patents

结账支付装置和结账支付系统 Download PDF

Info

Publication number
CN115516533A
CN115516533A CN202180031618.2A CN202180031618A CN115516533A CN 115516533 A CN115516533 A CN 115516533A CN 202180031618 A CN202180031618 A CN 202180031618A CN 115516533 A CN115516533 A CN 115516533A
Authority
CN
China
Prior art keywords
user
item
age
checkout
payment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180031618.2A
Other languages
English (en)
Inventor
村上宣义
山冈惠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN115516533A publication Critical patent/CN115516533A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/18—Payment architectures involving self-service terminals [SST], vending machines, kiosks or multimedia terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/206—Point-of-sale [POS] network systems comprising security or operator identification provisions, e.g. password entry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/30—Payment architectures, schemes or protocols characterised by the use of specific devices or networks
    • G06Q20/34—Payment architectures, schemes or protocols characterised by the use of specific devices or networks using cards, e.g. integrated circuit [IC] cards or magnetic cards
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401—Transaction verification
    • G06Q20/4014—Identity check for transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401—Transaction verification
    • G06Q20/4014—Identity check for transactions
    • G06Q20/40145—Biometric identity checks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/407—Cancellation of a transaction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/178—Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F9/00—Details other than those peculiar to special kinds or types of apparatus
    • G07F9/02—Devices for alarm or indication, e.g. when empty; Advertising arrangements in coin-freed apparatus
    • G07F9/026—Devices for alarm or indication, e.g. when empty; Advertising arrangements in coin-freed apparatus for alarm, monitoring and auditing in vending machines or means for indication, e.g. when empty
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/01—Details for indicating
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G3/00—Alarm indicators, e.g. bells
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G3/00—Alarm indicators, e.g. bells
    • G07G3/006—False operation

Abstract

为了确保即使在无人商店处也能够销售年龄限制物品，可以可靠地进行用于判断是否向用户销售年龄限制物品的年龄验证。本发明包括：控制器，用于基于通过物品拍摄用摄像头(41)的摄像所获取到的物品图像来识别用户所要购买的物品以进行结账和支付处理并辨识作为支付对象的用户，基于通过面部识别用摄像头(46)的摄像所获取到的用户的面部图像来进行面部认证处理；以及触摸屏显示器(45)，用于显示控制器所获取到的物品识别结果、结账结果和面部认证结果，其中在所识别的物品包括年龄限制物品的情况下，当通过面部识别辨识出用户时，控制器基于用户的年龄信息来进行用于判断用户是否是年龄限制者的年龄验证处理。

Description

结账支付装置和结账支付系统
技术领域
本发明涉及用于识别用户从卖场内的商品中选择的商品并对该商品进行结账和支付的结账支付装置和结账支付系统。
背景技术
近年来，诸如便利店等的零售店可以选择引入所谓的自助结账系统，这些自主结账系统使得顾客能够在没有店员的情况下独自对要购买的商品(以下也简称为“(一个或多于一个)物品”)进行结账。由于禁止向在购买年龄限制物品时受到年龄限制的人(即，低于最小允许年龄的人)销售诸如酒精饮料等的年龄限制物品，因此这样的自助结账系统还需要基于用户是否受到年龄限制来进行用以判断是否允许向用户销售年龄限制物品的年龄验证。
自助结账系统中所使用的与针对年龄限制物品的销售的年龄验证相关的已知技术包括如下的系统，该系统被配置为拍摄正在使用自助结账系统的顾客的面部的图像，然后将面部的拍摄图像显示在店员所用的终端装置上，使得店员可以检查顾客的面部的外观，由此进行年龄验证(专利文献1)。
现有技术文献
专利文献
专利文献1：日本特开2016-053908
发明内容
发明要解决的问题
另一方面，近年来，提出了针对工人短缺的各种解决方案，并且这些提出的解决方案包括无人商店，在该无人商店中，在一天的整个时间段或一些时间段期间没有店员在商店中提供服务。销售年龄限制商品的无人商店对于顾客来说将是更方便的。然而，上述的现有技术的系统不能用于无人商店，因为在现有技术的配置中，工作人员需要到岗以检查顾客的面部的图像，从而判断各顾客是否受到年龄限制。另外，由于年龄验证是由商店工作人员进行的、并且顾客的年龄的判断是基于顾客的面部的外观进行的，因此由现有技术的系统进行的年龄验证并不总是准确的。
本发明是考虑到现有技术的这样的问题而做出的，并且主要目的是提供一种结账支付装置和结账支付系统，其可以足够准确地进行用以判断是否允许向用户销售年龄限制物品的年龄验证，以使得无人商店能够销售年龄限制物品。
用于解决问题的方案
本发明的一方面提供一种结账支付装置，用于识别用户从卖场内的商品中选择的商品并对该商品进行结账和支付，所述结账支付装置包括：第一摄像头，其被配置为拍摄用户所要购买的商品的图像；第二摄像头，其被配置为拍摄用户的面部的图像；控制器，其被配置为：进行用于基于所述第一摄像头所获取到的商品的图像来识别用户所要购买的商品的物品识别操作、以及用于对所识别的商品进行结账和支付的结账支付操作，以及基于所述第二摄像头所拍摄到的用户的面部的图像来进行面部识别操作以辨识用户；以及显示装置，用于显示所述物品识别操作、所述结账支付操作和所述面部识别操作的各个结果，其中，在通过所述物品识别操作识别出年龄限制物品的情况下，响应于通过所述面部识别操作对用户的辨识，所述控制器基于与所辨识的用户的年龄有关的信息来进行年龄验证操作，由此判断用户在购买年龄限制物品时是否受到年龄限制。
本发明的另一方面提供一种结账支付系统，包括：所述结账支付装置；以及服务器装置，其经由网络连接到所述结账支付装置，其中，所述结账支付装置被配置为：作为与面部识别有关的处理，将用户的面部的图像发送到所述服务器装置，以及所述服务器装置被配置为：基于从所述结账支付装置发送来的用户的面部的图像来进行所述面部识别操作以辨识用户；以及将所述面部识别操作的结果发送到所述结账支付装置。
发明的效果
根据本发明，基于用于辨识用户的面部识别操作的结果和与所辨识的用户的年龄有关的信息来进行与是否允许向用户销售年龄限制物品有关的判断(也就是说，与用户在购买年龄限制物品时是否受到年龄限制有关的判断)(年龄验证)。结果，可以足够准确地进行年龄验证以使得无人商店能够销售年龄限制物品。
附图说明
图1是示出根据本发明一个实施例的结账支付系统的整体配置的图；
图2是结账柜台1的整体外观的立体图；
图3是结账柜台1的主要部分的侧视图；
图4是从上方看到的结账柜台1的顶板部33的平面图；
图5是示出结账柜台1的示意结构的框图；
图6是示出在结账柜台1的触摸屏显示器45上显示的画面的说明图；
图7是示出在结账柜台1的触摸屏显示器45上显示的画面的说明图；
图8是示出在结账柜台1的触摸屏显示器45上显示的画面的说明图；
图9是示出在结账柜台1的触摸屏显示器45上显示的画面的说明图；
图10是示出在结账柜台1的触摸屏显示器45上显示的画面的说明图；
图11是示出在结账柜台1的触摸屏显示器45上显示的画面的说明图；
图12是示出结账柜台1的确认等待时间和非使用状态的说明图；
图13是示出在结账柜台1的触摸屏显示器45上显示的数字小键盘133的键布局的变化的示例的说明图；
图14是示出用户登记时的用户终端11的操作的操作过程的流程图；
图15是示出结账柜台1的操作的操作过程的流程图；以及
图16是示出结账柜台1的操作的操作过程的流程图。
具体实施方式
为了实现上述目的而做出的本发明的第一方面是一种结账支付装置，用于识别用户从卖场内的商品中选择的商品并对该商品进行结账和支付，所述结账支付装置包括：第一摄像头，其被配置为拍摄用户所要购买的商品的图像；第二摄像头，其被配置为拍摄用户的面部的图像；控制器，其被配置为：进行用于基于所述第一摄像头所获取到的商品的图像来识别用户所要购买的商品的物品识别操作、以及用于对所识别的商品进行结账和支付的结账支付操作，以及基于所述第二摄像头所拍摄到的用户的面部的图像来进行面部识别操作以辨识用户；以及显示装置，用于显示所述物品识别操作、所述结账支付操作和所述面部识别操作的各个结果，其中，在通过所述物品识别操作识别出年龄限制物品的情况下，响应于通过所述面部识别操作对用户的辨识，所述控制器基于与所辨识的用户的年龄有关的信息来进行年龄验证操作，由此判断用户在购买年龄限制物品时是否受到年龄限制。
在该配置中，基于用于辨识用户的面部识别操作的结果和与所辨识的用户的年龄有关的信息来进行与是否允许向用户销售年龄限制物品有关的判断(也就是说，与用户在购买年龄限制物品时是否受到年龄限制有关的判断)(年龄验证)。结果，可以足够准确地进行年龄验证以使得无人商店能够销售年龄限制物品。
在结账支付装置中进行年龄验证。在其他实施例中，在服务器装置中进行年龄验证。在这种情况下，作为年龄验证操作，结账支付装置向服务器装置提供用以进行年龄验证的指示，然后从服务器装置获取年龄验证的结果。
本发明的第二方面是第一方面的结账支付装置，其中，在所识别的商品包括年龄限制物品并且所辨识的用户受到年龄限制的情况下，所述控制器不进行用于支付执行的操作。
在该配置中，在用户受到年龄限制的情况下，防止结账支付装置销售年龄限制物品。
本发明的第三方面是第二方面的结账支付装置，其中，所述控制器在由于年龄限制而不进行用于支付执行的操作的情况下，在显示器上显示通知，所述通知表示禁止向受到年龄限制的人销售年龄限制物品。
在该配置中，可以向用户通知禁止向受到年龄限制的人销售年龄限制物品。
本发明的第四方面是第一方面的结账支付装置，其中，所述控制器在由于年龄限制而不进行用于支付执行的操作的情况下，在显示器上显示操作接口，所述操作接口使得用户能够提供用于重新进行所述物品识别操作和所述结账支付操作的指示。
在该配置中，用户能够移除所识别的年龄限制物品，然后指示结账支付装置重新进行物品识别操作和结账支付操作。
本发明的第五方面是一种结账支付系统，包括：第一方面的结账支付装置；以及服务器装置，其经由网络连接到所述结账支付装置，其中，所述结账支付装置被配置为：作为与面部识别有关的处理，将用户的面部的图像发送到所述服务器装置，以及所述服务器装置被配置为：基于从所述结账支付装置发送来的用户的面部的图像来进行所述面部识别操作以辨识用户；以及将所述面部识别操作的结果发送到所述结账支付装置。
在该配置中，以与第一方面相同的方式，可以足够准确地进行与是否允许向用户销售年龄限制物品有关的判断(年龄验证)，以使得无人商店能够销售年龄限制物品。
以下将参考附图来说明本发明的实施例。
(实施例)
图1是示出根据本发明一个实施例的结账支付系统的整体配置的图。
结账支付系统被配置为安装在诸如办公楼或车站等的设施中的小型商店(售货亭)处，并且使得能够在无需商店中的店员或收银员的情况下对顾客所购买的商品进行结账和结算(支付)。该结账支付系统不仅可以用于商店中不存在店员或收银员的无人商店，而且可以用于有人商店以由此减轻店员的负担。
该结账支付系统包括安装在商店中的结账柜台1(结账支付装置)、用户终端11、支付服务器12、用户管理服务器13、物品数据服务器14以及面部识别服务器15(服务器装置)、数据库服务器16和数据分析服务器17。
用户终端11、支付服务器12、用户管理服务器13、物品数据服务器14、面部识别服务器15、数据库服务器16、数据分析服务器17和商店中所安装的结账柜台1经由诸如因特网和/或LAN等的网络彼此连接。
用户管理服务器13、物品数据服务器14、面部识别服务器15、数据库服务器16和数据分析服务器17可以位于商店中(例如，位于靠近卖场的后场中)。然而，这些服务器可以设置在远离商店的场所(例如，商店运营商的总部)。
结账柜台1被配置为识别用户从商店的卖场内的商品中选择的商品，并对该商品进行结账和结算(支付)。在本实施例中，结账柜台1基于商品的图像通过物体识别来辨识商品(物品识别操作)，并且根据各商品的价格(单价)和数量来计算总支付金额(结账操作)。另外，结账柜台1请求面部识别服务器15进行面部识别操作(面部识别所用的操作)，以识别要购买商品的用户，并且当面部识别成功完成时，结账柜台1请求支付服务器12进行支付操作(结账和支付所用的操作)。
用户终端11被配置为进行与用户使用系统所需的用户登记(用户的会员信息和面部图像的登记)相关的操作，并且管理购买历史(收据信息)。用户终端11可以是智能电话、平板终端或任何合适的移动装置，并且存储安装在其上的用户所用的一些应用。
支付服务器12由支付服务提供商(诸如信用卡公司等)运营。支付服务器12响应于来自结账柜台1的支付请求而进行用于对用户所购买的商品进行支付的支付操作。支付服务器12可以是由支付代理服务提供商(支付代理服务器)运营的支付服务器。
用户管理服务器13用作用于管理用户的登录的登录服务器，并且进行口令识别(即，口令认证)所用的操作。用户管理服务器13还用作将结账柜台1链接到支付服务器12的支付接口服务器。
物品数据服务器14通过使用诸如深度学习技术等的机器学习技术来构建要安装在结账柜台1中的商品识别引擎。物品数据服务器14通过使用要登记的物品的先前拍摄图像作为输入数据并且还使用包括各物品的物品ID数据的物品ID信息(诸如物品的名称等)作为输出数据执行机器学习算法，来创建商品识别所用的数据库。
面部识别服务器15具有面部管理服务器25和面部匹配服务器26。面部管理服务器25存储并管理各登记用户的诸如姓名和面部信息(面部ID、面部图像)等的用户数据。面部匹配服务器26响应于来自结账柜台1的面部识别的请求而进行面部识别操作。在该面部识别操作中，面部识别服务器15从结账柜台1获取对象人物的面部图像，从该面部图像生成对象人物的面部特征量，通过将该对象人物的面部特征量与面部识别服务器中所存储的相应登记者(登记用户)的各面部特征量进行比较以供匹配来进行面部匹配操作，并且将该对象人物识别为登记者(1对N识别)。可替代地，面部识别服务器15可以获取用户管理服务器13所管理的商店访问者列表，并将所存储的数据缩小到商店访问者列表，之后进行面部识别操作。
数据库服务器16存储并管理各种类型的信息。具体地，数据库服务器存储用户数据库中所登记的用户管理信息，诸如各用户的支付ID、面部ID、用户ID、口令和局名代码等。数据库服务器存储物品管理所用的数据库中所登记的物品主信息，诸如物品ID信息(例如，物品名称和物品代码)等。物品管理所用的数据库还包括与年龄限制物品有关的信息。数据库服务器还存储购买日志数据库中所登记的购买日志信息(例如，各用户的用户ID、各购买物品的名称和价格)。
数据分析服务器17基于数据库服务器16中所存储的信息记录来进行各种分析操作。具体地，数据分析服务器17根据各访问者用户是否购买了一个或多于一个商品来进行分析操作。例如，所记录的分析结果可用于针对按某个标准(诸如星期几、一天中的时间等)选择的各群组来确定购买者和非购买者的比例。
在本实施例中，假设该系统用在如下的小型商店(售货亭)中，其中在该小型商店(售货亭)中，在商店周围不存在隔板，并且用户可以自由地进入和离开商店，并从展示架自由地取出商品并购买它们。然而，在其他情况下，该系统可以用在安装所用的空间中具有入口门或检查器(面部识别机器)的商店中。例如，入口检查器进行面部识别操作以判断是否许可用户进入商店，并且根据入口检查器处的面部识别结果来控制入口门的打开和关闭，而商店出口检查器进行面部识别操作以检测到用户离开了商店，并且根据出口处的面部识别结果来控制商店出口门的打开和关闭。此外，在商店具有额外的安装空间的情况下，可以在商店中安装用户登记机，由此使得访问者用户能够以与用户终端11类似的方式进行用户登记操作。
接着，将说明结账柜台1。图2是结账柜台1的整体外观的立体图。图3是结账柜台1的主要部分的侧视图。图4是从上方看到的结账柜台1的顶板部33的平面图。
如图2所示，结账柜台1包括主体31，该主体31主要包括箱状部32、顶板部33、上壁部34和后壁部35。顶板部33位于箱状部32的上侧。后壁部35被设置成从箱状部32的后侧向上突出。上壁部34被设置成从后壁部35的上端向前突出以具有檐状形状。
顶板部33设置有用户可以放置要购买的商品(从卖场内的物品中选择的物品)的放置部37。当用户将商品并排放置在放置部37上时，系统通过物体识别来识别放置部上的物品，并通过根据各物品的单价计算要支付的总金额来进行结账操作。放置部37具有凹入的碟状形状，使得用户可以容易地掌握用于放置物品的区域。
在上壁部34上设置有物品拍摄用摄像头41(第一摄像头)。物品拍摄用摄像头41拍摄顶板部33的放置部37上的商品。在一些情况下，结账柜台1可以包括多个物品拍摄用摄像头41，在这种情况下，优选地，一个摄像头41设置在放置部上方的位置处以从正上方拍摄放置部37上的物品的图像，使得该拍摄图像用于检测放置部37上的各物品的位置，而另一摄像头41设置在不同的位置处以拍摄从斜上方看到的放置部37上的物品的图像，使得该拍摄图像用于识别放置部37上的各物品(确定各物品的名称)。
此外，在上壁部34上设置有投影仪42。投影仪42使用投影映射技术将预定图像从放置部的正上方投影到放置部37上。在本实施例中，如图4所示，投影仪42投影包围放置部37上的各物品的框图像55。特别地，各框图像55被投影成包围通过物品识别所辨识的相应物品。这可以向用户通知通过物品识别已辨识的物品。用户仅需要更换或重新布置无法辨识的物品。
参考图2，在上壁部34上设置有灯43。灯43对放置部37上的物品进行照明。该特征可以提高物品识别操作的识别准确度。
在后壁部35上设置有触摸屏显示器45(显示器)。触摸屏显示器45显示物品识别结果(也就是说，放置部37上的辨识出的物品)。当确认了在物品识别结果中没有错误时，用户可以进行与面部识别和口令识别相关联的操作。当在物品识别结果中发现错误时，用户可以进行用以更正已被错误识别的物品的操作。
在后壁部35上设置有面部识别用摄像头46(第二摄像头)。面部识别用摄像头46设置在触摸屏显示器45附近以面向站在结账柜台1前面的用户。因此，面部识别用摄像头可以从正面拍摄观看触摸屏显示器45的用户的面部。将面部识别用摄像头46所拍摄到的面部图像用于支付所用的面部识别。
另外，在后壁部35上设置有扬声器47。扬声器47输出针对当前用户的语音。例如，扬声器47输出音频引导以向用户通知操作过程。
在后壁部35上还设置有麦克风48。麦克风48拾取当前用户所说出的语音。例如，用户可以通过读出(说出)在触摸屏显示器45上所显示的供操作用的接口(诸如按钮等)上显示的文字来操作该接口。
箱状部32设置有前侧开放的第一储存部51(架部)和前侧由门53闭合的第二储存部52。第一储存部51储存免费提供给用户并且用户可以带一个回家的免费物品。免费物品的示例包括购物袋和餐具(例如，勺子、叉子)。第二储存部52容纳用于控制物品拍摄用摄像头41、触摸屏显示器45和面部识别用摄像头46的控制设备54(PC)。
如图3所示，物品拍摄用摄像头41安装在上壁部34上以面向放置部37并且从上方拍摄放置部37上的物品。在使用中，当用户使用户的手靠近触摸屏显示器45以操作触摸屏显示器45时，用户的手进入物品拍摄用摄像头41的拍摄区域。
另一方面，结账柜台1基于物品拍摄用摄像头41所拍摄到的图像来进行用于识别放置部37上的物品的物品识别操作。因此，拍摄图像中的用户对触摸屏显示器45的操作可能会干扰物品识别操作，由此错误地识别或无法识别放置部上的一些物品。
此外，结账柜台1将物品识别结果(物品识别操作的识别结果)显示在触摸屏显示器45上。特别地，系统通常在实时地更新触摸屏显示器45上显示的物品识别结果的同时定期地进行物品识别操作。因此，用户对触摸屏显示器45的操作可能导致触摸屏显示器上显示的物品识别结果的不适当变化，并且这样的变化使用户对装置的操作感到不协调。特别地，在用户进行用以提供支付执行(结算)的指示的操作的情况下，物品识别结果的这样的不适当改变可能导致基于错误的物品识别结果来进行支付的问题。
根据该观点，本实施例的结账支付系统可以防止在触摸屏显示器45中显示的物品识别结果中发生不适当的变化，并且避免由于不适当的变化而使用户对装置的操作感到不协调。该系统还被配置为避免基于错误的物品识别结果来进行结账和支付。
接着，将说明结账柜台1的示意配置。图5是示出结账柜台1的示意配置的框图。
结账柜台1除了包括物品拍摄用摄像头41、投影仪42、灯43、触摸屏显示器45、面部识别用摄像头46、扬声器47和麦克风48(参见图2和图3)之外，还包括通信装置61、存储装置62和控制装置63。控制设备54主要由通信装置61、存储装置62和控制装置63(参见图2)组成。
通信装置61经由网络与支付服务器12、用户管理服务器13、物品数据服务器14和面部识别服务器15进行通信。
存储装置62存储要由作为控制装置63的主要部分的处理器执行的程序。存储装置62存储物品主信息。具体地，存储装置62存储以下项作为物品主信息：物品ID信息(诸如物品名称和物品代码等)、在物品识别操作中使用的信息(即，诸如物品名称等的包括各物品的ID数据的物品ID信息)、在结账操作中使用的信息(即，各物品的价格(单价))、以及与年龄限制物品有关的信息。
控制装置63包括物品检测器71、物品识别器72、结账处理程序73、状态管理器74、识别管理器75、年龄检查器76和支付管理器77。控制装置63由处理器配置成，并且控制装置63的各功能单元通过由处理器执行存储装置62中所存储的程序来实现。
物品检测器71基于由被配置为拍摄放置部37的物品拍摄用摄像头41拍摄到的图像，检测到物品已放置在放置部37上。在物品放置在放置部37上的情况下，物品检测器71基于物品拍摄用摄像头41所拍摄到的图像来检测物品的位置。
物品识别器72基于物品拍摄用摄像头41所拍摄到的图像来识别放置部37上的物品。在本实施例中，物品识别器72通过使用物体识别引擎，从自物品拍摄用摄像头41所拍摄到的图像中切出的物品图像获取物品ID信息(诸如物品名称等)，该物体识别引擎是通过使用诸如深度学习技术等的机器学习技术构建的。
结账处理程序73基于从物品识别器72提供的物品识别来对放置部37上所放置的物品进行结账。具体地，结账处理程序73获取放置部37上的各物品的价格(单价)，合计各个物品的价格，并计算总价(合计操作)。
当用户进行用于确认由物品识别器72提供的物品识别结果的确认操作时，状态管理器74开始预定的确认等待时间(例如，数秒)以继续物品识别操作和结账操作。在该确认等待时间期间，状态管理器74可以进行控制，使得不允许将物品识别结果和结账操作结果实时地反映在显示操作中。
状态管理器74进行控制，使得结账柜台1在经过了预定等待时间时转变到非使用状态。在非使用状态下，状态管理器74进行控制，使得结账柜台1暂时停止进行物品识别操作和结账操作。在其他情况下，状态管理器74可以继续物品识别操作和结账操作，然后进行控制，使得物品识别结果和结账操作结果不反映在结算(支付)中。
识别管理器75指示面部识别服务器15通过面部识别来辨识要进行支付的用户，并且还指示用户管理服务器13进行口令识别。在本实施例中，采用双因素认证(也就是说，面部识别和口令识别的组合)以增强安全性，并且识别管理器75仅在面部识别和口令识别这两者都成功完成的情况下才许可结账柜台1进行支付。在面部识别所用的操作中，识别管理器75从由面部识别用摄像头46拍摄到的图像中提取用户的面部图像，并将该面部图像发送到面部识别服务器15。在口令识别所用的操作中，识别管理器75将用户所输入的用户ID和口令发送到用户管理服务器13。
年龄检查器76获取从用户管理服务器13提供的通过面部识别所指定的用户的年龄信息(出生日期或当前年龄)。然后，基于该年龄信息，年龄检查器76判断通过面部识别所辨识的用户在购买年龄限制物品时是否受到年龄限制(也就是说，用户是否未成年)(年龄验证)。在物品识别器72所识别的物品包括诸如酒精饮料等的年龄限制物品的情况下，进行年龄验证操作。
支付管理器77指示支付服务器12针对通过面部识别所辨识的用户(支付者)进行供支付在结账操作中计算出的总价用的支付操作。
另外，基于物品检测器71所获取的物品的位置数据，结账柜台1的控制装置63控制投影仪42以将(一个或多于一个)框图像55(参见图4)投影到放置部37上(投影映射)。此外，控制装置63响应于由用户发出并由麦克风48拾取的语音来进行语音识别。该特征使得用户能够通过使用语音输入来操作画面。
控制装置63控制从灯43发出并对放置部37进行照明的光的量。放置部37上所放置的物品的明度根据周边明度(太阳光)条件而改变。因此，控制装置63基于物品拍摄用摄像头41所拍摄到的图像和照度传感器(未示出)的输出来检测放置部37的明度，并且基于检测结果来控制来自灯43的光的量。
在本实施例中，结账柜台1进行物品识别操作。然而，系统可以被配置成使得外部服务器进行物品识别操作。
在本实施例中，结账柜台1从用户管理服务器13获取包括通过面部识别所辨识的用户的年龄的年龄信息，并且基于该年龄信息进行年龄验证操作。然而，系统可以被配置成使得面部识别服务器15进行年龄验证操作。在这种情况下，系统可以被配置成使得结账柜台1将年龄验证指示添加到面部识别的请求并将该请求发送到面部识别服务器15，并且面部识别服务器15将包括年龄验证结果的面部验证响应发送到结账柜台1。
接着，将说明在结账柜台1的触摸屏显示器45上显示的画面。图6至图11是示出结账柜台1的触摸屏显示器45上所显示的各种画面的说明图。
结账柜台1的触摸屏显示器45首先显示图6的(A)所示的结账引导画面。该结账引导画面示出用于促使用户将物品放置在结账柜台1的放置部37上的引导消息101、以及表示如何放置物品的引导图像102(图片引导)。然后，当用户将物品放置在放置部37上时，结账柜台1进行物品识别操作和结账操作，并且画面改变为处于未确认状态的物品确认画面(也就是说，用户的确认之前的物品确认画面)(参见图6的(B))。
结账引导画面还示出用于表示如何通过用户的声音(语音输入)操作画面上的接口的引导消息103。在本实施例中，用户可以通过读出触摸屏显示器45上显示的各接口(诸如按钮等)上所显示的文字来操作该接口。
图6的(B)所示的处于未确认状态的物品确认画面(以下也称为“未确认物品确认画面”)示出用于促使用户确认所识别的物品的引导消息104。未确认物品确认画面还包括识别结果表示部105。该识别结果表示部105包括列出物品框115(物品表示部)，各框示出相应物品的名称和价格。列出物品框115与由用户放置在放置部37上的相应物品(特别是通过物品识别操作所识别的物品)相关联，并且多个列出物品框115是并排显示的。
未确认物品确认画面包括结账操作结果表示部116。结账操作结果表示部116示出结账操作结果(也就是说，放置部37上的物品的总数及其总价)。
该未确认物品确认画面还包括“确认”按钮112和“取消”按钮119。当用户操作“确认”按钮112时，画面转变到引导画面(参见图6的(C))。“确认”按钮112在初始状态下以蓝色显示，并且在被操作之后变为灰色。当用户操作“取消”按钮119时，画面转变到取消画面(参见图8的(D))。此外，当用户移除放置部37上的物品时，画面转变到取消画面。
图6的(C)所示的引导画面包括用于在扫描进行中时促使用户将用户的手从触摸屏显示器45移开的引导消息101、以及表示如何将手从触摸屏显示器45移开的引导图像102(图片)。同时，结账柜台1从扬声器47输出用于促使用户将用户的手从触摸屏显示器45移开的引导语音。
图6的(D)所示的处于确认状态的物品确认画面(用于输入支付指示的画面)包括“结账”按钮117(用于输入用于支付执行的指示的接口)和“重新扫描”按钮118。处于确认状态的物品确认画面(以下也称为“确认物品确认画面”)的其余部分与未确认物品确认画面(参见图6的(B))相同。
然后，当用户操作“结账”按钮117时，画面改变为面部识别画面(参见图7的(A))。
当用户操作“重新扫描”按钮118时，结账柜台1进行重新扫描操作(也就是说，再次进行物品识别操作和结账操作)，并且画面改变为未确认物品确认画面(图6的(B))。更具体地，在物品识别操作中发生错误识别、这导致识别结果表示部105显示包括错误的物品识别结果的情况下，用户可以操作“重新扫描”按钮118。在用户操作未确认物品确认画面(参见图6的(B))上的“确认”按钮112之后、用户更换(添加或移除)放置部37上的一些物品的情况下(例如，在存在用户未能放置在放置部上并且稍后需要放置的物品的情况下，或者在用户重新考虑一些物品的购买并且需要从放置部37取出物品的情况下)，用户应仅操作“重新扫描”按钮118。在重新扫描并没有更正物品识别结果中的错误的情况下，结账柜台可以显示用于促使用户改变放置物品的方式的引导信息。
在显示确认物品确认画面并且用户想要更正(删除或改变)识别结果表示部105中的一些列出物品的情况下，用户操作针对错误列出的物品的列出物品框115。结果，画面转变到改变/删除选择画面(参见图10的(A))。
图7的(A)所示的面部识别画面显示用户的拍摄图像121和用于在用户的面部图像不在预定框内的情况下促使用户调整图像中的面部位置的引导消息122。然后，用户在观看画面上显示的用户的图像121的同时调整面部位置。在调整适当地完成时，结账柜台将面部图像发送到面部识别服务器15，使得面部识别服务器开始面部识别操作。在发送面部图像时，画面转变到表示面部识别进行中的面部识别画面(参见图7的(B))。
图7的(B)所示的面部识别画面显示从用户的拍摄图像中提取的面部图像123和用于使面部识别操作的进度可视化的进度表示部124。
在面部识别成功完成时，画面改变为面部识别结果确认画面(参见图7的(C))。在面部识别失败时，系统重新获取面部图像并将面部识别的操作重复预定次数。在面部识别连续失败预定次数时，系统停止面部识别操作，转变到仅允许通过口令识别来进行支付的模式，并且画面转变到用户ID选择画面(参见图9的(A))。
图7的(C)所示的面部识别结果确认画面显示用户的面部图像123和用于向用户询问用户的姓名是否正确的引导消息126。面部识别结果确认画面包括“是”按钮127和“否”按钮128。当用户操作“否”按钮128时，画面转变到用户ID选择画面(参见图9的(A))。
在面部识别结果确认画面中用户操作“是”按钮127的情况下，当用户所要购买的物品中不存在年龄限制物品时，画面改变为口令识别画面(参见图8的(A))。当用户所要购买的物品包括一个或多于一个年龄限制物品时，结账柜台对通过面部识别所识别的用户进行年龄验证。当用户达到允许购买年龄限制物品的特定年龄(最小年龄)时，画面转变到口令识别画面(参见图8的(A))。当用户没有达到特定年龄(最小年龄)时，画面转变到错误画面(参见图7的(D))。
图7的(D)所示的错误画面显示图像137和引导消息138，该引导消息138表示用户在购买年龄限制物品时受到年龄限制(即，用户未成年)并且不被允许购买诸如酒精饮料和烟草等的年龄限制物品。错误画面还包括“返回”按钮129。当用户操作“返回”按钮129时，画面返回到未确认物品确认画面(参见图6的(B))。这使得用户能够移除年龄限制物品，然后使系统重新进行所需的操作。
在图7的(A)至图7的(D)所示的画面中，各画面包括结账操作结果表示部116和“取消”按钮119，这两者与确认物品确认画面(参见图6的(D))中所包括的这些相同。
图8的(A)所示的口令识别画面包括用于促使用户输入作为口令的密码的引导消息131、示出密码输入的进度的图像132、以及数字小键盘133。当用户输入由预定数量的数字组成的PIN时，系统进行口令识别。然后，当口令识别成功完成时，画面转变到支付确认画面(参见图8的(B))。当口令识别失败时，画面转变到口令识别画面以重新输入(参见图9的(C))。
口令识别画面包括“支付”按钮135和“返回”按钮129。当用户操作“返回”按钮129时，处理返回到用户尚未输入用户的密码的状态。在这种情况下，“支付”按钮135以灰色显示并且禁用。
在图8的(B)所示的支付确认画面中，“支付”按钮135启用，并且当用户操作“支付”按钮135时，画面转变到支付完成画面(参见图8的(C))。
图8的(A)和图8的(B)所示的画面中所包括的结账操作结果表示部116和“取消”按钮119与确认物品确认画面(参见图6的(D))中所示的这些相同。
图9的(A)所示的用户ID选择画面包括用于促使用户选择用户的用户ID的引导消息141和用户ID按钮142。这些用户ID按钮142与不同的用户ID相关联并显示成一排。该用户ID选择画面还包括“无候选”按钮143。当用户找到针对该用户的用户ID的用户ID按钮142并操作该用户ID按钮时，画面转变到口令识别画面(参见图8的(A))。当用户由于不包括用户的用户ID而操作“无候选”按钮143时，画面转变到表示不能进行支付的错误画面(参见图9的(B))。
在本实施例中，显示用户ID候选，使得用户可以选择这些用户ID候选其中之一。然而，系统可以被配置成使得显示键盘，使得用户可以输入用户的用户ID。
在本实施例中，面部识别服务器15在面部识别操作中获取用户的面部匹配得分相对较高的一些人物。用户ID选择画面针对与面部匹配得分相对较高的人物相关联的各个用户ID候选，显示不同的用户ID按钮142。在没有找到面部匹配得分等于或大于预定阈值的人物的情况下，面部识别服务器15判断为面部匹配失败，但仍按面部匹配得分的降序从面部匹配得分低于阈值的人物中提取预定数量的人物作为候选。
图9的(C)所示的供重新输入用的口令识别画面包括表示所输入的口令无效的引导消息145。供重新输入用的口令识别画面的其他部分与口令识别画面(参见图8的(A))相同。使用该画面，用户重新输入口令。当口令识别操作成功完成时，画面转变到支付确认画面(参见图8的(B))。当口令识别再次失败时，画面转变到不正确口令错误画面(参见图9的(D))。
图9的(A)和图9的(C)所示的画面中的结账操作结果表示部116和“取消”按钮119与确认物品确认画面(参见图6的(D))中的这些相同。
图10的(A)所示的改变/删除选择画面以与确认物品确认画面(参见图6的(D))类似的方式将列出物品框115显示成一排。然而，在该画面中，用户在确认物品确认画面上已选择的列出物品框115以与列出物品框152不同的方式显示。该画面的其余部分与确认物品确认画面(参见图6的(D))的其余部分相同。
列出物品框152包括“删除”按钮153和“改变”按钮154。当用户操作“删除”按钮153时，画面转变到删除确认画面(参见图11的(B))。当用户操作“改变”按钮154时，画面转变到物品类别选择画面(参见图10的(B))。
图10的(B)所示的物品类别选择画面包括用于促使用户选择物品(类别)的引导消息156、用于显示要改变的物品的物品数据(名称和价格)的移除物品表示部157、以及各个类别按钮158。物品类别选择画面还包括“返回”按钮129。当用户操作类别按钮158时，画面改变为新物品选择画面(参见图10的(C))。当用户操作“返回”按钮129时，画面返回到前一画面(也就是说，改变/删除选择画面(参见图10的(A)))。
图10的(C)所示的物品选择画面包括针对用户在物品类别选择画面(参见图10的(B))中已选择的类别中所包括的物品的多个物品按钮160。当用户操作物品按钮160时，画面转变到物品改变确认画面(参见图10的(D))。在图10的(C)所示的物品选择画面中，引导消息156、移除物品表示部157和“返回”按钮129与物品类别选择画面(参见图10的(B))的这些相同。
图10的(D)所示的物品改变确认画面包括表示将更换某些物品的引导消息161、用于显示要更换的物品的数据(名称和价格)的移除物品表示部162、以及新物品的数据(名称和价格)。物品改变确认画面还包括“是”按钮165和“否”按钮166。当用户操作“是”按钮165时，画面转变到物品列表确认画面(参见图11的(A))。当用户操作“否”按钮166时，画面返回到物品选择画面(参见图10的(C))。
图11的(A)所示的物品列表确认画面与确认物品确认画面(参见图6的(D))类似。然而，在该画面中，与新物品相关联的列出物品框115显示在最前(顶部)位置处，并且以与其他列出物品框115不同的颜色突出显示。
图11的(B)所示的删除确认画面包括表示物品将被删除的引导消息171、以及用于显示要删除的物品的数据(名称和价格)的删除物品表示部172。删除确认画面还包括“是”按钮173和“否”按钮174。当用户操作“是”按钮173时，画面转变到物品列表确认画面(参见图11的(C))。当用户操作“否”按钮174时，画面返回到改变/删除选择画面(参见图10的(A))。
图11的(C)所示的物品列表确认画面除了反映了删除操作外，还显示识别结果表示部105中所显示的列出物品框152。具体地，经受删除操作的列出物品框115以灰色显示。在其他情况下，可以显示图11的(D)所示的不同的物品列表确认画面。在该物品列表确认画面中，在列出物品框115中提供“返回”按钮。当用户操作该“返回”按钮时，画面返回到改变/删除选择画面(参见图10的(A))。
在图11的(A)至图11的(D)所示的画面中，结账操作结果表示部116和“取消”按钮119与确认物品确认画面(参见图6的(D))的这些相同。
接着，将说明结账柜台1的确认等待时间和非使用状态。图12是示出结账柜台1的确认等待时间和非使用状态的说明图。
如图12的(A)所示，在本实施例中，当用户查看未确认物品确认画面(参见图6的(B))并且确认在识别结果表示部105中显示的物品识别结果中没有错误时，用户进行用于确认物品识别结果的操作(具体为操作“确认”按钮112以开始确认等待时间)。确认等待时间包括用户在操作之后将用户的手从触摸屏显示器移开所需的一定时间。
在确认等待时间期间，结账柜台1继续物品识别操作和结账操作。在确认等待时间期间，状态管理器74可以进行控制，使得不将物品识别结果和结账操作结果反映在显示操作中，这意味着结账柜台1停止更新识别结果表示部105中表示的内容。
在用户进行用于确认物品识别结果的操作之前，结账柜台1继续每隔一定时间重复物品识别操作，并且因此用户可以改变(添加或移除)放置部37上的物品。具体地，用户可以另外将漏放的物品放置在放置部37上或者从放置部37移除用户取消了购买的物品。当用户改变放置部上的一些物品时，触摸屏显示器45上所显示的物品识别结果改变。
确认等待时间是从用于确认物品识别结果的用户操作起的预定时间段(例如，数秒)。确认等待时间是物品识别操作返回到其正常状态所需的返回时间。具体地，确认等待时间包括用户将手从触摸屏显示器45移开并离开物品拍摄用摄像头41的拍摄区域所需的时间(操作时间)。结果，即使当用户将用户的手从触摸屏显示器45移开、这导致触摸屏显示器45上显示的内容的不自然变化时，物品识别操作也立即恢复正常，这防止了用户对装置的操作感到不协调。
接着，当确认等待时间经过时，画面改变为反映了物品识别结果和结账操作结果的确认物品确认画面(参见图6的(D))。然后，在物品识别结果和结账操作结果被显示为确认信息时，结账柜台1转变到非使用状态。在非使用状态下，状态管理器74进行控制，使得结账柜台1暂时停止进行物品识别操作和结账操作。在其他情况下，状态管理器74可以进行控制，使得系统继续物品识别操作和结账操作，并且物品识别结果和结账操作结果不实时地反映在显示操作中。
然后，当用户查看确认物品确认画面并且确认在所显示的物品识别结果中没有错误时，用户进行用以提供支付执行(结算)的指示的操作(具体为操作“结账”按钮117)。在用户的操作完成时，结账柜台处于非使用状态，并且状态管理器74进行控制，使得结账柜台1暂时停止进行物品识别操作和结账操作，或者使得物品识别结果和结账操作结果不实时地反映在显示操作中。因此，该配置防止了在画面上显示的物品识别结果和结账操作结果中发生任何变化，并且避免了基于错误的识别结果进行结账和支付。
当显示未确认物品确认画面时，结账柜台1继续每隔一定时间重复物品识别操作。因此，当用户改变(添加或移除)放置部37上的物品(例如，将用户漏放的物品放置在放置部37上或者将用户取消了购买的物品从放置部37移除)时，相应地更新识别结果表示部105中显示的内容。
在画面转变到确认物品确认画面之后，用户可能想要更换(添加和/或移除)放置部37上的一些物品。在这种情况下，用户可以操作确认物品确认画面中的“重新扫描”按钮118，由此使结账柜台重新进行物品识别操作。
在其他情况下，如图12的(B)所示，状态管理器74可以在画面转变到未确认物品确认画面(参见图6的(B))时开始确认等待时间。在这种情况下，确认等待时间包括用户查看未确认物品确认画面、操作“确认”按钮112并将手从触摸屏显示器45移开并离开物品拍摄用摄像头41的拍摄区域所用的时间(操作时间)。
结果，即使在用户将用户的手伸到触摸屏显示器45以操作“确认”按钮112、这导致触摸屏显示器45上显示的内容的不自然变化时，物品识别操作也立即恢复正常，这防止了用户对装置的操作感到不协调。
接着，将说明结账柜台1的触摸屏显示器45上所显示的数字小键盘133的键布局的变化。图13是示出结账柜台1的触摸屏显示器45上所显示的数字小键盘133的键布局的变化的示例的说明图。
在本实施例中，在口令识别画面(参见图8的(A))中，用户需要使用数字小键盘133输入口令(密码)。结账柜台1的触摸屏显示器45被设置成面向用户。因此，在一些情况下，当用户输入口令时，用户后面的另一人可以窥探画面并看见用户的手指如何移动，这导致用户的口令被盗。
根据该观点，在本实施例中，系统被配置为每次用户改变时改变口令识别画面中的数字小键盘133的键布局图案。例如，数字键“1”到“9”的布局图案如图13的(A)至图13的(D)所示改变。在图13的(A)至图13的(D)所示的示例中，每次用户改变时，随机地选择四个键盘布局图案其中之一。
在本实施例中，当在口令识别画面(参见图8的(A))上用户输入无效口令(密码)时，画面转变到供重新输入用的口令识别画面(参见图9的(C))，在该供重新输入用的口令识别画面中，键布局图案从先前的口令识别画面(参见图8的(A))改变。
在图13的(A)至图13的(D)所示的示例中，数字小键盘133的3×3键布局按照特定规则改变。在其他情况下，数字小键盘133的3×3键布局可以随机地改变。可替代地，可以改变数字小键盘的所有元素的布局。
接着，将说明用户登记时的用户终端11的操作的操作过程。图14是示出用户登记时的用户终端11的操作的操作过程的流程图。
当已安装在用户终端11上的所需应用第一次被激活时，用户终端11显示个人信息确认画面(ST101)。个人信息确认画面表示用于处理个人信息的同意书。当在个人信息确认画面上用户进行用于批准同意书的操作时，用户终端11显示认证信息输入画面(ST102)。
接着，当在认证信息输入画面上用户进行用于输入用户的用户ID和口令的操作时，结账柜台将所输入的用户ID和口令发送到用户管理服务器13(ST103)。
接着，用户终端11显示个人信息输入画面(ST104)。在个人信息输入画面上，用户可以输入诸如出生日期等的个人信息。当在个人信息输入画面上用户进行用于输入个人信息的操作时，结账柜台将诸如包括出生日期的个人信息等的个人信息发送到用户管理服务器13(ST105)。
接着，用户终端11显示面部拍摄画面(ST106)。当在面部拍摄画面上用户进行用于拍摄用户的面部的操作时，结账柜台从拍摄图像中提取面部图像，并将该面部图像发送到用户管理服务器13(ST107)。
用户管理服务器13进行用于登记从用户终端11发送来的用户的用户ID和口令的操作。此外，用户管理服务器13将从用户终端11发送来的面部图像发送到面部识别服务器15，其中面部识别服务器15进行用于登记面部图像的操作。
接着，用户终端11显示信用卡信息输入画面(ST108)。当在该信用卡信息输入画面上用户进行用于输入信用卡信息的操作时，用户终端11将信用卡信息发送到支付服务器12(ST109)。支付服务器12进行用于登记从用户终端11发送来的信用卡信息的操作。
接着，当从支付服务器12接收到信用卡信息登记完成的通知时，用户终端11显示登记完成画面(ST110)。
接着，将说明结账柜台1的操作的操作过程。图15和图16是示出结账柜台1的操作的操作过程的流程图。
首先，当基于物品拍摄用摄像头41所拍摄到的图像检测到物体已放置在放置部37上时(ST201中为“是”)，结账柜台1检测所检测到的物体在放置部37上的位置(物品检测操作)(ST202)。然后，结账柜台1识别放置部37上的物体是哪个物品(ST203)。然后，结账柜台1对放置部37上的物品进行结账(ST204)。接着，结账柜台1显示未确认状态物品确认画面(参见图6的(B))(ST205)。
接着，当在未确认物品确认画面(参见图6的(B))上用户操作“确认”按钮112时(ST206中为“确认”)，结账柜台1显示引导画面(参见图6的(C))(ST207)。此外，结账柜台1输出用于促使用户将用户的手从触摸屏显示器45移开的音频引导，诸如说“将您的手从画面移开”的语音引导等。
接着，结账柜台1显示确认物品确认画面(用于输入支付指示的画面)(参见图6的(D))(ST208)。当在确认物品确认画面上用户操作“结账”按钮117时(ST209中为“结账”)，处理进入面部识别，并且结账柜台显示面部识别画面(参见图7的(A))(ST221)。然后，结账柜台1判断在要购买的物品中是否包括(一个或多于一个)年龄限制物品。当检测到包括年龄限制物品时，结账柜台1开启年龄限制标志。
当用户进行用于取消购买的操作(具体为操作“取消”按钮119)时(ST209中为“取消”)，画面转变到取消画面(参见图8的(D))(ST212)。此外，当用户操作“重新扫描”按钮118时(ST209中为“重新扫描”)，处理返回到ST201，并且结账柜台1再次进行物品识别操作。
当用户进行用于选择错误识别的物品的操作(具体为操作针对错误识别的物品的列出物品框115)时(ST209中为“选择物品”)，画面转变到改变/删除选择画面(参见图10的(A))(ST210)。
然后，当在改变/删除选择画面(参见图10的(A))上用户操作“改变”按钮154时(ST211中为“改变”)，画面转变到物品类别选择画面(参见图10的(B))。此外，当用户操作“删除”按钮153时(ST211中为“删除”)，画面转变到删除确认画面(参见图11的(B))。然后，当用户进行所需的操作时，画面转变到物品列表确认画面(参见图11的(A)至图11的(D))(ST213)。物品列表确认画面反映了已输入的详细数据和已完成的操作的结果。
当用户选择取消购买(具体为操作“取消”按钮119)时(ST211中为“取消”)，画面转变到取消画面(参见图8的(D))(ST212)。当用户进行用于选择结账的操作(具体为操作“结账”按钮117)时(ST211中为“结账”)，处理进入面部识别，并且画面转变到面部识别画面(参见图7的(A))(ST221)。此外，当用户操作“重新扫描”按钮118时(ST211中为“重新扫描”)，处理返回到ST201，并且结账柜台再次进行物品识别操作。
当显示面部识别画面(参见图7的(A))时(ST221)，结账柜台从面部识别用摄像头46所拍摄的图像中提取面部图像，并将面部识别的请求(该请求包括面部图像)发送到面部识别服务器15(ST222)。响应于来自结账柜台的请求，面部识别服务器15基于从结账柜台1发送来的面部图像进行面部识别操作，并将面部识别响应(该响应包括面部识别结果)发送到结账柜台1。
在结账柜台1接收到从面部识别服务器15发送来的面部识别响应(ST223)、并且面部识别响应包括表示面部识别成功完成的面部识别结果(ST224中为“是”)的情况下，结账柜台1判断要购买的物品是否包括年龄限制物品。在判断为存在年龄限制物品的情况下，结账柜台1对通过面部识别所识别的用户进行年龄验证操作，以判断用户在购买年龄限制物品时是否受到年龄限制(也就是说，用户是否未成年)(ST225)。在用于检测年龄限制物品的操作中，结账柜台1基于物品的年龄限制标志来判断为存在年龄限制物品。在用于年龄验证的操作中，结账柜台1基于面部识别中所包括的年龄信息(出生日期或当前年龄)来判断用户是否未成年。
在判断为通过面部识别所识别的用户不是未成年(也就是说，用户在购买年龄限制物品时不受年龄限制(例如，用户的年龄是成年人年龄))的情况下(ST225中为“否”)，处理进入口令识别，并且结账柜台显示口令识别画面(参见图8的(A))(ST226)。
然后，当在口令识别画面(参见图8的(A))上用户输入用户的口令(密码)时，结账柜台将口令识别的请求发送到用户管理服务器13(ST227)。响应于来自结账柜台的请求，用户管理服务器13基于从结账柜台1发送来的口令信息来进行口令识别操作，并且将口令识别响应(该响应包括口令识别结果)发送到结账柜台1。
结账柜台1接收从用户管理服务器13发送来的包括口令识别结果的口令识别响应(ST228)。在判断为口令识别结果表示口令识别成功完成的情况下(ST229中为“是”)，结账柜台1将支付的请求经由用户管理服务器13发送到支付服务器12(ST230)。当接收到支付的请求时，支付服务器12进行支付操作并将支付响应经由用户管理服务器13发送到结账柜台1。
当从支付服务器12接收到支付响应时(ST231)，结账柜台1显示支付完成画面(参见图8的(C))(ST232)。然后，结账柜台1进行收据开具操作(ST233)，并且将收据信息经由用户管理服务器13发送到用户终端11(ST234)。当接收到收据信息时，用户终端11将该收据信息存储在用户终端11的存储装置62中。
在面部识别结果表示面部识别失败的情况下(ST224中为“否”)，结账柜台1显示用户ID选择画面(参见图9的(A))。
接着，当在用户ID选择画面(参见图9的(A))上用户进行用户ID选择操作(具体为操作用户ID按钮142)时(ST236中为“选择用户ID”)，处理进入口令识别，并且结账柜台显示口令识别画面(参见图8的(A))(ST226)。当用户进行无候选操作(具体为操作“无候选”按钮143)时(ST236中为“无候选”)，结账柜台显示错误画面(参见图9的(B))(ST237)。当用户进行取消操作(具体为操作“取消”按钮119)时(ST236中为“取消”)，画面转变到取消画面(参见图8的(D))(ST212)。
在判断为用户在购买年龄限制物品时受到年龄限制(也就是说，用户未成年)的情况下(ST225中为“是”)，结账柜台显示错误画面(参见图7的(D))(ST238)。
接着，当在错误画面(参见图7的(D))上用户进行取消操作(具体为操作“取消”按钮119)时(ST239中为“取消”)，画面转变到取消画面(参见图8的(D))(ST212)。当用户进行返回操作(具体为操作“返回”按钮129)时(ST239中为“返回”)，处理返回到ST201。然后，结账柜台进行物品检测操作(ST202)、物品识别操作(ST203)和结账操作(ST204)，由此画面转变到未确认物品确认画面(参见图6的(B))。结果，用户可以移除年龄限制物品并重新进行后续操作。
在口令识别结果表示口令识别失败的情况下(ST229中为“否”)，结账柜台判断口令识别操作是否连续失败了预定次数(ST240)。在口令识别没有连续失败预定次数的情况下(ST240中为“否”)，处理再次进入口令识别，并且结账柜台显示供重新输入用的口令识别画面(参见图9的(C))(ST226)。在口令识别连续失败了预定次数的情况下(ST240中为“是”)，结账柜台显示错误画面(参见图9的(D))(ST241)。
在本实施例中，采用了双因素认证(也就是说，面部识别和口令识别的组合)以增强安全性，因此即使在面部识别成功完成的情况下，系统也进行口令识别操作。然而，在其他实施例中，系统可以被配置为在无需进行口令识别的情况下仅进行面部识别以进行用户认证。
尽管本文中为了例示性目的描述了本发明的具体实施例，但本发明不限于这些具体实施例。将理解，在没有背离本发明的范围的情况下，可以对实施例的元件进行各种改变、替换、添加和省略。另外，可以将不同实施例的元件和特征适当地彼此组合以产生在本发明的范围内的实施例。
产业上的可利用性
根据本发明的结账支付装置和结账支付系统实现了使得能够足够准确地进行与是否允许向用户销售年龄限制物品有关的判断(年龄验证)、以使得无人商店能够销售年龄限制物品的效果，并且作为用于识别用户从卖场内的商品中选择的商品并对该商品进行结账和支付的结账支付装置和结账支付系统是有用的。
附图标记说明
1 结账柜台(结账支付装置)
15 面部识别服务器(服务器装置)
37 放置部
41 物品拍摄用摄像头(第一摄像头)
45 触摸屏显示器(显示器)
46 面部识别用摄像头(第二摄像头)
112 “确认”按钮(操作接口)
117 “结账”按钮(操作接口)

Claims (5)

1.一种结账支付装置，用于识别用户从卖场内的商品中选择的商品并对该商品进行结账和支付，所述结账支付装置包括：
第一摄像头，其被配置为拍摄用户所要购买的商品的图像；
第二摄像头，其被配置为拍摄用户的面部的图像；
控制器，其被配置为：
进行用于基于所述第一摄像头所获取到的商品的图像来识别用户所要购买的商品的物品识别操作、以及用于对所识别的商品进行结账和支付的结账支付操作，以及
基于所述第二摄像头所拍摄到的用户的面部的图像来进行面部识别操作以辨识用户；以及
显示装置，用于显示所述物品识别操作、所述结账支付操作和所述面部识别操作的各个结果，
其中，在通过所述物品识别操作识别出年龄限制物品的情况下，响应于通过所述面部识别操作对用户的辨识，所述控制器基于与所辨识的用户的年龄有关的信息来进行年龄验证操作，由此判断用户在购买年龄限制物品时是否受到年龄限制。
2.根据权利要求1所述的结账支付装置，其中，在所识别的商品包括年龄限制物品并且所辨识的用户受到年龄限制的情况下，所述控制器不进行用于支付执行的操作。
3.根据权利要求2所述的结账支付装置，其中，所述控制器在由于年龄限制而不进行用于支付执行的操作的情况下，在显示器上显示通知，所述通知表示禁止向受到年龄限制的人销售年龄限制物品。
4.根据权利要求1所述的结账支付装置，其中，所述控制器在由于年龄限制而不进行用于支付执行的操作的情况下，在显示器上显示操作接口，所述操作接口使得用户能够提供用于重新进行所述物品识别操作和所述结账支付操作的指示。
5.一种结账支付系统，包括：
根据权利要求1所述的结账支付装置；以及
服务器装置，其经由网络连接到所述结账支付装置，
其中，所述结账支付装置被配置为：
作为与面部识别有关的处理，将用户的面部的图像发送到所述服务器装置，以及
所述服务器装置被配置为：
基于从所述结账支付装置发送来的用户的面部的图像来进行所述面部识别操作以辨识用户；以及
将所述面部识别操作的结果发送到所述结账支付装置。
CN202180031618.2A 2020-04-28 2021-04-01 结账支付装置和结账支付系统 Pending CN115516533A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020079427A JP2021174381A (ja) 2020-04-28 2020-04-28 精算決済装置および精算決済システム
JP2020-079427 2020-04-28
PCT/JP2021/014190 WO2021220714A1 (ja) 2020-04-28 2021-04-01 精算決済装置および精算決済システム

Publications (1)

Publication Number Publication Date
CN115516533A true CN115516533A (zh) 2022-12-23

Family

ID=78280159

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180031618.2A Pending CN115516533A (zh) 2020-04-28 2021-04-01 结账支付装置和结账支付系统

Country Status (4)

Country Link
US (1) US20230169508A1 (zh)
JP (1) JP2021174381A (zh)
CN (1) CN115516533A (zh)
WO (1) WO2021220714A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021174379A (ja) * 2020-04-28 2021-11-01 パナソニックＩｐマネジメント株式会社 精算決済装置および精算決済システム
WO2023167256A1 (ja) * 2022-03-01 2023-09-07 京セラ株式会社 情報処理装置及び情報処理方法
WO2024057430A1 (ja) * 2022-09-14 2024-03-21 日本電気株式会社 決済端末、システム及び方法、並びに、コンピュータ可読媒体

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030018897A1 (en) * 2001-07-20 2003-01-23 Psc Scanning, Inc. Video identification verification system and method for a self-checkout system
JP2011070293A (ja) * 2009-09-24 2011-04-07 Toshiba Tec Corp 商品販売データ処理装置及びその制御プログラム
JP2014032538A (ja) * 2012-08-03 2014-02-20 Toshiba Tec Corp 商品販売データ処理装置
JP2019145054A (ja) * 2018-02-23 2019-08-29 ソフトバンク株式会社 情報処理装置、情報処理装置の制御方法、及び情報処理装置の制御プログラム
JP2019168762A (ja) * 2018-03-22 2019-10-03 日本電気株式会社 精算システム、精算方法及びプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6310234B2 (ja) * 2013-11-18 2018-04-11 株式会社イシダ 会員管理システム
JP7267709B2 (ja) * 2018-10-09 2023-05-02 東芝テック株式会社 無人店舗システムおよびサーバ

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030018897A1 (en) * 2001-07-20 2003-01-23 Psc Scanning, Inc. Video identification verification system and method for a self-checkout system
JP2011070293A (ja) * 2009-09-24 2011-04-07 Toshiba Tec Corp 商品販売データ処理装置及びその制御プログラム
JP2014032538A (ja) * 2012-08-03 2014-02-20 Toshiba Tec Corp 商品販売データ処理装置
JP2019145054A (ja) * 2018-02-23 2019-08-29 ソフトバンク株式会社 情報処理装置、情報処理装置の制御方法、及び情報処理装置の制御プログラム
JP2019168762A (ja) * 2018-03-22 2019-10-03 日本電気株式会社 精算システム、精算方法及びプログラム

Also Published As

Publication number Publication date
US20230169508A1 (en) 2023-06-01
WO2021220714A1 (ja) 2021-11-04
JP2021174381A (ja) 2021-11-01

Similar Documents

Publication Publication Date Title
CN115516533A (zh) 结账支付装置和结账支付系统
CN113646811B (zh) 费用计算和支付装置以及无人值守商店系统
US20220215396A1 (en) Unattended shop system and unattended shop management method
CN115516532B (zh) 结账支付装置和结账支付系统
JP7298594B2 (ja) 店舗管理装置および店舗管理方法、プログラム
JP2018136692A (ja) 情報処理装置およびプログラム
US11704651B2 (en) Fraud behavior recognition device, control program thereof, and fraud behavior recognition method
US20220188796A1 (en) Settlement payment device and unmanned store system
US20220044221A1 (en) Clearing and settlement device, and unmanned store system
KR101742907B1 (ko) 야구장 좌석 번호를 이용한 음식 주문 및 배달 시스템과 그 방법
US20210272174A1 (en) Goods purchase analysis assist system
WO2024024208A1 (ja) 情報処理端末及び記録媒体
CN111919233B (zh) 店铺管理设备和店铺管理方法
JP7290842B2 (ja) 情報処理システム、情報処理システムの制御方法、プログラム
WO2022180970A1 (ja) 精算決済装置、精算決済システムおよび精算決済方法
JP2023127256A (ja) 移動販売装置、および移動販売システム
JP2023037714A (ja) 情報処理装置、情報処理装置の制御方法、プログラム
JP2023037716A (ja) プログラム、電子機器の制御方法、電子機器
JP2022102144A (ja) 商品販売データ処理システム及び携帯端末装置
JP2022077461A (ja) 配送管理サーバ及び配送管理方法並びに配送管理プログラム
JP2021111264A (ja) 精算システム
JP2022098820A (ja) 商品販売データ処理システム、及びプログラム
JP2020120941A (ja) 景品買取表示装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination