CN116917958A - 费用计算和支付装置、费用计算和支付系统以及费用计算和支付方法 - Google Patents

Abstract

[问题]使得用户能够购买实体商店中实际不存在的商品以及商店中实际存在的商品以提高用户的便利性，并且使得用户能够充分检查商店中实际不存在的商品并以与商店中实际存在的商品类似的方式充分具有购买这些商品的真实感。[解决方案]虚拟商品卖场控制器控制用户所佩戴的MR眼镜以将作为虚拟物体的虚拟商品以叠加方式显示在现实空间中的商店中，并且检测用户进行的选择虚拟商品的操作。然后，响应于用户进行的选择虚拟商品的操作，结账柜台(1)控制MR眼镜以将虚拟商品(201)以叠加方式与托盘(41)上所放置的真实商品(211)并排地显示在作为现实空间的托盘上，并且结清虚拟商品以及真实商品的支付。

Description

费用计算和支付装置、费用计算和支付系统以及费用计算和 支付方法

技术领域

本发明涉及如下的费用计算和支付装置、以及使用该费用计算和支付装置的费用计算和支付系统以及费用计算和支付方法，该费用计算和支付装置用于识别用户在卖场中选择的商品并且进行与其费用的计算和支付相关的处理。

背景技术

在诸如便利店或超市等的零售店中，店员进行将顾客希望购买的商品登记在POS终端中的作业，之后POS终端进行费用计算处理并向顾客呈现商品的费用，并且店员进行用以接收顾客所进行的支付的结账(支付)的作业。近年来，提出了用于通过使用POS终端来促进商品的销售的各种技术。

作为用于通过使用POS终端来促进商品的销售的技术，传统上，已知有如下的技术，该技术拍摄在收银机处进行结账的顾客的图像，获取与顾客的属性(诸如性别和年龄层等)相关的信息，基于顾客的属性来选择推荐给顾客的商品，并且将该推荐商品显示在POS终端的顾客用显示器上(参见专利文献1)。

现有技术文献

专利文献

专利文献1：日本特开2017-68713

发明内容

发明要解决的问题

在传统技术中，顾客可以通过使用顾客用显示器的触摸面板功能来进行购买推荐商品的操作。因此，连同顾客带到收银机的商品一起执行推荐商品的费用计算，并且顾客可以将商店中不存在的商品连同商店中存在的商品一起购买。

然而，在传统技术中，存在如下的问题：在显示器上仅显示推荐商品的图像等，并且顾客不能充分检查要购买的商品。此外，顾客在决定购买时仅操作购买按钮，并且存在顾客不能充分获得仿佛在实体商店中购买商品那样的真实感的问题。

因而，本发明的主要目的是提供一种费用计算和支付装置、费用计算和支付系统、以及费用计算和支付方法，其可以通过使得用户在现实商店中除了能够购买商店中存在的商品之外还能够购买商店中不存在的商品来提高用户的便利性，并且可以使得用户能够将商店中不存在的商品与商店中存在的商品一样充分检查并充分获得仿佛在实体商店中购买商品那样的真实感。

用于解决问题的方案

根据本发明的费用计算和支付装置是一种费用计算和支付装置，用于进行与用户在商店中选择的商品的费用计算和支付相关的处理，所述费用计算和支付装置包括：主体，其具有将放置用户在卖场中选择的真实商品的放置部；摄像头，其被配置为拍摄所述放置部上所放置的真实商品的图像；控制器，其被配置为基于通过所述摄像头进行的摄像所获取到的商品图像来识别对象商品，并且进行与费用计算和支付相关的处理；以及显示部，其被配置为显示所述控制器所获取到的费用计算结果和支付结果，其中，响应于用户的用于选择在作为现实空间的商店中的预定区域中以叠加方式作为虚拟物体所显示的虚拟商品的操作，所述控制器还进行用户所选择的虚拟商品以及所识别出的真实商品的费用计算。

此外，本发明的费用计算和支付系统是一种费用计算和支付系统，用于进行与用户在商店中选择的商品的费用计算和支付相关的处理，所述费用计算和支付系统包括：费用计算和支付装置，其具有将放置用户在卖场中选择的真实商品的放置部，所述费用计算和支付装置被配置为拍摄所述放置部上所放置的商品的图像，基于通过摄像所获取到的商品图像来识别对象商品，进行与费用计算和支付相关的处理，并且显示所述费用计算和支付的结果；虚拟物体显示装置，其被配置为将虚拟物体以叠加方式显示在现实空间中；以及虚拟物体控制装置，其被配置为控制所述虚拟物体显示装置以将作为虚拟物体的虚拟商品以叠加方式显示在作为现实空间的商店中的预定区域中，并且检测用户的用于选择所述虚拟商品的操作，其中，响应于用户的用于选择所述虚拟商品的操作，所述费用计算和支付装置进行用户所选择的虚拟商品以及所识别出的真实商品的费用计算。

此外，本发明的费用计算和支付方法是一种费用计算和支付方法，用于进行与用户在商店中选择的商品的费用计算和支付相关的处理，其中，虚拟物体控制装置控制被配置为将虚拟物体以叠加方式显示在现实空间中的虚拟物体显示装置，以将作为虚拟物体的虚拟商品以叠加方式显示在作为现实空间的商店中，并且检测用户的用于选择所述虚拟商品的操作，以及费用计算和支付装置拍摄用户在卖场中选择并放置在放置部上的真实商品的图像，基于通过摄像所获取到的商品图像来识别对象商品，并且响应于用户的用于选择所述虚拟商品的操作，进行用户所选择的虚拟商品以及所识别出的真实商品的费用计算。

发明的效果

根据本发明，除了所识别出的真实商品之外，还可以以与在普通商店中评估真实商品(浏览货架上展示的商品)时类似的感觉选择商店中不存在的虚拟商品进行结账，因此可以在使商店库存减少到最低限度的同时增加顾客的购买机会。

附图说明

图1是根据本实施例的无人值守商店系统的总体结构图；

图2是示出无人值守商店的布局的平面图；

图3是示出虚拟商品卖场中的虚拟商品的显示状况以及挑选虚拟商品的操作状况的说明图；

图4是示出结账柜台1的外观的立体图；

图5是示出结账柜台1处的真实商品的放置状况和虚拟商品的显示状况的说明图；

图6是示出结账柜台1和MR眼镜2的示意结构的框图；

图7是示出在结账柜台1的触摸面板显示器42上显示的画面的说明图；

图8是示出在结账柜台1的触摸面板显示器42上显示的画面的说明图；

图9是示出用户登记时的用户终端11的操作过程的流程图；

图10是示出结账柜台1的操作过程的流程图；以及

图11是示出结账柜台1的操作过程的流程图。

具体实施方式

为了解决上述问题所做出的本发明的第一方面提供一种费用计算和支付装置，用于进行与用户在商店中选择的商品的费用计算和支付相关的处理，所述费用计算和支付装置包括：主体，其具有将放置用户在卖场中选择的真实商品的放置部；摄像头，其被配置为拍摄所述放置部上所放置的真实商品的图像；控制器，其被配置为基于通过所述摄像头进行的摄像所获取到的商品图像来识别对象商品，并且进行与费用计算和支付相关的处理；以及显示部，其被配置为显示所述控制器所获取到的费用计算结果和支付结果，其中，响应于用户的用于选择在作为现实空间的商店中的预定区域中以叠加方式作为虚拟物体所显示的虚拟商品的操作，所述控制器还进行用户所选择的虚拟商品以及所识别出的真实商品的费用计算。

根据这一点，除了所识别出的真实商品之外，还可以以与在普通商店中评估真实商品时类似的感觉从货架上展示的虚拟商品中选择商店中不存在的虚拟商品进行结账，因此可以在使商店库存减少到最低限度的同时增加顾客的购买机会。

在本发明的第二方面中，所述控制器控制虚拟物体显示装置以将作为虚拟物体的所述虚拟商品以叠加方式显示在作为现实空间的所述放置部上，使得所述虚拟商品与所述放置部上所放置的真实商品并排放置。

根据这一点，用户可以在并排位于放置部上的状态下从视觉上检查商店中存在的真实商品和商店中不存在的虚拟商品。因此，用户可以将商店中不存在的商品与商店中存在的商品一样充分检查，并且可以充分获得仿佛在实体商店中购买商品那样的真实感。

在本发明的第三方面中，在与包括所述虚拟商品的购买商品相关的费用计算或支付完成时，所述控制器进行与所述虚拟商品的实物的配送相关的处理。

根据这一点，可以迅速地配送用户所购买的虚拟商品的实物(actual item)。

本发明的第四方面提供一种费用计算和支付系统，用于进行与用户在商店中选择的商品的费用计算和支付相关的处理，所述费用计算和支付系统包括：费用计算和支付装置，其具有将放置用户在卖场中选择的真实商品的放置部，所述费用计算和支付装置被配置为拍摄所述放置部上所放置的商品的图像，基于通过摄像所获取到的商品图像来识别对象商品，进行与费用计算和支付相关的处理，并且显示所述费用计算和支付的结果；虚拟物体显示装置，其被配置为将虚拟物体以叠加方式显示在现实空间中；以及虚拟物体控制装置，其被配置为控制所述虚拟物体显示装置以将作为虚拟物体的虚拟商品以叠加方式显示在作为现实空间的商店中的预定区域中，并且检测用户的用于选择所述虚拟商品的操作，其中，响应于用户的用于选择所述虚拟商品的操作，所述费用计算和支付装置进行用户所选择的虚拟商品以及所识别出的真实商品的费用计算。

根据这一点，与本发明的第一方面类似，除了所识别出的真实商品之外，还可以以与在普通商店中评估真实商品(浏览货架上展示的商品)时类似的感觉选择商店中不存在的虚拟商品进行结账，因此可以在使商店库存减少到最低限度的同时增加顾客的购买机会。

在本发明的第五方面中，所述费用计算和支付装置控制所述虚拟物体显示装置以将所述虚拟商品以叠加方式显示在作为现实空间的所述放置部上，使得所述虚拟商品与所述放置部上所放置的真实商品并排放置。

根据这一点，用户可以在并排位于放置部上的状态下从视觉上检查商店中存在的真实商品和商店中不存在的虚拟商品。因此，用户可以将商店中不存在的商品与商店中存在的商品一样充分检查，并且可以充分获得仿佛在实体商店中购买商品那样的真实感。

在本发明的第六方面中，所述虚拟物体显示装置是可佩戴装置，所述可佩戴装置被配置为佩戴在用户的头部上并且将所述虚拟物体以叠加方式显示在用户的真实视野上。

根据这一点，用户可以以接近实物的现实感购买虚拟商品。

在本发明的第七方面中，所述虚拟物体显示装置配备有传感器，所述传感器被配置为检测用户的动作，并且基于所述传感器的检测结果来识别用户的手势，以及所述虚拟物体控制装置基于所述手势的识别结果来检测用户的用于选择所述虚拟商品的操作。

根据这一点，用户可以容易地选择虚拟商品。注意，除此之外，可以进行配置，使得利用控制器或用户的语音来进行操作。

本发明的第八方面提供一种费用计算和支付方法，用于进行与用户在商店中选择的商品的费用计算和支付相关的处理，其中，虚拟物体控制装置控制被配置为将虚拟物体以叠加方式显示在现实空间中的虚拟物体显示装置，以将作为虚拟物体的虚拟商品以叠加方式显示在作为现实空间的商店中，并且检测用户的用于选择所述虚拟商品的操作，以及费用计算和支付装置拍摄用户在卖场中选择并放置在放置部上的真实商品的图像，基于通过摄像所获取到的商品图像来识别对象商品，并且响应于用户的用于选择所述虚拟商品的操作，进行用户所选择的虚拟商品以及所识别出的真实商品的费用计算。

根据这一点，与本发明的第一方面类似，除了所识别出的真实商品之外，还可以以与在普通商店中评估真实商品(浏览货架上展示的商品)时类似的感觉选择商店中不存在的虚拟商品进行结账，因此可以在使商店库存减少到最低限度的同时增加顾客的购买机会。

在本发明的第九方面中，所述费用计算和支付装置控制所述虚拟物体显示装置以将所述虚拟商品以叠加方式显示在作为现实空间的所述放置部上，使得所述虚拟商品与所述放置部上所放置的真实商品并排放置。

根据这一点，用户可以在并排位于放置部上的状态下从视觉上检查商店中存在的真实商品和商店中不存在的虚拟商品。因此，用户可以将商店中不存在的商品与商店中存在的商品一样充分检查，并且可以充分获得仿佛在实体商店中购买商品那样的真实感。

以下将参考附图来说明本发明的实施例。

图1是根据本实施例的无人值守商店系统的总体结构图。

该无人值守商店系统(费用计算和支付系统)用于使得诸如便利店或超市等的零售商店能够无人值守、或者实现不存在用于进行费用计算和接收支付的店员的零售商店。

无人值守商店系统配备有结账柜台1(费用计算和支付装置)、数副MR眼镜2(虚拟物体显示装置)、入口门3、出口门4、门控制器5、虚拟商品卖场控制器6(虚拟物体控制装置)和登记器7。结账柜台1、MR眼镜2、入口门3、出口门4、门控制器5、虚拟商品卖场控制器6和登记器7设置在无人值守商店中。

此外，无人值守商店系统包括用户终端11、支付服务器12、用户管理服务器13、商品学习服务器14、认证服务器15、DB服务器16和配送服务器17。

用户终端11、支付服务器12、用户管理服务器13、商品学习服务器14、认证服务器15、DB服务器16和配送服务器17以及无人值守商店中所设置的结账柜台1、MR眼镜2、门控制器5、虚拟商品卖场控制器6和登记器7经由诸如因特网和LAN等的网络彼此连接。

注意，用户管理服务器13、商品学习服务器14、认证服务器15和DB服务器16可以安装在无人值守商店中(例如，附设于卖场的后场中)，但也可以安装在远离无人值守商店的场所(例如，无人值守商店的运营方的总部中)。

结账柜台1进行与用户在无人值守商店的卖场中选择的商品的费用计算和支付(费用的支付)相关的处理。在本实施例中，作为与费用计算相关的处理，结账柜台1通过物体识别来基于商品的拍摄图像辨识商品(商品识别处理)，并且基于各商品的价格(单价)和数量来计算要支付的总金额(费用计算)。此外，作为与支付相关的处理，结账柜台1请求认证服务器15进行虹膜认证，并且如果虹膜认证成功，则经由用户管理服务器13请求支付服务器12进行支付处理。

一副MR眼镜2是可穿戴装置，其被配置成佩戴在用户的头部上并且将虚拟物体以叠加方式显示在用户的真实视野上。在本实施例中，在商店中，通过MR眼镜2将商店中不存在的虚拟商品(商品的虚拟3D物体)和用于展示虚拟商品的虚拟展示架(展示架的虚拟3D物体)以叠加方式显示在作为现实空间的虚拟商品卖场中。此外，关于用以辨识用户的虹膜认证，MR眼镜2通过拍摄用户的眼球的图像来获取虹膜信息。

入口门3限制用户向商店的进入。出口门4限制用户从商店的离开。门控制器5进行与用于许可各用户进入商店的虹膜认证相关的处理，并且根据虹膜认证的结果来控制入口门3的打开和关闭。门控制器5进行与用于确认各用户从商店离开的虹膜认证相关的处理，并且根据虹膜认证的结果来控制出口门4的打开和关闭。注意，作为在由于虹膜认证失败而导致用户不能进入商店或从商店离开的情况下的后备方案，可以进行口令认证。

虚拟商品卖场控制器6控制用户的MR眼镜2以在虚拟商品卖场中显示虚拟商品和用于展示虚拟商品的虚拟展示架。此外，虚拟商品卖场控制器6从MR眼镜2获取手势识别结果，并且基于该识别结果来检测用户的操作，诸如选择虚拟商品的操作等。此外，响应于用户的选择操作，虚拟商品卖场控制器6将虚拟商品登记在购物清单中。购物清单的信息从虚拟商品卖场控制器6被提供到结账柜台1。

登记器7是用户进行与用户使用本系统所需的用户登记(会员信息以及虹膜认证所用的眼球图像的登记)相关的操作所利用的装置，并且例如由安装了用户登记所用的应用的平板终端构成。

与登记器7类似，用户终端11是用户进行与用户使用本系统所需的用户登记(会员信息以及虹膜认证所用的眼球图像的登记)相关的操作并且管理购买历史(收据信息)所利用的装置，并且由安装了用户应用的智能电话或平板终端构成。

支付服务器12是由支付服务公司(信贷公司等)运行的服务器。该支付服务器12响应于来自结账柜台1的支付请求，执行与用户所购买的商品的费用相关的支付处理。注意，支付服务器12可以是由支付代理公司(支付代理服务器)运行的服务器。

用户管理服务器13用作管理用户的登录并进行口令认证的登录服务器。此外，用户管理服务器13用作连接在结账柜台1与支付服务器12和配送服务器17各自之间的支付和配送接口服务器。

商品学习服务器14通过诸如深度学习等的机器学习来构建结账柜台1中所安装的商品识别引擎。在该商品学习服务器14中，以通过拍摄要登记的商品的图像而预先获取到的商品图像作为输入信息并且以各商品的商品标识信息(诸如各商品的名称等)作为输出信息来进行机器学习，由此构建商品识别所用的数据库。

认证服务器15包括管理服务器21和匹配服务器22。管理服务器21累积并管理所登记的用户的信息(诸如姓名和虹膜信息(虹膜ID、虹膜图像)等)。匹配服务器22响应于来自结账柜台1和门控制器5的对虹膜认证的请求来进行虹膜认证。在该虹膜认证中，匹配服务器22从结账柜台1和门控制器5获取正在考虑的用户的眼球图像，从该眼球图像生成正在考虑的用户的虹膜特征，并且通过将正在考虑的用户的虹膜特征与自身装置中所存储的登记者(已登记用户)的虹膜特征进行比较来进行虹膜匹配，由此判断正在考虑的用户是否是登记者其中之一(1对N认证)。

DB服务器16累积并管理各种信息。具体地，作为用户管理信息，将诸如各用户的支付ID、虹膜ID、用户ID、口令和办公室代码等的信息登记在数据库中。此外，作为商品主信息，将诸如各商品的标识信息(商品名称、商品代码等)的信息登记在数据库中。此外，作为购买日志信息，将诸如各用户的用户ID以及该用户所购买的各商品的名称和价格等的信息登记在数据库中。

配送服务器17管理配送部门(配送中心)处的商品的配送。具体地，与EC购物的情况类似，配送服务器17管理如下的作业：保障仓库中存在的商品，打包这些商品，并且请求配送公司配送这些商品。在本实施例中，当在结账柜台1处用于购买虚拟商品的手续(要购买的商品的费用计算和支付)完成时，用于指示虚拟商品的实物的配送的安排信息从结账柜台1经由用户管理服务器13被发送到配送服务器17，并且配送服务器17基于该安排信息进行用于开始配送作业的处理。

注意，在本实施例中，结账柜台1进行商品识别处理，但该商品识别处理可以由外部服务器进行。

此外，在本实施例中，设置有门控制器5，并且该门控制器5控制入口门3和出口门4，但结账柜台1可以具有门控制器5的功能。

此外，在本实施例中，设置有虚拟商品卖场控制器6，并且该虚拟商品卖场控制器6控制MR眼镜2以在虚拟商品卖场中显示虚拟商品，但结账柜台1可以具有虚拟商品卖场控制器6的功能。

此外，在本实施例中，使用被配置成由用户佩戴在头部上的MR眼镜2作为被配置为在虚拟商品卖场中将虚拟商品以叠加方式显示在现实空间中的MR(混合现实)装置，但MR装置不限于被配置成由用户穿戴在身体上的这种装置。例如，可以使用智能电话作为MR装置。在这种情况下，可以进行配置，使得在智能电话的摄像头指向虚拟商品卖场时，在由摄像头拍摄到并在智能电话的显示器上显示的图像上出现虚拟展示架，并且在选择虚拟展示架上所展示的虚拟商品的操作(触摸操作)时，选择该虚拟商品。此外，被配置为在虚拟商品卖场中将虚拟商品以叠加方式显示在现实空间中的装置可以是除MR装置之外的AR(增强现实)装置。

接着，将对无人值守商店进行说明。图2是示出无人值守商店的布局的平面图。

无人值守商店设置有出入口、卖场、结账区域和登记区域。

在出入口的附近，设置有由分隔壁隔开的入口通道和出口通道。在入口通道中，安装有入口门3。此外，在入口通道的附近，安装有放置了要借出给用户的数副MR眼镜2的MR眼镜借出台25。在出口通道中，安装有出口门4。此外，在出口通道的附近，安装有用户应返还MR眼镜2的MR眼镜返还台26。

在卖场中，设置有真实商品卖场和虚拟商品卖场。在真实商品卖场中，安装有展示真实商品(现有商品)的展示架。在虚拟商品卖场中，通过用户所佩戴的MR眼镜2显示处于展示状态的虚拟商品(商品的虚拟物体)。

结账区域设置在出口通道附近。在结账区域中，安装有多个结账柜台1。

登记区域设置在与结账区域相邻且从出入口直接可进入的位置中。在登记区域中，安装有登记器7。

当用户通过出入口进入商店时，用户进入入口通道，并且在头部佩戴MR眼镜借出台25上的一对MR眼镜2。此时，门控制器5从用户的MR眼镜2获取虹膜信息，并使认证服务器15进行虹膜认证，并且如果虹膜认证成功，则打开入口门3使得用户可以进入卖场。注意，MR眼镜2可被配置成使得在检测到用户佩戴了MR眼镜2时，显示登录画面，并且在通过虹膜认证辨识出人物时，显示用户的姓名。

然后，用户通过入口通道进入卖场，评估卖场中所展示的商品，并且选择要购买的(一个或多于一个)商品。此时，在真实商品卖场中，用户从展示架上展示的真实商品中取出要购买的(一个或多于一个)真实商品((一个或多于一个)真实商品的挑选)。此外，在虚拟商品卖场中，通过MR眼镜2显示虚拟展示架。用户进行用于从虚拟展示架上所展示的虚拟商品中选择要购买的(一个或多于一个)虚拟商品的操作((一个或多于一个)虚拟商品的挑选)。

接着，用户移动到结账区域并在结账柜台1处进行费用计算和支付所用的操作。此时，在将用户从真实商品卖场中的展示架取出的真实商品放置在结账柜台1上时，进行费用计算，然后进行虹膜认证和口令认证。如果虹膜认证和口令认证成功，则执行支付。此外，在用户在虚拟商品卖场中选择(一个或多于一个)虚拟商品的情况下，对包括用户所选择的(一个或多于一个)虚拟商品的商品进行费用计算和支付。

之后，用户移动到出口通道以从商店离开。此时，门控制器5从用户的MR眼镜2获取虹膜信息并使认证服务器15进行虹膜认证，并且如果虹膜认证成功，则打开出口门4，使得用户可以通过出入口从商店离开。用户将MR眼镜2返还到MR眼镜返还台26，然后通过出口通道从商店离开。

注意，在本实施例中，在商店处将MR眼镜2借出给用户，但也可以使用用户经常使用的MR眼镜2。

此外，在本实施例中，当用户进入商店时，基于MR眼镜2所获取到的用户的虹膜信息来进行虹膜认证，但可以基于用户ID和口令来进行口令认证。在这种情况下，可以进行配置，使得通过MR眼镜2显示输入画面，并且通过虚拟键盘的操作输入用户ID和口令。

此外，本实施例涉及无人值守商店系统，并且旨在用于不存在店员的无人值守商店，但这里公开的系统(费用计算和支付系统)用于使得能够在无店员的情况下进行用户所购买的商品的费用计算和支付(结账)，并且不必一定限于在无人值守商店中使用。即，本发明可以用在始终存在店员的有人值守商店中，以减轻有人值守商店中店员的负担。在这种情况下，结账柜台1用作自助收银机。此外，无人值守商店和有人值守商店共存的形式也是可以的。例如，可以存在如下情况：在单个商店中，安装有无人值守收银机和有人值班收银机这两者。此外，可以存在将单个商店划分为无人值守区域和有人值守区域的情况。

接着，将说明虚拟商品卖场中的虚拟商品的显示以及用于挑选虚拟商品的操作。图3是示出虚拟商品卖场中的虚拟商品的显示状况以及挑选虚拟商品的操作状况的说明图。

虚拟商品卖场控制器6控制用户所佩戴的MR眼镜2以在虚拟商品卖场中以展示在虚拟展示架202上的状态显示虚拟商品201。即，作为商品的虚拟3D物体的虚拟商品201和作为展示架的虚拟3D物体的虚拟展示架202以叠加方式显示在作为现实空间的虚拟商品卖场中。

MR眼镜2具有识别用户的手势(手动作)的功能。虚拟商品卖场控制器6基于利用MR眼镜2的手势识别的结果来检测由用户的手势表示的操作(手跟踪)。

具体地，通过由手势表示的操作，用户可以选择MR眼镜2所显示的虚拟商品201。例如，用户可以通过用手指选中虚拟商品201的动作来选择虚拟商品201。此外，可以进行配置，使得通过用户的指点动作，选择在手指的延长线上的虚拟商品201。当用户选择虚拟商品201时，该虚拟商品201被登记在购物清单中。

此外，可以根据由用户的手势表示的操作来指定要购买的虚拟商品201的数量。例如，可以用右手进行选择虚拟商品201的操作，而可以用左手指定要购买的虚拟商品201的数量。具体地，可以根据用手指表示数量的方法(手符号)来指定要购买的虚拟商品201的数量。

此外，可以根据由用户的手势表示的操作来替换虚拟展示架202上的虚拟商品201。例如，在显示某个商品类别的虚拟展示架202时，用户的手势可以使得显示另一商品类别的虚拟展示架202。具体地，通过滑动用户的手的各动作(翻转操作)，可以顺次切换虚拟展示架202的商品类别，诸如从饮料切换到糖果再切换到速食食品(杯装方便面等)等。由此，在无需确保大的虚拟商品卖场的情况下或者甚至在空间有限的小商店中，可以展示各种各样的虚拟商品201。

此外，虚拟展示架202上的虚拟商品201可以是根据用户的属性(性别、年龄等)、购买历史等所选择的推荐商品。

注意，在图3所示的示例中，在虚拟商品卖场中显示展示了虚拟商品201作为虚拟物体的虚拟展示架202，但与使用展示架的展示方法不同形式的展示方法(例如，将虚拟商品201放置在推车(展示台)、转台等上的展示方法)也是可以的。此外，在现实空间不能实现的且对于虚拟空间是唯一的各种形式的展示方法(例如，虚拟商品201以漂浮在空中的状态转动的形式)是可以的。

此外，在图3所示的示例中，在商店是便利店或超市等的假设下显示作为商品类别的一个示例的大米的虚拟展览架202，但商店不限于该类型的商店，并且例如可以是服装相关的商店。

此外，在本实施例中，在商店中所设置的虚拟商品卖场中通过MR眼镜2显示虚拟商品，但可以在商店中的除卖场以外的区域中显示虚拟商品。例如，在用户正在结账柜台1处进行费用计算所用的操作期间，可以通过MR眼镜2在结账柜台1的周围显示虚拟商品。在这种情况下，可以将与在现实商店在收银机旁边安装的展示架(收银机旁边的展示架)上展示的商品类似的商品作为虚拟商品进行显示。此外，可以基于用户信息(属性、购买历史等)和/或与用户将要购买的商品有关的信息来选择要显示的虚拟商品。

此外，在本实施例中，卖场被划分为真实商品卖场和虚拟商品卖场(参见图2)，但如下也是可以的：在不将卖场划分为真实商品卖场和虚拟商品卖场的情况下，例如，可以在用于展示真实商品的展示架之间的通道中通过MR眼镜2显示虚拟商品。

通常，在EC购物中，顾客经常在购买商品之前搜索对象商品(期望商品)。EC购物网站中的一些EC购物网站根据对象商品来建议最畅销商品，但很难使得用户能够以与在商店中浏览时类似的感觉进行购物。根据本实施例，除所识别出的真实商品之外，还可以以与在普通商店中评估真实商品(浏览货架上展示的商品)时类似的感觉选择商店中不存在的虚拟商品进行结账，因此可以在使商店库存减少到最低限度的同时增加顾客的购买机会。

此外，在本实施例中，可以实现灵活的商品展示(货架指派)；例如，冷冻货架、冷藏货架和常温货架的概念消失，并且可以在冷藏商品旁边展示室温商品。因而，以在处理真实商品的普通商店中无法想象的新颖布局来布置商品成为可能。

接着，将说明结账柜台1。图4是示出结账柜台1的外观的立体图。图4的(A)示出整个结账柜台1，并且图4的(B)从斜下方示出上壁部34。

如图4的(A)所示，结账柜台1的主体31包括箱状部32、顶板部33、上壁部34和后壁部35。顶板部33设置在箱状部32的上侧。后壁部35被设置成从箱状部32的后侧向上突出。上壁部34被设置成如檐状从后壁部35的上端向前突出。

顶板部33设置有放置用户将要购买的商品(在卖场中选择的商品)的托盘41(放置部)。在用户简单地将商品并排放置在托盘41上的状态下，通过物体识别来辨识所放置的商品，并且基于各商品的单价来进行费用计算或要支付的金额的计算。注意，托盘41是以呈碟状凹入的状态形成在顶板部33中，使得用户可以容易地掌握商品应被放置的范围。

另外，顶板部33设置有触摸面板显示器42。触摸面板显示器42显示商品识别结果、即执行费用计算所针对的商品，并且当在商品识别结果中不存在错误时，用户可以进行与虹膜认证和口令认证相关的操作。此外，当在商品识别结果中存在错误时，用户可以进行用于修正执行费用计算所针对的商品的操作。

箱状部32设置有前侧开放的第一储存部46(机架)和前侧由门47闭合的第二储存部48。在第一储存部46中，储存商品的附属品。这些附属品是免费提供给用户的，并且用户可以免费将它们带回家。具体地，附属品包括购物袋和餐具(勺子、叉子等)等。在第二储存部48中，储存用于控制触摸面板显示器42等的控制器49(PC)。

后壁部35设置有显示器45。该显示器45用作数字标牌，并且始终显示诸如商店引导或商品广告等的内容。

如图4的(B)所示，上壁部34设置有摄像头51。这些摄像头51拍摄顶板部33的托盘41上所放置的商品的图像。这里，设置了三个摄像头51。中央的摄像头51从正上方拍摄托盘41上所放置的商品的图像，并且这些拍摄图像用于检测托盘41上所放置的商品的位置的目的。两侧的两个摄像头51从斜上方拍摄托盘41上所放置的商品的图像，并且这些拍摄图像用于识别托盘41上所放置的商品(商品名称)的目的。

此外，在上壁部34上设置有扬声器53。扬声器53输出用于对用户做出响应的语音。例如，从扬声器53输出用于引导如何操作的引导语音。

接着，将说明结账柜台1处的(一个或多于一个)真实商品的放置以及(一个或多于一个)虚拟商品的显示。图5是示出结账柜台1处的真实商品的放置状况和虚拟商品的显示状况的说明图。

结账柜台1设置有将放置用户想要购买的商品的托盘41。当用户将在真实商品卖场中从展示架中取出的真实商品211放置在托盘上时，进行真实商品211的费用计算。

另一方面，在用户在虚拟商品卖场中选择虚拟商品201的情况下(参见图3)，通过用户的MR眼镜2将用户所选择的虚拟商品201显示在结账柜台1的托盘41上。即，将作为商品的虚拟3D物体的虚拟商品201以叠加方式显示在作为现实空间的结账柜台1的托盘41上。由此，可以在结账柜台1的托盘41上一并看到用户想要购买的(一个或多于一个)真实商品和(一个或多于一个)虚拟商品。

这里，在本实施例中，根据在虚拟商品卖场中选择通过MR眼镜2显示的虚拟商品201的操作(参见图3)，将所选择的虚拟商品登记在购物清单中，并且将购物清单中所登记的虚拟商品201显示在结账柜台1的托盘41上。此时，根据用户的选择操作，虚拟商品卖场控制器6将虚拟商品201登记在购物清单中，并且结账柜台1从虚拟商品卖场控制器6获取购物清单的信息并控制用户的MR眼镜2，使得购物清单中所登记的虚拟商品201显示在结账柜台1的托盘41上。

注意，虚拟商品不必一定以实际大小显示。例如，在具有大尺寸的商品的情况下，如果虚拟商品以实际大小显示，则虚拟商品可能从托盘41突出。此外，如果商品的数量增加，则可能存在要购买的所有商品无法全部容纳在托盘41上的情况。在这种情况下，通过以缩小大小显示虚拟商品，可以使要购买的所有商品全部容纳在托盘41上。

如上所述，在本实施例中，可以将在虚拟商品卖场中展示的虚拟商品连同在真实商品卖场中展示的真实商品一起购买。例如，可以将诸如大米、洗发水和洗涤剂等的大型或重型商品(即，难以带回家的商品)作为虚拟商品在虚拟商品卖场中展示，使得它们将被配送到用户的家。另一方面，可以将快速消费的商品(诸如午餐盒、副菜、新鲜食品(蔬菜、新鲜鱼等)等)以及用户希望评估实物的商品(诸如新鲜食品等)作为真实商品展示在真实商品卖场中，使得用户可以将它们从那里带回家。由此，可以提高用户的便利性。此外，在本实施例中，由于在现实商店中显示虚拟商品，因此不同于EC购物中的虚拟商店，用户可以获得购物的真实感觉。

接着，将说明结账柜台1和MR眼镜2的示意结构。图6是示出结账柜台1和MR眼镜2的示意结构的框图。

除了摄像头51、触摸面板显示器42、显示器45和扬声器53(参见图4)之外，结账柜台1还设置有通信装置61、存储部62和控制器63。注意，通信装置61、存储部62和控制器63构成控制器49(参见图4)。

通信装置61经由网络与用户管理服务器13、商品学习服务器14、认证服务器15、MR眼镜2和虚拟商品卖场控制器6进行通信。

存储部62存储由构成控制器63的处理器执行的程序。此外，存储部62存储商品主信息。具体地，存储部62存储商品的标识信息(商品名称、商品代码等)、在费用计算中使用的信息(即，与各商品的价格(单价)相关的信息)等。

控制器63包括商品检测部71、商品识别部72、费用计算部73、认证指示部74、虚拟物体控制器75、支付指示部76和配送指示部77。该控制器63由处理器构成，并且控制器63的各功能单元通过由处理器执行存储部62中所存储的程序来实现。

商品检测部71基于由被布置成拍摄托盘41的图像的摄像头51拍摄到的图像来检测商品在托盘41上的放置。此外，在商品放置在托盘41上的情况下，商品检测部71基于摄像头51所拍摄到的图像来检测商品的位置。

商品识别部72基于摄像头51所拍摄到的图像来识别放置在托盘41上的商品。在本实施例中，商品识别部72使用通过诸如深度学习等的机器学习所构建的对象识别引擎，以从在摄像头51拍摄到的图像中切出的商品图像获取商品标识信息(商品名称等)。

费用计算部73基于商品识别部72的商品识别结果来计算放置在托盘41上的商品的费用。即，费用计算部73获取托盘41上所放置的各商品的价格(单价)并合计商品的价格，由此计算要支付的总金额(合计)。此外，在本实施例中，当用户在虚拟商品卖场中选择虚拟商品时，从虚拟商品卖场控制器6提供登记了所选择的(一个或多于一个)虚拟商品的购物清单的信息，并且费用计算部73基于购物清单的信息来计算(一个或多于一个)虚拟商品以及托盘41上所放置的(一个或多于一个)真实商品的费用。

为了在支付时辨识用户，认证指示部74指示认证服务器15进行认证或用户管理服务器13进行口令认证。这里，在虹膜认证中，认证指示部74从MR眼镜2获取用户的虹膜信息，并将虹膜信息发送到认证服务器15。此外，在口令认证中，认证指示部74将用户所输入的用户ID和口令发送到用户管理服务器13。注意，为了增强安全性，可以采用由虹膜认证(生物特征认证)和口令认证组成的双因素认证，使得在虹膜认证和口令认证这两者都成功时满足条件。

虚拟物体控制器75控制用户的MR眼镜2以将虚拟商品(商品的虚拟3D物体)以叠加方式显示在作为现实空间的结账柜台1的托盘41上。注意，在结账柜台1进行要购买的商品的费用计算时，结账柜台1从虚拟商品卖场控制器6获取购物清单的信息，并且控制用户的MR眼镜2以将购物清单中登记的虚拟商品显示在结账柜台1的托盘41上。

这里，虚拟商品在托盘41上所放置的真实商品的旁边显示，并且此时，为了防止真实商品被虚拟商品隐藏而使得用户看不到，检测托盘41上的真实商品的位置，并且基于位置信息，决定显示虚拟商品的位置。注意，托盘41上的真实商品的位置的检测可以基于由结账柜台1上设置的摄像头51拍摄到的图像来执行，或者可以基于利用MR眼镜2的传感器82的检测结果来执行。

支付指示部76指示支付服务器12针对通过虹膜认证和口令认证所辨识的用户(要进行支付的人物)执行与通过费用计算所计算出的费用有关的支付处理。

配送指示部77指示配送部门(配送中心)将虚拟商品的实物配送到用户所指定的场所(配送目的地)(配送安排)。具体地，配送指示部77生成用于指示虚拟商品的实物的配送的安排信息，并且将该安排信息经由用户管理服务器13发送到配送服务器17。安排信息包括用户的配送目的地信息(姓名和地址)。注意，用户的配送目的地信息是基于用户的输入操作预先登记的。

注意，对于真实商品，费用的支付必须在结账柜台1处进行，但在虚拟商品的情况下，与EC购物的情况类似，可以以货到付款的形式在商店之外进行费用的支付(其中在商品配送时或者在使用便利店或金融机构的转账手续时进行支付)，因而可以根据用户的请求等省略结账柜台1处的支付。

MR眼镜2设置有显示器81、传感器82、通信装置84、存储部86和控制器87。注意，除它们之外，MR眼镜2还可以配备有扬声器。

显示器81显示用于将虚拟物体叠加在现实空间中的MR画面。

传感器82检测自身装置周围的物体。在本实施例中，作为传感器82，提供了用于拍摄佩戴自身装置的人的手的图像的外置摄像头、用于拍摄虹膜认证所用的用户的眼球的图像的内置摄像头等。

通信装置84与结账柜台1、门控制器5和虚拟商品卖场控制器6进行通信。

存储部86存储由构成控制器87的处理器执行的程序。

控制器87包括身体识别部91和环境识别部92。该控制器87由处理器构成，并且控制器87的各功能单元通过由处理器执行存储部86中所存储的程序来实现。

身体识别部91基于传感器82的检测结果来识别佩戴自身装置的用户的手势(手的动作)。虚拟商品卖场控制器6基于身体识别部91所获取到的手势识别结果(手跟踪)来检测用户的操作(例如，选择虚拟商品的操作)。此外，虚拟商品卖场控制器6基于手势识别结果来控制通过MR眼镜2的虚拟展示架的显示。

此外，身体识别部91获取由作为传感器82的摄像头拍摄到的眼球图像，并且从眼球图像提取虹膜信息(虹膜图像或虹膜特征)。认证服务器15基于身体识别部91所获取到的用户的虹膜信息来进行虹膜认证，由此辨识用户。

环境识别部92识别佩戴自身装置的用户周围的环境；例如，用户正站立的商店的地板表面、结账柜台1的托盘41的表面等。

注意，虚拟商品卖场控制器6或结账柜台1可以具有身体识别部91和/或环境识别部92的功能。

接着，将说明结账柜台1的触摸面板显示器42上所显示的画面。图7和图8是示出结账柜台1的触摸面板显示器42上所显示的画面的说明图。

结账柜台1的触摸面板显示器42首先显示图7的(A)所示的费用计算引导画面。该费用计算引导画面显示提示用户将商品放置在结账柜台1的托盘41上的引导消息101、以及用于说明如何放置商品的引导图像102(图示等)。这里，当用户将商品放置在托盘41上时，在结账柜台1处进行商品识别和费用计算的处理，并且画面转变到购买商品验证画面(参见图7的(B))。

在图7的(B)所示的购买商品验证画面中，显示用于提示用户确认要购买的商品的引导消息104。此外，在该购买商品验证画面中，提供了识别结果列表显示部105。在该识别结果列表显示部105中，并排显示表示各个商品的名称和价格的商品框115(商品显示部)。商品框115与用户放置在托盘41上的真实商品以及用户在虚拟商品卖场中选择的虚拟商品有关。注意，可以针对与真实商品相关的商品框115和与虚拟商品相关的商品框115改变显示形式(例如，颜色等)。

此外，购买商品验证画面设置有费用计算结果显示部116。在该费用计算结果显示部116中，显示费用计算结果(即，托盘41上所放置的商品的总数及其总金额)。

此外，购买商品验证画面设置有“继续结账”按钮117和“取消结账”按钮119。这里，当用户操作“继续结账”按钮117时，费用计算结果是固定的，并且处理转变到支付所用的认证处理，由此进行用于将用户辨识为要进行支付的人的虹膜认证。另一方面，当用户操作“取消结账”按钮119时，画面转变到取消画面(图中未示出)。在用户还将商品从托盘41移除的情况下，画面转变到取消画面(图中未示出)。

这里，当虹膜认证成功时，画面转变到验证结果确认画面(参见图7的(C))。另一方面，当虹膜认证失败时，显示错误画面(图中未示出)。

在图7的(C)所示的验证结果确认画面中，显示用于询问用户的姓名是否正确的消息126。此外，认证结果确认画面设置有“是”按钮127。这里，当用户操作“是”按钮127时，画面转变到口令认证画面(参见图8的(A))。注意，图7的(C)的画面中显示的费用计算结果显示部116和“取消结账”按钮119与购买商品验证画面(参见图7的(B))中相同。

图8的(A)所示的口令认证画面包括用于提示用户输入作为口令的个人标识号的消息131、表示个人标识号的输入状况的图像132、以及数字小键盘133。这里，当具有规定位数的个人标识号的输入结束时，执行口令认证，并且如果口令认证成功，则画面转变到支付验证画面(参见图8的(B))。另一方面，当口令认证失败时，提示用户再次输入口令。

此外，口令认证画面设置有“支付”按钮135和“返回”按钮136。这里，当用户操作“返回”按钮136时，画面返回到尚未输入个人标识号的状态。“支付”按钮135灰化且不可操作。

在图8的(B)所示的支付验证画面中，“支付”按钮135变为可操作，并且如果用户操作“支付”按钮135，则画面转变到支付完成画面(参见图8的(C))。注意，图8的(A)和(B)中显示的费用计算结果显示部116和“取消结账”按钮119与购买商品验证画面(参见图7的(B))中相同。

接着，将说明用户登记时的用户终端11的操作过程。图9是示出用户登记时的用户终端11的操作过程的流程图。

当在第一次安装应用之后被激活时，用户终端11首先显示个人信息验证画面(ST101)。在该个人信息验证画面中，显示与个人信息的处理相关的同意。当用户在个人信息验证画面中进行批准同意的操作时，显示认证信息输入画面(ST102)。

随后，当用户在认证信息输入画面中进行输入用户ID和口令的操作时，用户ID和口令被发送到用户管理服务器13(ST103)。

然后，在用户终端11上显示个人信息输入画面(ST104)。通过该个人信息输入画面，用户可以输入个人信息。此时，输入用户的姓名、属性(诸如性别和出生日期等)、配送目的地信息(用户的地址等)等作为个人信息。当用户在该个人信息输入画面中进行输入个人信息的操作时，包括出生日期等的个人信息被发送到用户管理服务器13(ST105)。

接着，在用户终端11上显示虹膜认证所用的眼球摄像画面(ST104)。当用户在该眼球摄像画面中进行拍摄她/他自己的眼球的图像的操作时，从拍摄图像中提取眼球图像，并且将眼球图像发送到用户管理服务器13(ST107)。

此时，用户管理服务器13进行登记从用户终端11获取到的用户ID和口令的处理。此外，用户管理服务器13将从用户终端11获取到的眼球图像发送到认证服务器15，并且认证服务器15进行登记眼球图像的处理。

随后，用户终端11显示信用信息输入画面(ST108)。当用户在信用信息输入画面中进行输入信用信息的操作时，信用信息被发送到支付服务器12(ST109)。支付服务器12进行登记从用户终端11获取到的信用信息的处理。

然后，在从支付服务器12接收到信用信息登记的完成通知时，用户终端11显示登记完成画面(ST110)。

注意，用户也可以在商店中所安装的登记器7处进行用户登记的操作，并且其过程与用户终端11的情况相同。

接着，将说明结账柜台1的操作过程。图10和图11是示出结账柜台1的操作过程的流程图。

在结账柜台1处，首先显示费用计算引导画面(参见图7的(A))(ST201)。如果基于摄像头51所拍摄到的图像检测到一个或多于一个对象放置在托盘41上(ST202中为“是”)，则检测托盘41上所放置的对象的位置(ST203)。随后，辨识哪个商品与托盘41上所放置的各物体相对应(ST204)。然后，计算托盘41上所放置的商品的费用(ST205)。之后，显示购买商品验证画面(参见图7的(B))(ST206)。

随后，当用户在购买商品验证画面(参见图7的(B))中进行选择取消的操作时，具体地，当用户操作“取消结账”按钮119时(ST207中为“取消”)，画面转变到取消画面(图中未示出)(ST208)。注意，这里，在由于商品识别失败而导致在费用计算结果中存在错误的情况下，或者在用户取消一些商品的购买的情况下，可以进行配置以允许用于商品的修正(商品的改变、添加和/或删除)的操作。

另一方面，在用户进行批准购买并指示支付的操作时，具体地，当用户操作“继续结账”按钮117时(ST207中为“支付”)，费用计算结果是固定的，并且处理转变到支付所用的认证处理。即，从MR眼镜2获取虹膜信息，并将包括虹膜信息的身份认证请求发送到认证服务器15(ST209)。此时，响应于虹膜认证请求，认证服务器15基于从结账柜台1获取到的虹膜信息进行虹膜认证，并将包括认证结果的虹膜认证响应发送到结账柜台1。

然后，结账柜台1从认证服务器15接收到虹膜认证响应(ST210)，并且当虹膜认证响应中所包括的认证结果是失败时(ST211中为“否”)，显示错误画面(图中未示出)(ST212)。另一方面，当虹膜认证响应中所包括的认证结果是成功时(ST211中为“是”)，显示认证结果确认画面(参见图7的(C))(ST213)。

当用户在该验证结果确认画面(参见图7的(C))中操作“是”按钮127时，处理进入口令认证，并且显示口令认证画面(参见图8的(A))(ST214)。

随后，当用户在口令认证画面(参见图8的(A))中输入口令(个人标识号)时，结账柜台1将口令认证请求发送到用户管理服务器13(ST215)。在接收到口令认证请求时，用户管理服务器13基于从结账柜台1获取到的认证信息进行口令认证，并且将包括认证结果的口令认证响应发送到结账柜台1。

随后，结账柜台1从用户管理服务器13接收到口令认证响应(ST216)，并且当口令认证响应中所包括的认证结果是失败时(ST217中为“否”)，显示错误画面(图中未示出)(ST208)。另一方面，当口令认证响应中所包括的认证结果是成功时(ST217中为“是”)，显示支付验证画面(参见图8的(B))(ST219)。

当用户在该支付验证画面(参见图8的(B))中操作“支付”按钮135时，支付请求经由用户管理服务器13被发送到支付服务器12(ST220)。在接收到支付请求时，支付服务器12执行支付处理并将支付响应经由用户管理服务器13发送到结账柜台1。

然后，在从支付服务器12接收到支付响应时(ST221)，结账柜台1显示支付完成画面(参见图8的(C))(ST222)。随后，结账柜台1进行收据发出处理(ST223)。此时，将收据信息经由用户管理服务器13发送到用户终端11，并将所接收到的收据信息存储在用户终端11中。

此外，在结账柜台1处，生成用于指示用户所购买的虚拟商品的实物的配送的安排信息，并且该安排信息经由用户管理服务器13被发送到配送服务器17(配送安排)(ST224)。

注意，在本实施例中，在结账柜台1处的购买费用的支付中采用由虹膜认证和口令认证组成的双因素认证来提高安全性，并且即使当虹膜认证成功时也进行口令认证，但可以省略口令认证并且仅进行虹膜认证。此外，当虹膜认证失败时，可以仅通过口令认证进行支付。在这种情况下，画面可以转变到用户选择或输入他/她自己的用户ID的画面，之后转变到ST214中的口令认证画面(参见图8的(A))。

此外，尽管在本实施例中进行虹膜认证，但代替虹膜认证，可以进行面部认证。在这种情况下，可以在结账柜台1上提供用于拍摄用户的面部的图像的摄像头，使得基于从摄像头拍摄到的图像中提取的面部图像来进行面部认证。此外，可以进行除这样的生物特征认证(虹膜认证和面部认证等)以外的认证，例如，使用IC卡的卡认证等。

以上说明了实施例作为本申请中所公开的技术的示例。然而，本发明的技术不限于此，并且可应用于可以进行改变、替换、添加、省略等的实施例。此外，可以组合前述实施例中所描述的结构元件以形成新的实施例。

产业上的可利用性

根据本发明的费用计算和支付装置、费用计算和支付系统、以及费用计算和支付方法具有如下的效果：它们可以通过使得用户除了能够购买商店中存在的商品之外还能够购买商店中不存在的商品来增强用户的便利性，并且可以使得用户能够与商店中存在的商品一样充分检查商店中不存在的商品并充分获得购买了商品的真实感，并且作为被配置为识别用户在卖场中所选择的商品并进行与其费用的计算和支付相关的处理的费用计算和支付装置、以及使用该费用计算和支付装置的费用计算和支付系统及费用计算和支付方法等是有用的。

附图标记说明

1结账柜台(费用计算和支付装置)

2MR眼镜(虚拟物体显示装置)

3入口门

4出口门

5门控制器

6虚拟商品卖场控制器(虚拟物体控制装置)

17 配送服务器

31 主体

41托盘(放置部)

42触摸面板显示器(显示器)

51 摄像头

63 控制器

71 商品检测部

72 商品识别部

73 费用计算部

74 认证指示部

75 虚拟物体控制器

76 支付指示部

201 虚拟商品

202 虚拟展示架

211 真实商品

Claims (9)

1.一种费用计算和支付装置，用于进行与用户在商店中选择的商品的费用计算和支付相关的处理，所述费用计算和支付装置包括：

主体，其具有将放置用户在卖场中选择的真实商品的放置部；

摄像头，其被配置为拍摄所述放置部上所放置的真实商品的图像；

控制器，其被配置为基于通过所述摄像头进行的摄像所获取到的商品图像来识别对象商品，并且进行与费用计算和支付相关的处理；以及

显示部，其被配置为显示所述控制器所获取到的费用计算结果和支付结果，

其中，响应于用户的用于选择在作为现实空间的商店中的预定区域中以叠加方式作为虚拟物体所显示的虚拟商品的操作，所述控制器还进行用户所选择的虚拟商品以及所识别出的真实商品的费用计算。

2.根据权利要求1所述的费用计算和支付装置，其中，所述控制器控制虚拟物体显示装置以将作为虚拟物体的所述虚拟商品以叠加方式显示在作为现实空间的所述放置部上，使得所述虚拟商品与所述放置部上所放置的真实商品并排放置。

3.根据权利要求1或2所述的费用计算和支付装置，其中，在与包括所述虚拟商品的购买商品相关的费用计算或支付完成时，所述控制器进行与所述虚拟商品的实物的配送相关的处理。

4.一种费用计算和支付系统，用于进行与用户在商店中选择的商品的费用计算和支付相关的处理，所述费用计算和支付系统包括：

费用计算和支付装置，其具有将放置用户在卖场中选择的真实商品的放置部，所述费用计算和支付装置被配置为拍摄所述放置部上所放置的商品的图像，基于通过摄像所获取到的商品图像来识别对象商品，进行与费用计算和支付相关的处理，并且显示所述费用计算和支付的结果；

虚拟物体显示装置，其被配置为将虚拟物体以叠加方式显示在现实空间中；以及

虚拟物体控制装置，其被配置为控制所述虚拟物体显示装置以将作为虚拟物体的虚拟商品以叠加方式显示在作为现实空间的商店中的预定区域中，并且检测用户的用于选择所述虚拟商品的操作，

其中，响应于用户的用于选择所述虚拟商品的操作，所述费用计算和支付装置进行用户所选择的虚拟商品以及所识别出的真实商品的费用计算。

5.根据权利要求4所述的费用计算和支付系统，其中，所述费用计算和支付装置控制所述虚拟物体显示装置以将所述虚拟商品以叠加方式显示在作为现实空间的所述放置部上，使得所述虚拟商品与所述放置部上所放置的真实商品并排放置。

6.根据权利要求4所述的费用计算和支付系统，其中，所述虚拟物体显示装置是可佩戴装置，所述可佩戴装置被配置为佩戴在用户的头部上并且将所述虚拟物体以叠加方式显示在用户的真实视野上。

7.根据权利要求4所述的费用计算和支付系统，其中，所述虚拟物体显示装置配备有传感器，所述传感器被配置为检测用户的动作，并且基于所述传感器的检测结果来识别用户的手势，以及

所述虚拟物体控制装置基于所述手势的识别结果来检测用户的用于选择所述虚拟商品的操作。

8.一种费用计算和支付方法，用于进行与用户在商店中选择的商品的费用计算和支付相关的处理，

其中，虚拟物体控制装置控制被配置为将虚拟物体以叠加方式显示在现实空间中的虚拟物体显示装置，以将作为虚拟物体的虚拟商品以叠加方式显示在作为现实空间的商店中，并且检测用户的用于选择所述虚拟商品的操作，以及

费用计算和支付装置拍摄用户在卖场中选择并放置在放置部上的真实商品的图像，基于通过摄像所获取到的商品图像来识别对象商品，并且进行用户所选择的虚拟商品以及所识别出的真实商品的费用计算。

9.根据权利要求8所述的费用计算和支付方法，其中，所述费用计算和支付装置控制所述虚拟物体显示装置以将所述虚拟商品以叠加方式显示在作为现实空间的所述放置部上，使得所述虚拟商品与所述放置部上所放置的真实商品并排放置。