CN112868054B - 商品购买支持系统、商品购买支持设备和其方法、pos终端设备以及非暂时性计算机可读介质 - Google Patents

Abstract

提供了一种商品购买支持系统(100)、一种商品购买支持设备(10)和一种POS终端设备(20)，其能够有效地进行商品销售时的结帐处理并且改进了当顾客在购买商品时的便利性。根据本发明的商品购买支持系统(100)包括：商品购买支持设备(10)，该商品购买支持设备(10)包括深度相机(12)和第一显示设备(13)；以及POS终端设备(20)，该POS终端设备(20)进行针对商品的结帐处理。当商品购买支持设备(10)检测到由顾客选择商品的商品选择动作时，它标识由顾客选择的商品并且生成与此商品有关的商品信息，以及将该商品信息显示在第一显示设备(13)上。另外，商品购买支持设备(10)将商品信息输出到POS终端设备(20)。

Description

商品购买支持系统、商品购买支持设备和其方法、POS终端设 备以及非暂时性计算机可读介质

技术领域

本发明涉及一种商品购买支持系统、一种商品购买支持设备和方法、一种POS终端设备以及一种非暂时性计算机可读介质，并且特别地，本发明涉及支持由顾客购买商品的商品购买支持系统、商品购买支持设备和方法、POS终端设备以及非暂时性计算机可读介质。

背景技术

商品照惯例被陈列在展示柜(陈列架)上以供在各种商店中销售。在此类商店中，顾客向工作人员口头下期望商品的订单，这是不太方便的并且需要长时间才能结帐。

关于这点，根据专利文献1中公开的展示柜一体式收银机，当顾客通过操作与商品的陈列位置相对应的商品键来指定此商品及其数量时，该商品、该商品的数量、该商品的单价等被显示在安装在展示柜背面的显示器或安装在展示柜顶面的拐角上的价格显示器上。然后，工作人员向顾客口头确认购买细节，并且如果没有问题，则按压键盘的确认键以从而执行交易。以这种方式，它旨在避免工作人员不得不将商品和数量键入到收银机中，从而改进工作人员的可使用性。

引用列表

专利文献

PTL1：日本未审查专利申请公开第H05-242360号

发明内容

技术问题

然而，根据专利文献1中公开的展示柜一体式收银机，当购买商品时，顾客需要通过操作与商品的陈列位置相对应的个别商品键来确认商品和此商品的数量，并且另外顾客不能检查所选商品和此商品的数量，这是不太方便的。

鉴于以上问题，本发明的目的是为了提供为了商品销售而改进结帐处理的效率并且提高顾客在购买商品时的便利性的商品购买支持系统、商品购买支持设备和方法、POS终端设备以及非暂时性计算机可读介质。

问题的解决方案

根据本发明的商品购买支持系统包括：深度相机，该深度相机被安装在商品的陈列架上或者安装为接近陈列架；商品购买支持设备，该商品购买支持设备包括被配置成显示与商品有关的信息的第一显示设备；以及POS终端设备，该POS终端设备被配置成进行针对商品的结帐处理，其中，商品购买支持设备包括：动作检测装置，该动作检测装置用于基于从深度相机输出的捕获图像和三维坐标信息来检测顾客的动作；显示控制装置，该显示控制装置用于控制第一显示设备；以及通信装置，该通信装置用于进行与POS终端设备的数据通信，当动作检测装置检测到由顾客选择商品的商品选择动作时，动作检测装置标识由顾客选择的商品并且生成与由顾客选择的商品有关的商品信息，显示控制装置将商品信息显示在第一显示设备上，并且通信装置将商品信息输出到POS终端设备。

发明的有利效果

根据本发明，提供了为了商品销售而改进结帐处理的效率并且提高顾客在购买商品时的便利性的商品购买支持系统、商品购买支持设备和POS终端设备。

附图说明

图1是示出根据本发明的第一示例实施例的商品购买支持系统的配置的框图。

图2是示意性地示出根据本发明的第一示例实施例的商品购买支持系统的立体图。

图3是示出根据本发明的第一示例实施例的商品购买支持设备的控制单元的功能的框图。

图4是示出根据第一示例实施例的商品购买支持系统的主要组件的框图。

图5是示意性地示出根据本发明的第一示例实施例的商品购买支持系统的正视图和平面图。

图6是示出从深度相机输出的捕获图像的示例的视图。

图7是示出由根据本发明的第一示例实施例的商品购买支持设备进行的处理的流程图。

图8是示出由根据本发明的第一示例实施例的商品购买支持设备进行的处理的流程图。

图9是示出由根据本发明的第一示例实施例的商品购买支持设备进行的处理的流程图。

图10是示出顾客信息管理表的示例的视图。

图11是示出商品位置信息表的示例的视图。

图12是示出商品信息表和类似商品信息表的示例的视图。

图13是示出在第一显示设备上显示的图像的示例的视图。

图14是示出在第二显示设备上显示的GUI画面的示例的视图。

图15是示出在第二显示设备上显示的GUI画面的另一示例的视图。

图16是示出根据本发明的第二示例实施例的商品购买支持系统的配置的框图。

图17是示出根据本发明的第三示例实施例的商品购买支持系统的配置的框图。

具体实施方式

<第一示例实施例>

在下文中参考附图描述本发明的第一示例实施例。图1是示出根据本发明的第一示例实施例的商品购买支持系统100的配置的框图。商品购买支持系统100包括商品购买支持设备10和POS(销售点)终端设备20。商品购买支持设备10和POS终端设备20能够通过通信电缆30彼此进行数据通信。注意，商品购买支持设备10和POS终端设备20可以通过无线电波彼此进行数据通信。

商品购买支持设备10是用于支持由顾客购买商品的设备，并且它包括控制单元11、深度相机12、第一显示设备13、第二显示设备14和通信单元15。控制单元11、深度相机12、第一显示设备13、第二显示设备14和通信单元15能够通过通信电缆40彼此进行数据通信。

控制单元11是控制深度相机12、第一显示设备13、第二显示设备14和通信单元15的设备，并且实现商品购买支持设备10的功能。稍后参考图3描述控制单元11的功能。

深度相机12是这样的设备，该设备捕获待摄影区域的图像并且生成捕获图像，而且还生成包含在待摄影区域中的物体的三维坐标信息，并且输出捕获图像和三维坐标信息。深度相机12以预定定时进行图像捕获，并且对于每个捕获图像生成三维坐标信息。深度相机12通过通信电缆40将捕获图像和三维坐标信息供应给控制单元11。

第一显示设备13是显示包含与由顾客选择的商品有关的信息(其在下文中被称为“购买候选商品信息”)的各种图像数据的设备。尽管第一显示设备13在此示例实施例中由一个显示设备组成，但是它在另一示例实施例中可以由多个显示设备组成。

第二显示设备14是诸如触摸面板的接触感测显示设备，并且它是能够接收来自顾客的指令的设备。第二显示设备14显示包含购买候选商品信息的各种GUI画面。

通信单元15是进行与POS终端设备20的数据通信的设备。通信单元15将与顾客已确认要购买的商品有关的信息发送到POS终端设备20。尽管控制单元11和通信单元15在图1所示的示例实施例中被配置为单独的设备，但是可以将通信单元15集成到控制单元11中。

POS终端设备20是进行针对商品的结帐处理的设备。POS终端设备20通过使用从商品购买支持设备10接收到的信息来进行针对由顾客选择的商品的结帐处理。

图2是示出根据本发明的第一示例实施例的商品购买支持系统100的示意图。商品购买支持系统100与用于商品的陈列架200和柜台300相结合地使用。如图2所示，在相对于深度相机12作为原点的三维坐标空间中，用于商品的陈列架200的宽度方向是x轴，高度方向是y轴，并且深度方向是z轴。在图2所示的示例实施例中，第一显示设备13被安装在陈列架200的顶部上，并且深度相机12被安装在第一显示设备13的顶部上。第二显示设备14和POS终端设备20被安装在柜台300的顶面上。注意，可以将第一显示设备13安装在陈列架200内部或附近或者与陈列架200分开地安装。另外，可以将深度相机12安装在陈列架200内部、顶部上或侧面或者安装在陈列架200附近。

如图2所示，在陈列架200和柜台300前面的区域被分割成多个区域。在此示例实施例中，其被分割成五个区域：区域1至4和结帐区域。购买商品的顾客能够进行随着从区域1移动到结帐区域而选择显示在陈列架200上的商品的动作(其在下文中被称为“商品选择动作”)，从而选择顾客期望购买的商品。注意，可以取决于陈列架200和柜台300的尺寸而将在陈列架200和柜台300前面的区域分割成任意数目的区域。

图3是示出根据本发明的第一示例实施例的商品购买支持设备10的控制单元11的功能的框图。控制单元11包括作为算术单元的CPU(中央处理单元)(未示出)以及由ROM(只读存储器)和RAM(随机存取存储器)构成的存储设备120。CPU将本发明的存储在ROM中的程序加载到RAM中并且执行此程序。本发明的程序包括作为程序模块的动作检测单元111、特征数据生成单元112、表处理单元113和显示控制单元114。

动作检测单元111是基于从深度相机12输出的捕获图像和三维坐标信息来检测顾客在由区域1至4和结帐区域构成的被监视区域中的动作的程序模块。被监视区域能够由如图5所示的相对于深度相机12作为原点的三维坐标空间中的位置坐标(x,y,z)＝(-3～2,0～5,3～7)定义。动作检测单元111基于三维坐标信息标识待分析捕获图像，分析这个捕获图像，并且判断(1)在被监视区域中是否有顾客、(2)被监视区域中的顾客是否已进行商品选择动作或者(3)被监视区域中的顾客是否已移动。

在此示例实施例中，顾客指向商品的动作被采用为商品选择动作。商品选择动作的检测范围可以是由如图5所示的位置坐标(x,y,z)＝(-2～2,1～3,3～4)定义的范围。另外，针对每个商品对商品选择动作的检测范围进行分段。动作检测单元111基于三维坐标信息来标识在商品选择动作的检测范围内的捕获图像，并且分析这个捕获图像。当动作检测单元111检测到商品选择动作时，它标识由此顾客选择的商品并且生成与此商品有关的商品信息。

特征数据生成单元112是基于从深度相机12输出的捕获图像和三维坐标信息来生成被监视区域中的顾客的特征数据的程序模块。作为顾客的特征数据，例如能够使用标识顾客的信息，诸如上装和下装的颜色、性别、戴或不戴眼镜以及戴或不戴手表。特征数据生成单元112基于三维坐标信息来标识如图6所示的被监视区域中的捕获图像，分析这个捕获图像，并且针对每个区域生成顾客的特征数据。

表处理单元113是处理存储在存储设备120中的顾客信息管理表121、商品位置信息表122、商品信息表123和类似商品信息表124的程序模块。

顾客信息管理表121是如图10所示注册有作为顾客信息的顾客ID、特征数据，顾客所位于的区域(其在下文中被称为“所位于的区域”)的标识信息以及购买候选商品信息的数据表。在图10所示的顾客信息管理表1210中，注册了位于区域1中的顾客(顾客ID：G0001)选择商品A的情况下的信息。在示出为1211的顾客信息管理表中，注册了此顾客移动到区域2然后选择商品B并且另一顾客(顾客ID：G0002)在区域1中选择商品E的情况下的信息。注意，商品的数量的默认值在此示例实施例中是1。

商品位置信息表122是区域标识信息、商品名称和商品选择动作的检测范围如图11所示被彼此关联地注册的数据表。商品信息表123是商品名称、商品代码和商品图像的标识信息如图12所示被彼此关联地注册的数据表。类似商品信息表124是商品名称、与此商品类似的类似商品名称、类似商品的商品代码和类似商品图像的标识信息如图12所示被彼此关联地注册的数据表。

显示控制单元114是控制第一显示设备13和第二显示设备14的画面显示的程序模块。显示控制单元114分别在第一显示设备13的与图5所示的区域1至4相对应的画面区域131至134中的每一个上显示如图13所示的图像400至402。图像400是形成第一显示设备13的每个图像区域的初始画面的图像。图像401是当顾客选择商品A时显示的图像。图像402是当已选择商品A的顾客还选择商品F时显示的图像。注意，除了商品名称之外，还可以在图像400至402上显示由顾客选择的商品的数量或商品的图像。

另外，显示控制单元114在第二显示设备14上显示如图14所示的GUI画面500至502。GUI画面500是当顾客移动到结帐区域时在第二显示设备14上显示的第一GUI画面，并且在其中显示此顾客的购买候选商品信息。GUI画面501是当顾客已选择GUI画面500的“否”按钮时显示的第二GUI画面。GUI画面502是当此顾客已选择商品A作为顾客不期望购买的商品时显示的第三GUI画面。在GUI画面502上，与商品A类似的商品的名称“商品A’”作为不期望被购买的商品被显示，并且同样为商品A和商品A’中的每一个显示“取消”按钮和“确定”按钮。除了商品名称之外，还可以在GUI画面500至502上显示商品的图像。

图15是示出被显示在第二显示设备14上的第一GUI画面的另一示例的视图。在GUI画面600上，由顾客选择的商品的名称和数量被显示为商品信息，并且同样显示用于指定商品的数量的数字键区。此外，可以在GUI画面600上显示商品的图像。

在存储设备120中，存储了顾客信息管理表121、商品位置信息表122、商品信息表123、类似商品信息表124、商品的图像数据、形成第一显示设备13和第二显示设备14的显示画面的图像数据以及从深度相机12输出的捕获图像和三维坐标信息。当控制单元11从深度相机12接收捕获图像和三维坐标信息时，控制单元将它们存储到存储设备120中。存储设备120存储至少足够数目的捕获图像和三维坐标信息以检测顾客的动作。

图4是示出根据第一示例实施例的商品购买支持系统100的主要组件的框图。商品购买支持系统100包括商品购买支持设备10和POS终端设备20。商品购买支持设备10包括：包含动作检测单元111和显示控制单元114的控制单元11；深度相机12；第一显示设备13；和通信单元15，作为主要部件。

图7、图8和图9是示出由根据本发明的第一示例实施例的商品购买支持系统100进行的处理的流程图。根据图7所示的处理，当处理开始时，在步骤S101中，控制单元11的动作检测单元111从存储设备120获取捕获图像和三维坐标信息，并且基于捕获图像和三维坐标信息来判断在被监视区域中是否有顾客。具体而言，动作检测单元111基于三维坐标信息来标识被监视区域中的捕获图像，通过使用这个捕获图像和示出人的模板图像来进行图案匹配，从而检测捕获图像中的顾客。然后，动作检测单元111判断捕获图像中的顾客的位置坐标是否被包含在由已知位置坐标定义的被监视区域中。当在被监视区域中包含捕获图像中的顾客的位置坐标时，动作检测单元111能够判断在被监视区域中有顾客，而当在被监视区域中不包含捕获图像中的顾客的位置坐标时，动作检测单元111能够判断在被监视区域中没有顾客。

当在被监视区域中没有顾客(否)时，再次进行步骤S101的处理。另一方面，当在被监视区域中有顾客(是)时，处理进行到步骤S102。在步骤S102中，特征数据生成单元112基于在步骤S101中由动作检测单元111获取的捕获图像和三维坐标信息来生成被监视区域中的顾客的特征数据。在步骤S103中，动作检测单元111判断在被监视区域中是否有新顾客。具体而言，动作检测单元111引用顾客信息管理表121并且判断关于具有在步骤S102中生成的特征数据的顾客的信息是否被注册。当关于针对其生成了特征数据的所有顾客的信息被注册时，动作检测单元111能够判断在被监视区域中没有新顾客，而当关于针对其生成了特征数据的至少一个顾客的信息未被注册时，动作检测单元111能够判断在被监视区域中有新顾客。

当在被监视区域中没有新顾客(否)时，处理进行到步骤S105。另一方面，当在被监视区域中有新顾客(是)时，处理进行到步骤S104。在步骤S104中，表处理单元113创建此新顾客的顾客ID，并且将此顾客的顾客ID、特征数据和所位于的区域的标识信息注册到顾客信息管理表121中。

在步骤S105中，动作检测单元111从存储设备120获取捕获图像和三维坐标信息，并且基于捕获图像和三维坐标信息判断顾客是否已进行商品选择动作。具体而言，动作检测单元111基于三维坐标信息来标识动作检测范围内的捕获图像，通过使用这个捕获图像和示出人的手的模板图像来进行图案匹配，从而在捕获图像中检测到顾客的手。然后，动作检测单元111引用商品位置信息表122并且判断所检测到的顾客的手的位置坐标是否被包含在商品选择动作的任何检测范围内，并且从而能够判断顾客是否已进行商品选择动作。针对位于区域1至区域4中的所有顾客做出关于顾客是否已进行商品选择动作的判断。注意，可以通过使用与顾客的手不同的物体来判断顾客是否已进行商品选择动作。

当顾客尚未进行商品选择动作(否)时，处理进行到步骤S109。另一方面，当顾客已进行商品选择动作(是)时，处理进行到步骤S106。在步骤S106中，动作检测单元111标识由此顾客选择的商品并且生成此商品的购买候选商品信息。具体而言，动作检测单元111引用商品位置信息表122，标识包含此顾客的商品选择动作的位置坐标的商品选择动作的检测范围，并且标识与商品选择动作的此检测范围有关的商品名称。然后，动作检测单元111引用商品信息表123，标识与此商品名称有关的商品代码和图像数据的标识信息，并且使用商品名称、商品代码、商品的数量和图像数据的标识信息作为购买候选商品信息。

在步骤S107中，表处理单元113将这些购买候选商品信息注册到顾客信息管理表121中。在步骤S108中，显示控制单元114在第一显示设备13的与此顾客的所位于的区域相对应的画面区域上显示包含与此顾客有关的购买候选商品信息的图像。具体而言，区域1至4分别对应于第一显示设备13的画面区域131至134，并且包含与此顾客有关的购买候选商品信息的图像被显示在画面区域131至134中的与此顾客的所位于的区域相对应的一个画面区域上。

在步骤S109中，动作检测单元111从存储设备120获取捕获图像和三维坐标信息，并且基于捕获图像和三维坐标信息来判断被监视区域中的顾客是否已移出所位于的区域。具体而言，动作检测单元111基于三维坐标信息来标识动作检测范围内的捕获图像，通过使用这个捕获图像和示出人的模板图像来进行图案匹配，并且从而在捕获图像中检测到顾客。然后，动作检测单元111判断捕获图像中的顾客的位置坐标是否被包含在此顾客的由已知位置坐标定义的所位于的区域中，从而能够判断被监视区域中的顾客是否已移出所位于的区域。

当顾客尚未移出所位于的区域(否)时，处理返回到步骤S101。另一方面，当顾客已移出所位于的区域(是)时，处理进行到图8所示的步骤S110。在步骤S110中，动作检测单元111判断被监视区域中的顾客是否已移出被监视区域。具体而言，动作检测单元111判断在步骤S109中检测到的捕获图像中的顾客的位置坐标是否被包含在由已知位置坐标定义的被监视区域中。当捕获图像中的顾客的位置坐标未被包含在被监视区域中时，动作检测单元111能够判断顾客已移出被监视区域，而当捕获图像中的顾客的位置坐标被包含在被监视区域中时，动作检测单元111能够判断顾客尚未移出被监视区域。

当顾客已移出被监视区域(是)时，处理分支到步骤S111。在步骤S111中，第一显示设备13从顾客信息管理表121中删除关于已移出被监视区域的顾客的信息(顾客ID、特征数据、所位于区域的标识信息)，然后处理返回到步骤S101。

当在步骤S110中判断了顾客尚未移出被监视区域(否)时，处理分支到步骤S112。在步骤S112中，表处理单元113在顾客信息管理表121中将已移动到不同区域的顾客的所位于的区域的标识信息改变为顾客已移动到的当前所位于的区域的标识信息。在步骤S113中，表处理单元113引用顾客信息管理表121并且判断顾客是否已移动到结帐区域。具体而言，当被注册在顾客信息管理表121中的顾客的所位于的区域的标识信息是结帐区域的标识信息时，表处理单元113能够判断顾客已移动到结帐区域，而当顾客的所位于的区域的标识信息不是结帐区域的标识信息时，表处理单元113能够判断顾客尚未移动到结帐区域。

当顾客尚未移动到结帐区域(否)时，处理分支到步骤S115。在步骤S115中，显示控制单元114改变第一显示设备13的与此顾客已移动到的当前区域相对应的画面区域的图像以及第一显示设备13的与此顾客已从中移动的前一个区域相对应的画面区域的图像。具体而言，显示控制单元114将已被显示在第一显示设备13的与前一个区域相对应的画面区域上的图像显示在第一显示设备13的与当前区域相对应的画面区域上，而当其他顾客尚未移动到前一个区域时，也就是说，当在前一个区域中没有顾客时，将如图13所示的初始图像显示在第一显示设备13的与前一个区域相对应的画面区域上。另一方面，当另一顾客已移动到前一个区域时，以相同的方式显示与该另一顾客相对应的图像。对在区域1至区域4中发生顾客的移动的区域进行那些处理。当显示控制单元114改变显示在那些画面区域上的图像时，处理返回到步骤S101。

当在步骤S113中判断了顾客已移动到结帐区域(是)时，处理分支到步骤S114。在步骤S114中，激活图9所示的商品信息发送处理，并且处理然后返回到步骤S101。在多任务中进行图9所示的商品信息发送处理。在下文中描述图9所示的商品信息发送处理。在步骤S116中，显示控制单元114从顾客信息管理表121获取位于结帐区域中的顾客的购买候选商品信息，并且将包含此购买候选商品信息的第一GUI画面显示在第二显示设备14上。在步骤S117中，显示控制单元114判断用户是否已选择第一GUI画面上的按钮。具体而言，显示控制单元114判断是否从第二显示设备14接收到表示对按钮的选择的信息。当接收到表示对按钮的选择的信息时，显示控制单元114能够判断按钮被选择，而当未接收到表示对按钮的选择的信息时，显示控制单元114能够判断按钮未被选择。由用户选择的按钮的标识信息被添加到表示对按钮的选择的信息。

当第一GUI画面上的按钮未被选择(否)时，再次进行步骤S117的处理。另一方面，当第一GUI画面上的按钮被选择(是)时，处理进行到步骤S118。在步骤S118中，显示控制单元114基于从第二显示设备14接收到的按钮的标识信息来判断“是”按钮还是“否”按钮被选择。当“是”按钮被选择时，处理分支到步骤S119。在步骤S119中，显示控制单元114从顾客信息管理表121获取位于结帐区域中的顾客的购买候选商品信息，并且通过通信单元15将此购买候选商品信息作为顾客已确认要购买的商品信息发送到POS终端设备20。

另一方面，当在步骤S118中判断了“否”按钮被选择时，处理分支到步骤S120。在步骤S120中，显示控制单元114在第二显示设备14上显示第二GUI画面。在步骤S121中，显示控制单元114判断用户是否已选择第二GUI画面中的购买候选商品信息。具体而言，显示控制单元114判断是否从第二显示设备14接收到表示对购买候选商品信息的选择的信息。当接收到表示对购买候选商品信息的选择的信息时，显示控制单元114能够判断用户已选择购买候选商品信息，而当未接收到表示对购买候选商品信息的选择的信息时，显示控制单元114能够判断用户尚未选择购买候选商品信息。当第二GUI画面中的购买候选商品信息未被选择(否)时，再次进行步骤S121的处理。另一方面，当第二GUI画面中的购买候选商品信息被选择(是)时，处理进行到步骤S122。

在步骤S122中，显示控制单元114引用类似商品信息表124并且在第二显示设备14上显示第三GUI画面。在步骤S123中，显示控制单元114判断用户是否已选择第三GUI画面中的取消按钮和确定按钮。具体而言，显示控制单元114判断是否从第二显示设备14接收到表示对取消按钮和确定按钮的选择的信息。当接收到表示对取消按钮和确定按钮的选择的信息时，显示控制单元114能够判断用户已选择第三GUI画面中的取消按钮和确定按钮，而当未接收到表示对取消按钮和确定按钮的选择的信息时，显示控制单元114能够判断用户尚未选择第三GUI画面中的取消按钮和确定按钮。待取消商品的标识信息和确认商品的标识信息被添加到表示对取消按钮和确定按钮的选择的信息。

当取消按钮和确定按钮未被选择(否)时，再次进行步骤S123的处理。另一方面，当取消按钮和确定按钮被选择(是)时，处理进行到步骤S124。在步骤S124中，表处理单元113基于从第二显示设备14接收到的待取消商品的标识信息和确认商品的标识信息来更新顾客信息管理表121，并且处理返回到步骤S116。

第一示例实施例具有以下效果。具体地，商品购买支持设备10分析商品选择动作的检测范围内的捕获图像并且检测预定商品选择动作，从而标识由顾客选择的商品。然后，商品购买支持设备10生成购买候选商品信息并且将其发送到POS终端设备20。因此，工作人员不需要口头确认顾客期望购买的商品，这使结帐处理变得更高效。另外，顾客能够通过进行预定商品选择动作简单地选择商品，这提高顾客在购买商品时的便利性。

另外，商品购买支持设备10在第一显示设备13的与顾客的所位于的区域相对应的画面区域上显示包含与顾客有关的购买候选商品信息的图像。因此，顾客能够通过检查与他们自己的所位于的区域相对应的显示画面来容易地掌握由他们自己选择的商品，这提高顾客在购买商品时的便利性。另外，即使当多个顾客使用商品购买支持系统100时，这些顾客中的每一个还均能够检查由他们自己选择的商品，这提高顾客在购买商品时的便利性。

另外，商品购买支持设备10在第二显示设备14上显示包含位于结帐区域中的顾客的购买候选商品信息的GUI画面。因此，顾客能够在不用将期望商品口头告诉给工作人员的情况下通过使用上面显示有由他们自己选择的商品的购买候选商品信息的画面来确认对商品的购买，这提高顾客在购买商品时的便利性。

<第二示例实施例>

图16是示出根据本发明的第二示例实施例的商品购买支持系统700的配置的框图。商品购买支持系统700包括POS终端设备20、深度相机12、第一显示设备13和第二显示设备14。POS终端设备20包括被包含在根据第一示例实施例的商品购买支持设备10中的控制单元11，并且它能够通过通信电缆30进行与深度相机12、第一显示设备13和第二显示设备14的数据通信。在第二示例实施例中，POS终端设备20实现根据第一示例实施例的商品购买支持设备10的功能，这与第一示例实施例比较允许减少要安装在商店中的设备的数目并且还实现空间节省。

<第三示例实施例>

图17是示出根据本发明的第三示例实施例的商品购买支持系统800的配置的框图。商品购买支持系统800包括POS终端设备20、深度相机12和第一显示设备13。POS终端设备20包括被包括在根据第一示例实施例的商品购买支持设备10中的控制单元11和第二显示设备14，以及第三显示设备16，并且它能够通过通信电缆30进行与深度相机12和第一显示设备13的数据通信。第二显示设备14是用于顾客的显示设备，而第三显示设备16是用于工作人员的显示设备。控制单元11在第二显示设备14和第三显示设备16中的每一个上显示购买候选商品信息。在第三示例实施例中，POS终端设备20实现根据第一实施例的商品购买支持设备10的功能并且包括第二显示设备14，这与第一示例性实施例和第二示例性实施例比较允许减少要安装在商店中的设备的数目并且还实现空间节省。

<其他示例实施例>

在其他示例实施例中，动作检测单元111可以分析动作检测范围内的捕获图像并且对对相同商品进行商品选择动作的次数进行计数，然后基于商品选择动作被进行的次数来生成表示由顾客指定的商品的数量的信息作为商品信息中的一种。这允许顾客容易地指定商品的数量，从而提高顾客在购买商品时的便利性。

另外，在其他示例实施例中，动作检测单元111可以分析动作检测范围内的捕获图像并且标识在选择商品时使用的顾客的手指的数目，然后基于顾客的手指的数目生成表示由顾客指定的商品的数量的信息作为商品信息中的一种。这允许顾客容易地指定商品的数量，从而提高顾客在购买商品时的便利性。

另外，在其他示例实施例中，当多个(例如，两个)顾客位于区域1至4中的每个区域中时，可以针对顾客中的每个判断是否进行了商品选择动作，并且可以通过分割显示设备的与每个区域相对应的画面来显示关于每个顾客的信息。

在上述示例实施例中，包括在控制单元11中的CPU将作为程序模块的动作检测单元111、特征数据生成单元112、表处理单元113和显示控制单元114加载到RAM中并且执行它们。然而，在其他示例实施例中，可以将那些程序模块实现在逻辑电路中以执行上述处理。

在上述示例中，能够使用任何类型的非暂时性计算机可读介质来存储程序并且将它们提供给计算机。非暂时性计算机可读介质包括任何类型的有形存储介质。非暂时性计算机可读介质的示例包括磁存储介质(诸如软盘、磁带、硬盘驱动器等)、光磁存储介质(例如，磁光盘)、CD-ROM、CD-R、CD-R/W和半导体存储器(例如，掩模ROM、PROM(可编程ROM)、EPROM(可擦除PROM)、闪速ROM、RAM等)。可以使用任何类型的暂时性计算机可读介质来将程序提供给计算机。暂时性计算机可读介质的示例包括电信号、光信号和电磁波。暂时性计算机可读介质能够经由诸如电线和光纤的有线通信线或无线通信线将程序提供给计算机。

本发明不限于上述示例实施例并且能够在不脱离本公开的精神和范围的情况下被酌情修改。

虽然已参考本发明的示例实施例特别示出并且描述了本发明，但是本发明不限于这些示例实施例。本领域的普通技术人员应理解，在不脱离如由权利要求所限定的本发明的精神和范围的情况下，可以在其中做出形式和细节上的各种变化。

本申请基于并且要求于2018年10月16日提交的日本专利申请No.2018-194909的优先权的权益，该申请的公开内容通过引用整体地并入本文。

附图标记列表

10 商品购买支持设备

11 控制单元

12 深度相机

13 第一显示设备

14 第二显示设备

15 通信单元

20 POS终端设备

30、40 通信电缆

100 商品购买支持系统

200 陈列架

300 柜台

Claims (10)

1.一种商品购买支持系统，包括：

深度相机，所述深度相机被安装在商品的陈列架上或者被安装为接近所述陈列架，并且生成要被捕获的区域的捕获图像以及所述捕获图像中所包含的物体的三维坐标信息；

商品购买支持设备，所述商品购买支持设备包括被配置成显示与商品有关的信息的第一显示设备；以及

POS终端设备，所述POS终端设备被配置成进行针对商品的结帐处理，其中，

所述商品购买支持设备包括：

动作检测装置，所述动作检测装置用于基于从所述深度相机输出的所述捕获图像和三维坐标信息来检测顾客的动作，

显示控制装置，所述显示控制装置用于控制所述第一显示设备，以及

通信装置，所述通信装置用于进行与所述POS终端设备的数据通信，

其中，

所述动作检测装置标识在由所述顾客选择商品的商品选择动作的检测范围内的所述捕获图像，基于所标识的所述捕获图像中的所述顾客的位置坐标来标识由所述顾客选择的商品，并且生成与由所述顾客选择的所述商品有关的商品信息，

所述显示控制装置将所述商品信息显示在所述第一显示设备上，并且

所述通信装置将所述商品信息输出到所述POS终端设备。

2.根据权利要求1所述的商品购买支持系统，还包括：

第二显示设备，所述第二显示设备被配置成能够接收来自所述顾客的指令，

其中，

所述显示控制装置将所述商品信息显示在所述第二显示设备上，并且

当所述顾客通过使用所述第二显示设备来指示对商品的购买时，所述通信装置将所述商品信息输出到所述POS终端设备。

3.根据权利要求1或2所述的商品购买支持系统，其中，

所述显示控制装置将多个顾客的商品信息分别显示在所述第一显示设备中的与所述多个顾客的位置相对应的不同的画面区域上。

4.根据权利要求1或2所述的商品购买支持系统，其中，

所述动作检测装置基于对相同商品进行所述商品选择动作的次数，来生成表示由所述顾客指定的商品的数量的信息作为所述商品信息的一项。

5.根据权利要求1或2所述的商品购买支持系统，其中，

所述动作检测装置基于在选择商品时使用的所述顾客的手指的数目，来生成表示由所述顾客指定的商品的数量的信息作为所述商品信息的一项。

6.一种商品购买支持设备，包括：

深度相机，所述深度相机被安装在商品的陈列架上或者被安装为接近所述陈列架，并且生成要被捕获的区域的捕获图像以及所述捕获图像中所包含的物体的三维坐标信息；

显示设备，所述显示设备被配置成显示与商品有关的信息；

动作检测装置，所述动作检测装置用于基于从所述深度相机输出的捕获图像和三维坐标信息来检测顾客的动作；

显示控制装置，所述显示控制装置用于控制所述显示设备；以及

通信装置，所述通信装置用于进行与外部设备的数据通信，

其中，

所述动作检测装置标识由所述顾客选择商品的商品选择动作的检测范围内的所述捕获图像，基于所标识的所述捕获图像中的所述顾客的位置坐标来标识由所述顾客选择的商品，并且生成与由所述顾客选择的所述商品有关的商品信息，

所述显示控制装置将所述商品信息显示在所述显示设备上，并且

所述通信装置将所述商品信息输出到所述外部设备。

7.一种POS终端设备，包括：

动作检测装置，所述动作检测装置用于基于从深度相机输出的要被捕获的区域的捕获图像和在所述捕获图像中所包含的物体的三维坐标信息来检测顾客的动作，所述深度相机被安装在商品的陈列架上或者被安装为接近所述陈列架；

显示控制装置，所述显示控制装置用于控制被配置成显示与商品有关的信息的第一显示设备和被配置成能够接收来自顾客的指令的第二显示设备；以及

结帐处理装置，所述结帐处理装置被配置成进行针对商品的结帐处理，

其中，

所述动作检测装置标识由所述顾客选择商品的商品选择动作的检测范围内的所述捕获图像，基于所标识的所述捕获图像中的所述顾客的位置坐标来标识由所述顾客选择的商品，并且生成与由所述顾客选择的所述商品有关的商品信息，

所述显示控制装置将所述商品信息显示在所述第一显示设备和所述第二显示设备上，并且

所述结帐处理装置基于所述商品信息来进行针对商品的结帐处理。

8.根据权利要求7所述的POS终端设备，其中，

所述第二显示设备是外部设备。

9.一种商品购买支持方法，包括：

基于从被安装在商品的陈列架上或者被安装为接近所述陈列架的深度相机输出的捕获图像和三维坐标信息来检测顾客的动作，并且生成要被捕获的区域的捕获图像以及所述捕获图像中所包含的物体的三维坐标信息；

标识由顾客选择商品的商品选择动作的检测范围内的所述捕获图像，基于所标识的所述捕获图像中的所述顾客的位置坐标来标识由所述顾客选择的商品，并且生成与由所述顾客选择的所述商品有关的商品信息；

将所述商品信息显示在显示设备上；并且

将所述商品信息输出到外部设备。

10.一种非暂时性计算机可读介质，其使计算机执行：

基于从被安装在商品的陈列架上或者被安装为接近所述陈列架的深度相机输出的捕获图像和三维坐标信息来检测顾客的动作的处理，并且生成要被捕获的区域的捕获图像以及所述捕获图像中所包含的物体的三维坐标信息；

标识由顾客选择商品的商品选择动作的检测范围内的所述捕获图像、基于所标识的所述捕获图像中的所述顾客的位置坐标来标识由所述顾客选择的商品、并且生成与由所述顾客选择的所述商品有关的商品信息的处理；

将所述商品信息显示在显示设备上的处理；并且

将所述商品信息输出到外部设备的处理。

Images