CN108629573A - 一种智能自助购物方法及系统 - Google Patents

Abstract

本发明提出一种智能自助购物方法，包括：步骤S1，采集消费者的生物特征信息；步骤S2，对比所述生物特征信息与预存生物特征信息之间的差异，以判断消费者是否已经注册了购物账户；步骤S3，如果已经注册了购物账户，则允许该消费者进入购物区域；步骤S4，实时获取消费者的购物车内商品的基本信息并生成购物清单；步骤S5，检测到消费者离开购物区，确认消费者的身份及购物账户信息；步骤S6，将结算请求发送至消费者的远程移动终端，并检测是否支付成功；步骤S7，当检测到支付成功后，允许消费者离开，并自动更新预存的商品库存数据。本发明的智能自助购物方法及系统，能够快速完成商品的结算，一定程度提升了消费者的购物体验。

Description

一种智能自助购物方法及系统

技术领域

本发明涉及生物特征识别领域，尤其涉及一种智能自助购物方法及系统。

背景技术

随着互联网电商及物流行业的发展，传统线下零售行业受到了前所未有的冲击，普遍萎靡不振。经研究发现，导致传统线下零售行业萎靡的主要原因包括：一、经营成本日益攀升；二、消费者的用户体验糟糕；三、同行恶性竞争等。其中，人工成本、维护成本占据了传统线下零售行业经营成本的主要部分。面对日益飙升的人工成本及维护成本，市面上逐渐出现一些自助售卖机、“无人超市”等新模式的零售产业。这些新模式的零售产业一般以云计算、物联网、移动支付、大数据等技术作为依托，采用无人值守的销售模式，以最大限度地降低人工成本、维护成本以及提升消费者的用户体验。

现有技术方案中，新模式的零售产业，例如“无人超市”，一般包括：生物特征信息采集/识别模块、门禁设备控制模块、结算模块以及支付模块。其中，生物特征信息采集/识别模块，用于采集消费者的特征信息，以便绑定/验证消费者的账户信息；门禁设备控制模块，用于开启/关闭无人超市的出入通道；结算模块，通过RFID等技术识别消费者选购的商品信息以及结算商品的总金额；支付模块，用于付款/缴费。

现有技术方案中的“无人超市”虽然能够基本实现消费者的自助购物功能，但也存在着一系列的局限性。比如，现有技术方案中，生物特征信息采集/识别模块一般只能够采集/识别一个人的生物特征信息，不完全符合线下零售交易的实际情况。因为消费者有可能会携带朋友或家属一同购物，严重影响了消费者的购物体验。再比如，现有技术方案中，结算模块一般需要等待消费者离开购物区时，才开始检测贴在商品表面的RFID电子标签，以获取选购商品的信息及结算选购商品的总金额。因此，现有技术方案中的“无人超市”，还无法真正地为消费者提供“拿了就走”的购物体验；另外，用于标识商品信息的RFID电子标签，其制作成本高昂，容易损毁或被干扰，并不适用于金属等某些特殊商品的标识。

除此之外，还需要考虑的是，可能存在部分素质低下的消费者，会故意撕毁贴在商品表面的RFID电子标签，直接蒙蔽结算模块以求达到“逃单”的目的。总而言之，现有技术方案中的“无人超市”还需要进一步完善。

以上背景技术内容的公开仅用于辅助理解本发明的发明构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。

发明内容

本发明的目的是为了解决现有技术中的上述问题，提出一种智能自助购物方法及系统。

本发明的智能自助购物方法，包括：步骤S1，在进入通道区域采集消费者的全部或者部分生物特征信息；步骤S2，对比所采集的生物特征信息与预存生物特征信息之间的差异，以认证消费者的身份及判断消费者是否已经注册了购物账户；步骤S3，如果消费者已经注册了购物账户，则允许该消费者进入购物区域；步骤S4，实时获取消费者的购物车内商品的基本信息并生成购物清单；步骤S5，检测到消费者离开购物区，确认消费者的身份信息及购物账户信息；步骤S6，将结算请求发送至消费者的远程移动终端，并检测消费者是否支付成功；步骤S7，当检测到消费者支付成功后，允许消费者离开“无人超市”，并自动更新预存的商品库存数据。

在优选的实施方式中，所述步骤S4通过在所述购物车上设置深度相机来实时获取消费者的购物车内商品的基本信息，所述商品的基本信息包括商品的图像信息和数量信息。

在优选的实施方式中，在所述步骤S3之后还包括：步骤S31，实时获取智能货架上商品的基本信息以及消费者的行为信息；步骤S32，判断消费者是否将商品加入所述购物车。

在优选的实施方式中，所述步骤S31通过设置在智能货架上的深度相机实时获取智能货架上商品的基本信息以及消费者的行为信息，所述商品的基本信息包括商品的图像信息和数量信息，所述消费者的行为信息包括消费者的人脸三维信息、手部位置的变化。在更优选的实施方式中，所述步骤S4还包括，通过相关图像特征提取算法匹配所述智能货架上深度相机所捕捉到的商品图像与所述购物车上深度相机所捕捉到的商品图像，确定商品的基本信息以及判断消费者是否成功将商品添加至所述购物车内。

在优选的实施方式中，在所述步骤S32之后还包括：当检测到消费者没有将商品加入所述购物车时，判断所述消费者是否将所述商品放回所述智能货架；如果检测到所述商品没有被放回到所述智能货架上，则将所述商品的信息录入虚拟备忘购物车中。

在优选的实施方式中，在所述步骤S5之后还包括判断所述虚拟备忘购物车中是否存在商品信息，当存在商品信息时，提醒消费者使其确认所述虚拟备忘购物车中的商品信息，并更新购物清单。

在优选的实施方式中，在所述步骤S2之后还包括：如果消费者没有注册购物账户，则需要采集消费者的生物特征、绑定消费者的支付账户并生成消费者的购物账户。

在优选的实施方式中，在所述步骤S1之前还包括：在所述进入通道区域检测消费者的人数，当存在多个消费者时，采集所有消费者的生物特征信息，并选择绑定其中一个消费者的支付账户，创建团体购物账户。

本发明还提出一种智能自助购物系统，包括：生物特征采集和/或识别模块，用于采集消费者的全部或部分生物特征信息，以认证或识别消费者的身份信息；门禁设备控制模块，用于允许或禁止消费者进入/离开；购物车模块，用于采集购物车内的商品信息，并将其传输至后台处理模块；通讯模块，用于发射或接收信号；所述后台处理模块，用于控制上述各个模块工作，并接收、处理上述各个模块生成的数据信息，以使所述智能自助购物系统执行上面任一所述的智能自助购物方法。

与现有技术相比，本发明的有益效果有：

本发明的智能自助购物方法及系统，能够实现消费者生物特征的识别、商品信息的跟踪等功能，即使在无人值守的情况下，消费者也能够自助完成商品选购、结账、离店等流程，一方面，最大限度的减少人工的干预，节约了人工成本；另一方面，通过实时获取消费者的购物车内商品的基本信息并生成购物清单，无需在结算时才开始检测贴在商品表面的RFID电子标签，能够快速完成商品的结算，一定程度提升了消费者的购物体验和降低了超市的管理成本，符合新型零售行业的发展趋势。

附图说明

图1是本发明一个实施例中智能自助购物方法的流程示意图。

图2是本发明另一个实施例中智能自助购物方法的流程示意图。

图3是本发明另一个实施例中智能自助购物方法的流程示意图。

图4是本发明另一个实施例中智能自助购物方法的流程示意图。

图5是本发明另一个实施例中智能自助购物方法的流程示意图。

图6是本发明一个实施例中智能自助购物系统的内部结构示意图。

图7是本发明另一个实施例中智能自助购物系统的内部结构示意图。

具体实施方式

下面结合具体实施方式并对照附图对本发明做进一步详细说明。其中相同的附图标记表示相同的部件，除非另外特别说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。

为使本发明实施例的目的，技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。应当理解的是，所述实施例仅仅是本发明的一部分实施例，而不是全部实施例，不能理解为对本发明的限制。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应该属于本发明保护的范围。

需要说明的是，本发明实施例中所含盖的功能模块，可以根据需要，通过现有技术中的一种或多种编程语言实现。对于公知的编程原理和软件构成，下文虽然不作详细阐述，但应属于本发明技术方案的一部分。

图1是根据本发明第一实施例的一种智能自助购物方法流程图。该实施例中，智能自助购物的实现方法包括：

步骤S101，在进入通道区域采集消费者的全部或者部分生物特征信息。具体地，在“无人超市”进入通道区域，设置生物特征采集模块，以获取消费者的全部或部分生物特征信息。更具体地，所述生物特征信息可以包括：指纹特征信息、掌纹特征信息、人脸特征信息、虹膜特征信息、视网膜特征信息、脉搏特征信息、耳廓特征信息、声音特征信息中的任意一种或多种组合。一种实施方式中，生物特征采集模块，通过深度相机获取消费者的人脸图像，并借助处理器及相关图像处理算法(比如，三角测量算法等)重建消费者的人脸三维图像。

步骤S102，对比所采集的生物特征信息与预存生物特征信息之间的差异，以认证消费者的身份及判断消费者是否已经注册了购物账户。具体地，通过生物特征识别模块对比所采集的生物特征信息与预存生物特征信息之间的差异，认证消费者的身份及判断消费者是否已经注册了购物账户。更具体地，一种实施方式中，生物特征识别模块通过调用指令及相关图像特征提取算法(比如，图像层叠算法、特征点提取算法)对比生物特征采集模块所获取的人脸三维图像与预存于储存器中的人脸三维图像之间的差异，快速且高精度地完成消费者的身份及购物账户的验证。在一些其他实施方式中，生物特征识别模块集成于后台处理模块中，生物特征采集模块将所采集的消费者信息传输至后台处理模块中，以便后台处理模块完成消费者身份及购物账户的验证。当消费者的身份及购物账户通过验证时，生物特征识别模块通过有线或无线通讯设备将验证信息反馈至门禁设备控制模块，并进入下一步骤；反之，结束消费者的生物特征识别并提示消费者身份、购物账户验证失败。

步骤S103，如果消费者已经注册了购物账户，则允许该消费者进入购物区域。具体地，门禁设备控制模块接收到生物特征识别模块的验证信息后，如果消费者已经注册了购物账户，则开启“无人超市”通道门闸，允许消费者进入购物区域。一种实施方式中，所述门闸设置有一个或多个人体红外线感应器，当消费者通过门闸后自动关闭门闸，以防止其他未经身份及购物账户验证的消费者尾随进入购物区域。

步骤S104，实时获取消费者的购物车内商品信息并生成购物清单。具体地，购物车上设置有深度相机，所述深度相机用于获取添加至购物车内商品的基本信息(比如，商品的图像信息、种类信息、数量信息等)；无线通讯设备将所述商品信息发送至后台处理模块中，以便后台处理模块实时将消费者所选购的商品信息录入虚拟购物车中，并生成购物清单。在一种实施方式中，购物车上不同的位置和角度上设置有多个深度相机，用于从不同的角度获取购物车内商品的基本信息，以提高所获取商品信息的准确度。可以理解的是，所述虚拟购物车为后台的应用程序或者移动终端的APP应用程序，类似于网络购物存放虚拟商品的购物车；区别在于，该虚拟购物车对应于消费者所使用的实体购物车，当消费者在实体购物车上添加实体商品时，后台处理模块将所述实体商品的信息同步添加至虚拟购物车中。需要理解的是，所述购物清单可根据虚拟购物车添加的商品信息动态更新，即虚拟购物车每添加一件商品，更新一遍购物清单。在一种实施方式中，在购物车的车把手的位置设置指纹获取装置，用于获取消费者的指纹信息，从而将该购物车与该消费者绑定在一起，当消费者在购物的过程中推错购物车时，指纹匹配不上，购物车就发出提醒信号，一定程度也可以解决消费者在购物的过程中推错购物车的问题。

步骤S105，检测到消费者离开购物区，确认消费者的身份信息及购物账户信息。具体地，在“无人超市”的离开通道前方设置有深度相机或者还包括人体红外线感应器，用检测消费者是否离开购物区，以及确认消费者的身份信息、购物账户信息。一种实施方式中，在离开通道门闸前方一定距离处，设置离开标识线、人体红外线感应器及深度相机；当人体红外线感应器感应到消费者时，开启深度相机以获取消费者的人脸信息，确认消费者的身份以及购物账户

步骤S106，将结算请求发送至消费者的远程移动终端，并检测消费者是否支付成功。具体地，后台处理模块通过射频通讯设备将购物清单、结算请求发送至消费者的远程移动终端中(比如，智能手机)，以便消费者支付商品的总金额。一种实施方式中，消费者通过可通过网上支付(比如，微信支付、支付宝支付、扫码支付、银联支付等)完成商品的结算；后台处理模块接收到结算完成信息后，开启离开通道的门闸，以便消费者离开“无人超市”。在一些等效实施方式中，消费者的购物账户可以绑定银行卡或支付宝的免密支付功能，当消费者离开购物区后，后台结算平台自动完成商品总金额的结算，并通过后台处理模块开启离开通道的门闸，以便消费者离开“无人超市”。

步骤S107，当检测到消费者支付成功后，允许消费者离开“无人超市”，并自动更新预存的商品库存数据。一种实施方式中，后台处理模块通过逻辑运算/程序将预存的商品库存数据减去消费者所选购商品数据，获得当前“无人超市”内商品的库存数据，并将当前库存数据作为总的预存库存数据。

相对于现有技术而言，本实施例基于深度相机等设备实现消费者生物特征的识别、商品信息的跟踪等功能，即使在无人值守的情况下，消费者也能够自助完成商品选购、结账、离店等流程。该实施例的有益效果：一方面，最大限度的减少人工的干预，节约了人工成本；另一方面，通过购物车深度相机获取商品的图像特征信息，实现对消费者所选购商品的信息识别以及生成购物清单，无需使用RFID电子标签也能快速完成商品的结算，一定程度提升了消费者的购物体验和降低了超市的管理成本。可见，本实施例中的智能自助购物方法，具有更低的人工成本、管理成本以及更佳的购物体验，符合新型零售行业的发展趋势。

为了更精确地跟踪、识别消费者所选购商品的信息，以生成更准确的购物清单，在第一实施例的基础上，做了进一步的完善，具体如图2所示，图2是根据本发明第二实施例的一种智能自助购物方法流程图，具体步骤如下：

步骤S201至步骤S203为消费者进入“无人超市”的身份、购物账户验证流程，与图1所示第一实施例的步骤S101至步骤S103类似，此处不再重复赘述。区别在于，添加步骤S204和步骤S205，在步骤S204中，实时获取货架上商品的基本信息以及消费者的行为信息。具体地，智能货架上设置有一个或多个深度相机或者还包括RGB相机，所述深度相机用于实时追踪/获取货架上商品的基本信息以及消费者的行为信息(体态信息)。更具体地，在一种实施方式中，消费者进入购物区域后，消费者选择购物车并在智能货架上自助挑选所需的商品，此过程与传统购物超市没有差异，不同之处在于没有导购员或值守的工作人员，智能货架上的深度相机通过连续采集投影在货架商品表面的红外散斑光图像，并将所获取的散斑图像传输至后台处理模块中；处理模块通过相关图像处理算法重构货架上商品三维信息，以实现商品的类别信息、数量信息、单价信息，或者还包括商品颜色信息的识别及追踪。当消费者停留在智能货架前挑选商品时，设置在货架上的深度相机可以通过类似追踪商品信息的方案，获取消费者的人脸三维信息和消费者的人体骨架信息，以实现消费者行为动作的实时追踪。在一些其他等效的实施方式中，设置在智能货架上的深度相机可以同时追踪消费者的人脸三维信息、手部位置的变化以及货架上的商品数量变化，以确定消费者是否从货架上拿走了商品，是哪位消费者拿走了何种商品(商品的单价)，拿走了多少件商品等。

步骤S205，判断消费者是否将商品加入购物车。具体地，设置在智能货架上深度相机通过跟踪消费者的手部动作及其活动区间，判断消费者是否将商品放入购物车内。更具体地，一种实施方式中，智能货架深度相机通过追踪消费者一系列连贯动作，比如拿起商品、移动商品、放下商品等行为动作，判断消费者是否将商品放进购物车或者放回货架上。当消费者将商品放回货架时，返回步骤S204，智能货架上的深度相机继续保持消费者行为动作的跟踪或者商品的跟踪；当消费者将商品放入购物车时，进入步骤S206。

步骤S206，实时获取消费者的购物车内商品信息并生成购物清单。此步骤与图1所示第一实施例的步骤S104类似，区别在于，在本实施例中，后台处理模块通过相关图像特征提取算法匹配智能货架深度相机所捕捉到的商品图像与购物车深度相机所捕捉到的商品图像，确定商品的基本信息(包括商品全部或部分三维信息、颜色信息、数量信息、单价信息等)以及判断消费者是否成功将商品添加至实体购物车内。当所述匹配的商品图像具有全部或部分相同的特征时，后台处理模块认定消费者成功将商品添加至实体购物车内，并将该商品的基本信息同步添加至虚拟购物车内，生成购物清单，如此能够更加精确地识别消费者所选购的商品信息并生成更准确的购物清单。

步骤S207至步骤S209为检测消费者离开购物区域、商品金额结算及更新预存的库存数据步骤，其具体过程类似于图1所示第一实施例中步骤S105至步骤S107，此处不作重复赘述。

相比于图1所示第一实施例的智能自助购物方法，该实施例增加了对智能货架商品信息的跟踪步骤，并通过后台处理模块匹配智能货架深度相机、购物车深度相机所获取商品图像的特征信息，实现更精确地跟踪、识别消费者所选购商品的信息，以生成更准确的购物清单。

图3是根据本发明第三实施例的一种智能自助购物方法流程图。考虑到存在部分消费者，可能忘记或者刻意不将商品添加至购物车内，而导致后台处理器生成购物清单信息不准确的情况，在第二实施例的基础上，做了进一步的完善，具体步骤如下：

步骤S301至步骤S303为消费者进入“无人超市”的身份、购物账户验证流程，与图2所示第二实施例的步骤S201至步骤S203类似，此处不再重复赘述。

步骤S304至步骤S307为消费者自助选购商品的流程，与第二实施例步骤S204至步骤S207基本类似，此处不再重复赘述。区别在于，添加步骤S308，当检测到消费者没有将商品加入购物车时，进入步骤S308，判断消费者是否将商品放回货架，具体地，智能货架深度相机通过连续采集消费者手部图像或智能货架上的商品图像，跟踪消费者的手部运动信息或商品信息，以判断消费者是否将未添加至购物车内的商品放回智能货架上。一种实施方式中，深度相机分别在消费者进入、离开智能货架时，采集至少一张该智能货架的商品深度图像或者还包括彩色图像并传递至后台处理模块中；后台处理模块通过图像比对算法匹配所述商品深度图来判断消费者是否将商品放回货架。在一些等效的实施方式中，也可以在智能货架上设置重力传感器，通过感测货架上商品重力的变化判断消费者是否将商品放回货架。如果消费者将商品放回货架上，则返回步骤S304；反之，进入下一步骤S309。

步骤S309，针对消费者既不将商品添加至购物车，又不将商品放回智能货架的情况，后台处理器自动将该商品信息录入虚拟备忘购物车中。所述虚拟备忘购物车对应于消费者的购物账户，作为后台应用程序的一部分，类似于网络购物临时存放虚拟商品的购物车。一种实施方式中，后台处理模块将商品信息寄存在消费者购物账户所对应的特定存储区间内，通过特定的访问程序录入或读取。

当设置在离开通道前方的深度相机或人体红外线感应器检测到消费者离开购物区域时，后台处理模块执行步骤310，通过特定访问程序读取消费者购物账户的备忘购物车，以判断消费者是否存在未添加至购物车内的遗忘商品。当消费者购物账户备忘购物车内存在商品信息时，后台处理模块执行步骤S311及步骤S312，一种实施方式中，后台处理模块通过语音提醒消费者使其确认未添加至购物车内的遗忘商品信息(步骤S311)，并更新购物清单(步骤S312)。在其他的一些等效实施方式中，后台处理模块可以通过显示设备或无线通讯设备，提醒消费者核对选购商品的信息，并更新购物清单，以便执行商品结算步骤。当消费者购物账户备忘购物车内不存在商品信息时，直接进入商品金额结算步骤。

步骤S313与步骤S314为商品金额结算步骤，其具体过程类似于图2所示第二实施例中步骤S208与步骤S209，此处不作重复赘述。

相比于第二实施例的智能自助购物方法，该实施例增加了对智能货架商品信息的跟踪步骤，尤其是针对消费者未添加至购物车内的商品的跟踪，以进一步确定消费者是否将商品归还到智能货架上，使得该智能自助购物方法具有更好的防窃取功能。

图4是根据本发明第四实施例的一种智能自助购物方法流程图。考虑到存在新增消费者第一次进入“无人超市”进行购物的情况，在图3所示第三实施例的基础上，做了进一步完善，具体步骤如下：

步骤S401至步骤S402，类似于图3所示第三实施例的步骤S301至步骤S302，用于消费者的生物特征获取、识别，以实现消费者身份信息、购物账户信息的验证，此处不做重复赘述。区别在于，增设步骤S403至步骤S405，以便消费者能够在注册/创建购物账户后，顺利进入“无人超市”购物。

步骤S403，采集消费者的生物特征。具体地，针对未通过生物特征验证的新增消费者，后台处理模块通过语音设备或者显示设备提醒消费者进行身份信息认证以及支付账户绑定，以完成购物账户的注册。一种实施方式中，消费者通过可触控显示设备确认执行生物特征信息采集及支付账户绑定；在其他的一些等效实施方式中，消费者也可以通过使用移动终端扫描二维码的方式，确认执行生物特征信息采集及支付账户绑定。

步骤S404，绑定消费者的支付账户。具体地，通过生物特征采集模块中的深度相机或者指纹识别装置或者虹膜信息采集装置等设备采集消费者的一种或多种生物特征信息，并存储在非易失性存储介质中。一种实施方式中，生物特征采集模块通过深度相机获取消费者的人脸图像，并传输至后台处理模块中；后台处理模块通过相关图像处理算法重构消费者人脸的三维信息及特征器官信息，并保存在存储器中，以实现新增消费者生物特征信息的采集。需要理解的是，在深度相机采集消费者人脸图像的过程中，后台处理模块可以通过显示设备或语音设备提醒消费者摘到眼镜、帽子等非必要装饰品，以提高生物特征采集模块对消费者生物特征信息采集的准确度。此外，为了能够尽可能多地采集到消费者的人脸信息，后台处理模块还可以提醒消费者执行旋转脸部、眨动眼睛等行为动作，以便深度相机获取消费者更多的人脸图像信息，提升生物特征采集模块的可靠性。在其他的一些实施方式中，生物特征采集模块也可以通过掌纹采集装备，采集消费者的掌纹信息，并保持在存储器中，以便后期生物特征识别模块或后台处理模块对消费者的生物特征信息进行识别、验证。

步骤S405，生成消费者的购物账户。具体地，完成新增消费者生物特征信息采集后，后台处理模块通过显示设备或语音设备提醒消费者绑定支付账户，以创建消费者的购物账户。一种实施方式中，消费者可以通过使用移动终端扫描显示设备所显示的二维码，实现消费者支付账户的捆绑。在一些等效的实施方式中，消费者也可以通过可触控显示设备等人机交互设备，自助输入已有的移动支付账户，实现支付账户的授权及绑定。可以理解的，消费者所捆绑的支付方式包括但不仅限于：支付宝平台、微信平台、银行卡/信用卡等。当消费者完成支付账户捆绑后，后台处理模块为消费者创建购物账户，并允许消费者进入购物区域。应当理解的是，消费者购物账户必须同时关联消费者的生物特征信息及支付账户。

步骤S406至步骤S417为消费者进入购物区域、选购商品、结算商品金额及离开“无人超市”的过程，与图3所示第三实施例步骤S303至步骤S314基本相似，此处不做重复赘述。

相比于图3所示第三实施例的智能自助购物方法，该实施例于增加了对新增消费者的生物特征采集、支付账户捆绑及购物账户创建的步骤，使得新增消费者在购物账户创建后也可以进入“无人超市”自助选购商品，更符合线下零售行业的实际情况。

图5是根据本发明第五实施例的一种智能自助购物方法流程图。考虑到存在部分消费者可能携带家属、朋友一起进入“无人超市”进行购物的情况，在第三实施例的基础上，做了进一步完善，具体步骤如下：

步骤S501，在“无人超市”进入通道区域，设置消费者数量检测装置，以收集进入该区域的消费者人数，并反馈给后台处理器。一种实施方式中，在通道两侧设置一个或多个人体红外感应器，以统计进入该通道内的消费者数量。在一些其他等效实施方式中，也可以直接利用深度相机或者RGB相机，获取通道内的人脸图像、人体图像，并传输至后台处理模块中，以统计进入该通道内的消费者数量。

步骤S502，后台处理模块判断通道内消费者的人数；当通道区域内有且仅有一个消费者时，执行步骤S507；当通道区域内存在多个消费者时，执行步骤S503。

步骤S503，通过生物特征采集模块获取当前通道区域内，全部消费者的生物特征信息。一种实施方式中，生物特征采集模块通过深度相机采集当前通道区域内全部消费者的人脸图像，并发送至后台处理器中；后台处理模块通过相关图像特征提取算法，分别获取每一个消费者的人脸特征信息并保存在存储器中。

步骤S504，后台处理模块通过显示设备或语音设备提醒消费者指定某一个消费者作为购物信息的捆绑人。一种实施方式中，后台处理模块通过可触摸交互显示屏幕输出通道区域内所有消费者的人脸图像；消费者可以根据所输出的人脸图像，自助选择某一个特定的消费者人脸图像作为购物信息的捆绑人。在其他的一些实施方式中，后台处理模块也可以通过显示设备或语音设备提醒具有意向当选购物信息捆绑人的消费者重新采集一遍人脸图像信息，以实现购物信息与消费者的捆绑。

步骤S505，后台处理模块通过显示设备或语音设备提醒捆绑了购物信息的特定消费者，绑定个人支付账户，以创建团体购物账户。具体过程与图4所示第四实施例中步骤S404、步骤S405类似，此处不作重复赘述。

步骤S506至步骤S510为单个消费者特征信息识别、新增消费者购物账户注册的过程，与图4所示第四实施例步骤S401至步骤S405类似，此处不再重复赘述。

步骤S511至步骤S522为消费者进入“无人超市”、选购商品、结算商品金额、离开“无人超市”以及更新库存数据的过程，与图4所示第四实施例步骤S406至步骤S417基本类似，区别在于，当多个消费者共同进入购物超市时，设置在智能货架上的深度相机需要同时追踪进入购物区域的多个消费者的人脸三维信息、体态信息及商品信息，以及判断多个消费者是否将所选购的商品添加至同一个购物车内或者放回智能货架。此外还需要理解的是，设置在离开通道的人体红外感应器或深度相机需要确认共同进入的多个消费者都离开购物区域后，才检测备忘购物车内是否存在其他未添加至购物车内的商品信息，以便后台更新结账清单及消费者支付商品的金额。

相比于图4所示第四实施例的智能自助购物方法，该实施例添加了识别多个消费者生物特征信息的功能，以及筛选特定消费者进行支付账户捆绑、购物账户捆绑等步骤；该实施例支持由多个消费者组成的消费者团体同时进入“无人超市”选购商品，更符合线下零售产业的实际情况。

图6是根据本发明实施例的智能自助购物系统内部结构示意图。该智能自助购物系统包括：后台处理模块601、生物特征采集和/或识别模块602、门禁设备控制模块603、购物车模块604以及通讯模块605，其中，生物特征采集和/或识别模块602、门禁设备控制模块603、购物车模块604以及通讯模块605均与后台处理模块601交互连接。

其中，后台处理模块601包括处理器、存储器、供电设备等软硬设备(图中未示出)，用于控制各个模块并接收、处理各个模块生成的数据/信息，以保证智能自助购物系统的正常运作。可以理解的是，存储器用于存储消费者全部或部分生物特征数据、图像处理算法、图像特征提取算法、图像特征比对算法、商品信息数据、库存数据等。

其中，生物特征采集和/或识别模块602，包括深度相机、RGB相机、掌纹识别设备、声音识别设备、显示设备等(图中未示出)，用于采集消费者的全部或部分生物特征信息，以认证、识别消费者的身份信息。可以理解的是，后台处理模块通过匹配生物特征采集和/或识别模块所采集的生物特征信息与预存的消费者生物特征信息，判断消费者是否存绑定支付账户及注册购物账户。针对未注册购物账户的消费者，生物特征采集和/或识别模块采集消费者的生物特征信息，以辅助后台处理模块完成消费者身份认证、支付账户绑定以及购物账户创建。

其中，门禁设备控制模块603，包括进入通道门闸、离开通道门闸，或者还包括深度相机、人体红外线感应器等(图中未示出)，用于允许或禁止消费者进入/离开“无人超市”，一种实施方式中，门禁设备控制模块通过接收来自后台处理模块的开关指令，开启或关闭门闸。

其中，购物车模块604，包括放置商品的车体以及设置在车体内的深度相机、RGB相机以及无线通讯设备等(图中未示出)，类似于智能货架对商品的追踪过程，购物车上的深度相机、RGB相机，用于采集购物车内的商品图像，并通过无线设备传输至后台处理模块；后台处理模块通过相关图像处理算法比对智能货架模块、购物车模块所采集的商品图像，确认购物车内商品信息，比如类别信息、数量信息、单价信息等，以添加到与实体购物车相对于的虚拟购物车中，最终形成购物清单。当消费者离开购物区时，后台处理模块结算商品金额，生成结算清单。

其中，通讯模块605，包括射频发射、接收设备等(图中未示出)，用于发射或接收信号。一种实施方式中，后台处理模块通过通讯模块向消费者的移动终端发送结账清单，以便消费者支付商品的金额。

当消费者完成结账清单的支付后，后台处理模块通过开关控制指令，开启离开通道的门闸，允许消费者离开“无人超市”，并更新商品库存数据。

在其他实施方式中，本发明实施例的智能自助购物系统示意图，如图7所示，还包括与后台处理模块交互连接的智能货架模块606。智能货架模块606，包括承载商品的货架以及设置在货架上的深度相机、RGB相机等(图中未示出)；其中，深度相机/RGB相机用于连续获取货架上商品的图像以及消费者的人脸图像、体态图像等，并通过无线或有线传输设备传输至后台处理模块中。需要理解的是，所述图像信息包括商品和/或消费者深度图像信息、商品和/或消费者轮廓信息以及彩色图像信息。一种实施方式中，后台处理模块通过相关图像处理算法、图像特征提取算法重建商品和/或消费者的三维信息及提取商品和/或消费者的特征信息，以实现深度相机对商品或消费者的连续追踪。该实施例增加了对智能货架商品和/或消费者信息的跟踪的硬件模块，并通过后台处理模块匹配智能货架深度相机、购物车深度相机所获取商品图像的特征信息，实现更精确地跟踪、识别消费者所选购商品的信息，以生成更准确的购物清单。

需要理解的是，本实施例中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本发明的创新部分，本实施例中并没有将与解决本发明所提出的技术问题关系不密切的单元引入，但这并不代表本实施例中不存在其它的单元。

需要指出，根据实施的需要，可将本申请中描述的各个步骤/模块拆分为更多步骤/模块，也可将两个或多个步骤/模块或者步骤/模块的部分操作组合成新的步骤/模块，以实现本发明的目的。

上述根据本发明的智能自助购物方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，RAM、ROM、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的处理方法。此外，当通用计算机访问用于实现在此示出的处理的代码时，代码的执行将通用计算机转换为用于执行在此示出的处理的专用计算机。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (10)

1.一种智能自助购物方法，其特征在于，包括：

步骤S1，在进入通道区域采集消费者的全部或者部分生物特征信息；

步骤S2，对比所采集的生物特征信息与预存生物特征信息之间的差异，以认证消费者的身份及判断消费者是否已经注册了购物账户；

步骤S3，如果消费者已经注册了购物账户，则允许该消费者进入购物区域；

步骤S4，实时获取消费者的购物车内商品的基本信息并生成购物清单；

步骤S5，检测到消费者离开购物区，确认消费者的身份信息及购物账户信息；

步骤S6，将结算请求发送至消费者的远程移动终端，并检测消费者是否支付成功；

步骤S7，当检测到消费者支付成功后，允许消费者离开“无人超市”，并自动更新预存的商品库存数据。

2.根据权利要求1所述的智能自助购物方法，其特征在于，所述步骤S4通过在所述购物车上设置深度相机来实时获取消费者的购物车内商品的基本信息，所述商品的基本信息包括商品的图像信息和数量信息。

3.根据权利要求1所述的智能自助购物方法，其特征在于，在所述步骤S3之后还包括：

步骤S31，实时获取智能货架上商品的基本信息以及消费者的行为信息；

步骤S32，判断消费者是否将商品加入所述购物车。

4.根据权利要求3所述的智能自助购物方法，其特征在于，所述步骤S31通过设置在智能货架上的深度相机实时获取智能货架上商品的基本信息以及消费者的行为信息，所述商品的基本信息包括商品的图像信息和数量信息，所述消费者的行为信息包括消费者的人脸三维信息、手部位置的变化。

5.根据权利要求4所述的智能自助购物方法，其特征在于，所述步骤S4还包括，通过相关图像特征提取算法匹配所述智能货架上深度相机所捕捉到的商品图像与所述购物车上深度相机所捕捉到的商品图像，确定商品的基本信息以及判断消费者是否成功将商品添加至所述购物车内。

6.根据权利要求3所述的智能自助购物方法，其特征在于，在所述步骤S32之后还包括：当检测到消费者没有将商品加入所述购物车时，判断所述消费者是否将所述商品放回所述智能货架；如果检测到所述商品没有被放回到所述智能货架上，则将所述商品的信息录入虚拟备忘购物车中。

7.根据权利要求6所述的智能自助购物方法，其特征在于，在所述步骤S5之后还包括判断所述虚拟备忘购物车中是否存在商品信息，当存在商品信息时，提醒消费者使其确认所述虚拟备忘购物车中的商品信息，并更新购物清单。

8.根据权利要求1所述的智能自助购物方法，其特征在于，在所述步骤S2之后还包括：如果消费者没有注册购物账户，则需要采集消费者的生物特征、绑定消费者的支付账户并生成消费者的购物账户。

9.根据权利要求1所述的智能自助购物方法，其特征在于，在所述步骤S1之前还包括：在所述进入通道区域检测消费者的人数，当存在多个消费者时，采集所有消费者的生物特征信息，并选择绑定其中一个消费者的支付账户，创建团体购物账户。

10.一种智能自助购物系统，其特征在于，包括：

生物特征采集和/或识别模块，用于采集消费者的全部或部分生物特征信息，以认证或识别消费者的身份信息；

门禁设备控制模块，用于允许或禁止消费者进入/离开；

购物车模块，用于采集购物车内的商品信息，并将其传输至后台处理模块；

通讯模块，用于发射或接收信号；

所述后台处理模块，用于控制上述各个模块工作，并接收、处理上述各个模块生成的数据信息，以使所述智能自助购物系统执行如权利要求1-9任一所述的智能自助购物方法。