CN109726759B - 无人售货方法、装置、系统、电子设备及计算机可读介质 - Google Patents

Abstract

本公开涉及一种无人售货方法、装置、系统、电子设备及计算机可读介质。该方法包括：响应于用户的进店事件，获取初始货架图像；响应于用户的结算事件，获取完结货架图像；对所述初始货架图像与所述完结货架图像的进行图像识别以生成识别结果；根据所述识别结果确定售出的物品的种类及各种类的售出的物品所对应的数量以进行销售结算。本公开涉及的无人售货方法、装置、系统、电子设备及计算机可读介质，提供了一种依托纯视觉技术实现的无人超市售货方法，能够快速准确的对用户购买的物品进行识别，并自动结算。

Description

无人售货方法、装置、系统、电子设备及计算机可读介质

技术领域

本公开涉及机器视觉领域，具体而言，涉及一种无人售货方法、装置、系统、电子设备及计算机可读介质。

背景技术

无人超市(unmanned supermarket)是零售行业在物联网和互联网融合下的一个重要应用场景，特别是随着新零售场景下无人结算和快捷收银需求的日益增长，无人超市获得越来越多的关注。

目前的无人超市方案主要依托于射频识别(Radio Frequency IDentification)技术进行实现。基于射频识别的无人超市方案需要用户在结算时候将物品放置于固定扫描平台，通过射频技术识别物品上的标签去收银。随着扫描平面上物品数量的增多，因物品的遮挡，射频系统的识别准确率会不断降低。并且基于射频识别的无人超市方案依托于预先准备的物品标签，物品标签的损毁会导致物品识别出错。此外，基于射频识别的无人超市方案需要不断对新增物品制作物品标签，这种做法会导致无人超市成本的提升和效率的降低。现有的基于射频识别的无人超市方案存在一定技术问题。

因此，需要一种新的无人售货方法、装置、系统、电子设备及计算机可读介质。

在所述背景技术部分公开的上述信息仅用于加强对本公开的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

有鉴于此，本公开提供一种无人售货方法、装置、系统、电子设备及计算机可读介质，提供了一种依托纯视觉技术实现的无人超市售货方法，能够快速准确的对用户购买的物品进行识别，并自动结算。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的一方面，提出一种无人售货方法，该方法包括：响应于用户的进店事件，获取初始货架图像；响应于用户的结算事件，获取完结货架图像；对所述初始货架图像与所述完结货架图像的进行图像识别以生成识别结果；根据所述识别结果确定售出的物品的种类及各种类的售出的物品所对应的数量以进行销售结算。

在本公开的一种示例性实施例中，获取初始货架图像包括：通过多个摄像头获取所述初始货架图像和/或所述完结货架图像；其中，所述多个摄像头设置在货架上的物品的对面，所述物品并排陈列在所述货架上。

在本公开的一种示例性实施例中，对所述初始货架图像与所述完结货架图像的进行图像识别以生成识别结果包括：通过深度神经网络模型对所述初始货架图像与所述完结货架图像的图像识别以生成识别结果。

在本公开的一种示例性实施例中，通过深度神经网络模型对所述初始货架图像与所述完结货架图像的图像识别以生成识别结果包括：对所述初始货架图像进行图像识别，获取初始的物品的种类及各种类的初始的物品所对应的数量；对所述完结货架图像进行图像识别，获取完结的物品的种类及各种类的完结的物品所对应的数量；以及通过初始的物品的种类、完结的物品的种类及各种类的初始的物品所对应的数量、各种类的完结的物品所对应的数量生成识别结果。

在本公开的一种示例性实施例中，根据所述识别结果确定售出的物品的种类及各种类的售出的物品所对应的数量以进行销售结算包括：根据所述识别结果对初始的物品与完结的物品进行比对；以及根据比对结果确定所述售出的物品的种类及所述种类的物品的数量以进行销售结算。

在本公开的一种示例性实施例中，根据所述识别结果确定售出的物品的种类及所述种类的物品的数量以进行销售结算包括：确定售出的物品的种类在销售数据库中的标识；根据所述标识确定所述售出的物品的价格；以及根据所述价格及所述种类的售出的物品的数量确定账单数据以进行销售结算。

在本公开的一种示例性实施例中，根据所述识别结果确定售出的物品的种类及所述种类的物品的数量以进行销售结算还包括：获取用户的账户信息；将所述销售结算的相关数据发送至用户账户以进行所述销售结算。

在本公开的一种示例性实施例中，通过深度神经网络模型对所述初始货架图像与所述完结货架图像的图像识别以生成识别结果还包括：通过货架样本图像对深度神经网络模型进行训练；以及在训练参数满足阈值时，确定所述深度神经网络模型的模型参数。

在本公开的一种示例性实施例中，通过货架样本图像对深度神经网络模型进行训练包括：对所述货架样本图像进行初始处理，获取获取针对物品标注的种类和矩形框；确定所述矩形框在所述货架样本图像中的坐标；以及将所述坐标和标注的种类作为标签，将所述货架样本图像作为训练图像，输入所述深度神经网络模型中进行训练。

在本公开的一种示例性实施例中，所述方法还包括：根据售出的物品的种类及各种类的售出的物品所对应的数量，更新销售数据库和/或生成补货信息。

根据本公开的一方面，提出一种无人售货装置，该装置包括：初始模块，响应于用户的进店事件，获取初始货架图像；完结模块，响应于用户的结算事件，获取完结货架图像；识别模块，用于对所述初始货架图像与所述完结货架图像的进行图像识别以生成识别结果；以及结算模块，用于根据所述识别结果确定售出的物品的种类及各种类的售出的物品所对应的数量以进行销售结算。

根据本公开的一方面，提出一种无人售货系统，该系统包括：事件触发装置，用于生成用户进店事件与结算事件；多个摄像装置，用于获取初始货架图像与完结货架图像；后台处理装置，用于对所述初始货架图像与所述完结货架图像的进行图像识别以生成识别结果；根据根据所述识别结果确定售出的物品的种类及各种类的售出的物品所对应的数量以进行销售结算。

在本公开的一种示例性实施例中，所述系统还包括：账户识别装置，用于获取用户的账户信息以进行销售结算。

在本公开的一种示例性实施例中，多个摄像装置均正对目标物品所在的货架，摄像装置的数量与所述目标物品的数量成正比例关系。

根据本公开的一方面，提出一种电子设备，该电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如上文的方法。

根据本公开的一方面，提出一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如上文中的方法。

根据本公开的无人售货方法、装置、系统、电子设备及计算机可读介质，根据对初始货架图像与完结货架图像的图像识别，进而确定目标物品及目标物品的数量的方式，提供了一种依托纯视觉技术实现的无人超市售货方法，能够快速准确的对用户购买的物品进行识别，并自动结算。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。

附图说明

通过参照附图详细描述其示例实施例，本公开的上述和其它目标、特征及优点将变得更加显而易见。下面描述的附图仅仅是本公开的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据一示例性实施例示出的一种无人售货方法及装置的应用场景框图。

图2是根据一示例性实施例示出的一种无人售货方法及装置的应用场景框图。

图3是根据一示例性实施例示出的一种无人售货方法及装置的数据通信场景图。

图4是根据一示例性实施例示出的一种无人售货方法的流程图。

图5是根据另一示例性实施例示出的初始的物品图像与完结的物品图像的示意图。

图6是根据另一示例性实施例示出的模型训练方法的流程图。

图7是根据另一示例性实施例示出的一种无人售货方法的流程图。

图8是根据一示例性实施例示出的一种无人售货装置的框图。

图9是根据一示例性实施例示出的一种电子设备的框图。

具体实施方式

现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施例；相反，提供这些实施例使得本公开将全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

应理解，虽然本文中可能使用术语第一、第二、第三等来描述各种组件，但这些组件不应受这些术语限制。这些术语乃用以区分一组件与另一组件。因此，下文论述的第一组件可称为第二组件而不偏离本公开概念的教示。如本文中所使用，术语“及/或”包括相关联的列出项目中的任一个及一或多者的所有组合。

本领域技术人员可以理解，附图只是示例实施例的示意图，附图中的模块或流程并不一定是实施本公开所必须的，因此不能用于限制本公开的保护范围。

图1与图2是根据一示例性实施例示出的一种无人售货方法及装置的应用场景框图。图1显示了无人售货系统的应用场景的侧视图，图2 显示了无人售货系统的应用场景的正视图。结合图1与图2所展示的框图，无人售货系统100可包括：

事件触发装置用于判断用户进店事件与结算事件。其中，事件触发装置可设置在无人超市的门口，在用户进门和出门时，分别生成用户进店事件与结算事件。

在一个实施例中，事件触发装置可例如为射频接收器，可接收用户的身份标识，进而生成用户进店事件与结算事件。在一个实施例中，事件触发装置可例如为摄像装置，可接受用户的动态图像，由用户的动作姿态生成用户进店事件与结算事件。事件触发装置还可通过其他方式触发用户进店事件与结算事件，本申请不以此为限。

多个摄像装置104用于获取初始货架图像与完结货架图像；如图2 所示，货架1011上的多个摄像装置104用于拍摄架1012上的物品103，货架1012上的摄像装置104可用于拍摄货架1011上的物品103。所述物品103并排陈列在所述货架上。其中，多个摄像装置中的每一个摄像装置均用于采集n个物品的图像，摄像装置可正对着n个物品，具体设置可为将摄像装置对准这n个物品的分布区域的中心附近，以保证摄像装置能够准确采集到这n个物品的图像。通过上述摆放方式，使得对于超市内的每个货架，其对面有一个固定的摄像装置104可以实时的清晰拍摄其架子上物品103。

更具体的，摄像装置104可位于所拍摄货架101正前方1.5m～2.5m 内，摄像头可采用网络摄像头，其输出图像为1080p。摄像头的数量与货架成正比例关系，可例如，有12个货架(两排平行货架，每排6个货架紧密排布)的无人超市，可需要共4-6个网络摄像头。

后台处理装置用于根据对所述初始货架图像与所述完结货架图像的图像识别，确定目标物品及目标物品的数量；并通过所述目标物品及所述目标物品的数量进行销售结算。超市客户进店/离店时，超市内的多路摄像头同时对货架进行拍照，并将货架照片进行图像识别，进而根据货架的照片获取超市内的物品种类和相应数量，进而根据用户进店和离店两次的相应物品数量计算出用户所购买的物品及价格，以进行无人超市的销售结算。

无人售货系统100还可包括：账户识别装置用于获取用户的账户信息。客户消费金额计算可通过进店时店内物品种类数量减去离店时候物品种类数量，进而确定售出的物品的种类及所述种类的物品的数量，从而计算得到客户的实际消费金额，然后并将客户消费账单传输至客户的账户中。用户的账户可例如为某一个可支持扣费的应用的账户，用户账户还可例如为专门的无人超市对应的储值账户，本申请不以此为限。

根据本公开的无人售货系统，根据对初始货架图像与完结货架图像的图像识别，进而确定目标物品及目标物品的数量的方式，提供了一种依托纯视觉技术实现的无人超市售货方法，能够快速准确的对用户购买的物品进行识别，并自动结算。

根据本公开的无人售货系统，使得用户可以做到在超市内拿完所需物品即可实现自动结算，无需在任何结算台进行操作。系统会在2s内将用户的消费金额输送至用户的手机终端。

根据本公开的无人售货系统，使得无人超市无需昂贵的RFID装置或是重力传感器，仅依靠摄像头就可检测并识别用户的购买物品和数量。

根据本公开的无人售货系统，简化了超市的补货流程，无人超市补货仅需将物品放置于货架上，无需额外操作。而依托于RFID装置的无人超市，需要店员在每次补充货物时候对物品打上相应的标签，该流程繁琐复杂，且该标签易被破坏，使得物品在结算时出错。因此我们的方案在提升补货效率的同时降低了物品判断失误的概率。

图3是根据一示例性实施例示出的一种无人售货方法及装置的数据通信场景图。

如图3所示，系统架构300可以包括摄像装置301、302、303，网络304和服务器305。网络304用以在摄像装置301、302、303和服务器305之间提供通信链路的介质。网络304可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

摄像装置301、302、303通过网络304与服务器305交互，以发送数据。摄像装置301、302、303可以是具有摄像功能并且支持数据传输的摄像装置，可为不同种类不同清晰度的摄像机，摄像头，或者照相机等等。

服务器305可以是提供各种服务的服务器，例如对摄像装置301、 302、303所拍摄图片或视频提供数据分析的后台服务器。服务器305可以对接收到的图片数据或视频数据进行分析等处理，并生成处理结果，或将处理结果发送至用户端。

摄像装置301、302、303可例如响应于用户的进店事件，获取初始货架图像；摄像装置301、302、303可例如响应于用户的结算事件，获取完结货架图像；服务器305可例如对所述初始货架图像与所述完结货架图像的进行图像识别以生成识别结果；以及服务器305可例如根据所述识别结果确定售出的物品的种类及所述售出的物品的种类对应的数量以进行销售结算。

服务器305还可例如获取用户的账户信息；并将所述销售结算的相关数据发送至账户结算终端，以进行所述销售结算。

服务器305还可例如根据售出的物品的种类及各种类的售出的物品所对应的数量，更新销售数据库和/或生成补货信息。

在一个实施例中，无人超市的收银系统的是依靠库存数量统计销售数据的，如用户进店前的初始库存数据中包含可乐两瓶，用户出店后的完结库存中可乐为一瓶，则可判定用户消费1瓶可乐。即为可通过初始库存与完结库存之间的差额，确定用户购买的物品种类及数量。

在一个实施例中，还可在判定的用户产生了购买行为后，更新店内剩余物品的种类和其对应的数量。

服务器305可以是一个实体的服务器，还可例如为多个服务器组成，服务器305中的一部分可例如作为本公开中的后台处理系统，用于根据对所述初始货架图像与所述完结货架图像的图像识别，确定目标物品及目标物品的数量；并通过所述目标物品及所述目标物品的数量进行销售结算；以及服务器305中的一部分还可例如作为本公开中的账户识别系统，用于获取用户的账户信息。

需要说明的是，本公开实施例所提供的无人售货方法可以由服务器 305和摄像装置301、302、303执行，相应地，无人售货装置可以设置于服务器305和摄像装置301、302、303中。

图4是根据一示例性实施例示出的一种无人售货方法的流程图。无人售货方法40至少包括步骤S402至S408。

如图4所示，在S402中，响应于用户的进店事件，获取初始货架图像。可例如，通过多个摄像头获取所述初始货架图像。可参考图1与图 2中的无人超市的示意图，其中，所述多个摄像头均正对货架上的物品，所述物品并排陈列在所述货架上。

其中，进店事件包含：传感式进店事件，具体可例如为无人超市门口设置传感器，通过该传感器感应人体，在传感器感应到人体时，生成进店事件。

进店事件还可包含：进入预定区域事件，店门开关触发事件。扫码进店事件等，具体可例如为用户推开店门进入店内或者进入店铺区域，可通过传感器感应用户在特定区域的活动，在用户进入无人超市的预定区域时，可认为用户进店，进而生成进店事件，还可例如用户使用预定的手机应用扫码打开无人超市的门，进而生成进店事件。

进店事件还可包含：刷脸式进店事件，具体可例如为通过面部识别装置识别人脸信息，进而生成刷脸式进店事件。

在S404中，响应于用户的结算事件，获取完结货架图像。可例如，通过多个摄像头获取所述完结货架图像。

其中，结算事件包含：预定区域离开事件，店门开关触发事件等。具体可例如用户推门离开店内或者离开店铺区域，可通过传感器感应用户在特定区域的活动，在用户离开无人超市的预定区域时，可认为用户离开了无人超市，进而生成结算事件。

在S406中，对所述初始货架图像与所述完结货架图像的进行图像识别以生成识别结果。可例如，对所述初始货架图像进行图像识别，获取初始的物品的种类及所述种类的物品的数量；对述完结货架图像进行图像识别，获取完结的物品的种类及所述种类的物品的数量；以及通过初始的物品的种类、所述种类的物品的数量和完结的物品的种类及所述种类的物品的数量生成识别结果。

图5是根据另一示例性实施例示出的初始的物品图像与完结的物品图像的示意图。图5示例性的展示了图像识别的过程：

在对所述初始货架图像进行目标识别，获取初始目标状态时，获取初始货架中的物品图像，进行目标识别后，获得初始目标状态包括的初始的物品及初始的物品的数量。

对述完结货架图像进行图像识别，获取完结目标状态时，获取完结货架中的物品图像，进行目标识别后，获得完结目标状态包括的完结的物品及完结的物品的数量。

通过通过对所述初始目标状态与完结目标状态的比对，确定缺少的物品为所述目标物品，缺少的目标物品的数量为所述目标物品的数量。

在一个实施例中，可例如，通过深度神经网络模型对所述初始货架图像与所述完结货架图像的图像识别。神经网络模型的构建将会在图6 对应的实施例中进行详细描述。其中，深度神经网络模型对模型可以是基于resnet50网络结构得到的网络模型。

在S408中，根据所述识别结果确定售出的物品的种类及各种类的售出的物品所对应的数量以进行销售结算。可例如，根据所述识别结果对初始的物品与完结的物品进行比对；以及根据比对结果确定所述售出的物品的种类及所述种类的物品的数量以进行销售结算。

本公开的无人售货系统，在一个实施例中，可用于单客户场景，如小区域超市/便利店的单人进出模式。在另一个实施例中，在物品结算时还可以获得物品和客户的关联信息，根据关联信息获取每个客户购买的物品及购买的物品的数量，进而针对每个客户单独进行销售结算。在一个实施例中，可以通过识别客户的特定姿态，例如拿取物品的抬手姿态，在该特征姿态后，拍摄针对该客户的完结货架图像进而进行物品与客户的关联操作。具体可例如识别客户的抬手停留位置，停留时间超过阈值时间，且停留位置处的物品出现空缺时，则将该物品关联该客户。

在一个实施例中，还可例如，确定售出的物品的种类在销售数据库中的标识；根据所述标识确定所述物品的价格；以及根据所述价格及所述种类的物品的数量确定账单数据以进行销售结算。。

更具体的，销售数据库中的实时计算的硬件需求为拥有gpu计算能力的服务器，具体为z370主板，计算能力不低于nvidia 1080ti显卡， 16g内存，i7-cpu。网络摄像头的图像传输采用局域网传输模式，单张图片(1920*1080size)传输速度在0.3s内。拥有上述描述能力的服务器处理批量(如10张)1920*1080size的图片速度在1s之内。

根据本公开的无人售货系统，根据对初始货架图像与完结货架图像的图像识别，进而确定目标物品及目标物品的数量的方式，提供了一种依托纯视觉技术实现的无人超市售货方法，能够快速准确的对用户购买的物品进行识别，并自动结算。

在一个实施例中，该方法还包括：根据售出的物品的种类及各种类的售出的物品所对应的数量，更新销售数据库和/或生成补货信息。具体可例如：销售数据库记录物品的库存信息与销售数据。其中，库存信息可为无人超市当前货架上的物品的种类数据及各种类的物品的数量，销售数据为销售出的物品及各种类的物品的数量。在结算事件之后，可根据售出的物品的种类及各种类的售出的物品所对应的数量更新销售数据库中的库存，具体可为通过上一次记录的当前货架上的物品的种类数据及各种类的物品的数量，减去本次记录的售出的物品的种类及各种类的售出的物品所对应的数量，进而更新销售数据库。

在一个实施例中，补货信息用于发送给商家辅助商家进行补货，具体可为，设定各种类的物品的数量阈值，在销售数据库中的各种类的物品的数量小于其对应的数量阈值的时候，生成补货信息。更具体的，可例如可以补货的商品数量大于等于同种类售出的物品数量。

根据本公开的无人售货系统，简化了超市的补货流程，无人超市补货仅需将物品放置于货架上，无需额外操作。而依托于RFID装置的无人超市，需要店员在每次补充货物时候对物品打上相应的标签，该流程繁琐复杂，且该标签易被破坏，使得物品在结算时出错。因此我们的方案在提升补货效率的同时降低了物品判断失误的概率。

应清楚地理解，本公开描述了如何形成和使用特定示例，但本公开的原理不限于这些示例的任何细节。相反，基于本公开公开的内容的教导，这些原理能够应用于许多其它实施例。

图6是根据另一示例性实施例示出的模型训练方法的流程图。图6 所示的模型训练方法60是对“通过深度神经网络模型对所述初始货架图像与所述完结货架图像的图像识别以生成识别结果”中，深度神经网络模型训练过程的详细描述。

如图6所示，在S602中，对所述货架样本图像进行初始处理，获取针对物品标注的种类和矩形框。采集约多张货架图像进行初始处理，并以人工标注的形式对货架上的每个物品标注矩形框。

在S604中，确定所述矩形框在所述货架样本图像中的坐标，并将这些矩形框的坐标信息存入标签文件中。

在S606中，将所述坐标和标注的种类作为标签，将所述货架样本图像作为训练图像，输入所述深度神经网络模型中进行训练。将预设货架图像和标签文件送入通用的深度神经网络模型中，将该模型迭代训练三个批次。

在S608中，在训练参数满足阈值时，确定所述深度神经网络模型的模型参数。在训练阶段满足模型准确率要求时，确定所述深度神经网络模型的模型。将训练好的通用深度神经网络模型的保存，此时该模型已经可以用于检测相应物品。

图7是根据另一示例性实施例示出的一种无人售货方法的流程图。图7所示的无人售货方法70是在实际无人超市中，无人售货方法的全过程的描述。

如图7所示，在S702中，生成用户进店事件。

在S704中，摄像头拍摄货架图像。

在S706中，生成货架图像。

在S708中，生成用户结算事件。

在S710中，摄像头拍摄货架图像。

在S712中，生成货架照片。

在S714中，深度神经网络模型进行图像识别。

在S716中，消费计算。

在S718中，消费金额展示。

在S720中，用户支付账单。

根据本公开的无人售货方法，仅需若干摄像头和一台带有GPU运算的电脑。这些摄像头的视角可以覆盖所有货架。

用户在进店时候，摄像头拍摄到此时的所有货架图片，并将货架图片送入如下图的深度神经网络特征提取器。深度神经网络对于每一张送入的货架图片，可以检测出货架图片中物品的相关位置和类别。神经网络特征提取器输出此时货架上物品的种类和每种物品对应的数量s1(例如，可乐3瓶，雪碧2瓶)到客户消费金额计算系统。

用户在离店时候，摄像头同样的拍摄到此时的所有货架图片，再将货架 图片送入进店时的深度神经网络特征提取，得到每张货架图片上的相关物品种类和对应数量。深度神经网络特征提取器输出离店后的货架上的物品种类和其相应数量s2(在进店例子中，如客户拿走了1瓶可乐。此时系统将自动计算得到s2为可乐2瓶，雪碧2瓶)。

客户消费金额计算系统通过进店时店内物品种类数量减去离店时候物品种类数量得到客户的实际消费金额(例如。s1-s2得到客户拿走了1 瓶可乐)，并将客户消费账单传输至客户的手机支付程序内。

可以看出，相较于传统超市或者RFID方案下的无人超市，根据本公开的无人售货方法，在无人超市方案下，用户只需进店选取他们所需的物品后离店即可。离店后，系统会在短时间内计算出用户的消费金额并将消费金额送至其账户。

本领域技术人员可以理解实现上述实施例的全部或部分步骤被实现为由CPU执行的计算机程序。在该计算机程序被CPU执行时，执行本公开提供的上述方法所限定的上述功能。所述的程序可以存储于一种计算机可读存储介质中，该存储介质可以是只读存储器，磁盘或光盘等。

此外，需要注意的是，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

下述为本公开装置实施例，可以用于执行本公开方法实施例。对于本公开装置实施例中未披露的细节，请参照本公开方法实施例。

图8是根据一示例性实施例示出的一种无人售货装置的框图。无人售货装置80包括：初始模块802，完结模块804，识别模块806，以及结算模块808。

初始模块802响应于用户的进店事件，获取初始货架图像。获取初始货架图像。可例如，通过多个摄像头获取所述初始货架图像。

完结模块804响应于用户的结算事件，获取完结货架图像。可例如，通过多个摄像头获取所述完结货架图像。

识别模块806用于用于对所述初始货架图像与所述完结货架图像的进行图像识别以生成识别结果。可例如，对所述初始货架图像进行图像识别，获取初始的物品的种类及所述种类的物品的数量；对述完结货架图像进行图像识别，获取完结的物品的种类及所述种类的物品的数量；以及通过初始的物品的种类、所述种类的物品的数量和完结的物品的种类及所述种类的物品的数量生成识别结果。

结算模块808用于根据所述识别结果确定售出的物品的种类及各种类的售出的物品所对应的数量以进行销售结算。可例如，根据所述识别结果对初始的物品与完结的物品进行比对；以及根据比对结果确定所述售出的物品的种类及所述种类的物品的数量以进行销售结算。还可例如，确定售出的物品的种类在销售数据库中的标识；根据所述标识确定所述物品的价格；以及根据所述价格及所述种类的物品的数量确定账单数据以进行销售结算。

根据本公开的无人售货装置，对于超市内的每个货架，其对面有一个固定的摄像头可以实时的清晰拍摄其架子上物品。对于超市内的每种物品，只需对其拍摄照片，然后送入到深度神经网络提取特征，将提取出的特征表示存储进物品数据库。超市客户进店/离店时，超市内的多路摄像头同时对货架进行拍照，并将货架照片传入我们的深度神经网络计算系统。每次我们的系统会根据得到的照片得出超市内的物品品种和相应数量。用户离店时，计算系统根据用户进店和离店两次的相应物品数量差返回用户消费金额。

图9是根据一示例性实施例示出的一种电子设备的框图。

下面参照图9来描述根据本公开的这种实施方式的电子设备900。图9显示的电子设备900仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图9所示，电子设备900以通用计算设备的形式表现。电子设备 900的组件可以包括但不限于：至少一个处理单元910、至少一个存储单元920、连接不同系统组件(包括存储单元920和处理单元910)的总线 930、显示单元940等。

其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元910执行，使得所述处理单元910执行本说明书上述电子处方流转处理方法部分中描述的根据本公开各种示例性实施方式的步骤。例如，所述处理单元910可以执行如图4，图6，图7中所示的步骤。

所述存储单元920可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)9201和/或高速缓存存储单元9202，还可以进一步包括只读存储单元(ROM)9203。

所述存储单元920还可以包括具有一组(至少一个)程序模块9205 的程序/实用工具9204，这样的程序模块9205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线930可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备900也可以与一个或多个外部设备1000(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备900交互的设备通信，和/或与使得该电子设备900能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口950进行。并且，电子设备900 还可以通过网络适配器960与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器960可以通过总线930与电子设备900的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备900使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID 系统、磁带驱动器以及数据备份存储系统等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、或者网络设备等)执行根据本公开实施方式的上述方法。

可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该计算机可读介质实现如下功能：响应于用户的进店事件，获取初始货架图像；响应于用户的结算事件，获取完结货架图像；对所述初始货架图像与所述完结货架图像的进行图像识别以生成识别结果；根据所述识别结果确定售出的物品的种类及各种类的售出的物品所对应的数量以进行销售结算。

本领域技术人员可以理解上述各模块可以按照实施例的描述分布于装置中，也可以进行相应变化唯一不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

通过以上的实施例的描述，本领域的技术人员易于理解，这里描述的示例实施例可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是 CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本公开实施例的方法。

以上具体地示出和描述了本公开的示例性实施例。应可理解的是，本公开不限于这里描述的详细结构、设置方式或实现方法；相反，本公开意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效设置。

Claims (13)

1.一种无人售货方法，其特征在于，包括：

响应于用户的进店事件，获取初始货架图像，所述进店事件包括传感式进店事件、进入预定区域事件、店门开关触发事件、扫码进店事件、刷脸式进店事件中的一种或多种的组合；

响应于用户的结算事件，获取完结货架图像；

对所述初始货架图像与所述完结货架图像的进行图像识别以生成识别结果；

获取售出的物品和用户的关联信息，所述关联信息根据所述用户的特定姿态的识别结果和针对所述用户的完结货架图像所确定，所述识别结果包括所述用户的特定姿态的停留位置和所述特定姿态的停留时间；

根据所述关联信息获取针对每个用户售出的物品以及所述售出的物品的数量；

根据所述识别结果确定针对所述每个用户售出的物品的种类及各种类的售出的物品所对应的数量，以对所述每个用户进行销售结算。

2.如权利要求1所述的方法，其特征在于，包括：

通过多个摄像头获取所述初始货架图像和/或所述完结货架图像；

其中，所述多个摄像头设置在货架上的物品的对面，所述物品并排陈列在所述货架上。

3.如权利要求1所述的方法，其特征在于，对所述初始货架图像与所述完结货架图像的进行图像识别以生成识别结果包括：

通过深度神经网络模型对所述初始货架图像与所述完结货架图像的图像识别以生成识别结果。

4.如权利要求3所述的方法，其特征在于，通过深度神经网络模型对所述初始货架图像与所述完结货架图像的图像识别以生成识别结果包括：

对所述初始货架图像进行图像识别，获取初始的物品的种类及各种类的初始的物品所对应的数量；

对所述完结货架图像进行图像识别，获取完结的物品的种类及各种类的完结的物品所对应的数量；以及

通过初始的物品的种类、完结的物品的种类及各种类的初始的物品所对应的数量、各种类的完结的物品所对应的数量生成识别结果。

5.如权利要求1所述的方法，其特征在于，根据所述识别结果确定售出的物品的种类及各种类的售出的物品所对应的数量以进行销售结算包括：

确定售出的物品的种类在销售数据库中的标识；

根据所述标识确定所述售出的物品的价格；以及

根据所述价格及所述种类的售出的物品对应的数量确定账单数据以进行销售结算。

6.如权利要求3所述的方法，其特征在于，通过深度神经网络模型对所述初始货架图像与所述完结货架图像的图像识别以生成识别结果还包括：

通过货架样本图像对深度神经网络模型进行训练；以及

在训练参数满足阈值时，确定所述深度神经网络模型的模型参数。

7.如权利要求6所述的方法，其特征在于，通过货架样本图像对深度神经网络模型进行训练包括：

对所述货架样本图像进行初始处理，获取针对物品标注的种类和矩形框；

确定所述矩形框在所述货架样本图像中的坐标；以及

将所述坐标和标注的种类作为标签，将所述货架样本图像作为训练图像，输入所述深度神经网络模型中进行训练。

8.如权利要求1所述的方法，其特征在于，还包括：

根据售出的物品的种类及各种类的售出的物品所对应的数量，更新销售数据库和/或生成补货信息。

9.一种无人售货装置，其特征在于，包括：

初始模块，响应于用户的进店事件，获取初始货架图像，所述进店事件包括传感式进店事件、进入预定区域事件、店门开关触发事件、扫码进店事件、刷脸式进店事件中的一种或多种的组合；

完结模块，响应于用户的结算事件，获取完结货架图像；

识别模块，用于对所述初始货架图像与所述完结货架图像的进行图像识别以生成识别结果；以及

结算模块，用于获取售出的物品和用户的关联信息，所述关联信息根据所述用户的特定姿态的识别结果和针对所述用户的完结货架图像所确定，所述识别结果包括所述用户的特定姿态的停留位置和所述特定姿态的停留时间；

根据所述关联信息获取针对每个用户售出的物品以及所述售出的物品的数量；

根据所述识别结果确定针对所述每个用户售出的物品的种类及各种类的售出的物品所对应的数量，以对所述每个用户进行销售结算。

10.一种无人售货系统，其特征在于，包括：

事件触发装置，用于生成用户进店事件与结算事件；

多个摄像装置，用于获取初始货架图像与完结货架图像；

后台处理装置，用于对所述初始货架图像与所述完结货架图像的进行图像识别以生成识别结果；

获取售出的物品和用户的关联信息，所述关联信息根据所述用户的特定姿态的识别结果和针对所述用户的完结货架图像所确定，所述识别结果包括所述用户的特定姿态的停留位置和所述特定姿态的停留时间；根据所述关联信息获取针对每个用户售出的物品以及所述售出的物品的数量；根据所述识别结果确定针对所述每个用户售出的物品的种类及各种类的售出的物品所对应的数量，以对所述每个用户进行销售结算。

11.如权利要求10所述的系统，其特征在于，还包括：

账户识别装置，用于获取用户的账户信息以进行销售结算。

12.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-8中任一所述的方法。

13.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-8中任一所述的方法。

Images