CN108875664B - 选购商品的识别方法、装置以及售货机 - Google Patents

Abstract

本公开提供了一种选购商品的识别方法、装置以及售货机，涉及售货机技术领域，其中方法包括：当接收到售货机关门信号时，确定重量发生变化的货架的重量变化值并确定用户取出的商品组合；根据对与货架相对应的监控图像识别的结果获得待认定商品结果，如果商品组合与待认定商品结果匹配，则根据待认定商品结果确定用户购买的商品。本公开的方法、装置以及售货机，无需对商品粘贴标签或其它操作，不增加商品的成本，补货简便；通过摄像装置与称重装置的组合对用户选购的商品信息进行双重验证，能准确识别商品的异常，有效提高了防欺骗能力，增强了交易的可靠性；实现了一种全新的商品贩卖形式，能够提高用户的使用感受度。

Description

选购商品的识别方法、装置以及售货机

技术领域

本公开涉及售货机技术领域，尤其涉及一种选购商品的识别方法、装置以及售货机。

背景技术

自选式售货机是一种自动化的生活常用设备。用户通过自选式售货机，能够不受时间、地点的限制进行交易，从而节省人力成本、提升用户体验。在相关技术中，自动售货机的商品识别方案主要为基于RFID(Radio Frequency Identification，无线射频)技术，需要预先为每个商品配备一个RFID标签，通过RFID读写器识别商品。当消费者取走商品时，商品会经过一个配备了RFID阅读器的区域以自动地被感知，从而识别商品并完成自助付款。所有商品都需要粘贴RFID标签，不但提高了商品成本，还增加了补货的人力成本。并且，当前虽然也有采用图像识别和重量检测结合的方法确定用户取出的商品，但是对于售货期间出现的异常状态则没有验证机制，异常状态包括用户错将别的商品放在货架上，或者用户将空瓶放在货架上等。因此，需要一种新的选购商品的识别技术方案。

发明内容

有鉴于此，本发明要解决的一个技术问题是提供一种选购商品的识别方法、装置以及售货机。

根据本公开的一个方面，提供一种选购商品的识别方法，包括：当接收到售货机关门信号时，确定重量发生变化的货架并获得所述货架的重量变化值；基于所述重量变化值确定用户取出的商品组合；对采集的与所述货架相对应的监控图像进行识别，根据待认定商品结果获得待认定商品结果；其中，所述待认定商品结果包括：用户取出的商品的种类和数量；判断所述商品组合与所述待认定商品结果是否匹配，如果是，则根据所述待认定商品结果确定用户购买的商品。

可选地，所述基于所述重量变化值确定用户取出的商品组合包括：获取与所述货架相对应的商品单位重量；根据所述商品单位重量确定与所述重量变化值相对应的商品组合。

可选地，所述根据所述商品单位重量确定与所述重量变化值相对应的商品组合包括：将与所述货架相对应的商品进行组合，获得一个或多个商品组合；其中，每个商品组合中包括至少一种商品；根据每种商品的商品单位重量计算每个商品组合对应的商品组合重量；将所述商品组合重量与所述重量变化值相匹配的一个或多个商品组合确定为所述用户取出的商品组合。

可选地，如果所述商品组合重量与所述重量变化值之间的差值在预设的差值范围内，则确定与此商品组合重量对应的商品组合为与所述重量变化值相对应的商品组合。

可选地，所述对采集的与所述货架相对应的监控图像进行识别包括：获取在接收到所述关门信号时采集的所述监控图像；在所述监控图像中确定位于所述货架上的第一商品的位置；根据所述第一商品的位置在所述监控图像中截取所述第一商品的图像；识别在所述第一商品的图像中的第一商品所属的商品种类，并获得每种第一商品所对应的数量；获取与上一个售货机关门信号相对应的、位于所述货架上的第二商品所属的商品种类以及每种第二商品所对应的数量；根据所述每种第一商品所对应的数量以及所述每种第二商品所对应的数量确定用户取出的商品种类和每种取出商品所对应的数量。

可选地，所述识别在所述第一商品的图像中的第一商品所属的商品种类包括：通过Softmax函数建立卷积神经网络的全连接层，通过所述卷积神经网络计算所述第一商品属于各种类的置信度；将置信度大于预设的阈值的种类作为所述第一商品所属的种类。

可选地，所述卷积神经网络的各卷基层之间设置有池化层，在最后一个卷积层之后设置有批标准化层。

可选地，所述判断所述商品组合与所述待认定商品结果是否匹配包括：获取与一个或多个所述用户取出的商品组合相对应的一个或多个商品组合数量；根据所述每种取出商品所对应的数量获得用户取出的商品总数量；如果所述商品总数量与至少一个所述商品组合数量相同，则确定所述商品组合与所述待认定商品结果匹配。

可选地，所述根据所述待认定商品结果确定用户购买的商品包括：将所述用户取出的商品种类和每种取出商品所对应的数量确定为用户购买的商品种类和每种购买商品的数量；根据预设的商品价格以及所述用户购买的商品种类和每种购买商品的数量计算购物金额，用以进行结算处理。

可选地，如果所述商品组合与所述待认定商品结果不匹配，则生成提示信息，用以进行异常提示。

可选地，接收到关门传感器发送的所述售货机关门信号，其中，所述关门传感器设置在售货机的柜门上。

可选地，接收到与所述货架对应设置的重量传感器发送的重量检测信号，基于所述重量检测信号确定所述重量变化值。

根据本公开的另一方面，提供一种选购商品的识别装置，包括：重量变化确定模块，用于当接收到售货机关门信号时，确定重量发生变化的货架并获得所述货架的重量变化值；商品组合获取模块，用于基于所述重量变化值确定用户取出的商品组合；商品识别模块，用于对采集的与所述货架相对应的监控图像进行识别，根据待认定商品结果获得待认定商品结果；其中，所述待认定商品结果包括：用户取出的商品的种类和数量；购买商品确定模块，用于判断所述商品组合与所述待认定商品结果是否匹配，如果是，则根据所述待认定商品结果确定用户购买的商品。

可选地，所述商品组合获取模块，包括：单位重量获取单元，用于获取与所述货架相对应的商品单位重量；组合确定单元，用于根据所述商品单位重量确定与所述重量变化值相对应的商品组合。

可选地，所述组合确定单元，用于将与所述货架相对应的商品进行组合，获得一个或多个商品组合；其中，每个商品组合中包括至少一种商品；根据每种商品的商品单位重量计算每个商品组合对应的商品组合重量；将所述商品组合重量与所述重量变化值相匹配的一个或多个商品组合确定为所述用户取出的商品组合。

可选地，所述组合确定单元，还用于如果所述商品组合重量与所述重量变化值之间的差值在预设的差值范围内，则确定与此商品组合重量对应的商品组合为与所述重量变化值相对应的商品组合。

可选地，所述商品识别模块，包括：图像获取单元，用于获取在接收到所述关门信号时采集的所述监控图像；位置确定单元，用于在所述监控图像中确定位于所述货架上的第一商品的位置；图像截取单元，用于根据所述第一商品的位置在所述监控图像中截取所述第一商品的图像；图像识别单元，用于识别在所述第一商品的图像中的第一商品所属的商品种类，并获得每种第一商品所对应的数量；原有商品获取单元，用于获取与上一个售货机关门信号相对应的、位于所述货架上的第二商品所属的商品种类以及每种第二商品所对应的数量；商品确定单元，用于根据所述每种第一商品所对应的数量以及所述每种第二商品所对应的数量确定用户取出的商品种类和每种取出商品所对应的数量。

可选地，所述图像识别单元，用于通过Softmax函数建立卷积神经网络的全连接层，通过所述卷积神经网络计算所述第一商品属于各种类的置信度；将置信度大于预设的阈值的种类作为所述第一商品所属的种类。

可选地，所述卷积神经网络的各卷基层之间设置有池化层，在最后一个卷积层之后设置有批标准化层。

可选地，所述购买商品确定模块，获取与一个或多个所述用户取出的商品组合相对应的一个或多个商品组合数量；根据所述每种取出商品所对应的数量获得用户取出的商品总数量；如果所述商品总数量与至少一个所述商品组合数量相同，则确定所述商品组合与所述待认定商品结果匹配。

可选地，所述购买商品确定模块，还用于将所述用户取出的商品种类和每种取出商品所对应的数量确定为用户购买的商品种类和每种购买商品的数量；所述装置还包括：购买商品结算模块，用于根据预设的商品价格以及所述用户购买的商品种类和每种购买商品的数量计算购物金额，用以进行结算处理。

可选地，提示信息生成模块，用于如果所述商品组合与所述待认定商品结果不匹配，则生成提示信息，用以进行异常提示。

可选地，所述重量变化确定模块，用于接收关门传感器发送的所述售货机关门信号，其中，所述关门传感器设置在售货机的柜门上。

可选地，所述重量变化确定模块，用于接收与所述货架对应设置的重量传感器发送的重量检测信号，基于所述重量检测信号确定所述重量变化值。

根据本公开的又一方面，提供一种售货机，包括：如上所述的选购商品的识别装置。

根据本公开的又一方面，提供一种选购商品的识别装置，包括：存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如上所述的方法。

根据本公开的再一方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述指令被处理器执行时实现如上所述的方法。

本公开的选购商品的识别方法、装置以及售货机，无需对商品粘贴标签或其它操作，不增加商品的成本，补货简便；通过摄像装置与称重装置的组合对用户选购的商品信息进行双重验证，提升了对于商品的识别能力，能准确识别商品的异常，有效提高了防欺骗能力，增强了交易的可靠性；实现了一种全新的商品贩卖形式，能够提高用户的使用感受度。

附图说明

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为根据本公开的选购商品的识别方法的一个实施例的流程示意图；

图2为根据本公开的选购商品的识别方法的一个实施例的确定与所述重量变化值相对应的商品组合的流程示意图；

图3为根据本公开的选购商品的识别方法的一个实施例的进行图像识别的流程示意图；

图4为根据本公开的选购商品的识别方法的一个实施例的摄像装置、称重装置的安装示意图；

图5为根据本公开的选购商品的识别装置的一个实施例的模块示意图；

图6为根据本公开的选购商品的识别装置的一个实施例中的商品组合获取模块的模块示意图；

图7为根据本公开的选购商品的识别装置的一个实施例中的商品识别模块的模块示意图；

图8为根据本公开的选购商品的识别装置的另一个实施例的模块示意图。

具体实施方式

下面参照附图对本公开进行更全面的描述，其中说明本公开的示例性实施例。下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。下面结合各个图和实施例对本公开的技术方案进行多方面的描述。

下文中的“第一”、“第二”等仅用于描述上相区别，并没有其它特殊的含义。

图1为根据本公开的选购商品的识别方法的一个实施例的流程示意图，如图所示：

步骤101，当接收到售货机关门信号时，确定重量发生变化的货架并获得货架的重量变化值。

售货机为自动售货机，可以为自动售货冰箱等。在用户选购售货机中的商品时，通过智能手机等进行个人信息验证。售货机对用户的个人信息完成验证后，可以解锁售货机的柜门，用户可以打开柜门取出想要购买的物品。售货机的货架可以安装称重装置，例如为重量传感器等。售货机可以有多层货架，每层货架均安装有重量传感器以实时检测货架的重量。

步骤102，基于重量变化值确定用户取出的商品组合。商品组合中包括用户可能取走的商品。

步骤103，对采集的与货架相对应的监控图像进行识别，根据待认定商品结果获得待认定商品结果。待认定商品结果包括：用户取出的商品的种类和数量等。

可以通过摄像头等摄像装置拍摄货柜上摆放的商品的画面，采集当前货架上剩余的商品的监控图像，对监控图像进行识别，可以采用神经网络技术等多种方式进行识别。

步骤104，判断商品组合与待认定商品结果是否匹配，如果是，则根据待认定商品结果确定用户购买的商品。

在一个实施例中，获取与货架相对应的商品单位重量，根据商品单位重量确定与重量变化值相对应的商品组合。图2为根据本公开的选购商品的识别方法的一个实施例的确定与重量变化值相对应的商品组合的流程示意图，如图2所示：

步骤201，将与货架相对应的商品进行组合，获得一个或多个商品组合。每个商品组合中包括至少一种商品。

在获得一个或多个商品组合时，可以剔除明显不符合条件的商品组合。例如，对于单位重量大于重量变化值的单件商品，可以在生成商品组合时不予考虑。

步骤202，根据每种商品的商品单位重量计算每个商品组合对应的商品组合重量。

步骤203，将商品组合重量与重量变化值相匹配的一个或多个商品组合确定为用户取出的商品组合。

例如，当前货架上的商品有三种，分别为饮料A、饮料B和饮料C。饮料A、饮料B和饮料C所对应的商品单位重量分别为500克、400克和550克，饮料A、饮料B和饮料C的数量都为3件。将与饮料A、饮料B和饮料C进行组合，获得多个商品组合，每个商品组合中包括至少一种饮料。

获得货架的重量变化值为1500克，计算每个商品组合对应的商品组合重量。确定商品组合{饮料A、饮料A、饮料A}与商品组合{饮料B、饮料C、饮料C}的重量都为1500克，与重量变化值1500克相匹配，则将商品组合{饮料A、饮料A、饮料A}与商品组合{饮料B、饮料C、饮料C}确定为用户取出的商品组合。

由于重量传感器的测量以及商品个体的重量有一定的误差，可以预设差值范围，例如，差值范围可以为±3g、±5g等。如果商品组合重量与重量变化值之间的差值在预设的差值范围内，则确定与此商品组合重量对应的商品组合为与重量变化值相对应的商品组合。

图3为根据本公开的选购商品的识别方法的一个实施例的进行图像识别的流程示意图，如图3所示：

步骤301，获取在接收到关门信号时采集的监控图像。

步骤302，在监控图像中确定位于货架上的第一商品的位置。第一商品可以为接收到关门信号后，在货架上摆放的商品。

步骤303，根据第一商品的位置在监控图像中截取第一商品的图像。

可以通过绑定盒技术(Bounding Box)区分监控图像中的商品和背景，根据绑定盒的覆盖范围在监控图像中截取第一商品的图像。例如，可以设定多个不同大小的绑定盒对监控图像进行划分，并通过特征提取网络对划分后的图像进行特征提取。从特征提取网络中选取包含最后一层的至少一个层，对各层输出的图像进行卷积操作以区分图像中的各像素属于物品还是背景。可以根据各像素判断其所在的绑定盒中的区域属于第一商品还是背景，根据判断的结果截取第一商品的图像。

步骤304，识别在第一商品的图像中的第一商品所属的商品种类，并获得每种第一商品所对应的数量。

可以采用神经网络技术识别出第一商品所属的商品种类，并统计每种第一商品所对应的数量。可以通过Softmax函数建立卷积神经网络的全连接层，通过卷积神经网络计算物品属于各种类的置信度，将置信度大于预设的阈值的种类作为第一商品的种类。例如，可以对多帧第一商品的图像中的同一个第一商品进行识别，将被确定次数最多的种类作为该第一商品的种类。

可以先收集包含各种商品的图片，例如对每种商品均收集5000张以上的图片。标注每一张图片中的商品所在区域的位置，例如，可以采用左上和右下的坐标进行标注，并标注商品的种类。将这些标注后的图片作为训练样本对卷积神经网络的检测模型进行训练。检测模型可以是SSD(Single Shot MultiBox Detector，单次检测器)、Faster R-CNN(Faster Regions with Convolutional Neural Network，快速区域卷积神经网络)等。

可以在卷积神经网络的各卷基层之间设置池化层，可以为max pooling(最大值池化)层，能够有效地降低图片的采样率，从而提高识别效率。可以不使用dropout丢弃神经网络单元，也不逐层使用batch normalization(批标准化)层，仅在最后一个卷积层之后设置批标准化层，能够加快识别的收敛速度并避免梯度消失，从而提高识别效率和准确性。

在确定了售货机内物品的种类时，训练一个检测模型用于检测这些种类的物品。只要商品种类不变，训练好的检测模型不需更新。由于检测模型对商品图片的训练速度较快，因此可以在商品种类更新后快速地完成训练，从而降低模型的开发成本和时间成本。

步骤305，获取与上一个售货机关门信号相对应的、位于货架上的第二商品所属的商品种类以及每种第二商品所对应的数量。在接收到上一次关门信号并对用户所购商品进行结算后，获得并记录在货架上摆放的第二商品所属的商品种类以及每种第二商品所对应的数量。

步骤306，根据每种第一商品所对应的数量以及每种第二商品所对应的数量确定用户取出的商品种类和每种取出商品所对应的数量。

获取与一个或多个用户取出的商品组合相对应的一个或多个商品组合数量，根据每种取出商品所对应的数量获得用户取出的商品总数量。如果商品总数量与至少一个商品组合数量相同，则确定商品组合与待认定商品结果匹配。

例如，在接收到上一次关门信号并对用户所购商品进行结算后，获得在货架上摆放的第二商品为饮料A、饮料B和饮料C三种饮料，饮料A的数量为2件，饮料B的数量为3件，饮料C的数量为3件，保持上述的数据。

采用神经网络技术识别在第一商品的图像中的第一商品为饮料A、饮料B和饮料C三种饮料，饮料A的数量为2件，饮料B的数量为2件，饮料C的数量为1件。

基于上述的数据可以确定用户取出的商品种类为饮料B和饮料C，并且饮料B所对应的数量为1，饮料C所对应的数量为2，获得用户取出的商品总数量为3件。商品组合{饮料A、饮料A、饮料A}与商品组合{饮料B、饮料C、饮料C}的商品组合数量都为3，用户取出的商品总数量与两个商品组合数量都相同，则确定商品组合与待认定商品结果匹配。

如果商品组合与待认定商品结果不匹配，则生成提示信息，用以进行异常提示。商品组合与待认定商品结果不匹配可以有多种情况，例如，用户错将别的商品放在货架上，或者用户将空瓶放在货架上等。

在一个实施例中，将用户取出的商品种类和每种取出商品所对应的数量确定为用户购买的商品种类和每种购买商品的数量，根据预设的商品价格以及用户购买的商品种类和每种购买商品的数量计算购物金额，用以进行结算处理。

例如，确定用户购买的商品种类为饮料B和饮料C，并且饮料B所对应的数量为1，饮料C所对应的数量为2。根据饮料B和饮料C的价格以及购买数量确定购物金额，可以扣除用户购买的商品并存储当前货架上的商品种类和数量，以便于在下一次接收到关门信号时进行结算时使用，将购买的商品和金额显示给用户，并扣除用户账户内的金额。

在一个实施例中，现有的自选式售货机大都是封闭式以防商品丢失。用户无法自行打开售货机拿取想要的物品，售货机只能借助机械机构将物品传送出来。并且，用户只能通过观察窗口看到商品的样品或者商品图片，无法直观地选择。用户一旦拿到商品后则无法再更改选择，从而造成诸多不便，用户体验差。

如图4所示，售货机40上设置有用户可以打开或关闭的柜门。每一层货架42的底部安装重量传感器43、顶部安装有摄像头41，柜门安装关门传感器和电子门锁，柜门上还安装有帮助自行关闭的自动闭门器等。关门传感器可以为光学传感器、触觉传感器等，设置在售货机的柜门上，用于感应柜门是否关闭。在柜门先被打开再被关闭的情况下进行购物结算。

用户通过手机或通过售货机40上的屏幕进行身份识别和验证，用户通过验证后解锁电子门锁，用户可以自行打开柜门选购物品。响应于柜门关闭，可以根据用户购买的商品扣除用户账户内的金额，并更新库存管理信息。不同于现有的封闭式售货机，对于售货机40，用户能够方便地自己拿取商品，还能够随时更换想要选购的物品，从而提高了用户体验。

用户自选商品完毕，关门传感器检测到柜门关闭时，电子门锁将柜门锁住，通过重量传感器判断货架42重量有变化，读取货架42所放置的商品的单位重量列表，例如，货架42上仅放置有饮料A，将货架42的重量变化值除以饮料A的单位商品重量，获取饮料A的个数。

通过摄像头42拍照，调用商品检测模型确定图像内各个商品的位置，根据商品的位置，将各个商品的图片截取出来。调用识别模型识别各个商品的图片，判断商品的种类为饮料A，并获得商品的数量，即饮料A的数量。取得上次关门后货架42上的原有商品数量，将原有商品数量减去当前获得的商品数量，得到客户购买的商品数量。匹配通过图像识别和重量传感器分别计算出的两个商品数量，如果数量匹配，则确定了用户购买的商品，如果不匹配则触发异常警告，提示工作人员检查。

在一个实施例中，如图5所示，本公开提供一种选购商品的识别装置50，包括：重量变化确定模块51、商品组合获取模块52、商品识别模块53、购买商品确定模块54、购买商品结算模块55和提示信息生成模块56。

当接收到售货机关门信号时，重量变化确定模块51确定重量发生变化的货架并获得货架的重量变化值。商品组合获取模块52基于重量变化值确定用户取出的商品组合。商品识别模块53对采集的与货架相对应的监控图像进行识别，根据待认定商品结果获得待认定商品结果；其中，待认定商品结果包括：用户取出的商品的种类和数量。

购买商品确定模块54判断商品组合与待认定商品结果是否匹配，如果是，则根据待认定商品结果确定用户购买的商品。如果商品组合与待认定商品结果不匹配，提示信息生成模块56则生成提示信息，用以进行异常提示。

在一个实施例中，重量变化确定模块51接收关门传感器发送的售货机关门信号，其中，关门传感器设置在售货机的柜门上。重量变化确定模块51接收与货架对应设置的重量传感器发送的重量检测信号，基于重量检测信号确定重量变化值。

购买商品确定模块54获取与一个或多个用户取出的商品组合相对应的一个或多个商品组合数量。购买商品确定模块54根据每种取出商品所对应的数量获得用户取出的商品总数量，如果商品总数量与至少一个商品组合数量相同，则购买商品确定模块54确定商品组合与待认定商品结果匹配。

购买商品确定模块54将用户取出的商品种类和每种取出商品所对应的数量确定为用户购买的商品种类和每种购买商品的数量。购买商品结算模块55根据预设的商品价格以及用户购买的商品种类和每种购买商品的数量计算购物金额，用以进行结算处理。

如图6所示，商品组合获取模块52包括：单位重量获取单元521和组合确定单元522。单位重量获取单元521获取与货架相对应的商品单位重量。组合确定单元522根据商品单位重量确定与重量变化值相对应的商品组合。

在一个实施例中，组合确定单元522将与货架相对应的商品进行组合，获得一个或多个商品组合；其中，每个商品组合中包括至少一种商品。组合确定单元522根据每种商品的商品单位重量计算每个商品组合对应的商品组合重量，将商品组合重量与重量变化值相匹配的一个或多个商品组合确定为用户取出的商品组合。

如果商品组合重量与重量变化值之间的差值在预设的差值范围内，则组合确定单元522确定与此商品组合重量对应的商品组合为与重量变化值相对应的商品组合。

如图7所示，商品识别模块53包括：图像获取单元531、位置确定单元532、图像截取单元533、图像识别单元534、原有商品获取单元535和商品确定单元536。

图像获取单元531获取在接收到关门信号时采集的监控图像。位置确定单元532在监控图像中确定位于货架上的第一商品的位置。图像截取单元533根据第一商品的位置在监控图像中截取第一商品的图像。图像识别单元534识别在第一商品的图像中的第一商品所属的商品种类，并获得每种第一商品所对应的数量。

原有商品获取单元535获取与上一个售货机关门信号相对应的、位于货架上的第二商品所属的商品种类以及每种第二商品所对应的数量。商品确定单元536根据每种第一商品所对应的数量以及每种第二商品所对应的数量确定用户取出的商品种类和每种取出商品所对应的数量。

在一个实施例中，图像识别单元534通过Softmax函数建立卷积神经网络的全连接层，通过卷积神经网络计算第一商品属于各种类的置信度，将置信度大于预设的阈值的种类作为第一商品所属的种类。卷积神经网络的各卷基层之间设置有池化层，在最后一个卷积层之后设置有批标准化层。

根据本公开的又一方面，提供一种售货机，包括如上任一实施例中的选购商品的识别装置。

图8为根据本公开的选购商品的识别装置的另一个实施例的模块示意图。如图8所示，该装置可包括存储器81、处理器82、通信接口83以及总线84。存储器81用于存储指令，处理器82耦合到存储器81，处理器82被配置为基于存储器81存储的指令执行实现上述的选购商品的识别方法。

存储器81可以为高速RAM存储器、非易失性存储器(non-volatile memory)等，存储器81也可以是存储器阵列。存储器81还可能被分块，并且块可按一定的规则组合成虚拟卷。处理器82可以为中央处理器CPU，或专用集成电路ASIC(Application SpecificIntegrated Circuit)，或者是被配置成实施本公开的选购商品的识别方法的一个或多个集成电路。

在一个实施例中，本公开提供一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，指令被处理器执行时实现如上任一个实施例中的选购商品的识别方法。

上述实施例中的选购商品的识别方法、装置以及售货机，当接收到售货机关门信号时，确定重量发生变化的货架的重量变化值并确定用户取出的商品组合；根据对与货架相对应的监控图像识别的结果获得待认定商品结果，如果商品组合与待认定商品结果匹配，则根据待认定商品结果确定用户购买的商品；无需对商品粘贴标签或其它操作，不增加商品的成本，补货简便；通过摄像装置与称重装置的组合对用户选购的商品信息进行双重验证，提升了对于商品的识别能力，能准确识别商品的异常，对于错放商品能及时发现，有效提高了防欺骗能力，增强了交易的可靠性；用户拿取商品后会自动结算，实现了一种全新的商品贩卖形式，能够提高用户的使用感受度。

可能以许多方式来实现本公开的方法和系统。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和系统。用于方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。

本公开的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本公开限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本公开的原理和实际应用，并且使本领域的普通技术人员能够理解本公开从而设计适于特定用途的带有各种修改的各种实施例。

Claims (25)

1.一种选购商品的识别方法，包括：

当接收到售货机关门信号时，确定重量发生变化的货架并获得所述货架的重量变化值；

基于所述重量变化值确定用户取出的商品组合；

对采集的与所述货架相对应的监控图像进行识别，根据识别结果获得待认定商品结果，包括：

获取在接收到所述关门信号时采集的所述监控图像；

在所述监控图像中确定位于所述货架上的第一商品的位置；

根据所述第一商品的位置在所述监控图像中截取所述第一商品的图像；

识别在所述第一商品的图像中的第一商品所属的商品种类，并获得每种第一商品所对应的数量；

获取与上一个售货机关门信号相对应的、位于所述货架上的第二商品所属的商品种类以及每种第二商品所对应的数量；

根据所述每种第一商品所对应的数量以及所述每种第二商品所对应的数量确定用户取出的商品种类和每种取出商品所对应的数量；

其中，所述监控图像为摄像装置采集的所述货架上剩余的商品的图像；所述待认定商品结果包括：用户取出的商品的种类和数量；

判断所述商品组合与所述待认定商品结果是否匹配，如果是，则根据所述待认定商品结果确定用户购买的商品。

2.如权利要求1所述的方法，其中，所述基于所述重量变化值确定用户取出的商品组合包括：

获取与所述货架相对应的商品单位重量；

根据所述商品单位重量确定与所述重量变化值相对应的商品组合。

3.如权利要求2所述的方法，其中，所述根据所述商品单位重量确定与所述重量变化值相对应的商品组合包括：

将与所述货架相对应的商品进行组合，获得一个或多个商品组合；其中，每个商品组合中包括至少一种商品；

根据每种商品的商品单位重量计算每个商品组合对应的商品组合重量；

将所述商品组合重量与所述重量变化值相匹配的一个或多个商品组合确定为所述用户取出的商品组合。

4.如权利要求3所述的方法，还包括：

如果所述商品组合重量与所述重量变化值之间的差值在预设的差值范围内，则确定与此商品组合重量对应的商品组合为与所述重量变化值相对应的商品组合。

5.如权利要求1所述的方法，所述识别在所述第一商品的图像中的第一商品所属的商品种类包括：

通过Softmax函数建立卷积神经网络的全连接层，通过所述卷积神经网络计算所述第一商品属于各种类的置信度；

将置信度大于预设的阈值的种类作为所述第一商品所属的种类。

6.根据权利要求5所述的识别方法，其中，

所述卷积神经网络的各卷基层之间设置有池化层，在最后一个卷积层之后设置有批标准化层。

7.如权利要求1所述的方法，所述判断所述商品组合与所述待认定商品结果是否匹配包括：

获取与一个或多个所述用户取出的商品组合相对应的一个或多个商品组合数量；

根据所述每种取出商品所对应的数量获得用户取出的商品总数量；

如果所述商品总数量与至少一个所述商品组合数量相同，则确定所述商品组合与所述待认定商品结果匹配。

8.如权利要求1所述的方法，所述根据所述待认定商品结果确定用户购买的商品包括：

将所述用户取出的商品种类和每种取出商品所对应的数量确定为用户购买的商品种类和每种购买商品的数量；

根据预设的商品价格以及所述用户购买的商品种类和每种购买商品的数量计算购物金额，用以进行结算处理。

9.如权利要求1所述的方法，还包括：

如果所述商品组合与所述待认定商品结果不匹配，则生成提示信息，用以进行异常提示。

10.如权利要求1所述的方法，还包括：

接收到关门传感器发送的所述售货机关门信号，其中，所述关门传感器设置在售货机的柜门上。

11.如权利要求1所述的方法，其中，

接收到与所述货架对应设置的重量传感器发送的重量检测信号，基于所述重量检测信号确定所述重量变化值。

12.一种选购商品的识别装置，包括：

重量变化确定模块，用于当接收到售货机关门信号时，确定重量发生变化的货架并获得所述货架的重量变化值；

商品组合获取模块，用于基于所述重量变化值确定用户取出的商品组合；

商品识别模块，用于对采集的与所述货架相对应的监控图像进行识别，根据待认定商品结果获得待认定商品结果；其中，所述监控图像为摄像装置采集的所述货架上剩余的商品的图像；所述待认定商品结果包括：用户取出的商品的种类和数量；所述商品识别模块，包括：

图像获取单元，用于获取在接收到所述关门信号时采集的所述监控图像；

位置确定单元，用于在所述监控图像中确定位于所述货架上的第一商品的位置；

图像截取单元，用于根据所述第一商品的位置在所述监控图像中截取所述第一商品的图像；

图像识别单元，用于识别在所述第一商品的图像中的第一商品所属的商品种类，并获得每种第一商品所对应的数量；

原有商品获取单元，用于获取与上一个售货机关门信号相对应的、位于所述货架上的第二商品所属的商品种类以及每种第二商品所对应的数量；

商品确定单元，用于根据所述每种第一商品所对应的数量以及所述每种第二商品所对应的数量确定用户取出的商品种类和每种取出商品所对应的数量；

购买商品确定模块，用于判断所述商品组合与所述待认定商品结果是否匹配，如果是，则根据所述待认定商品结果确定用户购买的商品。

13.如权利要求12所述的装置，其中，

所述商品组合获取模块，包括：

单位重量获取单元，用于获取与所述货架相对应的商品单位重量；

组合确定单元，用于根据所述商品单位重量确定与所述重量变化值相对应的商品组合。

14.如权利要求13所述的装置，其中，

所述组合确定单元，用于将与所述货架相对应的商品进行组合，获得一个或多个商品组合；其中，每个商品组合中包括至少一种商品；根据每种商品的商品单位重量计算每个商品组合对应的商品组合重量；将所述商品组合重量与所述重量变化值相匹配的一个或多个商品组合确定为所述用户取出的商品组合。

15.如权利要求14所述的装置，其中，

所述组合确定单元，还用于如果所述商品组合重量与所述重量变化值之间的差值在预设的差值范围内，则确定与此商品组合重量对应的商品组合为与所述重量变化值相对应的商品组合。

16.如权利要求12所述的装置，其中，

所述图像识别单元，用于通过Softmax函数建立卷积神经网络的全连接层，通过所述卷积神经网络计算所述第一商品属于各种类的置信度；将置信度大于预设的阈值的种类作为所述第一商品所属的种类。

17.根据权利要求16所述的装置，其中，

所述卷积神经网络的各卷基层之间设置有池化层，在最后一个卷积层之后设置有批标准化层。

18.如权利要求12所述的装置，其中，

所述购买商品确定模块，获取与一个或多个所述用户取出的商品组合相对应的一个或多个商品组合数量；根据所述每种取出商品所对应的数量获得用户取出的商品总数量；如果所述商品总数量与至少一个所述商品组合数量相同，则确定所述商品组合与所述待认定商品结果匹配。

19.如权利要求12所述的装置，其中，

所述购买商品确定模块，还用于将所述用户取出的商品种类和每种取出商品所对应的数量确定为用户购买的商品种类和每种购买商品的数量；

所述装置还包括：

购买商品结算模块，用于根据预设的商品价格以及所述用户购买的商品种类和每种购买商品的数量计算购物金额，用以进行结算处理。

20.如权利要求12所述的装置，还包括：

提示信息生成模块，用于如果所述商品组合与所述待认定商品结果不匹配，则生成提示信息，用以进行异常提示。

21.如权利要求12所述的装置，其中，

所述重量变化确定模块，用于接收关门传感器发送的所述售货机关门信号，其中，所述关门传感器设置在售货机的柜门上。

22.如权利要求12所述的装置，其中，

所述重量变化确定模块，用于接收与所述货架对应设置的重量传感器发送的重量检测信号，基于所述重量检测信号确定所述重量变化值。

23.一种售货机，其中，包括：

如权利要求12至22任一项所述的选购商品的识别装置。

24.一种选购商品的识别装置，包括：

存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如权利要求1至11中任一项所述的方法。

25.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述指令被处理器执行如权利要求1至11中任一项所述的方法。

Images