CN109766962B - 一种商品识别方法、存储介质及商品识别系统 - Google Patents

Abstract

本发明提供一种商品识别方法，用于识别无人货柜上的商品变化信息，该方法包括步骤，S1:获取无人货柜上的商品图片，得出无人货柜上商品变化的至少一种预期结果，并给每种预期结果一个预期分值。S2:生成无人货柜上商品的预期列表，并给预期列表中的每一种组合一个预期概率及S3:结合预期结果、预期分值及预期列表，得出商品变化的最终结果。本发明还提供一种存储介质，用于承载商品识别方法。本发明还提供一种商品识别系统，其包括图片获取模块、重量获取模块及结果输出模块。

Description

一种商品识别方法、存储介质及商品识别系统

【技术领域】

本发明涉及无人货柜领域，尤其涉及一种商品识别方法、存储介质及商品识别系统。

【背景技术】

在自动售卖商品的无人货柜等产品中，其内的商品会被用户购买后取走，为了便于后续的补充，自动识别被取走的商品成为了必要。

现有的无人货柜商品识别主要是通过对无人货柜上的商品拍照获取图片，然后利用深度学习的检测网络识别图片中的信息以确定有哪些商品被取走。然而，单纯的经过图片识别会存在识别误差，无法满足无人货柜的真实需求。

【发明内容】

为克服现有问题，本发明提供一种商品识别方法、存储介质及商品识别系统。

本发明解决技术问题的技术方案是提供一种商品识别方法，用于识别无人货柜上的商品变化信息，该方法包括步骤：S1:获取无人货柜上的商品图片，得出无人货柜上商品变化的至少一种预期结果，并给每种预期结果一个预期分值；S2:根据无人货柜上的商品总重量及每件商品的单重，生成无人货柜上商品的预期列表及预期列表中的每一种组合的预期概率；及S3:结合预期结果、预期分值、预期列表及预期概率，得出商品变化的最终结果；步骤S3包括步骤：

S31，选择预期结果作为初步结果；及

S32，利用预期列表来验证初步结果，并比较预期分值，得到最终结果；

基于正态分布规则计算获得所述预期概率，商品在加工存在加工误差，且检测单重时也存在检测误差，导致商品的实际测量单重与标准单重之间存在误差，这种误差呈正态分布。

优选地，步骤S1包括步骤：S11，分次拍摄无人货柜上的商品并形成图片；S12，将步骤S11拍摄的图片分别提取特征；S13，将步骤S12中分别提取的特征进行对比获取差异特征，并根据差异特征得出商品变化的预期结果，并给每个预期结果一个预期分值。

优选地，所述分次拍摄为在无人货柜上的商品发生变化前及发生变化后进行的分次拍摄。

优选地，提取特征为提取商品的外观特征，外观特征包括形状、颜色及图案中的一种或多种。

优选地，步骤S12中提取图片特征的手段为将图片放入深度学习的检测网络中进行提取。

优选地，步骤S2包括步骤，S21：获取每件商品的标准单重及无人货柜上的商品总重；S22：形成预期列表；S23：给预期列表中所有组合一个预期概率，并剔除预期概率低于误差范围临界值的组合。

优选地，步骤S23还包括步骤：S231，剔除预期概率低于误差范围临界值的组合。

本发明还提供一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行商品识别方法。

本发明还提供一种商品识别系统，所述商品识别系统包括图片获取模块、重量获取模块及结果输出模块，所述图片获取模块用于获取无人货柜上的商品图片，所述重量获取模块用于获取无人货柜上的商品总重及每件商品的单重；所述结果输出模块用于根据获取的商品图片得到预期结果及预期分值，获取的商品总重及每件商品的单重获取预期列表，并综合预期结果、预期分值及预期列表输出商品变化可能性最大的最终结果，选择预期结果作为初步结果；及利用预期列表来验证初步结果，并比较预期分值，得到最终结果；

基于正态分布规则计算获得所述预期概率，商品在加工存在加工误差，且检测单重时也存在检测误差，导致商品的实际测量单重与标准单重之间存在误差，这种误差呈正态分布。

与现有技术相比，本发明提供的一种模型训练方法具有以下优点：

1.通过重量信息生成的预期列表对图片生成的预期结果进行分层筛选，同时结合每个预期结果对应的预期分值，以提高商品识别的准确率。

2.在获取预期列表时给每个预期列表中的组合一个预期概率，并提出预期概率小于预期误差临界值的组合。

【附图说明】

图1是本发明第一实施例商品识别方法流程示意图。

图2是图1中步骤S1的流程示意图。

图3A是图1中步骤S2的流程示意图。

图3B是第一实施例中商品单重小概率误差的原理示意图。

图4A是图1中步骤S3的流程示意图。

图4B是第一实施例中结合初步结果及预期列表的原理图。

图5是第一实施例中步骤S3的流程示意图。

【具体实施方式】

为了使本发明的目的，技术方案及优点更加清楚明白，以下结合附图及实施实例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

请参阅图1，本发明提供一种商品识别方法，用于识别无人货柜上的商品变化，该方法包括步骤，

S1：获取无人货柜上的商品图片，得出无人货柜上商品变化的预期结果，并给每种预期结果一个预期分值；

S2：根据无人货柜上的商品总重量及每件商品的单重，生成无人货柜上商品的预期列表，并给预期列表中的每一种组合一个预期概率；及

S3：结合预期结果、预期分值及预期列表，选取商品变化可能性最大的最终结果。

即，先获取无人货柜上的商品图片，通过图片分析货柜上的商品是否有变化及变化的具体状态形成预期结果，并给每种变化的具体状态及预期结果一个预期分值，也即该种变化的可能性大小。然后根据货柜上现有的商品总重及每件商品的单重计算出货柜上可能存在商品的预期列表，并通过预期列表验证预期结果，并根据预期分值得到货柜上商品变化的最大可能结果。

作为一种实施例，步骤S1中，通过先后分两次对无人货柜上的商品进行拍照形成图片，并使用深度学习的网络将两次拍摄的图片进行特征提取，再将提取的特征进行对比，以得到后一次拍摄的图片相对前一次拍摄的图片之间的差异特征，通过差异特征可分析获得预期结果，也即货柜上的商品发生变化的状况。

可以理解，分次拍摄为在不同的时间段分别对无人货柜上的商品进行拍摄，优选的，在无人货柜上的商品发生变化前及变化后分别对无人货柜上的商品进行拍摄，如无人货柜上的一种、两种或多种商品被取走前及被取走后。

由于货柜上的商品存在层叠放置、商品间外观差异很小或拍摄过程中的拍摄角度不同等问题，通过拍摄的图片可能无法准确的捕捉到货柜上每一个商品的信息，所以将分次拍摄后的图片特征进行比对所获得的差异特征对应有多种结果，也即会有多种预期结果。根据可能性的大小，给予每种预期结果一个预期分值。

以一个具体的例子说明可能性的大小，也即预期分值的给定依据，设定预期分值越高，可能性越大。如第一种预期结果是货柜上被取走了一瓶可口可乐，而第二种预期结果是被取走了一瓶百事可乐。但是由于拍摄问题，只能确定的判断货柜上缺少的是一瓶可乐，可乐上有四个字的特征，但是商品上的前两个字未被准确的捕捉到，这时，可根据第二个字的特征来决定预期结果的可能性，也即预期分值的高低。当第二个字的特征与“事”字特征更相似时，则被取走了一瓶百事可乐这种预期结果的预期分值要高于被取走了一瓶可口可乐这种预期结果的预期分值。反之，若第二个字的特征与“口”字特征更相似时，则被取走一瓶可口可乐这种预期结果的预期分值要高于被取走了一瓶百事可乐这种预期结果的预期分值。

得到多种预期结果后，为了进一步提高识别无人货柜中商品变化的准确率，还会根据无人货柜上的商品单重及总重生成商品的预期列表。如，无人货柜上初始的商品为1瓶可口可乐、1瓶百事可乐及1瓶雪碧，单重分别为可口可乐0.5kg、百事可乐0.6kg及雪碧0.6kg，当取走一瓶百事可乐时，无人货柜内的商品总重为0.5kg加上0.6kg，此时单纯的依靠重量，对无人货柜上的商品生成的预期列表为两个，分别是可口可乐及百事可乐，或可口可乐及雪碧。也即，当通过图片判断货柜上被取走的是一瓶百事可乐或可口可乐时，此时结合重量生成的预期列表结果，可以排除可口可乐被取走的可能，进而判断无人货柜上被取走的为百事可乐。通过将预期结果、预期分值及预期列表，可以提高识别无人货柜上商品变化的准确度。

可以理解，无人货柜上商品的变化可以是商品被取走，对应的商品总重减少，也可以是商品增加，对应的商品总重增加。

请参阅图2，步骤S1包括步骤，

S11：分次拍摄无人货柜上的商品并生成图片；

S12：将步骤S11拍摄的图片分别提取特征；

S13：将步骤S12中分别提取的特征进行对比，得出商品变化的预期结果，并给每个预期结果一个预期分值。

步骤S11具体为，分前后两个时间段，分别对同一个无人货柜进行拍摄，该拍摄可以从任意角度拍摄，可以是一次拍摄所有的商品，也可以是分段拍摄，只要能过获取无人货柜上前后两次商品的全部信息，并转换为图片即可。

可以理解，分段拍摄是指一次只拍摄无人货柜上的局部商品，然后将拍摄的局部商品拼接为具有无人货柜上所有商品的一张图片。

步骤S12具体为，将步骤S11中拍摄的图片送入深度学习的检测网路中进行检测。使用的检测网络包括Faster rcnn、SSD、FPN等，可以得到图片的特征。

步骤S13具体为，将步骤S12中提取到的前后两张图片的特征进行比对获取特征差异，可得到商品变化的预期结果。如后一次拍摄的图片中，特征比第一次图片中的特征少了一瓶饮料的特征，缺少的饮料特征即为两张图片的差异特征。由于饮料有很多种，那么就会有多个预期结果，每种预期结果对应一种饮料，且每种预期结果对应有一个预期分值。而缺少的这瓶饮料的特征与那种饮料的相同点更多，即缺少的饮料是那种饮料的可能性更高，也即对应那种饮料预期结果的预期分值就越高。

可以理解，预期结果为两张图片对比后的一种结果，其变化的商品可以是一个、两个或多个。如，当货柜上被取走的商品为可乐、方便面和薯片三种商品时，生成的多个预期结果分别为被取走的是哪一种可乐、哪一种方便面以及哪一种薯片的排列组合。

可以理解，在其他实施例中，S1中也只拍摄一次以获取1张图片，将所所有的商品图片的特征信息及货柜上的商品的特征信息提前存储到数据库中，将拍摄到的图片提取特征与数据库中的商品特征信息进行对比，以得出预期结果。

可以理解，提取特征为提取商品的外观特征，外观特征包括形状、颜色及图案中的一种或多种。

请参阅图3A-3B，步骤S2包括步骤，

S21：获取每件商品的标准单重及无人货柜上的商品总重；

S22：形成预期列表；

S23：计算预期列表中所有组合预期概率。

步骤S21具体为，获取无人货柜上所有商品的单重，并获得商品总重。获得商品单重是指获取每款商品的标准单重信息并存储，如可口可乐的标准单重为0.5kg，百事可乐的标准单重为0.6kg。获得商品总重为在无人货柜上设置重力传感器，以保证以实时监测到无人货柜上的商品总重量。

步骤22具体为，通过步骤S21取得的商品的标准单重及无人货柜上的商品总重，形成预期列表。预期列表即为通过商品标准单重相加，等于总重量的所有可能商品的组合。如货柜上的商品总重为6.0kg，组成该总重的商品预期列表即为：6件标准单重为1.0kg的商品、2件标准单重为3.0kg的商品、3件标准单重为2.0kg的商品及3件重量分别为1.0kg、2.0kg、3.0kg的商品，只要商品的标准单重相加可以等于货架上商品总重的商品组合，都属于预期列表中的组合。

步骤S23具体为，给预期列表中的每一种组合一个预期概率。由于商品在加工存在加工误差，且检测单重时也会有一定的检测误差，导致商品的实际测量单重与标准单重之间存在误差。而经过统计，这种误差通常呈正态分布，如一个瓶可乐的单重为0.5kg，那么在一批可乐中，由于都是按照0.5kg这个标准去生产，那么这一批大部分的可乐重量都会是靠近0.5kg。也即0.5kg为一个峰值，出现概率最高，而越是偏离0.5kg重量的出现概率越低，如0.49kg及0.51的出现概率大于0.48kg及0.52kg的出现概率。也即，每一个商品单重皆有与之对应的出现概率，越靠近标准单重，出现概率就越高，出现概率可通过正态分布概率计算公式得出。

由于货架上的商品总重是由实际测量得到，即通过商品总重与商品标准单重形成的预期列表中的每一种组合也有与之对应的预期概率。如实际测量到的商品总重为6.6kg，其组合可能是6件商品单重为1.1kg的商品、2件商品单重为3.3kg的商品、3件商品单重为2.2kg的商品等等系列的组合。其每种组合的预期概率即为组合中商品单重出现概率之和除以组合中的商品个数。如，假设总重6.6kg的商品形成的预期列表中，有两种组合分别是：组合1，包含2件商品单重为3.3kg的商品，及组合2包含6件单重为1.1kg的商品。其中，组合1中的2件商品相同，标准单重皆为3kg，组合2中的6件商品也相同，标准单重皆为1kg，组合1的预期概率即为2件3.3kg商品单重相对于3.0kg标准单重的出现概率之和除以商品数2，组合2的预期概率即为6件1.1kg商品单重相对于1.0kg标准单重出现概率之和再除以商品数6。

请参阅图4A-4B，步骤S3包括步骤，

S31：选择预期结果作为初步判断结果；

S32：利用预期列表验证初步结果，并比较预期分值，得到最终结果。

步骤S31具体为，将多个预期结果作为初步结果输出。如预期结果有从无人货柜中取走的商品为可口可乐、百事可乐或雪碧三种中的一种，这三种预期结果每一种都有一个对应的预期分值，将这三种预期结果当作初步结果输出。

步骤S32验证初步结果的方法为0-1的背包算法，将多个预期结果输出后，通过分层判断，即通过重量形成的预期列表作一个对预期结果的分层筛选，将最终得到的多个结果中选择预期分值最高的一个，也即可能性最大的一个作为最终结果，以提高最终结果的准确度。如将N种预期结果依次输出，并与预期列表中的每一种组合遍历匹配，得出最终结果，并选取预期分值最高的一个结果输出。

可以理解，匹配即为判断预期结果中的商品是否被预期列表中的组合包括进去。

请参阅图5，步骤S3还包括步骤，

S30：剔除预期概率低于误差范围临界值的组合；

计算出预期列表中每种组合的预期概率后，设定一个预期误差临界值，当组合的预期概率小于预期误差临界值时，将该种组合从预期列表中剔除，以剔除小概率事件，加大准确率。

可以理解，预期误差临界值可以自定义，在实际使用时，选择最优的预期误差临界值以达到剔除小概率误差即可。

以一个具体实例说明，假设无人货柜上初始的物品是一瓶可口可乐、一瓶百事可乐及一瓶雪碧，预期结果为3种，分别是被取走一瓶可口可乐、被取走一瓶百事可乐及被取走一瓶雪碧，可口可乐的标准单重为0.5kg，对应被取走的预期分值为10分，百事可乐的标准单重为0.6kg，对应被取走的预期分值为9分，雪碧的标准单重为0.6kg，对应被取走预期分值为8分，将这3种预期结果当做初步结果输出。货柜上的商品总重为1.1kg，对应生成的预期列表为可口可乐+雪碧或可口可乐+百事可乐。由于百事可乐+雪碧的重量为1.2 kg，其与总重1.1kg偏离值相对较大，可以理解，其通过误差范围临界值的设定被剔除，即认为百事可乐+雪碧为小概率事件。此时将总重看成一个背包的容积，需要选择一种预期结果装入背包，且预期分值最高。

由于总重已经排除掉可口可乐被取走，即背包的容积只支撑装入百事可乐被取走或雪碧被取走这两种预期结果，也即货柜上只剩百事可乐+雪碧的情况，所以货柜上剩下的商品应该为可口可乐+百事可乐或雪碧这两种组合。此时将两种预期结果分别装入背包，百事可乐被取走，也即货柜上剩下商品为可口可乐+雪碧的这种预期结果对应的预期分值为9分，而雪碧被取走，也即货柜上剩下商品为可口可乐+百事可乐的这种预期结果对应的预期分值为8分，选择其中预期分值高的，也即最终结果为百事可乐被取走。

可以理解，最终结果除了选择预期分值较高的以外，也可以综合考虑预期分值及预期概率，即选择预期分值与每个组合的预期概率相加数值最高的作为最终结果。

可以理解，步骤S1与步骤S2之间的顺序可以置换，也即先进行步骤S2，再进行步骤S1，只要能够通过步骤S3输出结果即可。

在本施例还提供一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述方法步骤。存储介质可以包括如软盘、光盘、DVD、硬盘、闪存、U盘、CF卡、SD卡、MMC卡、SM卡、记忆棒（Memory Stick）、XD卡等。

计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备（可以是个人计算机设备、服务器或其他网络设备等）用以执行本发明方法的全部或部分步骤。

本发明还提供一种商品识别系统，商品识别系统包括图片获取模块、重量获取模块及结果输出模块，所述图片获取模块用于获取无人货柜上的商品图片，所述重量获取模块用于获取无人货柜上的商品总重及每件商品的单重；所述结果输出模块用于根据获取的商品图片得到预期结果及预期分值，获取的商品总重及每件商品的单重获取预期列表，并综合预期结果、预期分值及预期列表输出商品变化可能性最大的最终结果。

与现有技术相比，本发明所述提供的一种商品识别方法具有以下优点：

1.通过重量信息生成的预期列表对图片生成的预期结果进行分层筛选，同时结合每个预期结果对应的预期分值，以提高商品识别的准确率。

2.在获取预期列表时给每个预期列表中的组合一个预期概率，并提出预期概率小于预期误差临界值的组合。

本发明所提供的存储介质及商品识别系统均具有如上的有益效果。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的原则之内所作的任何修改，等同替换和改进等均应包含本发明的保护范围之内。

Claims (9)

1.一种商品识别方法，用于识别无人货柜上的商品变化信息，其特征在于：该方法包括步骤：

S1:获取无人货柜上的商品图片，得出无人货柜上商品变化的至少一种预期结果，并给每种预期结果一个预期分值；

S2:根据无人货柜上的商品总重量及每件商品的单重，生成无人货柜上商品的预期列表及预期列表中的每一种组合的预期概率；及

S3:结合预期结果、预期分值、预期列表及预期概率，得出商品变化的最终结果；

步骤S3包括步骤：

S31，选择预期结果作为初步结果；及

S32，利用预期列表来验证初步结果，并比较预期分值，得到最终结果；

基于正态分布规则计算获得所述预期概率，商品在加工存在加工误差，且检测单重时也存在检测误差，导致商品的实际测量单重与标准单重之间存在误差，这种误差呈正态分布。

2.如权利要求1所述的一种商品识别方法，其特征在于：步骤S3进一步包括步骤：

S30，剔除预期概率低于误差范围临界值的组合。

3.如权利要求1所述的一种商品识别方法，其特征在于：步骤S1包括步骤：

S11，分次拍摄无人或柜上的商品并形成图片；

S12，将步骤S11拍摄的图片分别提取特征；及

S13，将步骤S12中分别提取的特征进行对比获取差异特征，并根据差异特征得出商品变化的预期结果，并给每个预期结果一个预期分值。

4.如权利要求3所述的一种商品识别方法，其特征在于：所述分次拍摄为在无人货柜上的商品发生变化前及发生变化后进行的分次拍摄。

5.如权利要求4所述的一种商品识别方法，其特征在于：提取特征为提取商品的外观特征，外观特征包括形状、颜色及图案中的一种或多种。

6.如权利要求4所述的一种商品识别方法，其特征在于：步骤S12中提取图片特征的手段为将图片放入深度学习的检测网络中进行提取。

7.如权利要求1所述的一种商品识别方法，其特征在于：步骤S2包括步骤，

S21：获取每件商品的标准单重及无人货柜上的商品总重；

S22：形成预期列表；及

S23：给预期列表中所有组合一个预期概率。

8.一种存储介质，其特征在于：所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1-7中任一项中所述商品变化识别方法。

9.一种商品识别系统，其特征在于：所述商品识别系统包括：

图片获取模块，用于获取无人货柜上的商品图片，得出无人货柜上商品变化的至少一种预期结果，并给每种预期结果一个预期分值；

重量获取模块，用于获取无人货柜上的商品总重量，并根据每件商品的单重及商品总重量，生成无人货柜上商品的预期列表及预期列表中的每一种组合的预期概率；

及结果输出模块，用于结合预期结果、预期分值、预期列表及预期概率，得出商品变化的最终结果，选择预期结果作为初步结果；及利用预期列表来验证初步结果，并比较预期分值，得到最终结果；

基于正态分布规则计算获得所述预期概率，商品在加工存在加工误差，且检测单重时也存在检测误差，导致商品的实际测量单重与标准单重之间存在误差，这种误差呈正态分布。

Images