CN107610379A - 一种购物识别方法及购物车识别装置 - Google Patents
一种购物识别方法及购物车识别装置 Download PDFInfo
- Publication number
- CN107610379A CN107610379A CN201710811178.8A CN201710811178A CN107610379A CN 107610379 A CN107610379 A CN 107610379A CN 201710811178 A CN201710811178 A CN 201710811178A CN 107610379 A CN107610379 A CN 107610379A
- Authority
- CN
- China
- Prior art keywords
- msub
- commodity
- mrow
- image
- shopping cart
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明实施例提供的一种购物识别方法及购物车识别装置，属于无人超市技术领域。该方法通过获取用户放入购物车内的商品的条形码信息，从而生成购物清单，通过所述购物清单检查用户加入购物车商品的种类和数量是否与所述购物清单上的商品一致，并且在检查到商品不一致或者检查到商品不在所述购物清单时能够及时提醒用户将商品扫码后再加入所述购物车，并且通过所述购物车对商品进行自助扫码以及识别出用户具体扔进所述购物车内的商品以及对应价格，从而进行实时计数和结账。通过对所述商品进行图像识别有效的避免了遗漏未加入购物清单的商品，以及有效地减少用户结账时因商品扫码所需排队等待的时间，提高用户的购物效率，节省个人时间。
Description
技术领域
本发明涉及无人超市技术领域，具体而言，涉及一种购物识别方法及购物车识别装置。
背景技术
超市是人们经常去的地方，经常看到顾客在收银柜台前排队结账，而无人超市可以减少收银员，改成智能结账和顾客自助收银。目前自助收银系统和自助售货机已经日益完善和成熟，不仅减少了顾客排队等待的时间，还提高了顾客的购物效率以及商家的收银效率。给人们的生活带来了极大的便利。然而目前无人超市的自助结账，买东西，付不付钱、付多少钱全部由顾客自己决定，即使顾客没有结账就离开，也不会有工作人员阻拦。如此依赖顾客诚信和自觉性的购物系统流程，严重威胁着商家的利益，同时败坏社会风气。唯一的监控设备摄像头也有它的局限性，工作人员不可能时时刻刻都盯着摄像头，去观察顾客有没有多拿商品、有没有少结账甚至有没有结账等等，即使工作人员能够及时发现未能诚信付款或偷拿商品的顾客，在管理上也是比较复杂的。从而，现有技术中还存在对顾客所选购商品的识别和计数的技术问题。
发明内容
本发明提供一种购物识别方法及购物车识别装置，旨在改善上述技术问题。
本发明提供的一种购物识别方法，应用于购物车识别装置，包括：获取用户放入购物车内的商品的条形码信息，并生成购物清单；判断所述购物车内是否有未扫描条形码的商品；若是，获取所述购物车内的所有的商品的总价。
优选地，所述判断所述购物车内是否有未扫描条形码的商品，包括：采集所述购物车内的所有商品的图像；基于所述图像，识别所述购物车内的商品数量和商品种类；判断所述商品种类和所述商品数量是否与所述购物清单一致；若是，判定所述购物车内的商品均已经扫描条形码；若否，判定所述购物车内的有至少一个商品没有扫描条形码。
优选地，所述基于所述图像，识别所述购物车内的商品数量和商品种类，包括：判断所述图像中的商品图像是否出现重叠；若是，基于图像分割算法对所述图像进行图像分离，获取经分离的目标图像；获取所述目标图像中的图像特征；基于所述图像特征查询预设图像数据库，获取所述图像特征所对应的商品种类以及商品数量。
优选地，所述基于图像分割算法对所述图像进行图像分离，包括：将所述图像转换成灰度图；基于灰度级的单个随机变量来分配所述灰度图的像素的强度值；获取幅度大于1的灰度级的图像直方图分布的幅度阈值，所述幅度阈值满足：其中，l0表示振幅大于或等于1的灰度级，St表示灰度级l0出现的总和；基于所述图像直方图获取每个灰度图像的自适应窗口宽度，所述自适应窗口宽度w满足：其中，lt表示在直方图中振幅大于或等于阈值振幅Tp的灰度级总数，α是一个常量{α∈Z+|1≤α≤lt}；基于垂直扫描直方图获取幅度大于所述幅度阈值的所有峰值；基于水平扫描直方图以获取实际峰值灰度级，所述实际峰值灰度级lr满足：其中，li表示属于由窗口w定义的灰度级范围r的灰度级的幅度；基于最高峰值的灰度级和所述灰度图像中所包含的初始化参数通过K－means聚类算法进行图像分离。
优选地，所述若是，获取所述购物车内的所有的商品的总价，之前还包括：当采集到所述购物车内的商品数量减少时，判定用户退回所述商品，并发送提示信息。
本发明提供的一种购物车识别装置，包括：数据获取单元，用于获取用户放入购物车内的商品的条形码信息，并生成购物清单；判断单元，用于判断所述购物车内是否有未扫描条形码的商品；结算单元，用于若是，获取所述购物车内的所有的商品的总价。
优选地，所述判断单元包括：采集子单元，用于采集所述购物车内的所有商品的图像；识别子单元，用于基于所述图像，识别所述购物车内的商品数量和商品种类；判断子单元，用于判断所述商品种类和所述商品数量是否与所述购物清单一致；第一结果单元，用于若是，判定所述购物车内的商品均已经扫描条形码；第二结果单元，用于若否，判定所述购物车内的有至少一个商品没有扫描条形码。
优选地，所述识别子单元包括：判断子模块，用于判断所述图像中的商品图像是否出现重叠；图像处理子模块，用于若是，基于图像分割算法对所述图像进行图像分离，获取经分离的目标图像；获取子模块，用于获取所述目标图像中的图像特征；查询子模块，用于基于所述图像特征查询预设图像数据库，获取所述图像特征所对应的商品种类以及商品数量。
优选地，所述图像处理子模块具体用于：将所述图像转换成灰度图；基于灰度级的单个随机变量来分配所述灰度图的像素的强度值；获取幅度大于1的灰度级的图像直方图分布的幅度阈值，所述幅度阈值满足：其中，l0表示振幅大于或等于1的灰度级，St表示灰度级l0出现的总和；基于所述图像直方图获取每个灰度图像的自适应窗口宽度，所述自适应窗口宽度w满足：其中，lt表示在直方图中振幅大于或等于阈值振幅Tp的灰度级总数，α是一个常量{α∈Z+|1≤α≤lt}；基于垂直扫描直方图获取幅度大于所述幅度阈值的所有峰值；基于水平扫描直方图以获取实际峰值灰度级，所述实际峰值灰度级lr满足：其中，li表示属于由窗口w定义的灰度级范围r的灰度级的幅度；基于最高峰值的灰度级和所述灰度图像中所包含的初始化参数通过K－means聚类算法进行图像分离。
优选地，所述结算单元之前，还包括：退回计算单元，用于当采集到所述购物车内的商品数量减少时，判定用户退回所述商品，并发送提示信息。
上述本发明提供的一种购物识别方法及购物车识别装置，通过获取用户放入购物车内的商品的条形码信息，从而生成购物清单，通过所述购物清单检查用户加入购物车商品的种类和数量是否与所述购物清单上的商品一致，并且在检查到商品不一致或者检查到商品不在所述购物清单时能够及时提醒用户将商品扫码后再加入所述购物车，并且通过所述购物车对商品进行自助扫码以及识别出用户具体扔进所述购物车内的商品以及对应价格，从而进行实时计数和结账。通过对所述商品进行图像识别有效地避免遗漏未加入购物清单的商品，以及有效地减少用户结账时因商品扫码所需排队等待的时间，提高用户的购物效率，节省个人时间。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的电子设备的结构框图；
图2为本发明第一实施例提供的一种购物识别方法的流程图；
图3为本发明第二实施例提供的一种购物识别方法的流程图；
图4为本发明第三实施例提供的一种购物车识别装置的功能模块示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，为本发明实施例提供的一种电子设备的结构框图。所述电子设备300包括购物车识别装置400、存储器302、存储控制器303、处理器304及外设接口305。
所述存储器302、存储控制器303、处理器304及外设接口305各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述购物车识别装置400包括至少一个可以软件或固件(firmware)的形式存储于所述存储器302中或固化在所述电子设备300的操作系统(operating system，OS)中的软件功能模块。所述处理器304用于执行存储器302中存储的可执行模块，例如所述购物车识别装置400包括的软件功能模块或计算机程序。
其中，存储器302可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read－Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read－Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read－Only Memory，EEPROM)等。其中，存储器302用于存储程序，所述处理器304在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流过程定义的服务器100所执行的方法可以应用于处理器304中，或者由处理器304实现。
处理器304可能是一种集成电路芯片，具有信号的处理能力。上述的处理器304可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。
所述外设接口305将各种输入/输入装置耦合至处理器304以及存储器302。在一些实施例中，外设接口305、处理器304以及存储控制器303可以在单个芯片中实现。在其他一些实例中，他们可以分别由独立的芯片实现。
请参阅图2，是本发明第一实施例提供的一种购物识别方法的流程图。所述购物识别方法应用于购物车识别装置，下面将对图2所示的具体流程进行详细阐述。
步骤S101，获取用户放入购物车内的商品的条形码信息，并生成购物清单。
在本实施例中，所述购物车上设有工业平板电脑、扫码模块、摄像头、以及通信模块。所述工业平板电脑用于显示购物清单和处理用户的购物数据。
其中，所述工业平板电脑包括8寸的显示屏、J1900处理器、64G固态硬盘和4G内存。所述显示屏、所述固态硬盘和所述内存均与所述处理器耦合。
其中，所述扫描模块可以为德沃的一维二维高速扫描仪，也可以是其他型号的扫描仪。在此，不作具体限定。
在本实施例中，作为一种应用场景，通过所述购物车上的扫码模块获取商品的条形码信息，并将所获取到的条形码信息发送至处理器进行处理，所述处理器将所获取到的所述条形码信息生成购物清单，并通过所述显示屏进行显示。
作为一种实施方式，用户在进行购物时，将所选择的商品通过安装在所述购物车上的扫码模块进行扫描，从而通过预先安装在所述购物车上的工业平板电脑进行处理，生成购物清单，并显示所述购物清单。
步骤S102，判断所述购物车内是否有未扫描条形码的商品。
作为一种实施方式，通过安装在所述购物车上的摄像头实时采集购物车内的商品图像，从而判断所述购物车内的商品是否与购物清单上的商品一致。当不一致时，判定所述购物车内至少有一个商品没有扫描条形码。当一致时，判定所述购物车内的商品均已经扫描条形码。具体地，采集所述购物车内的所有商品的图像；基于所述图像，识别所述购物车内的商品数量和商品种类；判断所述商品种类和所述商品数量是否与所述购物清单一致；若是，判定所述购物车内的商品均已经扫描条形码；若否，判定所述购物车内的有至少一个商品没有扫描条形码。
其中，为了识别所述购物车内的商品数量和商品种类，优选地，先判断所述图像中的商品图像是否出现重叠；若是，基于图像分割算法对所述图像进行图像分离，获取经分离的目标图像；获取所述目标图像中的图像特征；基于所述图像特征查询预设图像数据库，获取所述图像特征所对应的商品种类以及商品数量。
其中，为了进行图像分离，优选地，将所述图像转换成灰度图；基于灰度级的单个随机变量来分配所述灰度图的像素的强度值；获取幅度大于1的灰度级的图像直方图分布的幅度阈值，所述幅度阈值满足： 其中，l0表示振幅大于或等于1的灰度级，St表示灰度级l0出现的总和；基于所述图像直方图获取每个灰度图像的自适应窗口宽度，所述自适应窗口宽度w满足：其中，lt表示在直方图中振幅大于或等于阈值振幅Tp的灰度级总数，α是一个常量{α∈Z+|1≤α≤lt}；基于垂直扫描直方图获取幅度大于所述幅度阈值的所有峰值；基于水平扫描直方图以获取实际峰值灰度级，所述实际峰值灰度级lr满足：其中，li表示属于由窗口w定义的灰度级范围r的灰度级的幅度；基于最高峰值的灰度级和所述灰度图像中所包含的初始化参数通过K－means聚类算法进行图像分离。
其中，为了将所述图像转换成灰度图，优选地，在灰度图像中，使用灰度级的单个随机变量来分配像素的强度值。在灰度图像的情况下，灰度级li被定义为{li∈Z+∪0|0≤li≤255}。每个灰度级在灰度图像中具有其自身的出现等级，其实际上是直方图函数值或该灰度级的密度。所需块的总数可以计算为：
其中，表示上限函数；h表示块的宽度。在图像直方图中，8－bit灰度图像的直方图包含256个块，索引值从0到255。灰度图包含分别具有最小为0和最大为255强度值的强度级。所以块的宽度h被选为1并且灰度级的最大值为255，则块的总数k变为256。
在本实施例中，为了获取所述目标图像中的图像特征，优选地，首先使用主成分分析(PCA)、线性判别分析(LDA)两种特征提取方法提取商品图像的灰度特征；其次，为了使得可以利用商品图像的彩色信息，继而分别在RGB空间和HSI空间对其彩色分量进行分通道特征提取并设计三种分类决策准则对商品图像进行识别；最后，在使用HSI彩色特征的基础上，采用一种二次分类方法进行商品识别。具体地：
(1)、基于主成分分析和线性判别分析的商品图像特征提取。
读入商品库图像。选择商品库中每类商品的一部分图像构成训练样本集X＝{Xi(m,n),m＝0,1,…，M-1；n＝0,1,…，N-1}，每幅图像Xi(m,n)可以表式为M×N的一维向量；
计算总体散布(协方差)矩阵。由式得到训练样本集的总体散布矩阵。其中K为训练样本数目，xi为第i个训练样本向量，μx为所有训练样本的平均向量；
求解散布矩阵的特征值和特征向量；
设商品图像共有c类，参加训练的样本总数为N，分属这c个类别。第ωi类有Ni个样本。训练样本属于第ωi类商品的先验概率为
按公式和生成训练样本集的类内、类间散布矩阵；
利用PCA+LDA方法求解出最具分辨能力的一组特征向量构成变换矩阵。首先利用PCA方法求出训练样本总体散布矩阵的降维子空间WPCA，然后求解出矩阵的特征向量构成WPCA，得最终变换矩阵即商品图像的降维子空间；
提取训练样本特征。仅选取最大的前d个特征值对应的特征向量组成降维子空间Td＝[a1a2…ad]。将所有训练图像投影到该子空间，即作为训练样本的d维特征向量；
提取检验样本特征。将检验样本同样投影到特征子空间Td上，就可以得到检验样本的特征；最后将检验样本的特征输入训练好的分类器中，得到识别结果。
在本实施例中，所述目标图像是指基于图像分割算法对所述图像进行图像分离后所得到的图像。
(2)、对彩色商品图像进行分通道特征提取。
对于彩色商品图像的训练样本集，首先将每幅彩色图像的三个分量分别表示成列向量的形式，然后将对应的相同分量的所有训练图像组合在一起，构成三个分量各自的训练集X1，X2，X3；
根据上述步骤(1)中的算法过程，分别使用PCA或LDA方法求出三个分量的特征子空间W1，W2，W3。将训练样本的每个分量分别向对应的特征子空间投影，得到训练样本三个颜色分量各自的特征向量；
同样，将每个检验样本的三个颜色分量也投影到各自对应的特征子空间，得到检验样本三个分量的特征；
分类决策准则的设计。平均距离法，将最近邻分类器拓展到彩色商品图像识别中，最近邻分类器是目前比较直接也比较常用的分类方法，其基本思想是选择与检验样本距离最近的训练样本的类别作为该样本的类别；K近邻算法(K－Nearest NeighborAlgorithm)，由最近邻分类器分别得到样本三个颜色分量各自的识别结果，根据投票法则针对不同情况从中选择待识别样本的最终归属分类器；中心距离法，计算待识别样本和训练样本中每个类别的“中心距离”得到每个颜色分量的识别结果，再根据准则判别待识别的商品图像所属类别。
(3)、基于二次分类方法的商品图像识别。
使用PCA或LDA方法分别提取商品图像训练样本HSI三个通道的特征，组成HSI特征矢量，得到训练样本的彩色特征。同样提取检验样本的HSI彩色特征作为商品样本特征；
利用训练样本特征，对超椭球神经网络进行训练，得到的网络参数作为训练好的超椭球神经网络分类器；
利用训练样本特征，对纠错SVM(支持向量机)分类器进行训练，得到纠错SVM分类器的参数；
将样本特征输入超椭球神经网络中进行第一次分类，对于可以得到识别结果的样本，不需要进行第二次分类，直接将该结果作为最终识别结果；
对于在第一次分类时遇到拒识或多识的样本，则再次通过纠错SVM分类器进行第二次分类，得到最终识别结果，从而完成对该样本的分类识别，并提取商品条码信息。
其中，在本实施例中，为了获取商品的数量和种类，优选地，在商品图像分离和图像识别的过程中对分离后的商品图像进行计数，并根据图像识别结果所返回的商品条码从而获得商品种类以及商品价格。
步骤S103，若是，获取所述购物车内的所有的商品的总价。
当判断所述购物车内的商品与所述购物清单上的商品一致时，用户可以基于所述购物清单进行结账，也可以继续购买商品。
在本实施例中，当判定所述购物车内至少有一个商品没有扫描条形码时，控制所述购物车的刹车进行刹车，以使用户无法推动所述购物车。例如，在购物车对商品进行识别和计数时，发现购物清单中无此类商品，购物车刹车刹住。
请参阅图3，是本发明第二实施例提供的购物识别方法的流程图。所述购物识别方法应用于购物车识别装置，下面将对图3所示的具体流程进行详细阐述。
步骤S201，获取用户放入购物车内的商品的条形码信息，并生成购物清单。
步骤S202，判断所述购物车内是否有未扫描条形码的商品。
步骤S201和步骤S202的具体实施方式请参照第一实施例中所对应的步骤，在此，不再赘述。
步骤S203，当采集到所述购物车内的商品数量减少时，判定用户退回所述商品，并发送提示信息。
作为一种实施方式，当所述商品数量减少时，判定用户将购物车的商品退回到货架或者是放入回收箱，即用户将不需要购买的商品进行退回。例如，用户直接从购物车中取出，即通过采集到的图像来判断是否有商品从购物车内取出，例如，通过判断商品数量来判断是否有商品被用户取出。刷条形码后放回货架，购物车提示减商品；另一种方式是在结账处将不想购买的商品取出刷条形码后放到回收箱，购物车提示减商品。例如，预先设定当图像识别是从购物车内取出商品且刷条形码时，判定为减商品。
步骤S204，若是，获取所述购物车内的所有的商品的总价。
步骤S204的具体实施方式请参照第一实施例中所对应的步骤，在此，不再赘述。
请参阅图4，是本发明第三实施例提供的一种购物车识别装置的功能模块示意图。所述购物车识别装置400包括：数据获取单元410、判断单元420、退回计算单元430和结算单元440。
数据获取单元410，用于获取用户放入购物车内的商品的条形码信息，并生成购物清单。
判断单元420，用于判断所述购物车内是否有未扫描条形码的商品。
其中，所述判断单元420包括：采集子单元、识别子单元、判断子单元、第一结果单元和第二结果单元。
所述采集子单元，用于采集所述购物车内的所有商品的图像。
所述识别子单元，用于基于所述图像，识别所述购物车内的商品数量和商品种类。
其中，所述识别子单元包括：判断子模块、图像处理子模块、获取子模块和查询子模块。
所述判断子模块，用于判断所述图像中的商品图像是否出现重叠。
所述图像处理子模块，用于若是，基于图像分割算法对所述图像进行图像分离，获取经分离的目标图像。
其中，所述图像处理子模块具体用于：将所述图像转换成灰度图；基于灰度级的单个随机变量来分配所述灰度图的像素的强度值；获取幅度大于1的灰度级的图像直方图分布的幅度阈值，所述幅度阈值满足： 其中，l0表示振幅大于或等于1的灰度级，St表示灰度级l0出现的总和；基于所述图像直方图获取每个灰度图像的自适应窗口宽度，所述自适应窗口宽度w满足：其中，lt表示在直方图中振幅大于或等于阈值振幅Tp的灰度级总数，α是一个常量{α∈Z+|1≤α≤lt}；基于垂直扫描直方图获取幅度大于所述幅度阈值的所有峰值；基于水平扫描直方图以获取实际峰值灰度级，所述实际峰值灰度级lr满足：其中，li表示属于由窗口w定义的灰度级范围r的灰度级的幅度；基于最高峰值的灰度级和所述灰度图像中所包含的初始化参数通过K－means聚类算法进行图像分离。
所述获取子模块，用于获取所述目标图像中的图像特征。
所述查询子模块，用于基于所述图像特征查询预设图像数据库，获取所述图像特征所对应的商品种类以及商品数量。
所述判断子单元，用于判断所述商品种类和所述商品数量是否与所述购物清单一致。
所述第一结果单元，用于若是，判定所述购物车内的商品均已经扫描条形码。
所述第二结果单元，用于若否，判定所述购物车内的有至少一个商品没有扫描条形码。
退回计算单元430，用于当采集到所述购物车内的商品数量减少时，判定用户退回所述商品，并发送提示信息。
结算单元440，用于若是，获取所述购物车内的所有的商品的总价。
综上所述，本发明提供一种购物识别方法及购物车识别装置，通过获取用户放入购物车内的商品的条形码信息，从而生成购物清单，通过所述购物清单检查用户加入购物车商品的种类和数量是否与所述购物清单上的商品一致，并且在检查到商品不一致或者检查到商品不在所述购物清单时能够及时提醒用户将商品扫码后再加入所述购物车，并且通过所述购物车对商品进行自助扫码以及识别出用户具体扔进所述购物车内的商品以及对应价格，从而进行实时计数和结账。通过对所述商品进行图像识别有效地避免了遗漏未加入购物清单的商品，以及有效地减少用户结账时因商品扫码所需排队等待的时间，提高用户的购物效率，节省个人时间。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read－Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
Claims (10)
1.一种购物识别方法，应用于购物车识别装置，其特征在于，包括：
获取用户放入购物车内的商品的条形码信息，并生成购物清单；
判断所述购物车内是否有未扫描条形码的商品；
若是，获取所述购物车内的所有的商品的总价。
2.根据权利要求1所述的方法，其特征在于，所述判断所述购物车内是否有未扫描条形码的商品，包括：
采集所述购物车内的所有商品的图像；
基于所述图像，识别所述购物车内的商品数量和商品种类；
判断所述商品种类和所述商品数量是否与所述购物清单一致；
若是，判定所述购物车内的商品均已经扫描条形码；
若否，判定所述购物车内的有至少一个商品没有扫描条形码。
3.根据权利要求2所述的方法，其特征在于，所述基于所述图像，识别所述购物车内的商品数量和商品种类，包括：
判断所述图像中的商品图像是否出现重叠；
若是，基于图像分割算法对所述图像进行图像分离，获取经分离的目标图像；
获取所述目标图像中的图像特征；
基于所述图像特征查询预设图像数据库，获取所述图像特征所对应的商品种类以及商品数量。
4.根据权利要求3所述的方法，其特征在于，所述基于图像分割算法对所述图像进行图像分离，包括：
将所述图像转换成灰度图；
基于灰度级的单个随机变量来分配所述灰度图的像素的强度值；
获取幅度大于1的灰度级的图像直方图分布的幅度阈值，所述幅度阈值满足：
<mrow>
<msub>
<mi>T</mi>
<mi>p</mi>
</msub>
<mo>=</mo>
<mrow>
<mo>(</mo>
<mfrac>
<msub>
<mi>S</mi>
<mi>t</mi>
</msub>
<msub>
<mi>l</mi>
<mn>0</mn>
</msub>
</mfrac>
<mo>)</mo>
</mrow>
<mo>,</mo>
<msub>
<mi>S</mi>
<mi>t</mi>
</msub>
<mo>=</mo>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>&Element;</mo>
<msub>
<mi>l</mi>
<mn>0</mn>
</msub>
</mrow>
</munder>
<msub>
<mi>a</mi>
<msub>
<mi>l</mi>
<mi>i</mi>
</msub>
</msub>
<mo>,</mo>
<msub>
<mi>l</mi>
<mn>0</mn>
</msub>
<mo>=</mo>
<msubsup>
<mrow>
<mo>(</mo>
<msub>
<mi>a</mi>
<msub>
<mi>l</mi>
<mi>i</mi>
</msub>
</msub>
<mo>&GreaterEqual;</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mn>255</mn>
</msubsup>
<mo>,</mo>
</mrow>
其中，l0表示振幅大于或等于1的灰度级，St表示灰度级l0出现的总和；
基于所述图像直方图获取每个灰度图像的自适应窗口宽度，所述自适应窗口宽度w满足：
<mrow>
<msub>
<mi>l</mi>
<mi>t</mi>
</msub>
<mo>=</mo>
<msubsup>
<mrow>
<mo>(</mo>
<msub>
<mi>a</mi>
<msub>
<mi>l</mi>
<mi>i</mi>
</msub>
</msub>
<mo>&GreaterEqual;</mo>
<msub>
<mi>T</mi>
<mi>p</mi>
</msub>
<mo>)</mo>
</mrow>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mn>255</mn>
</msubsup>
<mo>,</mo>
</mrow>
其中，lt表示在直方图中振幅大于或等于阈值振幅Tp的灰度级总数，α是一个常量{α∈Z+|1≤α≤lt}；
基于垂直扫描直方图获取幅度大于所述幅度阈值的所有峰值；
基于水平扫描直方图以获取实际峰值灰度级，所述实际峰值灰度级lr满足：
<mrow>
<msub>
<mi>l</mi>
<mi>r</mi>
</msub>
<mo>=</mo>
<mrow>
<mo>(</mo>
<msub>
<mi>a</mi>
<msub>
<mi>l</mi>
<mi>p</mi>
</msub>
</msub>
<mo>&GreaterEqual;</mo>
<msub>
<mi>a</mi>
<msub>
<mi>l</mi>
<mi>i</mi>
</msub>
</msub>
<mo>)</mo>
</mrow>
<mo>,</mo>
<mo>&ForAll;</mo>
<msub>
<mi>a</mi>
<msub>
<mi>l</mi>
<mi>i</mi>
</msub>
</msub>
<mo>&Element;</mo>
<mi>r</mi>
<mo>,</mo>
</mrow>
其中，li表示属于由窗口w定义的灰度级范围r的灰度级的幅度；
基于最高峰值的灰度级和所述灰度图像中所包含的初始化参数通过K－means聚类算法进行图像分离。
5.根据权利要求1所述的方法，其特征在于，所述若是，获取所述购物车内的所有的商品的总价，之前还包括：
当采集到所述购物车内的商品数量减少时，判定用户退回所述商品，并发送提示信息。
6.一种购物车识别装置，其特征在于，包括：
数据获取单元，用于获取用户放入购物车内的商品的条形码信息，并生成购物清单；
判断单元，用于判断所述购物车内是否有未扫描条形码的商品；
结算单元，用于若是，获取所述购物车内的所有的商品的总价。
7.根据权利要求6所述的装置，其特征在于，所述判断单元包括：
采集子单元，用于采集所述购物车内的所有商品的图像；
识别子单元，用于基于所述图像，识别所述购物车内的商品数量和商品种类；
判断子单元，用于判断所述商品种类和所述商品数量是否与所述购物清单一致；
第一结果单元，用于若是，判定所述购物车内的商品均已经扫描条形码；
第二结果单元，用于若否，判定所述购物车内的有至少一个商品没有扫描条形码。
8.根据权利要求7所述的装置，其特征在于，所述识别子单元包括：
判断子模块，用于判断所述图像中的商品图像是否出现重叠；
图像处理子模块，用于若是，基于图像分割算法对所述图像进行图像分离，获取经分离的目标图像；
获取子模块，用于获取所述目标图像中的图像特征；
查询子模块，用于基于所述图像特征查询预设图像数据库，获取所述图像特征所对应的商品种类以及商品数量。
9.根据权利要求8所述的装置，其特征在于，所述图像处理子模块具体用于：
将所述图像转换成灰度图；
基于灰度级的单个随机变量来分配所述灰度图的像素的强度值；
获取幅度大于1的灰度级的图像直方图分布的幅度阈值，所述幅度阈值满足：
<mrow>
<msub>
<mi>T</mi>
<mi>p</mi>
</msub>
<mo>=</mo>
<mrow>
<mo>(</mo>
<mfrac>
<msub>
<mi>S</mi>
<mi>t</mi>
</msub>
<msub>
<mi>l</mi>
<mn>0</mn>
</msub>
</mfrac>
<mo>)</mo>
</mrow>
<mo>,</mo>
<msub>
<mi>S</mi>
<mi>t</mi>
</msub>
<mo>=</mo>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>&Element;</mo>
<msub>
<mi>l</mi>
<mn>0</mn>
</msub>
</mrow>
</munder>
<msub>
<mi>a</mi>
<msub>
<mi>l</mi>
<mi>i</mi>
</msub>
</msub>
<mo>,</mo>
<msub>
<mi>l</mi>
<mn>0</mn>
</msub>
<mo>=</mo>
<msubsup>
<mrow>
<mo>(</mo>
<msub>
<mi>a</mi>
<msub>
<mi>l</mi>
<mi>i</mi>
</msub>
</msub>
<mo>&GreaterEqual;</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mn>255</mn>
</msubsup>
<mo>,</mo>
</mrow>
其中，l0表示振幅大于或等于1的灰度级，St表示灰度级l0出现的总和；
基于所述图像直方图获取每个灰度图像的自适应窗口宽度，所述自适应窗口宽度w满足：
<mrow>
<msub>
<mi>l</mi>
<mi>t</mi>
</msub>
<mo>=</mo>
<msubsup>
<mrow>
<mo>(</mo>
<msub>
<mi>a</mi>
<msub>
<mi>l</mi>
<mi>i</mi>
</msub>
</msub>
<mo>&GreaterEqual;</mo>
<msub>
<mi>T</mi>
<mi>p</mi>
</msub>
<mo>)</mo>
</mrow>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mn>255</mn>
</msubsup>
<mo>,</mo>
</mrow>
其中，lt表示在直方图中振幅大于或等于阈值振幅Tp的灰度级总数，α是一个常量{α∈Z+|1≤α≤lt}；
基于垂直扫描直方图获取幅度大于所述幅度阈值的所有峰值；
基于水平扫描直方图以获取实际峰值灰度级，所述实际峰值灰度级lr满足：
<mrow>
<msub>
<mi>l</mi>
<mi>r</mi>
</msub>
<mo>=</mo>
<mrow>
<mo>(</mo>
<msub>
<mi>a</mi>
<msub>
<mi>l</mi>
<mi>p</mi>
</msub>
</msub>
<mo>&GreaterEqual;</mo>
<msub>
<mi>a</mi>
<msub>
<mi>l</mi>
<mi>i</mi>
</msub>
</msub>
<mo>)</mo>
</mrow>
<mo>,</mo>
<mo>&ForAll;</mo>
<msub>
<mi>a</mi>
<msub>
<mi>l</mi>
<mi>i</mi>
</msub>
</msub>
<mo>&Element;</mo>
<mi>r</mi>
<mo>,</mo>
</mrow>
其中，li表示属于由窗口w定义的灰度级范围r的灰度级的幅度；
基于最高峰值的灰度级和所述灰度图像中所包含的初始化参数通过K－means聚类算法进行图像分离。
10.根据权利要求6所述的装置，其特征在于，所述结算单元之前，还包括：
退回计算单元，用于当采集到所述购物车内的商品数量减少时，判定用户退回所述商品，并发送提示信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710811178.8A CN107610379A (zh) | 2017-09-11 | 2017-09-11 | 一种购物识别方法及购物车识别装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710811178.8A CN107610379A (zh) | 2017-09-11 | 2017-09-11 | 一种购物识别方法及购物车识别装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107610379A true CN107610379A (zh) | 2018-01-19 |
Family
ID=61062132
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710811178.8A Pending CN107610379A (zh) | 2017-09-11 | 2017-09-11 | 一种购物识别方法及购物车识别装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107610379A (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108242061A (zh) * | 2018-02-11 | 2018-07-03 | 南京亿猫信息技术有限公司 | 一种基于Sobel算子的超市购物车手部识别方法 |
| CN108520280A (zh) * | 2018-04-12 | 2018-09-11 | 河南机电职业学院 | 一种基于机器视觉的散装商品计费系统 |
| CN108682091A (zh) * | 2018-05-21 | 2018-10-19 | 深圳码隆科技有限公司 | 一种购物结算方法、装置和用户终端 |
| CN108921645A (zh) * | 2018-06-07 | 2018-11-30 | 深圳码隆科技有限公司 | 一种商品购买判定方法、装置和用户终端 |
| CN108921048A (zh) * | 2018-06-14 | 2018-11-30 | 深圳码隆科技有限公司 | 一种购物结算方法、装置和用户终端 |
| CN109271920A (zh) * | 2018-09-12 | 2019-01-25 | 上海了物网络科技有限公司 | 支持物品识别的视觉系统及方法与介质 |
| CN109353398A (zh) * | 2018-09-20 | 2019-02-19 | 北京旷视科技有限公司 | 商品识别方法、装置和系统及存储介质及购物车 |
| CN109977251A (zh) * | 2019-03-05 | 2019-07-05 | 武汉摩小超科技有限公司 | 一种构建基于rgb直方图特征识别商品的方法 |
| WO2020187036A1 (zh) * | 2019-03-15 | 2020-09-24 | 南京亿猫信息技术有限公司 | 一种基于购物工具的防作弊系统 |
| CN112116121A (zh) * | 2020-07-29 | 2020-12-22 | 大众问问(北京)信息科技有限公司 | 一种行车路线推荐方法、设备、电子设备及存储介质 |
| CN112184104A (zh) * | 2020-09-18 | 2021-01-05 | 安徽三禾一信息科技有限公司 | 一种用于仓储的物料码放方法 |
| CN112215311A (zh) * | 2020-09-07 | 2021-01-12 | 上海原能细胞生物低温设备有限公司 | 样本入库方法、装置、计算机设备和存储介质 |
| CN117422937A (zh) * | 2023-12-18 | 2024-01-19 | 成都阿加犀智能科技有限公司 | 一种智能购物车状态识别方法、装置、设备及存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102184405A (zh) * | 2011-04-19 | 2011-09-14 | 清华大学 | 图像采集分析方法 |
| CN202806824U (zh) * | 2012-04-25 | 2013-03-20 | 蒋建民 | 商场智能购物车 |
| CN106097077A (zh) * | 2016-06-23 | 2016-11-09 | 南京邮电大学 | 一种自助支付智能购物系统 |
| CN206031442U (zh) * | 2016-08-26 | 2017-03-22 | 北京乐动卓越科技有限公司 | 一种带磁条扫描功能的自助购物车 |
| CN106608275A (zh) * | 2015-10-27 | 2017-05-03 | 唐超(北京)科技有限公司 | 自助结账购物车 |
| CN206179134U (zh) * | 2016-09-21 | 2017-05-17 | 深圳市泛海三江科技发展有限公司 | 一种商超智能防盗系统 |
| CN106781014A (zh) * | 2017-01-24 | 2017-05-31 | 广州市蚁道互联网有限公司 | 自动售货机及其运行方法 |
| CN107038822A (zh) * | 2017-03-27 | 2017-08-11 | 杭州赛狐科技有限公司 | 一种自助收银系统及方法 |
-
2017
- 2017-09-11 CN CN201710811178.8A patent/CN107610379A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102184405A (zh) * | 2011-04-19 | 2011-09-14 | 清华大学 | 图像采集分析方法 |
| CN202806824U (zh) * | 2012-04-25 | 2013-03-20 | 蒋建民 | 商场智能购物车 |
| CN106608275A (zh) * | 2015-10-27 | 2017-05-03 | 唐超(北京)科技有限公司 | 自助结账购物车 |
| CN106097077A (zh) * | 2016-06-23 | 2016-11-09 | 南京邮电大学 | 一种自助支付智能购物系统 |
| CN206031442U (zh) * | 2016-08-26 | 2017-03-22 | 北京乐动卓越科技有限公司 | 一种带磁条扫描功能的自助购物车 |
| CN206179134U (zh) * | 2016-09-21 | 2017-05-17 | 深圳市泛海三江科技发展有限公司 | 一种商超智能防盗系统 |
| CN106781014A (zh) * | 2017-01-24 | 2017-05-31 | 广州市蚁道互联网有限公司 | 自动售货机及其运行方法 |
| CN107038822A (zh) * | 2017-03-27 | 2017-08-11 | 杭州赛狐科技有限公司 | 一种自助收银系统及方法 |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108242061B (zh) * | 2018-02-11 | 2022-04-08 | 南京亿猫信息技术有限公司 | 一种基于Sobel算子的超市购物车手部识别方法 |
| CN108242061A (zh) * | 2018-02-11 | 2018-07-03 | 南京亿猫信息技术有限公司 | 一种基于Sobel算子的超市购物车手部识别方法 |
| CN108520280A (zh) * | 2018-04-12 | 2018-09-11 | 河南机电职业学院 | 一种基于机器视觉的散装商品计费系统 |
| CN108682091A (zh) * | 2018-05-21 | 2018-10-19 | 深圳码隆科技有限公司 | 一种购物结算方法、装置和用户终端 |
| CN108921645A (zh) * | 2018-06-07 | 2018-11-30 | 深圳码隆科技有限公司 | 一种商品购买判定方法、装置和用户终端 |
| CN108921048A (zh) * | 2018-06-14 | 2018-11-30 | 深圳码隆科技有限公司 | 一种购物结算方法、装置和用户终端 |
| CN109271920A (zh) * | 2018-09-12 | 2019-01-25 | 上海了物网络科技有限公司 | 支持物品识别的视觉系统及方法与介质 |
| CN109353398A (zh) * | 2018-09-20 | 2019-02-19 | 北京旷视科技有限公司 | 商品识别方法、装置和系统及存储介质及购物车 |
| CN109353398B (zh) * | 2018-09-20 | 2020-11-10 | 北京旷视科技有限公司 | 商品识别方法、装置和系统及存储介质及购物车 |
| CN109977251A (zh) * | 2019-03-05 | 2019-07-05 | 武汉摩小超科技有限公司 | 一种构建基于rgb直方图特征识别商品的方法 |
| WO2020187036A1 (zh) * | 2019-03-15 | 2020-09-24 | 南京亿猫信息技术有限公司 | 一种基于购物工具的防作弊系统 |
| CN112116121A (zh) * | 2020-07-29 | 2020-12-22 | 大众问问(北京)信息科技有限公司 | 一种行车路线推荐方法、设备、电子设备及存储介质 |
| CN112215311A (zh) * | 2020-09-07 | 2021-01-12 | 上海原能细胞生物低温设备有限公司 | 样本入库方法、装置、计算机设备和存储介质 |
| CN112184104A (zh) * | 2020-09-18 | 2021-01-05 | 安徽三禾一信息科技有限公司 | 一种用于仓储的物料码放方法 |
| CN117422937A (zh) * | 2023-12-18 | 2024-01-19 | 成都阿加犀智能科技有限公司 | 一种智能购物车状态识别方法、装置、设备及存储介质 |
| CN117422937B (zh) * | 2023-12-18 | 2024-03-15 | 成都阿加犀智能科技有限公司 | 一种智能购物车状态识别方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107610379A (zh) | 一种购物识别方法及购物车识别装置 | |
| CN108491799B (zh) | 一种基于图像识别的智能售货柜商品管理方法及系统 | |
| RU2708422C1 (ru) | Способ и система управления банкоматами | |
| CN108269369A (zh) | 结算箱及其结算方法 | |
| DE112011102294T5 (de) | Optimierung der Ermittlung menschlicher Aktivität aus Videomaterial | |
| CN108304816B (zh) | 身份识别方法、装置、存储介质及电子设备 | |
| CN111696080B (zh) | 一种基于静态纹理的人脸欺诈检测方法、系统及存储介质 | |
| CN106651834A (zh) | 无参考图像的变电设备红外热像图质量评价方法及装置 | |
| US20200104748A1 (en) | Image processing for item recognition | |
| KR20230060452A (ko) | 행동 판정 프로그램, 행동 판정 방법 및 행동 판정 장치 | |
| Lei et al. | Infrared pedestrian segmentation algorithm based on the two-dimensional Kaniadakis entropy thresholding | |
| Sahoo | Automatic recognition of Indian vehicles license plates using machine learning approaches | |
| CN111310531B (zh) | 图像分类方法、装置、计算机设备及存储介质 | |
| CN115018513A (zh) | 数据巡检方法、装置、设备及存储介质 | |
| Liu et al. | Blind image blur metric based on orientation-aware local patterns | |
| CN110472680B (zh) | 目标分类方法、装置和计算机可读存储介质 | |
| CN103295186A (zh) | 图像描述符生成方法和系统、图像检测方法和系统 | |
| CN110874734A (zh) | 动态二维码生成方法和装置 | |
| CN110874733A (zh) | 支持外接设备的被动扫码支付方法和装置 | |
| Priyanka et al. | Classification approach based customer prediction analysis for loan preferences of customers | |
| EP3839855B1 (de) | Selbstbedienungs-registrierterminal und verfahren | |
| JP7412821B2 (ja) | 情報処理システム | |
| CN111091367A (zh) | 开放式快速支付方法和装置 | |
| CN111091368A (zh) | 封闭式快速支付方法和装置 | |
| CN111091376A (zh) | 集扫码与非接触式刷卡的支付方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180119 |