CN108491799B - 一种基于图像识别的智能售货柜商品管理方法及系统 - Google Patents
一种基于图像识别的智能售货柜商品管理方法及系统 Download PDFInfo
- Publication number
- CN108491799B CN108491799B CN201810246430.XA CN201810246430A CN108491799B CN 108491799 B CN108491799 B CN 108491799B CN 201810246430 A CN201810246430 A CN 201810246430A CN 108491799 B CN108491799 B CN 108491799B
- Authority
- CN
- China
- Prior art keywords
- commodity
- purchased
- module
- sample
- current
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000007726 management method Methods 0.000 title claims abstract description 34
- 238000009826 distribution Methods 0.000 claims abstract description 62
- 238000000034 method Methods 0.000 claims abstract description 32
- 238000004422 calculation algorithm Methods 0.000 claims description 68
- 238000012549 training Methods 0.000 claims description 28
- 238000012360 testing method Methods 0.000 claims description 24
- 238000012795 verification Methods 0.000 claims description 19
- 238000000605 extraction Methods 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 15
- 238000002372 labelling Methods 0.000 claims description 12
- 238000013135 deep learning Methods 0.000 claims description 10
- 239000000284 extract Substances 0.000 claims description 6
- 238000010586 diagram Methods 0.000 abstract description 10
- 238000001514 detection method Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 6
- 238000013459 approach Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 206010063385 Intellectualisation Diseases 0.000 description 2
- 238000007635 classification algorithm Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 239000000243 solution Substances 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 241000531116 Blitum bonus-henricus Species 0.000 description 1
- 235000008645 Chenopodium bonus henricus Nutrition 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012887 quadratic function Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0283—Price estimation or determination
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07F—COIN-FREED OR LIKE APPARATUS
- G07F11/00—Coin-freed apparatus for dispensing, or the like, discrete articles
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07F—COIN-FREED OR LIKE APPARATUS
- G07F9/00—Details other than those peculiar to special kinds or types of apparatus
- G07F9/02—Devices for alarm or indication, e.g. when empty; Advertising arrangements in coin-freed apparatus
- G07F9/026—Devices for alarm or indication, e.g. when empty; Advertising arrangements in coin-freed apparatus for alarm, monitoring and auditing in vending machines or means for indication, e.g. when empty
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Abstract
本发明提供了一种基于图像识别的智能售货柜商品管理方法及系统，其中方法步骤S130根据购买结束指令，获取被购后的当前商品分布图；步骤S200根据所述被购后的当前商品分布图以及特征库，统计得到被购后的当前商品信息列表；步骤S300将所述被购后的当前商品信息列表与被购前的初始商品信息列表进行比对，并根据比对结果统计得到已被购买商品信息；步骤S400根据所述已被购买商品信息，获取对应金额的货款。系统包括指令获取模块、图像获取模块、商品统计模块、商品比对模块、购买统计模块、货款获取模块。本发明通过图像识别来统计售货柜中的商品信息，实现自动并准确统计客户实际购买详情，从而减少了商品的货损率，降低了经营成本损耗的目的。
Description
技术领域
本发明涉及售货柜技术领域，尤指一种基于图像识别的智能售货柜商品管 理方法及系统。
背景技术
现有的无人售货柜主要有两种技术路线。一种是基于二维码的移动互联网 路线，采用的技术方案是用户手机扫描打开柜门，取走所需商品，然后在商品 页面自主勾选购买的商品和数量，商品管理系统根据上述信息进行结账收款。 这个方案技术上的缺点是系统不能准确获知用户实际购买的商品，也无法准确 判断是否需要补货。另一种模式，是基于RFID的物联网路线。该方案要求售货 柜安装RFID扫描系统，货柜上的每个商品都必须贴有RFID芯片，利用RFID技 术实现商品管理系统。该方案最大的技术缺点是RFID技术受液体和金属的影响 比较大，很难实现准确统计。
针对上述情况，本申请提供了一种解决以上技术问题的技术方案。
发明内容
本发明的目的是提供一种基于图像识别的智能售货柜商品管理方法及系 统，通过图像识别来统计售货柜中的商品信息，实现自动并准确统计客户实际 购买详情，从而减少了商品的货损率，降低了经营成本损耗。
本发明提供的技术方案如下：
一种基于图像识别的智能售货柜商品管理方法，包括：步骤S130根据购 买结束指令，获取被购后的当前商品分布图；步骤S200根据所述被购后的当 前商品分布图以及特征库，统计得到被购后的当前商品信息列表；步骤S300 将所述被购后的当前商品信息列表与被购前的初始商品信息列表进行比对，并 根据比对结果统计得到已被购买商品信息；步骤S400根据所述已被购买商品 信息，获取对应金额的货款。
优选的，步骤S130之前还包括：步骤S010获取每一件待销售样品的若干 样本图像；步骤S020对每一件所述样品的若干所述样本图像标注属性；步骤 S030采用深度学习法对每一件所述样品的若干所述样本图像中的一部分所述 样本图像进行训练；步骤S040根据训练结果，更新第一算法模型以及第二算 法模型；步骤S050根据所述第一算法模型以及所述第二算法模型，对每一件 所述样品的若干所述样本图像中的另一部分所述样本图像进行测试验证，提取 每一件所述样品对应的样品图像特征；步骤S060根据每一件所述样品的所述 属性、所述样品图像特征，建立特征库。
优选的，步骤S200具体包括：步骤S210根据所述第一算法模型，对所述 被购后的当前商品分布图进行解析识别，分类得到所述被购后的当前商品分布 图中若干当前商品的商品类型；步骤S220根据所述第二算法模型，对所述被 购后的当前商品分布图进行解析识别，提取所述被购后的当前商品分布图中所 述若干当前商品的图像特征；步骤S230根据若干所述当前商品的所述商品类 型，将所述若干当前商品的所述图像特征与所述特征库中的所述样品图像特征 进行比对，得到所述若干当前商品的所述商品信息；步骤S240根据所述若干 当前商品的所述商品信息，得到被购后的当前商品信息列表。
优选的，步骤S130之前还包括：步骤S110根据登录验证指令，解锁所述 售货柜的柜门；步骤S120当检测到所述售货柜的柜门重新锁定后，生成所述 购买结束指令。
优选的，步骤S400之后还包括：步骤S500将所述被购后的当前商品信息 列表更新设置为所述被购前的初始商品信息列表。
优选的，步骤S400之后还包括：步骤S600根据所述被购后的当前商品信 息列表，发送补货提示信息。
本发明还提供了一种基于图像识别的智能售货柜商品管理系统，其应用前 述的基于图像识别的智能售货柜商品管理方法，所述系统包括：指令获取模块， 用于获取购买结束指令；图像获取模块，用于根据所述指令获取模块获取的所 述购买结束指令，获取被购后的当前商品分布图；商品统计模块，用于根据所 述图像获取模块获取的所述被购后的当前商品分布图以及特征库，统计得到被 购后的当前商品信息列表；商品比对模块，用于将所述商品统计模块统计的所 述被购后的当前商品信息列表与被购前的初始商品信息列表进行比对；购买统 计模块，用于根据所述商品比对模块的比对结果，统计得到已被购买商品信息； 货款获取模块，用于根据所述购买统计模块统计的所述已被购买商品信息，获取对应金额的货款。
优选的，还包括：样本图像获取模块，用于获取每一件待销售样品的若干 样本图像；标注模块，用于对所述样本图像获取模块获取的每一件所述样品的 若干所述样本图像标注属性；训练模块，用于采用深度学习法对所述样本图像 获取模块获取的每一件所述样品的若干所述样本图像中的一部分所述样本图 像进行训练；计算更新模块，用于根据所述训练模块的训练结果，更新第一算 法模型以及第二算法模型；测试验证模块，用于根据所述计算更新模块计算得 到的所述第一算法模型以及所述第二算法模型，对每一件所述样品的若干所述 样本图像中的另一部分所述样本图像进行测试验证；图像特征提取模块，用于 根据所述测试验证模块的测试结果提取每一件所述样品对应的样品图像特征； 特征库建立模块，用于根据所述标注模块标注的每一件所述样品的所述属性、 所述图像特征提取模块提取的所述样品图像特征，建立特征库。
优选的，还包括：图像分类模块，用于根据所述计算更新模块计算得到的 所述第一算法模型，对所述图像获取模块获取的所述被购后的当前商品分布图 进行解析识别，分类得到所述被购后的当前商品分布图中若干当前商品的商品 类型；所述图像特征提取模块进一步用于根据所述计算更新模块计算得到的所 述第二算法模型，对所述图像获取模块获取的所述被购后的当前商品分布图进 行解析识别，提取所述被购后的当前商品分布图中所述若干当前商品的图像特 征；图像特征比对模块，用于根据所述图像分类模块分类得到的若干所述当前 商品的所述商品类型，将所述图像特征提取模块提取的所述若干当前商品的所 述图像特征与所述特征库中的所述样品图像特征进行比对，得到所述若干当前 商品的所述商品信息；所述商品统计模块进一步用于根据所述图像特征比对模 块的比对结果，统计得到被购后的当前商品信息列表。
优选的，还包括：提示信息发送模块，用于根据所述商品统计模块统计的 所述被购后的当前商品信息列表，发送补货提示信息。
通过本发明提供的基于图像识别的智能售货柜商品管理方法及系统，能够 带来以下至少一种有益效果：
1、在本发明中，当客户从售货柜选取商品后，摄像头拍摄售货柜内剩余 商品的分布图，然后通过对商品分布图进行图像识别，统计售货柜内剩余商品 的详情列表，再与客户购买之前的商品详情列表进行比对，得到客户购买商品 的详细信息，并进行对应收款，通过本方法系统能够自动并准确统计客户实际 购买的商品和数量，以及计算购买商品的金额，减少了商品的货损率，从而降 低了经营成本损耗。
2、在本发明中，采用深度学习方法对具有属性标注的样本图片进行训练 和验证，提取样本图像特征以及建立特征库，并且通过大量的训练和验证，使 得算法模型最优化，从而在售货柜的商品识别实际使用中，识别结果更快速和 准确。
3、在本发明中，在售货柜的商品识别过程中，通过优化的算法模型实现 图像分类和目标检测，并将商品的图像特征在经过分类的特征库中进行分布式 特征检索，而不是在所有特征库中检索，提高了商品识别效率和准确率。
4、在本发明中，采用柜门控制模块来控制售货柜的柜门能否被打开，并 采用柜门检测模块来检测售货柜的柜门是否被打开，在提升售货柜的智能化的 同时，保障了售货柜的安全性。
5、在本发明中，每次购买交易完成后，系统自动并实时更新售货柜内的 剩余商品信息，其一用于为下一次购买交易提供参考，其二用于当售货柜内剩 余商品不足时，及时发出补货提醒，实现对售货柜中商品的智能化管理。
附图说明
下面将以明确易懂的方式，结合附图说明优选实施方式，对一种基于图像 识别的智能售货柜商品管理方法及系统的上述特性、技术特征、优点及其实现 方式予以进一步说明。
图1是本发明的基于图像识别的智能售货柜商品管理方法的一个实施例的 流程图；
图2是本发明的基于图像识别的智能售货柜商品管理方法的另一实施例的 流程图；
图3深度残差网络模型的基本结构图；
图4Fast R-CNN网络的图像分类和目标检测流程图；
图5是本发明的基于图像识别的智能售货柜商品管理系统的一个实施例的 结构示意图；
图6是本发明的基于图像识别的智能售货柜商品管理系统的另一实施例的 结构示意图。
附图标号说明：
1-指令获取模块；2-图像获取模块；3-商品统计模块；4-商品比对模块；5- 购买统计模块；6-货款获取模块；7-样本图像获取模块；8-标注模块；9-训练模 块；10-计算更新模块；11-测试验证模块；12-图像特征提取模块；13-特征库建 立模块；14-图像分类模块；15-图像特征比对模块；16-提示信息发送模块。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附 图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明 的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下， 还可以根据这些附图获得其他的附图，并获得其他的实施方式。
为使图面简洁，各图中只示意性地表示出了与本发明相关的部分，它们并 不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具 有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的 一个。在本文中，“一个”不仅表示“仅此一个”，也可以表示“多于一个” 的情形。
本发明提供了一种基于图像识别的智能售货柜商品管理方法的一个实施 例，参见图1，包括：步骤S130根据购买结束指令，获取被购后的当前商品分 布图；步骤S200根据所述被购后的当前商品分布图以及特征库，统计得到被 购后的当前商品信息列表；步骤S300将所述被购后的当前商品信息列表与被 购前的初始商品信息列表进行比对，并根据比对结果统计得到已被购买商品信 息；步骤S400根据所述已被购买商品信息，获取对应金额的货款。
具体的，在本实施例中，用户可以通过移动终端扫描售货柜上的二维码登 录售货柜系统，或者通过售货柜上的二维码扫描器扫描用户移动终端上的二维 码登录售货柜系统，再或者通过移动终端上的app登录售货柜系统，登录成功 后，进行购买商品，用户打开柜门，取走所需商品，再关闭柜门，柜门关闭后， 生成购买结束指令。此时系统启动拍摄，每层货柜生成一张完整的商品分布图。 售货柜空间紧凑，商品距离层顶需满足规定间距，每一层货架在纵横方向上都 放置了商品，通过利用商品距离层顶的空隙，根据货架实际尺寸，在售货柜每 一层顶部部署摄像头，以从上往下拍照的形式得到该层商品分布图。根据摄像 头的参数确定可视范围，选用鱼眼180度视角、焦距为1.28mm，200万像素的 摄像头，在距离商品12cm的情况下，40cm×45cm可视范围内的图片经过畸 变矫正后清晰可辨。根据售货柜每一层的长度和宽度，以及每一层的层高和这 一层商品的高度，利用上述摄像头的技术指标，确定该层需要布置几个摄像头， 布置在哪些位置，或者利用电动导轨控制摄像头移动到几个固定的位置俯视式 拍摄，以确保能得到该层全局商品图。当启动摄像头拍照后，每层商品分布图 由一个或者多个图片覆盖。系统启动图像识别，输入上述生成的每一层货架的 商品分布图，输出结果是图片中每一个商品的商品信息，本实施例中，商品信 息是指商品的SKU(Stock Keeping Unit，库存量单元)信息，在其他实施例中， 商品信息也可以是指商品的SPU(Standard Product Unit，标准化产品单元)信 息等其他商品信息。SKU信息是影响价格和库存的属性集合，用于区分单品， 与商品是多对一的关系，对一种商品而言，当其品牌、型号、配置、等级、花 色、包装容量、单位、生产日期、保质期、用途、价格、产地等属性中任一属 性与其他商品存在不同时，可称为一个单品。而SPU信息是商品信息聚合的最 小单位，是一组可复用、易检索的标准化信息的集合，该集合描述了一个产品 的特性，与商品是一对一的关系，属性值、特性相同的商品就可以称为一个SPU。 然后将所有的商品信息进行汇总，去重后生成完整的商品信息列表。具体实现 去重可采用不同算法，其目的是不能重复计算重叠部分的商品。系统将用户购 买后生成的商品信息列表与用户购买前已经存在的初始商品信息列表进行比 对，变化量即为用户购买的商品的信息。最后根据用户购买的商品的信息，完 成扣款。
在本发明中，当客户从售货柜选取商品后，摄像头拍摄售货柜内剩余商品 的分布图，然后通过对商品分布图进行图像识别，统计售货柜内剩余商品的详 情列表，再与客户购买之前的商品详情列表进行比对，得到客户购买商品的详 细信息，并进行对应收款，通过本方法系统能够自动并准确统计客户实际购买 的商品和数量，以及计算购买商品的金额，减少了商品的货损率，从而降低了 经营成本损耗。
在以上实施例的基础上，本发明还提供一个实施例，参照图2和图3，步 骤S130之前还包括：步骤S010获取每一件待销售样品的若干样本图像；步骤 S020对每一件所述样品的若干所述样本图像标注属性；步骤S030采用深度学 习法对每一件所述样品的若干所述样本图像中的一部分所述样本图像进行训 练；步骤S040根据训练结果，更新第一算法模型以及第二算法模型；步骤S050 根据所述第一算法模型以及所述第二算法模型，对每一件所述样品的若干所述 样本图像中的另一部分所述样本图像进行测试验证，提取每一件所述样品对应 的样品图像特征；步骤S060根据每一件所述样品的所述属性、所述样品图像 特征，建立特征库。
具体的，在本实施例中，在采集和识别售货柜当前商品之前，需要对售货 柜内所有售卖的商品建立特征库，用于与后续步骤中实际获取的被购后的当前 商品分布图中的商品进行比对。首先模拟售货柜摄像头的位置和拍摄角度，对 每个样本商品进行360度拍照，采集了商品各个表面图像作为样本图片；采用 3D建模和图片增广方法，将不同商品、不同角度随机组合，模拟生成售货柜的 商品分布图片，并将样本图片分成训练集和测试集。同时对图片中商品主体进 行属性标注，包括商品类型和商品信息。对训练集中标注过属性的图片进行学 习和训练，利用深度学习方法，将输入的每个图片采用预设的算法模型计算输 出，再与该图片对应的标注属性进行比较得到差距，同时根据得出的差距更新 和改进预设的算法模型。每经过一次训练都会减少算法模型的输出和图片的标 签属性的差距。当差距趋于于零，则算法模型趋于稳定。图3为深度残差网络 (Deep Residual Learning，简称ResNet)模型的基本结构图，在多层神经网络 之间增加跳跃式短路链接，缩短反馈路径，加快收敛速度。在有效参数初始化 的前提下，固定部分参数可以使得特征学习更加充分，提高模型预测精度。假 定某段神经网络的输入是x，期望输出是H(x)，即H(x)是期望的映射函数。通 过捷径连接的方式，直接把输入x传到输出作为初始结果，输出结果为 H(x)＝F(x)+x。当F(x)＝0时，那么H(x)＝x，也就是恒等映射。于是，ResNet相当 于将学习目标改变为目标值H(X)和x的差值，即残差F(x)。因此，训练目标就 是要将残差结果逼近于0，做到随着网络加深，准确率并不下降。训练结束后， 得到最终的算法模型。最终的算法模型包括第一算法模型即图像分类算法模 型，以及第二算法模型即图像特征提取算法模型，分别用于后续步骤的图像分 类以及图像特征提取。随后，再在测试集中对最终的算法模型进行验证，具体 为将测试集中标注过属性的图片输入最终的算法模型，验证输出结果是否与图片的标签属性一致，同时提取每件样品商品的图像特征，用于最终作为后续对 比使用的样品图像特征。每件样品商品的标签属性以及样品图像特征组成了特 征库。
在本发明中，采用深度学习方法对具有属性标注的样本图片进行训练和验 证，提取样本图像特征以及建立特征库，并且通过大量的训练和验证，使得算 法模型最优化，从而在售货柜的商品识别实际使用中，识别结果更快速和准确。
在以上实施例的基础上，本发明还提供一个实施例，参照图2和图4，步 骤S200具体包括：步骤S210根据所述第一算法模型，对所述被购后的当前商 品分布图进行解析识别，分类得到所述被购后的当前商品分布图中若干当前商 品的商品类型；步骤S220根据所述第二算法模型，对所述被购后的当前商品 分布图进行解析识别，提取所述被购后的当前商品分布图中所述若干当前商品 的图像特征；步骤S230根据若干所述当前商品的所述商品类型，将所述若干 当前商品的所述图像特征与所述特征库中的所述样品图像特征进行比对，得到 所述若干当前商品的所述商品信息；步骤S240根据所述若干当前商品的所述商品信息，得到被购后的当前商品信息列表。
具体的，在本实施例中，首先通过第一算法模型即图像分类算法模型，来 进行类目预测，判断商品数据哪个类目，譬如衣服、包袋、鞋子。其次通过第 二算法模型即图像特征提取算法模型，来进行目标检测，提取图片中的商品主 题。图4为Fast R-CNN(FastRegion-based Convolution Neural Network)网络的 图像分类和目标检测流程，具体为利用Fast R-CNN网络，采用单阶段多目标方 案，把多个主体的辨认放在一个目标函数中计算，同时利用了分类的监督信息 和回归的监督信息，全局优化损失函数，完成图像商品分类和目标检测。其中 针对每个感兴趣区域ROI(region ofinterest)坐标的偏移优化的损失函数定义 如下：Lloc(t,t*)＝∑i∈{x,y,w,h}smoothL1(t,t*)；其中，t*＝(t*x,t*y,t*w,t*h)是参考坐标； t＝(tx,ty,tw,th)是预测值；x是横坐标，是指纵坐标，w是ROI区域的宽度，h是ROI区域的高度；
其中，x为ti-t*i，即对应坐标的差 距。该函数在(-1，1)之间为二次函数，而其他区域为线性函数，这种形式 可以增强模型对异常数据的鲁棒性。再通过图像搜索引擎，对用户图片进行分 布式的快速查询。具体方法为将商品的图像特征在经过分类的特征库中进行分 布式特征检索，而不是在所有特征库中检索，其中商品的相似性用欧氏距离衡 量，筛选出欧式距离小于阈值的就是相似商品，按距离进行排序，距离越小， 就越相似，最后得到搜索结果，即得到对应的商品信息。最后统计得到的所有 商品信息，生成商品信息列表。
在本发明中，在售货柜的商品识别过程中，通过优化的算法模型实现图像 分类和目标检测，并将商品的图像特征在经过分类的特征库中进行分布式特征 检索，而不是在所有特征库中检索，提高了商品识别效率和准确率。
在本实施例的另一个优选的实施方式中，步骤S110根据登录验证指令， 解锁所述售货柜的柜门；步骤S120当检测到所述售货柜的柜门重新锁定后， 生成所述购买结束指令。
具体的，在本实施例中，系统得到用户的购买指令后，解锁售货柜的柜门， 随后依次检测到柜门先被打开再被关闭，当柜门关闭后，系统生成购买结束指 令，再启动拍摄商品分布图。在其他实施例中，系统得到购买指令并解锁柜门 后，若在一定时间内未检测到柜门被打开，或者此时用户通过指令放弃此次购 买，系统可以重新锁定柜门，并结束此次交易。
在本发明中，采用柜门控制模块来控制售货柜的柜门能否被打开，并采用 柜门检测模块来检测售货柜的柜门是否被打开，在提升售货柜的智能化的同 时，保障了售货柜的安全性。
在本实施例的另一个优选的实施方式中，步骤S500将所述被购后的当前 商品信息列表更新设置为所述被购前的初始商品信息列表。
具体的，在本实施例中，当用户购买完成后，将此次购买后生成的商品信 息列表设置为新的被购前的初始商品信息列表，用于在下一次发生购买时，与 下一次购买后生成的商品信息列表进行比对，得到下一次购买的商品信息。
在本实施例的另一个优选的实施方式中，步骤S400之后还包括：步骤S600 根据所述被购后的当前商品信息列表，发送补货提示信息。
具体的，在本实施例中，当用户购买完成后，系统根据售货柜内的剩余商 品信息列表，判断是否需要补货，如果需要补货，则自动发送补货提醒至远程 管理系统。
在本发明中，每次购买交易完成后，系统自动并实时更新售货柜内的剩余 商品信息，其一用于为下一次购买交易提供参考，其二用于当售货柜内剩余商 品不足时，及时发出补货提醒，实现对售货柜中商品的智能化管理。
在以上实施例的基础上，本发明还提供一个实施例，参照图1-3所示，步 骤S010获取每一件待销售样品的若干样本图像；步骤S020对每一件所述样品 的若干所述样本图像标注属性；步骤S030采用深度学习法对每一件所述样品 的若干所述样本图像中的一部分所述样本图像进行训练；步骤S040根据训练 结果，更新第一算法模型以及第二算法模型；步骤S050根据所述第一算法模 型以及所述第二算法模型，对每一件所述样品的若干所述样本图像中的另一部 分所述样本图像进行测试验证，提取每一件所述样品对应的样品图像特征；步 骤S060根据每一件所述样品的所述属性、所述样品图像特征，建立特征库； 步骤S110根据登录验证指令，解锁所述售货柜的柜门；步骤S120当检测到所 述售货柜的柜门重新锁定后，生成所述购买结束指令；步骤S210根据所述第 一算法模型，对所述被购后的当前商品分布图进行解析识别，分类得到所述被 购后的当前商品分布图中若干当前商品的商品类型；步骤S220根据所述第二 算法模型，对所述被购后的当前商品分布图进行解析识别，提取所述被购后的 当前商品分布图中所述若干当前商品的图像特征；步骤S230根据若干所述当 前商品的所述商品类型，将所述若干当前商品的所述图像特征与所述特征库中 的所述样品图像特征进行比对，得到所述若干当前商品的所述商品信息；步骤 S240根据所述若干当前商品的所述商品信息，得到被购后的当前商品信息列 表；步骤S300将所述被购后的当前商品信息列表与被购前的初始商品信息列 表进行比对，并根据比对结果统计得到已被购买商品信息；步骤S400根据所 述已被购买商品信息，获取对应金额的货款；步骤S500将所述被购后的当前 商品信息列表更新设置为所述被购前的初始商品信息列表；步骤S600根据所 述被购后的当前商品信息列表，发送补货提示信息。
具体的，在本实施例中，典型应用场景描述如下：
1、对售货柜内所有售卖的商品建立特征库，包括采集每一件商品的若干 样本图片，对样本图片进行属性标注，通过深度学习方法对样本图片进行训练 和验证，计算算法模型，以及提取样本图像特征；
2、用户通过扫描二维码进行登录验证；
3、系统解锁售货柜的柜门，用户打开柜门，取走所需商品，再关闭柜门， 系统购买结束指令；
4、系统启动拍摄，每层货柜生成一张完整的商品分布图；
5、系统对所有生成的商品分布图进行图像分类和目标检测，提取图片中 的每个商品的图像特征；
6、系统将每个商品的图像特征与经过分类的特征库中的样本图像特征进 行匹配，得到对应的商品信息，再将所有商品信息生成完整的商品信息列表；
7、系统将用户购买后生成的商品信息列表与用户购买前已经存在的初始 商品信息列表进行比对，统计出用户购买的商品的信息；
8、系统根据统计出的用户购买的商品的信息，自动完成对应金额的扣款；
9、用户购买完成后，将此次购买后生成的商品信息列表设置为新的被购 前的初始商品信息列表，用于在下一次发生购买时提供参考；
10、用户购买完成后，系统根据售货柜内的剩余商品信息列表，判断是否 需要补货，如果需要补货，则自动发送补货提醒至远程管理系统。
本发明还提供了一种基于图像识别的智能售货柜商品管理方法的管理系 统，参照图6，包括：指令获取模块1，用于获取购买结束指令；图像获取模 块2，用于根据所述指令获取模块1获取的所述购买结束指令，获取被购后的 当前商品分布图；商品统计模块3，用于根据所述图像获取模块2获取的所述 被购后的当前商品分布图，统计得到被购后的当前商品信息列表；商品比对模 块4，用于将所述商品统计模块3统计的所述被购后的当前商品信息列表与被 购前的初始商品信息列表进行比对；购买统计模块5，用于根据所述商品比对 模块4的比对结果，统计得到已被购买商品信息；货款获取模块6，用于根据 所述购买统计模块5统计的所述已被购买商品信息，获取对应金额的货款。
具体的，在本实施例中，图像获取模块可以通过设置在售货柜每层顶部的 一个或多个摄像头实现。指令获取模块、商品统计模块、商品比对模块、购买 统计模块均可以通过写入软件的功能模块实现。货款获取模块可以通过支付 宝、微信等免密支付扣款实现，或者通过银行卡读卡器、IC卡读卡器等实现， 或者通过二维码生成器或者二维码扫描器实现，或者通过现金处理装置实现。 指令获取模块获取购买结束指令；图像获取模块根据购买结束指令，获取被购 后的当前商品分布图；商品统计模块根据被购后的当前商品分布图，统计得到 被购后的当前商品信息列表；商品比对模块将被购后的当前商品信息列表与被 购前的初始商品信息列表进行比对；购买统计模块根据比对结果，统计得到已 被购买商品信息；货款获取模块根据已被购买商品信息，获取对应金额的货款。
在以上实施例的基础上，本发明还提供一个实施例，参照图6，还包括： 样本图像获取模块7，用于获取每一件待销售样品的若干样本图像；标注模块 8，用于对所述样本图像获取模块7获取的每一件所述样品的若干所述样本图 像标注对应的商品类型以及商品信息；训练模块9，用于采用深度学习法对所 述样本图像获取模块7获取的每一件所述样品的若干所述样本图像中的一部分 所述样本图像进行训练；计算更新模块10，用于根据所述训练模块9的训练结 果，更新第一算法模型以及第二算法模型；测试验证模块11，用于根据所述计 算更新模块10计算得到的所述第一算法模型以及所述第二算法模型，对每一 件所述样品的若干所述样本图像中的另一部分所述样本图像进行测试验证；图 像特征提取模块12，用于根据所述测试验证模块11的测试结果提取每一件所 述样品对应的样品图像特征；特征库建立模块13，用于根据所述标注模块8标 注的每一件所述样品的所述属性、所述图像特征提取模块12提取的所述样品 图像特征，建立特征库。
具体的，在本实施例中，样本图像获取模块可以通过摄像头实现。标注模 块可以通过键盘、鼠标等输入装置实现。训练模块、计算更新模块、测试验证 模块、图像特征提取模块、特征库建立模块均可以通过写入软件的功能模块实 现。样本图像获取模块获取每一件待销售样品的若干样本图像；标注模块对每 一件样品的若干样本图像标注对应的商品类型以及商品信息；训练模块采用深 度学习法对每一件样品的若干样本图像中的一部分样本图像进行训练；计算更 新模块根据训练结果，更新第一算法模型以及第二算法模型；测试验证模块根 据第一算法模型以及第二算法模型，对每一件样品的若干样本图像中的另一部 分样本图像进行测试验证；图像特征提取模块根据测试结果提取每一件样品对 应的样品图像特征；特征库建立模块根据标注的每一件样品的商品类型、商品 信息、样品图像特征，建立特征库。
在本实施例的另一个优选的实施方式中，还包括：图像分类模块14，用于 根据所述计算更新模块10计算得到的所述第一算法模型，对所述图像获取模 块2获取的所述被购后的当前商品分布图进行解析识别，分类得到所述被购后 的当前商品分布图中若干当前商品的商品类型；所述图像特征提取模块12进 一步用于根据所述计算更新模块10计算得到的所述第二算法模型，对所述图 像获取模块2获取的所述被购后的当前商品分布图进行解析识别，提取所述被 购后的当前商品分布图中所述若干当前商品的图像特征；图像特征比对模块 15，用于根据所述图像分类模块14分类得到的若干所述当前商品的所述商品 类型，将所述图像特征提取模块12提取的所述若干当前商品的所述图像特征 与所述特征库中的所述样品图像特征进行比对，得到所述若干当前商品的所述 商品信息；所述商品统计模块3进一步用于根据所述图像特征比对模块的比对 结果，统计得到被购后的当前商品信息列表。
具体的，在本实施例中，图像分类模块、图像特征比对模块均可以通过写 入软件的功能模块实现。图像分类模块根据第一算法模型，对被购后的当前商 品分布图进行解析识别，分类得到被购后的当前商品分布图中若干当前商品的 商品类型；图像特征提取模块根据第二算法模型，对被购后的当前商品分布图 进行解析识别，提取被购后的当前商品分布图中若干当前商品的图像特征；图 像特征比对模块根据若干当前商品的商品类型，将若干当前商品的图像特征与 特征库中的样品图像特征进行比对，得到若干当前商品的的商品信息；商品统 计模块根据比对结果，统计得到被购后的当前商品信息列表。
在本实施例的另一个优选的实施方式中，还包括：提示信息发送模块16， 用于根据所述商品统计模块3统计的所述被购后的当前商品信息列表，发送提 示信息。提示信息发送模块可以通过通讯装置实现，例如GPRS通讯装置、4G 通讯装置等。
在本系统中还包括柜门控制模块、柜门检测模块、商品更新模块(图中未标 出)。柜门控制模块用于根据购买指令，解锁售货柜的柜门。柜门检测模块检测 柜门是否打开后再关闭；当柜门打开再关闭后，柜门控制模块重新锁定售货柜 的柜门。柜门控制模块可以通过磁性开关来实现。柜门检测模块可以通过限位 开关或者接近开关来实现，也可以通过距离传感器来实现。商品更新模块用于 将被购后的当前商品信息列表更新设置为被购前的初始商品信息列表。商品更 新模块可以通过写入软件的功能模块实现。
本发明通过图像识别来统计售货柜中的商品信息，实现自动并准确统计客 户实际购买详情，从而减少了商品的货损率，降低了经营成本损耗的目的。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可 以通过程序指令相关的硬件来完成，前述的程序可以存储于一可读取存储介质 中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包 括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是，本系统中各模块之间的信息交互、执行过程等内容与上述 方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处 不再赘述。
应当说明的是，上述实施例均可根据需要自由组合。以上所述仅是本发明 的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离 本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为 本发明的保护范围。
Claims (8)
1.一种基于图像识别的智能售货柜商品管理方法，其特征在于，包括：
步骤S130根据购买结束指令，获取被购后的当前商品分布图；
步骤S200根据所述被购后的当前商品分布图以及特征库，统计得到被购后的当前商品信息列表；
步骤S300将所述被购后的当前商品信息列表与被购前的初始商品信息列表进行比对，并根据比对结果统计得到已被购买商品信息；
步骤S400根据所述已被购买商品信息，获取对应金额的货款；
步骤S200具体包括：
步骤S210根据第一算法模型，对所述被购后的当前商品分布图进行解析识别，分类得到所述被购后的当前商品分布图中若干当前商品的商品类型；
步骤S220根据第二算法模型，对所述被购后的当前商品分布图进行解析识别，提取所述被购后的当前商品分布图中所述若干当前商品的图像特征；
步骤S230根据步骤S210中得到的商品类型识别对应的特征库，将步骤S220得到的图像特征与所述特征库中的样品图像特征进行比对，以进行分布式特征检索，得到所述若干当前商品的商品信息；
步骤S240根据所述若干当前商品的所述商品信息，得到被购后的当前商品信息列表。
2.根据权利要求1所述的基于图像识别的智能售货柜商品管理方法，其特征在于，步骤S130之前还包括：
步骤S010获取每一件待销售样品的若干样本图像；
步骤S020对每一件所述样品的若干所述样本图像标注属性；
步骤S030采用深度学习法对每一件所述样品的若干所述样本图像中的一部分所述样本图像进行训练；
步骤S040根据训练结果，更新第一算法模型以及第二算法模型；
步骤S050根据所述第一算法模型以及所述第二算法模型，对每一件所述样品的若干所述样本图像中的另一部分所述样本图像进行测试验证，提取每一件所述样品对应的样品图像特征；
步骤S060根据每一件所述样品的所述属性、所述样品图像特征，建立特征库。
3.根据权利要求1所述的基于图像识别的智能售货柜商品管理方法，其特征在于，步骤S130之前还包括：
步骤S110根据登录验证指令，解锁所述售货柜的柜门；
步骤S120当检测到所述售货柜的柜门重新锁定后，生成所述购买结束指令。
4.根据权利要求1所述的基于图像识别的智能售货柜商品管理方法，其特征在于，步骤S400之后还包括：
步骤S500将所述被购后的当前商品信息列表更新设置为所述被购前的初始商品信息列表。
5.根据权利要求1所述的基于图像识别的智能售货柜商品管理方法，其特征在于，步骤S400之后还包括：
步骤S600根据所述被购后的当前商品信息列表，发送补货提示信息。
6.一种基于图像识别的智能售货柜商品管理系统，其特征在于，包括：
指令获取模块，用于获取购买结束指令；
图像获取模块，用于根据所述指令获取模块获取的所述购买结束指令，获取被购后的当前商品分布图；
商品统计模块，用于根据所述图像获取模块获取的所述被购后的当前商品分布图以及特征库，统计得到被购后的当前商品信息列表；
商品比对模块，用于将所述商品统计模块统计的所述被购后的当前商品信息列表与被购前的初始商品信息列表进行比对；
购买统计模块，用于根据所述商品比对模块的比对结果，统计得到已被购买商品信息；
货款获取模块，用于根据所述购买统计模块统计的所述已被购买商品信息，获取对应金额的货款；
图像分类模块，用于根据计算更新模块计算得到的第一算法模型，对所述图像获取模块获取的所述被购后的当前商品分布图进行解析识别，分类得到所述被购后的当前商品分布图中若干当前商品的商品类型；
所述图像特征提取模块进一步用于根据所述计算更新模块计算得到的第二算法模型，对所述图像获取模块获取的所述被购后的当前商品分布图进行解析识别，提取所述被购后的当前商品分布图中所述若干当前商品的图像特征；
图像特征比对模块，用于根据所述图像分类模块分类得到的若干所述当前商品的所述商品类型，将所述图像特征提取模块提取的所述若干当前商品的所述图像特征与所述特征库中的样品图像特征进行比对，得到所述若干当前商品的所述商品信息；
所述商品统计模块进一步用于根据所述图像特征比对模块的比对结果，统计得到被购后的当前商品信息列表。
7.根据权利要求6所述的基于图像识别的智能售货柜商品管理系统，其特征在于，还包括：
样本图像获取模块，用于获取每一件待销售样品的若干样本图像；
标注模块，用于对所述样本图像获取模块获取的每一件所述样品的若干所述样本图像标注属性；
训练模块，用于采用深度学习法对所述样本图像获取模块获取的每一件所述样品的若干所述样本图像中的一部分所述样本图像进行训练；
计算更新模块，用于根据所述训练模块的训练结果，更新第一算法模型以及第二算法模型；
测试验证模块，用于根据所述计算更新模块计算得到的所述第一算法模型以及所述第二算法模型，对每一件所述样品的若干所述样本图像中的另一部分所述样本图像进行测试验证；
图像特征提取模块，用于根据所述测试验证模块的测试结果提取每一件所述样品对应的样品图像特征；
特征库建立模块，用于根据所述标注模块标注的每一件所述样品的所述属性、所述图像特征提取模块提取的所述样品图像特征，建立特征库。
8.根据权利要求6所述的基于图像识别的智能售货柜商品管理系统，其特征在于，还包括：
提示信息发送模块，用于根据所述商品统计模块统计的所述被购后的当前商品信息列表，发送补货提示信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810246430.XA CN108491799B (zh) | 2018-03-23 | 2018-03-23 | 一种基于图像识别的智能售货柜商品管理方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810246430.XA CN108491799B (zh) | 2018-03-23 | 2018-03-23 | 一种基于图像识别的智能售货柜商品管理方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108491799A CN108491799A (zh) | 2018-09-04 |
| CN108491799B true CN108491799B (zh) | 2022-04-01 |
Family
ID=63319472
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810246430.XA Expired - Fee Related CN108491799B (zh) | 2018-03-23 | 2018-03-23 | 一种基于图像识别的智能售货柜商品管理方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108491799B (zh) |
Families Citing this family (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109409213A (zh) * | 2018-09-12 | 2019-03-01 | 上海了物网络科技有限公司 | 支持识别码的物品识别的视觉系统及方法与介质 |
| CN109271920A (zh) * | 2018-09-12 | 2019-01-25 | 上海了物网络科技有限公司 | 支持物品识别的视觉系统及方法与介质 |
| CN109410176B (zh) * | 2018-09-28 | 2022-03-04 | 中民筑友科技投资有限公司 | 一种监控货架装配状态的方法、装置和存储介质 |
| CN109509296B (zh) * | 2018-10-16 | 2021-04-20 | 浙江工商大学 | 基于倾斜导轨的食品自动售卖装置货物优化调整方法 |
| CN109522933A (zh) * | 2018-10-19 | 2019-03-26 | 北京陌上花科技有限公司 | 用于货架的商品检测方法及装置 |
| CN109523694A (zh) * | 2018-10-22 | 2019-03-26 | 南京云思创智信息科技有限公司 | 一种基于商品检测的零售系统及方法 |
| CN111222377B (zh) * | 2018-11-27 | 2023-09-08 | 杭州海康威视数字技术股份有限公司 | 一种商品信息确定方法、装置及电子设备 |
| CN109523320A (zh) * | 2018-11-27 | 2019-03-26 | 西安数拓网络科技有限公司 | 一种基于综合传感器的商品监测方法、装置及系统 |
| CN109635690A (zh) * | 2018-11-30 | 2019-04-16 | 任飞翔 | 基于视觉的商品识别检测方法及装置 |
| CN109635705B (zh) * | 2018-12-05 | 2021-04-27 | 上海交通大学 | 一种基于二维码和深度学习的商品识别方法及装置 |
| CN111414370A (zh) * | 2019-01-07 | 2020-07-14 | 北京智融网络科技有限公司 | 一种特征库更新方法和系统 |
| CN113793446B (zh) * | 2019-01-24 | 2023-03-21 | 创新先进技术有限公司 | 一种数据处理方法、设备、介质以及装置 |
| CN109977826B (zh) * | 2019-03-15 | 2021-11-02 | 百度在线网络技术（北京）有限公司 | 物体的类别识别方法和装置 |
| US10583560B1 (en) * | 2019-04-03 | 2020-03-10 | Mujin, Inc. | Robotic system with object identification and handling mechanism and method of operation thereof |
| CN110032654B (zh) * | 2019-04-19 | 2021-02-09 | 浪潮集团有限公司 | 一种基于人工智能的超市商品录入方法及系统 |
| CN110287203B (zh) * | 2019-05-24 | 2021-03-26 | 北京百度网讯科技有限公司 | 用于售货机的更新方法、更新装置及售货机 |
| CN110245580B (zh) * | 2019-05-24 | 2022-09-23 | 北京百度网讯科技有限公司 | 一种检测图像的方法、装置、设备和计算机存储介质 |
| CN110175590A (zh) * | 2019-05-31 | 2019-08-27 | 北京华捷艾米科技有限公司 | 一种商品识别方法及装置 |
| CN110363251B (zh) * | 2019-07-23 | 2021-09-21 | 杭州嘉云数据科技有限公司 | 一种sku图像分类方法、装置、电子设备及存储介质 |
| CN111696267A (zh) * | 2019-11-04 | 2020-09-22 | 深圳友宝科斯科技有限公司 | 自动出货方法、自动售货机、服务器及出货系统 |
| CN110930585B (zh) * | 2019-12-06 | 2022-04-19 | 创新奇智(浙江)科技有限公司 | 一种使用图像标签辅助识别商品的方法及其系统 |
| CN113012345B (zh) * | 2019-12-20 | 2022-08-05 | 深圳汇通云信息系统有限公司 | 一种自动售卖机出货系统 |
| CN111209911A (zh) * | 2020-01-07 | 2020-05-29 | 创新奇智(合肥)科技有限公司 | 基于语义分割网络的自定义标签识别系统及识别方法 |
| US11763374B2 (en) * | 2020-02-03 | 2023-09-19 | Toshiba Tec Kabushiki Kaisha | Tracking-based point-of-sale system |
| CN112530086A (zh) * | 2020-12-16 | 2021-03-19 | 合肥美的智能科技有限公司 | 自动售货柜及其商品sku计算方法、系统以及远程服务器 |
| CN112837468A (zh) * | 2020-12-25 | 2021-05-25 | 合肥美的智能科技有限公司 | 售货柜的控制方法和售货柜 |
| CN112801578A (zh) * | 2021-01-18 | 2021-05-14 | 哈尔滨工业大学 | 一种应用于个体商贩的商品出入库管理系统及方法 |
| CN113469644A (zh) * | 2021-06-18 | 2021-10-01 | 深圳市点购电子商务控股股份有限公司 | 保质期提醒方法、自动售货装置、计算机设备和存储介质 |
| CN116720899B (zh) * | 2023-08-09 | 2023-11-03 | 山东商软信息科技有限公司 | 商超智能监控管理方法、装置、电子设备及介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102063616A (zh) * | 2010-12-30 | 2011-05-18 | 上海电机学院 | 一种基于图像特征匹配的商品自动识别系统及方法 |
| CN102354422A (zh) * | 2011-10-19 | 2012-02-15 | 湖南德顺电子科技有限公司 | 一种面向周界防护的可疑目标监测方法 |
| CN103077050A (zh) * | 2012-12-28 | 2013-05-01 | 北京小米科技有限责任公司 | 一种显示应用程序信息的方法、装置及设备 |
| CN105373938A (zh) * | 2014-08-27 | 2016-03-02 | 阿里巴巴集团控股有限公司 | 识别视频图像中的商品和展示其信息的方法、装置及系统 |
| CN106033435A (zh) * | 2015-03-13 | 2016-10-19 | 北京贝虎机器人技术有限公司 | 物品识别方法和装置，室内地图生成方法和装置 |
| CN106781014A (zh) * | 2017-01-24 | 2017-05-31 | 广州市蚁道互联网有限公司 | 自动售货机及其运行方法 |
| CN107092914A (zh) * | 2017-03-23 | 2017-08-25 | 广东数相智能科技有限公司 | 基于图像识别的垃圾分类方法、装置和系统 |
| CN107292248A (zh) * | 2017-06-05 | 2017-10-24 | 广州诚予国际市场信息研究有限公司 | 一种基于图像识别技术的商品管理方法及系统 |
| CN107301728A (zh) * | 2017-06-15 | 2017-10-27 | 杭州银灯网络科技有限公司 | 一种自助售卖方法及系统 |
| CN107393152A (zh) * | 2017-08-14 | 2017-11-24 | 杭州纳戒科技有限公司 | 自助售货机及自助售货系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017037493A1 (en) * | 2015-08-31 | 2017-03-09 | The Nielsen Company (Us), Llc | Product auditing in point-of-sale images |
-
2018
- 2018-03-23 CN CN201810246430.XA patent/CN108491799B/zh not_active Expired - Fee Related
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102063616A (zh) * | 2010-12-30 | 2011-05-18 | 上海电机学院 | 一种基于图像特征匹配的商品自动识别系统及方法 |
| CN102354422A (zh) * | 2011-10-19 | 2012-02-15 | 湖南德顺电子科技有限公司 | 一种面向周界防护的可疑目标监测方法 |
| CN103077050A (zh) * | 2012-12-28 | 2013-05-01 | 北京小米科技有限责任公司 | 一种显示应用程序信息的方法、装置及设备 |
| CN105373938A (zh) * | 2014-08-27 | 2016-03-02 | 阿里巴巴集团控股有限公司 | 识别视频图像中的商品和展示其信息的方法、装置及系统 |
| CN106033435A (zh) * | 2015-03-13 | 2016-10-19 | 北京贝虎机器人技术有限公司 | 物品识别方法和装置，室内地图生成方法和装置 |
| CN106781014A (zh) * | 2017-01-24 | 2017-05-31 | 广州市蚁道互联网有限公司 | 自动售货机及其运行方法 |
| CN107092914A (zh) * | 2017-03-23 | 2017-08-25 | 广东数相智能科技有限公司 | 基于图像识别的垃圾分类方法、装置和系统 |
| CN107292248A (zh) * | 2017-06-05 | 2017-10-24 | 广州诚予国际市场信息研究有限公司 | 一种基于图像识别技术的商品管理方法及系统 |
| CN107301728A (zh) * | 2017-06-15 | 2017-10-27 | 杭州银灯网络科技有限公司 | 一种自助售卖方法及系统 |
| CN107393152A (zh) * | 2017-08-14 | 2017-11-24 | 杭州纳戒科技有限公司 | 自助售货机及自助售货系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108491799A (zh) | 2018-09-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108491799B (zh) | 一种基于图像识别的智能售货柜商品管理方法及系统 | |
| CN111415461B (zh) | 物品识别方法及系统、电子设备 | |
| CN108335408B (zh) | 用于自动售货机的物品识别方法、装置、系统及存储介质 | |
| US10410292B2 (en) | Method, system, apparatus, and storage medium for realizing antifraud in insurance claim based on consistency of multiple images | |
| CN105528604B (zh) | 一种基于ocr的票据自动识别与处理系统 | |
| CN108320404A (zh) | 基于神经网络的商品识别方法、装置、自助收银台 | |
| US20210056498A1 (en) | Method and device for identifying product purchased by user and intelligent shelf system | |
| Nam et al. | Pest detection on traps using deep convolutional neural networks | |
| US8761517B2 (en) | Human activity determination from video | |
| CN102831385B (zh) | 多相机监控网络中的目标识别设备和方法 | |
| US10902237B1 (en) | Utilizing sensor data for automated user identification | |
| CN106781014A (zh) | 自动售货机及其运行方法 | |
| CN108291876A (zh) | 用于检测产品的真实性的系统及方法 | |
| CN106529499A (zh) | 基于傅里叶描述子和步态能量图融合特征的步态识别方法 | |
| CN108235771A (zh) | 基于云端的自助购物方法和系统、电子设备、程序产品 | |
| JP4715664B2 (ja) | 車両検索システム | |
| CN109712324B (zh) | 一种自动售货机图像识别方法、售货方法及自动售货设备 | |
| CN108198315A (zh) | 一种身份验证方法以及身份验证装置 | |
| CN109872160A (zh) | 电子支付方法及装置 | |
| CN111222870B (zh) | 结算方法、装置和系统 | |
| CN109376717A (zh) | 人脸对比的身份识别方法、装置、电子设备及存储介质 | |
| CN109447619A (zh) | 基于开放环境的无人结算方法、装置、设备和系统 | |
| CN111476609A (zh) | 零售数据获取方法、系统、设备及存储介质 | |
| CN111126264A (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN111310531B (zh) | 图像分类方法、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220401 |