CN110930585A - 一种使用图像标签辅助识别商品的方法及其系统 - Google Patents

一种使用图像标签辅助识别商品的方法及其系统 Download PDF

Info

Publication number
CN110930585A
CN110930585A CN201911237836.2A CN201911237836A CN110930585A CN 110930585 A CN110930585 A CN 110930585A CN 201911237836 A CN201911237836 A CN 201911237836A CN 110930585 A CN110930585 A CN 110930585A
Authority
CN
China
Prior art keywords
label
sku
image
intelligent container
identifying
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911237836.2A
Other languages
English (en)
Other versions
CN110930585B (zh
Inventor
张发恩
陈炫光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Innovation Qizhi Zhejiang Technology Co ltd
Original Assignee
创新奇智(成都)科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 创新奇智(成都)科技有限公司 filed Critical 创新奇智(成都)科技有限公司
Priority to CN201911237836.2A priority Critical patent/CN110930585B/zh
Publication of CN110930585A publication Critical patent/CN110930585A/zh
Application granted granted Critical
Publication of CN110930585B publication Critical patent/CN110930585B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Abstract

本发明涉及一种使用图像标签辅助识别商品的方法及其方法。该方法包括S1)上架阶段：通过智能货柜的后台管理系统设置SKU与标签的关联，并将其关联关系应用到各智能货柜中；S2)购物阶段：采集智能货柜内商品的图像信息，通过算法模型识别出顾客所选商品上设置的标签，并通过标签与SKU的关联关系将该标签转换成SKU；S3)结算阶段：结算系统根据识别出的SKU生成购物订单，进行结算。本发明的技术方案中深度学习算法只需要对标签进行分类，模型相对稳定，节省了对每种SKU进行图像采集和标注训练的工作，节省了采购SKU的成本和人工标注成本。

Description

一种使用图像标签辅助识别商品的方法及其系统
技术领域
本发明涉及智能货柜技术领域，尤其涉及一种使用图像标签辅助识别商品的方法及其系统。
背景技术
随着人力成本的不断提高及物联网智能技术的发展，越来越多的传统商店迅速削减店面人员，并且有越来越多的无人商店和智能货柜诞生。
为了实现无人购物的体验，目前智能货柜通常会借助图像识别算法，特别是深度学习算法，去识别货柜中售卖的商品。
深度学习算法从开发到应用的过程包括采集数据，标注以及算法训练，整个过程耗时较长，这个缺点在新品上架的时候凸显。
发明内容
本发明所要解决的技术问题是提供一种使用图像标签辅助识别商品的方法及其系统，通过给售卖商品加上图像标签，然后在系统中关联标签和实际售卖的商品，以图像算法负责识别标签，做标签到实际售卖商品的转换，从而省去了上新的过程。
为解决上述技术问题，本发明的技术方案是：
首先，本发明提供一种使用图像标签辅助识别商品的方法，包括以下步骤：
S1)上架阶段：通过智能货柜的后台管理系统设置SKU(Stock Keeping Unit，库存量单位)与标签的关联，并将其关联关系应用到各智能货柜中；
S2)购物阶段：采集智能货柜内商品的图像信息，通过算法模型识别出顾客所选商品上设置的标签，并通过标签与SKU的关联关系将该标签转换成SKU；
S3)结算阶段：结算系统根据识别出的SKU生成购物订单，进行结算。
上述技术方案中，步骤S1)中所述的各智能货柜分别设有唯一的编号。
上述技术方案中，步骤S2)具体步骤如下：
S21)智能货柜设有的图像采集装置，所述图像采集装置采集顾客打开智能货柜门前后的商品图像信息，并将所采集的图像信息上传到智能货柜算法服务端；
S22)所述算法服务端接收到智能货柜开门前后图像信息后，经过对比确定顾客所选商品，由算法模型分类识别出该商品上的标签；
S23)所述业务服务端根据识别出的标签，查询标签与SKU的关联关系，生成订单消息,将该标签转换成SKU。
上述技术方案中，所述算法模型分类为深度学习模型分类。
其次，本发明提供一种使用图像标签辅助识别商品的系统，其包括：
若干储存商品的智能货柜，与智能货柜通信相连的服务器及结算终端；
所述智能货柜设有图像采集装置，用于采集智能货柜门开闭前后货柜内的商品图像信息；
所述服务器内置有图像识别算法模块及业务处理模块；
所述图像识别算法模块用于识别图像采集装置所采集的图像信息，通过对比确定出顾客所选商品，并识别该商品上的标签；
所述业务处理模块用于将顾客所选商品的标签转换为SKU，并生成购物订单信息；
所述结算终端根据所述购物订单信息进行结算。
上述技术方案中，所述服务器设有后台管理系统，用于设置SKU与标签的关联，并提供业务处理模块调用。
本发明的有益效果：
1)本发明的技术方案可以应用于水果等非标准包装的商品中，极大地提高了智能货柜的可售卖商品数量；
2)本发明的技术方案中，深度学习算法只需要对标签进行分类，模型相对稳定，节省了对每种SKU进行图像采集和标注训练的工作，节省了采购SKU的成本和人工标注成本；
3)该方案对SKU变动不敏感，弥补了深度学习模型迁移学习能力较弱的弊端，可以加速商品上新的速度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种使用图像标签辅助识别商品的方法上架阶段标签和SKU及智能货柜对应示意图。
图2为本发明一种使用图像标签辅助识别商品的方法的购物阶段图像信息到SKU的转换过程示意图。
图3为本发明一种使用图像标签辅助识别商品的方法完整的购物过程示意图。
具体实施方式
以下结合本发明的附图来进一步介绍本发明的技术方案：
首先，本发明提供一种使用图像标签辅助识别商品的方法，包括以下步骤：
S1)上架阶段：通过智能货柜的后台管理系统设置SKU(Stock Keeping Unit，库存量单位)与标签的关联，并将其关联关系应用到各智能货柜中；
S2)购物阶段：采集智能货柜内商品的图像信息，通过算法模型识别出顾客所选商品上设置的标签，并通过标签与SKU的关联关系将该标签转换成SKU；
S3)结算阶段：结算系统根据识别出的SKU生成购物订单，进行结算。
上述技术方案中，步骤S1)中所述的各智能货柜分别设有唯一的编号。
上述技术方案中，步骤S2)具体步骤如下：
S21)智能货柜设有的图像采集装置，所述图像采集装置采集顾客打开智能货柜门前后的商品图像信息，并将所采集的图像信息上传到智能货柜算法服务端；
S22)所述算法服务端接收到智能货柜开门前后图像信息后，经过对比确定顾客所选商品，由算法模型分类识别出该商品上的标签，并根据所识别的标签生成订单信息，将订单信息传递给业务服务端；
S23)所述业务服务端根据订单产生时智能货柜的编号，找到该标签与SKU的关联关系，将该标签转换成SKU。
上述技术方案中，所述算法模型分类为深度学习模型分类。
其次，本发明提供一种使用图像标签辅助识别商品的系统，其包括：
若干储存商品的智能货柜，与智能货柜通信相连的服务器及结算终端；
所述智能货柜设有图像采集装置，用于采集智能货柜门开闭前后货柜内的商品图像信息；
所述服务器内置有图像识别算法模块及业务处理模块；
所述图像识别算法模块用于识别图像采集装置所采集的图像信息，通过对比确定出顾客所选商品，并识别该商品上的标签；
所述业务处理模块用于将顾客所选商品的标签转换为SKU，并生成购物订单信息；
所述结算终端根据所述购物订单信息进行结算。
上述技术方案中，所述服务器设有后台管理系统，用于设置SKU与标签的关联，并提供业务处理模块调用。
具体的，步骤S1如图1所示，通过智能货柜(Fridge)的后台管理系统设置SKU与标签(Tag)的关联，该关联关系置于数据库中，应用于分散在各处的智能货柜中，所述各智能货柜分别设有唯一的识别编号。
如图2所示，该SKU和标签之间的关联关系，可以经由算法模块和业务模块进行转换。
当顾客进行商品选购时，设置在智能货柜上的图像采集装置会采集顾客打开智能货柜门前后的商品图像信息(Image)，并将该图像信息传递给算法服务端。算法服务端根据深度学习模型(Deep Learning Model)分类识别并对比所采集的图像信息，确定顾客所选购的商品，识别其上标签，并将标签信息传递至业务服务端。
所述业务服务端根据标签信息及订单产生时智能货柜的编号，找到该标签与SKU的关联关系，将该标签转换成SKU，并根据所识别出的SKU产生购物订单，用于结算系统进行结算。
如图3所示，为顾客进行购物的整个过程示意图。
图3中，Fridge,Server,Algorithm分别表示智能货柜，业务服务器以及算法服务器。
用户在智能货柜前购物，智能货柜的图像采集装置采集智能货柜开门前以及开门后的商品图像信息，上传到业务服务端。
业务服务端将图像信息传递给算法服务端，使用深度学习模型分类，识别图像中的标签，确定被选购商品及其标签。
业务服务端根据SKU与标签的关联关系，将标签转换成SKU。
业务服务端根据SKU，生成支付订单。
业务服务端将支付订单返回给用户，用户支付，完成整个购物流程。
本发明的技术方案可以应用于水果等非标准包装的商品中，极大地提高了智能货柜的可售卖商品数量；
本发明的技术方案中，深度学习算法只需要对标签进行分类，模型相对稳定，节省了对每种SKU进行图像采集和标注训练的工作，节省了采购SKU的成本和人工标注成本；
该方案对SKU变动不敏感，弥补了深度学习模型迁移学习能力较弱的弊端，可以加速商品上新的速度。
以上显示和描述了本发明的基本原理、主要特征及本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (6)

1.一种使用图像标签辅助识别商品的方法，其特征在于，包括以下步骤：
S1)上架阶段：通过智能货柜的后台管理系统设置SKU与标签的关联，并将其关联关系应用到各智能货柜中；
S2)购物阶段：采集智能货柜内商品的图像信息，通过算法模型识别出顾客所选商品上设置的标签，并通过标签与SKU的关联关系将该标签转换成SKU；
S3)结算阶段：结算系统根据识别出的SKU生成购物订单，进行结算。
2.根据权利要求1所述的一种使用图像标签辅助识别商品的方法，其特征在于：
步骤S1)中所述的各智能货柜分别设有唯一的编号。
3.根据权利要求2所述的一种使用图像标签辅助识别商品的方法，其特征在于：
步骤S2)具体步骤如下：
S21)智能货柜设有的图像采集装置，所述图像采集装置采集顾客打开智能货柜门前后的商品图像信息，并将所采集的图像信息上传到智能货柜算法服务端；
S22)所述算法服务端接收到智能货柜开门前后图像信息后，经过对比确定顾客所选商品，由算法模型分类识别出该商品上的标签；
S23)所述业务服务端根据识别出的标签，查询标签与SKU的关联关系，生成订单消息,将该标签转换成SKU。
4.根据权利要求3所述的一种使用图像标签辅助识别商品的方法，其特征在于：
所述算法模型分类为深度学习模型分类。
5.一种使用图像标签辅助识别商品的系统，其特征在于，包括：
若干储存商品的智能货柜，与智能货柜通信相连的服务器及结算终端；
所述智能货柜设有图像采集装置，用于采集智能货柜门开闭前后货柜内的商品图像信息；
所述服务器内置有图像识别算法模块及业务处理模块；
所述图像识别算法模块用于识别图像采集装置所采集的图像信息，通过对比确定出顾客所选商品，并识别该商品上的标签；
所述业务处理模块用于将顾客所选商品的标签转换为SKU，并生成购物订单信息；
所述结算终端根据所述购物订单信息进行结算。
6.根据权利要求5所述的一种使用图像标签辅助识别商品的系统，其特征在于：
所述服务器设有后台管理系统，用于设置SKU与标签的关联，并提供业务处理模块调用。
CN201911237836.2A 2019-12-06 2019-12-06 一种使用图像标签辅助识别商品的方法及其系统 Active CN110930585B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911237836.2A CN110930585B (zh) 2019-12-06 2019-12-06 一种使用图像标签辅助识别商品的方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911237836.2A CN110930585B (zh) 2019-12-06 2019-12-06 一种使用图像标签辅助识别商品的方法及其系统

Publications (2)

Publication Number Publication Date
CN110930585A true CN110930585A (zh) 2020-03-27
CN110930585B CN110930585B (zh) 2022-04-19

Family

ID=69857213

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911237836.2A Active CN110930585B (zh) 2019-12-06 2019-12-06 一种使用图像标签辅助识别商品的方法及其系统

Country Status (1)

Country Link
CN (1) CN110930585B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107293049A (zh) * 2017-07-05 2017-10-24 胡雷刚 一种商品自助销售方法及其装置
CN207268874U (zh) * 2017-08-25 2018-04-24 泉州市尚宝网络科技有限公司 一种基于rfid的服装智能零售系统
CN108416901A (zh) * 2018-03-27 2018-08-17 合肥美的智能科技有限公司 智能货柜内货品识别方法及装置、智能货柜
CN108491799A (zh) * 2018-03-23 2018-09-04 海深科技（宁波）有限公司 一种基于图像识别的智能售货柜商品管理方法及系统
CN108647761A (zh) * 2018-07-19 2018-10-12 天津众阳科技有限公司 一种无人售货货柜系统及其商品管理方法
CN109271935A (zh) * 2018-09-17 2019-01-25 北京旷视科技有限公司 物品与电子标签的配对方法、装置及系统
CN109697801A (zh) * 2017-10-23 2019-04-30 北京京东尚科信息技术有限公司 自助结算设备、方法、装置、介质及电子设备
CN109801022A (zh) * 2019-02-19 2019-05-24 湖南云数信息科技有限公司 一种自动售货机货道商品信息自动录入系统和方法
CN110097689A (zh) * 2018-01-26 2019-08-06 江苏美萃恪斯数字技术有限公司 用于无人零售柜的卖家管理系统、支付管理方法
CN110148256A (zh) * 2019-06-18 2019-08-20 富士电机（中国）有限公司 自动售货机以及自动售货机的货款结算方法
CN110197143A (zh) * 2019-05-17 2019-09-03 深兰科技（上海）有限公司 一种结算台物品识别方法、装置及电子设备
CN110298965A (zh) * 2019-07-04 2019-10-01 苏州麦垛信息科技有限公司 一种基于动态计算机视觉识别的智能售卖柜系统及其方法
CN110321743A (zh) * 2019-04-12 2019-10-11 北京星网锐捷网络技术有限公司 一种智能零售方法和装置

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107293049A (zh) * 2017-07-05 2017-10-24 胡雷刚 一种商品自助销售方法及其装置
CN207268874U (zh) * 2017-08-25 2018-04-24 泉州市尚宝网络科技有限公司 一种基于rfid的服装智能零售系统
CN109697801A (zh) * 2017-10-23 2019-04-30 北京京东尚科信息技术有限公司 自助结算设备、方法、装置、介质及电子设备
CN110097689A (zh) * 2018-01-26 2019-08-06 江苏美萃恪斯数字技术有限公司 用于无人零售柜的卖家管理系统、支付管理方法
CN108491799A (zh) * 2018-03-23 2018-09-04 海深科技（宁波）有限公司 一种基于图像识别的智能售货柜商品管理方法及系统
CN108416901A (zh) * 2018-03-27 2018-08-17 合肥美的智能科技有限公司 智能货柜内货品识别方法及装置、智能货柜
CN108647761A (zh) * 2018-07-19 2018-10-12 天津众阳科技有限公司 一种无人售货货柜系统及其商品管理方法
CN109271935A (zh) * 2018-09-17 2019-01-25 北京旷视科技有限公司 物品与电子标签的配对方法、装置及系统
CN109801022A (zh) * 2019-02-19 2019-05-24 湖南云数信息科技有限公司 一种自动售货机货道商品信息自动录入系统和方法
CN110321743A (zh) * 2019-04-12 2019-10-11 北京星网锐捷网络技术有限公司 一种智能零售方法和装置
CN110197143A (zh) * 2019-05-17 2019-09-03 深兰科技（上海）有限公司 一种结算台物品识别方法、装置及电子设备
CN110148256A (zh) * 2019-06-18 2019-08-20 富士电机（中国）有限公司 自动售货机以及自动售货机的货款结算方法
CN110298965A (zh) * 2019-07-04 2019-10-01 苏州麦垛信息科技有限公司 一种基于动态计算机视觉识别的智能售卖柜系统及其方法

Also Published As

Publication number Publication date
CN110930585B (zh) 2022-04-19

Similar Documents

Publication Publication Date Title
US20240144340A1 (en) Remote SKU On-Boarding of Products for Subsequent Video Identification and Sale
CN208188867U (zh) 一种用于无人自动售货的商品识别系统
CN205899683U (zh) 一种智能售货管理系统及智能售货机
CN106779690A (zh) 无人值守自动结账商店及其实现方法
CN106097049A (zh) 基于声波标签技术的超市购物系统及购物方法
CN107749023A (zh) 一种无人超市自动管理方法及装置
CN109993516A (zh) 商品的信息处理方法、装置及系统
CN111222389B (zh) 商超货架上商品的分析方法和系统
CN104766191A (zh) 基于数据标签的商品物流及销售数据采集系统
CN105354736A (zh) 基于rfid技术和选品算法的智能虚拟商店系统
CN108682090A (zh) 一种社区智能零售系统
CN110009839A (zh) 一体化智能称重结算系统
CN111080406A (zh) 一种基于拍照的商品价格智能查询系统及方法
CN108629654A (zh) 一种基于物联网的社区零售管理系统
Sriram et al. An extensive systematic review of RFID technology role in supply chain management (SCM)
CN104715350A (zh) 用于促进库存管理和控制的效率的系统和方法
CN112085519A (zh) 一种用于服装业的智慧门店系统
CN111260439A (zh) 一种智能化程度高的电子商务系统
CN108428129A (zh) 一种基于射频技术的快捷购物系统及方法
CN110992103A (zh) 一种基于人脸交互的智能货柜商品促销方法
CN110930585B (zh) 一种使用图像标签辅助识别商品的方法及其系统
CN107689123A (zh) 物流箱售货方法、装置及物流箱
CN101216974B (zh) 采用射频识别装置的pos物流系统
CN204440577U (zh) 一种基于物联网的美容产品自助管理系统
CN111222941B (zh) 一种基于大数据的线上采购信息分类系统及手持操作终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220325

Address after: 314001 room 1101, building 14, Jiaxing smart Industrial Innovation Park, No. 36, Changsheng South Road, Jiaxing Economic and Technological Development Zone, Zhejiang Province

Applicant after: Innovation Qizhi (Zhejiang) Technology Co.,Ltd.

Address before: 610200 rooms 2-400 to 2-409, 4th floor, research building (II), Chengdu Research Institute, City University of Hong Kong, No. 166, section 3, Yinhe Road, Dongsheng Street, Shuangliu District, Chengdu, Sichuan

Applicant before: Innovation Qizhi (Chengdu) Technology Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant