CN111310729A - 基于图像识别技术获取冰箱纯净度的方法及资产管理系统 - Google Patents

基于图像识别技术获取冰箱纯净度的方法及资产管理系统 Download PDF

Info

Publication number
CN111310729A
CN111310729A CN202010180622.2A CN202010180622A CN111310729A CN 111310729 A CN111310729 A CN 111310729A CN 202010180622 A CN202010180622 A CN 202010180622A CN 111310729 A CN111310729 A CN 111310729A
Authority
CN
China
Prior art keywords
refrigerator
commodities
commodity
information
width
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010180622.2A
Other languages
English (en)
Inventor
刘国俭
简思
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Zhangkong Network Science & Technology Co ltd
Original Assignee
Nanjing Zhangkong Network Science & Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Zhangkong Network Science & Technology Co ltd filed Critical Nanjing Zhangkong Network Science & Technology Co ltd
Priority to CN202010180622.2A priority Critical patent/CN111310729A/zh
Publication of CN111310729A publication Critical patent/CN111310729A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)

Abstract

本发明公开了一种基于图像识别技术获取冰箱纯净度的方法及资产管理系统，所述方法包括以下步骤：（1）在基于清楚冰箱属性信息的前提下，采集对应冰箱的图像信息，将图像信息输入资产管理系统中；（2）资产管理系统根据所收集的商品图片对所采集的图像进行训练，识别出图片中的商品，之后辨别出位于冰箱内部的商品；（3）从区分的商品中获取商品的宽度信息，并进一步获得所识别的所有商品的总长度，将所获得的所有商品的总长度与冰箱可摆放商品的总长度的比值作为冰箱的纯净度。本发明能够精确高效的计算冰箱纯净度，达成资产管理的目标，提升企业管理效率。

Description

基于图像识别技术获取冰箱纯净度的方法及资产管理系统
技术领域
本发明属于领域，具体涉及一种基于图像识别技术获取冰箱纯净度的方法及资产管理系统。
背景技术
SFA(销售能力自动化)是CRM客户关系管理系统的一个重要业务组件。SFA通过拜访目标制定、路线规划、设置执行规范、任务执行、执行结果分析等一系列功能对业务人员在外行为进行规范和引导，帮助业务人员正确高效的完成拜访规定步骤。
SFA中资产管理系统是一个重要的功能，用来帮助企业管理投放在市场上的、拥有所有权的资产，例如冰箱、冰柜，热饮机和促销架、挂架等。业务员通过客户拜访流程对这些资源进行标准流程管理，核检是否专摆本公司的产品，陈列是否整齐，陈列是否摆放饱满等。资产管理系统根据业务员上报的数据计算不同资产的指标，对于投放的冰箱，冰箱的纯净度是一个重要指标。冰箱纯净度即本品在冰箱可摆放的商品中的占比。冰箱纯净度越高表示冰箱管理越规范。
当前冰箱纯净度的计算有两种方式，第一种，由业务员在拜访现场填写上报，第二种，由业务员拍照上传到资产管理系统中，由后台核查人员根据拍摄照片来人工统计。这两种方式均有很大不足，由业务员填写上报无法确保数据的真实性而且业务员的现场工作效率很低；由后台核查人员来统计则依赖大量人工并且数据准确性很难验证。由于这些不足以及对人力的要求，冰箱纯净度作为一个重要的指标却一直无法精确计算，导致冰箱类的资产管理的目标效果不佳。
发明内容
针对上述问题，本发明提出一种基于图像识别技术获取冰箱纯净度的方法，及根据此方法建立的资产管理系统，用于解决上述的冰箱纯净度计算数据准确性无法验证，计算效率低以及依赖大量人力的问题。
实现上述技术目的，达到上述技术效果，本发明通过以下技术方案实现：
一种基于图像识别技术获取冰箱纯净度的方法，包括以下步骤：
(1)在基于清楚冰箱属性信息的前提下，采集对应冰箱的图像信息，将图像信息输入资产管理系统中；
(2)图像处理系统中识别冰箱内部的商品：
资产管理系统根据所收集的商品图片对所采集的图像进行训练，识别出图片中的商品，之后辨别出位于冰箱内部的商品；
(3)计算冰箱纯净度：
从区分的商品中获取商品的宽度信息，并进一步获得所识别的所有商品的总长度，将所获得的所有商品的总长度与冰箱可摆放商品的总长度的比值作为冰箱的纯净度。
作为本发明的进一步改进，所述步骤(2)包括：
(2-1)建立商品模型训练集：收集所有需识别的商品的实际场景图片作为模型训练集；
(2-2)识别图片中商品信息：基于建立的模型训练集，利于深度学习所包括的但不限于Faster R-CNN或SSD目标检测算法，对采集图像进行训练，识别图片中的商品。
作为本发明的进一步改进，所述步骤(2)采用以下步骤辨别商品是否位于冰箱内部，具体步骤如下：
(2-3-1)将图片中商品所占的矩形区域进行聚类，以矩形区域上下底边的边缘线段作为新的聚类对象，之后计算两者之间的距离，所计算的距离是以线段的中点在x轴方向上的距离；
(2-3-2)结合冰箱的宽度属性，判断所聚类的商品之间的x轴距离是否大于冰箱的宽度，若是则删除最左或最右侧的商品；
(2-3-3)重复以上步骤，直到剩余的商品的x轴的最大距离小于等于冰箱的宽度，并认定剩余的商品为位于冰箱内部的商品。
作为本发明的进一步改进，还包括将所有识别商品的平均宽度作为聚类连接半径，判断相邻的聚类对象是否在一个聚类连接半径距离内，基于此将识别出的商品分为若干聚类簇；所述步骤(2-3-2)中如果所聚类的商品之间的x轴距离大于冰箱的宽度，则删除最左或最右的簇中商品数量较少的那个簇。
作为本发明的进一步改进，还包括对商品生成编码信息，所生成的编码信息包括商品的尺寸信息。
作为本发明的进一步改进，所述步骤(2-2)中还包括将新识别出的商品图片信息添加至模型训练集中。
作为本发明的进一步改进，所述商品的总长度基于商品的尺寸信息和冰箱内部包含的所有商品的数目进行计算获得的总值。
作为本发明的进一步改进，步骤(3)中还包括获取两个商品之间的间隔宽度，根据间隙宽度与商品宽度的比例判定冰箱内部空间的利用率。
本发明还提出了一种进行冰箱纯净度的资产管理系统，包括
图像采集模块：被配置为采集图片信息；
模型训练集模块：被配置为存储商品图片集；
目标检测模块：被配置基于所建立的模型训练集模块对所采集的图像进行训练，识别出图片中的商品，并将所识别出的新的商品图片信息添加到模型训练集模块中；
判别模块：被配置为通过比较任意两个商品之间的距离与冰箱尺寸大小之间的关系判别出位于冰箱内部的商品；
和
计算模块：被配置为根据所有商品的总长度与冰箱可摆放商品的总长度的比值计算冰箱的纯净度。
本发明的有益效果：本发明能够精确高效的计算冰箱纯净度，达成资产管理的目标，提升企业管理效率。
附图说明
图1为本发明中获取冰箱纯净度的方法的流程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
下面结合附图对本发明的应用原理作详细的描述。
如图所示的本发明提供的一种基于图像识别技术获取冰箱纯净度的方法，包括以下步骤：
1.资产管理系统中维护企业资产。当资产管理系统中增加新的冰箱资产时，需同时填入该冰箱的相关属性，并为该冰箱分配一个资产编号。冰箱资产的属性包括冰箱编号，冰箱型号，冰箱类别(单开门/双开门/多开门等)，冰箱容积，冰箱内长，冰箱內宽，冰箱内深，冰箱层数等。冰箱资产投放到业务门店时，会为该业务门店关联该资产编号。
2.资产管理系统中维护本公司的商品信息即本品，包括商品的长宽高信息。
3.获取冰箱图片信息
业务员在业务门店中，选择门店对应的冰箱资产编号，并对冰箱拍照并上传至图像处理系统中进行图像处理。拍照时需要对冰箱全部拍照，获得冰箱全貌的完整图片，照片至少一张，所拍摄的照片是在打开冰箱门的情况下拍摄的。
4.图像处理系统处理图像
4.1利用基于计算机视觉的目标检测模型对冰箱图片进行目标检测并对冰箱照片中的商品进行识别，识别的具体步骤为：
1)建立冰箱商品检测模型，模型的建立方法如下：
收集所需要识别的商品的各类实际场景图片，构建模型训练集；对图片中出现的需要识别的商品生成商品编码并利用基于深度学习的Faster R-CNN或SSD等目标检测算法进行训练，获取商品检测模型；
2)利用训练好的商品检测模型对图片进行推理，能够得到照片中出现的商品类别，位置和置信度，此处识别的图片可以加入模型训练集中做优化训练以提高模型识别精度。
4.2去除非置于冰箱中的商品
因为对冰箱的拍照很可能会把冰箱旁边的货架陈列架等之上摆放商品拍进照片，同时打开冰箱门进行拍照，因为光线原因，冰箱内的商品会映射在打开的冰箱门上并被拍进照片。所以对照片进行商品识别后，需要剔除冰箱内部区域以外的商品。所剔除的商品包括位于冰箱外货架或其它陈列架等摆放的商品，以及位于冰箱箱门上由冰箱内商品映射出的商品。
去除非置于冰箱中的商品包括以下步骤：
1)对识别出的商品根据识别出的商品位置信息进行聚类
使用改进的DBSCAN聚类算法对识别出的商品进行聚类，主要改变算法中计算两个聚类对象之间距离的算法。具体的为：首先对商品在图片中所占的矩形区域进行聚类，此处聚类对象是一个矩形区域，包含左上坐标和右下坐标，之后把矩形聚类对象转化为线段，取每个矩形对象的底边作为新的聚类对象。两个对象之间的聚类即计算两个线段之间的距离。由于需要删除的识别对象总是在实际识别对象的左右两侧，可以把线段之间的距离转换为线段中点的距离，进一步转换为计算线段中点x轴的距离。同时使用所有识别商品的平均宽度作为聚类连接半径，以此判断相邻的聚类对象是否在一个聚类半径距离内，并逐步向外侧扩展，通过此聚类算法把识别出的商品分为若干簇。
2)根据聚类结果和冰箱属性删除冰箱区域之外的聚类中的商品
根据上步的聚类结果，结合冰箱的宽度属性，如果所有聚类的商品之间的x轴距离大于冰箱的宽度，则删除最左或最右的簇中商品数量较少的那个簇。重复此判断过程，直到剩余的商品的X轴的最大距离小于等于冰箱的宽度。
5.计算冰箱纯净度
5.1计算冰箱内可以摆放商品的总长度
根据冰箱的內宽以及冰箱类型进行计算可以摆放商品总长度由冰箱层数乘以冰箱内宽得到，如果是双开门冰箱，还需要减去冰箱中间隔框的宽度。
5.2计算所识别的商品的总长度
根据识别出的本品商品，从资产管理系统中获取识别出的商品宽度，各个商品的宽度的总和即为所有商品的总长度。
考虑到冰箱内商品排放总有一定间隔，按上述方法计算出的商品总长度一定会小于冰箱可摆放的总长度，需要根据识别出的商品位置对两个同层相邻商品之间的间隔进行计算。即两个商品之间的间隔小于一定宽度则认为商品已经摆满，间隔长度应加入商品长度。目前选取间隔小于该两个相邻商品平均宽度的10％即认为已摆满，可选区间为5％到15％，优选为10％。
5.3计算冰箱纯净度
根据5.2计算出的摆放商品的总宽度除以5.1计算出的可摆放的总宽度，即得到冰箱纯净度。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (9)

1.一种基于图像识别技术获取冰箱纯净度的方法，其特征在于，包括以下步骤：
(1)在基于清楚冰箱属性信息的前提下，采集对应冰箱的图像信息，将图像信息输入资产管理系统中；
(2)图像处理系统中识别冰箱内部的商品：
资产管理系统根据所收集的商品图片对所采集的图像进行训练，识别出图片中的商品，之后辨别出位于冰箱内部的商品；
(3)计算冰箱纯净度：
从区分的商品中获取商品的宽度信息，并进一步获得所识别的所有商品的总长度，将所获得的所有商品的总长度与冰箱可摆放商品的总长度的比值作为冰箱的纯净度。
2.根据权利要求1所述的方法，其特征在于，所述步骤(2)包括：
(2-1)建立商品模型训练集：收集所有需识别的商品的实际场景图片作为模型训练集；
(2-2)识别图片中商品信息：基于建立的模型训练集，利于深度学习所包括的但不限于Faster R-CNN或SSD目标检测算法，对采集图像进行训练，识别图片中的商品。
3.根据权利要求1所述的方法，其特征在于，所述步骤(2)采用以下步骤辨别商品是否位于冰箱内部，具体步骤如下：
(2-3-1)将图片中商品所占的矩形区域进行聚类，以矩形区域上下底边的边缘线段作为新的聚类对象，之后计算两者之间的距离，所计算的距离是以线段的中点在x轴方向上的距离；
(2-3-2)结合冰箱的宽度属性，判断所聚类的商品之间的x轴距离是否大于冰箱的宽度，若是则删除最左或最右侧的商品；
(2-3-3)重复以上步骤，直到剩余的商品的x轴的最大距离小于等于冰箱的宽度，并认定剩余的商品为位于冰箱内部的商品。
4.根据权利要求3所述的方法，其特征在于：还包括将所有识别商品的平均宽度作为聚类连接半径，判断相邻的聚类对象是否在一个聚类连接半径距离内，基于此将识别出的商品分为若干聚类簇；所述步骤(2-3-2)中如果所聚类的商品之间的x轴距离大于冰箱的宽度，则删除最左或最右的簇中商品数量较少的那个簇。
5.根据权利要求2所述的方法，其特征在于：还包括对商品生成编码信息，所生成的编码信息包括商品的尺寸信息。
6.根据权利要求2所述的方法，其特征在于：所述步骤(2-3-2)中还包括将新识别出的商品图片信息添加至模型训练集中。
7.根据权利要求1或5所述的方法，其特征在于：所述商品的总长度基于商品的尺寸信息和冰箱内部包含的所有商品的数目进行计算获得的总值。
8.根据权利要求1所述的方法，其特征在于：步骤(3)中还包括获取两个商品之间的间隔宽度，根据间隙宽度与商品宽度的比例判定冰箱内部空间的利用率。
9.一种进行冰箱纯净度的资产管理系统，其特征在于：包括
图像采集模块：被配置为采集图片信息；
模型训练集模块：被配置为存储商品图片集；
目标检测模块：被配置基于所建立的模型训练集模块对所采集的图像进行训练，识别出图片中的商品，并将所识别出的新的商品图片信息添加到模型训练集模块中；
判别模块：被配置为通过比较任意两个商品之间的距离与冰箱尺寸大小之间的关系判别出位于冰箱内部的商品；和
计算模块：被配置为根据所有商品的总长度与冰箱可摆放商品的总长度的比值计算冰箱的纯净度。
CN202010180622.2A 2020-03-16 2020-03-16 基于图像识别技术获取冰箱纯净度的方法及资产管理系统 Pending CN111310729A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010180622.2A CN111310729A (zh) 2020-03-16 2020-03-16 基于图像识别技术获取冰箱纯净度的方法及资产管理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010180622.2A CN111310729A (zh) 2020-03-16 2020-03-16 基于图像识别技术获取冰箱纯净度的方法及资产管理系统

Publications (1)

Publication Number Publication Date
CN111310729A true CN111310729A (zh) 2020-06-19

Family

ID=71149964

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010180622.2A Pending CN111310729A (zh) 2020-03-16 2020-03-16 基于图像识别技术获取冰箱纯净度的方法及资产管理系统

Country Status (1)

Country Link
CN (1) CN111310729A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111738245A (zh) * 2020-08-27 2020-10-02 创新奇智(北京)科技有限公司 商品识别管理方法、装置、服务器及可读存储介质
CN111860371A (zh) * 2020-07-24 2020-10-30 浙江星星冷链集成股份有限公司 一种商品种类、数量及纯净度检测的方法及其冰柜

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108389230A (zh) * 2018-03-07 2018-08-10 上海扩博智能技术有限公司 冰箱容量自动检测方法、系统、设备及存储介质
CN108596187A (zh) * 2018-03-30 2018-09-28 青岛海尔智能技术研发有限公司 商品纯净度检测方法及展示柜
CN108875831A (zh) * 2018-06-22 2018-11-23 广州图匠数据科技有限公司 一种基于图像识别的冰柜商品信息识别方法、系统及装置
CN110543839A (zh) * 2019-08-20 2019-12-06 南京掌控网络科技有限公司 一种基于计算机视觉的商品铺货率采集方法
CN110689005A (zh) * 2019-09-05 2020-01-14 上海零眸智能科技有限公司 一种基于深度学习融合位置和形状信息的商品识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108389230A (zh) * 2018-03-07 2018-08-10 上海扩博智能技术有限公司 冰箱容量自动检测方法、系统、设备及存储介质
CN108596187A (zh) * 2018-03-30 2018-09-28 青岛海尔智能技术研发有限公司 商品纯净度检测方法及展示柜
CN108875831A (zh) * 2018-06-22 2018-11-23 广州图匠数据科技有限公司 一种基于图像识别的冰柜商品信息识别方法、系统及装置
CN110543839A (zh) * 2019-08-20 2019-12-06 南京掌控网络科技有限公司 一种基于计算机视觉的商品铺货率采集方法
CN110689005A (zh) * 2019-09-05 2020-01-14 上海零眸智能科技有限公司 一种基于深度学习融合位置和形状信息的商品识别方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860371A (zh) * 2020-07-24 2020-10-30 浙江星星冷链集成股份有限公司 一种商品种类、数量及纯净度检测的方法及其冰柜
CN111738245A (zh) * 2020-08-27 2020-10-02 创新奇智(北京)科技有限公司 商品识别管理方法、装置、服务器及可读存储介质
CN111738245B (zh) * 2020-08-27 2020-11-20 创新奇智(北京)科技有限公司 商品识别管理方法、装置、服务器及可读存储介质

Similar Documents

Publication Publication Date Title
US10592854B2 (en) Planogram matching
CN107045641B (zh) 一种基于图像识别技术的货架识别方法
US20170178226A1 (en) Suggestion Generation Based on Planogram Matching
CN112801050B (zh) 行李智能跟踪监测方法和系统
CN112668968B (zh) 一种基于领域驱动设计的仓储管理建模方法及系统
CN109977782A (zh) 基于目标位置信息推理的跨店经营行为检测方法
CN111310729A (zh) 基于图像识别技术获取冰箱纯净度的方法及资产管理系统
CN104573130A (zh) 基于群体计算的实体解析方法及装置
CN108550002A (zh) 一种银行贵金属智能盘库系统及方法
US20230079388A1 (en) Systems and methods for trigger-based updates to camograms for autonomous checkout in a cashier-less shopping
CN110322356A (zh) 基于hin挖掘动态多模式的医保异常检测方法及系统
Li et al. A method based on an adaptive radius cylinder model for detecting pole-like objects in mobile laser scanning data
CN113723452A (zh) 一种基于kpi聚类的大规模异常检测系统
US11748787B2 (en) Analysis method and system for the item on the supermarket shelf
CN110033191B (zh) 一种商业人工智能的分析方法及系统
Chen E-commerce logistics inspection system based on artificial intelligence technology in the context of big data
CN110390813A (zh) 基于车型鉴别的大数据处理系统
CN111291834B (zh) 一种快速生成货架数字陈列图的方法
CN110309737A (zh) 一种应用于香烟柜台的信息处理方法、装置及系统
CN110580299B (zh) 生成对象的推荐语的配图的方法、系统、设备及存储介质
CN106649668A (zh) 一种基于向量模型的海量时空数据检索方法及系统
WO2009006028A2 (en) Explaining changes in measures thru data mining
CN111275583A (zh) 一种基于人脸识别与数据库的服务方法
CN116089448A (zh) 一种基于多维感知建立人口画像的实时人口管理系统
US20230076241A1 (en) Object detection systems and methods including an object detection model using a tailored training dataset

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination