CN107292248B - 一种基于图像识别技术的商品管理方法及系统 - Google Patents

一种基于图像识别技术的商品管理方法及系统 Download PDF

Info

Publication number
CN107292248B
CN107292248B CN201710414721.0A CN201710414721A CN107292248B CN 107292248 B CN107292248 B CN 107292248B CN 201710414721 A CN201710414721 A CN 201710414721A CN 107292248 B CN107292248 B CN 107292248B
Authority
CN
China
Prior art keywords
image
commodity
matching
features
commodity information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710414721.0A
Other languages
English (en)
Other versions
CN107292248A (zh
Inventor
张爱国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Loya International Marketing Research Co ltd
Original Assignee
Guangzhou Loya International Marketing Research Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Loya International Marketing Research Co ltd filed Critical Guangzhou Loya International Marketing Research Co ltd
Priority to CN201710414721.0A priority Critical patent/CN107292248B/zh
Publication of CN107292248A publication Critical patent/CN107292248A/zh
Application granted granted Critical
Publication of CN107292248B publication Critical patent/CN107292248B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0637—Strategic management or analysis, e.g. setting a goal or target of an organisation; Planning actions based on goals; Analysis or evaluation of effectiveness of goals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/36—Indoor scenes
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Multimedia (AREA)
  • Strategic Management (AREA)
  • Operations Research (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • Educational Administration (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Game Theory and Decision Science (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于图像识别技术的商品管理方法，包括以下步骤：获取商品陈列图像；提取商品陈列图像中不同货架层的各个商品的一级图像特征；根据预设的一级图像特征模型对一级图像特征进行匹配，并根据匹配结果生成第一匹配数值；判断第一匹配数值是否大于预设的第一匹配阈值，若是，则获取商品信息；若否，则提取商品陈列图像中各个商品的二级图像特征，并根据预设的二级图像特征模型对二级图像特征进行匹配，并根据匹配结果获取商品信息；根据获取到的商品信息生成商品信息报表并展示。本发明还提供了一种基于图像识别技术的商品管理系统。本发明可以自动识别出商店内各个货架商品的商品信息，从而可以提高获取商品信息的效率并降低成本。

Description

一种基于图像识别技术的商品管理方法及系统
技术领域
本发明涉及图像识别技术领域，尤其涉及一种基于图像识别技术的商品管理方法及系统。
背景技术
在商品的销售的过程中，各商家对商店内的各个货架上的商品信息(例如店内的各个货架上的商品的陈列情况、各个货架上的不同品牌商品的品牌占比或者各个商品的价格)等信息十分关注，因为如果可以及时地掌握门店内不同商品品牌的的商品信息，那么商家就可以制定有效的销售计划及目标。
现有的获取商店内的各个货架上的商品的商品信息一般为：通过人工来对商店内的各个货架上的商品进行逐一识别，并将识别出来的商品进行商品信息的登记。因此，现有的这种商品信息的获取方式成本高且效率低。
发明内容
针对上述问题，本发明的目的在于提供一种基于图像识别技术的商品管理方法及系统，
为了实现上述目的，本发明实施例提供了一种基于图像识别技术的商品管理方法，其包括以下步骤：
S10，获取拍摄到的货架的商品陈列图像；
S20，提取所述商品陈列图像中的不同货架层的各个商品的一级图像特征；所述一级图像特征包括以下至少一种：颜色特征及形状特征；
S30，根据预设的一级图像特征模型对获取到的所述一级图像特征进行对应匹配，并根据匹配结果生成第一匹配数值；
S40，判断所述第一匹配数值是否大于预设的第一匹配阈值，若是，则获取与所述一级图像特征对应的商品信息；若否，则提取所述商品陈列图像中的不同货架层的各个商品的二级图像特征，并根据预设的二级图像特征模型对获取到的所述二级图像特征进行对应匹配，并根据识别匹配结果获取与所述二级图像特征对应的商品信息；其中，所述二级图像特征包括以下至少一种：纹理特征及位置关系特征；以及，
S50，根据获取到的所述商品信息生成对应的商品信息报表，并展示所述商品信息报表。
本发明实施例还提供了一种基于图像识别技术的商品管理系统，其包括：
第一图像获取模块，用于获取拍摄到的货架的商品陈列图像；
一级图像特征提取模块，用于提取所述商品陈列图像中的不同货架层的各个商品的一级图像特征；所述一级图像特征包括以下至少一种：颜色特征及形状特征；
第一匹配模块，用于根据预设的一级图像特征模型对获取到的所述一级图像特征进行对应匹配，并根据匹配结果生成第一匹配数值；
判断识别模块，用于判断所述第一匹配数值是否大于预设的第一匹配阈值，若是，则获取与所述一级图像特征对应的商品信息；若否，则提取所述商品陈列图像中的不同货架层的各个商品的二级图像特征，并根据预设的二级图像特征模型对获取到的所述二级图像特征进行对应匹配，并根据识别匹配结果获取与所述二级图像特征对应的商品信息；其中，所述二级图像特征包括以下至少一种：纹理特征及位置关系特征；以及，
商品信息报表生成模块，用于根据获取到的所述商品信息生成对应的商品信息报表，并展示所述商品信息报表。
本发明实施例提供的基于图像识别技术的商品管理方法及系统，通过对拍摄到的货架的商品陈列图像进行特征提取，并根据预设的图像特征模型对提取到的图像特征进行识别，以识别获取所述商品陈列图像中的各个商品的商品信息，然后根据获取到的所述商品信息生成对应的商品信息报表，最后向商店管理人员展示所述商品信息报表，这样商店的管理人员可以快速获知商店内的商品情况，并且商店的管理人员还可以根据所述商品信息报表对商店内的商品进行管理。因此，本发明实施例由于可以自动地识别出商店内的各个货架的商品的商品信息，从而可以提高获取商品信息的效率并降低成本。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供一种基于图像识别技术的商品方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参见图1，本发明实施例提供了一种基于图像识别技术的商品方法，其包括步骤S10至步骤S50：
S10，获取拍摄到的货架的商品陈列图像。
即，由人来对商店中的各个货架进行拍照，以拍摄到各个货架的商品陈列图像，并将拍摄到的所述商品陈列图像上传到管理服务器中，当所述管理服务器获取到所述商品陈列图像后可以开始执行以下操作步骤。
S20，提取所述商品陈列图像中的不同货架层的各个商品的一级图像特征。
当所述管理服务器接收到所述商品陈列图像后，会提取所述商品陈列图像中的不同货架层的各个商品所在的图像区域的一级图像特征，其中，由于所述商品陈列图像中的每个商品的包装的颜色与轮廓均不相同，因此所述一级图像特征可以包括以下至少一种：颜色特征及形状特征。
当所述一级图像特征为颜色特征时，可以通过现有的直方图相交算法、距离算法、中心距算法、参考颜色表算法或累加颜色直方图算法等算法来提取所述商品陈列图像的各个商品的颜色特征，在此对颜色特征的提取方法不予限定。
此外，所述商品陈列图像的各个商品的颜色特征的具体提取过程在本发明实施例中可以优选为：对获取到的所述商品陈列图像进行滤波处理，将图像背景识别出来并去除图像背景(图像背景识别的原理为：将当前获取到的所述商品陈列图像与预先拍摄到的没有摆放商品的货架照片进行比对，两者的区别之处即为图像背景)，使得所述商品陈列图像留下各个商品的像素区域，获取各个商品的像素区域内的各个像素点的RGB像素值，并根据每个像素区域内的各个像素点的RGB像素值生成一个个像素值矩阵，且所述像素值矩阵与各个商品的像素区域一一对应，其中，所述像素值矩阵即为所述商品陈列图像中的每个商品的颜色特征。当获取到图像中各个商品的所述像素值矩阵后，可以与预设的颜色特征模型(所述颜色特征模型为一级图像特征模型)进行匹配。
当所述一级图像特征为形状特征时，可以通过现有的边界特征法、傅里叶形状描述符法或几何参数法等提取方法来进行形状特征提取，在此对形状特征的提取方法不予限定。
需要说明的是，所述以及图像特征也可以为纹理特征或位置关系特征，在此不做具体限定。
S30，根据预设的一级图像特征模型对获取到的所述一级图像特征进行对应匹配，并根据匹配结果生成第一匹配数值。
当获取到所述商品陈列图像中的不同商品图像区域的所述一级图像特征后，根据预设的一级图像特征模型对所述一级图像特征进行对应匹配，并根据两者的匹配的相似度生成第一匹配数值。例如，当获取到所述商品陈列图像中的不同商品图像区域的所述颜色特征后，将获取到的所述颜色特征与预先建立的颜色特征模型进行比对匹配，并根据两者的匹配的相似度生成相应的第一匹配数值。其中，具体的特征匹配过程请参考现有的图像特征识别方法，在此不再赘述。
S40，判断所述第一匹配数值是否大于预设的第一匹配阈值，若是，则获取与所述一级图像特征对应的商品信息；若否，则提取所述商品陈列图像中的不同货架层的各个商品的二级图像特征，并根据预设的二级图像特征模型对获取到的所述二级图像特征进行对应匹配，并根据识别匹配结果获取与所述二级图像特征对应的商品信息；其中，所述二级图像特征包括以下至少一种：纹理特征及位置关系特征。
即，当判断所述第一匹配数值大于预设的第一匹配阈值时，则可判定所述一级图像特征(例如为所述颜色特征)所对应的图像区域为与所述一级图像特征模型(例如为所述颜色特征模型)对应的商品，此时获取与所述一级图像特征(例如为所述颜色特征)对应的商品信息。当判断所述第一匹配数值小于预设的第一匹配阈值时，表明所述一级图像特征与所述一级图像特征模型的匹配相似度不高，此时提取所述商品陈列图像中的不同货架层的各个商品所在的图像区域的二级图像特征(例如纹理特征)，与所述一级图像特征的识别匹配过程类似地，根据预设的二级图像特征模型对获取到的所述二级图像特征进行对应匹配，并根据识别匹配结果获取与所述二级图像特征对应的商品信息。
较佳地，所述步骤S40具体为：
S400，判断所述第一匹配数值是否大于预设的第一匹配阈值；若是，则获取与所述一级图像特征对应的商品信息，执行所述步骤S50；若否，则提取所述商品陈列图像中的不同货架层的各个商品的二级图像特征。
S410，根据预设的二级图像特征模型对获取到的所述二级图像特征进行对应匹配，并根据识别匹配结果生成第二匹配数值。
S420，判断所述第二匹配数值是否大于预设的第二匹配阈值；若是，则获取与所述二级图像特征对应的商品信息，执行所述步骤S50；若否，则向后台人员发出报错提示，并根据后台人员对已显示出的所述二级图像特征的图形的人工识别结果得到相应的商品信息。
其中，当管理服务器的系统判断出所述第二匹配数值是小于预设的第二匹配阈值时，具体地，管理服务器的系统的操作界面会向后台人员显示出相应的提示信息，而且也会显示出匹配数值小于预设的匹配阈值的所述二级图像特征的图形，此时后台人员可以对该二级图像特征的图形进行人工识别，当后台人员识别出来后可以向管理服务器的系统的操作界面输入该二级图像特征所代表的商品的商品信息。
需要说明的是，当所述二级图像特征为纹理特征时，可以通过现有的Voronio棋盘格特征法、马尔可夫(Markov)随机场模型法或者Gibbs随机场模型法等提取方法来提取纹理特征，在此对纹理特征的提取方法不予限定。当所述二级图像特征为位置关系特征时，可以通过现有的以下两种提取方法来提取位置关系特征：1、首先对图像进行自动分割，划分出图像中所包含的对象或颜色区域，然后根据这些区域提取图像特征，并建立索引；2、将图像均匀地划分为若干规则子块，然后对每个图像子块提取特征，并建立索引。
S50，根据获取到的所述商品信息生成对应的商品信息报表，并展示所述商品信息报表。其中，较佳地，所述商品信息至少包括以下其中的一种：商品品牌、商品名称及商品价格。
当获取到的所述商品陈列图像中的不同品牌商品的所述商品信息后，所述管理服务器可以根据所述商品信息生成对应的商品信息报表，并发送到相应的商店的终端进行展示。这样，商店的终端的使用者(一般为商店管理人员)就可以根据所述商品信息报表里面的商品信息对商店内的商品进行管理。
较佳地，所述步骤S50具体为步骤S500至步骤S502：
S500，统计从所述商品陈列图像中识别出来的各个商品品牌的次数数据以及所述商品陈列图像中的商品品牌总次数数据。
S501，根据各个商品品牌的次数数据与商品品牌总次数数据得到货架上的各个商品品牌的货架占比数据。
S502，将各个商品品牌的次数数据、总商品品牌次数数据及各个商品品牌的货架占比数据保存到对应商品信息报表中并展示所述商品信息报表。
需要说明的是，因为一幅商品陈列图像包含多个货架层结构，所以在所有的识别过程之前，较佳地，可以将其分割为多幅每幅只包含一层货架的图像。这里采取的方法是针对图像的二值化结果构建垂直投影直方图，选取合适的阈值T获取每层货架在图像中的位置进行切割。在获得了多幅单层货架的图像后，由于需要对单层货架的图像进行多目标识别，即分辨出单层货架中单个商品的外框架；在进行识别之前，需要确定目标区域大小，由于不同商品在颜色分布上的差异会有一定的区分，所以这里采用的方法是：
a)统计各个单层货架的图像中不同颜色空间不同颜色分量下的水平投影直方图，这里考虑三个常用的颜色空间：RGB、HSV以及LAB。为了凸显直方图的峰值，可以对直方图进行求导操作，优选的是差分代替求导，其公式为：
ΔxHi(bx)＝Hi(x)-Hi(x-1)
Hi是i个颜色分量下的水平投影直方图，水平投影直方图中每个点的坐标为(x，Hx)，(x∈[0，W))，W为货架的宽度。
b)然后，通过逻辑运算“或”操作处理直方图的每一列获得最终的直方图。其计算公式为：
H(x)＝ΔxH1(x)|ΔxH2(x)|…|ΔxHn(x)；
c)再对最终的直方图数据进行归一化处理，使得直方图的高度限定在一定的范围内，方便显示与分析处理，其计算公式为：
Figure BDA0001313383330000081
其中，IH表示图像的高度，max0≤i＜WH(i)表示直方图所有列的最大值。
d)设定阈值，将设定阈值的处理，将经过步骤a)处理后的直方图分成多个部分，在对应的图像位置标记出分割线的位置，这样单件商品的外框架分割识别就实现了。优选的，将该分割位置结合预先得到的商品尺寸、比例等参数信息，进一步提高分割的准确率。其中，可以通过采用参照物和人工标定的方式来得到商品尺寸、比例等参数信息。
此外，还可以通过如下方法对所述商品陈列图像进行分块：首先将图片中货架部分切割出来，对货架部分进行版面分析，将货架部分的图像分成若干个小区域后，提取图像边缘，保留水平方向的边缘像素，然后采用Radon变换进行直线检测，从而将货架部分分层，将每层货架中陈列在一起的相同商品切割在一个图块，每层货架获得若干个不同商品的图块。
在本发明实施例中，通过对拍摄到的货架的商品陈列图像进行特征提取，并根据预设的图像特征模型对提取到的图像特征进行识别，以识别获取所述商品陈列图像中的各个商品的商品信息，然后根据获取到的所述商品信息生成对应的商品信息报表，最后向商店管理人员展示所述商品信息报表，这样商店的管理人员可以快速获知商店内的商品情况，并且商店的管理人员还可以根据所述商品信息报表对商店内的商品进行管理。因此，本发明实施例由于可以自动地识别出商店内的各个货架的商品的商品信息，从而可以提高获取商品信息的效率并降低成本。
作为本发明其中一种实施例，在所述步骤S10之前还包括步骤S7至步骤S9：
S7，获取多张预先拍摄到商品图像。需要说明的是，所述商品图像为对单个商品所拍摄到的图片。
S8，提取所述商品图像的图像特征，并将提取到的所述图像特征按照图像特征类型分别存放到不同的图像特征库中；其中，所述图像特征分为一级图像特征与二级图像特征，所述图像特征库均为预先设置的。
例如，当在每张所述商品图像中提取到所述一级图像特征为颜色特征(或形状特征)时，将所述颜色特征存放到预设的颜色图像特征库(或形状图像特征库)中；又例如，当在每张所述商品图像中提取到所述二级图像特征为纹理特征(或位置关系特征)时，将所述纹理特征存放到预设的纹理图像特征库(或位置关系特征库)中。
S9，分别对不同图像特征库中的图像特征进行训练，并根据训练结果得到对应的图像特征模型；其中，所述图像特征模型分为与所述一级图像特征对应的一级图像特征模型以及与所述二级图像特征对应的二级图像特征模型。
使用各种现有的分类器(例如SVM分类器或Hear分类器等)分别对不同图像特征库中的图像特征进行训练，并根据训练结果得到对应的图像特征模型。因此，本发明优选实施例可以有效地建立各种类型图像特征的图像特征模型。
作为本发明的另一种优选实施例，在所述步骤S9之后所述步骤S10之前还包括步骤S90至步骤94：
S90，提取当前获取到的商品图像的所述图像特征。需要说明的是，所述商品图像为对单个商品所拍摄到的图片。
S91，根据相应的图像特征模型分别对所述图像特征进行匹配，并根据识别匹配结果生成与所述图像特征对应的匹配数值。其中，所述图像特征模型可以为颜色特征模型、纹理特征模型、形状特征模型或位置关系特征模型等；相应地，所述图像特征可以为颜色特征、纹理特征、形状特征或位置关系特征等。
S92，当检测到所述匹配数值小于预设的匹配阈值时，向测试员发出报错提示，并显示出与该匹配数值对应的图像特征的图形。
S93，根据测试员对显示出来的所述图像特征的图形的人工识别结果将该图像特征存放到对应的特征库中。即，测试员对显示出来的所述图像特征的图形进行人工识别，然后测试员将识别出来的所述图像特征存放到对应的特征库中。
S94，对更新后的所述特征库中的图像特征进行训练，并根据训练结果得到更新的图像特征模型。
由上分析可知，本发明优选实施例可以对所述图像特征模型进行更新，从而在后续的特征识别匹配的过程中可以提高所述图像特征模型识别匹配的准确率。
本发明实施例还提供了一种基于图像识别技术的商品管理系统，其包括：
第一图像获取模块，用于获取拍摄到的货架的商品陈列图像；
一级图像特征提取模块，用于提取所述商品陈列图像中的不同货架层的各个商品的一级图像特征；所述一级图像特征包括以下至少一种：颜色特征及轮廓特征；
第一匹配模块，用于根据预设的一级图像特征模型对获取到的所述一级图像特征进行对应匹配，并根据匹配结果生成第一匹配数值；
判断识别模块，用于判断所述第一匹配数值是否大于预设的第一匹配阈值，若是，则获取与所述一级图像特征对应的商品信息；若否，则提取所述商品陈列图像中的不同货架层的各个商品的二级图像特征，并根据预设的二级图像特征模型对获取到的所述二级图像特征进行对应匹配，并根据识别匹配结果获取与所述二级图像特征对应的商品信息；其中，所述二级图像特征包括以下至少一种：纹理特征及位置关系特征；以及，
商品信息报表生成模块，用于根据获取到的所述商品信息生成对应的商品信息报表，并展示所述商品信息报表。
优选地，所述基于图像识别技术的商品管理系统还包括：
第二图像获取模块，用于获取多张预先拍摄到商品图像；
第一图像特征提取模块，用于提取所述商品图像的图像特征，并将提取到的所述图像特征按照图像特征类型分别存放到不同的图像特征库中；其中，所述图像特征分为一级图像特征与二级图像特征，所述图像特征库均为预先设置的；以及，
图像特征模型建立模块，用于分别对不同图像特征库中的图像特征进行训练，并根据训练结果得到对应的图像特征模型；其中，所述图像特征模型分为与所述一级图像特征对应的一级图像特征模型以及与所述二级图像特征对应的二级图像特征模型。
再优选地，所述基于图像识别技术的商品管理系统还包括：
第二图像特征提取模块，用于提取当前获取到的商品图像的所述图像特征；
第二匹配模块，用于根据相应的图像特征模型分别对所述图像特征进行匹配，并根据识别匹配结果生成与所述图像特征对应的匹配数值；
图像特征报错模块，用于当检测到所述匹配数值小于预设的匹配阈值时，向测试员发出报错提示，并显示出与该匹配数值对应的图像特征的图形；
图像特征存放模块，用于根据测试员对显示出来的所述图像特征的图形的人工识别结果将该图像特征存放到对应的特征库中；以及，
图像特征模型更新模块，用于对更新后的所述特征库中的图像特征进行训练，并根据训练结果得到更新的图像特征模型。
进一步地，所述判断识别模块包括：
第一判断单元，用于判断所述第一匹配数值是否大于预设的第一匹配阈值；用于若是，则获取与所述一级图像特征对应的商品信息，并通知所述商品信息报表生成模块；若否，则提取所述商品陈列图像中的不同货架层的各个商品的二级图像特征；
匹配单元，用于根据预设的二级图像特征模型对获取到的所述二级图像特征进行对应匹配，并根据识别匹配结果生成第二匹配数值；
第二判断单元，用于判断所述第二匹配数值是否大于预设的第二匹配阈值；若是，则获取与所述二级图像特征对应的商品信息，并通知所述商品信息报表生成模块；若否，则向后台人员发出报错提示，并根据后台人员对已显示出的所述二级图像特征的图形的人工识别结果得到相应的商品信息。
在本发明实施例中，通过对拍摄到的货架的商品陈列图像进行特征提取，并根据预设的图像特征模型对提取到的图像特征进行识别，以识别获取所述商品陈列图像中的各个商品的商品信息，然后根据获取到的所述商品信息生成对应的商品信息报表，最后向商店管理人员展示所述商品信息报表，这样商店的管理人员可以快速获知商店内的商品情况，并且商店的管理人员还可以根据所述商品信息报表对商店内的商品进行管理。因此，本发明实施例由于可以自动地识别出商店内的各个货架的商品的商品信息，从而可以提高获取商品信息的效率并降低成本。
以上所揭露的仅为本发明一些较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。

Claims (8)

1.一种基于图像识别技术的商品管理方法，其特征在于，包括以下步骤：
S10，获取拍摄到的货架的商品陈列图像；
S20，提取所述商品陈列图像中的不同货架层的各个商品的一级图像特征；所述一级图像特征包括以下至少一种：颜色特征及形状特征；其中，提取所述颜色特征的步骤包括：
对提取到的所述商品陈列图像进行滤波处理，将所述商品陈列图像与预先拍摄到的没有摆放商品的货架照片相比较，识别出图像背景，并将所述图像背景去除，得到所述商品陈列图像的各个商品的像素区域；
获取所述像素区域内的各个像素点的RGB像素值，并根据所述RGB像素值生成与各个商品的所述像素区域相对应的像素值矩阵，将所述像素值矩阵作为所述一级图像特征；
S30，根据预设的一级图像特征模型对获取到的所述一级图像特征进行对应匹配，并根据匹配结果生成第一匹配数值；
S40，判断所述第一匹配数值是否大于预设的第一匹配阈值，若是，则获取与所述一级图像特征对应的商品信息，执行步骤S50；若否，则提取所述商品陈列图像中的不同货架层的各个商品的二级图像特征，并根据预设的二级图像特征模型对获取到的所述二级图像特征进行对应匹配，并根据识别匹配结果生成第二匹配数值；
判断所述第二匹配数值是否大于预设的第二匹配阈值；若是，则获取与所述二级图像特征对应的商品信息，执行步骤S50；若否，则向后台人员发出报错提示，并根据后台人员对已显示出的所述二级图像特征的图形的人工识别结果得到相应的商品信息；其中，所述二级图像特征包括以下至少一种：纹理特征及位置关系特征；以及，
S50，根据获取到的所述商品信息生成对应的商品信息报表，并展示所述商品信息报表。
2.根据权利要求1所述的基于图像识别技术的商品管理方法，其特征在于，在所述步骤“获取拍摄到的货架上商品的商品陈列图像”之前，还包括：
获取多张预先拍摄到的商品图像；
提取所述商品图像的图像特征，并将提取到的所述图像特征按照图像特征类型分别存放到不同的图像特征库中；其中，所述图像特征分为一级图像特征与二级图像特征，所述图像特征库均为预先设置的；以及，分别对不同图像特征库中的图像特征进行训练，并根据训练结果得到对应的图像特征模型；其中，所述图像特征模型分为与所述一级图像特征对应的一级图像特征模型以及与所述二级图像特征对应的二级图像特征模型。
3.根据权利要求2所述的基于图像识别技术的商品管理方法，其特征在于，在所述步骤“分别对不同图像特征库中的图像特征进行训练，并根据训练结果得到对应的图像特征模型”之后，所述步骤“获取拍摄到的货架上商品的商品陈列图像”之前，还包括：
提取当前获取到的商品图像的所述图像特征；
根据相应的图像特征模型分别对所述图像特征进行匹配，并根据识别匹配结果生成与所述图像特征对应的匹配数值；
当检测到所述匹配数值小于预设的匹配阈值时，向测试员发出报错提示，并显示出与该匹配数值对应的图像特征的图形；
根据测试员对显示出来的所述图像特征的图形的人工识别结果将该图像特征存放到对应的特征库中；以及，对更新后的所述特征库中的图像特征进行训练，并根据训练结果得到更新的图像特征模型。
4.根据权利要求1至3任意一项所述的基于图像识别技术的商品管理方法，其特征在于，所述商品信息至少包括以下其中的一种：商品品牌、商品名称及商品价格。
5.根据权利要求4所述的基于图像识别技术的商品管理方法，其特征在于，当所述商品信息包括商品品牌时，则所述步骤S50具体为：
统计从所述商品陈列图像中识别出来的各个商品品牌的次数数据以及所述商品陈列图像中的商品品牌总次数数据；
根据各个商品品牌的次数数据与商品品牌总次数数据得到货架上的各个商品品牌的货架占比数据；
将各个商品品牌的次数数据、总商品品牌次数数据及各个商品品牌的货架占比数据保存到对应商品信息报表中并展示所述商品信息报表。
6.一种基于图像识别技术的商品管理系统，其特征在于，包括：
第一图像获取模块，用于获取拍摄到的货架的商品陈列图像；
一级图像特征提取模块，用于提取所述商品陈列图像中的不同货架层的各个商品的一级图像特征；所述一级图像特征包括以下至少一种：颜色特征及形状特征；
所述一级图像特征提取模块包括提取颜色特征模块；
所述提取颜色特征模块，用于对提取到的所述商品陈列图像进行滤波处理，将所述商品陈列图像与预先拍摄到的没有摆放商品的货架照片相比较，识别出图像背景，并将所述图像背景去除，得到所述商品陈列图像的各个商品的像素区域；
获取所述像素区域内的各个像素点的RGB像素值，并根据所述RGB像素值生成与各个商品的所述像素区域相对应的像素值矩阵，将所述像素值矩阵作为所述一级图像特征；
第一匹配模块，用于根据预设的一级图像特征模型对获取到的所述一级图像特征进行对应匹配，并根据匹配结果生成第一匹配数值；
判断识别模块，用于判断所述第一匹配数值是否大于预设的第一匹配阈值，若是，则获取与所述一级图像特征对应的商品信息；若否，则提取所述商品陈列图像中的不同货架层的各个商品的二级图像特征，并根据预设的二级图像特征模型对获取到的所述二级图像特征进行对应匹配，并根据识别匹配结果获取与所述二级图像特征对应的商品信息；其中，所述二级图像特征包括以下至少一种：纹理特征及位置关系特征；以及，商品信息报表生成模块，用于根据获取到的所述商品信息生成对应的商品信息报表，并展示所述商品信息报表；
所述判断识别模块包括：
第一判断单元，用于判断所述第一匹配数值是否大于预设的第一匹配阈值；用于若是，则获取与所述一级图像特征对应的商品信息，并通知所述商品信息报表生成模块；若否，则提取所述商品陈列图像中的不同货架层的各个商品的二级图像特征；
匹配单元，用于根据预设的二级图像特征模型对获取到的所述二级图像特征进行对应匹配，并根据识别匹配结果生成第二匹配数值；
第二判断单元，用于判断所述第二匹配数值是否大于预设的第二匹配阈值；若是，则获取与所述二级图像特征对应的商品信息，并通知所述商品信息报表生成模块；若否，则向后台人员发出报错提示，并根据后台人员对已显示出的所述二级图像特征的图形的人工识别结果得到相应的商品信息。
7.根据权利要求6所述的基于图像识别技术的商品管理系统，其特征在于，还包括：
第二图像获取模块，用于获取多张预先拍摄到商品图像；
第一图像特征提取模块，用于提取所述商品图像的图像特征，并将提取到的所述图像特征按照图像特征类型分别存放到不同的图像特征库中；其中，所述图像特征分为一级图像特征与二级图像特征，所述图像特征库均为预先设置的；以及，
图像特征模型建立模块，用于分别对不同图像特征库中的图像特征进行训练，并根据训练结果得到对应的图像特征模型；其中，所述图像特征模型分为与所述一级图像特征对应的一级图像特征模型以及与所述二级图像特征对应的二级图像特征模型。
8.根据权利要求7所述的基于图像识别技术的商品管理系统，其特征在于，还包括：
第二图像特征提取模块，用于提取当前获取到的商品图像的所述图像特征；
第二匹配模块，用于根据相应的图像特征模型分别对所述图像特征进行匹配，并根据识别匹配结果生成与所述图像特征对应的匹配数值；
图像特征报错模块，用于当检测到所述匹配数值小于预设的匹配阈值时，向测试员发出报错提示，并显示出与该匹配数值对应的图像特征的图形；
图像特征存放模块，用于根据测试员对显示出来的所述图像特征的图形的人工识别结果将该图像特征存放到对应的特征库中；以及，
图像特征模型更新模块，用于对更新后的所述特征库中的图像特征进行训练，并根据训练结果得到更新的图像特征模型。
CN201710414721.0A 2017-06-05 2017-06-05 一种基于图像识别技术的商品管理方法及系统 Active CN107292248B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710414721.0A CN107292248B (zh) 2017-06-05 2017-06-05 一种基于图像识别技术的商品管理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710414721.0A CN107292248B (zh) 2017-06-05 2017-06-05 一种基于图像识别技术的商品管理方法及系统

Publications (2)

Publication Number Publication Date
CN107292248A CN107292248A (zh) 2017-10-24
CN107292248B true CN107292248B (zh) 2023-04-07

Family

ID=60094180

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710414721.0A Active CN107292248B (zh) 2017-06-05 2017-06-05 一种基于图像识别技术的商品管理方法及系统

Country Status (1)

Country Link
CN (1) CN107292248B (zh)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108170781A (zh) * 2017-12-26 2018-06-15 中山大学 一种家居仓储物品的精确定位方法及系统
CN108182406A (zh) * 2017-12-28 2018-06-19 仝西鲁 零售终端的物品陈列识别方法及系统
CN110164033A (zh) * 2018-02-13 2019-08-23 青岛海尔特种电冰柜有限公司 商品信息提取方法、商品信息提取装置与自动售货系统
CN108491799B (zh) * 2018-03-23 2022-04-01 海深科技（宁波）有限公司 一种基于图像识别的智能售货柜商品管理方法及系统
CN108549870B (zh) * 2018-04-16 2022-06-10 图麟信息科技（深圳）有限公司 一种对物品陈列进行鉴别的方法及装置
CN108615015A (zh) * 2018-04-28 2018-10-02 海信（山东）冰箱有限公司 一种冰箱内部食材的识别方法、设备及图像识别系统
CN108647720A (zh) * 2018-05-10 2018-10-12 上海扩博智能技术有限公司 商品图像的迭代循环识别方法、系统、设备及存储介质
CN108921584A (zh) * 2018-05-15 2018-11-30 上海扩博智能技术有限公司 用于收集快消品状态的众包系统、方法设备及存储介质
CN108921592A (zh) * 2018-05-31 2018-11-30 阿里巴巴集团控股有限公司 一种价格信息的处理方法、处理装置和存储介质
CN110610577A (zh) * 2018-06-15 2019-12-24 腾讯科技（深圳）有限公司 信息自助处理方法、装置、系统、存储介质及电子装置
CN109086938B (zh) * 2018-08-09 2020-10-30 北京朗镜科技有限责任公司 产品sku识别方法、装置及计算机可读存储介质
CN109035630A (zh) * 2018-08-21 2018-12-18 深圳码隆科技有限公司 商品信息识别方法和系统
CN109214453A (zh) * 2018-08-30 2019-01-15 上海扩博智能技术有限公司 模型训练用图像的自动标注方法、系统、设备及存储介质
CN110889419B (zh) * 2018-09-07 2023-04-07 杭州海康威视数字技术股份有限公司 一种货架分析方法、装置、系统及电子设备
CN109271920A (zh) * 2018-09-12 2019-01-25 上海了物网络科技有限公司 支持物品识别的视觉系统及方法与介质
CN110895722B (zh) * 2018-09-13 2024-04-05 阿里巴巴集团控股有限公司 信息处理方法、陈列系统及智能陈列架
CN109523320A (zh) * 2018-11-27 2019-03-26 西安数拓网络科技有限公司 一种基于综合传感器的商品监测方法、装置及系统
CN111274845B (zh) * 2018-12-04 2023-09-05 杭州海康威视数字技术股份有限公司 商店货架陈列情况的识别方法、装置、系统及电子设备
CN109902733A (zh) * 2019-02-22 2019-06-18 北京三快在线科技有限公司 录入物品信息的方法、装置及存储介质
CN110070299B (zh) * 2019-04-29 2022-11-18 成都云盯科技有限公司 一种商品货架整洁度评分方法及系统
CN110322945B (zh) * 2019-06-10 2022-11-11 广西臻笛生物科技有限公司 一种植物复配的智能筛选方法
CN110209852A (zh) * 2019-06-12 2019-09-06 北京我的天科技有限公司 基于ar技术的商标识别方法及设备
CN110414559B (zh) * 2019-06-26 2021-09-03 武汉大学 智能零售柜商品目标检测统一框架的构建方法及商品识别方法
WO2021012268A1 (zh) * 2019-07-25 2021-01-28 浙江汉朔电子科技有限公司 货架边缘定位方法及装置
CN112308869A (zh) * 2019-07-30 2021-02-02 阿里巴巴集团控股有限公司 图像采集方法、装置、电子设备及计算机存储介质
CN110781752A (zh) * 2019-09-27 2020-02-11 上海数烨数据科技有限公司 一种动态视觉智能柜多品类场景下的物体识别方法
CN111161346B (zh) * 2019-12-30 2023-09-12 北京三快在线科技有限公司 将商品在货架中进行分层的方法、装置和电子设备
CN113076786A (zh) * 2020-01-06 2021-07-06 韩瑞霞 基于内容检测的无线通信系统
CN111860462B (zh) * 2020-08-07 2024-02-20 多点(深圳)数字科技有限公司 货架陈列反馈方法和装置
CN113781371B (zh) * 2021-08-23 2024-01-30 南京掌控网络科技有限公司 一种货架图片识别结果去重及拼接的方法和设备
CN113723539A (zh) * 2021-09-02 2021-11-30 北京云蝶智学科技有限公司 试题信息采集方法及装置
CN113657974B (zh) * 2021-09-02 2024-03-01 万全速配网络科技有限公司 一种基于云平台的电子化商业交易管理方法及系统
CN117933848B (zh) * 2024-03-20 2024-07-16 深圳市飞铭达信息技术有限公司 一种基于物联网的商品验收系统及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102122346A (zh) * 2011-02-28 2011-07-13 济南纳维信息技术有限公司 基于视频分析的实体店面顾客兴趣点采集方法
CN102184405A (zh) * 2011-04-19 2011-09-14 清华大学 图像采集分析方法
CN102819952A (zh) * 2012-06-29 2012-12-12 浙江大学 一种基于视频检测技术的车辆违法变道检测方法
CN102930264A (zh) * 2012-09-29 2013-02-13 李炳华 基于图像识别技术的商品陈列信息采集分析系统及方法
CN103617420A (zh) * 2013-11-27 2014-03-05 上海电机学院 基于图像特征匹配的商品快速识别方法及系统
CN105338479A (zh) * 2014-06-09 2016-02-17 阿里巴巴集团控股有限公司 基于场所的信息处理方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102122346A (zh) * 2011-02-28 2011-07-13 济南纳维信息技术有限公司 基于视频分析的实体店面顾客兴趣点采集方法
CN102184405A (zh) * 2011-04-19 2011-09-14 清华大学 图像采集分析方法
CN102819952A (zh) * 2012-06-29 2012-12-12 浙江大学 一种基于视频检测技术的车辆违法变道检测方法
CN102930264A (zh) * 2012-09-29 2013-02-13 李炳华 基于图像识别技术的商品陈列信息采集分析系统及方法
CN103617420A (zh) * 2013-11-27 2014-03-05 上海电机学院 基于图像特征匹配的商品快速识别方法及系统
CN105338479A (zh) * 2014-06-09 2016-02-17 阿里巴巴集团控股有限公司 基于场所的信息处理方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"超市货架区域分割与商品识别研究";梁青青;《中国优秀博硕士学位论文全文数据库（硕士）信息科技辑》;20130715;参见正文第3-4章 *

Also Published As

Publication number Publication date
CN107292248A (zh) 2017-10-24

Similar Documents

Publication Publication Date Title
CN107292248B (zh) 一种基于图像识别技术的商品管理方法及系统
EP3910608B1 (en) Article identification method and system, and electronic device
CN111061890B (zh) 一种标注信息验证的方法、类别确定的方法及装置
CN107346409A (zh) 行人再识别方法和装置
JP2019055828A (ja) 棚情報推定装置及び情報処理プログラム
CN111310706B (zh) 一种商品价签识别方法及装置、电子设备、存储介质
JP6651169B2 (ja) 陳列状況判定システム
EP2259207A1 (en) Method of detection and recognition of logos in a video data stream
Saran et al. Robust visual analysis for planogram compliance problem
JP2019046484A (ja) 画像認識システム
CN113935774A (zh) 图像处理方法、装置、电子设备及计算机存储介质
CN115661624A (zh) 一种货架的数字化方法、装置及电子设备
CN115601672A (zh) 一种基于深度学习的vr智能巡店方法及装置
CN111476609A (zh) 零售数据获取方法、系统、设备及存储介质
JP6628336B2 (ja) 情報処理システム
CN108509879B (zh) 一种实现信息处理的方法及装置
US20230334277A1 (en) Information processing system
CN110689005A (zh) 一种基于深度学习融合位置和形状信息的商品识别方法
TW201701190A (zh) 街景影像之文字區域偵測系統及裝置
Achakir et al. An automated AI-based solution for out-of-stock detection in retail environments
CN113627415A (zh) 确定目标对象摆放信息的方法及装置
JP2016081472A (ja) 画像処理装置、画像処理方法及びプログラム
CN113191356A (zh) 一种开关柜压板设备的状态识别方法及相关装置
JP2020021520A (ja) 情報処理システム
US20240153124A1 (en) Methods and apparatuses for amount of object using two dimensional image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant