CN108509879A - 一种实现信息处理的方法及装置 - Google Patents

一种实现信息处理的方法及装置 Download PDF

Info

Publication number
CN108509879A
CN108509879A CN201810225985.6A CN201810225985A CN108509879A CN 108509879 A CN108509879 A CN 108509879A CN 201810225985 A CN201810225985 A CN 201810225985A CN 108509879 A CN108509879 A CN 108509879A
Authority
CN
China
Prior art keywords
commodity
shelf
edge detection
gray level
level image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810225985.6A
Other languages
English (en)
Other versions
CN108509879B (zh
Inventor
蒋龙龙
祝黄建
吴明辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Minglue Zhaohui Technology Co Ltd
Original Assignee
BEIJING XUEZHITU NETWORK TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING XUEZHITU NETWORK TECHNOLOGY Co Ltd filed Critical BEIJING XUEZHITU NETWORK TECHNOLOGY Co Ltd
Priority to CN201810225985.6A priority Critical patent/CN108509879B/zh
Publication of CN108509879A publication Critical patent/CN108509879A/zh
Application granted granted Critical
Publication of CN108509879B publication Critical patent/CN108509879B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/36—Indoor scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Economics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • General Engineering & Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

一种实现信息处理的方法及装置，包括：对货架实时图像的灰度图像进行边缘检测，以获得完整货架的边缘检测灰度图像；对获得的完整货架的边缘检测灰度图像进行灰色直方图统计，并切分获得在各层货架上陈列的各商品的实物图像；基于切分获得的每一种商品的实物图像获得对应于各商品的样本第一特征向量和样本第二特征向量；基于各商品的实物第一特征向量和实物第二特征向量，合并生成对应于各商品的实物词袋(BOW)特征向量；基于合并生成的各实物词袋特征向量确定各商品的所属分类。本发明实施例方法实现了商品信息的即时获取；进一步的，通过确定的商品分类获取存量信息，提升了存量信息的获取效率。

Description

一种实现信息处理的方法及装置
技术领域
本文涉及但不限于多媒体技术，尤指一种实现信息处理的方法及装置。
背景技术
为了满足用户的购物需求，社区的超市也变得越来越多。商品作为超市的核心，及时了解商品在货架的存量信息对超市而言显得十分重要，超市可以借此了解商品的销售情况，并对数量不足的商品进行补货。
目前，商品在货架的存量状态主要通过员工人为进行记录确定，将记录的超市内所有商品的存量信息汇总并上传到后台系统后，由相关工作人员根据汇总后的存量信息了解商品的销售情况。
上述获取商品存量信息的方法存在人力消耗大、耗时长、即信息无法及时更新的缺点。
发明内容
以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
本发明实施例提供一种实现信息处理的方法及装置，能够实现商品信息的即时获取；提升存量信息的获取效率。
本发明实施例提供了一种实现信息处理的方法，包括：
对货架实时图像的灰度图像进行边缘检测，以获得完整货架的边缘检测灰度图像；
对获得的完整货架的边缘检测灰度图像进行灰色直方图统计，并切分获得在各层货架上陈列的各商品的实物图像；
基于切分获得的每一种商品的实物图像分别建立相应的色调饱和度明度HSV模型，并根据建立的HSV模型获得对应于当前商品的实物第一特征向量；
对切分获得的每一种商品的实物图像进行形状特征点的提取，基于提取的形状特征点获得对应于当前商品的实物第二特征向量；
基于对应于各商品的实物第一特征向量和实物第二特征向量，合并生成对应于各商品的实物词袋BOW特征向量；
基于合并生成的各实物词袋特征向量确定各商品的所属分类。
可选的，所述切分获得在各层货架上陈列的各商品的实物图像包括：
对获得的完整货架的边缘检测灰度图像进行颜色直方图的行统计后，区分获得每一层货架的边缘检测灰度图像；
对区分获得的每一层货架的边缘检测灰度图像，按列进行颜色直方图的列统计后，确定并切分各层货架上包含的每一个商品的实物图像。
可选的，所述区分获得每一层货架的边缘检测灰度图像包括：
对获得的边缘检测灰度图像进行颜色直方图的行统计后，确定货架的分隔栏；
基于确定的分隔栏区分获得每一层货架的边缘检测灰度图像。
可选的，所述确定各商品的所属分类包括：
预先获得所有商品的样本图像；
基于每一种商品的样本图像，获得对应于各商品的样本第一特征向量和样本第二特征向量；
基于对应于各商品的样本第一特征向量和样本第二特征向量，合并生成对应于该商品的样本词袋特征向量；
基于合并生成的所有商品的样本词袋特征向量，训练生成支持向量机SVM分类器；
将合并生成的各实物词袋特征向量分别输入训练生成的SVM分类器，以确定各商品的所属分类。
可选的，所述方法还包括：
基于确定的各商品的所属分类，对所属分类的商品进行统计；
基于各种类商品的统计，获得商品的存量信息。
另一方面，本发明实施例还提供一种实现信息处理的装置，包括：边缘检测单元、统计切分单元、第一单元、第二单元、合并单元和确定单元；其中，
边缘检测单元用于：对货架实时图像的灰度图像进行边缘检测，以获得完整货架的边缘检测灰度图像；
统计切分单元用于：对获得的完整货架的边缘检测灰度图像进行灰色直方图统计，并切分获得在各层货架上陈列的各商品的实物图像；
第一单元用于：基于切分获得的每一种商品的实物图像分别建立相应的色调饱和度明度HSV模型，并根据建立的HSV模型获得对应于当前商品的实物第一特征向量；
第二单元用于：对切分获得的每一种商品的实物图像进行形状特征点的提取，基于提取的形状特征点获得对应于当前商品的实物第二特征向量；
合并单元用于：基于对应于各商品的实物第一特征向量和实物第二特征向量，合并生成对应于各商品的实物词袋BOW特征向量；
确定单元用于：基于合并生成的各实物词袋特征向量确定各商品的所属分类。
可选的，所述统计切分单元用于切分获得在各层货架上陈列的各商品的实物图像包括：
对获得的完整货架的边缘检测灰度图像进行颜色直方图的行统计后，区分获得每一层货架的边缘检测灰度图像；
对区分获得的每一层货架的边缘检测灰度图像，按列进行颜色直方图的列统计后，确定并切分各层货架上包含的每一个商品的实物图像。
可选的，所述统计切分单元用于区分获得每一层货架的边缘检测灰度图像包括：
对获得的边缘检测灰度图像进行颜色直方图的行统计后，确定货架的分隔栏；
基于确定的分隔栏区分获得每一层货架的边缘检测灰度图像。
可选的，所述确定单元具体用于：
预先获得所有商品的样本图像；
基于每一种商品的样本图像，获得对应于各商品的样本第一特征向量和样本第二特征向量；
基于对应于各商品的样本第一特征向量和样本第二特征向量，合并生成对应于该商品的样本词袋特征向量；
基于合并生成的所有商品的样本词袋特征向量，训练生成支持向量机SVM分类器；
将合并生成的各实物词袋特征向量分别输入训练生成的SVM分类器，以确定各商品的所属分类。
可选的，所述装置还包括存量分析单元，用于：
基于确定的各商品的所属分类，对所属分类的商品进行统计；基于各种类商品的统计，获得商品的存量信息。
再一方面，本发明实施例还提供一种计算机存储介质，所述计算机存储介质中存储有计算机可执行指令，所述计算机可执行指令用于执行上述实现信息处理的方法。
还一方面，本发明实施例还提供一种终端，包括：存储器和处理器；其中，
处理器被配置为执行存储器中的程序指令；
程序指令在处理器读取执行以下操作：
对货架实时图像的灰度图像进行边缘检测，以获得完整货架的边缘检测灰度图像；
对获得的完整货架的边缘检测灰度图像进行灰色直方图统计，并切分获得在各层货架上陈列的各商品的实物图像；
基于切分获得的每一种商品的实物图像分别建立相应的色调饱和度明度HSV模型，并根据建立的HSV模型获得对应于当前商品的实物第一特征向量；
对切分获得的每一种商品的实物图像进行形状特征点的提取，基于提取的形状特征点获得对应于当前商品的实物第二特征向量；
基于对应于各商品的实物第一特征向量和实物第二特征向量，合并生成对应于各商品的实物词袋BOW特征向量；
基于合并生成的各实物词袋特征向量确定各商品的所属分类。
与相关技术相比，本申请技术方案包括：对货架实时图像的灰度图像进行边缘检测，以获得完整货架的边缘检测灰度图像；对获得的完整货架的边缘检测灰度图像进行灰色直方图统计，并切分获得在各层货架上陈列的各商品的实物图像；基于切分获得的每一种商品的实物图像分别建立相应的色调饱和度明度(HSV)模型，并根据建立的HSV模型获得对应于当前商品的实物第一特征向量；对切分获得的每一种商品的实物图像进行形状特征点的提取，基于提取的形状特征点获得对应于当前商品的实物第二特征向量；基于对应于各商品的实物第一特征向量和实物第二特征向量，合并生成对应于各商品的实物词袋(BOW)特征向量；基于合并生成的各实物词袋特征向量确定各商品的所属分类。本发明实施例方法实现了商品信息的即时获取；进一步的，通过确定的商品分类获取存量信息，提升了存量信息的获取效率。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。
图1为本发明实施例实现信息处理的方法的流程图；
图2为本发明实施例实现信息处理的装置的结构框图；
图3为本发明应用示例的方法流程图；
图4为本发明应用示例边缘检测灰度图像的示意图；
图5为本发明应用示例按行统计颜色直方图的示意图；
图6为本发明应用示例按列统计颜色直方图的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1为本发明实施例实现信息处理的方法的流程图，如图1所示，包括：
步骤101、对货架实时图像的灰度图像进行边缘检测，以获得完整货架的边缘检测灰度图像；
步骤102、对获得的完整货架的边缘检测灰度图像进行灰色直方图统计，并切分获得在各层货架上陈列的各商品的实物图像；
可选的，本发明实施例切分获得在各层货架上陈列的各商品的实物图像包括：
对获得的完整货架的边缘检测灰度图像进行颜色直方图的行统计后，区分获得每一层货架的边缘检测灰度图像；
对区分获得的每一层货架的边缘检测灰度图像，按列进行颜色直方图的列统计后，确定并切分各层货架上包含的每一个商品的实物图像。
可选的，本发明实施例区分获得每一层货架的边缘检测灰度图像包括：
对获得的边缘检测灰度图像进行颜色直方图的行统计后，确定货架的分隔栏；
基于确定的分隔栏区分获得每一层货架的边缘检测灰度图像。
步骤103、基于切分获得的每一种商品的实物图像分别建立相应的色调饱和度明度(HSV)模型，并根据建立的HSV模型获得对应于当前商品的实物第一特征向量；
步骤104、对切分获得的每一种商品的实物图像进行形状特征点的提取，基于提取的形状特征点获得对应于当前商品的实物第二特征向量；
步骤105、基于对应于各商品的实物第一特征向量和实物第二特征向量，合并生成对应于各商品的实物词袋(BOW)特征向量；
步骤106、基于合并生成的各实物词袋特征向量确定各商品的所属分类。
可选的，本发明实施例确定各商品的所属分类包括：
预先获得所有商品的样本图像；
基于每一种商品的样本图像，获得对应于各商品的样本第一特征向量和样本第二特征向量；
基于对应于各商品的样本第一特征向量和样本第二特征向量，合并生成对应于该商品的样本词袋特征向量；
基于合并生成的所有商品的样本词袋特征向量，训练生成支持向量机SVM分类器；
将合并生成的各实物词袋特征向量分别输入训练生成的(SVM)分类器，以确定各商品的所属分类。
需要说明的是，本发明实施例生成样本图像的样本第一特征向量和样本第二特征向量的方法，与生成实物图像的实物第一特征向量和实物第二特征向量的方法原理相同，在此不做赘述。
可选的，本发明实施例方法还包括：
基于确定的各商品的所属分类，对所属分类的商品进行统计；
基于各种类商品的统计，获得商品的存量信息。
需要说明的是，本发明实施例获得商品的存量信息可以包括估计值；由于商品在陈列是存在被遮挡的情况，因此统计获得的存量信息可以是估计值；本发明实施例可以设定统计出一个完整的商品时，默认为一排商品，则通过统计获得的商品的排数，可以估计获得商品的存量信息；本发明实施例可以设定不同商品相应的存量阈值，当获得的存量信息大于存量阈值时，不进行商品补充；获得的存量信息小于存量阈值时，进行商品补充。
与相关技术相比，本申请技术方案包括：对货架实时图像的灰度图像进行边缘检测，以获得完整货架的边缘检测灰度图像；对获得的完整货架的边缘检测灰度图像进行灰色直方图统计，并切分获得在各层货架上陈列的各商品的实物图像；基于切分获得的每一种商品的实物图像分别建立相应的色调饱和度明度(HSV)模型，并根据建立的HSV模型获得对应于当前商品的实物第一特征向量；对切分获得的每一种商品的实物图像进行形状特征点的提取，基于提取的形状特征点获得对应于当前商品的实物第二特征向量；基于对应于各商品的实物第一特征向量和实物第二特征向量，合并生成对应于各商品的实物词袋(BOW)特征向量；基于合并生成的各实物词袋特征向量确定各商品的所属分类。本发明实施例方法实现了商品信息的即时获取；进一步的，通过确定的商品分类获取存量信息，提升了存量信息的获取效率。
图2为本发明实施例实现信息处理的装置的结构框图，如图2所示，包括：边缘检测单元、统计切分单元、第一单元、第二单元、合并单元和确定单元；其中，
边缘检测单元用于：对货架实时图像的灰度图像进行边缘检测，以获得完整货架的边缘检测灰度图像；
统计切分单元用于：对获得的完整货架的边缘检测灰度图像进行灰色直方图统计，并切分获得在各层货架上陈列的各商品的实物图像；
可选的，本发明实施例统计切分单元用于切分获得在各层货架上陈列的各商品的实物图像包括：
对获得的完整货架的边缘检测灰度图像进行颜色直方图的行统计后，区分获得每一层货架的边缘检测灰度图像；
对区分获得的每一层货架的边缘检测灰度图像，按列进行颜色直方图的列统计后，确定并切分各层货架上包含的每一个商品的实物图像。
可选的，本发明实施例统计切分单元用于区分获得每一层货架的边缘检测灰度图像包括：
对获得的边缘检测灰度图像进行颜色直方图的行统计后，确定货架的分隔栏；
基于确定的分隔栏区分获得每一层货架的边缘检测灰度图像。
第一单元用于：基于切分获得的每一种商品的实物图像分别建立相应的色调饱和度明度HSV模型，并根据建立的HSV模型获得对应于当前商品的实物第一特征向量；
第二单元用于：对切分获得的每一种商品的实物图像进行形状特征点的提取，基于提取的形状特征点获得对应于当前商品的实物第二特征向量；
合并单元用于：基于对应于各商品的实物第一特征向量和实物第二特征向量，合并生成对应于各商品的实物词袋BOW特征向量；
确定单元用于：基于合并生成的各实物词袋特征向量确定各商品的所属分类。
可选的，所述确定单元具体用于：
预先获得所有商品的样本图像；
基于每一种商品的样本图像，获得对应于各商品的样本第一特征向量和样本第二特征向量；
基于对应于各商品的样本第一特征向量和样本第二特征向量，合并生成对应于该商品的样本词袋特征向量；
基于合并生成的所有商品的样本词袋特征向量，训练生成支持向量机SVM分类器；
将合并生成的各实物词袋特征向量分别输入训练生成的SVM分类器，以确定各商品的所属分类。
需要说明的是，本发明实施例生成样本图像的样本第一特征向量和样本第二特征向量的方法，与生成实物图像的实物第一特征向量和实物第二特征向量的方法原理相同，在此不做赘述。
可选的，所述装置还包括存量分析单元，用于：
基于确定的各商品的所属分类，对所属分类的商品进行统计；基于各种类商品的统计，获得商品的存量信息。
与相关技术相比，本申请技术方案包括：对货架实时图像的灰度图像进行边缘检测，以获得完整货架的边缘检测灰度图像；对获得的完整货架的边缘检测灰度图像进行灰色直方图统计，并切分获得在各层货架上陈列的各商品的实物图像；基于切分获得的每一种商品的实物图像分别建立相应的色调饱和度明度(HSV)模型，并根据建立的HSV模型获得对应于当前商品的实物第一特征向量；对切分获得的每一种商品的实物图像进行形状特征点的提取，基于提取的形状特征点获得对应于当前商品的实物第二特征向量；基于对应于各商品的实物第一特征向量和实物第二特征向量，合并生成对应于各商品的实物词袋(BOW)特征向量；基于合并生成的各实物词袋特征向量确定各商品的所属分类。本发明实施例方法实现了商品信息的即时获取；进一步的，通过确定的商品分类获取存量信息，提升了存量信息的获取效率。
本发明实施例还提供一种计算机存储介质，所述计算机存储介质中存储有计算机可执行指令，所述计算机可执行指令用于执行上述实现信息处理的方法。
本发明实施例还提供一种终端，包括：存储器和处理器；其中，
处理器被配置为执行存储器中的程序指令；
程序指令在处理器读取执行以下操作：
对货架实时图像的灰度图像进行边缘检测，以获得完整货架的边缘检测灰度图像；
对获得的完整货架的边缘检测灰度图像进行灰色直方图统计，并切分获得在各层货架上陈列的各商品的实物图像；
基于切分获得的每一种商品的实物图像分别建立相应的色调饱和度明度HSV模型，并根据建立的HSV模型获得对应于当前商品的实物第一特征向量；
对切分获得的每一种商品的实物图像进行形状特征点的提取，基于提取的形状特征点获得对应于当前商品的实物第二特征向量；
基于对应于各商品的实物第一特征向量和实物第二特征向量，合并生成对应于各商品的实物词袋BOW特征向量；
基于合并生成的各实物词袋特征向量确定各商品的所属分类。
应用示例
以下通过应用示例对本发明实施例进行清楚详细的说明，应用示例仅用于陈述本发明实施例，并不用于限定本发明的保护范围。
图3为本发明应用示例的方法流程图，如图3所示，包括：
步骤301、获得每一种商品的样本图像；
步骤302、对每一张样本图像，将样本图像由颜色空间转换成色调饱和度明度(HSV)模型，根据建立的HSV模型获得对应于商品的样本第一特征向量(F1)；其中，将样本图像由颜色空间转换成HSV模型包括：将样本图像由RGB模型转换成HSV模型；本应用示例HSV模型是针对人类观感的颜色空间模型，侧重于色彩表示，包括：颜色、深浅、明暗等。收集所有样本图像的HSV模型对应的每一个颜色三元组(H、S、V)，用收集的颜色三元组集合进行聚类操作，得到一个中心数为K1的第一聚类模型CLUSTER1；例如、K1＝4的第一聚类模型CLUSTER1。利用第一聚类模型CLUSTER1将每一张样本图像的颜色三元组映射到一个聚类中心标签，将每一张样本图像转换为一个聚类中心标签的集合，在聚类中心标签的集合的基础上统计每一个聚类中心标签出现的次数，生成一个长度为K1的向量；由于每张样本图像的尺寸可能不一样，所以需要对该向量进行归一化操作，归一化操作可以包括将生成的向量除以样本图像的长宽之积；归一化操作后获得长度为K1的样本第一特征向量(F1)。
步骤303、对每一张样本图像进行形状特征点提取，基于提取的形状特征点获得对应于商品的样本第二特征向量(F2)；形状特征点包括：加速稳健特征(SURF，Speeded UpRobust Features)特征点、尺度不变特征变换(SIFT，Scale Invariant FeatureTransform)特征点；以提取SURF特征点为例，收集所有样本图像的SURF特征点集合，以此进行一个聚类操作，得到一个中心数为K2的第二聚类模型CLUSTER2；例如、K2＝4的第二聚类模型CLUSTER2。利用第二聚类模型CLUSTER2为每一张样本图像的每一个SURF特征点标上聚类中心标签，这样把每一张样本图像转换成了一个聚类中心标签的集合，在此聚类中心标签的集合的基础上统计每一个聚类中心标签出现的次数，生成一个长度为K2的向量。因为每张样本图像的尺寸可能不同，所以需要对该向量进行归一化操作，归一化操作可以包括：生成长度为K2的向量除以样本图像的SURF特征点个数。经此，获得对应至各样本图像长度为K2的样本第二特征向量(F2)。
步骤304、对各样本图像，分别合并该样本图像的样本第一特征向量(F1)和样本第二特征向量(F2)，得到样本词袋特征向量(F12)，并基于样本词袋特征向量F12训练获得支持向量机(SVM，Support Vector Machines)分类器。
需要说明的是，本应用示例如果提供了超市内所有商品的样本图像，则步骤301～304仅需要进行一次处理即可。
步骤305、获得货架实时图像的灰度图片，并对获得的灰度图片进行边缘检测，得到完整货柜的边缘检测灰度图像；图4为本发明应用示例边缘检测灰度图像的示意图，如图4所示，在边缘检测获得边缘检测灰度图像可以识别出货架及商品。本应用示例边缘检测的算法可以包括：凯尼(CANNY)边缘检测算法。
步骤306、对获得的完整货柜的边缘检测灰度图像，按行统计颜色直方图，以获得每一层货架的边缘检测灰度图像；以每一行灰度值为255的像素点个数为例，图5为本发明应用示例按行统计颜色直方图的示意图，如图5所示，纵坐标表示颜色直方图高度，横坐标表示行号；由图5可知MAXH1约为200,此处选择P1为0.7,则T1＝200*0.7＝140，从上到下，挑选出颜色直方图高度不小于140的部分，对于相邻的坐标，若距离小于LT1(此处LT1设为50)，则丢掉坐标较小的部分，以此完成合并操作；根据货架组成特点，从边缘检测灰度图像可检测获得货架层与层之间的分隔栏，检测获得分隔栏后，每一层货架通过分隔栏区分；这里，分隔栏之所以可以被区分，是因为在颜色直方图中层与层间隔的位置会出现峰值特点。具体的操作如下：用颜色直方图的最大高度(MAXH1)乘上第一预设百分比P1，得到颜色直方图切分的高度阈值T1，即T1＝MAXH1*P1，其中，P1(0<P1<1)可以根据经验设定区间后，通过技术人员进行试验分析后确定；将颜色直方图中高度为H1(H1>＝T1)的部分全部挑选出来。对挑选出来的部分，当相邻位置的距离小于预先设置的层高度阈值LT1时，进行边缘检测灰度图像的合并，以获得每一层货架的边缘检测灰度图像；其中，LT1和合并方法均可以通过本领域技术人员采用相关技术分析实施。
步骤307、对区分出的货架每一层的边缘检测灰度图，按列统计颜色直方图，以切分获得陈列在各层货架上各商品的实物图像；本应用示例，在货架各层的边缘检测灰度图中，实物图像留下的主要是外形特征，图6为本发明应用示例按列统计颜色直方图的示意图，如图6所示，商品的两侧边界位置在颜色直方图中的高度值会比其他位置大；利用这个特点，本应用示例切分获得陈列在各层货架上各商品的实物图像包括：以颜色直方图的最大高度MAXH2乘以第二预设百分比P2，得到颜色直方图切分的高度阈值T2，即T2＝MAXH2*P2，其中，P2(0<P2<1)可以根据经验设定区间后，通过技术人员进行试验分析后确定；将颜色直方图中高度为H2(H2>＝T2)的部分全部挑选出来；当相邻位置的距离若小于预先设定的层商品宽度阈值LT2，则进行边缘检测灰度图像的合并；基于上述处理可以确定各商品的位置，并切分获得各商品的实物图像；其中，LT2和合并方法可以通过本领域技术人员采用相关技术分析实施。
对切分获得的商品的实物图像，进行步骤308～310的处理：
步骤308、对每一张实物图像，将实物图像由颜色空间转换成HSV模型，根据建立的HSV模型获得对应于商品的实物第一特征向量(F3)；利用第一聚类模型CLUSTER1将每一张实物图像的颜色三元组映射到一个聚类中心标签，将每一张实物图像转换为一个聚类中心标签的集合，在聚类中心标签的集合的基础上统计每一个聚类中心标签出现的次数，生成一个长度为K1的向量；由于每张实物图像的尺寸可能不一样，所以需要对该向量进行归一化操作，归一化操作可以包括将生成的向量除以实物图像的长宽之积；归一化操作后获得长度为K1的实物第一特征向量(F3)。
步骤309、对每一张实物图像进行形状特征点提取，基于提取的形状特征点获得对应于商品的实物第二特征向量(F4)；形状特征点包括：SURF特征点、SIFT特征点；以提取SURF特征点为例，利用第二聚类模型CLUSTER2为每一张实物图像的每一个SURF特征点标上聚类中心标签，这样把每一张实物图像转换成了一个聚类中心标签的集合，在此聚类中心标签的集合的基础上统计每一个聚类中心标签出现的次数，生成一个长度为K2的向量。因为每张实物图像的尺寸可能不同，所以需要对该向量进行归一化操作，归一化操作可以包括：生成长度为K2的向量除以实物图像的SURF特征点个数。经此，获得对应至各样本图像长度为K2的实物第二特征向量(F4)。
步骤310、对各实物图像，分别合并该实物图像的实物第一特征向量(F3)和实物第二特征向量(F4)，得到实物词袋特征向量(F34)；
步骤311、利用训练获得支持向量机分类器对获得的各商品对应的实物词袋特征向量(F34)进行分类，确定商品类别。
可选的，本发明应用示例还包括：
基于确定的各商品的所属分类，对所属分类的商品进行统计；
基于各种类商品的统计，获得商品的存量信息。
需要说明的是，本发明实施例获得商品的存量信息可以包括估计值；由于商品在陈列是存在被遮挡的情况，因此统计获得的存量信息可以是估计值；本发明实施例可以设定统计出一个完整的商品时，默认为一排商品，则通过统计获得的商品的排数，可以估计获得商品的存量信息；本发明实施例可以设定不同商品相应的存量阈值，当获得的存量信息大于存量阈值时，不进行商品补充；获得的存量信息小于存量阈值时，进行商品补充。
本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件(例如处理器)完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的每个模块/单元可以采用硬件的形式实现，例如通过集成电路来实现其相应功能，也可以采用软件功能模块的形式实现，例如通过处理器执行存储于存储器中的程序/指令来实现其相应功能。本发明不限制于任何特定形式的硬件和软件的结合。
虽然本发明所揭露的实施方式如上，但所述的内容仅为便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (12)

1.一种实现信息处理的方法，其特征在于，包括：
对货架实时图像的灰度图像进行边缘检测，以获得完整货架的边缘检测灰度图像；
对获得的完整货架的边缘检测灰度图像进行灰色直方图统计，并切分获得在各层货架上陈列的各商品的实物图像；
基于切分获得的每一种商品的实物图像分别建立相应的色调饱和度明度HSV模型，并根据建立的HSV模型获得对应于当前商品的实物第一特征向量；
对切分获得的每一种商品的实物图像进行形状特征点的提取，基于提取的形状特征点获得对应于当前商品的实物第二特征向量；
基于对应于各商品的实物第一特征向量和实物第二特征向量，合并生成对应于各商品的实物词袋BOW特征向量；
基于合并生成的各实物词袋特征向量确定各商品的所属分类。
2.根据权利要求1所述的方法，其特征在于，所述切分获得在各层货架上陈列的各商品的实物图像包括：
对获得的完整货架的边缘检测灰度图像进行颜色直方图的行统计后，区分获得每一层货架的边缘检测灰度图像；
对区分获得的每一层货架的边缘检测灰度图像，按列进行颜色直方图的列统计后，确定并切分各层货架上包含的每一个商品的实物图像。
3.根据权利要求2所述的方法，其特征在于，所述区分获得每一层货架的边缘检测灰度图像包括：
对获得的边缘检测灰度图像进行颜色直方图的行统计后，确定货架的分隔栏；
基于确定的分隔栏区分获得每一层货架的边缘检测灰度图像。
4.根据权利要求1～3任一项所述的方法，其特征在于，所述确定各商品的所属分类包括：
预先获得所有商品的样本图像；
基于每一种商品的样本图像，获得对应于各商品的样本第一特征向量和样本第二特征向量；
基于对应于各商品的样本第一特征向量和样本第二特征向量，合并生成对应于该商品的样本词袋特征向量；
基于合并生成的所有商品的样本词袋特征向量，训练生成支持向量机SVM分类器；
将合并生成的各实物词袋特征向量分别输入训练生成的SVM分类器，以确定各商品的所属分类。
5.根据权利要求1～3任一项所述的方法，其特征在于，所述方法还包括：
基于确定的各商品的所属分类，对所属分类的商品进行统计；
基于各种类商品的统计，获得商品的存量信息。
6.一种实现信息处理的装置，其特征在于，包括：边缘检测单元、统计切分单元、第一单元、第二单元、合并单元和确定单元；其中，
边缘检测单元用于：对货架实时图像的灰度图像进行边缘检测，以获得完整货架的边缘检测灰度图像；
统计切分单元用于：对获得的完整货架的边缘检测灰度图像进行灰色直方图统计，并切分获得在各层货架上陈列的各商品的实物图像；
第一单元用于：基于切分获得的每一种商品的实物图像分别建立相应的色调饱和度明度HSV模型，并根据建立的HSV模型获得对应于当前商品的实物第一特征向量；
第二单元用于：对切分获得的每一种商品的实物图像进行形状特征点的提取，基于提取的形状特征点获得对应于当前商品的实物第二特征向量；
合并单元用于：基于对应于各商品的实物第一特征向量和实物第二特征向量，合并生成对应于各商品的实物词袋BOW特征向量；
确定单元用于：基于合并生成的各实物词袋特征向量确定各商品的所属分类。
7.根据权利要求6所述的装置，其特征在于，所述统计切分单元用于切分获得在各层货架上陈列的各商品的实物图像包括：
对获得的完整货架的边缘检测灰度图像进行颜色直方图的行统计后，区分获得每一层货架的边缘检测灰度图像；
对区分获得的每一层货架的边缘检测灰度图像，按列进行颜色直方图的列统计后，确定并切分各层货架上包含的每一个商品的实物图像。
8.根据权利要求7所述的装置，其特征在于，所述统计切分单元用于区分获得每一层货架的边缘检测灰度图像包括：
对获得的边缘检测灰度图像进行颜色直方图的行统计后，确定货架的分隔栏；
基于确定的分隔栏区分获得每一层货架的边缘检测灰度图像。
9.根据权利要求6～8任一项所述的装置，其特征在于，所述确定单元具体用于：
预先获得所有商品的样本图像；
基于每一种商品的样本图像，获得对应于各商品的样本第一特征向量和样本第二特征向量；
基于对应于各商品的样本第一特征向量和样本第二特征向量，合并生成对应于该商品的样本词袋特征向量；
基于合并生成的所有商品的样本词袋特征向量，训练生成支持向量机SVM分类器；
将合并生成的各实物词袋特征向量分别输入训练生成的SVM分类器，以确定各商品的所属分类。
10.根据权利要求6～8任一项所述的装置，其特征在于，所述装置还包括存量分析单元，用于：
基于确定的各商品的所属分类，对所属分类的商品进行统计；基于各种类商品的统计，获得商品的存量信息。
11.一种计算机存储介质，所述计算机存储介质中存储有计算机可执行指令，所述计算机可执行指令用于执行权利要求1～5中任一项所述的方法。
12.一种终端，包括：存储器和处理器；其中，
处理器被配置为执行存储器中的程序指令；
程序指令在处理器读取执行以下操作：
对货架实时图像的灰度图像进行边缘检测，以获得完整货架的边缘检测灰度图像；
对获得的完整货架的边缘检测灰度图像进行灰色直方图统计，并切分获得在各层货架上陈列的各商品的实物图像；
基于切分获得的每一种商品的实物图像分别建立相应的色调饱和度明度HSV模型，并根据建立的HSV模型获得对应于当前商品的实物第一特征向量；
对切分获得的每一种商品的实物图像进行形状特征点的提取，基于提取的形状特征点获得对应于当前商品的实物第二特征向量；
基于对应于各商品的实物第一特征向量和实物第二特征向量，合并生成对应于各商品的实物词袋BOW特征向量；
基于合并生成的各实物词袋特征向量确定各商品的所属分类。
CN201810225985.6A 2018-03-19 2018-03-19 一种实现信息处理的方法及装置 Active CN108509879B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810225985.6A CN108509879B (zh) 2018-03-19 2018-03-19 一种实现信息处理的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810225985.6A CN108509879B (zh) 2018-03-19 2018-03-19 一种实现信息处理的方法及装置

Publications (2)

Publication Number Publication Date
CN108509879A true CN108509879A (zh) 2018-09-07
CN108509879B CN108509879B (zh) 2021-12-24

Family

ID=63376686

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810225985.6A Active CN108509879B (zh) 2018-03-19 2018-03-19 一种实现信息处理的方法及装置

Country Status (1)

Country Link
CN (1) CN108509879B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110751441A (zh) * 2019-10-21 2020-02-04 秒针信息技术有限公司 一种优化物流仓储系统中储位的方法及装置
CN110852240A (zh) * 2019-11-06 2020-02-28 创新奇智(成都)科技有限公司 零售商品检测系统及检测方法
CN113313044A (zh) * 2021-06-10 2021-08-27 苏州威联加信息科技有限公司 一种通过视觉判断货位是否有货的方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6711287B1 (en) * 1998-12-21 2004-03-23 Ricoh Company, Ltd. Image-feature extraction method and computer-readable record medium with a program for making a computer execute steps of the method recorded therein
CN102930264A (zh) * 2012-09-29 2013-02-13 李炳华 基于图像识别技术的商品陈列信息采集分析系统及方法
CN105190655A (zh) * 2013-03-04 2015-12-23 日本电气株式会社 物品管理系统、信息处理设备及其控制方法和控制程序
CN107045641A (zh) * 2017-04-26 2017-08-15 广州图匠数据科技有限公司 一种基于图像识别技术的货架识别方法
CN107479559A (zh) * 2017-09-22 2017-12-15 中国地质大学（武汉） 一种商场盲人智能导购系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6711287B1 (en) * 1998-12-21 2004-03-23 Ricoh Company, Ltd. Image-feature extraction method and computer-readable record medium with a program for making a computer execute steps of the method recorded therein
CN102930264A (zh) * 2012-09-29 2013-02-13 李炳华 基于图像识别技术的商品陈列信息采集分析系统及方法
CN105190655A (zh) * 2013-03-04 2015-12-23 日本电气株式会社 物品管理系统、信息处理设备及其控制方法和控制程序
CN107045641A (zh) * 2017-04-26 2017-08-15 广州图匠数据科技有限公司 一种基于图像识别技术的货架识别方法
CN107479559A (zh) * 2017-09-22 2017-12-15 中国地质大学（武汉） 一种商场盲人智能导购系统及方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110751441A (zh) * 2019-10-21 2020-02-04 秒针信息技术有限公司 一种优化物流仓储系统中储位的方法及装置
CN110852240A (zh) * 2019-11-06 2020-02-28 创新奇智(成都)科技有限公司 零售商品检测系统及检测方法
CN113313044A (zh) * 2021-06-10 2021-08-27 苏州威联加信息科技有限公司 一种通过视觉判断货位是否有货的方法及系统

Also Published As

Publication number Publication date
CN108509879B (zh) 2021-12-24

Similar Documents

Publication Publication Date Title
EP2523165B1 (en) Image processing method and image processing device
CN102930264B (zh) 基于图像识别技术的商品陈列信息采集分析系统及方法
CN109522908A (zh) 基于区域标签融合的图像显著性检测方法
CN105184763B (zh) 图像处理方法和装置
JP5409627B2 (ja) 画像内の複雑なトークンを識別するためのシステムと方法
CN108121997A (zh) 使用机器学习模型的图像数据中的对象分类
Khare et al. A new histogram oriented moments descriptor for multi-oriented moving text detection in video
JP4877374B2 (ja) 画像処理装置及びプログラム
CN107292248A (zh) 一种基于图像识别技术的商品管理方法及系统
CN103065300B (zh) 一种视频标注方法和装置
CN107330979A (zh) 建筑户型的矢量图生成方法、装置及终端
CN104408429A (zh) 一种视频代表帧提取方法及装置
CN108509879A (zh) 一种实现信息处理的方法及装置
US8175390B2 (en) System and method for illumination invariant image segmentation
CN101601287A (zh) 产生照片级真实感图像缩略图的设备和方法
CN108805116A (zh) 图像文本检测方法及其系统
CN107808126A (zh) 车辆检索方法及装置
CN109740572A (zh) 一种基于局部彩色纹理特征的人脸活体检测方法
Zhang et al. Online video stream abstraction and stylization
CN109472259A (zh) 基于能量优化的图像协同显著性检测方法
CN108280469A (zh) 一种基于稀疏表示的超市商品图像识别方法
Mairon et al. A closer look at context: From coxels to the contextual emergence of object saliency
US7424147B2 (en) Method and system for image border color selection
CN101887513A (zh) 表情检测装置及其表情检测方法
CN106066887B (zh) 一种广告序列图像快速检索和分析方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: Room 2020, second floor, building 27, No. 25, North Third Ring West Road, Haidian District, Beijing 100080

Patentee after: Beijing minglue Zhaohui Technology Co.,Ltd.

Address before: 100086 room 084, room 1704, 17 / F, Qingyun contemporary building, building 9, Manting Fangyuan community, Qingyun Li, Haidian District, Beijing

Patentee before: BEIJING SUPERTOOL INTERNET TECHNOLOGY LTD.

CP03 Change of name, title or address