CN116596450A - 库存盘点方法及装置 - Google Patents

库存盘点方法及装置 Download PDF

Info

Publication number
CN116596450A
CN116596450A CN202310607782.4A CN202310607782A CN116596450A CN 116596450 A CN116596450 A CN 116596450A CN 202310607782 A CN202310607782 A CN 202310607782A CN 116596450 A CN116596450 A CN 116596450A
Authority
CN
China
Prior art keywords
commodity
image
target
density
estimation network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310607782.4A
Other languages
English (en)
Inventor
张�浩
陈书楷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Entropy Technology Co Ltd
Original Assignee
Entropy Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Entropy Technology Co Ltd filed Critical Entropy Technology Co Ltd
Priority to CN202310607782.4A priority Critical patent/CN116596450A/zh
Publication of CN116596450A publication Critical patent/CN116596450A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G06Q10/0875—Itemisation or classification of parts, supplies or services, e.g. bill of materials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Operations Research (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Economics (AREA)
  • Mathematical Analysis (AREA)
  • Probability & Statistics with Applications (AREA)
  • Mathematical Optimization (AREA)
  • Strategic Management (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Algebra (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)

Abstract

本申请公开了一种库存盘点方法及装置，该方法可以根据商品图像的特征向量，识别商品图像中所包含的目标商品种类；判断商品图像中每个目标商品种类所对应的商品，是否存在堆叠情况；若商品存在堆叠情况，则将商品图像输入至预训练的密度估计网络，得到密度估计网络输出的包含两个以上高斯分布带的商品密度图，高斯分布带与商品图像中各个商品的边缘一一对应；根据商品密度图，统计目标商品种类所对应的商品库存数量；若商品不存在堆叠情况，则根据商品图像中同一目标商品种类的出现次数，确定该目标商品种类的商品库存数量，可见，本申请可以直接利用采集的商品图像完成商品库存统计，不需要商品的条形码，降低了库存统计过程中的人力需求。

Description

库存盘点方法及装置
技术领域
本申请涉及图像处理技术领域，更具体地说，涉及一种库存盘点方法及装置。
背景技术
对于商超管理者而言，库存管理是日常工作中必不可少的一环，尤其对于客流量较大，商品流通快速的大型商超，更是需要经常对各个种类的商品数量进行盘点。
现有技术中，一般通过扫码枪识别商品条形码，完成商品的统计，但上述方式需要对每个商品都添加射频标签，前期人力投入较大。
发明内容
有鉴于此，本申请提供了一种库存盘点方法及装置，用于解决现有技术中商品库存统计前期人力投入较大的缺点。
为了实现上述目的，现提出的方案如下：
一种库存盘点方法，包括：
获取商品图像；
提取所述商品图像的特征向量；
根据所述特征向量，识别所述商品图像中所包含的目标商品种类；
判断所述商品图像中每个所述目标商品种类所对应的商品，是否存在堆叠情况；
若所述商品存在堆叠情况，则将所述商品图像输入至预训练的密度估计网络，得到所述密度估计网络输出的包含两个以上高斯分布带的商品密度图，所述高斯分布带与所述商品图像中各个所述商品的边缘一一对应；
根据所述商品密度图，统计所述目标商品种类所对应的商品库存数量；
若所述商品不存在堆叠情况，则根据所述商品图像中同一目标商品种类的出现次数，确定该目标商品种类的商品库存数量。
可选的，训练所述密度估计网络的过程，包括：
采集多个堆叠图像；
获取初始化密度估计网络；
依次对每个所述堆叠图像中每个商品的边缘采用多段相连的线段进行标记，标记后相连的多个线段形成与所述商品的边缘唯一对应的曲线；
根据所述堆叠图像的多个曲线，生成包含有多个高斯分布带且各个所述高斯分布带与各个所述曲线一一对应的密度训练图；
依次利用每个所述堆叠图像及其对应的密度训练图，对所述初始化密度估计网络进行迭代训练，直至符合预置的条件为止，将最终训练得到的初始化密度估计网络作为预训练的密度估计网络。
可选的，根据所述堆叠图像的多个曲线，生成包含有多个高斯分布带且各个所述高斯分布带与各个所述曲线一一对应的密度训练图，包括：
对所述堆叠图像中每个像素行的像素值进行初始化；
设置所述堆叠图像中每个所述曲线所对应的像素行的像素值，为目标像素值；
确定每个所述曲线所对应的像素行的上邻接区域及下邻接区域，其中，所述上邻接区域及下邻接区域所包含的像素行数量相同，且各个所述上邻接区域及各个所述下邻接区域不衔接；
以每个所述曲线所对应的像素行中的各个像素点为基础点，以目标像素值为基础像素，对所述曲线的所述上邻接区域中每个像素行的像素值沿第一向量方向下调，所述曲线的所述下邻接区域中每个像素行的像素值沿第二向量方向下调，且各个所述上邻接区域及各个所述下邻接区域中每个像素行的像素值不超过预置的像素范围，所述以便形成包含有多个高斯分布带且各个所述高斯分布带与各个所述曲线一一对应的密度训练图。
可选的，依次利用每个所述堆叠图像及其对应的密度训练图，对所述初始化密度估计网络进行迭代训练，直至符合预置的条件为止，包括：
依次利用所述初始化密度估计网络对所述堆叠图像进行下采样及上采样，得到包含多尺度信息的融合图像；
利用所述初始化密度估计网络对所述融合图像进行卷积，得到卷积数据；
利用所述初始化密度估计网络中激活函数Sigmoid函数，对所述卷积数据进行处理，得到所述初始化密度估计网络输出的包含有高斯分布带的预测密度图；
将所述预测密度图与所述堆叠图像对应的密度训练图进行比较，得到预测误差；
利用所述预测误差对所述初始化密度估计网络的参数进行调整，直至符合预置的条件为止。
可选的，所述根据所述商品密度图，统计所述目标商品种类所对应的商品库存数量，包括：
确定所述目标商品种类对应的标记方式；
根据每个所述高斯分布带所对应的目标商品种类及该目标商品种类的标记方式，对所述高斯分布带进行标记；
根据各个所述高斯分布带的标记情况，统计所述目标商品种类所对应的商品库存数量。
可选的，所述获取商品图像，包括：
获取货架图像，所述货架图像中包含一个以上商品的图像；
利用预训练的目标检测模型，获取用于最大化去除所述货架图像中冗余信息的检测框；
利用所述检测框对所述货架图像进行截取，截取后得到商品图像。
可选的，利用预训练的目标检测模型，获取用于最大化去除所述货架图像中冗余信息的检测框，包括：
利用所述目标检测模型，提取所述货架图像的多个特征图；
利用所述目标检测模型，对多个所述特征图进行上采样和/或下采样，得到融合有不同尺寸特征信息的融合特征图；
利用所述目标检测模型，划分所述货架图像为多个子区域，并根据所述融合特征图，预测每个所述子区域包含商品所在区域的可能性、子区域中心点与商品所在区域中心点的偏移量、检测框的预测尺寸，以及检测框相对于货架图像的预测偏转角度；
根据每个所述子区域对应的包含商品所在区域的可能性、子区域中心点与商品所在区域中心点的偏移量、检测框的预测尺寸，以及检测框相对于货架图像的预测偏转角度，生成用于最大化去除所述货架图像中冗余信息的检测框。
可选的，提取所述商品图像的特征向量，包括：
利用包含通道注意机制的多层残差神经网络的特征提取网络，提取所述商品图像的多维特征向量。
可选的，根据所述特征向量，识别所述商品图像中所包含的目标商品种类，包括：
利用损失函数Addictive Augular Margin Loss函数，对所述特征向量进行聚类，形成判别特征空间；
将所述判别特征空间与预置的多个商品种类对应的特征向量进行比对，确定所述判别特征空间与每个所述商品种类之间的距离；
从各个距离中，选取距离最低的商品种类作为目标商品种类。
一种库存盘点装置，包括：
一种设备，包括存储器和处理器；
获取单元，用于获取商品图像；
提取单元，用于提取所述商品图像的特征向量；
识别单元，用于根据所述特征向量，识别所述商品图像中所包含的目标商品种类；
判断单元，用于判断所述商品图像中每个所述目标商品种类所对应的商品，是否存在堆叠情况；
输入单元，用于若所述商品存在堆叠情况，则将所述商品图像输入至预训练的密度估计网络，得到所述密度估计网络输出的包含两个以上高斯分布带的商品密度图，所述高斯分布带与所述商品图像中各个所述商品的边缘一一对应；
统计单元，用于根据所述商品密度图，统计所述目标商品种类所对应的商品库存数量；
确定单元，用于若所述商品不存在堆叠情况，则根据所述商品图像中同一目标商品种类的出现次数，确定该目标商品种类的商品库存数量。
从上述的技术方案可以看出，本申请提供的库存盘点方法，该库存盘点方法可以获取商品图像；提取所述商品图像的特征向量；根据所述特征向量，识别所述商品图像中所包含的目标商品种类；如此，本申请可以基于特征向量完成商品种类的确定；判断所述商品图像中每个所述目标商品种类所对应的商品，是否存在堆叠情况；若所述商品存在堆叠情况，则将所述商品图像输入至预训练的密度估计网络，得到所述密度估计网络输出的包含两个以上高斯分布带的商品密度图，所述高斯分布带与所述商品图像中各个所述商品的边缘一一对应；根据所述商品密度图，统计所述目标商品种类所对应的商品库存数量；若所述商品不存在堆叠情况，则根据所述商品图像中同一目标商品种类的出现次数，确定该目标商品种类的商品库存数量；如此，本申请可以根据商品是否存在堆叠情况，分别对堆叠的商品和/或不堆叠的商品进行数量统计，在统计堆叠商品的过程中，本申请可以利用密度估计网络预测商品密度图，从而基于商品密度图中的高斯分布带统计商品数量，进一步提高了商品数量统计的可靠性。可见，本申请可以直接利用采集的商品图像完成商品库存统计，在利用本申请完成数量统计的过程中，不需要商品的条形码，只需要获取商品图像，商品图像的采集不一定需要借助人力，因而，本申请降低了库存统计过程中的人力需求。
此外，本申请还可以利用密度估计网络生成包含两个以上高斯分布带的商品密度图，完成堆叠商品的数量统计，进一步提高了堆叠商品数量统计的准确度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例公开的一种库存盘点方法流程图；
图2为本申请实施例示例的一种商品密度图；
图3为本申请实施例示例的一种曲线绘制图；
图4为本申请实施例公开的一种库存盘点装置结构框图；
图5为本申请实施例公开的一种设备的库存盘点硬件结构框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的库存盘点方法可用于众多通用或专用的计算装置环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器装置、包括以上任何装置或设备的分布式计算环境等等。
接下来将结合图1对本申请的库存盘点方法进行详细说明，具体包括：
步骤S1、获取商品图像。
具体地，可以通过多种方式获取商品图像，例如，可以调用摄像头采集商品图像，也可以响应用户上传图像的操作，对上传的图像进行目标检测，去除该图像的冗余信息，获取商品图像。
商品图像中可以包含多类商品的图像。
步骤S2、提取所述商品图像的特征向量。
具体地，可以提取每个商品图像的多维特征向量。
步骤S3、根据所述特征向量，识别所述商品图像中所包含的目标商品种类。
具体地，可以预先确定商超中各商品种类的特征向量。
根据多维特征向量与各商品种类的特征向量之间的距离，选取商品图像中所包含的所有目标商品种类。
可以在商品图像中每个商品所在区域上标记该商品的目标商品种类。
步骤S4、判断所述商品图像中每个所述目标商品种类所对应的商品，是否存在堆叠情况，若所述商品存在堆叠情况，则执行步骤S5；若所述商品不存在堆叠情况，则执行步骤S7。
具体地，可以根据多种方式，判断是否存在堆叠情况，例如，可以确定每个目标商品种类是否为堆叠放置商品种类，在目标商品种类为堆叠放置商品种类时，可以确定目标商品种类所对应的商品，存在堆叠情况；也可以根据商品图像的融合特征图，确定目标商品种类所对应的商品，是否存在堆叠情况。
其中，堆叠放置商品种类可以根据各个商超的具体情况进行设置，一般而言，堆叠放置商品种类可以包含盘、碗、盆及杯等餐具。
步骤S5、将所述商品图像输入至预训练的密度估计网络，得到所述密度估计网络输出的包含两个以上高斯分布带的商品密度图。
具体地，在商品存在堆叠情况时，可以将商品图像输入至预训练的密度估计网络，以便密度估计网络输出商品图像对应的商品密度图。
其中，商品密度图中可以包括多个与商品图像中商品边缘一一对应的高斯分布带，如图2所示。
步骤S6、根据所述商品密度图，统计所述目标商品种类所对应的商品库存数量。
具体地，在得到商品图像对应的商品密度图时，可以根据商品密度图中的各个高斯分布带，统计每个所述目标商品种类所对应的商品库存数量。
步骤S7、根据所述商品图像中同一目标商品种类的出现次数，确定该目标商品种类的商品库存数量。
具体地，可以根据商品图像中标记的同一目标商品种类的出现次数，确定该目标商品种类的商品库存数量。
从上述的技术方案可以看出，本申请提供的库存盘点方法，该库存盘点方法可以获取商品图像；提取所述商品图像的特征向量；根据所述特征向量，识别所述商品图像中所包含的目标商品种类；如此，本申请可以确定商品图像中所包含的种类；判断所述商品图像中每个所述目标商品种类所对应的商品，是否存在堆叠情况；若所述商品存在堆叠情况，则将所述商品图像输入至预训练的密度估计网络，得到所述密度估计网络输出的包含两个以上高斯分布带的商品密度图，所述高斯分布带与所述商品图像中各个所述商品的边缘一一对应；根据所述商品密度图，统计所述目标商品种类所对应的商品库存数量；若所述商品不存在堆叠情况，则根据所述商品图像中所述目标商品种类的出现次数，确定所述目标商品种类的商品库存数量；如此，本申请可以根据商品是否存在堆叠情况，分别对堆叠的商品和/或不堆叠的商品进行数量统计，进一步提高了商品数量统计的可靠性。可见，本申请可以直接利用采集的商品图像完成商品库存统计，在利用本申请完成数量统计的过程中，不需要商品的条形码，只需要获取商品图像，而商品图像的采集不一定需要借助人力，因而，本申请降低了库存统计过程中的人力需求。
此外，本申请还可以利用密度估计网络生成包含两个以上高斯分布带的商品密度图，完成堆叠商品的数量统计，进一步提高了堆叠商品数量统计的准确度。
在本申请的一些实施例中，对训练密度估计网络的过程进行详细说明，步骤如下：
S8、采集多个堆叠图像。
具体地，可以采集包含堆叠放置商品的图像作为堆叠图像，堆叠图像中可以仅包含堆叠商品，也可以包含堆叠商品及单独放置的商品。
在采集堆叠图像的过程中可以采用光线变换、拍摄距离变化、商品摆放方式变化、随机旋转、裁剪、缩放、颜色变换等数据增强方法。
S9、获取初始化密度估计网络。
具体地，可以获取初始化密度估计网络，其中，初始化密度估计网络可以包含下采样分支、上采样分支、卷积层及损失层。
下采样分支由13层网络组成，由基于通道注意机制的多层残差神经网络组成，下采样分支用于获取1/16尺度的特征图。
上采样分支由9层神经网络组成，由基于通道注意机制的多层残差神经网络和最邻近插值上采样方法组成。上采样分支用于将1/16尺度的特征图上采样到1/4尺度的特征图。
卷积层用于对1/4尺度的特征图进行卷积，得到数据。
损失层包含Sigmoid函数，进一步地，可以为SmoothL1损失函数。
S10、依次对每个所述堆叠图像中每个商品的边缘采用多段相连的线段进行标记，标记后相连的多个线段形成与所述商品的边缘唯一对应的曲线。
具体地，可以对每个商品的边缘进行标记，标记方法为采用多段相连的线段绘制商品边缘，同一边缘的各个线段相互连接，不同边缘的各个线段不存在连接关系，如图3所示。
其中，每个线段的长度不短于2/3倍的商品边缘露出部位宽度。
S11、根据所述堆叠图像的多个曲线，生成包含有多个高斯分布带且各个所述高斯分布带与各个所述曲线一一对应的密度训练图。
具体地，可以利用堆叠图像中的各个曲线，生成包含多个高斯分布带，且各个高斯分布带与多个曲线一一对应的密度训练图，而每个曲线存在唯一对应的商品边缘，因而，各个高斯分布带与各个商品边缘一一对应。
S12、依次利用每个所述堆叠图像及其对应的密度训练图，对所述初始化密度估计网络进行迭代训练，直至符合预置的条件为止，将最终训练得到的初始化密度估计网络作为预训练的密度估计网络。
具体地，可以将每个堆叠图像的密度训练图进行上采样，上采样后得到的密度训练图与该堆叠图像尺寸一致。
将上采样后的密度训练图叠加于对应的堆叠图像上，形成各个高斯分布带与堆叠图像的各个商品边缘重合的叠加图像。
可以利用叠加图像对所述初始化密度估计网络进行迭代训练，直至符合预置的条件为止，将最终训练得到的初始化密度估计网络作为预训练的密度估计网络。
从上述技术方案可以看出，本实施例提供了一种训练密度估计网络的可选的方式，通过上述的方式可以采集多个堆叠图像，并生成每个堆叠图像对应的密度训练图，利用密度训练图及堆叠图像对初始化密度估计网络进行迭代训练，可见，本实施例可以更好地训练得到密度估计网络，从而，提高本申请商品库存统计的可靠性。
在本申请的一些实施例中，对步骤S11、根据所述堆叠图像的多个曲线，生成包含有多个高斯分布带且各个所述高斯分布带与各个所述曲线一一对应的密度训练图的过程进行详细说明，步骤如下：
S110、对所述堆叠图像中每个像素行的像素值进行初始化。
具体地，可以对堆叠图像中每个像素行的像素值初始化为固定像素值，例如，可以将每个像素行的像素值初始化为0。
S111、设置所述堆叠图像中每个所述曲线所对应的像素行的像素值，为目标像素值。
具体地，可以确定堆叠图像中每个曲线所对应的像素行，将堆叠图像中每个曲线所对应的像素行的像素值调整为目标像素值，例如，可以将堆叠图像中每个曲线所对应的像素行的像素值调整为1。
目标像素值与固定像素值不同。
S112、确定每个所述曲线所对应的像素行的上邻接区域及下邻接区域，其中，所述上邻接区域及下邻接区域所包含的像素行数量相同，且各个所述上邻接区域及各个所述下邻接区域不衔接。
具体地，以曲线对应的像素行为起始点，可向第一向量方向连续选取多个像素行，形成上邻接区域，可向第二向量方向连续选取多个像素行，形成下邻接区域。例如，以曲线对应的像素行为起始点，可沿着y轴正方向连续选取8个像素行，曲线对应的像素行的正上方8个像素行，形成上邻接区域；可沿着y轴负方向连续选取8个像素行，曲线对应的像素行的正上方8个像素行，形成下邻接区域，如图2所示。
其中，上邻接区域及下邻接区域所包含的像素行数量相同，且各个所述上邻接区域及各个所述下邻接区域不衔接。
S113、以每个所述曲线所对应的像素行中的各个像素点为基础点，以目标像素值为基础像素，对所述曲线的所述上邻接区域中每个像素行的像素值沿第一向量方向下调，所述曲线的所述下邻接区域中每个像素行的像素值沿第二向量方向下调，且各个所述上邻接区域及各个所述下邻接区域中每个像素行的像素值不超过预置的像素范围，所述以便形成包含有多个高斯分布带且各个所述高斯分布带与各个所述曲线一一对应的密度训练图。
具体地，以每个所述曲线所对应的像素行，为起始点；同时，以目标像素值为基础像素，可以对上邻接区域中每个像素行的像素值沿第一向量方向下调，例如，可以沿y轴正方向，以目标像素值为基础像素对上邻接区域中各个像素行的像素值进行下调，使得上邻接区域中离该上邻接区域所对应的曲线越远的像素值越低，同理，可以沿y轴负方向，以目标像素值为基础像素对下邻接区域中各个像素行的像素值进行下调，使得下邻接区域中离该下邻接区域所对应的曲线越远的像素值越低。对各个上邻接区域及各个下邻接区域的像素值进行调整后，可以形成多个高斯分布带。
图2为本申请提供的一种密度训练图的示意图。
参见图2可以发现，一个高斯分布带可以由一个上邻接区域、曲线所在像素行以及下邻接区域组成。密度训练图可以由一个以上高斯分布带组成。
第一向量方向及第二向量方向的方向相反，例如，第一向量方向可以为y轴正方向，第二向量方向可以为y轴负方向。
各个所述上邻接区域及各个所述下邻接区域中每个像素行的像素值不超过预置的像素范围，像素范围可以根据实际需求、固定像素值以及目标像素值进行设置，例如，像素范围可以为[0,1]。
上邻接区域的数量、下邻接区域的数量与曲线的数量可以一致。
从上述技术方案可以看出，本实施例提供了一种生成密度训练图的可选的方式，通过上述的方式可生成各堆叠图像的密度训练图，形成易于区分的高斯分布带，将堆叠图像中各个商品边缘转换为容易统计，易于区分的高斯分布带，进一步提高了本申请统计商品数量的准确度。
在本申请的一些实施例中，对步骤S12、依次利用每个所述堆叠图像及其对应的密度训练图，对所述初始化密度估计网络进行迭代训练，直至符合预置的条件为止的过程进行详细说明，步骤如下：
S120、依次利用所述初始化密度估计网络对所述堆叠图像进行下采样及上采样，得到包含多尺度信息的融合图像。
具体地，可以利用初始化密度估计网络，对堆叠图像进行下采样，得到1/16尺度的特征图。
再利用所述初始化密度估计网络，对1/16尺度的特征图进行上采样，得到1/4尺度的特征图，该1/4尺度的特征图融合有1/16尺度及1/4尺度的特征信息，该1/4尺度的特征图可为包含多尺度信息的融合图像。
S121、利用所述初始化密度估计网络对所述融合图像进行卷积，得到卷积数据。
具体地，可以对1/4尺度的特征图进行卷积，得到卷积数据。
S122、利用所述初始化密度估计网络中激活函数Sigmoid函数，对所述卷积数据进行处理，得到所述初始化密度估计网络输出的包含有高斯分布带的预测密度图。
具体地，可以利用SmoothL1损失函数，对卷积数据进行处理，得到所述初始化密度估计网络输出的包含有高斯分布带的预测密度图。
S123、将所述预测密度图与所述堆叠图像对应的密度训练图进行比较，得到预测误差。
具体地，可以对预测密度图进行上采样，使上采样后的预测密度图与叠加图像尺度一致；
可以计算上采样后的预测密度图与叠加图像之间的预测误差。
S124、利用所述预测误差对所述初始化密度估计网络的参数进行调整，直至符合预置的条件为止。
具体地，可以利用预测误差对初始化密度估计网络的参数进行调整，直至预测误差小于预置的误差阈值，或迭代次数超过预置的迭代阈值为止。
从上述技术方案可以看出，本实施例提供了一种对初始化密度估计网络进行迭代训练的可选的方式，通过上述的方式，可以基于初始化密度估计网络生成预测密度图及该预测密度图对应的预测误差对初始化密度估计网络进行参数调整，可见，本申请可以更好地训练得到密度估计网络。
在本申请的一些实施例中，对步骤S1、获取商品图像的过程进行详细说明，具体步骤如下：
S10、获取货架图像，所述货架图像中包含一个以上商品的图像。
具体地，可以对堆放有商品的货架进行拍摄，得到货架图像。
S11、利用预训练的目标检测模型，获取用于最大化去除所述货架图像中冗余信息的检测框。
具体地，可以利用目标检测模型，确定用于去除冗余信息的检测框，检测框可以相对于货架图像存在偏转角，检测框可以为旋转矩形框。
S12、利用所述检测框对所述货架图像进行截取，截取后得到商品图像。
具体地，可以根据检测框所在的范围、尺寸、偏转角度，对货架图像进行截取，得到商品图像。
从上述技术方案可以看出，本实施例提供了一种获取商品图像的可选的方式，可以对采集的货架图像进行截取，从而在保留有效信息的同时，尽可能减少商品图像中的冗余信息。通过上述的方式，能够更好地利用商品图像进行库存统计。
在本申请的一些实施例中，对步骤S11、利用预训练的目标检测模型，获取用于最大化去除所述货架图像中冗余信息的检测框的过程进行详细说明，步骤如下：
S110、利用所述目标检测模型，提取所述货架图像的多个特征图。
具体地，可以利用目标检测模型中的主干网络，提取货架图像中多个尺寸的特征图。
主干网络可以由多层残差神经网络组成，主干网络有34层卷积网络，前4层使用相同的CBS结构，5-28层由3组相同的网络组成，每组由一个包含6层卷积的残差网络结构、一层MAP及一层CBS层组成。29-34层为有6层卷积的残差网络结构。
其中，CBS结构由卷积conv、批标准化BN及激活函数SILU组成。
S111、利用所述目标检测模型，对多个所述特征图进行上采样和/或下采样，得到融合有不同尺寸特征信息的融合特征图。
具体地，可以根据多个特征图的尺寸，确定特征图的最小尺寸及最大尺寸。
可以利用所述目标检测模型中的多层特征融合网络对最小尺寸的特征图进行上采样，实现最小尺寸的特征图转换为最大尺寸的特征图；
可以利用所述目标检测模型中的多层特征融合网络对最大尺寸的特征图进行下采样，实现将最大尺寸的特征图转换为最小尺寸的特征图；
可以利用所述目标检测模型中的多层特征融合网络对最大尺寸的特征图进行下采样，将既非最大尺寸又非最小尺寸的特征图转换为最小尺寸的特征图，并对利用所述目标检测模型中的多层特征融合网络对最大尺寸的特征图进行上采样，将既非最大尺寸又非最小尺寸的特征图转换为最大尺寸的特征图。
转换得到的最大尺寸的特征图及最小尺寸的特征图可以为融合有不同尺寸特征信息的融合特征图。
多层特征融合网络可以包括上采样结构及下采样结构，上采样结构由双线性插值法和一个多层残差网络结构组成，下采样结构由最大后验概率估计方法MAP和一个多层残差网络结构组成。
S112、利用所述目标检测模型，划分所述货架图像为多个子区域，并根据所述融合特征图，预测每个所述子区域包含商品所在区域的可能性、子区域中心点与商品所在区域中心点的偏移量、检测框的预测尺寸，以及检测框相对于货架图像的预测偏转角度。
具体地，可以利用目标检测模型中的检测头，将货架图像分割为多个子区域，根据融合特征图所包含的特征信息及目标检测算法anchorfree，预测每个所述子区域包含商品所在区域的可能性、子区域中心点与商品所在区域中心点的偏移量、检测框的预测尺寸，以及检测框相对于货架图像的预测偏转角度。
其中，可以使用损失函数GIOU Loss，预测每个所述子区域包含商品所在区域的可能性。
S113、根据每个所述子区域对应的包含商品所在区域的可能性、子区域中心点与商品所在区域中心点的偏移量、检测框的预测尺寸，以及检测框相对于货架图像的预测偏转角度，生成用于最大化去除所述货架图像中冗余信息的检测框。
具体地，可以综合每个所述子区域对应的包含商品所在区域的可能性、子区域中心点与商品所在区域中心点的偏移量、检测框的预测尺寸，确定最终的检测框所对应的区域，并根据每个子区域对应的检测框相对于货架图像的预测偏转角度，确定检测框的旋转角度。
其中，子区域的大小及数量可以根据实际需求进行设置，子区域数量越多，精确度越高，在精确度需求较高时，可以设置较多子区域。
从上述技术方案可以看出，本实施例提供了一种生成检测框的可选的方式，通过上述的方式可以将货架图像拆分为多个子区域，以每个子区域所包含的商品可能性，确定检测框，可见，本申请可以更好地生成检测框，从而减少商品图像存在冗余信息的可能性，进一步减少数量统计过程中的干扰项，从而进一步提高本申请的可靠性。
在训练目标检测模型的过程中，可以从各个子区域中选取离检测框中心点最近的三个子区域作为正样本，随机选取检测框外的任一子区域作为负样本。
根据每个正样本的对应的包含商品所在区域的可能性、子区域中心点与商品所在区域中心点的偏移量、检测框的预测尺寸，与最终确定的检测框所处位置、尺寸、中心点之间的区别，可计算正样本检测损失。
根据负样本与检测框是否存在区域重合，计算负样本检测损失。
在本申请的一些实施例中，对步骤S2、提取所述商品图像的特征向量的过程进行详细说明，步骤如下：
S20、利用包含通道注意机制的多层残差神经网络的特征提取网络，提取所述商品图像的多维特征向量。
具体地，特征提取网络中可包含18个层级，18个层级中可包含有基于通道注意机制的多层残差神经网络。
特征提取网络，可以用于提取所述商品图像的128维特征向量。
从上述技术方案可以看出，本实施例提供了一种提取特征向量的可选的方式，通过上述的方式可以提取多维特征向量，从而更好地确定商品图像中所包含的目标商品种类。
在本申请的一些实施例中，对步骤S3、根据所述特征向量，识别所述商品图像中所包含的目标商品种类的过程进行详细说明，步骤如下：
S30、利用损失函数Addictive Augular Margin Loss函数，对所述特征向量进行聚类，形成判别特征空间。
具体地，可以利用Addictive Augular Margin Loss函数，对多维特征向量进行聚类，形成判别特征空间。
判别特征空间中可以包含多个聚类集合，每个聚类集合中可包含有多个特征向量。
S31、将所述判别特征空间与预置的多个商品种类对应的特征向量进行比对，确定所述判别特征空间与每个所述商品种类之间的距离。
具体地，可以预先存储多种商品对应的特征向量。依次将每个聚类集合与每个商品的特征向量进行比对，确定判别特征空间中每个聚类集合与每个所述商品种类之间的距离。
S32、从各个距离中，选取距离最低的商品种类作为目标商品种类。
具体地，从每个聚类集合对应的距离中，选取距离最近的商品种类作为该聚类集合对应的目标商品种类。
各个聚类集合对应的目标商品种类组成商品图像所包含的多个目标商品种类。
从上述技术方案可以看出，本实施例提供了一种确定商品图像所包含的目标商品种类的可选的方式，通过上述的方式，可以依次确定商品图像中所包含的每个目标商品种类，进一步提高了本申请的可靠性。
在本申请的一些实施例中，对步骤S6、根据所述商品密度图，统计所述目标商品种类所对应的商品库存数量的过程进行详细说明，步骤如下：
S60、确定所述目标商品种类对应的标记方式。
具体地，可以确定每个目标商品种类对应的标记方式，不同目标商品种类的标记方式可以不同，例如，碗的标记方式可以为红色楷体数字标记；杯子的标记方式可以为绿色阿拉伯数字标记等多种形式。
S61、根据每个所述高斯分布带所对应的目标商品种类及该目标商品种类的标记方式，对所述高斯分布带进行标记。
具体地，可以根据每个高斯分布带对应的目标商品种类，确定高斯分布带所对应的标记方式，根据该标记方式对该高斯分布带进行标记。
S62、根据各个所述高斯分布带的标记情况，统计所述目标商品种类所对应的商品库存数量。
具体地，可以根据各个所述高斯分布带的标记情况，统计每个所述目标商品种类所对应的商品库存数量。
从上述技术方案可以看出，本实施例提供了一种根据商品密度图，对商品库存数量进行确定的可选的方式，通过上述的方式，可以进一步区分各个高斯分布带所属的目标商品种类，并对每个目标商品种类的商品库存数量进行统计，进一步提高了本申请的商品库存数量的准确性及实用性。
接下来，将结合图4对本申请提供的库存盘点装置进行详细说明，下文所阐述的库存盘点装置可以与上文提供的库存盘点方法相互对应参照。
参见图4，可以发现，本申请的库存盘点装置可包括：
获取单元1，用于获取商品图像；
提取单元2，用于提取所述商品图像的特征向量；
识别单元3，用于根据所述特征向量，识别所述商品图像中所包含的目标商品种类；
判断单元4，用于判断所述商品图像中每个所述目标商品种类所对应的商品，是否存在堆叠情况；
输入单元5，用于若所述商品存在堆叠情况，则将所述商品图像输入至预训练的密度估计网络，得到所述密度估计网络输出的包含两个以上高斯分布带的商品密度图，所述高斯分布带与所述商品图像中各个所述商品的边缘一一对应；
统计单元6，用于根据所述商品密度图，统计所述目标商品种类所对应的商品库存数量；
确定单元7，用于若所述商品不存在堆叠情况，则根据所述商品图像中同一目标商品种类的出现次数，确定该目标商品种类的商品库存数量。
进一步的，库存盘点装置还可包括：
堆叠图像采集子单元，用于采集多个堆叠图像；
网络获取子单元，用于获取初始化密度估计网络；
边缘标记子单元，用于依次对每个所述堆叠图像中每个商品的边缘采用多段相连的线段进行标记，标记后相连的多个线段形成与所述商品的边缘唯一对应的曲线；
密度训练图生成子单元，用于根据所述堆叠图像的多个曲线，生成包含有多个高斯分布带且各个所述高斯分布带与各个所述曲线一一对应的密度训练图；
网络训练子单元，用于依次利用每个所述堆叠图像及其对应的密度训练图，对所述初始化密度估计网络进行迭代训练，直至符合预置的条件为止，将最终训练得到的初始化密度估计网络作为预训练的密度估计网络。
进一步的，密度训练图生成子单元可包括：
像素值初始化子单元，用于对所述堆叠图像中每个像素行的像素值进行初始化；
像素值设置子单元，用于设置所述堆叠图像中每个所述曲线所对应的像素行的像素值，为目标像素值；
区域确定子单元，用于确定每个所述曲线所对应的像素行的上邻接区域及下邻接区域，其中，所述上邻接区域及下邻接区域所包含的像素行数量相同，且各个所述上邻接区域及各个所述下邻接区域不衔接；
曲线利用子单元，用于以每个所述曲线所对应的像素行中的各个像素点为基础点，以目标像素值为基础像素，对所述曲线的所述上邻接区域中每个像素行的像素值沿第一向量方向下调，所述曲线的所述下邻接区域中每个像素行的像素值沿第二向量方向下调，且各个所述上邻接区域及各个所述下邻接区域中每个像素行的像素值不超过预置的像素范围，所述以便形成包含有多个高斯分布带且各个所述高斯分布带与各个所述曲线一一对应的密度训练图。
进一步的，网络训练子单元可以包括：
第一网络训练子单元，用于依次利用所述初始化密度估计网络对所述堆叠图像进行下采样及上采样，得到包含多尺度信息的融合图像；
第二网络训练子单元，用于利用所述初始化密度估计网络对所述融合图像进行卷积，得到卷积数据；
第三网络训练子单元，用于利用所述初始化密度估计网络中激活函数Sigmoid函数，对所述卷积数据进行处理，得到所述初始化密度估计网络输出的包含有高斯分布带的预测密度图；
第四网络训练子单元，用于将所述预测密度图与所述堆叠图像对应的密度训练图进行比较，得到预测误差；
第五网络训练子单元，用于利用所述预测误差对所述初始化密度估计网络的参数进行调整，直至符合预置的条件为止。
进一步的，获取单元可以包括：
货架图像获取子单元，用于获取货架图像，所述货架图像中包含一个以上商品的图像；
检测框获取子单元，用于利用预训练的目标检测模型，获取用于最大化去除所述货架图像中冗余信息的检测框；
货架图像截取子单元，用于利用所述检测框对所述货架图像进行截取，截取后得到商品图像。
进一步的，检测框获取子单元可以包括：
特征图提取子单元，用于利用所述目标检测模型，提取所述货架图像的多个特征图；
融合特征图获取子单元，用于利用所述目标检测模型，对多个所述特征图进行上采样和/或下采样，得到融合有不同尺寸特征信息的融合特征图；
偏转角度预测子单元，用于利用所述目标检测模型，划分所述货架图像为多个子区域，并根据所述融合特征图，预测每个所述子区域包含商品所在区域的可能性、子区域中心点与商品所在区域中心点的偏移量、检测框的预测尺寸，以及检测框相对于货架图像的预测偏转角度；
检测框预测子单元，用于根据每个所述子区域对应的包含商品所在区域的可能性、子区域中心点与商品所在区域中心点的偏移量、检测框的预测尺寸，以及检测框相对于货架图像的预测偏转角度，生成用于最大化去除所述货架图像中冗余信息的检测框。
进一步的，提取单元可以包括：
多维特征向量提取子单元，用于利用包含通道注意机制的多层残差神经网络的特征提取网络，提取所述商品图像的多维特征向量。
进一步的，识别单元可以包括：
特征向量聚类子单元，用于利用损失函数Addictive Augular Margin Loss函数，对所述特征向量进行聚类，形成判别特征空间；
距离计算子单元，用于将所述判别特征空间与预置的多个商品种类对应的特征向量进行比对，确定所述判别特征空间与每个所述商品种类之间的距离；
目标商品种类选取子单元，用于从各个距离中，选取距离最低的商品种类作为目标商品种类。
进一步的，统计单元可以包括：
标记方式确定子单元，用于确定所述目标商品种类对应的标记方式；
高斯分布带标记子单元，用于根据每个所述高斯分布带所对应的目标商品种类及该目标商品种类的标记方式，对所述高斯分布带进行标记；
数量统计子单元，用于根据各个所述高斯分布带的标记情况，统计所述目标商品种类所对应的商品库存数量。本申请实施例提供的可应用于库存盘点设备，如PC终端、云平台、服务器及服务器集群等。可选的，图4示出了库存盘点设备的硬件结构框图，参照图4，库存盘点设备的硬件结构可以包括：至少一个处理器1，至少一个通信接口2，至少一个存储器3和至少一个通信总线4；
在本申请实施例中，处理器1、通信接口2、存储器3、通信总线4的数量为至少一个，且处理器1、通信接口2、存储器3通过通信总线4完成相互间的通信；
处理器1可能是一个中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路等；
存储器3可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatilememory)等，例如至少一个磁盘存储器；
其中，存储器存储有程序，处理器可调用存储器存储的程序，所述程序用于：
获取商品图像；
提取所述商品图像的特征向量；
根据所述特征向量，识别所述商品图像中所包含的目标商品种类；
判断所述商品图像中每个所述目标商品种类所对应的商品，是否存在堆叠情况；
若所述商品存在堆叠情况，则将所述商品图像输入至预训练的密度估计网络，得到所述密度估计网络输出的包含两个以上高斯分布带的商品密度图，所述高斯分布带与所述商品图像中各个所述商品的边缘一一对应；
根据所述商品密度图，统计所述目标商品种类所对应的商品库存数量；
若所述商品不存在堆叠情况，则根据所述商品图像中同一目标商品种类的出现次数，确定该目标商品种类的商品库存数量。
可选地，所述程序的细化功能和扩展功能可参照上文描述。
本申请实施例还提供一种可读存储介质，该可读存储介质可存储有适于处理器执行的程序，所述程序用于：
获取商品图像；
提取所述商品图像的特征向量；
根据所述特征向量，识别所述商品图像中所包含的目标商品种类；
判断所述商品图像中每个所述目标商品种类所对应的商品，是否存在堆叠情况；
若所述商品存在堆叠情况，则将所述商品图像输入至预训练的密度估计网络，得到所述密度估计网络输出的包含两个以上高斯分布带的商品密度图，所述高斯分布带与所述商品图像中各个所述商品的边缘一一对应；
根据所述商品密度图，统计所述目标商品种类所对应的商品库存数量；
若所述商品不存在堆叠情况，则根据所述商品图像中同一目标商品种类的出现次数，确定该目标商品种类的商品库存数量。
可选地，所述程序的细化功能和扩展功能可参照上文描述。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。本申请的各个实施例之间可以相互结合。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种库存盘点方法，其特征在于，包括：
获取商品图像；
提取所述商品图像的特征向量；
根据所述特征向量，识别所述商品图像中所包含的目标商品种类；
判断所述商品图像中每个所述目标商品种类所对应的商品，是否存在堆叠情况；
若所述商品存在堆叠情况，则将所述商品图像输入至预训练的密度估计网络，得到所述密度估计网络输出的包含两个以上高斯分布带的商品密度图，所述高斯分布带与所述商品图像中各个所述商品的边缘一一对应；
根据所述商品密度图，统计所述目标商品种类所对应的商品库存数量；
若所述商品不存在堆叠情况，则根据所述商品图像中同一目标商品种类的出现次数，确定该目标商品种类的商品库存数量。
2.根据权利要求1所述的库存盘点方法，其特征在于，训练所述密度估计网络的过程，包括：
采集多个堆叠图像；
获取初始化密度估计网络；
依次对每个所述堆叠图像中每个商品的边缘采用多段相连的线段进行标记，标记后相连的多个线段形成与所述商品的边缘唯一对应的曲线；
根据所述堆叠图像的多个曲线，生成包含有多个高斯分布带且各个所述高斯分布带与各个所述曲线一一对应的密度训练图；
依次利用每个所述堆叠图像及其对应的密度训练图，对所述初始化密度估计网络进行迭代训练，直至符合预置的条件为止，将最终训练得到的初始化密度估计网络作为预训练的密度估计网络。
3.根据权利要求2所述的库存盘点方法，其特征在于，根据所述堆叠图像的多个曲线，生成包含有多个高斯分布带且各个所述高斯分布带与各个所述曲线一一对应的密度训练图，包括：
对所述堆叠图像中每个像素行的像素值进行初始化；
设置所述堆叠图像中每个所述曲线所对应的像素行的像素值，为目标像素值；
确定每个所述曲线所对应的像素行的上邻接区域及下邻接区域，其中，所述上邻接区域及下邻接区域所包含的像素行数量相同，且各个所述上邻接区域及各个所述下邻接区域不衔接；
以每个所述曲线所对应的像素行中的各个像素点为基础点，以目标像素值为基础像素，对所述曲线的所述上邻接区域中每个像素行的像素值沿第一向量方向下调，所述曲线的所述下邻接区域中每个像素行的像素值沿第二向量方向下调，且各个所述上邻接区域及各个所述下邻接区域中每个像素行的像素值不超过预置的像素范围，所述以便形成包含有多个高斯分布带且各个所述高斯分布带与各个所述曲线一一对应的密度训练图。
4.根据权利要求2所述的库存盘点方法，其特征在于，依次利用每个所述堆叠图像及其对应的密度训练图，对所述初始化密度估计网络进行迭代训练，直至符合预置的条件为止，包括：
依次利用所述初始化密度估计网络对所述堆叠图像进行下采样及上采样，得到包含多尺度信息的融合图像；
利用所述初始化密度估计网络对所述融合图像进行卷积，得到卷积数据；
利用所述初始化密度估计网络中激活函数Sigmoid函数，对所述卷积数据进行处理，得到所述初始化密度估计网络输出的包含有高斯分布带的预测密度图；
将所述预测密度图与所述堆叠图像对应的密度训练图进行比较，得到预测误差；
利用所述预测误差对所述初始化密度估计网络的参数进行调整，直至符合预置的条件为止。
5.根据权利要求1所述的库存盘点方法，其特征在于，所述根据所述商品密度图，统计所述目标商品种类所对应的商品库存数量，包括：
确定所述目标商品种类对应的标记方式；
根据每个所述高斯分布带所对应的目标商品种类及该目标商品种类的标记方式，对所述高斯分布带进行标记；
根据各个所述高斯分布带的标记情况，统计所述目标商品种类所对应的商品库存数量。
6.根据权利要求1所述的库存盘点方法，其特征在于，所述获取商品图像，包括：
获取货架图像，所述货架图像中包含一个以上商品的图像；
利用预训练的目标检测模型，获取用于最大化去除所述货架图像中冗余信息的检测框；
利用所述检测框对所述货架图像进行截取，截取后得到商品图像。
7.根据权利要求6所述的库存盘点方法，其特征在于，所述利用预训练的目标检测模型，获取用于最大化去除所述货架图像中冗余信息的检测框，包括：
利用所述目标检测模型，提取所述货架图像的多个特征图；
利用所述目标检测模型，对多个所述特征图进行上采样和/或下采样，得到融合有不同尺寸特征信息的融合特征图；
利用所述目标检测模型，划分所述货架图像为多个子区域，并根据所述融合特征图，预测每个所述子区域包含商品所在区域的可能性、子区域中心点与商品所在区域中心点的偏移量、检测框的预测尺寸，以及检测框相对于货架图像的预测偏转角度；
根据每个所述子区域对应的包含商品所在区域的可能性、子区域中心点与商品所在区域中心点的偏移量、检测框的预测尺寸，以及检测框相对于货架图像的预测偏转角度，生成用于最大化去除所述货架图像中冗余信息的检测框。
8.根据权利要求1所述的库存盘点方法，其特征在于，提取所述商品图像的特征向量，包括：
利用包含通道注意机制的多层残差神经网络的特征提取网络，提取所述商品图像的多维特征向量。
9.根据权利要求1所述的库存盘点方法，其特征在于，根据所述特征向量，识别所述商品图像中所包含的目标商品种类，包括：
利用损失函数Addictive Augular Margin Loss函数，对所述特征向量进行聚类，形成判别特征空间；
将所述判别特征空间与预置的多个商品种类对应的特征向量进行比对，确定所述判别特征空间与每个所述商品种类之间的距离；
从各个距离中，选取距离最低的商品种类作为目标商品种类。
10.一种库存盘点装置，其特征在于，包括：
获取单元，用于获取商品图像；
提取单元，用于提取所述商品图像的特征向量；
识别单元，用于根据所述特征向量，识别所述商品图像中所包含的目标商品种类；
判断单元，用于判断所述商品图像中每个所述目标商品种类所对应的商品，是否存在堆叠情况；
输入单元，用于若所述商品存在堆叠情况，则将所述商品图像输入至预训练的密度估计网络，得到所述密度估计网络输出的包含两个以上高斯分布带的商品密度图，所述高斯分布带与所述商品图像中各个所述商品的边缘一一对应；
统计单元，用于根据所述商品密度图，统计所述目标商品种类所对应的商品库存数量；
确定单元，用于若所述商品不存在堆叠情况，则根据所述商品图像中同一目标商品种类的出现次数，确定该目标商品种类的商品库存数量。
CN202310607782.4A 2023-05-26 2023-05-26 库存盘点方法及装置 Pending CN116596450A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310607782.4A CN116596450A (zh) 2023-05-26 2023-05-26 库存盘点方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310607782.4A CN116596450A (zh) 2023-05-26 2023-05-26 库存盘点方法及装置

Publications (1)

Publication Number Publication Date
CN116596450A true CN116596450A (zh) 2023-08-15

Family

ID=87606092

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310607782.4A Pending CN116596450A (zh) 2023-05-26 2023-05-26 库存盘点方法及装置

Country Status (1)

Country Link
CN (1) CN116596450A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117772617A (zh) * 2024-02-27 2024-03-29 河南聚能合众特种材料有限公司 基于物联网的物流分拣输送方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117772617A (zh) * 2024-02-27 2024-03-29 河南聚能合众特种材料有限公司 基于物联网的物流分拣输送方法及系统
CN117772617B (zh) * 2024-02-27 2024-05-10 河南聚能合众特种材料有限公司 基于物联网的物流分拣输送方法及系统

Similar Documents

Publication Publication Date Title
US9286537B2 (en) System and method for classifying a skin infection
US7035467B2 (en) Method and system for processing images for themed imaging services
Metre et al. An overview of the research on texture based plant leaf classification
JP2009545045A (ja) パターン分類方法
KR20130142191A (ko) 비주얼 탐색을 위한 강건한 특징 매칭
Mai et al. Comparing salient object detection results without ground truth
CN106650580B (zh) 基于图像处理的货架快速清点方法
CN109800781A (zh) 一种图像处理方法、装置及计算机可读存储介质
CN107844737B (zh) 虹膜图像的检测方法和装置
US20130064460A1 (en) Image Clustering a Personal Clothing Model
CN108197644A (zh) 一种图像识别方法和装置
CN105550641B (zh) 基于多尺度线性差分纹理特征的年龄估计方法和系统
CN116596450A (zh) 库存盘点方法及装置
US20150356350A1 (en) unsupervised non-parametric multi-component image segmentation method
CN101256632B (zh) 信息处理装置和方法
CN108205657A (zh) 视频镜头分割的方法、存储介质和移动终端
CN106503743B (zh) 一种数量多且维数高的图像局部特征点自适应聚类方法
Wang et al. Automatic shoeprint retrieval algorithm for real crime scenes
AU2017342154B2 (en) System and method for object recognition based estimation of planogram compliance
CN111127558B (zh) 确定装配体检测角度的方法、装置、电子设备及存储介质
CN104268550B (zh) 特征提取方法及装置
CN105678333B (zh) 一种拥挤区域的确定方法和装置
CN111753775A (zh) 鱼的生长评估方法、装置、设备及存储介质
CN114882020B (zh) 产品的缺陷检测方法、装置、设备及计算机可读介质
CN106485686A (zh) 一种基于万有引力的谱聚类图像分割算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination