CN115063084A - 一种卷烟零售商户库存盘点方法及系统 - Google Patents

一种卷烟零售商户库存盘点方法及系统 Download PDF

Info

Publication number
CN115063084A
CN115063084A CN202210816961.4A CN202210816961A CN115063084A CN 115063084 A CN115063084 A CN 115063084A CN 202210816961 A CN202210816961 A CN 202210816961A CN 115063084 A CN115063084 A CN 115063084A
Authority
CN
China
Prior art keywords
cigarette
image
model
stock
target area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210816961.4A
Other languages
English (en)
Inventor
翁金香
王浩名
于宁波
何宝
康萃雯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan Tobacco Cos Xinyang Co
Original Assignee
Henan Tobacco Cos Xinyang Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan Tobacco Cos Xinyang Co filed Critical Henan Tobacco Cos Xinyang Co
Priority to CN202210816961.4A priority Critical patent/CN115063084A/zh
Publication of CN115063084A publication Critical patent/CN115063084A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于图像处理电子信息技术领域，公开了一种卷烟零售商户库存盘点方法及系统。所述盘点方法包括利用图像检测模型对采集的库存卷烟图像进行目标检测，得到库存卷烟图像中包含目标图像的预测框并获得每个目标区域图像；利用文字识别模型对每个目标区域图像进行品规关键字识别，若识别出关键字，则得到品规分类结果，若未识别出，则将该目标区域图像输入图像分类模块；然后利用图像分类模型对输入的目标区域图像进行分类，得到品规分类结果；将位置信息和品规分类结果输入统计模型进行统计，得到卷烟零售商户库存盘点结果。本发明盘点方法够对种类繁多的卷烟库存进行智能、快速、准确和有效的识别和盘点，既节约人工成本也能为企业经营提供数据支撑。

Description

一种卷烟零售商户库存盘点方法及系统
技术领域
本发明属于图像处理电子信息技术领域，具体涉及一种卷烟零售商户库存盘点方法及系统。
背景技术
为了在庞大的线下终端赢得消费者的选择，争夺产品在货架上的露出位置和比例，跟哪些竞品在一起露出，以及如何通过货架陈列，使产品的视觉呈现更能吸引消费者购买，目前成为快消企业终端执行的重中之重。另外，当货架缺货的情况发生时，品牌商可能会失去46％的购买者，零售商可能会失去30％的购买者。而利用AI物品识别技术辅助人工完成陈列审查，则可以绕过昂贵的人力成本，实现对线下终端的高效管控，使管理者能够更紧密地掌控店内运营并通过数据分析来获取有竞争力的商业见解，以找出所有销售点的业务机会。AI物品识别技术能够像人眼一样查看、识别和处理图像和视频，它的能力将可以协助进行多种任务，包括信号处理，图像增强，物体检测和分类，运动分析和3D图像重建等。目前，可口可乐、百威英博啤酒、喜力啤酒、雀巢以及汉高等全球性品牌均已使用该技术进行零售终端数字化升级，但运用于卷烟的库存识别系统，目前依然存在着空白。
为了更好地把握与管理卷烟零售商户，需要掌握全面且实时的终端库存、陈列及价格数据。但在当下的管理方式中，存在以下问题：一是样本数量缺失，虽然信息采集模式可采用人机结合的方式，但仍无法保证每笔订单真扫实扫；二是人工盘点效率低、成本高，且人工盘点数据质量难以衡量；三是数据分析维度单一，无法为终端社会库存管理提供全面数据支撑，一方面数据录入后未进行结构化存储，难以输出标准化报表，另一方面人工采集仅能提供品项、数量数据，其他终端数据无法还原(例如每个品项的陈列位置、陈列方式)，从而提供更全面的数据分析指标。而且，研究社会库存数字化管理系统具有重要的现实意义：1、提升社会库存数据完整性、真实性；2、优化业务模式，推进大数据与业务的深度融合；3、洞察消费者真实需求，从需求侧推动供给优化；4、为相关领域的研究提供理论支持，促进此方面研究的发展。因此，随着库存精细化管理的需求日益迫切，以及AI技术的应用日益广泛，有必要反思现有的社会库存管理模式，并依托创新技术提升管理成效。
发明内容
针对现有技术中存在的问题和不足，本发明的目的在于提供一种卷烟零售商户库存盘点方法及系统。
基于上述目的，本发明采用如下技术方案：
本发明第一方面提供了一种卷烟零售商户库存盘点方法，包括如下步骤：
S1：采集卷烟零售商户的多张库存卷烟图像；
S2：利用图像检测模型对步骤S1采集的库存卷烟图像进行目标检测，得到库存卷烟图像中包含卷烟目标图像的预测框，进而获得每个卷烟目标区域图像以及所述卷烟目标区域图像的位置信息；
S3：利用文字识别模型对每个卷烟目标区域图像进行卷烟品规文本关键字识别，若识别出卷烟品规关键字，则得到该卷烟目标区域图像的品规分类结果；若未识别出卷烟品规关键字，则将该卷烟目标区域图像输入图像分类模型；
S4：利用图像分类模型对输入的卷烟目标区域图像进行分类，得到该卷烟目标区域图像的品规分类结果；
S5：将步骤S2得到的每个卷烟目标区域图像的位置信息以及步骤S3和S4得到的每个卷烟目标区域图像的品规分类结果输入统计模型中，对卷烟的位置、品规和数量进行统计，得到卷烟零售商户库存盘点结果。
更加优选地，将步骤S1采集的库存卷烟图像输入图像检测模型前，先输入图像处理模型进行反光识别和去除；所述图像处理模型为Reflection-free Flash-only Cure。
更加优选地，所述图像检测模型将所有品规的卷烟视为同一类别进行检测，用于得到所有卷烟目标的位置区域。
优选地，所述图像检测模型采用训练好的Yolov4目标检测模型。
优选地，所述Yolov4目标检测模型具体包括：输入层、BackBone主干网络、插入层Neck和输出层Prediction；其中，所述输入层包括Mosaic数据增强、cmBN和SAT自对抗训练；所述BackBone主干网络包括CSPDarknet53、Mish激活函数和Dropblock；所述插入层Neck包括CBL、SPP模块和FPN+PAN结构；所述输出层Prediction包括锚框机制、训练时的损失函数以及预测框筛选的DIOU_nms；所述训练时的损失函数包括bounding box regeession损失函数、置信度损失函数和分类损失函数，其中，bounding box regression损失函数采用CIOU_Loss，置信度损失函数采用基于Bounding Box的交叉熵损失函数，分类损失采用基于IOU的二值交叉熵损失函数。
更加优选地，所述Yolov4目标检测模型的训练过程包括以下步骤：
(1)采集卷烟零售商户的多张库存卷烟图像，并对库存卷烟图像中的目标信息进行标定，以标定后的库存卷烟图像建立库存卷烟图像集；将库存卷烟图像集按8:1:1的比例随机划分为训练集、验证集和测试集；所述目标信息至少包括目标卷烟的位置、分类信息；所述训练集图像根据实际场景进行数据增强，数据增强的方式包括亮度调整、旋转、裁剪、模糊；
(2)采用训练集对目标检测模型进行训练，模型的输入尺寸设为608*608，选取3组不同的超参数组合进行模型训练，更新目标检测模型，得到训练后的目标检测模型；
(3)采用验证集对3组不同超参数训练出来的模型进行初步验证，验证模型泛化能力，选取1组表现最好的模型超参数，继续进行模型训练，当训练集上的表现不再上升时停止模型训练；
(4)采用测试集对步骤(3)得到的训练后的目标检测模型进行测试，从训练后的目标检测模型中选出最优目标检测模型，得到训练好的Yolov4目标检测模型。
更加优选地，所述图像分类模型用于解决卷烟品规之间样本不均衡的问题。
优选地，所述图像分类模块采用训练好的ResNet50图像分类模型，训练时选用Focal Loss损失函数。
更加优选地，利用图像分类模型对输入的卷烟目标区域图像进行分类的具体过程为：将输入的卷烟目标区域图像输入到ResNet-50网络中得到卷烟目标区域图像在ResNet-50网络的Conv5层的输出结果，输出结果包含了单个卷烟目标区域图像的特征向量，然后将输出的特征向量输入全卷积网络中进行分类，得到该卷烟目标区域图像的品规分类结果。
更加优选地，所述图像分类模块的训练过程包括以下步骤：
(A)采集不同品规的卷烟目标图像建立卷烟目标图像集，将所述目标图像集中的目标图像按照品规的不同分别存储在不同的文件夹中；将卷烟目标图像集按8:1:1的比例随机划分为训练集、验证集和测试集；
(B)采用训练集对ResNet50图像分类模型进行训练，选取3组不同的超参数组合进行模型训练，更新图像分类模型，得到训练后的图像分类模型；
(C)采用验证集对3组不同超参数训练出来的模型进行初步验证，验证模型泛化能力，选取1组表现最好的模型超参数，继续进行模型训练，当训练集上的表现不再上升时停止模型训练；
(D)采用测试集对步骤(C)得到的训练后的图像分类模型进行测试，从训练后的图像分类模型中选出最优图像分类模型，得到训练好的ResNet50图像分类模型。
优选地，所述文字识别模型采用OCR识别算法对步骤S2检测出的卷烟目标区域图像进行文本信息提取，然后采用正则匹配分类模型将提取的文本信息与卷烟品规文本关键字信息进行正则匹配识别：若识别出卷烟品规关键字，则得到该卷烟目标区域图像的品规分类结果；若未识别出卷烟品规关键字，则将该卷烟目标区域图像输入图像分类模型；所述正则匹配分类模型基于卷烟的品规文本关键字信息构建而成。
优选地，所述统计模块采用DBSCAN算法对卷烟目标区域图像的位置信息进行聚类统计，得到卷烟库存的位置盘点结果；所述统计模块采用类别统计算法对卷烟目标区域图像的品规分类结果和数量信息进行统计，得到卷烟库存的品规和数量盘点结果。
本发明第二方面提供了一种卷烟库存盘点系统，包含人机交互子系统和数据处理子系统；
所述人机交互子系统包含人机交互界面和图像采集模块；人机交互界面用于为用户提供将采集的卷烟商户的库存卷烟图像或视频输入系统的操作界面；图像采集模块用于采集卷烟商户的库存卷烟图像或视频，并将采集的库存卷烟图像或视频上传至所述数据处理子系统；
所述数据处理子系统包括库存卷烟图像识别模块和卷烟库存盘点模块；所述库存卷烟图像识别模块包括上述第一方面任一所述的图像检测模型、文字识别模型和图像分类模型，用于对上传的库存卷烟图像中的卷烟目标进行识别并输出识别结果，所述卷烟目标识别结果至少包括该卷烟的品规、位置信息；所述卷烟库存盘点模块包括上述第一方面任一所述的统计模型，用于对卷烟信息识别结果进行统计，得到卷烟商户的库存盘点结果。
优选地，所述人机交互界面还包含商户信息识别模块，商户信息识别模块用于利用OCR识别模型对商户进行信息识别。
更加优选地，所述人机交互子系统还包含商户管理模块，商户管理模块用于管理用户和商户的任务、规则、记录信息等。
所述商户管理模块包括门店信息管理子模块、门店任务管理子模块、巡店人员管理子模块、巡店记录管理子模块、门店规则管理子模块、用户管理子模块、专卖罚没卷烟仓库管理子模块。门店信息管理子模块用于管理门店信息并统计门店清单，门店任务管理子模块用于管理门店任务并发布公告信息，巡店人员管理子模块用于管理巡店人员信息，巡店记录管理子模块用于管理巡店人员的门店签到等记录信息，门店规则管理子模块用于管理门店必分销规则以及促销活动核销规则，用户管理子模块用于对用户登录和/或使用系统的权限进行管理，专卖罚没卷烟仓库管理子模块用于管理专卖罚没仓库信息并统计仓库清单。
更加优选地，所述人机交互界面还包含巡店人员信息识别模块，巡店人员信息识别模块用于利用OCR识别模型对巡店人员记录的巡店信息进行信息识别。
本发明第三方面提供了一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如上述第一方面任一所述的卷烟零售商户库存盘点方法，和/或加载有如上述第二方面任一所述的卷烟库存盘点系统。
本发明第四方面提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面任一所述的卷烟零售商户库存盘点方法，和/或加载有如上述第二方面任一所述的卷烟库存盘点系统。
与现有技术相比，本发明的有益效果如下：
(1)本申请先采用训练好的Yolov4目标检测模型将所有品规的卷烟视为一种类别进行检测，得到所有卷烟目标的位置区域；然后采用训练好的ResNet50深度学习分类模型搭配Focal Loss损失函数，支持相似卷烟品项的细粒度识别，让神经网络能够更好地“关注”到细微差别，进而更好地区分相似物体，解决卷烟品规之间样本不均衡的问题。本申请针对卷烟库存特点以及现有算法在检测中出现的问题，如卷烟种类繁多(可达600种以上)以及Yolov4目标检测算法在种类多的目标中会出现正负样本不均衡特性，此外卷烟密集摆放、卷烟边界不易区分、反光暗光、存在遮挡等，造成目标检测困难、误检或者漏检，从而导致检测准确率不高，因此需要对现有目标检测算法进行改进，实现对卷烟库存的图片或视频的检测，进一步检测出图片或视频中卷烟的位置、品规以及数量等信息。由此针对性解决了目标物体密集摆放场景下的目标检测问题，如高度重叠的实例造成的锚框重叠以及预测结果被NMS错误地抑制。在其中一项实施例中，本申请库存卷烟图像检测模型分别对随机抽取的50组盒烟重点品规图片和50组条烟重点品规图片进行识别，目标检测模型的平均检出率分别为99.35％和99.15％，图像分类模型的平均准确率分别为98.33％和97.35％。此外，本发明库存卷烟图像分类模型支持165种卷烟品规识别，针对其他非重点品规，平均识别准确率不低于90％，且一名零售商户的卷烟库存(库存照片在30张以内)识别完成的时间不超过3分钟。因此，本发明库存卷烟图像识别模块能够对卷烟库存进行快速、准确和有效检测和识别。
(2)本发明在图像检测模型前，还加入基于Reflect ion-free Flash-only Cure(RFC)的地柜玻璃反光识别和去除模块，有效还原照片原本构造和商品外观特征，提升检测准确率。
(3)本申请还结合现有面向零售商户的数采系统(图像采集模块)，增设库存卷烟图像或者视频的上传接口，使库存卷烟图像或者视频上传至系统，同时使用本申请提出的库存卷烟图像识别模块，建立卷烟库存盘点系统。本申请卷烟库存盘点系统将零售商户上传的库存卷烟图像或视频作为输入，并将库存卷烟图像识别模块输出的检测到的卷烟品规和位置信息输入卷烟库存盘点模块统计计入该商户的库存，然后将商户的库存信息传给数据分析人员，进行下一步的统计处理。本申请在利用库存卷烟图像识别模块对卷烟库存进行快速、准确和有效识别的基础上，进行智能统计盘点，不仅有效弥补了统计数据缺失的问题，还解决了人工盘点效率低、成本高、统计数据质量难以控制的问题，能够线上实时掌握卷烟商品的基础信息，精准还原卷烟的品项、数量、陈列位置、陈列方式等信息，利用更全面的数据分析指标，为卷烟行业的经营服务提供有利的数据支撑。
附图说明
图1为本发明卷烟零售商户库存盘点方法流程图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下通过实施例结合附图，对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
实施例1
本发明实施例提供一种卷烟零售商户库存盘点方法，包括如下步骤：
S1：利用图像采集模块采集卷烟零售商户的多张库存卷烟图像；然后将所述库存卷烟图像输入图像处理模型进行反光识别和去除，得到处理后的库存卷烟图像；所述图像处理模型为Reflection-free Flash-only Cure。
S2：利用图像识别模块中的图像检测模型对步骤S1处理后的库存卷烟图像进行目标检测，得到库存卷烟图像中包含卷烟目标图像的预测框，进而获得每个卷烟目标区域图像以及所述卷烟目标区域图像的位置信息。
由于卷烟图像属于密集型目标场景，深度学习中低维度的特征图包含低层次的语义信息，但是对于小目标的有着更精确坐标信息；高维度的特征图包含更高层次的语义信息，对于大目标有着更好的响应，因此采用yolov4目标检测模型来检测卷烟场景。但由于卷烟种类繁多且种类不均衡，因此，将yolov4目标检测模型的目标设定为只需要对卷烟类实例进行单目标检测，将所有品规的卷烟合并为一种类别来进行检测，即只检测卷烟的实例位置，不对品规进行区分，以去除样本不均衡对于卷烟实例漏检测的影响。
所述Yolov4目标检测模型的构建过程包括：使用tensorflow深度学习框架，创建目标检测网络的backbone，骨干网络为CSPDarkNet53，该骨干网络包含29个卷积层，725*725的感受野，27.6M参数，其借鉴了CSPNet解决了其他大型卷积神经网络框架Backbone中网络优化的梯度信息重复问题，将梯度的变化从头到尾地集成到特征图中，因此减少了模型的参数量和FLOPS数值，既保证了推理速度和准确率，又减小了模型尺寸；Yolov4目标检测模型的损失函数分为3个部分：1)bounding box regeession损失，2)置信度损失，3)分类损失；其中bounding box regression损失采用CIOU损失LCIOU＝1-IOU(A，B)+ρ2(Actr，Bctr)/c2+α.υ；锚框的长宽比例设置是通过标注的数据集聚类生成，这样在训练的过程中能更好的提取实际场景中数据的特征，通常锚框的种类有9类，在不同尺度的特征图上，锚框的尺寸也不一样；采用改进版的DIOU_NMS用于预测框的筛选，
Figure BDA0003741057320000071
将Yolov4目标检测模型进行训练，所述训练过程包括以下步骤：
(1)采集卷烟零售商户的多张库存卷烟图像，并采用LabelIMG数据集标定工具对库存卷烟图像中的位置、分类信息进行标定。以标定后的库存卷烟图像建立库存卷烟图像集；将库存卷烟图像集按8∶1∶1的比例随机划分为训练集、验证集和测试集；所述目标信息至少包括目标卷烟的位置、分类信息；所述训练集图像根据实际场景进行数据增强，数据增强的方式包括亮度调整、旋转、裁剪、模糊；
进一步地，零售商户或者客户经理等可利用相机、手机等拍摄设备，对库存卷烟进行拍照，要求图片尽可能清晰，覆盖全面，卷烟前后无遮挡，并且尽量保证对不同商户、不同背景、不同品规、不同数量、不同角度进行拍摄，保证图像集中不同品规卷烟的样本多样性。优选地，库存卷烟图像集要求图片数量不少于1000张，要求每种品规卷烟出现的次数(即单品规样本数量)不少于1000次，要求采集的卷烟商户不少于50个。
(2)采用训练集对目标检测模型进行训练，模型的输入尺寸设为608*608，选取3组不同的超参数组合进行模型训练，更新目标检测模型，得到训练后的目标检测模型；
(3)采用验证集对3组不同超参数训练出来的模型进行初步验证，验证模型泛化能力，选取1组表现最好的模型超参数，继续进行模型训练，当训练集上的表现不再上升时停止模型训练；
(4)采用测试集对步骤(3)得到的训练后的目标检测模型进行测试，从训练后的目标检测模型中选出最优目标检测模型，得到训练好的Yolov4目标检测模型。
进一步地，所述图像检测模型采用训练好的Yolov4目标检测模型。
S3：利用文字识别模型对每个卷烟目标区域图像进行卷烟品规文本关键字识别，识别过程具体为：
利用文字识别模型中的OCR识别算法对步骤S2检测出的卷烟目标区域图像进行文本信息提取，然后采用正则匹配分类模型将提取的文本信息与卷烟品规文本关键字信息进行正则匹配识别：若识别出卷烟品规关键字，则得到该卷烟目标区域图像的品规分类结果；若未识别出卷烟品规关键字，则将该卷烟目标区域图像输入图像分类模型。
所述正则匹配分类模型基于卷烟的品规文本关键字信息构建而成。进一步地，根据卷烟的品规信息，构建基于文本关键字的正则匹配分类模型，以方便对OCR提取的文本信息进行正则匹配以识别出该卷烟的品规。如果匹配上品规关键字，则识别出该卷烟的品规；如果未匹配上品规关键字，则继续采用图像分类模型对该卷烟进行分类识别。
S4：利用图像分类模型对输入的卷烟目标图像进行分类，得到该卷烟目标区域图像的品规分类结果。
所述图像分类模块模型采用训练好的ResNet50深度学习图像分类模型，训练时选用Focal Loss损失函数，以解决卷烟品规之间样本不均衡的问题。利用图像分类模块对输入的卷烟目标图像的具体过程为：将输入的卷烟目标图像输入到ResNet-50网络中得到卷烟目标图像在ResNet-50网络的Conv5层的输出结果，输出结果包含了单个卷烟目标区域图像的特征向量，然后将输出的特征向量输入全卷积网络中进行分类，得到该卷烟目标区域图像的品规分类结果。
所述图像分类模块的训练过程包括以下步骤：
(A)采集不同品规的卷烟目标图像建立卷烟目标图像集，将所述目标图像集中的目标图像按照品规的不同分别存储在不同的文件夹中；将卷烟目标图像集按8:1:1的比例随机划分为训练集、验证集和测试集；
(B)采用训练集对ResNet50图像分类模型进行训练，选取3组不同的超参数组合进行模型训练，更新图像分类模型，得到训练后的图像分类模型；
(C)采用验证集对3组不同超参数训练出来的模型进行初步验证，验证模型泛化能力，选取1组表现最好的模型超参数，继续进行模型训练，当训练集上的表现不再上升时停止模型训练；
(D)采用测试集对步骤(C)得到的训练后的图像分类模型进行测试，从训练后的图像分类模型中选出最优图像分类模型，得到训练好的ResNet50图像分类模型。
S5：将步骤S2得到的每个卷烟目标区域图像的位置信息以及步骤S3和S4得到的每个卷烟目标区域图像的品规分类结果输入统计模型中，对卷烟位置、品规和数量进行统计，得到卷烟零售商户库存盘点结果。
所述统计模块采用DBSCAN算法对卷烟目标区域图像的位置信息进行聚类统计，得到卷烟库存位置盘点结果；所述统计模块采用类别统计算法对卷烟目标区域图像的品规分类结果和数量信息进行统计，得到卷烟库存的品规和数量盘点结果。
实施例2
一种卷烟库存盘点系统，包括人机交互子系统和数据处理子系统。
所述人机交互子系统包括人机交互界面、图像采集模块、商户管理模块；人机交互界面用于为用户提供将采集的卷烟商户的库存卷烟图像或视频输入系统的操作界面；图像采集模块用于采集卷烟商户的库存卷烟图像或视频，并将采集的库存卷烟图像或视频上传至所述数据处理子系统；商户管理模块用于管理用户和商户的任务、规则、记录信息等。
人机交互界面包括商户信息识别模块和巡店人员信息识别模块；商户信息识别模块用于利用OCR识别模型对商户进行信息识别，其中商户信息包含但不限于商户的商号、营业执照和烟草专卖许可证号码等；巡店人员信息识别模块用于利用OCR识别模型对巡店人员记录的巡店信息进行信息识别。
图像采集模块包括现有面向零售商户的商品数据采集系统，并增设图片或视频的上传接口，使库存卷烟图像或视频可以上传系统。
商户管理模块包括门店信息管理子模块、门店任务管理子模块、巡店人员管理子模块、巡店记录管理子模块、门店规则管理子模块、用户管理子模块、专卖罚没卷烟仓库管理子模块。门店信息管理子模块用于管理门店信息并统计门店清单，门店任务管理子模块用于管理门店任务并发布公告信息，巡店人员管理子模块用于管理巡店人员信息，巡店记录管理子模块用于管理巡店人员的门店签到等记录信息，门店规则管理子模块用于管理门店必分销规则以及促销活动核销规则，用户管理子模块用于对用户登录和/或使用系统的权限进行管理，专卖罚没卷烟仓库管理子模块用于管理专卖罚没仓库信息并统计仓库清单。
所述数据处理子系统包括库存卷烟图像识别模块和卷烟库存盘点模块；库存卷烟图像识别模块包括实施例1所述的图像检测模型、文字识别模型和图像分类模型，用于对上传的库存卷烟图像中的卷烟目标进行识别并输出识别结果，所述卷烟目标识别结果至少包括该卷烟的品规、位置信息；卷烟库存盘点模块包括实施例1所述的统计模型，用于对卷烟信息识别结果进行统计，得到卷烟商户的库存盘点结果。
实施例3
一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如实施例1中所述的卷烟零售商户库存盘点方法中的任一步骤，和/或加载有如实施例2所述的卷烟库存盘点系统。
实施例4
一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如实施例1中所述的卷烟零售商户库存盘点方法中的任一步骤，和/或加载有如实施例2所述的卷烟库存盘点系统。
采用本发明实施例1所述卷烟零售商户库存盘点方法分别对随机抽取的50组盒烟重点品规图片和50组条烟重点品规图片进行卷烟的SKU目标检测识别和品规分类识别，计算图像检测模型的检出率和图像分类模型的分类准确率，其中，检出率＝SKU准检总数/实际SKU总数，分类准确率＝识别正确数/SKU准检数。其结果如表1-4所示。
表1随机50组盒烟重点品规图片SKU目标检测结果
实际SKU总数 SKU检出总数 SKU准检总数 SKU检出率 SKU精确率
2315 2320 2300 99.35％ 99.14％
表2随机50组盒烟重点品规图片品规分类识别结果
Figure BDA0003741057320000101
Figure BDA0003741057320000111
Figure BDA0003741057320000121
表3随机50组条烟重点品规图片SKU目标检测结果
实际SKU总数 SKU检出总数 SKU准检总数 SKU检出率 SKU精确率
1182 1190 1172 99.15％ 98.49％
表4随机50组条烟重点品规图片品规分类识别结果
Figure BDA0003741057320000122
Figure BDA0003741057320000131
Figure BDA0003741057320000141
由表1-4可知，本发明训练后的最优库存卷烟图像检测模型分别对随机抽取的50组盒烟重点品规图片和50组条烟重点品规图片进行识别，目标检测模型的平均检出率分别为99.35％和99.15％，图像分类模型的平均准确率分别为98.33％和97.35％。此外，本发明库存卷烟图像分类模型支持165种卷烟品规识别，针对其他非重点品规，平均识别准确率不低于90％，且一名零售商户的卷烟库存(库存照片在30张以内)识别完成的时间不超过3分钟。本发明库存卷烟图像检测模型还支持地柜玻璃反光识别，能够通过对反光特征的分析，可以提取出单独的反光图层并予以去除，有效还原照片原本构造和商品外观特征，提升识别准确率；支持相似卷烟品项的细粒度识别，基于常用的图像识别网络，引入不同的辅助机制，让神经网络能够更好地“关注”到细微差别，进而更好地区分相似物体。因此，本发明库存卷烟图像检测模型能够对卷烟库存进行快速、准确和有效识别。
综上所述，本发明有效克服了现有技术中的不足，且具高度产业利用价值。上述实施例的作用在于说明本发明的实质性内容，但并不以此限定本发明的保护范围。本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和保护范围。

Claims (9)

1.一种卷烟零售商户库存盘点方法，其特征在于，包括如下步骤：
S1：采集卷烟零售商户的多张库存卷烟图像；
S2：利用图像检测模型对步骤S1采集的库存卷烟图像进行目标检测，得到库存卷烟图像中包含卷烟目标图像的预测框，进而获得每个卷烟目标区域图像以及所述卷烟目标区域图像的位置信息；
S3：利用文字识别模型对每个卷烟目标区域图像进行卷烟品规文本关键字识别，若识别出卷烟品规关键字，则得到该卷烟目标区域图像的品规分类结果；若未识别出卷烟品规关键字，则将该卷烟目标区域图像输入图像分类模型；
S4：利用图像分类模型对输入的卷烟目标区域图像进行分类，得到该卷烟目标区域图像的品规分类结果；
S5：将步骤S2得到的每个卷烟目标区域图像的位置信息以及步骤S3和S4得到的每个卷烟目标区域图像的品规分类结果输入统计模型中，对卷烟的位置、品规和数量进行统计，得到卷烟零售商户库存盘点结果。
2.根据权利要求1所述的卷烟零售商户库存盘点方法，其特征在于，所述图像检测模型将所有品规的卷烟视为同一类别进行检测，用于得到所有卷烟目标的位置区域；所述图像检测模型采用训练好的Yolov4目标检测模型。
3. 根据权利要求2所述的卷烟零售商户库存盘点方法，其特征在于，所述图像分类模型采用训练好的ResNet50图像分类模型，训练时选用Focal Loss损失函数。
4.根据权利要求1所述的卷烟零售商户库存盘点方法，其特征在于，所述文字识别模型采用OCR识别算法对步骤S2检测出的卷烟目标区域图像进行文本信息提取，然后采用正则匹配分类模型将提取的文本信息与卷烟品规文本关键字信息进行正则匹配识别：若识别出卷烟品规关键字，则得到该卷烟目标区域图像的品规分类结果；若未识别出卷烟品规关键字，则将该卷烟目标区域图像输入图像分类模型；所述正则匹配分类模型基于卷烟的品规文本关键字信息构建而成。
5.根据权利要求1所述的卷烟零售商户库存盘点方法，其特征在于，所述统计模块采用DBSCAN算法对卷烟目标区域图像的位置信息进行聚类统计，得到卷烟库存的位置盘点结果；所述统计模块采用类别统计算法对卷烟目标区域图像的品规分类结果和数量信息进行统计，得到卷烟库存的品规和数量盘点结果。
6.一种卷烟库存盘点系统，其特征在于，包含人机交互子系统和数据处理子系统；
所述人机交互子系统包含人机交互界面和图像采集模块；人机交互界面用于为用户提供将采集的卷烟商户的库存卷烟图像或视频输入系统的操作界面；图像采集模块用于采集卷烟商户的库存卷烟图像或视频，并将采集的库存卷烟图像或视频上传至所述数据处理子系统；
所述数据处理子系统包括库存卷烟图像识别模块和卷烟库存盘点模块；所述库存卷烟图像识别模块包括权利要求1-5任一所述的图像检测模型、文字识别模型和图像分类模型，用于对上传的库存卷烟图像中的卷烟目标进行识别并输出识别结果，所述卷烟目标识别结果至少包括该卷烟的品规、位置信息；所述卷烟库存盘点模块包括权利要求1-5任一所述的统计模型，用于对卷烟信息识别结果进行统计，得到卷烟商户的库存盘点结果。
7.根据权利要求6所述的卷烟库存盘点系统，其特征在于，所述人机交互界面还包含商户信息识别模块，商户信息识别模块用于利用OCR识别模型对商户进行信息识别。
8.一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-5任一所述的卷烟零售商户库存盘点方法，和/或加载有权利要求6-7任一所述的卷烟库存盘点系统。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-5任一所述的卷烟零售商户库存盘点方法，和/或加载有权利要求6-7任一所述的卷烟库存盘点系统。
CN202210816961.4A 2022-07-12 2022-07-12 一种卷烟零售商户库存盘点方法及系统 Pending CN115063084A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210816961.4A CN115063084A (zh) 2022-07-12 2022-07-12 一种卷烟零售商户库存盘点方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210816961.4A CN115063084A (zh) 2022-07-12 2022-07-12 一种卷烟零售商户库存盘点方法及系统

Publications (1)

Publication Number Publication Date
CN115063084A true CN115063084A (zh) 2022-09-16

Family

ID=83206616

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210816961.4A Pending CN115063084A (zh) 2022-07-12 2022-07-12 一种卷烟零售商户库存盘点方法及系统

Country Status (1)

Country Link
CN (1) CN115063084A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116052062A (zh) * 2023-03-07 2023-05-02 深圳爱莫科技有限公司 一种鲁棒的烟草陈列图像处理方法和装置
CN116645375A (zh) * 2023-07-27 2023-08-25 四川中天鹰眼信息技术有限公司 一种基于三维重建算法的卷烟零售商户库存盘点方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116052062A (zh) * 2023-03-07 2023-05-02 深圳爱莫科技有限公司 一种鲁棒的烟草陈列图像处理方法和装置
CN116645375A (zh) * 2023-07-27 2023-08-25 四川中天鹰眼信息技术有限公司 一种基于三维重建算法的卷烟零售商户库存盘点方法
CN116645375B (zh) * 2023-07-27 2023-09-26 四川中天鹰眼信息技术有限公司 一种基于三维重建算法的卷烟零售商户库存盘点方法

Similar Documents

Publication Publication Date Title
CN111340126B (zh) 物品识别方法、装置、计算机设备和存储介质
KR101856120B1 (ko) 이미지로부터 상가 발견
CN108256568B (zh) 一种植物种类识别方法以及装置
CN115063084A (zh) 一种卷烟零售商户库存盘点方法及系统
CN105931068A (zh) 一种持卡人消费画像的生成方法及装置
US20200151521A1 (en) Methods and apparatus to perform image analyses in a computing environment
US20190244282A1 (en) Computerized exchange network
CN113627411A (zh) 一种基于超分辨率的商品识别与价格匹配方法及系统
CN109766962B (zh) 一种商品识别方法、存储介质及商品识别系统
CN112307871A (zh) 信息采集方法和装置、关注度检测方法、装置和系统
CN115082153A (zh) 一种商家质量评价方法、装置、电子设备及存储介质
CN115115825A (zh) 图像中的对象检测方法、装置、计算机设备和存储介质
JP2022528022A (ja) スーパーマーケット商品棚上の商品の分析方法及びシステム
US11715292B2 (en) Methods and apparatus to perform image analyses in a computing environment
CN110705620A (zh) 一种基于翻拍识别的陈列图像检测方法、装置及存储介质
CN111428743A (zh) 商品识别方法、商品处理方法、装置及电子设备
CN111291834B (zh) 一种快速生成货架数字陈列图的方法
CN116109992A (zh) 一种货架商品的识别方法及系统
CN116580390A (zh) 价签内容获取方法、装置、存储介质和计算机设备
CN113743382B (zh) 一种货架陈列检测方法、装置及系统
CN113780335A (zh) 一种小样本商品图像分类方法、装置、设备及存储介质
CN113298100A (zh) 一种数据清洗的方法、自助设备及存储介质
Yin et al. Computer vision-based quantity detection of goods in vending cabinets
CN113496231B (zh) 分类模型训练方法、图像分类方法、装置、设备及介质
CN117237743B (zh) 小样本快消品识别方法、存储介质及处理设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination