CN114359172A - 一种库存或陈列场景下的条烟多面检测识别方法及系统 - Google Patents

Abstract

本申请涉及一种库存或陈列场景下的条烟多面检测识别方法及系统，其包括获取库存或陈列场景下的条烟图像；通过神经网络对所述图像进行处理；获得条烟的数量和/或品牌信息；检测是否有新的图像出现，若有，则对新图像重复上述步骤进行处理。本申请采集库存或陈列场景下的条烟信息时，具有能自动识别并统一信息的特点，从而达到减少人工收集信息的麻烦且提高信息采集效率的效果。

Description

一种库存或陈列场景下的条烟多面检测识别方法及系统

技术领域

本申请涉及图像识别技术领域，尤其是涉及一种库存或陈列场景下的条烟多面检测识别方法及系统。

背景技术

卷烟信息的采集是作为建立现代化卷烟营销体系中最为重要的基础性工作，也是作为卷烟市场信息数字化、可视化的开端。数字化、可视化的信息的分析与利用驱动着卷烟市场中对卷烟的需求预测、货源组织、货源供应和品牌培养等营销关键业务的开展。而卷烟市场的特殊性决定着卷烟的推广不能通过传媒广告等形式开展，因而主动地收集香烟的销售情况、了解和掌握消费者的消费动向是烟草行业制定营销方案、开发卷烟新品的重要手段和途径。

条烟库存信息指的是烟草零售终端的仓库中存储的各类条烟规格的数量信息；条烟的陈列信息指的是柜台上摆放销售的各类条烟规格与数量信息。条烟库存和陈列信息的分析包括挖掘香烟零售终端的库存总量、单品库存总量、陈列总量、消费结构等数据。定期的统计消费数据就可以更准确的预测市场的需求。而传统做法中，条烟库存与陈列信息的采集、识别与统计都是靠人工完成，效率十分低下。

针对上述中的相关技术，发明人认为条烟库存与陈列信息的采集、识别与统计靠人工完成，效率十分低下，对此有待进一步改进。

发明内容

为了提高条烟库存与陈列信息的采集、识别与统计的效率，本申请提供一种库存或陈列场景下的条烟多面检测识别方法及系统。

本申请提供的一种库存或陈列场景下的条烟多面检测识别方法及系统采用如下的技术方案：

一种库存或陈列场景下的条烟多面检测识别方法，包括如下步骤：

获取库存或陈列场景下的条烟图像；通过神经网络对所述图像进行处理；获得条烟的数量和/或品牌信息；检测是否有新的图像出现，若有，则对新图像重复上述步骤进行处理。

通过采用上述技术方案，识别现场拍摄的照片，经过图像分析处理得到各零售店铺中条烟的信息，从而实现条烟信息的在线自动化检测与识别，减少人力成本的同时，还能更加及时的反馈销售信息，掌握市场动态变化，动态的制定营销策略，减少产能过多造成的浪费，提高经济效益。

可选的，采用基于CenterNet的改进模型对所述的图像进行处理。

通过采用上述技术方案，采用基于CenterNet的改进模型对所述图像进行处理，从而可以通过获得的热力图得到条烟所在图像的四个不规则的点，使得条烟无论如何摆放，都能准确的得到其对应的不规则四边形，最终得到的条烟数量信息也更加准确。

可选的，通过以下方法获得条烟的数量：通过神经网络对所述的图像进行处理，输出图像中条烟每个面的中心点热力图以及信息融合热力图，判断多个面是否属于同一条烟，结合条烟每个面的中心点热力图，从而获得条烟的数量。

通过采用上述技术方案，根据信息融合热力图以及中心点热力图，可以判断面与面之间是不是属于同一条烟，减少图像出现同一条烟多个面被误识别成多个条烟的情况，进一步提高了条烟数量检测的精准度。

可选的，通过以下方式获得信息融合热力图：抽取对应的中心点热力图，然后使用3D池化层将所述中心点热力图叠加为一个热力图，再将所述的一个热力图与骨干网络的中间层热力图进行信息加权融合后生成信息融合热力图。

通过采用上述技术方案获得信息融合热力图，获得信息融合热力图，从而判断面与面之间是否属于同一条烟，减少同一条烟拍摄到多面而被检测出多个条烟的误差情况，提高条烟数量检测的准确度。

可选的，通过以下方法获得条烟的品牌信息：通过神经网络对所述图像进行处理，输出条烟每个面的中心点热力图、中心点坐标以及每个中心点对应的四个偏执坐标量；通过所述条烟的每个面的中心点热力图、中心点坐标以及对应的四个偏执坐标量，确定条烟在图像中所对应的不规则四边形检测框；并将所述的不规则四边形检测框转换为矩形图像；通过神经网络得到矩形图像是条烟的识别得分和对应所属条烟的品牌信息。

通过采用上述技术方案，获取图像中每个中心点的四个偏执坐标量，可以更加精确的得到条烟的每一个面在图像中的位置，减少条烟周围信息带来的干扰，送入神经网络时可以更好的被识别。

可选的，若多个面属于同一条烟，则通过投票机制得到条烟最终的品牌信息。

可选的，在训练的过程中，每个中心点对应的四个偏执坐标量与条烟在图像中所对应的不规则四边形检测框的顶点的对应先后顺序为：左上-右上-右下-左下。

通过采用上述技术方案，一对一的映射，规定好出来的第一个数据以及之后数据分别对应不规则四边形的左上、右上、右下、左下对应的顶点，可以使检测出来的不规则四边形检测框更加准确。

一种库存或陈列场景下的条烟多面检测识别系统，包括：图像获取模块，用于获取库存或陈列场景下的条烟图像；图像处理模块，与图像获取模块连接，用于通过神经网络对所述的图像进行处理，获得条烟的数量和/或品牌信息；检测模块，与图像获取模块连接，用于检测是否有新的图像出现。

一种电子设备，包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行如前述任一种方法的计算机程序。

一种计算机可读存储介质，其特征在于，存储有能够被处理器加载并执行如前述任一种方法的计算机程序。

综上所述，本申请包括以下至少一种有益技术效果：

对库存或陈列场景下的条烟图像进行处理，得到对应位置的条烟数量以及条烟种类，实现自动化检测识别条烟的效果，从而节省人力成本、缩短统计周期以及提高工作效率。

附图说明

图1是本申请实施例中一种库存或陈列场景下的条烟多面检测识别方法的整体流程示意图。

图2是本申请实施例中获得条烟数量的方法流程示意图。

图3是本申请实施例中获得条烟的品牌信息的方法流程示意图。

图4是本申请实施例中基于CenterNet改进模型的处理输入图片方式图。

图5是本申请实施例中一种库存或陈列场景下的条烟多面检测识别系统的结构框图。

附图标记说明：

1、图像获取模块；2、图像处理模块；3、检测模块。

具体实施方式

以下结合附图1-5对本申请作进一步详细说明。

本申请实施例公开一种库存或陈列场景下的条烟多面检测识别方法及系统。

参照图1，一种库存或陈列场景下的条烟多面检测识别方法，包括以下步骤：

S1，获取库存或陈列场景下的条烟图像；

具体的，可以通过移动终端采集储存条烟的仓库或条烟展示柜台的图像，所述图像一般通过正面拍摄得到，在条烟堆积较多的情况下，需要根据实际情况调整拍摄角度。

S2，判断获取的条烟图像是否合格——即通过判断条烟图像的分辨率来判断图像是否合格；

在本实施例中，若图像分辨率在640×640-2560×1440的范围内，则该图像合格。若图像分辨率过低，则图像信息不全，影响条烟检测识别的准确率；若图像分辨率过高，则带宽占用严重，影响图像处理的效率。对不合格的图像，则重新采集图像。

S3，对判断合格的图像进行预处理；

对所述图像保持等比例缩放并填充到边框中；在本实施例中，可使图像形成640*640大小的图像，在其他实施例中，也可以形成512*512大小的图像。固定大小的合格图像形成正方形图像，更有利于图像的检测识别，检测结果更佳。但是经大量实验论证，对所述图像保持等比例缩放至640*640大小时，检索结果最准确。

S4,通过神经网络对所述图像进行处理，获得条烟的数量和/或品牌信息；

参照图2，具体的，通过以下方法获得条烟的数量：

S41，通过神经网络对所述的图像进行处理，输出图像中条烟每个面的中心点热力图以及信息融合热力图；

S42，根据中心点热力图和信息融合热力图，可以判断多个面是否属于同一条烟；

S43，结合条烟每个面的中心点热力图，从而获得条烟的数量。

步骤S41中的条烟每个面的信息融合热力图通过以下方式获得：

采用神经网络通过信息叠加并采用权重值叠加的方式得到信息融合热力图。具体的，抽取对应的中心点热力图，然后使用3D池化层将该中心点热力图叠加为一个输出层80*80分辨率的热力图，然后将输出层80*80分辨率的热力图与骨干网络的中间层160×160的热力图信息加权叠加融合后生成信息融合热力图，具体公式如下：

Heatmap＝(1-P)*heatmap160+P*heatmap80，

其中，P＝0.01*epoch；

Heatmap表示热力图；

heatmap160表示中间层160×160的热力图信息；

heatmap80表示输出层80×80的热力图信息；

P表示权重值；

epoch表示训练样本通过神经网络每训练一轮的次数；

epoch的初始值为零，epoch的范围为0-100。

为了前期能够不丢失周围的信息，所以前期数据的比重比较高，越到后面前期数据的权重越低，也表示神经网络训练的越来越好，使得最终输出的信息融合热力图更加准确。

在一种实施例中，神经网络还可以根据中心点的亮度和通过练习得到的阈值进行判定，哪个格子是中心点，通过归一化计算得到中心点是条烟的得分，若该得分大于设定阈值，则保留该中心点。

步骤S42及S43中，神经网络根据属于同一条烟的面之间的特征图，通过约束表现特征图的方法，把属于同一条烟的正面、头面和侧面的中心点连线做一个loss，能连接起来的面分配一个编号，不能连接起来的面分配不同的编号，不同的编号对应不同的条烟，从而可以通过计算有多少个不同编号来准确地得知条烟的数量，将头部的中心点、终面的中线点以及侧面的中心点进行连线形成光带，根据亮度判断是否存在光带，存在光带则能连接成光带的这两个或三个面属于同一条烟的面，如果不存在光带，则这两个不能形成光带的面不属于同一条烟的面。

信息融合热力图融合了网络信息以及网络输出的同一条烟多面中心点热力图的信息矩阵。信息融合热力图的信息矩阵叠加同一条烟多面中心点热力图的信息矩阵与训练标签进行损失前的计算和反向的更新，从而使信息融合热力图的信息更加明确，能够更好的识别和计算。

其中，在对神经网络进行训练时，提前收集各种情况下的图像作为样本进行训练，包括拍摄到具有条烟一面、两面和三面信息的库存场景和陈列场景的图像作为样本训练。同时，还通过仿真引擎生成大量的、类似真实场景的虚拟图像作为样本进行训练，遵循制定的标注规则对样本进行标注，从而使神经网络可以识别属于同一条烟的两面或三面，并分类为正面头面和侧面三个类别，继而可以提高训练的准确度，减少训练成本。

参照图3，步骤S4中，通过以下方法获得条烟的品牌信息：

S401,通过神经网络对所述图像进行处理，输出条烟每个面的中心点热力图、中心点坐标以及每个中心点对应的四个偏执坐标量；

S402,通过所述条烟的每个面的中心点热力图、中心点坐标以及对应的四个偏执坐标量，确定条烟在图像中所对应的不规则四边形检测框；

S403,将所述的不规则四边形检测框转换为矩形图像；

S404,通过神经网络得到矩形图像是条烟的识别得分和对应条烟的品牌信息。

步骤S401中，在训练的过程中，每个中心点对应的四个偏执坐标量与条烟在图像中所对应的不规则四边形检测框的顶点的对应先后顺序为：左上-右上-右下-左下。

由此，可以在图像中确定每个条烟面所对应的四个偏执坐标量，以确定条烟在图像中所对应的不规则四边形检测框；

在步骤S403中，通过仿射变换将不规则四边形检测框内的图像仿射为矩形图像，仿射变换公式如下：

即x₁＝a₁₁x₀+a₁₂x₀+b₁，y₁＝a₂₁x₀+a₂₂x₀+b₁。

其中，(x₀，y₀)为变换前不规则四边形检测框图像上的点坐标，(x₁，y₁)为变换后矩形图像上的点坐标，仿射变换矩阵

中的参数具体求解为：通过仿射变换前后条烟盒结构的长宽比例及其坐标点信息，建立超线性方程组，然后基于最小二乘或者SVD分解等方法估算出仿射矩阵的参数值。

步骤S404中，通过投票机制得到条烟的品牌信息，神经网络从矩阵图像中输出多个特征值，将这多个特征值映射到多个类别中，特征值可以是512个，也可以是128个，类别为200个。将这512个特征值输入Arcface细粒度分类的网络层后，得到一个类别，训练数据每个类别提取一个聚类中心，聚类中心代表这个类的512个特征值，和库里的每个类的512个特征值做矩阵乘，得到是哪种烟的得分，取得得分最高的那个品牌就是对应矩形图像中条烟的品牌。

如果每个分数都很低，低于设定的阀值，如低于0.1或0.2，则判断对应的矩形图像不是烟。

最后将神经网络输出的中心点对应的编号和条烟数量的信息以及神经网络识别的每个矩形图像对应条烟的品牌信息进行加权融合，从而可以得到在最初输入的图像中更加准确的条烟数量和条烟品牌信息。

参照图4，在本实施例中，检测面之间是否为同一条烟的神经网络采用基于CenterNet的改进模型，该模型的骨干网络采用ResNet-50，将尺寸为640*640的待检测图片输入ResNet-50，得到1维向量，经过CenterNet内部的网络结构DLAup模块将1维向量转化为中心点和对应的坐标值，若对应图像中的同一条烟拍摄到三个面则输出对应三个中心点和八个坐标值(四个偏移坐标量)，中心点热力图与ResNet-50中间层信息图进行加权融合后生成具有三面热力图信息的信息融合热力图，然后经过一层kernel为1的Convolution输出。根据信息融合热力图和对应中心点热力图判断是否属于同一条烟，减少同一条烟多个面测出多个条烟的情况，从而可以使图像的检测和识别更加准确，输出结果更加准确，在本实施例中用到的其他神经网络可采用CenterNet模型。

S5：检测是否有新的图像出现，若有，则对新图像重复上述步骤进行处理；当检测有新的图像需要进行检测识别时，对新图像重复S1、S2、S3以及S4的步骤，获得新图像中条烟的数量和品牌信息。

参照图5，本申请还包括一种库存或陈列场景下的条烟多面检测识别系统，包括：图像获取模块1，用于获取库存或陈列场景下的条烟图像；

图像处理模块2，与图像获取模块连接，用于通过神经网络对所述的图像进行处理，获得条烟的数量和/或品牌信息；

检测模块3，与图像获取模块连接，用于检测是否有新的图像出现。

本申请还包括一种电子设备，包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行上述中一种库存或陈列场景下的条烟多面检测识别方法的计算机程序。

本申请还包括一种计算机可读存储介质，存储有能够被处理器加载并执行上述中一种库存或陈列场景下的条烟多面检测识别方法的计算机程序。

其中，电子设备可以采用台式电脑、笔记本电脑或者云端服务器等电子设备，并且，电子设备包括但不限于处理器以及存储器，例如，电子设备还可以包括输入输出设备、网络接入设备以及总线等。

本申请中的处理器可以包括一个或者多个处理核心。处理器通过运行或执行存储在存储器内的指令、程序、代码集或指令集，调用存储在存储器内的数据，执行本申请的各种功能和处理数据。处理器可以为特定用途集成电路(Application Specific IntegratedCircuit，ASIC)、数字信号处理器(Digital Signal Processor，DSP)、数字信号处理装置(Digital Signal Processing Device，DSPD)、可编程逻辑装置(Programmable LogicDevice，PLD)、现场可编程门阵列(Field Programmable Gate Array，FPGA)、中央处理器(Central Processing Unit，CPU)、控制器、微控制器和微处理器中的至少一种。可以理解地，对于不同的设备，用于实现上述处理器功能的电子器件还可以为其它，本申请实施例不作具体限定。

其中，存储器可以为电子设备的内部存储单元，例如，电子设备的硬盘或者内存，也可以为电子设备的外部存储设备，例如，电子设备上配备的插接式硬盘、智能存储卡(SMC)、安全数字卡(SD)或者闪存卡(FC)等，并且，存储器还可以为电子设备的内部存储单元与外部存储设备的组合，存储器用于存储计算机程序以及电子设备所需的其他程序和数据，存储器还可以用于暂时地存储已经输出或者将要输出的数据，本申请对此不做限制。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。

以上均为本申请的较佳实施例，并非依此限制本申请的保护范围，故：凡依本申请的结构、形状、原理所做的等效变化，均应涵盖于本申请的保护范围之内。

Claims (10)

1.一种库存或陈列场景下的条烟多面检测识别方法，其特征在于：该方法包括如下步骤：

获取库存或陈列场景下的条烟图像；

通过神经网络对所述图像进行处理，获得条烟的数量和/或品牌信息；

检测是否有新的图像出现，若有，则对新图像重复上述步骤进行处理。

2.根据权利要求1所述的库存或陈列场景下的条烟多面检测识别方法，其特征在于：采用基于CenterNet的改进模型对所述的图像进行处理。

3.根据权利要求2所述的库存或陈列场景下的条烟多面检测识别方法，其特征在于：通过以下方法获得条烟的数量：通过神经网络对所述的图像进行处理，输出图像中条烟每个面的中心点热力图以及信息融合热力图，判断多个面是否属于同一条烟，结合条烟每个面的中心点热力图，从而获得条烟的数量。

4.根据权利要求3所述的库存或陈列场景下的条烟多面检测识别方法，其特征在于，通过以下方式获得信息融合热力图：抽取对应的中心点热力图，然后使用3D池化层将所述中心点热力图叠加为一个热力图，再将所述的一个热力图与骨干网络的中间层热力图进行信息加权融合后生成信息融合热力图。

5.根据权利要求2所述的库存或陈列场景下的条烟多面检测识别方法，其特征在于：通过以下方法获得条烟的品牌信息：

通过神经网络对所述图像进行处理，输出条烟每个面的中心点热力图、中心点坐标以及每个中心点对应的四个偏执坐标量；

通过所述条烟的每个面的中心点热力图、中心点坐标以及对应的四个偏执坐标量，确定条烟在图像中所对应的不规则四边形检测框；

将所述的不规则四边形检测框转换为矩形图像；

通过神经网络得到矩形图像是条烟的识别得分和对应条烟的品牌信息。

6.根据权利要求5所述的库存或陈列场景下的条烟多面检测识别方法，其特征在于：若多个面属于同一条烟，则通过投票机制得到条烟最终的品牌信息。

7.根据权利要求5所述的库存或陈列场景下的条烟多面检测识别方法，其特征在于：在训练的过程中，每个中心点对应的四个偏执坐标量与条烟在图像中所对应的不规则四边形检测框的顶点的对应先后顺序为：左上-右上-右下-左下。

8.一种库存或陈列场景下的条烟多面检测识别系统，其特征在于，包括：

图像获取模块（1），用于获取库存或陈列场景下的条烟图像；

图像处理模块（2），与图像获取模块连接，用于通过神经网络对所述的图像进行处理，获得条烟的数量和/或品牌信息；

检测模块（3），与图像获取模块连接，用于检测是否有新的图像出现。

9.一种电子设备，其特征在于，包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行如权利要求1至7中任一种方法的计算机程序。

10.一种计算机可读存储介质，其特征在于，存储有能够被处理器加载并执行如权利要求1至7中任一种方法的计算机程序。

Images