CN115601631B - 一种卷烟陈列图像识别方法、系统、设备及储存介质 - Google Patents

Abstract

本发明公开了一种卷烟陈列图像识别方法、系统、设备及储存介质，涉及深度学习技术领域，解决了现有的自动化审查手段不能根据目标烟盒的标准陈列对多个不同尺度、不同模板的目标烟盒陈列进行识别，有一定的应用限制的技术问题。该方法包括：S100：获取真实图片集和陈列识别模型；S200：对所述真实图片集的每张图片进行多尺度纹理提取，得到多张局部纹理图；S300：所述陈列识别模型对所述多张局部纹理图进行识别，得到所述真实图片集的每张图片的识别结果。本发明能够根据目标烟盒的多个局部纹理对真实样本所存在的多个不同尺度、不同模板的目标烟盒陈列均进行识别。

Description

一种卷烟陈列图像识别方法、系统、设备及储存介质

技术领域

本发明涉及深度学习技术领域，尤其涉及一种卷烟陈列图像识别方法、系统、设备及储存介质。

背景技术

作为销售手段的一种，卷烟陈列形式对卷烟销量有重要影响。在香烟促销活动中，生产厂家通过返利的方式，希望店家能够将指定的一种或多种香烟按照横向、纵向或横纵皆可的方式连续摆放，提高指定烟品的视觉冲击力，从而对指定商品起到推销作用，例如：汉字“田”、“中”、“国”，或英文字母“T”、“U”、“I”等。

目前使用的自动化审查手段是通过对香烟陈列图像进行筛选后，得到符合条件的目标烟盒，在规则约束下对其的整体陈列与标准陈列进行比对，进而判定该目标烟盒的整体陈列是否符合标准。然而，由于不同商家对目标烟盒的陈列大小和布局不同，多张香烟陈列图像存在不同尺度、不同模板的目标烟盒陈列，或同一香烟陈列图像存在多个不同尺度、不同模板的目标烟盒陈列。针对不同尺度、不同模板的目标烟盒陈列识别，现有的自动化审查手段具备一定的局限性。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

现有的自动化审查手段不能根据目标烟盒的标准陈列对多个不同尺度、不同模板的目标烟盒陈列进行识别。

发明内容

本发明的目的在于提供一种卷烟陈列图像识别方法，以解决现有技术中存在的现有的自动化审查手段不能根据目标烟盒的标准陈列对多个不同尺度、不同模板的目标烟盒陈列进行识别，有一定应用限制的技术问题。本发明提供的诸多技术方案中的优选技术方案所能产生的诸多技术效果详见下文阐述。

为实现上述目的，本发明提供了以下技术方案：

本发明提供的一种卷烟陈列图像识别方法，包括步骤：

S100：获取真实图片集和陈列识别模型；

S200：对所述真实图片集的每张图片进行多尺度纹理提取，得到多张局部纹理图；

S300：所述陈列识别模型对所述多张局部纹理图进行识别，得到所述真实图片集的每张图片的识别结果。

优选的，所述步骤S200中，所述真实图片集的每张图片进行多尺度纹理提取之前还包括：

对所述真实图片集的每张图片进行目标检测，得到目标烟盒的目标陈列图像；

对所述目标陈列图像进行二值化处理，得到二值陈列图像；

其中，所述二值陈列图像用于进行多尺度纹理提取。

优选的，所述步骤S200中，对所述真实图片集的每张图片进行多尺度纹理提取为，

S210：根据M*M的尺寸，将所述二值陈列图像划分为M*M个小格；

S220：在{1*1、2*2、3*3...(M-1)*(M-1)、M*M}的尺度集中，根据金字塔多尺度方法选取多种尺度，并按照选取的尺度滑动提取所述二值陈列图像的局部纹理；

S230：将每个尺度提取的每个所述局部纹理保存为一张所述局部纹理图；

其中，M为大于0的正整数；每种尺度提取的所述局部纹理图至少为一张。

优选的，所述陈列识别模型的获取方法为：

S110：构建仿真样本生成模型，将轨迹模板与香烟摆放参数输入至所述仿真样本生成模型，分别生成正样本集和负样本集；

S120：将所述正样本集、负样本集中的每张图像进行几何形变，得到几何形变后的图像集，并得到几何形变后的图像集中的每张几何形变后的图像的样本标签；

S130：将所述几何形变后的图像集、样本标签融合输出为所述仿真样本集，通过所述仿真样本集训练得到所述陈列识别模型。

优选的，所述轨迹模板包括至少一个轨迹，每个所述轨迹都由若干个坐标点组成；

所述香烟摆放参数包括最小样本数、最大样本数、样本最小宽高比和样本最大宽高比；

其中，所述香烟摆放参数所涉及的样本为所述仿真样本集中生成的仿真烟盒样本。

优选的，所述正样本集由所述仿真样本生成模型的仿真生成模块根据所述轨迹模板、香烟摆放参数生成的正样本组成；所述负样本集由所述仿真样本生成模型的负样本生成模块随机生成的负样本组成。

优选的，所述几何形变包括斜切、透视和旋转的一种或多种。

本发明还提供一种卷烟陈列图像识别系统，包括：

获取模块，用于获取真实图片集和陈列识别模型；

烟盒识别模块，用于识别所述真实图片集的每张图像中的目标烟盒；

二值陈列图像生成模块，用于根据所述目标烟盒生成二值陈列图像；

纹理提取模块，用于对所述二值陈列图像进行多尺度纹理提取，得到多张局部纹理图；

陈列识别模块，用于通过所述陈列识别模型对所述多张局部纹理图进行检测，得到所述二值陈列图像的识别结果。

本发明还提供了一种卷烟陈列图像识别设备，包括：

一个或多个处理器；

存储器，用于存储一个或多个计算机程序，一个或多个所述处理器用于执行所述存储器存储的一个或多个计算机程序，以使一个或多个所述处理器执行上述的一种卷烟陈列图像识别方法。

此外，本发明还提供了一种计算机可读的存储介质，所述存储介质上存储有计算机程序，所述计算机程序被执行时实现上述的一种卷烟陈列图像识别方法。

实施本发明上述技术方案中的一个技术方案，具有如下优点或有益效果：

本发明能够生成带有标签的存在噪声的二值化陈列场景样本，让深度神经网络从噪声数据中学习到特定陈列场景的鲁棒规律，之后提取真实样本的局部纹理，通过陈列识别模型对该局部纹理进行识别，就能根据目标烟盒的多个局部纹理对真实样本所存在的多个不同尺度、不同模板的目标烟盒陈列均进行识别。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍，显而易见，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，附图中：

图1是本发明实施例的方法流程图；

图2是本发明实施例的S100步骤的具体流程图；

图3是本发明实施例的S200步骤的具体流程图；

图4是本发明实施例二的结构示意图。

实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，下文将要描述的各种示例性实施例将要参考相应的附图，这些附图构成了示例性实施例的一部分，其中描述了实现本发明可能采用的各种示例性实施例。除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。应明白，它们仅是与如所附权利要求书中所详述的、本发明公开的一些方面相一致的流程、方法和装置等的例子，还可使用其他的实施例，或者对本文列举的实施例进行结构和功能上的修改，而不会脱离本发明的范围和实质。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”等指示的是基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的元件必须具有的特定的方位、以特定的方位构造和操作。术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。术语“多个”的含义是两个或两个以上。术语“相连”、“连接”应做广义理解，例如，可以是固定连接、可拆卸连接、一体连接、机械连接、电连接、通信连接、直接相连、通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明，仅示出了与本发明实施例相关的部分。

实施例一

如图1所示，本发明提供了一种卷烟陈列图像识别方法，包括步骤：S100：获取真实图片集和陈列识别模型；S200：对真实图片集的每张图片进行多尺度纹理提取，得到多张局部纹理图；S300：陈列识别模型对多张局部纹理图进行识别，得到真实图片集的每张图片的识别结果。具体的，本发明能够生成带有标签的存在噪声的二值化陈列场景样本，让深度神经网络从噪声数据中学习到特定陈列场景的鲁棒规律，之后提取真实样本的局部纹理，通过陈列识别模型对该局部纹理进行识别，就能根据目标烟盒的多个局部纹理对真实样本所存在的多个不同尺度、不同模板的目标烟盒陈列均进行识别。

其中，陈列识别模型选择MobileNetV2作为模型框架，使用仿真样本生成模型生成的仿真样本集对其进行训练。陈列识别模型输入的待识别图像的尺寸为224x224，对输入的样本图像的训练方法为随机梯度下降，结果为one-hot模式输出。其中，输出的类别数量为M+1，其中M为陈列模板的种类，1表示干扰类。需要说明的是，陈列识别模型输出的结果为存在某种陈列或不存在陈列。能够通过输出结果直接判定输入样本是否根据陈列模板进行陈列。

如图2所示，作为可选的实施方式，陈列识别模型的获取方法为：S110：构建仿真样本生成模型，将轨迹模板与香烟摆放参数输入至仿真样本生成模型，分别生成正样本集和负样本集；S120：将正样本集、负样本集中的每张图像进行几何形变，得到几何形变后的图像集，并得到几何形变后的图像集中的每张几何形变后的图像的样本标签；S130：将几何形变后的图像集、样本标签融合输出为仿真样本集，通过仿真样本集训练得到陈列识别模型。具体的，本发明在训练过程的目的是生成带有标签的存在噪声的二值化陈列场景样本。其中，正负样本通过仿真样本生成模型的2路内部生成通道分别生成。在生成样本图像后，还需要进行几何形变等操作，最后与对应的样本标签进行信息融合后，才能输出作为仿真样本集。由于二值图像易获得，且无需对真实烟盒样本的颜色、花纹和大小进行限制，在本实施例中不仅能够去除一定的干扰，还能够减少训练过程的工作量，实现了简单、灵活的样本训练。

作为可选的实施方式，几何形变包括斜切、透视和旋转的一种或多种。具体的，使用几何形变对生成的仿真烟盒样本进行处理，是为了提高模型的识别正确率。斜切、透视和旋转是为了模仿真实样本在倾斜拍摄时，一小部分烟盒样本在烟盒识别时可能会存在形变，对模型的识别造成一定的干扰，进一步提高了仿真样本的真实性。

作为可选的实施方式，轨迹模板包括至少一个轨迹，每个轨迹都由若干个坐标点组成；香烟摆放参数包括最小样本数、最大样本数、样本最小宽高比和样本最大宽高比；其中，香烟摆放参数所涉及的样本为仿真样本集中生成的仿真烟盒样本。具体的，轨迹模板由用户指定的陈列造型设置得到，香烟摆放参数由现有的烟盒品规信息获取得到。仿真样本生成模型输入需要生成的轨迹模板和香烟摆放参数，其中，轨迹模板包括至少一个轨迹，每个轨迹都由若干个有序坐标点组成。香烟摆放参数，包含生成的香烟样本数量范围和烟盒或条盒的宽高比值范围，也即最小样本数、最大样本数、样本最小宽高比和样本最大宽高比。在仿真样本生成模型中，生成的仿真烟盒样本的数量范围由香烟样本数量范围决定；生成的仿真烟盒样本的大小由烟盒或条盒的宽高比值范围决定。

事实上，针对将指定的一种或多种香烟按照特定的形状摆放，比如汉字“中”，每个轨迹模板都代表着一类同一含义的陈列模板。需要说明的是，不同字体的“中”字，将其归类为同一含义的陈列模板。也即，根据该轨迹模板，能够生成同一含义的陈列模板的不同陈列形式。

作为可选的实施方式，所述正样本集由所述仿真样本生成模型的仿真生成模块根据所述轨迹模板、香烟摆放参数生成的正样本组成；所述负样本集由所述仿真样本生成模型的负样本生成模块随机生成的负样本组成。

具体的，负样本生成模块生成负样本图像，仿真生成模块生成正样本图像。

在仿真生成模块中，根据输入的轨迹模板和香烟摆放参数，从轨迹上均匀地挑选出若干个坐标点，并保证坐标点数量大于最小样本数，且小于最大样本数。其中，每4个坐标点即代表一个仿真烟盒样本。根据坐标点数量和宽高比范围，在黑色背景上生成满足数量、长宽比的白色矩形。需要说明的是，白色矩形相互间不发生重叠。最后对矩形位置进行位移长度不超过最长边一半的随机扰动，得到正样本。在仿真生成模块中，根据设置的香烟摆放参数能够生成多个满足仿真烟盒样本数量的不同尺寸的目标烟盒陈列模板。

在负样本生成模块中，无需根据输入的轨迹模板和香烟摆放参数生成样本，其中，可以直接随机生成多个样本，也可以运用生成数量少于最小样本数、宽高比严重不符合输入值的样本，或对轨迹模板进行随机擦除、添加等操作，并根据随即擦除、添加后的轨迹模板生成若干不符合要求的黑白二值样本，形成负样本。

作为可选的实施方式，步骤S200中，真实图片集的每张图片进行多尺度纹理提取之前还包括：对真实图片集的每张图片进行目标检测，得到目标烟盒的目标陈列图像；对目标陈列图像进行二值化处理，得到二值陈列图像；其中，二值陈列图像用于进行多尺度纹理提取。具体的，收集的真实图片集的每张照片上面，除了目标烟盒的摆放，还存在有其他品牌的干扰烟盒。将真实图片集送入烟盒识别模型，得到真实图片集的每张照片的烟盒识别结果。其中，获得烟盒识别结果为现有技术，由于本发明仅针对目标烟盒的陈列识别，在得到烟盒识别结果时，需要对识别结果进行过滤，只保留需要判断的目标烟盒及其烟盒坐标。其中，本发明采用的是在全部烟盒品规中，直接滤除非目标烟盒，只保留目标烟盒烟盒的方法。然后根据目标烟盒的位置信息对整张大图进行二值化，通过二值图的识别来判断是否存在相关陈列方式。

如图3所示，作为可选的实施方式，步骤S200中，对真实图片集的每张图片进行多尺度纹理提取为，S210：根据M*M的尺寸，将二值陈列图像划分为M*M个小格；S220：在{1*1、2*2、3*3...(M-1)*(M-1)、M*M}的尺度集中，根据金字塔多尺度方法选取多种尺度，并按照选取的尺度滑动提取二值陈列图像的局部纹理；S230：将每个尺度提取的每个局部纹理保存为一张局部纹理图；其中，M为大于0的正整数；每种尺度提取的局部纹理图至少为一张。具体的，本实施例设置了一个M值为4，将一张二值陈列图像根据4x4的尺寸划分为长宽各为4的小格，然后按照{2*2、3*3、4*4}共3种尺度选取纹理，构建局部纹理图。按照这种方案，一张图片总共会产生9+4+1，共计14个尺度不同的候选局部纹理。将所有产生的局部纹理送入神经网络进行识别，只要神经网络在所有的局部纹理中检测到任意一个按照陈列模板摆放的目标烟盒陈列，则认为该图片包含该类别的陈列模板。

金字塔多尺度方法用于解决目标检测中的图像多尺度问题，通过改变滑动窗口的形式来检测图像中大小不一的物体。根据不同尺度的滑动窗口对二值陈列图像的多个局部纹理进行提取，即能得到多个局部纹理中的特征信息。对多个局部纹理进行模型识别，由于陈列识别模型在训练阶段就已经识别处理过不同尺寸的目标烟盒陈列，当输入的局部纹理中也存在有相应的目标烟盒陈列时，陈列识别模型会输出该图片包含的相应尺寸的陈列模板。

实施例仅是一个特例，并不表明本发明就这样一种实现方式。

实施例二

如图4所示，本发明还提供一种卷烟陈列图像识别系统，包括：获取模块，用于获取真实图片集和陈列识别模型；烟盒识别模块，用于识别真实图片集的每张图像中的目标烟盒；二值陈列图像生成模块，用于根据目标烟盒生成二值陈列图像；纹理提取模块，用于对二值陈列图像进行多尺度纹理提取，得到多张局部纹理图；陈列识别模块，用于通过陈列识别模型对多张局部纹理图进行检测，得到二值陈列图像的识别结果。具体的，陈列识别系统对真实图片集进行识别的步骤如实施例一。

实施例三

本发明还提供一种卷烟陈列图像识别设备实施例，包括一个或多个处理器及存储器；其中，存储器用于存储一个或多个计算机程序，一个或多个处理器用于执行存储器存储的一个或多个计算机程序，以使处理器执行上述的一种卷烟陈列图像识别方法实施例的特征/步骤。

实施例四

本领域普通技术人员可以理解，实现上述各方法实施例的全部或部分特征/步骤可以通过方法、数据处理系统或计算机程序来实现，这些特征可不采用硬件的方式、全部采用软件的方式或者采用硬件和软件结合的方式来实现。前述的计算机程序可以存储于一种或多种计算机可读的存储介质中，存储介质上存储有计算机程序，计算机程序被（如处理器）执行时，执行包括上述的一种卷烟陈列图像识别方法实施例的步骤。

前述的可以存储程序代码的存储介质包括：静硬态盘、固态硬盘、随机存取存储器（SRAM）、电可擦除可编程只读存储器（EEPROM）、可擦除可编程只读存储器（EPROM）、可编程只读存储器（PROM）、只读存储器（ROM）、光存储设备、磁存储设备、快闪存储器、磁盘或光盘和/或上述设备的组合，即可以由任何类型的易失性或非易失性存储设备或者它们的组合实现。

以上仅为本发明的较佳实施例而已，本领域技术人员知悉，在不脱离本发明的精神和范围的情况下，可以对这些特征和实施例进行各种改变或等同替换。另外，在本发明的教导下，可以对这些特征和实施例进行修改以适应具体的情况及材料而不会脱离本发明的精神和范围。因此，本发明不受此处所公开的具体实施例的限制，所有落入本申请的权利要求范围内的实施例都属于本发明的保护范围。

Claims (8)

1.一种卷烟陈列图像识别方法，其特征在于，包括：

步骤S100：获取真实图片集和陈列识别模型；

步骤S200：对所述真实图片集的每张图片进行多尺度纹理提取，得到多张局部纹理图；

步骤S300：所述陈列识别模型对所述多张局部纹理图进行识别，得到所述真实图片集的每张图片的识别结果；

所述识别结果为所述真实图片集的每张图片存在陈列模板中的某种陈列或不存在所述陈列模板中的任何陈列；

所述步骤S200中，所述真实图片集的每张图片进行多尺度纹理提取之前还包括：

对所述真实图片集的每张图片进行目标检测，得到目标烟盒的目标陈列图像；

对所述目标陈列图像进行二值化处理，得到二值陈列图像；

其中，所述二值陈列图像用于进行多尺度纹理提取；

所述步骤S200中，对所述真实图片集的每张图片进行多尺度纹理提取包括，

步骤S210：根据M*M的尺寸，将所述二值陈列图像划分为M*M个小格；

步骤S220：在{1*1、2*2、3*3...(M-1)*(M-1)、M*M}的尺度集中，根据金字塔多尺度方法选取多种尺度，并按照选取的尺度滑动提取所述二值陈列图像的局部纹理；

步骤S230：将每个尺度提取的每个所述局部纹理保存为一张所述局部纹理图；

其中，M为大于0的正整数；每种尺度提取的所述局部纹理图至少为一张。

2.根据权利要求1所述的一种卷烟陈列图像识别方法，其特征在于，所述陈列识别模型的获取方法包括：

步骤S110：构建仿真样本生成模型，将轨迹模板与香烟摆放参数输入至所述仿真样本生成模型，分别生成正样本集和负样本集；

步骤S120：将所述正样本集、负样本集中的每张图像进行几何形变，得到几何形变后的图像集，并得到几何形变后的图像集中的每张几何形变后的图像的样本标签；

步骤S130：将所述几何形变后的图像集、样本标签融合输出为所述仿真样本集，通过所述仿真样本集训练得到所述陈列识别模型。

3.根据权利要求2所述的一种卷烟陈列图像识别方法，其特征在于，

所述轨迹模板包括至少一个轨迹，每个所述轨迹都由若干个坐标点组成；

所述香烟摆放参数包括最小样本数、最大样本数、样本最小宽高比和样本最大宽高比；

其中，所述香烟摆放参数所涉及的样本为所述仿真样本集中生成的仿真烟盒样本。

4.根据权利要求2所述的一种卷烟陈列图像识别方法，其特征在于， 所述正样本集由所述仿真样本生成模型的仿真生成模块根据所述轨迹模板、香烟摆放参数生成的正样本组成；所述负样本集由所述仿真样本生成模型的负样本生成模块随机生成的负样本组成。

5.根据权利要求2所述的一种卷烟陈列图像识别方法，其特征在于，所述几何形变包括斜切、透视和旋转的一种或多种。

6.一种卷烟陈列图像识别系统，其特征在于，所述识别系统用于执行如权利要求1-5任一项所述的一种卷烟陈列图像识别方法，包括：

获取模块，用于获取真实图片集和陈列识别模型；

烟盒识别模块，用于识别所述真实图片集的每张图像中的目标烟盒；

二值陈列图像生成模块，用于根据所述目标烟盒生成二值陈列图像；

纹理提取模块，用于对所述二值陈列图像进行多尺度纹理提取，得到多张局部纹理图；

陈列识别模块，用于通过所述陈列识别模型对所述多张局部纹理图进行检测，得到目标陈列图像的识别结果。

7.一种卷烟陈列图像识别设备，其特征在于，包括：

一个或多个处理器；

存储器，用于存储一个或多个计算机程序，一个或多个所述处理器用于执行所述存储器存储的一个或多个计算机程序，以使一个或多个所述处理器执行如权利要求1-5任一项所述的一种卷烟陈列图像识别方法。

8.一种计算机可读的存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被执行时实现权利要求1-5任一项所述的一种卷烟陈列图像识别方法。

Images