CN117274887A - 一种条烟端头检测方法及条烟规格和数量的识别方法 - Google Patents

Abstract

本发明公开了一种条烟端头检测方法及条烟规格和数量的识别方法，涉及计算机视觉技术领域，解决了拍摄的照片上条烟包裹不规整，会导致出现漏检的技术问题。该方法包括以下步骤：S1、通过训练得到欧拉角预测模型和端头检测模型；S2、将待检测的条烟图片输入所述欧拉预测模型，得到所述条烟图片中，条烟端头面的欧拉角；其中，所述条烟图片包括多盒条烟；S3、根据所述欧拉角，对所述条烟图片进行矫正，得到条烟矫正图片；S4、将所述条烟矫正图片输入所述端头检测模型，得到所述条烟图片中所有条烟端头的顶点坐标。本发明通过对条烟的端头面进行矫正，能够有效的避免漏检问题。

Description

一种条烟端头检测方法及条烟规格和数量的识别方法

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种条烟端头检测方法及条烟规格和数量的识别方法。

背景技术

将烟草包裹送到零售店店主手里，确保送货无误，是烟草配送流程系统中非常重要的环节。通常的烟草配送流程是在收到商户的采购、订单信息后，再由仓储分拣包装出库，最后统一配送。为了提高送货环节的准确性，避免烟草分拣过程中偶尔出现的分拣错误，在送货流程的最后，增加了一个订单签收核验环节：当条烟配送到指定商户时，对条烟包裹进行拍照，如图1所示，通过深度学习算法对照片进行识别，从而获取包裹端面的条烟规格和数量，再核验识别结果与订单上的规格和数量是否一致，从而完成核验工作。但是在拍照过程中，很难保证拍摄的每张照片上的卷烟包裹都是非常规整的，包裹端面时常会出现倾斜（如条烟的端头面不是正对镜头的，而是朝里、外、上或下等方向倾斜），在这种场景下，很有可能识别不出端头不规整的条烟包裹，导致出现漏检的情况。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

拍摄的照片上条烟包裹不规整，会导致出现漏检。

发明内容

本发明的目的在于提供一种条烟端头检测方法及条烟规格和数量的识别方法，以解决现有技术中存在的拍摄的照片上条烟包裹不规整，会导致出现漏检技术问题。本发明提供的诸多技术方案中的优选技术方案所能产生的诸多技术效果详见下文阐述。

为实现上述目的，本发明提供了以下技术方案：

本发明提供的一种条烟端头检测方法，包括以下步骤：

S1、通过训练得到欧拉角预测模型和端头检测模型；

S2、将待检测的条烟图片输入所述欧拉角预测模型，得到所述条烟图片中，条烟端头面的欧拉角；其中，所述条烟图片包括多盒条烟；

S3、根据所述欧拉角，对所述条烟图片进行矫正，得到条烟矫正图片；

S4、将所述条烟矫正图片输入所述端头检测模型，得到所述条烟图片中所有条烟端头的顶点坐标。

优选的，步骤S1包括：

S11、采用MobileNetV2模型对条烟样本图片进行训练，得到所述欧拉角预测模型；

S12、根据通过所述欧拉角预测模型预测的欧拉角，对所述条烟样本图片进行仿射变换，得到变换样本图片；

S13、采用基于DLA34架构的Centernet网络对所述变换样本图片进行训练，得到端头检测模型。

优选的，步骤S11包括：

S111、将所述条烟样本图片进行三维空间随机旋转，得到多种张有精确欧拉角的仿真条烟图片；

S112、将所述仿真条烟图片贴在各种不同的背景图片上，得到多张训练样本；

S113、根据多张所述训练样本及所述训练样本的欧拉角，对MobileNetV2模型进行回归训练，得到所述欧拉角预测模型。

优选的，步骤S113包括：

S1131、采用均方误差作为所述MobileNetV2模型的损失函数；

S1132、计算所述MobileNetV2模型预测的欧拉角和真实的欧拉角之间的差异；

S1133、通过反向传播算法使所述预测的欧拉角接近所述真实的欧拉角，得到所述欧拉角预测模型。

优选的，步骤S13包括：

S131、标注n张不同的所述变换样本图片，获取多个不同规格的条烟端头；

S132、将不同规格的所述条烟端头随机粘贴在所述变换样本图片中被扣掉的区域，混合生产多张不同的仿真样本图片；

S133、根据多张所述仿真样本图片，对基于DLA34架构的Centernet网络进行训练，得到所述端头检测模型。

优选的，步骤S12包括：

S121、将所述条烟样本图片输入所述欧拉角预测模型，得到预测的所述欧拉角；其中，预测的所述欧拉角为所述条烟样本图片中条烟端头面的欧拉角；

S122、根据预测的所述欧拉角，构建所述条烟样本图片中，条烟端头面映射到正面角度的旋转矩阵；

S123、根据所述旋转矩阵，对所述条烟包裹的图片进行仿射变换，得到条烟变换图片；

S124、采用边缘自适应的插值算法对所述条烟变换图片进行优化，得到所述变换样本图片。

优选的，步骤S124包括：

S1241、通过Canny边缘检测算子得到所述条烟变换图片的边缘区域，并采用膨胀操作对所述边缘区域进行扩展；

S1242、给所述边缘区域添加双线性插值的掩码；

S1243、使用双线性插值计算有所述掩码区域的像素值，使用最邻近插值计算没有所述掩码区域的像素值，得到所述变换样本图片。

优选的，步骤S122包括：

S1221、将所述欧拉角转换为绕X轴旋转、绕Y轴旋转及绕Z轴旋转的三个矩阵；

S1222、将三个所述矩阵相乘，得到旋转矩阵。

一种条烟规格和数量的识别方法，通过以上任一所述的一种条烟端头检测方法实现，包括以下步骤：

S100、根据所述顶点坐标，通过旋转卡壳算法，对所述条烟端头进行矫正，得到矫正坐标；

S200、计算所述顶点坐标、矫正坐标之间的转换矩阵；

S300、通过所述转换矩阵，将所述条烟端头透视变换为矩形，得到规整的待识别图片；

S400、将所述待识别图片输入目标检测模型，得到所述待识别图片中条烟的规格和数量。

优选的，步骤S200包括：

S210、所述顶点坐标组成凸包，找到以所述凸包每条边为基准的所有外接矩阵；

S220、将面积最小的所述外接矩阵的4个顶点坐标，作为所述条烟端头矫正后的4个矫正坐标。

实施本发明上述技术方案中的一个技术方案，具有如下优点或有益效果：

本发明先将条烟图片中倾斜的条烟的端头面矫正为规整的正面图像，使得整幅图片上的条烟端头整体更加规整，更有利于检测；最后对矫正后的条烟端头进行检测，由于矫正后的条烟端头比较规整，易于被识别，大大提升了端头检测的查全率和查准率，从而能够有效的避免漏检问题。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍，显而易见，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，附图中：

图1是本发明条烟检测的原理图；

图2是本发明实施例一一种条烟端头检测方法的流程图；

图3是本发明实施例一一种条烟端头检测方法步骤S1的流程图；

图4是本发明实施例一一种条烟端头检测方法步骤S11的流程图；

图5是本发明实施例一一种条烟端头检测方法步骤S113的流程图；

图6是本发明实施例一一种条烟端头检测方法步骤S13的流程图；

图7是本发明实施例一一种条烟端头检测方法步骤S12的流程图；

图8是本发明实施例一一种条烟端头检测方法步骤S124的流程图；

图9是本发明实施例一一种条烟端头检测方法步骤S122的流程图；

图10是本发明实施例二一种条烟规格和数量的识别方法的流程图；

图11是本发明实施例二一种条烟端头检测方法步骤S200的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，下文将要描述的各种示例性实施例将要参考相应的附图，这些附图构成了示例性实施例的一部分，其中描述了实现本发明可能采用的各种示例性实施例。除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。应明白，它们仅是与如所附权利要求书中所详述的、本发明公开的一些方面相一致的流程、方法和装置等的例子，还可使用其他的实施例，或者对本文列举的实施例进行结构和功能上的修改，而不会脱离本发明的范围和实质。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”等指示的是基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的元件必须具有的特定的方位、以特定的方位构造和操作。术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。术语“多个”的含义是两个或两个以上。术语“相连”、“连接”应做广义理解，例如，可以是固定连接、可拆卸连接、一体连接、机械连接、电连接、通信连接、直接相连、通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明，仅示出了与本发明实施例相关的部分。

实施例一：如图2所示，本发明提供了一种条烟端头检测方法，包括以下步骤：

S1、通过训练得到欧拉角预测模型和端头检测模型；S2、将待检测的条烟图片输入欧拉角预测模型，得到条烟图片中，条烟端头面的欧拉角；其中，条烟图片包括多盒条烟；S3、根据欧拉角，对条烟图片进行矫正，得到条烟矫正图片；S4、将条烟矫正图片输入端头检测模型，得到条烟图片中所有条烟端头的顶点坐标；获取了图片中所有条烟端头的顶点坐标，相当于对每个条烟端头进行了标注，从而可获取条烟的数量，由于先对待检测的图片进行了条烟端头面的矫正，使得条烟端头面比较规整，因此不会出现漏检情况。本实施例先将条烟图片中倾斜的条烟的端头面矫正为规整的正面图像，使得整幅图片上的条烟端头整体更加规整，更有利于检测；最后对矫正后的条烟端头进行检测，由于矫正后的条烟端头比较规整，易于被识别，大大提升了端头检测的查全率和查准率，从而能够有效的避免漏检问题。采用本实施例的方法进行检测，即使原始图像的条烟端头比较倾斜，由于进行了矫正，将倾斜的端头面矫正为正对镜头的角度，能够准确的检测到每一个条烟端头，有效了避免了漏检问题。

作为可选择的实施方式，如图3所示，步骤S1包括：

S11、采用MobileNetV2模型对条烟样本图片进行训练，得到欧拉角预测模型；MobileNetV2模型的参数小，在部署时占用的内存更少，能够节省训练成本；且该模型计算损失小，能在不损失性能的情况小减少计算量，提高推理速度，有良好特征提取能力，能够在保证预测速度的同时，保证预测的欧拉角的准确性；S12、根据通过欧拉角预测模型预测的欧拉角，对条烟样本图片进行仿射变换，得到变换样本图片；通过预测的欧拉角，能够将不是正面角度的条烟端头面变换为正面角度，使得条烟端头更规整，便于后续检测；S13、采用基于DLA34架构的Centernet网络对变换样本图片进行训练，得到端头检测模型；DLA34骨干网络的计算速度快，同时能够完整保留图像的语义信息；Centernet网络结构简单、使用便捷、占用内存少、速度快精度高，将DLA34骨干网络与Centernet网络结合，能够保证模型检测速度的同时，提升检测精度，确保图片中所有的条烟端头都能准确检测出来。

如图4所示，步骤S11包括：

S111、将条烟样本图片进行三维空间随机旋转，得到多种张有精确欧拉角的仿真条烟图片；在进行随机旋转之前，先对样本图片中的条烟包裹轮廓标注，将条烟包裹与拍摄背景区分，只对条烟包裹进行三维空间随机旋转，能够得到多张不同角度条烟包裹的图像，且每旋转一次，就记录下旋转的欧拉角，以便于后续的模型训练；S112、将仿真条烟图片贴在各种不同的背景图片上，得到多张训练样本；给每张旋转的图片贴上不同的背景，就得到了多张不同的样本，本实施例的训练样本为5000张，扩大样本数量能够增加干扰，提高模型识别的准确度；该扩大样本的方法无需人工去拍摄5000张不同的条烟图片，而是通过三维空间随机旋转生成，节省人力资源的同时，大大提高了获取训练样本的效率；S113、根据多张训练样本及训练样本的欧拉角，对MobileNetV2模型进行回归训练，得到欧拉角预测模型。如图5所示，步骤S113包括：S1131、采用均方误差作为MobileNetV2模型的损失函数；S1132、计算MobileNetV2模型预测的欧拉角和真实的欧拉角之间的差异；均方误差损失函数是预测值和真实值之间的差值平方，能够大大简化计算，提升模型的训练速度；S1133、通过反向传播算法使预测的欧拉角接近真实的欧拉角，得到欧拉角预测模型。使用反向传播算法能够使损失函数变小，从而使预测的欧拉角和真实的欧拉角偏差最小，从而得到高精度的欧拉角预测模型。

作为可选择的实施方式，如图6所示，步骤S13包括：

S131、标注n张不同的变换样本图片，获取多个不同规格的条烟端头；标注变换样本图片中所有的条烟端头，再将标注的条烟端头扣掉，就能获得多个不同规格的条烟端头；S132、将不同规格的条烟端头随机粘贴在变换样本图片中被扣掉的区域，混合生产多张不同的仿真样本图片；如，变换样本图片中有50个被扣掉的区域（说明该图片中有50个条烟端头），则将各种不同规格的50个条烟端头随机贴在这50个被扣掉的区域上，就获得了一张仿真样本图片，重复该步骤，就能获得多种不同的仿真样本图片；S133、根据多张仿真样本图片，对基于DLA34架构的Centernet网络进行训练，得到端头检测模型。本实施例通过从1000张变换样本图片中获取条烟端头，并根据这些条烟端头混合生成了5000张仿真样本图片用来训练；因为变换样本图片经过了欧拉角预测模型和仿射变换矫正，其条烟端头框的顶点坐标也根据欧拉角一并转换，利用变换后的图片和坐标信息训练端头检测模型，能够显著提升端头检测模型的查全率和查准率，从而检测结果准确。

作为可选择的实施方式，如图7所示，步骤S12包括：

S121、将条烟样本图片输入欧拉角预测模型，得到预测的欧拉角；其中，预测的欧拉角为条烟样本图片中条烟端头面的欧拉角；S122、根据预测的欧拉角，构建条烟样本图片中，条烟端头面映射到正面角度的旋转矩阵；S123、根据旋转矩阵，对条烟包裹的图片进行仿射变换，得到条烟变换图片；若条烟的端头面向里、外、上或下等方向倾斜，不利于内测端头的识别，而经过仿真变换后，将条烟的端头面变换到了正面，使得条烟的端头面较为规整，便于后续的识别；S124、采用边缘自适应的插值算法对条烟变换图片进行优化，得到变换样本图片。由于倾斜的端头纹理特征较少，为了能够在仿射变换时尽可能保留端头纹理的细节，通过边缘自适应的插值算法对变换后的图片进行加强，从而使得转换后的端头纹理更接近真实的纹理。

如图8所示，步骤S124包括：

S1241、通过Canny边缘检测算子得到条烟变换图片的边缘区域，并采用膨胀操作对边缘区域进行扩展；Canny边缘检测算子是一个多级边缘检测算法，能够准确地检测到图像中条烟端头面的边缘，同时还能有效抵抗噪声；膨胀操作将与条烟端头面接触的所有背景点合并到物体中，能够填补图像分割后图像内所存在的空白。S1242、给边缘区域添加双线性插值的掩码；给边缘区域做掩码标记，有利于辨别出边缘区域和非边缘区域；S1243、使用双线性插值计算有掩码区域的像素值，使用最邻近插值计算没有掩码区域的像素值，得到变换样本图片；根据不同的分辨率信息自适应选择不同的插值方法，能够提升图像的还原度，避免在仿射变换中出现图像边缘模糊和失真的问题。

如图9所示，步骤S122包括：S1221、将欧拉角转换为绕X轴旋转、绕Y轴旋转及绕Z轴旋转的三个矩阵；S1222、将三个矩阵相乘，得到旋转矩阵。根据欧拉角获取旋转矩阵为进行仿射变换的必要步骤。

本实施例通过欧拉角预测模型获取图片变换的重要参数，将矫正的图片送入端头检测模型进行识别；矫正后的条烟端头比较规整，大大提升了端头检测模型的识别准确率，有效的避免了漏检问题。

实施例仅是一个特例，并不表明本发明就这样一种实现方式。

实施例二：本实施例二与实施例一的不同点在于：如图10所示，一种条烟规格和数量的识别方法，通过实施例一任一的一种条烟端头检测方法实现，包括以下步骤：S100、根据顶点坐标，通过旋转卡壳算法，对条烟端头进行矫正，得到矫正坐标；旋转卡壳算法，在凸包算法的基础上，通过枚举凸包上有一条边的同时，维护其他需要的点，能够在线性时间内快速找到凸包的最小外接矩形；S200、计算顶点坐标、矫正坐标之间的转换矩阵；S300、通过转换矩阵，将条烟端头透视变换为矩形，得到规整的待识别图片；该待识别图片经过了实施例一欧拉角预测模型、仿射变换矫正和端头检测模型；S400、将待识别图片输入目标检测模型，得到待识别图片中条烟的规格和数量。由于该待检测图片先根据欧拉角预测模型预测的欧拉角进行了一次整体矫正，再经过端头检测模型进行检测，能够得到精准的端头顶点坐标，在将端头的顶点坐标矫正为矩形坐标，即将条烟 的端头矫正为矩形，使得每个条烟的端头纹理更为规整，便于目标检测模型根据端头纹理对条烟的规格和数量进行识别；本实施例测试了五百张不同环境下的卷烟包裹签收图片，包含三百张条烟端头面正对镜头的图片和两百张条烟端头面角度倾斜的图片。使用现有检测方法进行检测，所有端头的召回率为92%，使用本实施例方法进行检测，所有端头的召回率为98%；本实施例方法的检测效果更好。

作为可选择的实施方式，如图11所示，步骤S200包括：

S210、顶点坐标组成凸包，找到以凸包每条边为基准的所有外接矩阵；S220、将面积最小的外接矩阵的4个顶点坐标，作为条烟端头矫正后的4个矫正坐标。由于条烟端头倾斜，图片呈现为不规则的四边形，导致条烟端头的纹理变形，使用最小面积的外接矩形进行矫正，可以使条烟端头框在原有比例下进行矫正，避免过度拉伸使得纹理图像变形。

以上所述仅为本发明的较佳实施例而已，本领域技术人员知悉，在不脱离本发明的精神和范围的情况下，可以对这些特征和实施例进行各种改变或等同替换。另外，在本发明的教导下，可以对这些特征和实施例进行修改以适应具体的情况及材料而不会脱离本发明的精神和范围。因此，本发明不受此处所公开的具体实施例的限制，所有落入本申请的权利要求范围内的实施例都属于本发明的保护范围。

Claims (10)

1.一种条烟端头检测方法，其特征在于，包括以下步骤：

S1、通过训练得到欧拉角预测模型和端头检测模型；

S2、将待检测的条烟图片输入所述欧拉角预测模型，得到所述条烟图片中，条烟端头面的欧拉角；其中，所述条烟图片包括多盒条烟；

S3、根据所述欧拉角，对所述条烟图片进行矫正，得到条烟矫正图片；

S4、将所述条烟矫正图片输入所述端头检测模型，得到所述条烟图片中所有条烟端头的顶点坐标。

2.根据权利要求1所述的一种条烟端头检测方法，其特征在于，步骤S1包括：

S11、采用MobileNetV2模型对条烟样本图片进行训练，得到所述欧拉角预测模型；

S12、根据通过所述欧拉角预测模型预测的欧拉角，对所述条烟样本图片进行仿射变换，得到变换样本图片；

S13、采用基于DLA34架构的Centernet网络对所述变换样本图片进行训练，得到端头检测模型。

3.根据权利要求2所述的一种条烟端头检测方法，其特征在于，步骤S11包括：

S111、将所述条烟样本图片进行三维空间随机旋转，得到多种张有精确欧拉角的仿真条烟图片；

S112、将所述仿真条烟图片贴在各种不同的背景图片上，得到多张训练样本；

S113、根据多张所述训练样本及所述训练样本的欧拉角，对MobileNetV2模型进行回归训练，得到所述欧拉角预测模型。

4.根据权利要求3所述的一种条烟端头检测方法，其特征在于，步骤S113包括：

S1131、采用均方误差作为所述MobileNetV2模型的损失函数；

S1132、计算所述MobileNetV2模型预测的欧拉角和真实的欧拉角之间的差异；

S1133、通过反向传播算法使所述预测的欧拉角接近所述真实的欧拉角，得到所述欧拉角预测模型。

5.根据权利要求2所述的一种条烟端头检测方法，其特征在于，步骤S13包括：

S131、标注n张不同的所述变换样本图片，获取多个不同规格的条烟端头；

S132、将不同规格的所述条烟端头随机粘贴在所述变换样本图片中被扣掉的区域，混合生产多张不同的仿真样本图片；

S133、根据多张所述仿真样本图片，对基于DLA34架构的Centernet网络进行训练，得到所述端头检测模型。

6.根据权利要求2所述的一种条烟端头检测方法，其特征在于，步骤S12包括：

S121、将所述条烟样本图片输入所述欧拉角预测模型，得到预测的所述欧拉角；其中，预测的所述欧拉角为所述条烟样本图片中条烟端头面的欧拉角；

S122、根据预测的所述欧拉角，构建所述条烟样本图片中，条烟端头面映射到正面角度的旋转矩阵；

S123、根据所述旋转矩阵，对所述条烟包裹的图片进行仿射变换，得到条烟变换图片；

S124、采用边缘自适应的插值算法对所述条烟变换图片进行优化，得到所述变换样本图片。

7.根据权利要求6所述的一种条烟端头检测方法，其特征在于，步骤S124包括：

S1241、通过Canny边缘检测算子得到所述条烟变换图片的边缘区域，并采用膨胀操作对所述边缘区域进行扩展；

S1242、给所述边缘区域添加双线性插值的掩码；

S1243、使用双线性插值计算有所述掩码区域的像素值，使用最邻近插值计算没有所述掩码区域的像素值，得到所述变换样本图片。

8.根据权利要求6所述的一种条烟端头检测方法，其特征在于，步骤S122包括：

S1221、将所述欧拉角转换为绕X轴旋转、绕Y轴旋转及绕Z轴旋转的三个矩阵；

S1222、将三个所述矩阵相乘，得到旋转矩阵。

9.一种条烟规格和数量的识别方法，其特征在于，通过权利要求1-8任一所述的一种条烟端头检测方法实现，包括以下步骤：

S100、根据所述顶点坐标，通过旋转卡壳算法，对所述条烟端头进行矫正，得到矫正坐标；

S200、计算所述顶点坐标、矫正坐标之间的转换矩阵；

S300、通过所述转换矩阵，将所述条烟端头透视变换为矩形，得到规整的待识别图片；

S400、将所述待识别图片输入目标检测模型，得到所述待识别图片中条烟的规格和数量。

10.根据权利要求9所述的一种条烟规格和数量的识别方法，其特征在于，步骤S200包括：

S210、所述顶点坐标组成凸包，找到以所述凸包每条边为基准的所有外接矩阵；

S220、将面积最小的所述外接矩阵的4个顶点坐标，作为所述条烟端头矫正后的4个矫正坐标。