CN117556847B - 一种条烟端头二维码的识别方法 - Google Patents

Abstract

本发明公开了一种条烟端头二维码的识别方法，涉及计算机视觉技术领域，解决了二维码识别方法识别率较低，但采用硬件提升识别率成本高、效率低，难以满足条烟分拣线的需求的技术问题。该方法包括：获取条烟端头图像中二维码的边界框；对二维码的边界框进行扩张裁剪，得到第一二维码图像；判断第一二维码图像的宽度或高度是否小于阈值像素；若是，则对第一二维码图像进行超分辨率放大处理，输出第二二维码图像；否则直接输出第一二维码图像，作为第二二维码图像；对第二二维码图像进行去模糊处理，输出第三二维码图像；对第三二维码图像进行解码，获得条烟端头图像中条烟的信息。本发明能够提高二维码的识别率，具有优良的场景适应性。

Description

一种条烟端头二维码的识别方法

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种条烟端头二维码的识别方法。

背景技术

目前，为了实现条烟上下游信息的整合、溯源与追踪，提升烟草行业各部门信息化水平，烟草公司开始将三码合一技术应用于条烟分拣线上。三码合一主要利用二维码具有防伪、容易溯源、难以复制、数据唯一、易被读取等特点实现产品的溯源与追踪。将三码合一技术应用到烟草行业，具体表现为利用二维码技术，与烟草公司各业务系统对接，通过采集条烟端头二维码信息与条烟品牌码信息，与行业32位一号工程码进行一一对应，构建基于条烟端头二维码的数据服务平台。

条烟分拣线上对二维码的识别率要求相当高，现有的二维码识别方法识别率较低，为了尽可能提升二维码识别率，常规的做法是对分拣线上传送带速度、读码距离、读码角度、照度等参数进行精心调试，通过提升二维码图像的质量来达到较高的识别率。然而，单纯的硬件调优不仅需要花费大量的人力、物力和时间，而且所带来的二维码识别率提升效果有限，难以满足条烟分拣线的需求。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

目前二维码识别方法识别率较低，但采用硬件提升识别率成本高、效率低，难以满足条烟分拣线的需求。

发明内容

本发明的目的在于提供一种条烟端头二维码的识别方法，以解决现有技术中存在的目前二维码识别方法识别率较低，但采用硬件提升识别率成本高、效率低，难以满足条烟分拣线的需求的技术问题。本发明提供的诸多技术方案中的优选技术方案所能产生的诸多技术效果详见下文阐述。

为实现上述目的，本发明提供了以下技术方案：

本发明提供的一种条烟端头二维码的识别方法，包括以下步骤：

S1、获取含有二维码的条烟端头图像中所述二维码的边界框；

S2、对所述二维码的边界框进行扩张，裁剪扩张后的所述边界框，得到第一二维码图像；

S3、判断所述第一二维码图像的宽度或高度是否小于阈值像素，若是，则执行步骤S4；否则，执行步骤S5；

S4、对所述第一二维码图像进行超分辨率放大处理，输出第二二维码图像，执行步骤S6；

S5、直接输出所述第一二维码图像，作为所述第二二维码图像，执行步骤S6；

S6、对所述第二二维码图像进行去模糊处理，输出第三二维码图像；

S7、对所述第三二维码图像进行解码，获得所述条烟端头图像中条烟的信息；

步骤S2中，对所述二维码的边界框进行扩张后的坐标为：

；

其中，(x1,y1)表示所述边界框的左上角坐标；(x2,y2)表示所述边界框的右下角坐标；(x3,y3)表示扩张之后所述边界框的左上角坐标；(x4,y4)表示扩张之后所述边界框的右下角坐标；w为所述条烟端头图像的宽度；h为所述条烟端头图像的高度；n为扩充的像素个数；m为向外扩充宽度和高度的倍数。

优选的，步骤S4中，通过去模糊模型对所述第二二维码图像进行去模糊处理，训练所述去模糊模型包括以下步骤：

S41、采集清晰-均匀模糊图像对、清晰-非均匀模糊图像对及模糊-清晰图像对；

S42、将所述清晰-均匀模糊图像对、清晰-非均匀模糊图像对及清晰-模糊图像对，构建为去模糊样本集；

S42、采用NAFNet或DeblurGAN网络架构，基于所述去模糊样本集进行训练，得到所述去模糊模型。

优选的，采集所述清晰-均匀模糊图像对、清晰-非均匀模糊图像对包括以下步骤：

S4101、拍摄多张条烟的清晰图像；

S4102、根据所述清晰图像，使用模糊核生成均匀模糊图像，使用相机运动模型和成像模型生成非均匀模糊图像；

S4103、将所述清晰图像分别与对应的所述均匀模糊图像、非均匀模糊图像，组成所述清晰-均匀模糊图像对及清晰-非均匀模糊图像对。

优选的，采集所述模糊-清晰图像对包括以下步骤：

S4111、拍摄多张条烟的清晰图像与模糊图像；

S4112、使用分光装置将同一场景分光给两个相机，使得两个所述相机同时接受同一场景的画面；

S4113、在同一场景下，使用两个所述相机分别拍摄所述清晰图像、模糊图像，得到模糊-清晰图像对。

优选的，步骤S4113中，一个所述相机采用长曝光的方式拍摄所述模糊图像，另一个所述相机采用短曝光的方式拍摄所述清晰图像。

优选的，步骤S4中：采用SRCNN算法或EDSR算法对所述第一二维码图像进行超分辨率放大处理。

优选的，步骤S7包括：

S71、获取所述第三二维码图像的格式信息；

S72、根据所述格式信息的编码区的排列规则识别字符，确定数据码字和纠错码字，再用RS码恢复所述数据码字、纠错码字；

S73、通过所述纠错码字检测符号携带信息，按照模式指示符和字符计数指示符将所述数据码字划分成多个部分，并根据使用的模式进行解码。

优选的，采用OpenCV库的quirc模块或ZXing库对所述第三二维码图像进行解码。

优选的，步骤S1中，通过二维码识别模型获取所述二维码的边界框，训练所述二维码识别模型包括以下步骤：

S11、拍摄多张条烟样本图像；

S12、通过人工标注，获取所述条烟样本图像中二维码边界框的标签信息；

S13、根据所述条烟样本图像及标签信息对YOLOv8模型进行训练，得到所述二维码识别模型。

实施本发明上述技术方案中的一个技术方案，具有如下优点或有益效果：

本发明通过对条烟二维码图像进行边界扩张、超分辨率放大及去模糊处理，能够提升二维码图像的质量，从而达到较高的识别率；通过优化二维码识别算法，提高条烟分拣线上二维码的识别率；该方法能够对分拣线上传送带速度、读码距离、读码角度、读码照度等影响二维码识别率的因素具有很强的适应性，无需花费大量的资源进行硬件系统的调优，就能提高识别率，具有优良的场景适应性。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍，显而易见，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，附图中：

图1是本发明实施例一种条烟端头二维码的识别方法的流程图；

图2是本发明实施例训练去模糊模型步骤的流程图；

图3是本发明实施例采集清晰-均匀模糊图像对、清晰-非均匀模糊图像对步骤的流程图；

图4是本发明实施例采集模糊-清晰图像对步骤的流程图；

图5是本发明实施例一种条烟端头二维码的识别方法步骤S7的流程图；

图6是本发明实施例训练二维码识别模型步骤的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，下文将要描述的各种示例性实施例将要参考相应的附图，这些附图构成了示例性实施例的一部分，其中描述了实现本发明可能采用的各种示例性实施例。除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。应明白，它们仅是与如所附权利要求书中所详述的、本发明公开的一些方面相一致的流程、方法和装置等的例子，还可使用其他的实施例，或者对本文列举的实施例进行结构和功能上的修改，而不会脱离本发明的范围和实质。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”等指示的是基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的元件必须具有的特定的方位、以特定的方位构造和操作。术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。术语“多个”的含义是两个或两个以上。术语“相连”、“连接”应做广义理解，例如，可以是固定连接、可拆卸连接、一体连接、机械连接、电连接、通信连接、直接相连、通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明，仅示出了与本发明实施例相关的部分。

实施例一：

如图1所示，本发明提供了一种条烟端头二维码的识别方法，包括以下步骤：

S1、获取含有二维码的条烟端头图像中二维码的边界框；S2、对二维码的边界框进行扩张，裁剪扩张后的边界框，得到第一二维码图像；由于二维码检测存在一定的误差，对二维码的边界框进行适度的扩张，能够确保裁剪得到完整的二维码；S3、判断第一二维码图像的宽度或高度是否小于阈值像素，若是，则执行步骤S4；否则，执行步骤S5；本实施例将阈值像素设置为320像素，若第一二维码图像的宽度或高度有一个小于320像素，说明当前第一二维码图像的分辨率较低，需要进行超分辨率放大处理；S4、对第一二维码图像进行超分辨率放大处理，输出第二二维码图像，执行步骤S6；S5、直接输出第一二维码图像，作为第二二维码图像，执行步骤S6；对于分辨率低的二维码图像进行超分辨率放大处理，对于已经有较高分辨率的二维码图像，则无需再进行超分辨率放大；采用自适应设计，兼顾了不同的读码距离，在提升二维码识别率的同时，运行效率更高。S6、对第二二维码图像进行去模糊处理，输出第三二维码图像；S7、对第三二维码图像进行解码，获得条烟端头图像中条烟的信息。

本实施例通过对条烟二维码图像进行边界扩张、超分辨率放大及去模糊处理，能够提升二维码图像的质量，从而达到较高的识别率；通过优化二维码识别算法，提高条烟分拣线上二维码的识别率；该方法能够对分拣线上传送带速度、读码距离、读码角度、读码照度等影响二维码识别率的因素具有很强的适应性，无需花费大量的资源进行硬件系统的调优，就能提高识别率，具有优良的场景适应性。

作为可选择的实施方式，步骤S4中，通过去模糊模型对第二二维码图像进行去模糊处理，由于二维码识别是在条烟运动过程中进行的，摄像头抓拍的图片难免会有运动模糊、虚焦模糊、高斯模糊等类型的质量下降，因此，本实施例在对二维码进行超分辨放大处理的基础上，还通过去模糊模型逆转图像模糊过程，进一步提升二维码图像的质量；经过去模糊模型处理的二维码图像能够变得更加清晰，提高识别率。如图2所示，训练去模糊模型包括以下步骤：S41、采集清晰-均匀模糊图像对、清晰-非均匀模糊图像对及模糊-清晰图像对；S42、将清晰-均匀模糊图像对、清晰-非均匀模糊图像对及清晰-模糊图像对，构建为去模糊样本集；S42、采用NAFNet或DeblurGAN网络架构，基于去模糊样本集进行训练，得到去模糊模型；NAFNet和DeblurGAN都具有速度快、精度高等优点，是优良的去模糊网络构架，当然，本实施例也不只局限于这两种去模糊算法。通过三种方法共同构建二维码去模糊样本集来训练模型，丰富样本类型，能够大大提升模型性能和精度，使该去模糊模型能够适用与各种不同类型的模糊图像。

优选的，如图3所示，采集清晰-均匀模糊图像对、清晰-非均匀模糊图像对包括以下步骤：S4101、拍摄多张条烟的清晰图像；4102、根据清晰图像，使用模糊核生成均匀模糊图像，使用相机运动模型和成像模型生成非均匀模糊图像；S4103、将清晰图像分别与对应的均匀模糊图像、非均匀模糊图像，组成清晰-均匀模糊图像对及清晰-非均匀模糊图像对。使用模糊核生成模糊图像，训练得到的模型对于均匀模糊图像去模糊有很好的效果，而相机运动模型和成像模型，通过模拟或者获取相机运动状态，借助相机参数和成像参数，生成模糊图像更加接近相机抖动造成的模糊形态，能够很好提升训练精度；这两种方法都是从实际场景中采集清晰图像，然后有算法生成模糊图像，成本较低，能够生成大量的样本。

优选的，如图4所示，采集模糊-清晰图像对包括以下步骤：S4111、拍摄多张条烟的清晰图像与模糊图像；S4112、使用分光装置将同一场景分光给两个相机，使得两个相机同时接受同一场景的画面；S4113、在同一场景下，使用两个相机分别拍摄清晰图像、模糊图像，得到模糊-清晰图像对。步骤S4113中，一个相机采用长曝光的方式拍摄模糊图像，另一个相机采用短曝光的方式拍摄清晰图像。采用这种方式是从实际场景中同时采集清晰图像核模糊图像，可以获取更加真实的模糊数据，避免了高帧率相机在合成快速运动物体和高曝光区域的不足。去模糊样本集采用这三种方法共同构建，不仅增加了样本的多样性，提升训练模型的精度，还能适当降低样本采集的成本。

作为可选择的实施方式，步骤S4中：采用SRCNN算法或EDSR算法对第一二维码图像进行超分辨率放大处理。当二维码的读码距离较远时，二维码图像的分辨率比较低，边缘变得模糊不清，给二维码识别带来很大的困难；高分辨率图像能够提供更丰富的细节信息，呈现出良好的视觉效果，有利于提升二维码的识别率，通过SRCNN算法或EDSR算法对二维码图像进行放大还原，得到高分辨率输出，使二维码编码区域边缘锐利，纹理清晰可辨。

作为可选择的实施方式，步骤S2中，对二维码的边界框进行扩张后的坐标为：

；

其中，(x1,y1)表示边界框的左上角坐标；(x2,y2)表示边界框的右下角坐标；(x3,y3)表示扩张之后边界框的左上角坐标；(x4,y4)表示扩张之后边界框的右下角坐标；w为条烟端头图像的宽度；h为条烟端头图像的高度；n为扩充的像素个数；m为向外扩充宽度和高度的倍数。经过实验得到的经验值，至少需要扩充15个像素，至少向外扩充宽度和高度的0.1倍，即n≥15，m≥0.1，这样扩充后的边界框，能够确保裁剪之后得到完整的二维码。

作为可选择的实施方式，如图5所示，步骤S7包括：S71、获取第三二维码图像的格式信息；S72、根据格式信息的编码区的排列规则识别字符，确定数据码字和纠错码字，再用RS码恢复数据码字、纠错码字；S73、通过纠错码字检测符号携带信息，按照模式指示符和字符计数指示符将数据码字划分成多个部分，并根据使用的模式进行解码。在解码之前，先通过二维码上的3个位置检测图案和1个对齐图案确定二维码的位置和方向，然后通过识别二维码的格式信息图案对格式信息进行纠错，具体的，根据格式信息对编码区域的位图进行异或操作，采用BCH码来确认格式信息有无错误；还需通过识别版本信息图案来确认二维码的版本；若识别出格式信息错误或版本错误，说明当前二维码有损坏，不再进行解码，只有当格式信息和版本都识别正确时，才进行步骤S7。由于在进行二维码检测时，对图像进行了扩大边界框、超分辨率放大和去模糊处理，提升了二维码的完整性清晰度，减少有损二维码的数量，从而减小了解码的错误率，提高了识别率。优选的，采用OpenCV库的quirc模块或ZXing库对第三二维码图像进行解码。

作为可选择的实施方式，如图6所示，步骤S1中，通过二维码识别模型获取二维码的边界框，训练二维码识别模型包括以下步骤：S11、拍摄多张条烟样本图像；样本图像的数量越多，模型训练的精度越高，因此，本实施例在分拣线上拍摄了100000张条烟图片作为样本图像；S12、通过人工标注，获取条烟样本图像中二维码边界框的标签信息；S13、根据条烟样本图像及标签信息对YOLOv8模型进行训练，得到二维码识别模型；还可以采用DINO等目标检测模型来训练。通过该二维码识别模型，能够准确获取二维码的边界框。

实施例仅是一个特例，并不表明本发明就这样一种实现方式。

以上所述仅为本发明的较佳实施例而已，本领域技术人员知悉，在不脱离本发明的精神和范围的情况下，可以对这些特征和实施例进行各种改变或等同替换。另外，在本发明的教导下，可以对这些特征和实施例进行修改以适应具体的情况及材料而不会脱离本发明的精神和范围。因此，本发明不受此处所公开的具体实施例的限制，所有落入本申请的权利要求范围内的实施例都属于本发明的保护范围。

Claims (9)

1.一种条烟端头二维码的识别方法，其特征在于，包括以下步骤：

S1、获取含有二维码的条烟端头图像中所述二维码的边界框；

S2、对所述二维码的边界框进行扩张，裁剪扩张后的所述边界框，得到第一二维码图像；

S3、判断所述第一二维码图像的宽度或高度是否小于阈值像素，若是，则执行步骤S4；否则，执行步骤S5；

S4、对所述第一二维码图像进行超分辨率放大处理，输出第二二维码图像，执行步骤S6；

S5、直接输出所述第一二维码图像，作为所述第二二维码图像，执行步骤S6；

S6、对所述第二二维码图像进行去模糊处理，输出第三二维码图像；

S7、对所述第三二维码图像进行解码，获得所述条烟端头图像中条烟的信息；

步骤S2中，对所述二维码的边界框进行扩张后的坐标为：

；

其中，(x1,y1)表示所述边界框的左上角坐标；(x2,y2)表示所述边界框的右下角坐标；(x3,y3)表示扩张之后所述边界框的左上角坐标；(x4,y4)表示扩张之后所述边界框的右下角坐标；w为所述条烟端头图像的宽度；h为所述条烟端头图像的高度；n为扩充的像素个数；m为向外扩充宽度和高度的倍数。

2.根据权利要求1所述的一种条烟端头二维码的识别方法，其特征在于，步骤S4中，通过去模糊模型对所述第二二维码图像进行去模糊处理，训练所述去模糊模型包括以下步骤：

S41、采集清晰-均匀模糊图像对、清晰-非均匀模糊图像对及模糊-清晰图像对；

S42、将所述清晰-均匀模糊图像对、清晰-非均匀模糊图像对及清晰-模糊图像对，构建为去模糊样本集；

S42、采用NAFNet或DeblurGAN网络架构，基于所述去模糊样本集进行训练，得到所述去模糊模型。

3.根据权利要求2所述的一种条烟端头二维码的识别方法，其特征在于，采集所述清晰-均匀模糊图像对、清晰-非均匀模糊图像对包括以下步骤：

S4101、拍摄多张条烟的清晰图像；

S4102、根据所述清晰图像，使用模糊核生成均匀模糊图像，使用相机运动模型和成像模型生成非均匀模糊图像；

S4103、将所述清晰图像分别与对应的所述均匀模糊图像、非均匀模糊图像，组成所述清晰-均匀模糊图像对及清晰-非均匀模糊图像对。

4.根据权利要求2所述的一种条烟端头二维码的识别方法，其特征在于，采集所述模糊-清晰图像对包括以下步骤：

S4111、拍摄多张条烟的清晰图像与模糊图像；

S4112、使用分光装置将同一场景分光给两个相机，使得两个所述相机同时接受同一场景的画面；

S4113、在同一场景下，使用两个所述相机分别拍摄所述清晰图像、模糊图像，得到模糊-清晰图像对。

5.根据权利要求4所述的一种条烟端头二维码的识别方法，其特征在于，步骤S4113中，一个所述相机采用长曝光的方式拍摄所述模糊图像，另一个所述相机采用短曝光的方式拍摄所述清晰图像。

6.根据权利要求1所述的一种条烟端头二维码的识别方法，其特征在于，步骤S4中：采用SRCNN算法或EDSR算法对所述第一二维码图像进行超分辨率放大处理。

7.根据权利要求1所述的一种条烟端头二维码的识别方法，其特征在于，步骤S7包括：

S71、获取所述第三二维码图像的格式信息；

S72、根据所述格式信息的编码区的排列规则识别字符，确定数据码字和纠错码字，再用RS码恢复所述数据码字、纠错码字；

S73、通过所述纠错码字检测符号携带信息，按照模式指示符和字符计数指示符将所述数据码字划分成多个部分，并根据使用的模式进行解码。

8.根据权利要求1所述的一种条烟端头二维码的识别方法，其特征在于，采用OpenCV库的quirc模块或ZXing库对所述第三二维码图像进行解码。

9.根据权利要求1所述的一种条烟端头二维码的识别方法，其特征在于，步骤S1中，通过二维码识别模型获取所述二维码的边界框，训练所述二维码识别模型包括以下步骤：

S11、拍摄多张条烟样本图像；

S12、通过人工标注，获取所述条烟样本图像中二维码边界框的标签信息；

S13、根据所述条烟样本图像及标签信息对YOLOv8模型进行训练，得到所述二维码识别模型。