CN117409417A - 产品标签识别方法、系统、电子设备及可读存储介质 - Google Patents

产品标签识别方法、系统、电子设备及可读存储介质 Download PDF

Info

Publication number
CN117409417A
CN117409417A CN202311385112.9A CN202311385112A CN117409417A CN 117409417 A CN117409417 A CN 117409417A CN 202311385112 A CN202311385112 A CN 202311385112A CN 117409417 A CN117409417 A CN 117409417A
Authority
CN
China
Prior art keywords
text
image
product
label
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311385112.9A
Other languages
English (en)
Inventor
程桃
李华
李邈
张晓辉
庞殊杨
刘晓松
汤州
冉星明
谢永辉
谭凌
叶亦扬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CISDI Chongqing Information Technology Co Ltd
Original Assignee
CISDI Chongqing Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CISDI Chongqing Information Technology Co Ltd filed Critical CISDI Chongqing Information Technology Co Ltd
Priority to CN202311385112.9A priority Critical patent/CN117409417A/zh
Publication of CN117409417A publication Critical patent/CN117409417A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10821—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices
    • G06K7/10861—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices sensing of data fields affixed to objects or articles, e.g. coded labels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/16—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/19007—Matching; Proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19147—Obtaining sets of training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Toxicology (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及标签识别技术领域，公开了一种产品标签识别方法、系统、电子设备及可读存储介质，该方法通过将产品信息以编码图形和文本两种形式体现在产品标签上，形成对应关系，针对产品标签图像进行文本检测，得到文本图像，分别对编码图形和文本图像进行识别，得到第一文本信息和第二文本信息，在第一文本信息和第二文本信息相同的情况下，从文本信息中确定目标信息，既避免了人工识别产品标签的繁琐和长时间工作导致的识别准确性下降，又通过不同形式的产品标签承载产品信息，实现了对不同标签文本信息的比对，确保了识别到的文本信息的准确性，从而提高了产品标签识别的准确性。

Description

产品标签识别方法、系统、电子设备及可读存储介质
技术领域
本发明涉及标签识别技术领域，尤其涉及一种产品标签识别方法、系统、电子设备及可读存储介质。
背景技术
在钢材等产品的运输过程中，产品标签的准确识别对于管理产品的生命周期至关重要。如果标签信息被错误识别，可能会导致一系列问题，例如产品批号的错误归类、产品生产时间的误判等。这些问题不仅会影响产品生命周期管理的准确性，还可能引发一系列的后续问题，例如库存管理混乱、产品质量控制失误等。
然而，当前常用的方法是人工识别产品标签。这种方法的缺点在于两个方面：一方面是由于识别人员长时间工作导致的注意力不集中，容易导致标签识别错误；另一方面是标签的印刷质量、识别距离、光照条件等都可能影响识别的结果。这些问题进一步增加了人工识别标签的难度和出错的可能性，进而导致现有的产品标签识别的准确性较低。
发明内容
为了对披露的实施例的一些方面有基本的理解，下面给出了简单的概括。所述概括不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围，而是作为后面的详细说明的序言。
鉴于以上所述现有技术的缺点，本发明公开了一种产品标签识别方法、系统、电子设备及可读存储介质，以提高产品标签识别的准确性。
本发明提供了一种产品标签识别方法，包括：预先基于目标产品的产品信息，分别以编码图形形式和文本形式形成产品标签；响应于产品标签图像，根据预设的文本检测模型对所述产品标签图像进行文本检测，以根据文本检测结果从所述产品标签图像中提取文本图像，并根据预设的文本识别模型对所述文本图像进行文本识别，得到第一文本信息；识别所述产品标签图像中的编码图形，得到第二文本信息，并将所述第一文本信息与所述第二文本信息进行比对，得到文本比对结果；若所述文本比对结果为相同，则从所述第一文本信息中确定所述目标产品对应的目标信息。
本发明提供了一种产品标签识别系统，包括：标签模块，用于基于目标产品的产品信息，分别以编码图形形式和文本形式形成产品标签；识别模块，用于响应于产品标签图像，根据预设的文本检测模型对所述产品标签图像进行文本检测，以根据文本检测结果从所述产品标签图像中提取文本图像，并根据预设的文本识别模型对所述文本图像进行文本识别，得到第一文本信息；比对模块，用于识别所述产品标签图像中的编码图形，得到第二文本信息，并将所述第一文本信息与所述第二文本信息进行比对，得到文本比对结果；确定模块，用于若所述文本比对结果为相同，则从所述第一文本信息中确定所述目标产品对应的目标信息。
本发明提供了一种电子设备，包括：处理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述电子设备执行上述的方法。
本发明提供了一种计算机可读存储介质，其上存储有计算机程序：所述计算机程序被处理器执行时实现上述的方法。
本发明的有益效果：
通过将产品信息以编码图形和文本两种形式体现在产品标签上，形成对应关系，针对产品标签图像进行文本检测，得到文本图像，分别对编码图形和文本图像进行识别，得到第一文本信息和第二文本信息，在第一文本信息和第二文本信息相同的情况下，从文本信息中确定目标信息。这样，既避免了人工识别产品标签的繁琐和长时间工作导致的识别准确性下降，又通过不同形式的产品标签承载产品信息，实现了对不同标签文本信息的比对，确保了识别到的文本信息的准确性，从而提高了产品标签识别的准确性。
附图说明
图1是本发明实施例中一个用于实施产品标签识别方法的应用环境的结构示意图；
图2是本发明实施例中一个产品标签识别方法的流程示意图；
图3是本发明实施例中一个报警模块的结构示意图；
图4是本发明实施例中另一个产品标签识别方法的流程示意图；
图5是本发明实施例中一个产品标签识别系统的结构示意图；
图6是本发明实施例中一个电子设备的示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的子样本可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
在下文描述中，探讨了大量细节，以提供对本发明实施例的更透彻的解释，然而，对本领域技术人员来说，可以在没有这些具体细节的情况下实施本发明的实施例是显而易见的，在其他实施例中，以方框图的形式而不是以细节的形式来示出公知的结构和设备，以避免使本发明的实施例难以理解。
本公开实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开实施例的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。
除非另有说明，术语“多个”表示两个或两个以上。
本公开实施例中，字符“/”表示前后对象是一种“或”的关系。例如，A/B表示：A或B。
术语“和/或”是一种描述对象的关联关系，表示可以存在三种关系。例如，A和/或B，表示：A或B，或，A和B这三种关系。
结合图1所示，本公开实施例提供了一种应用环境，用于实施产品标签识别方法，包括服务器端和用户终端，其中，服务器端通过网络与用户终端进行通信。
用户终端用于向服务器端发送用户指令。
服务器端用于执行用户指令，用户指令包括以下至少一部分：预先基于目标产品的产品信息，分别以编码图形形式和文本形式形成产品标签；响应于产品标签图像，根据预设的文本检测模型对产品标签图像进行文本检测，以根据文本检测结果从产品标签图像中提取文本图像，并根据预设的文本识别模型对文本图像进行文本识别，得到第一文本信息；识别产品标签图像中的编码图形，得到第二文本信息，并将第一文本信息与第二文本信息进行比对，得到文本比对结果；若文本比对结果为相同，则从第一文本信息中确定目标产品对应的目标信息。
结合图2所示，本公开实施例提供了一种产品标签识别方法，包括：
步骤S201，预先基于目标产品的产品信息，分别以编码图形形式和文本形式形成产品标签；
其中，产品信息包括产品生产日期、产品批次、产品ID(Identity document，身份标识)等中的一种或多种；
其中，编码图形形式包括二维码、条形码、三维码、Quick Response码、DataMatrix码、Aztec Code、PDF417(Portable Data File 417)码等编码图形中的一种或多种；
步骤S202，响应于产品标签图像，根据预设的文本检测模型对产品标签图像进行文本检测，以根据文本检测结果从产品标签图像中提取文本图像；
步骤S203，根据预设的文本识别模型对文本图像进行文本识别，得到第一文本信息；
步骤S204，识别产品标签图像中的编码图形，得到第二文本信息，并将第一文本信息与第二文本信息进行比对，得到文本比对结果；
其中，通过Zber库识别产品标签图像中的编码图形，得到第二文本信息；
步骤S205，若文本比对结果为相同，则从第一文本信息中确定目标产品对应的目标信息。
采用本公开实施例提供的产品标签识别方法，通过将产品信息以编码图形和文本两种形式体现在产品标签上，形成对应关系，针对产品标签图像进行文本检测，得到文本图像，分别对编码图形和文本图像进行识别，得到第一文本信息和第二文本信息，在第一文本信息和第二文本信息相同的情况下，从文本信息中确定目标信息。这样，既避免了人工识别产品标签的繁琐和长时间工作导致的识别准确性下降，又通过不同形式的产品标签承载产品信息，实现了对不同标签文本信息的比对，确保了识别到的文本信息的准确性，从而提高了产品标签识别的准确性。
可选地，通过以下方法获取产品标签图像：将产品标签设置在目标产品上；对目标产品进行图像采集，得到产品图像；根据预设的标签检测模型对产品图像进行标签检测，得到标签坐标信息；根据标签坐标信息从产品图像中提取产品标签图像。
在一些实施例中，将产品标签设置在目标产品上，包括以下至少一种：通过激光打印在目标产品的表面打印产品标签；打印纸质的产品标签，将产品标签固定在目标产品上。
在一些实施例中，对目标产品进行图像采集，得到产品图像，包括：以产品标签作为参考，按照预设角度规则设置图像采集装置，其中，预设角度规则包括图像采集装置的镜头与产品标签之间的夹角位于45°至90°之间；通过图像采集装置对目标产品进行图像采集，得到产品图像。
在一些实施例中，将钢材作为目标产品，将钢材的生产批次作为产品信息，将生产批次对应的产品标签打印在钢材的端面。
在一些实施例中，标签坐标信息包括其中，x1为产品标签图像的左上角横坐标，y1为产品标签图像的左上角纵坐标，x2为产品标签图像的左下角横坐标，y2为产品标签图像的左下角纵坐标，x3为产品标签图像的右上角横坐标，y3为产品标签图像的右上角纵坐标，x4为产品标签图像的右下角横坐标，y4为产品标签图像的右下角纵坐标。
可选地，通过以下方法获取标签检测模型：获取多个产品图像样本；分别对各产品图像样本中的标签区域进行图像标注，得到各产品图像样本对应的标签标注信息，并分别生成各产品图像样本对应的产品图像属性信息，其中，产品图像属性信息包括产品图像名称(filename)、产品图像宽度(width)、产品图像高度(height)、产品图像深度(depth)中的至少一种；将标签标注信息和产品图像属性信息作为产品图像样本的训练信息，并根据带有训练信息的各产品图像样本建立产品样本集，其中，产品样本集包括产品训练集、产品测试集和产品验证集；基于产品训练集中的产品图像样本和训练信息对预设的第一待训练模型进行模型训练，将训练完成的第一待训练模型确定为第一标签模型；基于产品测试集中的产品图像样本和训练信息调整第一标签模型的模型参数，将调整模型参数之后的第一标签模型确定为第二标签模型；基于产品验证集中的产品图像样本和训练信息对第二标签模型进行模型测试，并将测试通过的第二模型标签确定为标签检测模型。
在一些实施例中，标签标注信息包括标签区域的左上角横坐标、左上角纵坐标、左下角横坐标、左下角纵坐标、右上角横坐标、右上角纵坐标、右下角横坐标、右下角纵坐标。
在一些实施例中，标签标注信息还包括标签类别。
在一些实施例中，图像深度指存储每个像素所用的位数，它也是用来度量图像的色彩分辨率的。在彩色图像中，每个像素可能有的色彩数由图像深度决定，对于灰度图像，每个像素可能有的灰度级数也由图像深度决定。
在一些实施例中，第一待训练模型包括YOLOv5n(You Only Look Once v5n)神经网络模型，YOLOv5n神经网络根据带有训练数据的产品图像样本学习每张钢材端面图像中标签区域的区域特征，得到标签检测模型，其中，YOLOv5n神经网络模型具有以下特点：YOLOv5n的Head网络由3个不同的输出层组成，分别负责检测大中小尺度的目标；YOLOv5n使用CSPDarknet53作为其主干网络，其具有较强的特征提取能力和计算效率；YOLOv5n使用的是FPN网络，该网络可以在不同的特征图层次上进行检测，可以提高目标检测的性能；损失函数，YOLOv5n使用的是Focal Loss损失函数，该函数可以缓解目标检测中类别不平衡的问题，提高模型的性能；在输出结果后，会对重叠的目标框进行NMS(Non MaximumSuppression，非极大值抑制)处理，以得到最终的检测结果；YOLOv5n使用的是Mish激活函数，该函数是一种替代ReLU(Rectified Linear Unit，线性单位修正函数)的激活函数，可以提高模型的性能。
可选地，根据预设的文本检测模型对产品标签图像进行文本检测，以根据文本检测结果从产品标签图像中提取文本图像，包括：对产品标签图像进行图像处理，其中，图像处理包括透视变换、图像平滑、噪音消除、图像锐化、边界加强、对比度增强中的一种或多种；将产品标签图像输入预设的文本检测模型中进行文本检测，将文本检测模型输出的文本坐标信息确定为文本检测结果；根据文本检测模型从产品标签图像中提取文本图像。
在一些实施例中，文本坐标信息包括其中，x'1为文本图像的左上角横坐标，y'1为文本图像的左上角纵坐标，x'2为文本图像的左下角横坐标，y'2为文本图像的左下角纵坐标，x'3为文本图像的右上角横坐标，y'3为文本图像的右上角纵坐标，x'4为文本图像的右下角横坐标，y'4为文本图像的右下角纵坐标。
可选地，通过以下方法对产品标签图像进行透视变换：获取透视变换矩阵，其中，透视变换矩阵包括用于图像线性变换的第一矩阵、用于图像透视变换的第二矩阵、用于图像平移的第三矩阵；基于透视变换矩阵对产品标签图像的图像坐标进行计算，以对产品标签图像进行透视变换。
在一些实施例中，通过以下公式对产品标签图像进行透视变换：
其中，(x＝x'/w,y＝y'/h)为变换之后的产品标签图像的图像坐标，w为产品标签图像的长度，h为产品标签图像的高度，(u,v)为透视变换之前的产品标签图像的图像坐标，k为预设比例系数，透视变换矩阵为用于图像线性变换的第一矩阵，T2＝[a13 a23]T为用于图像透视变换的第二矩阵，T3＝[a31a32]为用于图像平移的第三矩阵。
可选地，通过以下方法获取文本检测模型：获取多个标签图像样本；分别对各标签图像样本中的文本区域进行图像标注，得到各标签图像样本对应的文本标注信息，并分别生成各标签图像样本对应的标签图像属性信息，其中，标签图像属性信息包括标签图像名称、标签图像宽度、标签图像高度、标签图像深度中的至少一种；将文本标注信息和标签图像属性信息作为标签图像样本的训练信息，并根据带有训练信息的标签图像样本建立标签样本集，其中，标签样本集包括标签训练集、标签测试集和标签验证集；基于DB(Differentiable Binarization，可微分二值化处理)算法、LK-PAN(Large Kernel PAN，大感受野PAN模块)模块、RSE-FPN(Residual Segmentation Embed FPN，残差注意力机制的FPN结构)结构和DML(Distillation with Maximum Logit Balance，最大对数平衡蒸馏法)蒸馏策略建立第二待训练模型，并基于标签训练集中的标签图像样本和训练信息对第二待训练模型进行模型训练，将训练完成的第二待训练模型确定为第一检测模型；基于标签测试集中的标签图像样本和训练信息调整第一检测模型的模型参数，将调整模型参数之后的第一检测模型确定为第二检测模型；基于标签验证集中的标签图像样本和训练信息对第二检测模型进行模型测试，并将测试通过的第二文本标签确定为文本检测模型。
在一些实施例中，DB算法在分割网络中执行二值化的过程，能够自适应的设置二值化阈值，得到更准确的文字形状信息，并简化后处理。
在一些实施例中，LK-PAN模块是一种具有较大感受野的轻量级PAN(PathAggregation Network，路径聚合网络)模块。主要想法是将PAN结构的路径增强中的卷积核大小增大，这样可以提高特征图每个像素的接受域，使其更容易检测大字体和极端宽高比的文本。
在一些实施例中，RSE-FPN结构通过将FPN(Feature Pyramid Network，特征金字塔网络)中的卷积层替换为RSEConv(Residual Segmentation Embed Conv，残差注意力结构的卷积层)层来引入残差注意力机制，以提高特征图的表示能力。RSEConv由残差结构和Squeeze-and-Excitation(SE)块两部分组成，引入后可以有效的提高文本检测性能。
在一些实施例中，DML蒸馏策略可以通过两个结构相同的模型相互学习来有效提高文本检测模型的准确率。
可选地，通过以下方法获取文本识别模型：获取多个初始文本图像；基于预设的文本识别大模型对初始文本图像进行文本识别，得到文本识别结果及结果执行度；根据结果置信度从各初始文本图像中确定多个文本图像样本，并根据文本识别结果(text)和文本图像名称(filename)分别生成各文本图像样本对应的训练信息；根据带有训练信息的文本图像样本建立文本样本集，其中，文本样本集包括文本训练集、文本测试集和文本验证集；基于SVTR_Tiny网络结构、CTC(Connectionist Temporal Classification，连接主义时序分类)模块、TextConAug(Text Conditioned Data Augmentation，文本条件数据增强)数据增强策略和TextRotNet(Text Rotation and Language Modeling，文本转换和语言建模)预训练模型建立第三待训练模型，并基于文本训练集中的文本图像样本和训练信息对第三待训练模型进行模型训练，将训练完成的第三待训练模型确定为第一识别模型；基于文本测试集中的文本图像样本和训练信息调整第一识别模型的模型参数，将调整模型参数之后的第一识别模型确定为第二识别模型；基于文本验证集中的文本图像样本和训练信息对第二识别模型进行模型测试，并将测试通过的第二识别模型确定为文本检测模型。
在一些实施例中，SVTR_Tiny网络结构基于SVTR(Survivable Virtual TopologyRouting，基于虚拟拓扑路由的生存性网络路由协议)网络和轻量级CNN网络PP-LCNet(Lightweight CPU-Lightweight Convolutional Neural Network，轻量级CPU卷积神经网络)融合得到，采用类似于Swin Transformer的视觉模型和一个全连接层以及CTC解码器进行文本序列预测，在模型性能和推理速度上都有很好的表现。
在一些实施例中，通过CTC模块融合多种文本特征的表达。
在一些实施例中，通过TextConAug数据增强策略增强方法以丰富训练数据上下文信息。
在一些实施例中，通过TextRotNet预训练模型初始化SVTR_LCNet的初始权重。
在一些实施例中，对两个不同的SVTR_LCNet和Attention(注意力)结构之间的PP-LCNet的特征图、SVTR模块的输出和Attention模块的输出同时进行监督训练。
在一些实施例中，第一文本信息包括多个文本内容，例如，从第一文本信息中确定钢材批号的相关文本。
可选地，将第一文本信息与第二文本信息进行比对，得到文本比对结果之后，方法还包括：若文本比对结果为不相同，则输出报警信号。
在一些实施例中，报警方式包括声光报警、一级系统(L1系统)报警，其中，一级系统用于通过PLC(Programmable Logic Controller，可编程逻辑控制器)实现对机械设备的控制。
结合图3所示，本公开实施例提供了一种报警模块，包括服务器端、声光报警器和一级系统接口；服务器端用于执行上述的产品标签识别方法，并向声光报警器和/或一级系统接口输出报警信号；声光报警器响应于报警信号，进行声光报警；一级系统接口响应于报警信号，通过一级系统进行报警。
结合图4所示，本公开实施例提供了一种产品标签识别方法，包括：
步骤S401，通过图像采集设备对目标产品进行图像采集，得到产品图像；
其中，目标产品设置有产品标签；
其中，基于目标产品的产品信息，分别以编码图形形式和文本形式形成产品标签；
步骤S402，根据预设的标签检测模型对产品图像进行标签检测，得到产品标签图像；
其中，标签检测模型根据产品图像样本对第一待训练模型进行训练得到；
步骤S403，对产品标签图像进行图像处理，跳转步骤S404和步骤S406；
其中，图像处理包括透视变换、图像平滑、噪音消除、图像锐化、边界加强、对比度增强中的一种或多种
步骤S404，根据预设的文本检测模型对产品标签图像进行文本检测，得到文本图像；
其中，文本检测模型根据
步骤S405，根据预设的文本识别模型对文本图像进行文本识别，得到第一文本信息，跳转步骤S407；
步骤S406，识别产品标签图像中的编码图形，得到第二文本信息，跳转步骤S407；
步骤S407，判断第一文本信息与第二文本信息是否相同，若是，跳转步骤S408，若否，跳转步骤S409；
步骤S408，从第一文本信息中确定目标产品对应的目标信息。
步骤S409，输出报警信号。
采用本公开实施例提供的产品标签识别方法，通过将产品信息以编码图形和文本两种形式体现在产品标签上，形成对应关系，针对产品标签图像进行文本检测，得到文本图像，分别对编码图形和文本图像进行识别，得到第一文本信息和第二文本信息，在第一文本信息和第二文本信息相同的情况下，从文本信息中确定目标信息。这样，既避免了人工识别产品标签的繁琐和长时间工作导致的识别准确性下降，又通过不同形式的产品标签承载产品信息，实现了对不同标签文本信息的比对，确保了识别到的文本信息的准确性，从而提高了产品标签识别的准确性。
结合图5所示，本公开实施例提供了一种产品标签识别系统，包括标签模块501、识别模块502、比对模块503和确定模块504。
标签模块501用于基于目标产品的产品信息，分别以编码图形形式和文本形式形成产品标签。
识别模块502用于响应于产品标签图像，根据预设的文本检测模型对产品标签图像进行文本检测，以根据文本检测结果从产品标签图像中提取文本图像，并根据预设的文本识别模型对文本图像进行文本识别，得到第一文本信息。
比对模块503用于识别产品标签图像中的编码图形，得到第二文本信息，并将第一文本信息与第二文本信息进行比对，得到文本比对结果。
确定模块504用于若文本比对结果为相同，则从第一文本信息中确定目标产品对应的目标信息。
采用本公开实施例提供的产品标签识别系统，通过将产品信息以编码图形和文本两种形式体现在产品标签上，形成对应关系，针对产品标签图像进行文本检测，得到文本图像，分别对编码图形和文本图像进行识别，得到第一文本信息和第二文本信息，在第一文本信息和第二文本信息相同的情况下，从文本信息中确定目标信息。这样，既避免了人工识别产品标签的繁琐和长时间工作导致的识别准确性下降，又通过不同形式的产品标签承载产品信息，实现了对不同标签文本信息的比对，确保了识别到的文本信息的准确性，从而提高了产品标签识别的准确性。
图6示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。需要说明的是，图6示出的电子设备的计算机系统600仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图6所示，计算机系统600包括中央处理单元(Central Processing Unit，CPU)601，其可以根据存储在只读存储器(Read-Only Memory，ROM)602中的程序或者从储存部分608加载到随机访问存储器(Random Access Memory，RAM)603中的程序而执行各种适当的动作和处理，例如执行上述实施例中的方法。在RAM 603中，还存储有系统操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(Input/Output，I/O)接口605也连接至总线604。
以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分607；包括硬盘等的储存部分608；以及包括诸如LAN(Local Area Network，局域网)卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器160也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器160上，以便于从其上读出的计算机程序根据需要被安装入储存部分608。
特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的计算机程序。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本申请的系统中限定的各种功能。
需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的计算机程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
本公开实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本实施例中的任一项方法。
本公开实施例中的计算机可读存储介质，本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本实施例公开的电子设备，包括处理器、存储器、收发器和通信接口，存储器和通信接口与处理器和收发器连接并完成相互间的通信，存储器用于存储计算机程序，通信接口用于进行通信，处理器和收发器用于运行计算机程序，使电子设备执行如上方法的各个步骤。
在本实施例中，存储器可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、图形处理器(Graphics Processing Unit，简称GPU)，网络处理器(NetworkProcessor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
以上描述和附图充分地示出了本公开的实施例，以使本领域的技术人员能够实践它们。其他实施例可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选地，并且操作的顺序可以变化。一些实施例的部分和子样本可以被包括在或替换其他实施例的部分和子样本。而且，本申请中使用的用词仅用于描述实施例并且不用于限制权利要求。如在实施例以及权利要求的描述中使用的，除非上下文清楚地表明，否则单数形式的“一个”(a)、“一个”(an)和“”(the)旨在同样包括复数形式。类似地，如在本申请中所使用的术语“和/或”是指包含一个或一个以上相关联的列出的任何以及所有可能的组合。另外，当用于本申请中时，术语“包括”(comprise)及其变型“包括”(comprises)和/或包括(comprising)等指陈述的子样本、整体、步骤、操作、元素，和/或组件的存在，但不排除一个或一个以上其它子样本、整体、步骤、操作、元素、组件和/或这些的分组的存在或添加。在没有更多限制的情况下，由语句“包括一个…”限定的要素，并不排除在包括要素的过程、方法或者设备中还存在另外的相同要素。本文中，每个实施例重点说明的可以是与其他实施例的不同之处，各个实施例之间相同相似部分可以互相参见。对于实施例公开的方法、产品等而言，如果其与实施例公开的方法部分相对应，那么相关之处可以参见方法部分的描述。
本领域技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，可以取决于技术方案的特定应用和设计约束条件。技术人员可以对每个特定的应用来使用不同方法以实现所描述的功能，但是这种实现不应认为超出本公开实施例的范围。技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本文所披露的实施例中，所揭露的方法、产品(包括但不限于装置、设备等)，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，可以仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些子样本可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例。另外，在本公开实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
附图中的流程图和框图显示了根据本公开实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。在附图中的流程图和框图所对应的描述中，不同的方框所对应的操作或步骤也可以以不同于描述中所披露的顺序发生，有时不同的操作或步骤之间不存在特定的顺序。例如，两个连续的操作或步骤实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

Claims (11)

1.一种产品标签识别方法，其特征在于，包括：
预先基于目标产品的产品信息，分别以编码图形形式和文本形式形成产品标签；
响应于产品标签图像，根据预设的文本检测模型对所述产品标签图像进行文本检测，以根据文本检测结果从所述产品标签图像中提取文本图像，并根据预设的文本识别模型对所述文本图像进行文本识别，得到第一文本信息；
识别所述产品标签图像中的编码图形，得到第二文本信息，并将所述第一文本信息与所述第二文本信息进行比对，得到文本比对结果；
若所述文本比对结果为相同，则从所述第一文本信息中确定所述目标产品对应的目标信息。
2.根据权利要求1所述的方法，其特征在于，通过以下方法获取产品标签图像：
将所述产品标签设置在所述目标产品上；
对所述目标产品进行图像采集，得到产品图像；
根据预设的标签检测模型对所述产品图像进行标签检测，得到标签坐标信息；
根据所述标签坐标信息从所述产品图像中提取产品标签图像。
3.根据权利要求2所述的方法，其特征在于，通过以下方法获取所述标签检测模型：
获取多个产品图像样本；
分别对各所述产品图像样本中的标签区域进行图像标注，得到各所述产品图像样本对应的标签标注信息，并分别生成各所述产品图像样本对应的产品图像属性信息，其中，所述产品图像属性信息包括产品图像名称、产品图像宽度、产品图像高度、产品图像深度中的至少一种；
将所述标签标注信息和所述产品图像属性信息作为所述产品图像样本的训练信息，并根据带有训练信息的各产品图像样本建立产品样本集，其中，所述产品样本集包括产品训练集、产品测试集和产品验证集；
基于所述产品训练集中的产品图像样本和训练信息对预设的第一待训练模型进行模型训练，将训练完成的第一待训练模型确定为第一标签模型；
基于所述产品测试集中的产品图像样本和训练信息调整所述第一标签模型的模型参数，将调整模型参数之后的第一标签模型确定为第二标签模型；
基于所述产品验证集中的产品图像样本和训练信息对所述第二标签模型进行模型测试，并将测试通过的第二模型标签确定为标签检测模型。
4.根据权利要求1所述的方法，其特征在于，根据预设的文本检测模型对所述产品标签图像进行文本检测，以根据文本检测结果从所述产品标签图像中提取文本图像，包括：
对所述产品标签图像进行图像处理，其中，所述图像处理包括透视变换、图像平滑、噪音消除、图像锐化、边界加强、对比度增强中的一种或多种；
将所述产品标签图像输入预设的文本检测模型中进行文本检测，将所述文本检测模型输出的文本坐标信息确定为文本检测结果；
根据所述文本检测模型从所述产品标签图像中提取文本图像。
5.根据权利要求4所述的方法，其特征在于，通过以下方法对所述产品标签图像进行透视变换：
获取透视变换矩阵，其中，所述透视变换矩阵包括用于图像线性变换的第一矩阵、用于图像透视变换的第二矩阵、用于图像平移的第三矩阵；
基于所述透视变换矩阵对所述产品标签图像的图像坐标进行计算，以对所述产品标签图像进行透视变换。
6.根据权利要求1所述的方法，其特征在于，通过以下方法获取所述文本检测模型：
获取多个标签图像样本；
分别对各所述标签图像样本中的文本区域进行图像标注，得到各所述标签图像样本对应的文本标注信息，并分别生成各所述标签图像样本对应的标签图像属性信息，其中，所述标签图像属性信息包括标签图像名称、标签图像宽度、标签图像高度、标签图像深度中的至少一种；
将所述文本标注信息和所述标签图像属性信息作为所述标签图像样本的训练信息，并根据带有训练信息的标签图像样本建立标签样本集，其中，所述标签样本集包括标签训练集、标签测试集和标签验证集；
基于DB算法、LK-PAN模块、RSE-FPN结构和DML蒸馏策略建立第二待训练模型，并基于所述标签训练集中的标签图像样本和训练信息对所述第二待训练模型进行模型训练，将训练完成的第二待训练模型确定为第一检测模型；
基于所述标签测试集中的标签图像样本和训练信息调整所述第一检测模型的模型参数，将调整模型参数之后的第一检测模型确定为第二检测模型；
基于所述标签验证集中的标签图像样本和训练信息对所述第二检测模型进行模型测试，并将测试通过的第二文本标签确定为文本检测模型。
7.根据权利要求1所述的方法，其特征在于，通过以下方法获取文本识别模型：
获取多个初始文本图像；
基于预设的文本识别大模型对所述初始文本图像进行文本识别，得到文本识别结果及结果执行度；
根据所述结果置信度从各所述初始文本图像中确定多个文本图像样本，并根据所述文本识别结果和文本图像名称分别生成各所述文本图像样本对应的训练信息；
根据带有训练信息的文本图像样本建立文本样本集，其中，所述文本样本集包括文本训练集、文本测试集和文本验证集；
基于SVTR_Tiny网络结构、CTC模块、TextConAug数据增强策略和TextRotNet预训练模型建立第三待训练模型，并基于所述文本训练集中的文本图像样本和训练信息对所述第三待训练模型进行模型训练，将训练完成的第三待训练模型确定为第一识别模型；
基于所述文本测试集中的文本图像样本和训练信息调整所述第一识别模型的模型参数，将调整模型参数之后的第一识别模型确定为第二识别模型；
基于所述文本验证集中的文本图像样本和训练信息对所述第二识别模型进行模型测试，并将测试通过的第二识别模型确定为文本检测模型。
8.根据权利要求1至7任一项所述的方法，其特征在于，将所述第一文本信息与所述第二文本信息进行比对，得到文本比对结果之后，所述方法还包括：
若所述文本比对结果为不相同，则输出报警信号。
9.一种产品标签识别系统，其特征在于，包括：
标签模块，用于基于目标产品的产品信息，分别以编码图形形式和文本形式形成产品标签；
识别模块，用于响应于产品标签图像，根据预设的文本检测模型对所述产品标签图像进行文本检测，以根据文本检测结果从所述产品标签图像中提取文本图像，并根据预设的文本识别模型对所述文本图像进行文本识别，得到第一文本信息；
比对模块，用于识别所述产品标签图像中的编码图形，得到第二文本信息，并将所述第一文本信息与所述第二文本信息进行比对，得到文本比对结果；
确定模块，用于若所述文本比对结果为相同，则从所述第一文本信息中确定所述目标产品对应的目标信息。
10.一种电子设备，其特征在于，包括：处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述电子设备执行如权利要求1至8中任一项所述的方法。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：
所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的方法。
CN202311385112.9A 2023-10-24 2023-10-24 产品标签识别方法、系统、电子设备及可读存储介质 Pending CN117409417A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311385112.9A CN117409417A (zh) 2023-10-24 2023-10-24 产品标签识别方法、系统、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311385112.9A CN117409417A (zh) 2023-10-24 2023-10-24 产品标签识别方法、系统、电子设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN117409417A true CN117409417A (zh) 2024-01-16

Family

ID=89490313

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311385112.9A Pending CN117409417A (zh) 2023-10-24 2023-10-24 产品标签识别方法、系统、电子设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN117409417A (zh)

Similar Documents

Publication Publication Date Title
CN111626177B (zh) 一种pcb元件识别方法及装置
CN110866495A (zh) 票据图像识别方法及装置和设备、训练方法和存储介质
CN111178355B (zh) 印章识别方法、装置和存储介质
CN113657202A (zh) 构件识别方法、构建训练集方法、装置、设备及存储介质
CN109389110B (zh) 一种区域确定方法及装置
CN111680680B (zh) 一种目标码定位方法、装置、电子设备及存储介质
CN112001406A (zh) 一种文本区域检测方法及装置
CN113158895A (zh) 票据识别方法、装置、电子设备及存储介质
CN112861861A (zh) 识别数码管文本的方法、装置及电子设备
CN115937887A (zh) 文档结构化信息的提取方法及装置、电子设备、存储介质
CN114841974A (zh) 一种水果内部结构无损检测方法、系统、电子设备及介质
Shahin et al. Machine-based identification system via optical character recognition
Zhang et al. A YOLOv3‐Based Industrial Instrument Classification and Reading Recognition Method
CN117437485A (zh) 钢材标签识别方法、装置、设备及存储介质
CN111199240A (zh) 银行卡识别模型的训练方法、银行卡识别方法以及装置
CN115713750B (zh) 一种车道线检测方法、装置、电子设备及存储介质
CN112613367A (zh) 票据信息文本框获取方法、系统、设备及存储介质
CN112200789A (zh) 一种图像识别的方法及装置、电子设备和存储介质
CN112434582A (zh) 一种车道线颜色识别方法、系统、电子设备及存储介质
CN116843983A (zh) 路面病害识别方法、模型训练方法、电子设备及介质
CN114936395B (zh) 一种户型图识别方法、装置、计算机设备及存储介质
CN117409417A (zh) 产品标签识别方法、系统、电子设备及可读存储介质
Zheng et al. Recognition of expiry data on food packages based on improved DBNet
CN110851349B (zh) 页面异常显示的检测方法、终端设备及存储介质
CN116977249A (zh) 缺陷检测的方法、模型训练的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination