CN114267038B - 铭牌的类型识别方法、装置、存储介质及设备 - Google Patents

Abstract

本申请公开了一种铭牌的类型识别方法、装置、存储介质及设备，属于图像处理技术领域。所述方法包括：从待识别的铭牌图像中截取预定区域的图像，得到第一截图；获取预先训练好的铭牌识别模型，所述铭牌识别模型是基于孪生神经网络创建的；利用所述铭牌识别模型对所述第一截图和模板库进行识别，并输出与所述第一截图相匹配的目标模板，所述模板库中包括多个模板，且每个模板是从不同类型的铭牌图像中的所述预定区域中截取到的；根据所述目标模板确定所述铭牌图像的类型。本申请既能够在不修改算法的前提下扩展识别任务，也可以避免截取同时包含文字和图标的区域，从而减少干扰，提高了铭牌的类型识别的可靠性。

Description

铭牌的类型识别方法、装置、存储介质及设备

技术领域

本申请涉及图像处理技术领域，特别涉及一种铭牌的类型识别方法、装置、存储介质及设备。

背景技术

在工业生产领域，对于产品中铭牌的检测需求日益强烈。大部分检测需求是对铭牌的类型（除文字外）等进行识别。

目前，大多数铭牌的类型识别方法与汽车的车牌检测方法一致，即，先在图像中检测铭牌，再在该图像中抠取铭牌，再对抠取出的铭牌进行分类识别。通常采用卷积神经网络的手段进行类型识别，这就需要针对具体的任务预先对卷积神经网络进行训练，当面对不同的需求时，需要新增或修改某些任务，从而需要不停地修改卷积神经网络。另外，当铭牌中同时包含文字和图标时，会对卷积神经网络的类型识别造成干扰，使其不可靠。

发明内容

本申请提供了一种铭牌的类型识别方法、装置、存储介质及设备，用于解决使用卷积神经网络进行类型识别时，需要根据具体的任务修改卷积神经网络，且铭牌中的文字和图标会对类型识别造成干扰的问题。所述技术方案如下：

一方面，提供了一种铭牌的类型识别方法，所述方法包括：

从待识别的铭牌图像中截取预定区域的图像，得到第一截图；

获取预先训练好的铭牌识别模型，所述铭牌识别模型是基于孪生神经网络创建的；

利用所述铭牌识别模型对所述第一截图和模板库进行识别，并输出与所述第一截图相匹配的目标模板，所述模板库中包括多个模板，且每个模板是从不同类型的铭牌图像中的所述预定区域中截取到的；

根据所述目标模板确定所述铭牌图像的类型。

在一种可能的实现方式中，所述铭牌识别模型中包括超参数margin，所述超参数margin的更新公式为：margin=mar-d²+P+Q，其中，d=|P-Q|，mar是初始margin值，P是正样本对的欧式距离和的平均值，Q是负样本对的欧氏距离和的平均值。

在一种可能的实现方式中，所述利用所述铭牌识别模型对所述第一截图和模板库进行识别，并输出与所述第一截图相匹配的目标模板，包括：

利用所述铭牌识别模型计算所述第一截图与所述模板库中每个模板的相似度；

若所述铭牌识别模型输出的相似度的最大值超过第一阈值，则将所述最大值对应的模板确定为与所述第一截图相匹配的目标模板。

在一种可能的实现方式中，所述方法还包括：

利用摄像头对产品中的铭牌进行拍摄，得到照片；

获取预先训练好的铭牌定位模型；

利用所述铭牌定位模型对所述照片进行定位，并输出所述铭牌图像。

在一种可能的实现方式中，所述方法还包括：

对来自训练集中的第一训练图像进行调整和随机裁剪，得到第二训练图像，所述第二训练图像中包含按照逆时针顺序从所述第一训练图像的左上角开始标定的铭牌的四个顶点；

根据所述第二训练图像的尺寸对所述顶点坐标进行归一化，得到归一化坐标；

将所述第二训练图像和所述归一化坐标作为一组第一训练样本，以训练所述铭牌定位模型。

在一种可能的实现方式中，所述利用所述铭牌定位模型对所述照片进行定位，得到所述铭牌图像，包括：

从所述照片中截取铭牌所在区域的图像，得到第二截图；

利用所述铭牌定位模型对所述第二截图进行定位，并输出归一化后的第一坐标；

将所述第一坐标相对于所述第二截图的尺寸进行还原，得到第二坐标；

将所述第二坐标相对于所述照片的尺寸进行还原，得到第三坐标；

根据所述第三坐标从所述照片中截取所述铭牌图像。

在一种可能的实现方式中，在所述铭牌定位模型输出所述铭牌图像之后，所述方法还包括：

根据所述第三坐标和所述铭牌的宽高信息，计算透视变换后的第四坐标；

根据所述第三坐标和所述第四坐标计算旋转矩阵；

根据所述旋转矩阵对所述铭牌图像进行转换；

将转换后的铭牌图像作为所述待识别的铭牌图像。

在一种可能的实现方式中，所述方法还包括：

从第三训练图像中随机截取图像，得到第三截图；

在所述第三训练图像中对相同的截图坐标点进行随机波动和扰动，得到第四截图；

若所述随机波动和扰动低于第二阈值，则将所述第三截图和所述第四截图作为一组正样本对；

若所述随机波动和扰动高于第二阈值，则将所述第三截图和所述第四截图作为一组负样本对；

利用所述正样本对或所述负样本对对所述铭牌识别模型进行训练。

一方面，提供了一种铭牌的类型识别装置，所述装置包括：

截图模块，用于从待识别的铭牌图像中截取预定区域的图像，得到第一截图；

获取模块，用于获取预先训练好的铭牌识别模型，所述铭牌识别模型是基于孪生神经网络创建的；

识别模块，用于利用所述铭牌识别模型对所述第一截图和模板库进行识别，并输出与所述第一截图相匹配的目标模板，所述模板库中包括多个模板，且每个模板是从不同类型的铭牌图像中的所述预定区域中截取到的；

确定模块，用于根据所述目标模板确定所述铭牌图像的类型。

一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如上所述的铭牌的类型识别方法。

一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如上所述的铭牌的类型识别方法。

本申请提供的技术方案的有益效果至少包括：

通过从待识别的铭牌图像中截取预定区域的图像，利用铭牌识别模型对得到的第一截图和模板库进行识别，由于铭牌识别模型是基于孪生神经网络创建的，且模板库中的每个模板是从不同类型的铭牌图像中的预定区域中截取到的，所以，铭牌识别模型可以输出与第一截图相匹配的目标模板，最后根据目标模板确定铭牌图像的类型。这样，当面对不同的需求时，可以新增或更换模板库，即可进行不同任务的铭牌的识别，避免需要根据任务来修改卷积神经网络，从而实现了对识别任务的扩展。另外，通过对预定区域的图像进行截取，可以避免截取同时包含文字和图标的区域，从而减少干扰，提高了铭牌的类型识别的可靠性。

由于铭牌识别模型的优化方向是P越来越趋近于0，Q越来越趋近于1，当P和Q的值较为接近时，铭牌识别模型的分类效果较差，所以，需要在训练过程中通过更新公式来增大超参数margin的数值，从而提高铭牌识别模型的分类效果。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一个实施例提供的铭牌的类型识别方法的方法流程图；

图2是本申请一个实施例提供的铭牌图像和一类模板的示意图；

图3是本申请一个实施例提供的铭牌图像和另一类模板的示意图；

图4是本申请另一实施例提供的铭牌的类型识别方法的方法流程图；

图5是本申请另一实施例提供的校正前后的铭牌图像的示意图；

图6是本申请再一实施例提供的铭牌的类型识别装置的结构框图；

图7是本申请再一实施例提供的铭牌的类型识别装置的结构框图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

请参考图1，其示出了本申请一个实施例提供的铭牌的类型识别方法的方法流程图，该铭牌的类型识别方法可以应用于计算机设备中。该铭牌的类型识别方法，可以包括：

步骤101，从待识别的铭牌图像中截取预定区域的图像，得到第一截图。

其中，预定区域可以是根据任务预先选定的区域，可以只包括文字或只包括图标，这样，可以避免同时包含文字和图标时对识别的干扰。

比如，任务是识别铭牌的类型与发动机是否匹配，则预定区域可以是唯一标识铭牌的区域，如代码区域。又比如，铭牌中的图标有两个版本，任务是识别某一类型的铭牌中是否包含最新版本的图标，则预定区域可以是图标区域。

本实施例中，计算机设备可以先获取预定区域的坐标，再根据该坐标从铭牌图像中截取图像，将得到的图像作为第一截图。

步骤102，获取预先训练好的铭牌识别模型，该铭牌识别模型是基于孪生神经网络创建的。

本实施例中，铭牌识别模型可以是计算机设备生成并训练后得到的，也可以是计算机设备从其他设备中获取到的，本实施例中不限定铭牌识别模型的来源。

以计算机设备训练铭牌识别模型为例，则计算机设备可以先基于孪生神经网络创建铭牌识别模型，再获取训练样本，根据训练样本对该铭牌识别模型进行训练，得到训练好的铭牌识别模型。具体的训练流程详见下文中的描述，此处不作赘述。

步骤103，利用铭牌识别模型对第一截图和模板库进行识别，并输出与第一截图相匹配的目标模板，该模板库中包括多个模板，且每个模板是从不同类型的铭牌图像中的预定区域中截取到的。

计算机设备需要先获取模板库，该模板库中包括多个模板，且每个模板是从不同类型的铭牌图像中的预定区域中截取到的。比如，预定区域是代码区域，则模板库的每个模板都是对一种铭牌图像的代码区域进行截图得到的，即每个模板对应于一串代码。又比如，预定区域是图标区域，则模板库中的每个模板都是对一种铭牌图像的图标区域进行截图得到的，即每个模板对应于一个图标。请参考图2，图2的左上角的示图（1）为一张铭牌图像，左下角的示图（3）为从该铭牌图像中的图标区域截取的一个图标模板；图2的右上角的示图（2）为另一张铭牌图像，右下角的示图（4）为从该铭牌图像中的图标区域截取的另一个图标模板。再比如，预定区域是商标区域，则模板库中的每个模板都是对一种铭牌图像的商标区域进行截图得到的，即每个模板对应于一个商标。请参考图3，图3的左上角的示图（1）为一张铭牌图像，左下角的示图（3）为从该铭牌图像中的商标区域截取的一个商标模板；图3的右上角的示图（2）为另一张铭牌图像，右下角的示图（4）为从该铭牌图像中的商标区域截取的另一个商标模板。

由于一个模板库中有多个模板，所以，铭牌识别模型可以从中识别出与第一截图最相似的模板，将该模板确定为目标模板。

步骤104，根据目标模板确定铭牌图像的类型。

由于目标模板的类型是已知的，所以，可以根据该目标模板的类型来确定铭牌图像的类型，从而实现对铭牌图像的类型的识别。以图2为例，假设目标模板是（3），则确定铭牌图像中包含的是旧版的图标；以图3为例，假设目标模板是（3），则确定铭牌图像的商标是大众牌。

综上所述，本申请实施例提供的铭牌的类型识别方法，通过从待识别的铭牌图像中截取预定区域的图像，利用铭牌识别模型对得到的第一截图和模板库进行识别，由于铭牌识别模型是基于孪生神经网络创建的，且模板库中的每个模板是从不同类型的铭牌图像中的预定区域中截取到的，所以，铭牌识别模型可以输出与第一截图相匹配的目标模板，最后根据目标模板确定铭牌图像的类型。这样，当面对不同的需求时，可以新增或更换模板库，即可进行不同任务的铭牌的识别，避免需要根据任务来修改卷积神经网络，从而实现了对识别任务的扩展。另外，通过对预定区域的图像进行截取，可以避免截取同时包含文字和图标的区域，从而减少干扰，提高了铭牌的类型识别的可靠性。

请参考图4，其示出了本申请一个实施例提供的铭牌的类型识别方法的方法流程图，该铭牌的类型识别方法可以应用于计算机设备中。该铭牌的类型识别方法，可以包括：

步骤401，利用摄像头对产品中的铭牌进行拍摄，得到照片；获取预先训练好的铭牌定位模型；利用铭牌定位模型对照片进行定位，并输出铭牌图像。

由于铭牌通常位于大型产品的某个固定的安装位置，所以，可以将摄像头安装在机械臂上，为保证机械臂上安装的摄像头每次能够抓拍基本相同的位置和角度，需要对机械臂进行校准，在完成位置校准后，使用摄像头抓拍铭牌，再利用铭牌定位模型对拍到的照片进行处理，得到铭牌图像。

因产品尺寸、铭牌尺寸、产品摆放位置和角度、拍摄相机抖动等差异性，需要使用特征点检测定位铭牌的角点，由于通常情况下铭牌为矩形形状，所以，本实施例中选择矩形铭牌的四个顶点作为角点，以定位铭牌。

在确定铭牌的四个顶点后，还需要根据这四个顶点对铭牌定位模型进行训练，下面对训练流程进行说明。具体的，对来自训练集中的第一训练图像进行调整和随机裁剪，得到第二训练图像，第二训练图像中包含按照逆时针顺序从第一训练图像的左上角开始标定的铭牌的四个顶点；根据第二训练图像的尺寸对顶点坐标进行归一化，得到归一化坐标；将第二训练图像和归一化坐标作为一组第一训练样本，以训练铭牌定位模型。其中，第二训练图像不一定是完整的铭牌图像。

在训练铭牌定位模型时，计算机设备可以从训练集中获取多张第一训练图像。对于每张第一训练图像，计算机设备可以使用随机裁剪、随机旋转（透视变换和仿射变换）任意角度等数据增强方式对第一训练图像进行调整，并保证裁剪后的第二训练图像中有完整的四个顶点，计算变换后的顶点坐标并根据第二训练图像的尺寸归一化，将第二训练图像和归一化坐标的标签输入铭牌定位模型中进行训练。最后，计算机设备还需要对铭牌定位模型进行测试，在测试时，预先从测试图像中抠取铭牌可能存在的区域，缩小关键点的检测范围，再将抠出图像缩放后输入铭牌定位模型中，由铭牌定位模型输出归一化坐标点，再相对于抠出图像的尺寸对归一化坐标进行还原，最后按照测试图像的尺寸对还原后的坐标再次进行还原，得到测试图像中的铭牌图像。

当测试结果符合条件时，可以确定铭牌定位模型已经训练好，此时，可以利用该铭牌定位模型来定位照片中的铭牌图像。具体的，利用铭牌定位模型对照片进行定位，得到铭牌图像，包括：从照片中截取铭牌所在区域的图像，得到第二截图；利用铭牌定位模型对第二截图进行定位，并输出归一化后的第一坐标；将第一坐标相对于第二截图的尺寸进行还原，得到第二坐标；将第二坐标相对于照片的尺寸进行还原，得到第三坐标；根据第三坐标从照片中截取铭牌图像。其中，定位铭牌图像的流程与测试流程相似，不再赘述。

由于铭牌图像可能存在任意维度的倾斜，为准确抠出铭牌图像，需要利用检测出的四个顶点做透视变换，得到校正后的铭牌图像。具体的，计算机设备可以根据第三坐标和铭牌的宽高信息，计算透视变换后的第四坐标；根据第三坐标和第四坐标计算旋转矩阵；根据旋转矩阵对铭牌图像进行转换；将转换后的铭牌图像作为待识别的铭牌图像。

假设按逆时针顺序从左上角开始依次得到的第三坐标为（x1，y1）、（x2，y2）、（x3，y3）和（x4，y4），已知正常角度时铭牌的宽高分别为w和h，则令透视变换变换后的第四坐标依次为（x1，y1）、（x1，y1+h）、（x1+w，y1+h）和（x1+w，y1）；根据透视变换前后的第三坐标和第四坐标，可以计算出旋转矩阵M，并利用旋转矩阵M对铭牌图像进行转换，得到最终的铭牌图像。此时，坐标（x1，y1）、（x1，y1+h）、（x1+w，y1+h）和（x1+w，y1）即为转换后的四个顶点在最终的铭牌图像中的位置。请参考图5，左侧的示图为校正前的铭牌图像，右侧的示图为校正后的铭牌图像。

步骤402，从待识别的铭牌图像中截取预定区域的图像，得到第一截图。

其中，预定区域以及截图流程详见步骤101中的描述，此处不作赘述。

步骤403，获取预先训练好的铭牌识别模型，该铭牌识别模型是基于孪生神经网络创建的。

计算机设备可以先基于孪生神经网络创建铭牌识别模型，再获取训练样本，根据训练样本对该铭牌识别模型进行训练，得到训练好的铭牌识别模型。具体的，从第三训练图像中随机截取图像，得到第三截图；在第三训练图像中对相同的截图坐标点进行随机波动和扰动，得到第四截图；若随机波动和扰动低于第三阈值，则将第三截图和第四截图作为一组正样本对；若随机波动和扰动高于第三阈值，则将第三截图和第四截图作为一组负样本对；利用正样本对或负样本对对铭牌识别模型进行训练。

孪生神经网络（SiameseNet）通常用于人脸识别中，但人脸图像与铭牌图像存在差异，所以，需要专门制作一批训练数据。由于识别任务主要是区分图形和文字，所以，可以挑选各类铭牌、商标、文档、图标等类似图像作为训练数据。孪生神经网络的训练需要成对图像，训练中，计算机设备可以获取多张第三训练图像。对于每张第三训练图像，计算机设备可以先从第三训练图像C中随机截取图像，得到第三截图D，再对C中相同抠图坐标点随机波动，同时加入一些光照强弱、空间变换、色彩失真等扰动，作为第四截图E。如果坐标点波动和其他扰动低于第二阈值时，即两者差异较小，则第三截图D与第四截图E作为样本对训练时标签为1，即为正样本对；如果坐标点波动和其他扰动高于第二阈值，即两者差异较大，第三截图D与第四截图E作为样本对训练时标签为0，即为负样本对。

孪生神经网络的骨干网络使用RepVGG，输入大小为112x112，损失函数选用优化后的对比损失函数（Contrastive Loss）。损失函数中有超参数margin，其作为区分两类样本的距离阈值。根据卷积神经网络的训练特性可知，训练过程中两类样本的实际距离由离散逐渐统一，由小逐渐变大，而固定的margin值在模型训练某些阶段时的作用被弱化，所以，本实施例中在每次保存模型时，更新margin值，以达到模型训练最优，更好地区分两类样本。首先，需要给定初始margin值正常训练，更新时先随机选取N个训练样本对，分别统计正样本对和负样本对的欧式距离和的平均值P和Q（欧式距离范围0-1），网络训练优化方向是P越来越小趋近于0，Q越来越大趋近于1。当P和Q值接近时，此时网络分类效果较差，故需在训练中加大margin值以扩大正负样本的差异，margin更新公式如下所示：

margin=mar-d²+P+Q

其中d=|P-Q|，mar为初始margin值，P是正样本对的欧式距离和的平均值，Q是负样本对的欧氏距离和的平均值。

假设初始margin=1.5，更新时P=0.8，Q=0.9，此时网络分类效果不佳，正负样本对距离的差异不明显，计算更新后的margin=3.19；如更新时P=0.1，Q=0.9，此时网络分类效果尚可，正负样本对距离的差异较明显，计算更新后的margin=1.86。

步骤404，利用铭牌识别模型计算第一截图与模板库中每个模板的相似度；若铭牌识别模型输出的相似度的最大值超过第一阈值，则将最大值对应的模板确定为与第一截图相匹配的目标模板。

其中，模板库和模板的解释详见步骤103中的说明，此处不作赘述。

本实施例中，可以先根据任务选定对应的模板库。比如，任务是识别某一类型的铭牌中是否包含最新版本的图标，则可以选择图2中所示的模板库。

在选定模板库之后，计算机设备可以依次从模板库中选择一个模板，在每选出一个模板后，将该模板与第一截图一起输入铭牌识别模型中，由铭牌识别模型计算出两者的相似度，最终得到第一截图与模板库中每个模板之间的相似度。计算机设备从所有的相似度中选择最大值，并将该最大值与第一阈值进行比较；若最大值超过第一阈值，则将最大值对应的模板确定为与第一截图相匹配的目标模板；若最大值未超过第一阈值，则确定模板库中不存在与第一截图相匹配的目标模板。

步骤405，根据目标模板确定铭牌图像的类型。

由于目标模板的类型是已知的，所以，可以根据该目标模板的类型来确定铭牌图像的类型，从而实现对铭牌图像的类型的识别。以图2为例，假设目标模板是（3），则确定铭牌图像中包含的是旧版的图标；以图3为例，假设目标模板是（3），则确定铭牌图像的商标是大众牌。

综上所述，本申请实施例提供的铭牌的类型识别方法，通过从待识别的铭牌图像中截取预定区域的图像，利用铭牌识别模型对得到的第一截图和模板库进行识别，由于铭牌识别模型是基于孪生神经网络创建的，且模板库中的每个模板是从不同类型的铭牌图像中的预定区域中截取到的，所以，铭牌识别模型可以输出与第一截图相匹配的目标模板，最后根据目标模板确定铭牌图像的类型。这样，当面对不同的需求时，可以新增或更换模板库，即可进行不同任务的铭牌的识别，避免需要根据任务来修改卷积神经网络，从而实现了对识别任务的扩展。另外，通过对预定区域的图像进行截取，可以避免截取同时包含文字和图标的区域，从而减少干扰，提高了铭牌的类型识别的可靠性。

由于铭牌识别模型的优化方向是P越来越趋近于0，Q越来越趋近于1，当P和Q的值较为接近时，铭牌识别模型的分类效果较差，所以，需要在训练过程中通过更新公式来增大超参数margin的数值，从而提高铭牌识别模型的分类效果。

请参考图6，其示出了本申请一个实施例提供的铭牌的类型识别装置的结构框图，该铭牌的类型识别装置可以应用于计算机设备中。该铭牌的类型识别装置，可以包括：

截图模块610，用于从待识别的铭牌图像中截取预定区域的图像，得到第一截图；

获取模块620，用于获取预先训练好的铭牌识别模型，铭牌识别模型是基于孪生神经网络创建的；

识别模块630，用于利用铭牌识别模型对第一截图和模板库进行识别，并输出与第一截图相匹配的目标模板，模板库中包括多个模板，且每个模板是从不同类型的铭牌图像中的预定区域中截取到的；

确定模块640，用于根据目标模板确定铭牌图像的类型。

在一个可选的实施例中，铭牌识别模型中包括超参数margin，超参数margin的更新公式为：margin=mar-d²+P+Q，其中，d=|P-Q|，mar是初始margin值，P是正样本对的欧式距离和的平均值，Q是负样本对的欧氏距离和的平均值。

在一个可选的实施例中，识别模块630，还用于：

利用铭牌识别模型计算第一截图与模板库中每个模板的相似度；

若铭牌识别模型输出的相似度的最大值超过第一阈值，则将最大值对应的模板确定为与第一截图相匹配的目标模板。

请参考图7，在一个可选的实施例中，该装置还包括：

拍摄模块650，用于利用摄像头对产品中的铭牌进行拍摄，得到照片；

获取模块620，还用于获取预先训练好的铭牌定位模型；

定位模块660，用于利用铭牌定位模型对照片进行定位，并输出铭牌图像。

在一个可选的实施例中，该装置还包括：

第一训练模块670，用于对来自训练集中的第一训练图像进行调整和随机裁剪，得到第二训练图像，第二训练图像中包含按照逆时针顺序从第一训练图像的左上角开始标定的铭牌的四个顶点；根据第二训练图像的尺寸对顶点坐标进行归一化，得到归一化坐标；将第二训练图像和归一化坐标作为一组第一训练样本，以训练铭牌定位模型。

在一个可选的实施例中，定位模块660，还用于：

从照片中截取铭牌所在区域的图像，得到第二截图；

利用铭牌定位模型对第二截图进行定位，并输出归一化后的第一坐标；

将第一坐标相对于第二截图的尺寸进行还原，得到第二坐标；

将第二坐标相对于照片的尺寸进行还原，得到第三坐标；

根据第三坐标从照片中截取铭牌图像。

在一个可选的实施例中，该装置还包括：

校正模块680，用于在铭牌定位模型输出铭牌图像之后，根据第三坐标和铭牌的宽高信息，计算透视变换后的第四坐标；根据第三坐标和第四坐标计算旋转矩阵；根据旋转矩阵对铭牌图像进行转换；将转换后的铭牌图像作为待识别的铭牌图像。

在一个可选的实施例中，该装置还包括：

第二训练模块690，用于从第三训练图像中随机截取图像，得到第三截图；在第三训练图像中对相同的截图坐标点进行随机波动和扰动，得到第四截图；若随机波动和扰动低于第二阈值，则将第三截图和第四截图作为一组正样本对；若随机波动和扰动高于第二阈值，则将第三截图和第四截图作为一组负样本对；利用正样本对或负样本对对铭牌识别模型进行训练。

综上所述，本申请实施例提供的铭牌的类型识别装置，通过从待识别的铭牌图像中截取预定区域的图像，利用铭牌识别模型对得到的第一截图和模板库进行识别，由于铭牌识别模型是基于孪生神经网络创建的，且模板库中的每个模板是从不同类型的铭牌图像中的预定区域中截取到的，所以，铭牌识别模型可以输出与第一截图相匹配的目标模板，最后根据目标模板确定铭牌图像的类型。这样，当面对不同的需求时，可以新增或更换模板库，即可进行不同任务的铭牌的识别，避免需要根据任务来修改卷积神经网络，从而实现了对识别任务的扩展。另外，通过对预定区域的图像进行截取，可以避免截取同时包含文字和图标的区域，从而减少干扰，提高了铭牌的类型识别的可靠性。

由于铭牌识别模型的优化方向是P越来越趋近于0，Q越来越趋近于1，当P和Q的值较为接近时，铭牌识别模型的分类效果较差，所以，需要在训练过程中通过更新公式来增大超参数margin的数值，从而提高铭牌识别模型的分类效果。

本申请一个实施例提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如上所述的铭牌的类型识别方法。

本申请一个实施例提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如上所述的铭牌的类型识别方法。

需要说明的是：上述实施例提供的铭牌的类型识别装置在进行铭牌的类型识别时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将铭牌的类型识别装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的铭牌的类型识别装置与铭牌的类型识别方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述并不用以限制本申请实施例，凡在本申请实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请实施例的保护范围之内。

Claims (10)

1.一种铭牌的类型识别方法，其特征在于，所述方法包括：

从待识别的铭牌图像中截取预定区域的图像，得到第一截图，所述预定区域只包括文字或只包括图标；

获取预先训练好的铭牌识别模型，所述铭牌识别模型是基于孪生神经网络创建的；

利用所述铭牌识别模型对所述第一截图和模板库进行识别，并输出与所述第一截图相匹配的目标模板，所述模板库中包括多个模板，且每个模板是从不同类型的铭牌图像中的所述预定区域中截取到的；

根据所述目标模板确定所述铭牌图像的类型；

所述铭牌识别模型中包括超参数margin，所述超参数margin的更新公式为：margin=mar-d²+P+Q，其中，d=|P-Q|，mar是初始margin值，P是正样本对的欧式距离和的平均值，Q是负样本对的欧氏距离和的平均值，所述超参数margin作为区分两类样本的距离阈值，且在训练中加大所述超参数margin以扩大正负样本的差异。

2.根据权利要求1所述的铭牌的类型识别方法，其特征在于，所述利用所述铭牌识别模型对所述第一截图和模板库进行识别，并输出与所述第一截图相匹配的目标模板，包括：

利用所述铭牌识别模型计算所述第一截图与所述模板库中每个模板的相似度；

若所述铭牌识别模型输出的相似度的最大值超过第一阈值，则将所述最大值对应的模板确定为与所述第一截图相匹配的目标模板。

3.根据权利要求1所述的铭牌的类型识别方法，其特征在于，所述方法还包括：

利用摄像头对产品中的铭牌进行拍摄，得到照片；

获取预先训练好的铭牌定位模型；

利用所述铭牌定位模型对所述照片进行定位，并输出所述铭牌图像。

4.根据权利要求3所述的铭牌的类型识别方法，其特征在于，所述方法还包括：

对来自训练集中的第一训练图像进行调整和随机裁剪，得到第二训练图像，所述第二训练图像中包含按照逆时针顺序从所述第一训练图像的左上角开始标定的铭牌的四个顶点；

根据所述第二训练图像的尺寸对所述顶点坐标进行归一化，得到归一化坐标；

将所述第二训练图像和所述归一化坐标作为一组第一训练样本，以训练所述铭牌定位模型。

5.根据权利要求4所述的铭牌的类型识别方法，其特征在于，所述利用所述铭牌定位模型对所述照片进行定位，得到所述铭牌图像，包括：

从所述照片中截取铭牌所在区域的图像，得到第二截图；

利用所述铭牌定位模型对所述第二截图进行定位，并输出归一化后的第一坐标；

将所述第一坐标相对于所述第二截图的尺寸进行还原，得到第二坐标；

将所述第二坐标相对于所述照片的尺寸进行还原，得到第三坐标；

根据所述第三坐标从所述照片中截取所述铭牌图像。

6.根据权利要求5所述的铭牌的类型识别方法，其特征在于，在所述铭牌定位模型输出所述铭牌图像之后，所述方法还包括：

根据所述第三坐标和所述铭牌的宽高信息，计算透视变换后的第四坐标；

根据所述第三坐标和所述第四坐标计算旋转矩阵；

根据所述旋转矩阵对所述铭牌图像进行转换；

将转换后的铭牌图像作为所述待识别的铭牌图像。

7.根据权利要求1至6中任一项所述的铭牌的类型识别方法，其特征在于，所述方法还包括：

从第三训练图像中随机截取图像，得到第三截图；

在所述第三训练图像中对相同的截图坐标点进行随机波动和扰动，得到第四截图；

若所述随机波动和扰动低于第二阈值，则将所述第三截图和所述第四截图作为一组正样本对；

若所述随机波动和扰动高于第二阈值，则将所述第三截图和所述第四截图作为一组负样本对；

利用所述正样本对或所述负样本对对所述铭牌识别模型进行训练。

8.一种铭牌的类型识别装置，其特征在于，所述装置包括：

截图模块，用于从待识别的铭牌图像中截取预定区域的图像，得到第一截图，所述预定区域只包括文字或只包括图标；

获取模块，用于获取预先训练好的铭牌识别模型，所述铭牌识别模型是基于孪生神经网络创建的；

识别模块，用于利用所述铭牌识别模型对所述第一截图和模板库进行识别，并输出与所述第一截图相匹配的目标模板，所述模板库中包括多个模板，且每个模板是从不同类型的铭牌图像中的所述预定区域中截取到的；

确定模块，用于根据所述目标模板确定所述铭牌图像的类型；

所述铭牌识别模型中包括超参数margin，所述超参数margin的更新公式为：margin=mar-d²+P+Q，其中，d=|P-Q|，mar是初始margin值，P是正样本对的欧式距离和的平均值，Q是负样本对的欧氏距离和的平均值，所述超参数margin作为区分两类样本的距离阈值，且在训练中加大所述超参数margin以扩大正负样本的差异。

9.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如权利要求1至7中任一所述的铭牌的类型识别方法。

10.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如权利要求1至7中任一所述的铭牌的类型识别方法。

Images