CN113469169B - 一种钢瓶穿孔编码定位与识别系统及识别方法 - Google Patents

Abstract

本发明涉及钢瓶识别领域，尤其是一种钢瓶穿孔编码定位与识别系统及方法，其系统包括移动端和后台服务器，所述移动端获取多个关于所述钢瓶的原始图像，至少部分所述原始述图像上具有穿孔编码；所述移动端对所述原始图像进行识别，以得到带有目标定位框的目标图像，所述穿孔编码位于所述目标定位框中；所述后台服务器获取由所述移动端发送的所述目标图像；所述后台服务器对所述目标图像进行识别，以得到所述穿孔编码中每个孔洞的具体位置。本发明所提出的钢瓶穿孔编码定位与识别系统可以有效地对钢瓶上的穿孔编码进行识别，系统构成简单，识别精度高，可以应用于室内或者室外的设备。

Description

一种钢瓶穿孔编码定位与识别系统及识别方法

技术领域

本发明涉及钢瓶识别领域，尤其是一种钢瓶穿孔编码定位与识别系统及识别方法。

背景技术

钢瓶尤其是液化气瓶，其存储的物质具有易燃、易爆性，危险度高，国家有关部门急需对市场中流通的液化气瓶进行有效管理，及时的了解液化气瓶的分布区域、使用者和使用年限等。而在钢瓶上设置唯一标识信息是对钢瓶进行有效管理的前提，目前市场上对钢瓶设置唯一标识的方式大致分为四种：在钢瓶护罩侧面设置阿拉伯数字钢印，此法人工可以读出，但随着瓶体生锈或油漆脱落，表面产生污物后，就难以准确的识别出来；在钢瓶护罩侧面蚀刻二维码，此法同样无法防止瓶体生锈、油漆脱落后表面产生污物等这一类情况的发生，同时在使用过程中由于极易混淆导致无法识别该编码；在钢瓶护罩侧面设置感应条码，此法在钢瓶流通使用过程中容易出现条码脱落和张冠李戴的现象，不便于长久使用，而且在无形中，生产厂家增加了成本；以上3种唯一标识都存在其使用寿命跟不上钢瓶使用寿命，且在实际使用中标识极易受损，导致无法识别，这样不仅增加了钢瓶厂商对钢瓶的监管难度，而且无法及时了解钢瓶的实际使用情况，从而产生安全隐患；为了解决这些问题，钢瓶厂商提出了在钢瓶本体的护罩上开若干个贯穿孔，形成一组孔阵识别码，是一种与钢瓶同寿命的唯一标识。为了更好地识别孔阵穿孔编码，研究人员也做了不少努力。而现有技术中所提出的识别设备大多只适合室内固定场所使用，且具有便捷性差，识别精度不高等缺陷。

发明内容

针对现有技术中的缺陷，本发明提供的钢瓶穿孔编码定位与识别系统及识别方法旨在改进现有技术的不足。

为了实现上述目的，第一方面，本发明提供了一种钢瓶穿孔编码定位与识别系统，所述钢瓶穿孔编码定位与识别系统包括移动端和后台服务器，所述移动端获取多个关于所述钢瓶的原始图像，至少部分所述原始述图像上具有穿孔编码；所述移动端对所述原始图像进行识别，以得到带有目标定位框的目标图像，所述穿孔编码位于所述目标定位框中；所述后台服务器获取由所述移动端发送的所述目标图像；所述后台服务器对所述目标图像进行识别，以得到所述穿孔编码中每个孔洞的具体位置；所述后台服务器根据所述每个孔洞的具体位置，得到关于所述钢瓶的唯一识别编码以及相关信息；所述后台服务器将所述相关信息反馈给所述移动端。。本发明所提出的钢瓶穿孔编码定位与识别系统可以有效地对钢瓶上的穿孔编码进行识别，系统构成简单，识别精度高，可以应用于室内或者室外的设备。

可选地，所述移动端对所述原始图像进行识别，以得到带有目标定位框的目标图像包括：所述移动端调用第一模型，通过所述第一模型对所述原始图像进行识别，以得到带有目标定位框的目标图像。本发明通过利用第一模型完成对目标定位框的识别，进而定位穿孔编码的位置，为后续进一步识别做准备。

可选地，所述钢瓶穿孔编码定位与识别系统还包括：第一模型建立设备，所述第一模型建立设备用于建立所述第一模型。本发明通过利用第一模型对完成对目标定位框的识别，提高了对原始图像处理的效率。

可选地，所述第一模型建立设备在建立所述第一模型时包括：所述第一模型建立设备设置M个深度可分离卷积层，M为正整数；所述第一模型建立设备在所述深度可分离卷积层后设置N个标准卷积层，N为正整数，且M≥N；所述第一模型建立设备分别抽取K个所述深度可分离卷积层和L个标准卷积层作为目标图像的检测结果、类别标签和预测边界框的回归位置，其中K和L均为正整数，且K＜M，L＜N。本发明通过采用设置深度可分离卷积层和标准卷积层大幅降低提高了整个神经网络的运算速度，又保留了模型中预测边界框的位置与物体的标签层。

可选地，所述第一模型建立设备在建立所述第一模型时包括：所述第一模型建立设备设置13个深度可分离卷积层；所述第一模型建立设备在所述深度可分离卷积层后设置8个标准卷积层；所述第一模型建立设备分别抽取2个所述深度可分离卷积层和4个标准卷积层作为目标图像的检测结果、类别标签和预测边界框的回归位置。本发明通过设置13个深度可分离卷积层，8个标准卷积层一方面可以提高识别的精度又保证模型构成不过于复杂，保证了运算速度。

可选地，所述后台服务器对所述目标图像进行识别，以得到所述穿孔编码中每个孔洞的具体位置包括：所述移动端调用第二模型，通过所述第二模型对所述目标图像进行识别，以得到所述穿孔编码中每个孔洞的具体位置。本发明通过利用第二模型完成对穿孔编码中每个孔洞的具体位置的识别，通过将第一模型和第二模型进行分离，可以削减系统运行负担，减少逻辑错误，降低系统相关设备的配置要求。

可选地，所述钢瓶穿孔编码定位与识别系统还包括：第二模型建立设备，所述第二模型建立设备用于建立所述第二模型。本发明利用第二模型建立设备来建立第二模型可以提高穿孔编码中每个孔洞的具体位置的识别效率。

可选地，所述第二模型建立设备在建立所述第二模型时包括：所述第二模型建立设备将所述第二模型分为第一分支和第二分支；所述第二模型建立设备设置在所述第一分支中设置P个Conv层，Q个Relu层，R个Pooling层和S个Relu层full connection层；所述第二模型建立设备设置在所述第二分支中设置T个Conv层，U个Relu；其中，P、Q、R、T和U，均为正整数。

可选地，所述后台服务器还包括：根据预设的编码规则对所述穿孔编码中每个孔洞的具体位置进行解析，以得到最终识别结果。

可选地，所述第二模型建立设备在建立所述第二模型时包括：所述第二模型建立设备将所述第二模型分为第一分支和第二分支；所述第二模型建立设备设置在所述第一分支中设置13个Conv层，15个Relu层，4个Pooling层和4个Relu层full connection层；所述第二模型建立设备设置在所述第二分支中设置1个Conv层，1个Relu。

第二方面，本发明提供了一种钢瓶穿孔编码定位与识别方法，所述钢瓶穿孔编码定位与识别方法适用于本发明第一方面中所述的钢瓶穿孔编码定位与识别系统，包括如下步骤：所述移动端获取多个关于所述钢瓶的原始图像，至少部分所述原始述图像上具有穿孔编码；所述移动端对所述原始图像进行识别，以得到带有目标定位框的目标图像，所述穿孔编码位于所述目标定位框中；所述后台服务器获取由所述移动端发送的所述目标图像；所述后台服务器对所述目标图像进行识别，以得到所述穿孔编码中每个孔洞的具体位置；所述后台服务器根据所述每个孔洞的具体位置，得到关于所述钢瓶的唯一识别编码以及相关信息；所述后台服务器将所述相关信息反馈给所述移动端。本发明所提出的钢瓶穿孔编码定位与识别方法可以有效地对钢瓶上的穿孔编码进行识别，步骤简单，识别精度高，可以应用于室内或者室外的设备。

附图说明

图1为本发明钢瓶穿孔编码定位与识别系统实施例的框架图；

图2为本发明第一模型实施例的结构示意图；

图3为本发明用于第一模型训练的部分样例图像；

图4为本发明第二模型实施例的结构示意图；

图5为本发明用于第二模型训练的部分样例图像；

图6为本发明第一模型和第二模型每次迭代的训练损失和检测精度曲线；

图7为本发明钢瓶穿孔编码定位与识别方法实施例的流程图。

具体实施方式

下面将详细描述本发明的具体实施例，应当注意，这里描述的实施例只用于举例说明，并不用于限制本发明。在以下描述中，为了提供对本发明的透彻理解，阐述了大量特定细节。然而，对于本领域普通技术人员显而易见的是：不必采用这些特定细节来实行本发明。在其他实例中，为了避免混淆本发明，未具体描述公知的电路，软件或方法。

本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、设备和介质类实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可，这里就不再一一赘述。

至此，已经对本主题的特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作可以按照不同的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序，以实现期望的结果。在某些实施方式中，多任务处理和并行处理可以是有利的。

在本公开的各种实施方式中所使用的表述“第一”、“第二”、“第一”或“第二”可修饰各种部件而与顺序和/或重要性无关，但是这些表述不限制相应部件。以上表述仅配置为将元件与其它元件区分开的目的。例如，第一用户设备和第二用户设备表示不同的用户设备，虽然两者均是用户设备。例如，在不背离本公开的范围的前提下，第一元件可称作第二元件，类似地，第二元件可称作第一元件。

当一个元件(例如，第一元件)称为与另一元件(例如，第二元件)“(可操作地或可通信地)联接”或“(可操作地或可通信地)联接至”另一元件(例如，第二元件)或“连接至”另一元件(例如，第二元件)时，应理解为该一个元件直接连接至该另一元件或者该一个元件经由又一个元件(例如，第三元件)间接连接至该另一个元件。相反，可理解，当元件(例如，第一元件)称为“直接连接”或“直接联接”至另一元件(第二元件)时，则没有元件(例如，第三元件)插入在这两者之间。

请参见图1，本发明的一个实施例中所示出的一种钢瓶穿孔编码定位与识别系统，钢瓶穿孔编码定位与识别系统包括移动端100和后台服务器200，移动端100获取多个关于钢瓶的原始图像，至少部分原始述图像上具有穿孔编码；移动端100对原始图像进行识别，以得到带有目标定位框的目标图像，穿孔编码位于目标定位框中；后台服务器200获取由移动端100发送的目标图像；后台服务器200对目标图像进行识别，以得到穿孔编码中每个孔洞的具体位置。本发明所提出的钢瓶穿孔编码定位与识别系统可以有效地对钢瓶上的穿孔编码进行识别，系统构成简单，识别精度高，可以应用于室内或者室外的设备。

在一个可选的实施例中，移动端100也被称为行动装置、流动装置、手持装置等，可以是一种口袋大小的计算设备，可以包括有一个较小的显示屏幕、触控输入或是小型的键盘。相关的操作员可以通过它随时随地访问获得各种信息。移动端100可以包括但不限于智能手机、智能手表、可移动的个人电脑等设备。针对于本发明来说，移动端100还可以是专门用于图像获取的智能照相机、摄像机或者扫描枪等设备，只要其具有图像获取功能的相关设备即可。此外，后台服务器200可以包括服务器或者服务器集群，服务器与移动端100之间通信连接。

在一个可选的实施例中，移动端100获取多个关于钢瓶的原始图像，至少部分原始述图像上具有穿孔编码。可以通过操作员手持移动端100，通过移动端100完成对钢瓶的原始图像的采集，原始图像的数量可以包括一张或多张，当原始图像的数量为多张时，至少部分原始述图像上具有穿孔编码，当原始图像的数量为一张时，则该原始图像上具有关于该钢瓶的穿孔编码。

在一个可选的实施例中，移动端100对原始图像进行识别，以得到带有目标定位框的目标图像包括：移动端100调用第一模型，通过第一模型对原始图像进行识别，以得到带有目标定位框的目标图像。本发明通过利用第一模型完成对目标定位框的识别，进而定位穿孔编码的位置，为后续进一步识别做准备。

在一个可选的实施例中，钢瓶穿孔编码定位与识别系统还包括：第一模型建立设备300，第一模型建立设备300用于建立第一模型。其中，第一模型建立设备300可以包括但不限于计算机，利用计算机可以实现第一模型的建立以及训练。本发明通过利用第一模型对完成对目标定位框的识别，提高了对原始图像处理的效率。

在一个可选的实施例中，第一模型建立设备300在建立第一模型时包括：第一模型建立设备300设置M个深度可分离卷积层，M为正整数；第一模型建立设备300在深度可分离卷积层后设置N个标准卷积层，N为正整数，且M≥N；第一模型建立设备300分别抽取K个深度可分离卷积层和L个标准卷积层作为目标图像的检测结果、类别标签和预测边界框的回归位置，其中K和L均为正整数，且K＜M，L＜N。本发明通过采用设置深度可分离卷积层和标准卷积层大幅降低提高了整个神经网络的运算速度，又保留了模型中预测边界框的位置与物体的标签层。

更进一步地，第一模型建立设备300在建立第一模型时包括：第一模型建立设备300设置13个深度可分离卷积层；第一模型建立设备300在深度可分离卷积层后设置8个标准卷积层；第一模型建立设备300分别抽取2个深度可分离卷积层和4个标准卷积层作为目标图像的检测结果、类别标签和预测边界框的回归位置。本发明通过设置13个深度可分离卷积层，8个标准卷积层一方面可以提高识别的精度又保证模型构成不过于复杂，保证了运算速度。

请参见图2，本发明将SSD算法中图像特征提取的卷积层替代为第一模型的深度可分离卷积层，在不降低识别精度的同时，由于卷积层计算量的大幅降低提高了整个神经网络的运算速度，保留SSD模型中预测边界框的位置与物体的标签层。立体方块表示卷积操作得到的特征图。整个模型主要分为图像输入层、特征提取层、分类与目标框回归层和结果输出层。特征提取层主要利用了第一模型的前13层深度可分离卷积网络；分类与目标框回归层参考了SSD算法模型预测边界框的位置及物体的类别标签，在卷积层Conv13后增加了8个标准卷积层，并抽取6层(Conv11、Conv13、Conv14_2、Conv15_2、Conv16_2和Conv17_2)用作目标的检测，输出检测目标的分类标签和检测框的位置。

在一个可选的实施例中，在对第一模型进行训练包括：由于第一模型是基于Caffe-SSD平台实现的；根据第一模型训练数据格式的要求，将准备的样本数据进行格式转换，并修改配置文件中的类别数和类别标签。移动端100仅仅用于检测穿孔编码区域位置，因此类别仅为背景和穿孔编码区域两类。用于训练的部分样例图像如下图3所示，选择的钢瓶图片包括不同颜色、不同角度、不同光线强度以及不同远近距离等。

由于要在移动端100运行，训练模型时用CPU版本，便于测试模型性能。利用已有的预训练模型对模型参数进行措施化，在此基础上精炼出适合穿孔编码区域定位的模型。模型训练最大迭代次数设为2000，初始学习率为0.005，训练过程中每次迭代模型的训练损失和检测精度曲线如图6所示，其中图6中A为第一模型的训练损失和检测精度曲线、B为第二模型训练损失和检测精度曲线，可见穿孔编码区域定位的准确率可达到99.8％以上，迭代损失也逐渐从15降到了0.4以下。

在一个可选的实施例中，后台服务器200对目标图像进行识别，以得到穿孔编码中每个孔洞的具体位置包括：移动端100调用第二模型，通过第二模型对目标图像进行识别，以得到穿孔编码中每个孔洞的具体位置。本发明通过利用第二模型完成对穿孔编码中每个孔洞的具体位置的识别，通过将第一模型和第二模型进行分离，可以削减系统运行负担，减少逻辑错误，降低系统相关设备的配置要求。

在一个可选的实施例中，钢瓶穿孔编码定位与识别系统还包括：第二模型建立设备400，第二模型建立设备400用于建立第二模型。其中，第二模型建立设备400可以包括但不限于计算机，利用计算机可以实现第二模型的建立以及训练。本发明利用第二模型建立设备400来建立第二模型可以提高穿孔编码中每个孔洞的具体位置的识别效率。

在一个可选的实施例中，第二模型建立设备400在建立第二模型时包括：第二模型建立设备400将第二模型分为第一分支和第二分支；第二模型建立设备400设置在第一分支中设置P个Conv层，Q个Relu层，R个Pooling层和S个Relu层full connection层；第二模型建立设备400设置在第二分支中设置T个Conv层，U个Relu；其中，P、Q、R、T和U，均为正整数。

更进一步地，第二模型建立设备400在建立第二模型时包括：第二模型建立设备400将第二模型分为第一分支和第二分支；第二模型建立设备400设置在第一分支中设置13个Conv层，15个Relu层，4个Pooling层和4个Relu层full connection层；第二模型建立设备400设置在第二分支中设置1个Conv层，1个Relu。

请参见图4，本发明的第二模型的改进方面主要是针对目标检测的候选区域的推荐进行了优化，提出了一个Region Proposal Network(RPN)，RPN与第二模型共享卷积层输出的特征图，利用卷积操作将特征图映射为更低维的特征，并将特征送入两个分支，一个用于目标框的分类，一个用于目标框的回归。对目标框分类得分符合推荐阈值的所有ROI框，作为建议候选区域输入到第二模型的ROI池化层。根据共享特征图提取建议区域的特征，在经过全连接层后，分别输出每个建议区域的分类得分和最终的bounding-box。

在一个可选的实施例中，在对第二模型进行训练时包括：由于第二模型是基于纯Caffe平台实现的；训练数据是利用第二模型对含穿孔编码区域的原始钢瓶图像自动定位检测，并自动保存定位出的穿孔编码区域的截图，以此作为第二模型训练所需的图像样本，同时对原始穿孔标注文件的坐标位置进行自动调整以适应在新样本图像中的位置。类别为背景和穿孔两类，第二模型的部分训练图像如图5所示。在训练时，用GPU版本运行，并同样用已有的预训练模型对目标模型参数进行初始化，在此参数基础上进行精炼出适合穿孔特征的模型。模型训练最大迭代次数设为2000，初始学习率为0.001，训练过程中每次迭代模型的训练损失和检测精度曲线如图6所示，可见穿孔的检测准确率可达到96.8％以上，迭代损失也逐渐从2降到了0.3以下。

在一个可选的实施例中，后台服务器200还包括：根据预设的编码规则对穿孔编码中每个孔洞的具体位置进行解析，以得到最终识别结果。更进一步地，在利用预设的编码规则对穿孔编码中每个孔洞的具体位置进行解析时，可以通过将每个孔洞的具体位置与预建立的数据库中的孔洞的具体位置的分布情况进行比对，再通过设置一判断阈值，比如相似度在90％以上即可认为比对成功，具体比对的方法可以参照现有技术，此处就不再进行赘述。

在一个可选的实施例中，在实际环境中随机对不同颜色的钢瓶穿孔编码区域，在不同角度不同距离拍摄了100幅图像，其中90张含钢瓶穿孔编码区域，10张含钢瓶但没有穿孔编码区域，对模型进行验证。部分拍摄图像的定位及检测结果如图7所示。从结果得出，在CPU版本上训练的第一模型，对拍摄图像中穿孔编码区域的定位速度可以达到每副图像平均0.06秒，能够达到实时定位的要求；且90张图像准确定位出了88张，定位失败2副图像是由于光照条件过度偏暗导致，对另外10张只有钢瓶不含穿孔编码区域的图像未出现误检。以GPU版本训练的第二模型，对定位后穿孔编码区域进行穿孔检测，检测速度在当前硬件设备上可以达到每副图像平均1.1秒。且模型对不同光照条件、不同距离、不同角度等图像具有很好的鲁棒性。对定位出的88副图像，穿孔的检测精度达到99.9％以上，且误检率为0。

在一个可选的实施例中，所述后台服务器200还包括：根据所述每个孔洞的具体位置，得到关于所述钢瓶的唯一识别编码以及相关信息；更进一步地，每个孔洞的具体位置为接下来的准确识别奠定了坚实的基础。后台第二模型检测出穿孔位置后，根据钢瓶穿孔孔阵编码规则，最左边3个和最右边2个穿孔为编码区域定位孔，用于确定孔阵编码的左右顺序，为了与标准6行8列孔阵区域相对应，对检测出的穿孔区域通过旋转、缩放和平移变换进行微调，使其与标准孔阵编码区域一一对应，并生成唯一识别编码。然后比对该唯一识别编码在数据库中对应的钢瓶信息，进而得到关于钢瓶的生产时间、使用时长等信息。

在一个可选的实施例中，所述后台服务器200还包括：将所述相关信息反馈给所述移动端100。更进一步地，所述后台服务器在得到关于钢瓶的生产时间、使用时长等信息后，可以完成对其更新和反馈等操作。

请参见图7，本发明的一个实施例中所示出的一种钢瓶穿孔编码定位与识别方法，钢瓶穿孔编码定位与识别方法适用于本发明中钢瓶穿孔编码定位与识别系统的实施例，钢瓶穿孔编码定位与识别方法包括如下步骤：

S1、移动端获取多个关于钢瓶的原始图像，至少部分原始述图像上具有穿孔编码。

在一个可选的实施例中，移动端也被称为行动装置、流动装置、手持装置等，可以是一种口袋大小的计算设备，可以包括有一个较小的显示屏幕、触控输入或是小型的键盘。相关的操作员可以通过它随时随地访问获得各种信息。移动端可以包括但不限于智能手机、智能手表、可移动的个人电脑等设备。针对于本发明来说，移动端还可以是专门用于图像获取的智能照相机、摄像机或者扫描枪等设备，只要其具有图像获取功能的相关设备即可。此外，后台服务器可以包括服务器或者服务器集群，服务器与移动端之间通信连接。

在一个可选的实施例中，移动端获取多个关于钢瓶的原始图像，至少部分原始述图像上具有穿孔编码。可以通过操作员手持移动端，通过移动端完成对钢瓶的原始图像的采集，原始图像的数量可以包括一张或多张，当原始图像的数量为多张时，至少部分原始述图像上具有穿孔编码，当原始图像的数量为一张时，则该原始图像上具有关于该钢瓶的穿孔编码。

S2、移动端对原始图像进行识别，以得到带有目标定位框的目标图像，穿孔编码位于目标定位框中。

在一个可选的实施例中，移动端对原始图像进行识别，以得到带有目标定位框的目标图像包括：移动端调用第一模型，通过第一模型对原始图像进行识别，以得到带有目标定位框的目标图像。本发明通过利用第一模型完成对目标定位框的识别，进而定位穿孔编码的位置，为后续进一步识别做准备。

在一个可选的实施例中，钢瓶穿孔编码定位与识别方法还包括：提供第一模型建立设备，第一模型建立设备用于建立第一模型。其中，第一模型建立设备可以包括但不限于计算机，利用计算机可以实现第一模型的建立以及训练。本发明通过利用第一模型对完成对目标定位框的识别，提高了对原始图像处理的效率。

在一个可选的实施例中，第一模型建立设备在建立第一模型时包括：第一模型建立设备设置M个深度可分离卷积层，M为正整数；第一模型建立设备在深度可分离卷积层后设置N个标准卷积层，N为正整数，且M≥N；第一模型建立设备分别抽取K个深度可分离卷积层和L个标准卷积层作为目标图像的检测结果、类别标签和预测边界框的回归位置，其中K和L均为正整数，且K＜M，L＜N。本发明通过采用设置深度可分离卷积层和标准卷积层大幅降低提高了整个神经网络的运算速度，又保留了模型中预测边界框的位置与物体的标签层。

更进一步地，第一模型建立设备在建立第一模型时包括：第一模型建立设备设置13个深度可分离卷积层；第一模型建立设备在深度可分离卷积层后设置8个标准卷积层；第一模型建立设备分别抽取2个深度可分离卷积层和4个标准卷积层作为目标图像的检测结果、类别标签和预测边界框的回归位置。本发明通过设置13个深度可分离卷积层，8个标准卷积层一方面可以提高识别的精度又保证模型构成不过于复杂，保证了运算速度。

在一个可选的实施例中，本发明将SSD算法中图像特征提取的卷积层替代为第一模型的深度可分离卷积层，在不降低识别精度的同时，由于卷积层计算量的大幅降低提高了整个神经网络的运算速度，保留SSD模型中预测边界框的位置与物体的标签层。立体方块表示卷积操作得到的特征图。整个模型主要分为图像输入层、特征提取层、分类与目标框回归层和结果输出层。特征提取层主要利用了第一模型的前13层深度可分离卷积网络；分类与目标框回归层参考了SSD算法模型预测边界框的位置及物体的类别标签，在卷积层Conv13后增加了8个标准卷积层，并抽取6层(Conv11、Conv13、Conv14_2、Conv15_2、Conv16_2和Conv17_2)用作目标的检测，输出检测目标的分类标签和检测框的位置。

在一个可选的实施例中，在对第一模型进行训练包括：由于第一模型是基于Caffe-SSD平台实现的；根据第一模型训练数据格式的要求，将准备的样本数据进行格式转换，并修改配置文件中的类别数和类别标签。移动端仅仅用于检测穿孔编码区域位置，因此类别仅为背景和穿孔编码区域两类。用于训练的部分样例图像，选择的钢瓶图片包括不同颜色、不同角度、不同光线强度以及不同远近距离等。

由于要在移动端运行，训练模型时用CPU版本，便于测试模型性能。利用已有的预训练模型对模型参数进行措施化，在此基础上精炼出适合穿孔编码区域定位的模型。模型训练最大迭代次数设为2000，初始学习率为0.005，训练过程中每次迭代模型的训练损失和检测精度曲线如图6所示，可见穿孔编码区域定位的准确率可达到99.8％以上，迭代损失也逐渐从15降到了0.4以下。

S3、后台服务器获取由移动端发送的目标图像。

在一个可选的实施例中，后台服务器与移动端通信连接，也就是说，后台服务器可以通过无线或者无线网络与后台服务器相连接，待移动端通过第一模型完成对原始图像的处理后得到目标图像即可将其发送给后台服务器，通过上述设置可以实现一个后台服务器同时接收来自于多个不同的移动端的数据，有效提高了整个系统的运行速度，实现数据的多线处理。

S4、后台服务器对目标图像进行识别，以得到穿孔编码中每个孔洞的具体位置。

在一个可选的实施例中，后台服务器对目标图像进行识别，以得到穿孔编码中每个孔洞的具体位置包括：移动端调用第二模型，通过第二模型对目标图像进行识别，以得到穿孔编码中每个孔洞的具体位置。本发明通过利用第二模型完成对穿孔编码中每个孔洞的具体位置的识别，通过将第一模型和第二模型进行分离，可以削减系统运行负担，减少逻辑错误，降低系统相关设备的配置要求。

在一个可选的实施例中，钢瓶穿孔编码定位与识别方法还包括：提供第二模型建立设备，第二模型建立设备用于建立第二模型。其中，第二模型建立设备可以包括但不限于计算机，利用计算机可以实现第二模型的建立以及训练。本发明利用第二模型建立设备来建立第二模型可以提高穿孔编码中每个孔洞的具体位置的识别效率。

在一个可选的实施例中，第二模型建立设备在建立第二模型时包括：第二模型建立设备将第二模型分为第一分支和第二分支；第二模型建立设备设置在第一分支中设置P个Conv层，Q个Relu层，R个Pooling层和S个Relu层full connection层；第二模型建立设备设置在第二分支中设置T个Conv层，U个Relu；其中，P、Q、R、T和U，均为正整数。

更进一步地，第二模型建立设备在建立第二模型时包括：第二模型建立设备将第二模型分为第一分支和第二分支；第二模型建立设备设置在第一分支中设置13个Conv层，15个Relu层，4个Pooling层和4个Relu层full connection层；第二模型建立设备设置在第二分支中设置1个Conv层，1个Relu。

请参见图4，本发明的第二模型的改进方面主要是针对目标检测的候选区域的推荐进行了优化，提出了一个Region Proposal Network(RPN)，RPN与第二模型共享卷积层输出的特征图，利用卷积操作将特征图映射为更低维的特征，并将特征送入两个分支，一个用于目标框的分类，一个用于目标框的回归。对目标框分类得分符合推荐阈值的所有ROI框，作为建议候选区域输入到第二模型的ROI池化层。根据共享特征图提取建议区域的特征，在经过全连接层后，分别输出每个建议区域的分类得分和最终的bounding-box。

在一个可选的实施例中，在对第二模型进行训练时包括：由于第二模型是基于纯Caffe平台实现的；训练数据是利用第二模型对含穿孔编码区域的原始钢瓶图像自动定位检测，并自动保存定位出的穿孔编码区域的截图，以此作为第二模型训练所需的图像样本，同时对原始穿孔标注文件的坐标位置进行自动调整以适应在新样本图像中的位置。类别为背景和穿孔两类，第二模型的部分训练图像如图5所示。在训练时，用GPU版本运行，并同样用已有的预训练模型对目标模型参数进行初始化，在此参数基础上进行精炼出适合穿孔特征的模型。模型训练最大迭代次数设为2000，初始学习率为0.001，训练过程中每次迭代模型的训练损失和检测精度曲线如图6所示，可见穿孔的检测准确率可达到96.8％以上，迭代损失也逐渐从2降到了0.3以下。

在一个可选的实施例中，钢瓶穿孔编码定位与识别方法还包括：后台服务器根据预设的编码规则对穿孔编码中每个孔洞的具体位置进行解析，以得到最终识别结果。更进一步地，在利用预设的编码规则对穿孔编码中每个孔洞的具体位置进行解析时，可以通过将每个孔洞的具体位置与预建立的数据库中的孔洞的具体位置的分布情况进行比对，再通过设置一判断阈值，比如相似度在90％以上即可认为比对成功，具体比对的方法可以参照现有技术，此处就不再进行赘述。

在一个可选的实施例中，在实际环境中随机对不同颜色的钢瓶穿孔编码区域，在不同角度不同距离拍摄了100幅图像，其中90张含钢瓶穿孔编码区域，10张含钢瓶但没有穿孔编码区域，对模型进行验证。部分拍摄图像的定位及检测结果如图7所示。从结果得出，在CPU版本上训练的第一模型，对拍摄图像中穿孔编码区域的定位速度可以达到每副图像平均0.06秒，能够达到实时定位的要求；且90张图像准确定位出了88张，定位失败2副图像是由于光照条件过度偏暗导致，对另外10张只有钢瓶不含穿孔编码区域的图像未出现误检。以GPU版本训练的第二模型，对定位后穿孔编码区域进行穿孔检测，检测速度在当前硬件设备上可以达到每副图像平均1.1秒。且模型对不同光照条件、不同距离、不同角度等图像具有很好的鲁棒性。对定位出的88副图像，穿孔的检测精度达到99.9％以上，且误检率为0。

S5、所述后台服务器根据所述每个孔洞的具体位置，得到关于所述钢瓶的唯一识别编码以及相关信息；

在一个可选的实施例中，每个孔洞的具体位置为接下来的准确识别奠定了坚实的基础。后台第二模型检测出穿孔位置后，根据钢瓶穿孔孔阵编码规则，最左边3个和最右边2个穿孔为编码区域定位孔，用于确定孔阵编码的左右顺序，为了与标准6行8列孔阵区域相对应，对检测出的穿孔区域通过旋转、缩放和平移变换进行微调，使其与标准孔阵编码区域一一对应，并生成唯一识别编码。然后比对该唯一识别编码在数据库中对应的钢瓶信息，进而得到关于钢瓶的生产时间、使用时长等信息。

S6、所述后台服务器将所述相关信息反馈给所述移动端。

在一个可选的实施例中，所述后台服务器在得到关于钢瓶的生产时间、使用时长等信息后，可以完成对其更新和反馈等操作。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (3)

1.一种钢瓶穿孔编码定位与识别系统，所述钢瓶穿孔编码定位与识别系统包括移动端、第一模型建立设备、第二模型建立设备和后台服务器，其特征在于：

所述移动端获取多个关于所述钢瓶的原始图像，至少部分所述原始图像上具有穿孔编码；

所述移动端调用第一模型，通过所述第一模型对所述原始图像进行识别，以得到带有目标定位框的目标图像，所述穿孔编码位于所述目标定位框中，所述第一模型包括M个深度可分离卷积层和N个标准卷积层，且M≥N；

所述第一模型建立设备用于建立所述第一模型，所述第一模型建立设备在建立所述第一模型时包括：

所述第一模型建立设备设置M个深度可分离卷积层，M为正整数；

所述第一模型建立设备在所述深度可分离卷积层后设置N个标准卷积层，N为正整数；

所述第一模型建立设备分别抽取K个所述深度可分离卷积层和L个标准卷积层作为目标图像的检测结果、类别标签和预测边界框的回归位置，其中K和L均为正整数，且K＜M，L＜N；

所述后台服务器获取由所述移动端发送的所述目标图像；

所述移动端调用第二模型，通过所述第二模型对所述目标图像进行识别，以得到所述穿孔编码中每个孔洞的具体位置；

所述第二模型建立设备用于建立所述第二模型，所述第二模型建立设备在建立所述第二模型时包括：

所述第二模型建立设备将所述第二模型分为第一分支和第二分支；

所述第二模型建立设备设置在所述第一分支中设置P个Conv层，Q个Relu层，R个Pooling层和S个Relu层full connection层；

所述第二模型建立设备设置在所述第二分支中设置T个Conv层，U个Relu；

其中，P、Q、R、T和U，均为正整数；

所述后台服务器根据所述每个孔洞的具体位置和钢瓶穿孔孔阵编码规则，将最左边3个和最右边2个穿孔为编码区域定位孔，用于确定孔阵编码的左右顺序，为了与标准6行8列孔阵区域相对应，对检测出的穿孔区域通过旋转、缩放和平移变换进行微调，使其与标准孔阵编码区域一一对应，并生成唯一识别编码，进而得到关于钢瓶的生产时间、使用时长；

所述后台服务器将所述生产时间和所述使用时常反馈给所述移动端。

2.根据权利要求1所述的钢瓶穿孔编码定位与识别系统，其特征在于，所述后台服务器还包括：

根据预设的编码规则对所述穿孔编码中每个孔洞的具体位置进行解析，以得到最终识别结果。

3.一种钢瓶穿孔编码定位与识别方法，所述钢瓶穿孔编码定位与识别方法适用于权利要求1-2中任意一项所述的钢瓶穿孔编码定位与识别系统，其特征在于，包括如下步骤：

所述移动端获取多个关于所述钢瓶的原始图像，至少部分所述原始图像上具有穿孔编码；

所述移动端调用第一模型，通过所述第一模型对所述原始图像进行识别，以得到带有目标定位框的目标图像，所述穿孔编码位于所述目标定位框中，所述第一模型包括M个深度可分离卷积层和N个标准卷积层，且M≥N；

所述第一模型建立设备用于建立所述第一模型，所述第一模型建立设备在建立所述第一模型时包括：

所述第一模型建立设备设置M个深度可分离卷积层，M为正整数；

所述第一模型建立设备在所述深度可分离卷积层后设置N个标准卷积层，N为正整数；

所述第一模型建立设备分别抽取K个所述深度可分离卷积层和L个标准卷积层作为目标图像的检测结果、类别标签和预测边界框的回归位置，其中K和L均为正整数，且K＜M，L＜N；

所述后台服务器获取由所述移动端发送的所述目标图像；

所述移动端调用第二模型，通过所述第二模型对所述目标图像进行识别，以得到所述穿孔编码中每个孔洞的具体位置；

所述第二模型建立设备用于建立所述第二模型，所述第二模型建立设备在建立所述第二模型时包括：

所述第二模型建立设备将所述第二模型分为第一分支和第二分支；

所述第二模型建立设备设置在所述第一分支中设置P个Conv层，Q个Relu层，R个Pooling层和S个Relu层full connection层；

所述第二模型建立设备设置在所述第二分支中设置T个Conv层，U个Relu；

其中，P、Q、R、T和U，均为正整数；

所述后台服务器根据所述每个孔洞的具体位置和钢瓶穿孔孔阵编码规则，将最左边3个和最右边2个穿孔为编码区域定位孔，用于确定孔阵编码的左右顺序，为了与标准6行8列孔阵区域相对应，对检测出的穿孔区域通过旋转、缩放和平移变换进行微调，使其与标准孔阵编码区域一一对应，并生成唯一识别编码，进而得到关于钢瓶的生产时间、使用时长；

所述后台服务器将所述生产时间和所述使用时常反馈给所述移动端。