CN112926563A

CN112926563A - 一种钢卷喷印标记故障诊断系统

Info

Publication number: CN112926563A
Application number: CN202110203628.1A
Authority: CN
Inventors: 樊松; 程万胜; 马龙鑫
Original assignee: University of Science and Technology Liaoning USTL
Current assignee: University of Science and Technology Liaoning USTL
Priority date: 2021-02-23
Filing date: 2021-02-23
Publication date: 2021-06-08
Anticipated expiration: 2041-02-23
Also published as: CN112926563B

Abstract

本发明属于图像识别及故障诊断技术领域，具体涉及一种钢卷喷印标记故障诊断系统。喷印标记信息包含英文字母、阿拉伯数字和厂标图像信息。利用钢卷曲面弧度矫正算法，将喷印在曲面的信息展开成平面信息。利用二次分割算法，判断标记信息是否有粘连故障，并通过粘连度诊断粘连故障发生程度。利用专门训练的神经网络对分割后的标记信息进行分类，可识别标记信息，并将其与生产数据信息进行对比，可检测生产信息不一致故障。将一致的字符信息对应的字模图像与检测图像进行对比，并通过扭曲度和缺失度诊断扭曲故障和缺失故障的发生程度，最后，综合粘连度、扭曲度、缺失度指标形成质量评估指数给出钢卷喷印标记的综合故障诊断情况。

Description

一种钢卷喷印标记故障诊断系统

技术领域

本发明属于图像识别及故障诊断技术领域，具体涉及一种钢卷喷印标记故障诊断系统。

背景技术

钢铁冶金企业由于产品跟踪和质量追溯等原因，需要将某些重要的生产信息(生产日期、钢种、批号、规格、牌号、班次、国标、操作员号、合同号等)标记在产品上。传统钢卷标记由工人手动完成，由于劳工强度高、工作环境恶劣及工人操作疏忽等原因，容易出现标记内容与应标记信息不一致异常。

申请号为201210065050.9的中国发明专利公开了一种钢管在线自动信息跟踪方法，钢管原始信息通过接口传递到钢管信息标识系统中，该系统将数字量的原始信息转换成条码+数字量信息标识在钢管表面，信息识别系统在生产线的各个工位中采集钢管表面的图像，并将该图像转换为可记录的数字量原始信息，通过工业网络信息接口系统将所述数字量信息与生产线上各个工位中产生的生产信息相结合，最终实现钢管信息的补充。该方法不限于用在钢管生产线，在钢板或者其他条件较恶劣的生产线都可以应用。

现代企业在采用上述自动标记系统时，由于机械故障和喷嘴堵塞等原因，容易出现标记扭曲、缺失、粘连等异常。这些异常严重时，可以对识别系统造成严重干扰，甚至使识别系统出现错误，亟待解决，现有公开文献未见报道。

发明内容

本发明的目的是提供一种钢卷喷印标记故障诊断系统，克服现有技术的不足，在辅助光源照明条件下，通过图像采集系统和图像处理系统，保障在不同的自然光照条件下都能实现有效检测实际标记内容与应标记信息不一致、标记信息扭曲、缺失、粘连等故障，并对扭曲度、缺失度、粘连度给出综合评价结果，并将该结果记录到数据库中，使包含有英文字母、阿拉伯数字和厂标图像信息的喷印标记信息成为产品跟踪和质量追溯的重要手段。

为实现上述目的，本发明通过以下技术方案实现：

一种钢卷喷印标记故障诊断系统，其特征在于，包括光源控制系统、图像采集系统和图像处理系统，其中，光源控制系统包括亮度调节单元和波长调节单元，使被采集喷印标记的亮度和对比度适中；图像采集系统中设有工业相机，包括相机视角调整单元、图像采集单元和图像传输单元，图像采集单元采集钢卷曲面喷的标记信息并经图像传输单元发送至图像处理系统；所述图像处理系统中包括图像预处理单元、兴趣区域提取单元、标记识别单元、标记故障诊断单元和输出显示单元，其中：所述图像预处理单元用于将采集的彩色图像变换为黑白图像、对黑白图像进行降噪处理、对曲面图像采用圆柱展开法矫正为平面图像，圆柱展开法在多行字符情况下可有效避免行字符分割错误；所述兴趣区域提取单元用于将图中有用的标记信息与背景信息进行分离，并将分离出的标记信息进行分割，使分割后的每个区域只包含一个标记信息；所述标记识别单元首先将提取出的不同分辨率的图像，归一化为统一分辨率，然后采用针对喷印钢卷标记预训练好的深度学习网络对所采集的图像样本进行分类识别；所述标记故障诊断单元可诊断喷印标记与生产计划一致性故障和喷印标记生产质量故障；通过对扭曲度、缺失度和粘连度设定上下限值，根据每种情况单独做出超限报警；所述输出显示单元通过网络将标记诊断结果信息传送至上位机或者移动终端中进行显示。

与现有技术相比，本发明的有益效果如下：1)可针对钢卷等曲面上喷印的标记信息在生产过程中出现的各种故障进行有效的检测，及时发现喷印标记故障，防止对识别系统造成干扰或使识别系统出现错误。2)可满足钢卷喷印自动生产线的生产需求，应用于智能化工厂，提高钢卷喷印标记的生产质量稳定性、降低企业因钢卷喷印标记质量问题产生的时间、人力和资源生产成本，使包含有英文字母、阿拉伯数字和厂标图像信息的喷印标记信息成为产品跟踪和质量追溯的重要有力手段。3)本发明不只适用于钢卷上喷印字符故障诊断，也适用于其他场合，比如食品包装、轮胎、钢管、铝塑管、电缆、耐火材料等生产领域，经济效益和社会效益是巨大的。

附图说明

图1是本发明一种钢卷喷印标记故障诊断系统实施例结构示意框图；

图2是本发明一种钢卷标记字符故障诊断方法实施例的程序流程图；

图3是本发明实施例中曲面字符圆柱展开成平面图像示意图；

图4是本发明实施例中神经网络训练用的BP神经网络拓扑结构图；

图5是本发明粘连故障检测过程实施例示意图；

图6是本发明喷印标记扭曲故障和标记不一致故障检测过程实施例示意图；

图7是本发明喷印标记缺失故障和标记不一致故障检测过程实施例示意图。

具体实施方式

下面将结合本发明中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

以下描述请结合某实施例场景进行，比如针对钢卷上某串文字，具体是如何实现采集和信息处理的，最好相应补充图，以便说明和理解。具体实施例是使本申请与现有技术相区分的说明，请把技术的必要技术特征，与现有技术区分最明显的部分充分展示，突出创造性。

见图1-图3，是本发明一种钢卷喷印标记故障诊断系统实施例结构示意图，包括光源控制系统、图像采集系统和图像处理系统，其中，光源控制系统包括亮度调节单元和波长调节单元，使被采集喷印标记的亮度和对比度适中；图像采集系统中设有工业相机，包括相机视角调整单元、图像采集单元和图像传输单元，图像采集单元采集钢卷曲面喷的标记信息并经图像传输单元发送至图像处理系统；图像处理系统中包括图像预处理单元、兴趣区域提取单元、标记识别单元、标记故障诊断单元和输出显示单元，其中：图像预处理单元用于将采集的彩色图像变换为黑白图像、对黑白图像进行降噪处理、对曲面图像采用圆柱展开法矫正成平面图像，圆柱展开法在多行字符情况下可有效避免行字符分割错误；兴趣区域提取单元用于将图中有用的标记信息与背景信息进行分离，并将分离出的标记信息进行分割，使分割后的每个区域只包含一个标记信息；标记识别单元首先将提取出的不同分辨率的图像，归一化为统一分辨率，然后采用针对喷印钢卷标记预训练好的深度学习网络对所采集的图像样本进行分类识别；标记故障诊断单元可诊断喷印标记与生产计划一致性故障和喷印标记生产质量故障；通过对扭曲度、缺失度和粘连度设定上下限值，根据每种情况单独做出超限报警；输出显示单元通过网络将标记诊断结果信息传送至上位机或者移动终端中进行显示。

本发明的分割方法是在矫正后的平面图像上进行行扫描，即将每行图像上拥有的黑色像素进行求和作为该行的信息统计量，并将统计量超过固定阈值的区域确定为标记所在行范围，并提取该范围图像作为行分割图像，然后对行分割图像进行列扫描，即将每列图像上拥有的黑色像素进行求和作为该列的信息统计量，并将统计量超过固定阈值的区域确定为标记所在列范围，并提取该范围图像作为字符分割备选图像，然后，根据字符分割备选图像的宽度如果大于固定阈值，则需要对该字符分割备选图像进行二次分割，二次分割算法具体为：若字符串图像宽度为

字符个数为n_chars，计算出单个字符的平均宽度

统计单字符区域集R_char[i]中各个区域的宽度w[i]；计算字符宽度w[i]与平均宽度w_m的商，并以四舍五入的方式取整为n，n＝round(w[i]|/w_m)，若n＞1，则认为字符粘连；腐蚀运算就是求局部最小值的操作，定义为图像(称为I)与核(称为C)进行卷积:

I_Erode(C)＝Ie C＝{r|r-c∈I,c∈C}——公式1

循环进行如下操作，直到确定分割位置，即令f(t)取得0的位置

为分割线

公式2中，I表示图像，(r,c)∈I表示像素点(r,c)在图像上，C_t表示图像第t列像素点的纵坐标，h为图像高度，χ(r,c)为标记函数，取值{1,0}，1表示像素点(r,c)在区域上。

最终分割位置

满足下公式3：

字符粘连率(CharAdhesionRate,CAR)定义为：总共有n_char个字符，则：

字符缺失异常检测方法：首先提取字符图像的轮廓，并计算轮廓区域占据像素的个数作为字符面积A_char。然后，采用相同方法提取字符模板的字符面积A_model。当满足下面公式5时，可以认为检测到字符缺失异常：

A_model-A_char＞γ·A_model——公式5

公式5中，γ∈[0.1 0.7]为敏感系数，敏感系数越小越敏感。

当检测到有缺失异常发生后，定义字符缺失率(Char Defection Rate,CDR)计算具体的缺失程度，如下公式6：

当字符缺失率为正值时，被检测字符比字模缺少了一部分信息。当字符缺失率为负值时，由于只评估缺失程度，所以将其取为零值。

字符扭曲异常检测方法：首先提取字符图像的轮廓，并计算轮廓区域周长像素的个数作为字符周长P_char；然后，采用相同方法提取字符模板的字符周长P_model。当满足下面公式7时，可以认为检测到字符扭曲异常：

|P_char-P_model|＞μ·P_model——公式7

公式7中，μ∈[0.05 0.5]为敏感系数，敏感系数越小越敏感。

当检测到有扭曲异常发生后，定义字符扭曲率(Char Distortion Rate,CDTR)计算具体的扭曲程度，如下公式8：

字符扭曲率可能超过100％，尤其是当字符存在缺失或扭曲变形比较严重的时候。

实施例中，喷印标记与生产计划一致性故障是通过将识别的标记信息与数据库中记录的生产计划数据信息进行对比，若不一致产生报警信号。喷印标记生产质量故障是将识别出的标记信息与对应的标记模型信息进行对比分析，采用轮廓信息定义扭曲程度、采用面积信息定义缺失程度、采用连通信息定义粘连程度。网络为TCP/IP、UDP、串行总线、Profibus中的任一种或任两种以上组合。

本发明一种钢卷喷印标记故障诊断系统的工作过程包括如下步骤：

S1：使用550nm波长的光源照明，配合配有中心波长为550nm滤光片的工业摄像机，采集钢卷喷印标记图像；

S2：将采集到的彩色图像的三个颜色通道R、G、B上做软件滤波处理，降低图像噪声和现场飞溅的喷涂小点干扰，采用圆柱展开法矫正为平面图像；

S3：根据字符宽高比、字符间距等特征提取平面图像中的兴趣区域，即钢卷喷印字符所在区域图像；

S4：采用二次分割方法识别粘连字符个数，计算粘连度指标，并将粘连的字符进行分割；

S5：将分割后的字符进行图像尺寸归一化，并将归一化后的单个字符图像作为输入，输入到深度学习网络，根据训练好的网络参数，对该字符进行识别；

S6、将识别的单个字符与生产信息数据库中的生产计划字符信息进行一致性对比，若不一致，产生不一致报警信号，并将报警信息记录到数据库中；

S7、将识别出的字符对应的喷印字符标准模板图像读出，通过对比字模图像与喷印字符图像的面积特征，获得字符缺失度评价指标，通过对比字模图像与喷印字符图像的轮廓特征，获得字符扭曲度评价指标，可设定缺失度和扭曲度上限，并对超过上限的情况产生字符缺失报警和字符扭曲报警，并记录到数据库；

S8、根据字符粘连度、缺失度、扭曲度指标得到喷印质量指标，给出综合评价结果，并将结果记录到数据库中；

S9、喷印字符综合评价结果，字符粘连度，字符缺失度，字符扭曲度，字符粘连报警、字符缺失报警、字符扭曲报警等都可通过数据库获得信息并传送到上位机或移动显示终端中。

见图4，是本发明实施例中神经网络训练用的BP神经网络拓扑结构图，x₁,x₂,L L,x_n标记为绿色是网络输入层，y₁,y₂,L L,y_p标记为蓝色是网络预测值，

标记为红色是隐含层j 的第q个神经元，

其中，a₀为偏置单元，未在图中画出。g(·)为激活函数，

为第j-1层第m个神经元向第j层第q个神经元传递的权重值。激活函数可以是一个线性函数，也可以是一个非线性函数，它决定了BP 神经网络的映射性质。

BP神经网络结构的确定需要考虑以下因素：输入节点数、网络层数、输出节点数、隐层节点数、激活函数。输入节点数：针对本文钢卷喷印标记识别问题，将单个字符图像大小归一化为72×126分辨率的图像，这样图像中有9072个像素点。这些像素点作为网络的输入，因此

表示第i个样本是一个9072维的列向量。网络层数：3 层结构。输出节点数：针对钢卷标记现场可能出现的字符情况，字符可能出现英文大写字母 A～Z，阿拉伯数字0～9。因此，一共组成p＝36个分类，最终的输出为

也可以理解为最终结果为p分类中概率最大的那类。隐层节点数：隐层节点数为3000。

激活函数：为sigmoid函数，公式9如下：

神经网络的训练，分为前向传播过程，和反向传播过程，针对本文BP网络结构，最终，需要训练出参数

i∈{1,2,L L,m}，j∈{0,1,L L,n}，j取0时为偏置单元，和参数

i∈{1,2,L L,p}，j∈{0,1,L L,m}。

(1)正向传播：

首先，由某一个输入样本组成的输入层为第一层和第一层权重参数共同计算出第二层的输入，如下公式10：

其中x₀为偏置单元。然后，由计算出的第二层输入和第二层权重参数共同计算出第三层即输出层的结果：

其中

为偏置单元。设

其中p＝36，是36维列向量，为神经网络预测值。(h_Θ(x))_i为第i个输出预测值。

神经网络的代价函数为：

其中，M为样本个数，p为输出的分类类别数，L为神经网络层数，s_l为第l层神经元个数，

为神经网络第l-1层向第l层传递的权重参数。

神经网络的训练过程就是希望求取使代价函数最小的对应权重参数，即：

若想求解式公式8需要计算

并将输出层的误差，反向传播到之前的每一层来修正每一层的权重参数。

(2)反向传播：

首先，使用输出预测值h_Θ(x)和该样本的实际输出值

计算输出误差：

然后，按照下式计算δ^(L-1)、δ^(L-2)、…、δ⁽²⁾：

δ^(L-1)＝δ^(L-1)+δ^(L)(a^(L-1))^T——公式15

BP神经网络参数训练方法步骤如下表1所示。

表1 BP神经网络参数训练步骤表

见图5，是本发明粘连故障检测过程实施例示意图；见图6，是本发明喷印标记扭曲故障和标记不一致故障检测过程实施例示意图；见图7，是本发明喷印标记缺失故障和标记不一致故障检测过程实施例示意图。三个实施例分别从粘连、扭曲、缺失三种情况进行检测和分析得出各自的粘连率、扭曲率和缺失率参数，并可根据评价指标给出评价结果，存储到数据库中，也可以发送上位机，当参数起过指标上限时，也可以发出报警给上位机。

以上实施例仅是为详细说明本发明的目的、技术方案和有益效果而选取的具体实例，但不应该限制发明的保护范围，凡在不违背本发明的精神和原则的前提下，所作的种种修改、等同替换以及改进，均应落入本发明的保护范围之内。

Claims

1.一种钢卷喷印标记故障诊断系统，其特征在于，包括光源控制系统、图像采集系统和图像处理系统，其中，光源控制系统包括亮度调节单元和波长调节单元，使被采集喷印标记的亮度和对比度适中；图像采集系统中设有工业相机，包括相机视角调整单元、图像采集单元和图像传输单元，图像采集单元采集钢卷曲面喷的标记信息并经图像传输单元发送至图像处理系统；所述图像处理系统中包括图像预处理单元、兴趣区域提取单元、标记识别单元、标记故障诊断单元和输出显示单元，其中：

所述图像预处理单元用于将采集的彩色图像变换为黑白图像、对黑白图像进行降噪处理、对曲面图像采用圆柱展开法矫正为平面图像，圆柱展开法在多行字符情况下可有效避免行字符分割错误；

所述兴趣区域提取单元用于将图中有用的标记信息与背景信息进行分离，并将分离出的标记信息进行分割，使分割后的每个区域只包含一个标记信息；

所述标记识别单元首先将提取出的不同分辨率的图像，归一化为统一分辨率，然后采用针对喷印钢卷标记预训练好的深度学习网络对所采集的图像样本进行分类识别；

所述标记故障诊断单元可诊断喷印标记与生产计划一致性故障和喷印标记生产质量故障；通过对扭曲度、缺失度和粘连度设定上下限值，根据每种情况单独做出超限报警；

所述输出显示单元通过网络将标记诊断结果信息传送至数据库、上位机或者移动终端中进行显示。

2.根据权利要求1所述的一种钢卷喷印标记故障诊断系统，其特征在于，所述分割的方法在矫正后的平面图像上进行逐行扫描，将每行图像上拥有的黑色像素进行求和作为该行的信息统计量，并将统计量超过固定阈值的区域确定为标记所在行范围，并提取该范围图像作为行分割图像，然后对行分割图像进行列扫描，将每列图像上拥有的黑色像素进行求和作为该列的信息统计量，并将统计量超过固定阈值的区域确定为标记所在列范围，并提取该范围图像作为字符分割备选图像，然后，根据字符分割备选图像的宽度如果大于固定阈值，则需要对该字符分割备选图像进行二次分割，二次分割算法具体为：若字符串图像宽度为

字符个数为n_chars，计算出单个字符的平均宽度

统计单字符区域集R_char[i]中各个区域的宽度w[i]；计算字符宽度w[i]与平均宽度w_m的商，并以四舍五入的方式取整为n，n＝round(w[i]/w_m)，若n＞1，则认为字符粘连；腐蚀运算就是求局部最小值的操作，定义为图像I与核C进行卷积:

I_Erode(C)＝Ie C＝{r|r-c∈I,c∈C}——公式1

为分割线

公式2中，I表示图像，(r,c)∈I表示像素点(r,c)在图像上，C_t表示图像第t列像素点的纵坐标，h为图像高度，χ(r,c)为标记函数，取值{1,0}，1表示像素点(r,c)在区域上；

最终分割位置

满足下式：

字符粘连率定义为：总共有n_char个字符，则：

字符缺失异常检测方法：首先提取字符图像的轮廓，并计算轮廓区域占据像素的个数作为字符面积A_char；然后，采用相同方法提取字符模板的字符面积A_model；当满足下面公式时，可以认为检测到字符缺失异常：

A_model-A_char＞γ·A_model——公式5

公式5中，γ∈[0.1 0.7]为敏感系数，敏感系数越小越敏感；当检测到有缺失异常发生后，定义字符缺失率计算具体的缺失程度，如下式：

当字符缺失率为正值时，被检测字符比字模缺少了一部分信息；当字符缺失率为负值时，由于只评估缺失程度，所以将其取为零值；

字符扭曲异常检测方法：首先提取字符图像的轮廓，并计算轮廓区域周长像素的个数作为字符周长P_char；然后，采用相同方法提取字符模板的字符周长P_model；当满足下面公式7时，可以认为检测到字符扭曲异常：

|P_char-P_model|＞μ·P_model——公式7

公式7中，μ∈[0.05 0.5]为敏感系数，敏感系数越小越敏感；当检测到有扭曲异常发生后，定义字符扭曲率计算具体的扭曲程度，见公式8：

当字符存在缺失或扭曲变形比较严重时，字符扭曲率可能超过100％。

3.根据权利要求1所述的一种钢卷喷印标记故障诊断系统，其特征在于，所述喷印标记与生产计划一致性故障是通过将识别的标记信息与数据库中记录的生产计划数据信息进行对比，若不一致产生报警信号。

4.根据权利要求1所述的一种钢卷喷印标记故障诊断系统，其特征在于，所述喷印标记生产质量故障是将识别出的标记信息与对应的标记模型信息进行对比分析，采用轮廓信息定义扭曲程度、采用面积信息定义缺失程度、采用连通信息定义粘连程度。

5.根据权利要求1所述的一种钢卷喷印标记故障诊断系统，其特征在于，所述网络为TCP/IP、UDP、串行总线、Profibus中的任一种或任两种以上组合。

6.根据权利要求1所述的一种钢卷喷印标记故障诊断系统，其特征在于，其故障诊断工作的过程包括如下步骤：

S1、使用光源照明，以及配有滤光片的工业摄像机，采集钢卷喷印标记图像；

S2、将采集到的彩色图像的三个颜色通道R、G、B上做软件滤波处理，降低图像噪声和现场飞溅的喷涂小点干扰，采用圆柱展开法矫正图像；

S3、根据字符宽高比、字符间距等特征提取图像中的兴趣区域，即钢卷喷印字符所在区域图像；

S4、采用二次分割方法识别粘连字符个数，计算粘连度指标，并将粘连的字符进行分割；

S5、将分割后的字符进行图像尺寸归一化，并将归一化后的单个字符图像作为输入，输入到深度学习网络，根据训练好的网络参数，对该字符进行识别；

7.根据权利要求6所述的一种钢卷喷印标记故障诊断系统，其特征在于，所述光源照明的波长分别为550nm和980nm。

8.根据权利要求6所述的一种钢卷喷印标记故障诊断系统，其特征在于，所述滤光片为中心波长为550nm和980nm的滤光片。