CN112926563B - 一种钢卷喷印标记故障诊断系统 - Google Patents
一种钢卷喷印标记故障诊断系统 Download PDFInfo
- Publication number
- CN112926563B CN112926563B CN202110203628.1A CN202110203628A CN112926563B CN 112926563 B CN112926563 B CN 112926563B CN 202110203628 A CN202110203628 A CN 202110203628A CN 112926563 B CN112926563 B CN 112926563B
- Authority
- CN
- China
- Prior art keywords
- character
- image
- information
- degree
- mark
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 229910000831 Steel Inorganic materials 0.000 title claims abstract description 48
- 239000010959 steel Substances 0.000 title claims abstract description 48
- 238000007639 printing Methods 0.000 title claims abstract description 40
- 238000003745 diagnosis Methods 0.000 title claims abstract description 30
- 239000007921 spray Substances 0.000 title claims abstract description 25
- 238000004519 manufacturing process Methods 0.000 claims abstract description 34
- 230000011218 segmentation Effects 0.000 claims abstract description 17
- 238000001514 detection method Methods 0.000 claims abstract description 9
- 239000011159 matrix material Substances 0.000 claims abstract description 3
- 238000000034 method Methods 0.000 claims description 40
- 238000012217 deletion Methods 0.000 claims description 14
- 230000037430 deletion Effects 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 11
- 230000035945 sensitivity Effects 0.000 claims description 11
- 238000011156 evaluation Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 10
- 230000005540 biological transmission Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 239000003550 marker Substances 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000013135 deep learning Methods 0.000 claims description 5
- 238000005507 spraying Methods 0.000 claims description 5
- 230000003287 optical effect Effects 0.000 claims description 4
- 230000005856 abnormality Effects 0.000 claims description 3
- 238000005286 illumination Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 230000000903 blocking effect Effects 0.000 claims description 2
- 238000004891 communication Methods 0.000 claims description 2
- 230000003628 erosive effect Effects 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- 239000000284 extract Substances 0.000 claims 1
- 238000013528 artificial neural network Methods 0.000 abstract description 15
- 238000012937 correction Methods 0.000 abstract description 2
- 238000013441 quality evaluation Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 9
- 238000012549 training Methods 0.000 description 6
- 230000004913 activation Effects 0.000 description 4
- 210000002569 neuron Anatomy 0.000 description 4
- 239000000047 product Substances 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 2
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- KMIPKYQIOVAHOP-YLGJWRNMSA-N cefditoren Chemical compound S([C@@H]1[C@@H](C(N1C=1C(O)=O)=O)NC(=O)\C(=N/OC)C=2N=C(N)SC=2)CC=1\C=C/C=1SC=NC=1C KMIPKYQIOVAHOP-YLGJWRNMSA-N 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009851 ferrous metallurgy Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 239000011819 refractory material Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/148—Segmentation of character regions
- G06V30/153—Segmentation of character regions using recognition of characters or words
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Image Processing (AREA)
Abstract
本发明属于图像识别及故障诊断技术领域，具体涉及一种钢卷喷印标记故障诊断系统。喷印标记信息包含英文字母、阿拉伯数字和厂标图像信息。利用钢卷曲面弧度矫正算法，将喷印在曲面的信息展开成平面信息。利用二次分割算法，判断标记信息是否有粘连故障，并通过粘连度诊断粘连故障发生程度。利用专门训练的神经网络对分割后的标记信息进行分类，可识别标记信息，并将其与生产数据信息进行对比，可检测生产信息不一致故障。将一致的字符信息对应的字模图像与检测图像进行对比，并通过扭曲度和缺失度诊断扭曲故障和缺失故障的发生程度，最后，综合粘连度、扭曲度、缺失度指标形成质量评估指数给出钢卷喷印标记的综合故障诊断情况。
Description
技术领域
本发明属于图像识别及故障诊断技术领域，具体涉及一种钢卷喷印标记故障诊断系统。
背景技术
钢铁冶金企业由于产品跟踪和质量追溯等原因，需要将某些重要的生产信息(生产日期、钢种、批号、规格、牌号、班次、国标、操作员号、合同号等)标记在产品上。传统钢卷标记由工人手动完成，由于劳工强度高、工作环境恶劣及工人操作疏忽等原因，容易出现标记内容与应标记信息不一致异常。
申请号为201210065050.9的中国发明专利公开了一种钢管在线自动信息跟踪方法，钢管原始信息通过接口传递到钢管信息标识系统中，该系统将数字量的原始信息转换成条码+数字量信息标识在钢管表面，信息识别系统在生产线的各个工位中采集钢管表面的图像，并将该图像转换为可记录的数字量原始信息，通过工业网络信息接口系统将所述数字量信息与生产线上各个工位中产生的生产信息相结合，最终实现钢管信息的补充。该方法不限于用在钢管生产线，在钢板或者其他条件较恶劣的生产线都可以应用。
现代企业在采用上述自动标记系统时，由于机械故障和喷嘴堵塞等原因，容易出现标记扭曲、缺失、粘连等异常。这些异常严重时，可以对识别系统造成严重干扰，甚至使识别系统出现错误，亟待解决，现有公开文献未见报道。
发明内容
本发明的目的是提供一种钢卷喷印标记故障诊断系统，克服现有技术的不足，在辅助光源照明条件下，通过图像采集系统和图像处理系统，保障在不同的自然光照条件下都能实现有效检测实际标记内容与应标记信息不一致、标记信息扭曲、缺失、粘连等故障，并对扭曲度、缺失度、粘连度给出综合评价结果，并将该结果记录到数据库中，使包含有英文字母、阿拉伯数字和厂标图像信息的喷印标记信息成为产品跟踪和质量追溯的重要手段。
为实现上述目的，本发明通过以下技术方案实现：
一种钢卷喷印标记故障诊断系统，其特征在于，包括光源控制系统、图像采集系统和图像处理系统，其中，光源控制系统包括亮度调节单元和波长调节单元，使被采集喷印标记的亮度和对比度适中；图像采集系统中设有工业相机，包括相机视角调整单元、图像采集单元和图像传输单元，图像采集单元采集钢卷曲面喷的标记信息并经图像传输单元发送至图像处理系统；所述图像处理系统中包括图像预处理单元、兴趣区域提取单元、标记识别单元、标记故障诊断单元和输出显示单元，其中：所述图像预处理单元用于将采集的彩色图像变换为黑白图像、对黑白图像进行降噪处理、对曲面图像采用圆柱展开法矫正为平面图像，圆柱展开法在多行字符情况下可有效避免行字符分割错误；所述兴趣区域提取单元用于将图中有用的标记信息与背景信息进行分离，并将分离出的标记信息进行分割，使分割后的每个区域只包含一个标记信息；所述标记识别单元首先将提取出的不同分辨率的图像，归一化为统一分辨率，然后采用针对喷印钢卷标记预训练好的深度学习网络对所采集的图像样本进行分类识别；所述标记故障诊断单元可诊断喷印标记与生产计划一致性故障和喷印标记生产质量故障；通过对扭曲度、缺失度和粘连度设定上下限值，根据每种情况单独做出超限报警；所述输出显示单元通过网络将标记诊断结果信息传送至上位机或者移动终端中进行显示。
与现有技术相比，本发明的有益效果如下：1)可针对钢卷等曲面上喷印的标记信息在生产过程中出现的各种故障进行有效的检测，及时发现喷印标记故障，防止对识别系统造成干扰或使识别系统出现错误。2)可满足钢卷喷印自动生产线的生产需求，应用于智能化工厂，提高钢卷喷印标记的生产质量稳定性、降低企业因钢卷喷印标记质量问题产生的时间、人力和资源生产成本，使包含有英文字母、阿拉伯数字和厂标图像信息的喷印标记信息成为产品跟踪和质量追溯的重要有力手段。3)本发明不只适用于钢卷上喷印字符故障诊断，也适用于其他场合，比如食品包装、轮胎、钢管、铝塑管、电缆、耐火材料等生产领域，经济效益和社会效益是巨大的。
附图说明
图1是本发明一种钢卷喷印标记故障诊断系统实施例结构示意框图；
图2是本发明一种钢卷标记字符故障诊断方法实施例的程序流程图；
图3是本发明实施例中曲面字符圆柱展开成平面图像示意图；
图4是本发明实施例中神经网络训练用的BP神经网络拓扑结构图；
图5是本发明粘连故障检测过程实施例示意图；
图6是本发明喷印标记扭曲故障和标记不一致故障检测过程实施例示意图；
图7是本发明喷印标记缺失故障和标记不一致故障检测过程实施例示意图。
具体实施方式
下面将结合本发明中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
以下描述请结合某实施例场景进行，比如针对钢卷上某串文字，具体是如何实现采集和信息处理的，最好相应补充图，以便说明和理解。具体实施例是使本申请与现有技术相区分的说明，请把技术的必要技术特征，与现有技术区分最明显的部分充分展示，突出创造性。
见图1-图3，是本发明一种钢卷喷印标记故障诊断系统实施例结构示意图，包括光源控制系统、图像采集系统和图像处理系统，其中，光源控制系统包括亮度调节单元和波长调节单元，使被采集喷印标记的亮度和对比度适中；图像采集系统中设有工业相机，包括相机视角调整单元、图像采集单元和图像传输单元，图像采集单元采集钢卷曲面喷的标记信息并经图像传输单元发送至图像处理系统；图像处理系统中包括图像预处理单元、兴趣区域提取单元、标记识别单元、标记故障诊断单元和输出显示单元，其中：图像预处理单元用于将采集的彩色图像变换为黑白图像、对黑白图像进行降噪处理、对曲面图像采用圆柱展开法矫正成平面图像，圆柱展开法在多行字符情况下可有效避免行字符分割错误；兴趣区域提取单元用于将图中有用的标记信息与背景信息进行分离，并将分离出的标记信息进行分割，使分割后的每个区域只包含一个标记信息；标记识别单元首先将提取出的不同分辨率的图像，归一化为统一分辨率，然后采用针对喷印钢卷标记预训练好的深度学习网络对所采集的图像样本进行分类识别；标记故障诊断单元可诊断喷印标记与生产计划一致性故障和喷印标记生产质量故障；通过对图像样本的扭曲度、缺失度和粘连度设定上下限值，根据每种情况单独做出超限报警；输出显示单元通过网络将标记诊断结果信息传送至上位机或者移动终端中进行显示。
本发明的分割方法是在矫正后的平面图像上进行行扫描，即将每行图像上拥有的黑色像素进行求和作为该行的信息统计量，并将统计量超过固定阈值的区域确定为标记所在行范围，并提取该范围图像作为行分割图像，然后对行分割图像进行列扫描，即将每列图像上拥有的黑色像素进行求和作为该列的信息统计量，并将统计量超过固定阈值的区域确定为标记所在列范围，并提取该范围图像作为字符分割备选图像，然后，根据字符分割备选图像的宽度如果大于固定阈值，则需要对该字符分割备选图像进行二次分割，二次分割算法具体为：若字符串图像宽度为字符个数为nchars，计算出单个字符的平均宽度统计单字符区域集Rchar[i]中各个区域的宽度w[i]；计算字符宽度w[i]与平均宽度wm的商，并以四舍五入的方式取整为n，n＝round(w[i]/wm)，若n＞1，则认为字符粘连；腐蚀运算就是求局部最小值的操作，定义为图像(称为I)与核(称为C)进行卷积:
IErode(C)＝Ie C＝{r|r-c∈I,c∈C}——公式1
其中，r-c是差集，属于r不属于c的部分；
循环进行如下操作，直到确定分割位置，即令f(t)取得0的位置Ctk为分割线
公式2中，I表示图像，(r,c)∈I表示像素点(r,c)在图像上，ct表示图像第t列像素点的纵坐标，h为图像高度，χ(r,c)为标记函数，取值{1,0}，1表示像素点(r,c)在区域上。
最终分割位置满足下公式3：
字符粘连率(Char Adhesion Rate,CAR)定义为：总共有nchar个字符，则：
字符缺失异常检测方法：首先提取字符图像的轮廓，并计算轮廓区域占据像素的个数作为字符面积Achar。然后，采用相同方法提取字符模板的字符面积Amodel。当满足下面公式5时，可以认为检测到字符缺失异常：
Amodel-Achar＞γ·Amodel——公式5
公式5中，γ∈[0.1 0.7]为敏感系数，敏感系数越小越敏感。
当检测到有缺失异常发生后，定义字符缺失率(Char Defection Rate,CDR)计算具体的缺失度，如下公式6：
当字符缺失率为正值时，被检测字符比字模缺少了一部分信息。当字符缺失率为负值时，由于只评估缺失度，所以将其取为零值。
字符扭曲异常检测方法：首先提取字符图像的轮廓，并计算轮廓区域周长像素的个数作为字符周长Pchar；然后，采用相同方法提取字符模板的字符周长Pmodel。当满足下面公式7时，可以认为检测到字符扭曲异常：
|Pchar-Pmodel|＞μ·Pmodel——公式7
公式7中，μ∈[0.05 0.5]为敏感系数，敏感系数越小越敏感。
当检测到有扭曲异常发生后，定义字符扭曲率(Char Distortion Rate,CDTR)计算具体的扭曲度，如下公式8：
字符扭曲率可能超过100％，尤其是当字符存在缺失或扭曲变形比较严重的时候。
实施例中，喷印标记与生产计划一致性故障是通过将识别的标记信息与数据库中记录的生产计划数据信息进行对比，若不一致产生报警信号。喷印标记生产质量故障是将识别出的标记信息与对应的标记模型信息进行对比分析，采用轮廓信息定义扭曲度、采用面积信息定义缺失度、采用连通信息定义粘连度。网络为TCP/IP、UDP、串行总线、Profibus中的任一种或任两种以上组合。
本发明一种钢卷喷印标记故障诊断系统的工作过程包括如下步骤：
S1：使用550nm波长的光源照明，配合配有中心波长为550nm滤光片的工业摄像机，采集钢卷喷印标记图像；
S2：将采集到的彩色图像的三个颜色通道R、G、B上做软件滤波处理，降低图像噪声和现场飞溅的喷涂小点干扰，采用圆柱展开法矫正为平面图像；
S3：根据字符宽高比、字符间距等特征提取平面图像中的兴趣区域，即钢卷喷印字符所在区域图像；
S4：采用二次分割方法识别粘连字符个数，计算粘连度指标，并将粘连的字符进行分割；
S5：将分割后的字符进行图像尺寸归一化，并将归一化后的单个字符图像作为输入，输入到深度学习网络，根据训练好的网络参数，对该字符进行识别；
S6、将识别的单个字符与生产信息数据库中的生产计划字符信息进行一致性对比，若不一致，产生不一致报警信号，并将报警信息记录到数据库中；
S7、将识别出的字符对应的喷印字符标准模板图像读出，通过对比字模图像与喷印字符图像的面积特征，获得字符缺失度评价指标，通过对比字模图像与喷印字符图像的轮廓特征，获得字符扭曲度评价指标，可设定字符粘连度、缺失度和扭曲度上限，并对超过上限的情况产生字符缺失报警和字符扭曲报警，并记录到数据库；
S8、根据字符粘连度、缺失度、扭曲度指标得到喷印质量指标，给出综合评价结果，并将结果记录到数据库中；
S9、喷印字符综合评价结果，字符粘连度，字符缺失度，字符扭曲度，字符粘连报警、字符缺失报警、字符扭曲报警等都可通过数据库获得信息并传送到上位机或移动显示终端中。
见图4，是本发明实施例中神经网络训练用的BP神经网络拓扑结构图，x1,x2,L L,xn标记为绿色是网络输入层，y1,y2,L L,yp标记为蓝色是网络预测值，标记为红色是隐含层j的第q个神经元，/>其中，a0为偏置单元，未在图中画出。g(·)为激活函数，/>为第j-1层第m个神经元向第j层第q个神经元传递的权重值。激活函数可以是一个线性函数，也可以是一个非线性函数，它决定了BP神经网络的映射性质。
BP神经网络结构的确定需要考虑以下因素：输入节点数、网络层数、输出节点数、隐层节点数、激活函数。输入节点数：针对本文钢卷喷印标记识别问题，将单个字符图像大小归一化为72×126分辨率的图像，这样图像中有9072个像素点。这些像素点作为网络的输入，因此表示第i个样本是一个9072维的列向量。网络层数：3层结构。输出节点数：针对钢卷标记现场可能出现的字符情况，字符可能出现英文大写字母A～Z，阿拉伯数字0～9。因此，一共组成p＝36个分类，最终的输出为/>也可以理解为最终结果为p分类中概率最大的那类。隐层节点数：隐层节点数为3000。
激活函数：为sigmoid函数，公式9如下：
神经网络的训练，分为前向传播过程，和反向传播过程，针对本文BP网络结构，最终，需要训练出参数j取0时为偏置单元，和参数/>
(1)正向传播：
首先，由某一个输入样本组成的输入层为第一层和第一层权重参数共同计算出第二层的输入，如下公式10：
其中x0为偏置单元。然后，由计算出的第二层输入和第二层权重参数共同计算出第三层即输出层的结果：
其中为偏置单元。设/>其中p＝36，是36维列向量，为神经网络预测值。(hΘ(x))i为第i个输出预测值。
神经网络的代价函数为：
其中，M为样本个数，p为输出的分类类别数，L为神经网络层数，sl为第l层神经元个数，为神经网络第l-1层向第l层传递的权重参数。
神经网络的训练过程就是希望求取使代价函数最小的对应权重参数，即：
若想求解式公式8需要计算并将输出层的误差，反向传播到之前的每一层来修正每一层的权重参数。
(2)反向传播：
首先，使用输出预测值hΘ(x)和该样本的实际输出值计算输出误差：
然后，按照下式计算δ(L-1)、δ(L-2)、…、δ(2)：
δ(L-1)＝δ(L-1)+δ(L)(a(L-1))T——公式15
BP神经网络参数训练方法步骤如下表1所示。
表1 BP神经网络参数训练步骤表
见图5，是本发明粘连故障检测过程实施例示意图；见图6，是本发明喷印标记扭曲故障和标记不一致故障检测过程实施例示意图；见图7，是本发明喷印标记缺失故障和标记不一致故障检测过程实施例示意图。三个实施例分别从粘连、扭曲、缺失三种情况进行检测和分析得出各自的粘连率、扭曲率和缺失率参数，并可根据评价指标给出评价结果，存储到数据库中，也可以发送上位机，当参数起过指标上限时，也可以发出报警给上位机。
以上实施例仅是为详细说明本发明的目的、技术方案和有益效果而选取的具体实例，但不应该限制发明的保护范围，凡在不违背本发明的精神和原则的前提下，所作的种种修改、等同替换以及改进，均应落入本发明的保护范围之内。
Claims (6)
1.一种钢卷喷印标记故障诊断系统，其特征在于，包括光源控制系统、图像采集系统和图像处理系统，其中，光源控制系统包括亮度调节单元和波长调节单元，使被采集喷印标记的亮度和对比度适中；图像采集系统中设有工业相机，包括相机视角调整单元、图像采集单元和图像传输单元，图像采集单元采集钢卷曲面喷的标记信息并经图像传输单元发送至图像处理系统；所述图像处理系统中包括图像预处理单元、兴趣区域提取单元、标记识别单元、标记故障诊断单元和输出显示单元，其中：
所述图像预处理单元用于将采集的彩色图像变换为黑白图像、对黑白图像进行降噪处理、对曲面图像采用圆柱展开法矫正为平面图像，圆柱展开法在多行字符情况下可有效避免行字符分割错误；
所述兴趣区域提取单元用于将图中有用的标记信息与背景信息进行分离，并将分离出的标记信息进行分割，使分割后的每个区域只包含一个标记信息；
所述标记识别单元首先将提取出的不同分辨率的图像，归一化为统一分辨率，然后采用针对喷印钢卷标记预训练好的深度学习网络对所采集的图像样本进行分类识别；
所述标记故障诊断单元可诊断喷印标记与生产计划一致性故障和喷印标记生产质量故障；所述喷印标记生产质量故障是将识别出的标记信息与对应的标记模型信息进行对比分析，采用轮廓信息定义扭曲度、采用面积信息定义缺失度、采用连通信息定义粘连度；通过对图像样本的扭曲度、缺失度和粘连度设定上下限值，根据每种情况单独做出超限报警；
所述输出显示单元通过网络将标记诊断结果信息传送至数据库、上位机或者移动终端中进行显示；
所述分割的方法在矫正后的平面图像上进行逐行扫描，将每行图像上拥有的黑色像素进行求和作为该行的信息统计量，并将统计量超过固定阈值的区域确定为标记所在行范围，并提取该范围图像作为行分割图像，然后对行分割图像进行列扫描，将每列图像上拥有的黑色像素进行求和作为该列的信息统计量，并将统计量超过固定阈值的区域确定为标记所在列范围，并提取该范围图像作为字符分割备选图像，然后，根据字符分割备选图像的宽度如果大于固定阈值，则需要对该字符分割备选图像进行二次分割，二次分割算法具体为：若字符串图像宽度为字符个数为nchars，计算出单个字符的平均宽度/>统计单字符区域集Rchar[i]中各个区域的宽度w[i]；计算字符宽度w[i]与平均宽度wm的商，并以四舍五入的方式取整为n，n＝round(w[i]|/wm)，若n＞1，则认为字符粘连；腐蚀运算就是求局部最小值的操作，定义为图像I与核C进行卷积:
其中，r-c是差集，属于r不属于c的部分；
循环进行如下操作，直到确定分割位置，即令f(t)取得0的位置为分割线
公式2中，I表示图像，(r,c)∈I表示像素点(r,c)在图像上，ct表示图像第t列像素点的纵坐标，h为图像高度，χ(r,c)为标记函数，取值{1,0}，1表示像素点(r,c)在区域上；
最终分割位置满足下式：
字符粘连率定义为：总共有nchar个字符，则：
字符缺失异常检测方法：首先提取字符图像的轮廓，并计算轮廓区域占据像素的个数作为字符面积Achar；然后，采用相同方法提取字符模板的字符面积Amodel；当满足下面公式时，认为检测到字符缺失异常：
Amodel-Achar＞γ·Amodel——公式5
公式5中，γ∈[0.1 0.7]为敏感系数，敏感系数越小越敏感；当检测到有缺失异常发生后，定义字符缺失率计算具体的缺失度，如下式：
当字符缺失率为正值时，被检测字符比字模缺少了一部分信息；当字符缺失率为负值时，由于只评估缺失度，所以将其取为零值；
字符扭曲异常检测方法：首先提取字符图像的轮廓，并计算轮廓区域周长像素的个数作为字符周长Pchar；然后，采用相同方法提取字符模板的字符周长Pmodel；当满足下面公式7时，认为检测到字符扭曲异常：
|Pchar-Pmodel|＞μ·Pmodel——公式7
公式7中，μ∈[0.05 0.5]为敏感系数，敏感系数越小越敏感；当检测到有扭曲异常发生后，定义字符扭曲率计算具体的扭曲度，见公式8：
当字符存在缺失或扭曲变形比较严重时，字符扭曲率将超过100％。
2.根据权利要求1所述的一种钢卷喷印标记故障诊断系统，其特征在于，所述喷印标记与生产计划一致性故障是通过将识别的标记信息与数据库中记录的生产计划数据信息进行对比，若不一致产生报警信号。
3.根据权利要求1所述的一种钢卷喷印标记故障诊断系统，其特征在于，所述网络为TCP/IP、UDP、串行总线、Profibus中的任一种或任两种以上组合。
4.根据权利要求1所述的一种钢卷喷印标记故障诊断系统，其特征在于，其故障诊断工作的过程包括如下步骤：
S1、使用光源照明，以及配有滤光片的工业摄像机，采集钢卷喷印标记图像；
S2、将采集到的彩色图像的三个颜色通道R、G、B上做软件滤波处理，降低图像噪声和现场飞溅的喷涂小点干扰，采用圆柱展开法矫正图像；
S3、根据字符宽高比、字符间距特征提取图像中的兴趣区域，即钢卷喷印字符所在区域图像；
S4、采用二次分割方法识别粘连字符个数，计算粘连度指标，并将粘连的字符进行分割；
S5、将分割后的字符进行图像尺寸归一化，并将归一化后的单个字符图像作为输入，输入到深度学习网络，根据训练好的网络参数，对该字符进行识别；
S6、将识别的单个字符与生产信息数据库中的生产计划字符信息进行一致性对比，若不一致，产生不一致报警信号，并将报警信息记录到数据库中；
S7、将识别出的字符对应的喷印字符标准模板图像读出，通过对比字模图像与喷印字符图像的面积特征，获得字符缺失度评价指标，通过对比字模图像与喷印字符图像的轮廓特征，获得字符扭曲度评价指标，设定字符粘连度、缺失度和扭曲度上限，并对超过上限的情况产生字符缺失报警和字符扭曲报警，并记录到数据库；
S8、根据字符粘连度、缺失度、扭曲度指标得到喷印质量指标，给出综合评价结果，并将结果记录到数据库中；
S9、喷印字符综合评价结果，字符粘连度，字符缺失度，字符扭曲度，字符粘连报警、字符缺失报警、字符扭曲报警都可通过数据库获得信息并传送到上位机或移动显示终端中。
5.根据权利要求4所述的一种钢卷喷印标记故障诊断系统，其特征在于，所述光源照明的波长分别为550nm和980nm。
6.根据权利要求4所述的一种钢卷喷印标记故障诊断系统，其特征在于，所述滤光片为中心波长为550nm和980nm的滤光片。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110203628.1A CN112926563B (zh) | 2021-02-23 | 2021-02-23 | 一种钢卷喷印标记故障诊断系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110203628.1A CN112926563B (zh) | 2021-02-23 | 2021-02-23 | 一种钢卷喷印标记故障诊断系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112926563A CN112926563A (zh) | 2021-06-08 |
| CN112926563B true CN112926563B (zh) | 2024-01-02 |
Family
ID=76170504
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110203628.1A Active CN112926563B (zh) | 2021-02-23 | 2021-02-23 | 一种钢卷喷印标记故障诊断系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112926563B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113673511B (zh) * | 2021-07-30 | 2022-03-18 | 苏州鼎纳自动化技术有限公司 | 一种基于ocr的字符分割方法 |
| CN114511704B (zh) * | 2022-04-19 | 2022-07-12 | 科大智能物联技术股份有限公司 | 一种基于高速产线的喷印码识别检测方法 |
| CN114862806B (zh) * | 2022-05-18 | 2024-07-02 | 北京科技大学设计研究院有限公司 | 一种成品钢板喷印质量检测方法及系统 |
| CN117169336B (zh) * | 2023-09-07 | 2024-07-05 | 常熟中佳新材料有限公司 | 一种铜管复绕机的铜管缺陷标记系统 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102163287A (zh) * | 2011-03-28 | 2011-08-24 | 北京邮电大学 | 一种基于类Haar特征和支持向量机的车牌字符识别方法 |
| CN102663536A (zh) * | 2012-03-13 | 2012-09-12 | 杭州浙大精益机电技术工程有限公司 | 一种钢管在线自动信息跟踪方法 |
| CN104899571A (zh) * | 2015-06-12 | 2015-09-09 | 成都数联铭品科技有限公司 | 一种用于复杂文字识别的随机样本产生方法 |
| CN108268841A (zh) * | 2018-01-10 | 2018-07-10 | 佛山市顺德区中山大学研究院 | 一种轧钢板热喷字符串识别与验证系统及方法 |
| CN109712162A (zh) * | 2019-01-18 | 2019-05-03 | 珠海博明视觉科技有限公司 | 一种基于投影直方图差异的线缆字符缺陷检测方法和装置 |
| CN109871938A (zh) * | 2019-01-21 | 2019-06-11 | 重庆大学 | 一种基于卷积神经网络的零部件喷码检测方法 |
| CN110309796A (zh) * | 2019-07-05 | 2019-10-08 | 上海中通吉网络技术有限公司 | 面单识别方法、装置和设备 |
| CN110929713A (zh) * | 2019-11-22 | 2020-03-27 | 中南大学 | 一种基于bp神经网络的钢印字符识别方法 |
| WO2020134324A1 (zh) * | 2018-12-29 | 2020-07-02 | 南京睿速轨道交通科技有限公司 | 一种基于图像处理的城轨列车车号识别算法 |
| CN112257715A (zh) * | 2020-11-18 | 2021-01-22 | 西南交通大学 | 一种粘连字符识别方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110426415A (zh) * | 2019-07-15 | 2019-11-08 | 武汉大学 | 基于深度卷积神经网络和图像分割的油浸式变压器内部热故障诊断方法 |
-
2021
- 2021-02-23 CN CN202110203628.1A patent/CN112926563B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102163287A (zh) * | 2011-03-28 | 2011-08-24 | 北京邮电大学 | 一种基于类Haar特征和支持向量机的车牌字符识别方法 |
| CN102663536A (zh) * | 2012-03-13 | 2012-09-12 | 杭州浙大精益机电技术工程有限公司 | 一种钢管在线自动信息跟踪方法 |
| CN104899571A (zh) * | 2015-06-12 | 2015-09-09 | 成都数联铭品科技有限公司 | 一种用于复杂文字识别的随机样本产生方法 |
| CN108268841A (zh) * | 2018-01-10 | 2018-07-10 | 佛山市顺德区中山大学研究院 | 一种轧钢板热喷字符串识别与验证系统及方法 |
| WO2020134324A1 (zh) * | 2018-12-29 | 2020-07-02 | 南京睿速轨道交通科技有限公司 | 一种基于图像处理的城轨列车车号识别算法 |
| CN109712162A (zh) * | 2019-01-18 | 2019-05-03 | 珠海博明视觉科技有限公司 | 一种基于投影直方图差异的线缆字符缺陷检测方法和装置 |
| CN109871938A (zh) * | 2019-01-21 | 2019-06-11 | 重庆大学 | 一种基于卷积神经网络的零部件喷码检测方法 |
| CN110309796A (zh) * | 2019-07-05 | 2019-10-08 | 上海中通吉网络技术有限公司 | 面单识别方法、装置和设备 |
| CN110929713A (zh) * | 2019-11-22 | 2020-03-27 | 中南大学 | 一种基于bp神经网络的钢印字符识别方法 |
| CN112257715A (zh) * | 2020-11-18 | 2021-01-22 | 西南交通大学 | 一种粘连字符识别方法及系统 |
Non-Patent Citations (4)
| Title |
|---|
| Document forgery detection using distortion mutation of geometric parameters in characters;Shize Shang等;《Journal of Electronic Imaging》;第24卷(第2期);第1-11页 * |
| 一种扭曲粘连字符验证码识别方法;尹龙等;《模式识别与人工智能》;第27卷(第3期);第235-241页 * |
| 基于小波变换的文字检测与提取方法;褚晶辉等;《视频应用与工程》;第38卷(第3期);第182-185页 * |
| 基于神经网络的钢卷喷印号码识别方法研究;马龙鑫;《中国优秀硕士学位论文全文数据库 信息科技辑》(第（2020）01期);I138-1965 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112926563A (zh) | 2021-06-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112926563B (zh) | 一种钢卷喷印标记故障诊断系统 | |
| CN110070008B (zh) | 一种采用无人机图像的桥梁病害识别方法 | |
| CN112699876B (zh) | 一种用于集气站多类型仪表自动读数方法 | |
| CN113344857B (zh) | 缺陷检测网络的训练方法、缺陷检测方法和存储介质 | |
| CN111242896A (zh) | 一种彩色印刷标签缺陷检测与质量评级方法 | |
| CN102275382B (zh) | 一种彩色印刷品套准偏差自动检测方法 | |
| CN110490842B (zh) | 一种基于深度学习的带钢表面缺陷检测方法 | |
| CN110264445A (zh) | 分块模板匹配结合形态学处理的电池丝印质量检测方法 | |
| CN109886954B (zh) | 一种印刷品缺陷检测方法 | |
| CN112258460A (zh) | 一种基于图像识别的印刷制品质量实时监测质检系统 | |
| CN117541588B (zh) | 一种纸制品的印刷缺陷检测方法 | |
| CN102236925B (zh) | 大张检查机机检数据离线二次检测核查的系统及方法 | |
| CN114445365A (zh) | 基于深度学习算法的钞票印刷质量检查方法 | |
| CN117197112B (zh) | 一种基于样本比对的工业丝印缺陷检测方法及系统 | |
| CN117333467B (zh) | 基于图像处理的玻璃瓶瓶身瑕疵识别检测方法及系统 | |
| CN111563896A (zh) | 一种用于接触网异常检测的图像处理方法 | |
| CN115496980A (zh) | 基于多视角特征的遥感影像篡改目标检测方法及系统 | |
| CN117523214A (zh) | 一种智能识别图片修改痕迹反欺诈的方法 | |
| TW202034421A (zh) | 濾色器檢查裝置、檢查裝置、濾色器檢查方法及檢查方法 | |
| CN114187247A (zh) | 一种基于图像配准的安瓿瓶印刷字缺陷检测方法 | |
| CN117252840B (zh) | 一种光伏阵列缺陷消除评定方法、装置及计算机设备 | |
| CN117593499A (zh) | 一种基于分布式巡检策略的水电站机电设备故障识别方法 | |
| CN113506297B (zh) | 基于大数据处理的印刷数据识别方法 | |
| CN115410184A (zh) | 一种基于深度神经网络的目标检测车牌识别方法 | |
| CN114943738A (zh) | 一种基于视觉识别的传感器封装固化胶缺陷识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |