CN110197170A - 基于目标检测的钢卷卷形缺陷检测识别方法 - Google Patents
基于目标检测的钢卷卷形缺陷检测识别方法 Download PDFInfo
- Publication number
- CN110197170A CN110197170A CN201910488179.2A CN201910488179A CN110197170A CN 110197170 A CN110197170 A CN 110197170A CN 201910488179 A CN201910488179 A CN 201910488179A CN 110197170 A CN110197170 A CN 110197170A
- Authority
- CN
- China
- Prior art keywords
- coil
- strip
- network
- scroll
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 116
- 230000007547 defect Effects 0.000 title claims abstract description 92
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000012360 testing method Methods 0.000 claims abstract description 24
- 238000013138 pruning Methods 0.000 claims abstract description 15
- 229910000831 Steel Inorganic materials 0.000 claims abstract description 12
- 238000004519 manufacturing process Methods 0.000 claims abstract description 12
- 239000010959 steel Substances 0.000 claims abstract description 12
- 230000006835 compression Effects 0.000 claims abstract description 9
- 238000007906 compression Methods 0.000 claims abstract description 9
- 238000012549 training Methods 0.000 claims description 27
- 238000004458 analytical method Methods 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 9
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 claims description 8
- 230000002950 deficient Effects 0.000 claims description 8
- 238000003556 assay Methods 0.000 claims description 7
- 238000013480 data collection Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 230000000694 effects Effects 0.000 claims description 5
- 230000002708 enhancing effect Effects 0.000 claims description 5
- 229910052742 iron Inorganic materials 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 238000002790 cross-validation Methods 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 claims description 3
- 210000004218 nerve net Anatomy 0.000 claims description 3
- 238000002360 preparation method Methods 0.000 claims description 3
- 239000000725 suspension Substances 0.000 claims description 3
- 238000005352 clarification Methods 0.000 claims 1
- 235000013399 edible fruits Nutrition 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 8
- 238000009776 industrial production Methods 0.000 abstract description 2
- 238000013528 artificial neural network Methods 0.000 description 9
- 230000008901 benefit Effects 0.000 description 6
- 238000000605 extraction Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000001629 suppression Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000000151 deposition Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005098 hot rolling Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/04—Manufacturing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Business, Economics & Management (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Tourism & Hospitality (AREA)
- Manufacturing & Machinery (AREA)
- Signal Processing (AREA)
- Pathology (AREA)
- Biochemistry (AREA)
- General Business, Economics & Management (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Immunology (AREA)
- Strategic Management (AREA)
- Primary Health Care (AREA)
- Marketing (AREA)
- Human Resources & Organizations (AREA)
- Multimedia (AREA)
- Economics (AREA)
Abstract
本发明属于钢卷轧制领域，涉及基于目标检测的钢卷卷形缺陷检测识别方法。从现场获取大量的钢卷卷形图片构建卷形缺陷数据集，利用目前先进的识别精度高、检测速度快的Faster‑RCNN目标检测算法，在传统钢铁生产行业中，完成钢卷卷形缺陷检测识别的任务，同时对于Faster‑RCNN使用剪枝进行模型压缩，使得模型能够满足工业嵌入式的要求。本发明所述方法利用了现代的智能检测技术，将其应用在钢卷的工业生产检测上。
Description
技术领域
本发明涉及钢铁轧制领域，更为具体地，涉及一种利用深度神经网络实现的剪枝优化目标检测算法Faster-RCNN，基于目标检测，对于目标钢卷进行卷形缺陷检测识别的统和方法。
背景技术
冷热轧带钢是经济发展的重要基础材料，被广泛应用在机械、建筑、国防、航空航天等各个工业领域。其中卷取区是热轧主轧线的最后步骤，以卷形作为关键性指标，卷形的优劣对运输以及后续生产都有重大影响。对于热轧本身来讲，卷形不良还需通过下游队伍对其处理或是对上平整线重卷，这样不仅会增加生产成本和生产压力，也会对产品的成材率产生影响。且目前对于卷形评判的是依靠人到现场进行查看和评估。
由于人为的评估没有一个统一的标准，容易造成质量的误报，对于下游的处理造成不良的影响，降低企业的经济效益。同时对于钢卷质量，人为判定的结构难以进行细分和量化，不利于统一的生产管理评估。且生产现场环境比较复杂，人进入现场会在一定程度增加了安全隐患，可能会造成生命财产损失。传统的图像处理办法，无法应对复杂场景中的光照、纹理、目标的空间位置分析。
近10年里随着深度神经网络的发展，目标检测技术取得了重大突破。依赖DCNN的目标检测技术在精度和速度上，超过甚至碾压了大多数传统的算法。依赖DCNN知名的目标检测网络按技术划分，主要分为两类，一类是基于特征区域推荐“RPN”的方法，基于区域特征的方法，是通过数据原有标注，提取特征图，根据特征图推荐区域，计算重叠度IOU，IOU高则为该目标的概率大；还有一类是基于角点检测“Corner”的方法，根据卷积网络得到的热力图提取对应的嵌入式向量，根据嵌入式向量来确定目标所在的位置和类别。对于钢卷卷形图片来说，如果数据量足够大的话，这两种方法对于其缺陷的特征提取应该是够用的。
问题在于，现有技术中，对于检测算法的工业应用还没有太多的尝试和实践，主要是由于工业级的检测和控制比起一般的实验性的检测或者普通的检测而言，稳定、精确性要求会更高。目前，在钢卷缺陷检测领域，首都京唐钢铁联合有限责任公司提出的钢卷塔形检测装置(专利号CN209026216U)，利用位移传感器，计算两个时刻之间的钢卷移动距离，即为钢卷的宽度。武汉钢铁集团提出(专利号CN105486831A)一种钢卷质量检测系统，利用生产过程数据，使用大数据进行分析预测钢卷质量。以上方法和本发明的区别在于，本发明是依赖于计算机视觉系统，根据钢卷侧视图图像进行在线实时的钢卷卷形缺陷分析，而不是根据历史数据进行推理或依靠小型传感器来进行分析计算。
在工业领域里，如何使得检测算法能够取得实质性的应用，如何提高检测稳定性和精度，这个问题还有待于工程人员和研究人员一起去进行实践研究。本发明提出的基于目标检测的钢卷卷形缺陷检测识别技术便是其中之一。
发明内容
为了解决上述问题，本发明基于现代计算机视觉技术中的深度神经网络和目标检测算法Faster-RCNN，提出一种钢卷卷形自动识别评估一体化的方案方法。对于大规模的钢卷数据标注集，通过深度神经网络技术，使得计算机自动学习到钢卷卷形缺陷特征的图片表现形式，利用训练出来的特征模型，对在线采样的钢卷图片进行数字化分析，分析出输入的钢卷图片所具有的缺陷类型与等级，进行精确的在线卷形缺陷分类评估。
本发明是通过以下技术方案实现的：
基于目标检测的钢卷卷形缺陷检测识别方法，包括：
步骤1：构建卷形缺陷数据标注集；
步骤1.1：从工业现场大量采集成品库中的钢卷图片；
步骤1.2：对于采集回来的图片，进行专业的预标注，标注内容包括钢卷图片中存在的缺陷类型及缺陷存在的位置，获得卷形缺陷数据标注集；
步骤2：构建钢卷卷形缺陷检测模型：将预标注后的钢卷卷形缺陷数据集，送入神经网络中进行深度学习训练获得所述钢卷卷形缺陷检测模型；包括：
步骤2.1：对于卷形缺陷数据标注集中预标注后的图片进行数据增强和归一化；
步骤2.2：将数据增强后的钢卷卷形缺陷数据集分成3份，按比例7:2:1分成训练集、验证集、测试集，预备送入目标检测网络中进行训练、验证和测试；
步骤2.3：构建目标检测网络Faster-RCNN，所述目标检测网络Faster-RCNN以ResNet-18为主干网络，利用多层卷积层，能够通过不断的卷积，对整张钢卷卷形图片进行特征提取；同时利用RPN网络为辅助网络，进行关键的特征区域推荐，使对于检测目标的特征定位更加精确；
步骤2.4：在训练过程中，对于网络连接中的不同层，设置相关度低的连接及核的参数系数为0，即将不重要的参数舍弃，基于剪枝优化算法，对模型进行优化剪枝和压缩；
步骤2.5：利用钢卷卷形缺陷数据集中的验证集进行交叉验证，在测试集上进行测试最终效果，选择模型最优的训练结果进行保存，获得训练好的钢卷卷形缺陷检测模型；
步骤3：利用训练好的钢卷卷形缺陷检测模型，对在线的图片数据进行解析与评估。
进一步地，步骤2.1中，所述数据增强的方法包括对于图片进行旋转、以钢卷中心画水平线与垂直线进行随机裁剪。
进一步地，所述步骤2.3，具体为：将训练集中的图片修正对齐到固定大小1000×800像素，随后利用分类网络ResNet-18不断的对训练图片进行卷积、池化操作，得出多个特征层，利用所述多个特征层，经过区域推荐网络RPN和全连接层，分别输出缺陷类和位置的置信度分数，使用非极大值抑制算法，多次迭代，根据不同类型的得分，得分最高的，就是对应的缺陷和位置。
进一步地，所述训练好的钢卷卷形缺陷检测模型是整个Faster-RCNN网络经过不断迭代，降低全局损失后，逐渐收敛，稳定到一个局部最优或者全局最优点的一个权值网络。
进一步地，所述步骤3，具体包括：
实时采集钢卷卷形图片：工业摄像机安装在运输线喷号机的前后，采用悬挂式设计，用于实时采集钢卷卷形图像；
对在线的图片数据进行解析与评估：工业计算机连接所述摄像头，且在线实时接收所述摄像头采集的钢卷卷形图像，在所述工业计算机中部署训练获得的所述钢卷卷形缺陷检测模型，所述工业计算机利用训练好的所述钢卷卷形缺陷检测模型对在线实时采集的钢卷卷形图像进行数字化分析，分析获得输入的钢卷卷形图片具有的缺陷类型与等级。
进一步地，所述数字化分析包括：利用滑动窗口算法对测试图片进行像素级的扫描，根据所述钢卷卷形缺陷检测模型的权值网络模型，能够自动定位在训练集中大量、重复出现的标注特征，并将结果显示在测试图片中，从而实现缺陷分类检测的目的。
进一步地，所述标检测网络Faster-RCNN，采用检测识别算法Faster-RCNN，是根据现有的目标检测算法，并将用于传统的钢铁制造业。
进一步地，所述剪枝优化算法，是模型通过减少网络层数和连接，以减少参数数量的一种模型压缩算法。
其中，目标检测技术Faster-RCNN，包括使用分类网络ResNet-18和区域推荐网络RPN；大规模钢卷数据标注集是根据实际生产过程中，从成品库中大量采集的图片，进行人工标注缺陷后得到数据集。模型是利用标注数据集，经过算法将数据集中的图片修正对齐到固定大小1000×800像素，随后利用分类网络ResNet-18，不断的对训练图片进行卷积、池化等操作，得出多个特征层，利用这些多层特征，经过区域推荐网络RPN及全连接层，分别输出缺陷类和位置的置信度分数，使用非极大值抑制算法，多次迭代，根据不同类型的得分，得分最高的，就是对应的缺陷和位置；特征模型是整个Faster-RCNN网络经过不断迭代，降低全局损失后，逐渐收敛，稳定到一个局部最优或者全局最优点的一个权值网络。该网络包含了大量的参数，对于新输入的测试图片，利用滑动窗口算法对测试图片进行像素级的扫描，根据所得的权值网络模型，能够自动定位在训练集中大量、重复出现的标注特征，并将结果显示在测试图片中，从而实现缺陷分类检测的目的。
本发明的优点和积极效果是：
本发明所述方法能够实现计算机利用深度卷积神经网络，对于视频中的钢卷图像进行特征提取分析，利用提取出来的特征图谱，检测识别钢卷，标定钢卷在图像中的位置，同时利用特征图谱，标注钢卷表面的不同类型的缺陷，对不同等级、不同缺陷的钢卷进行分类分级评估，并反馈到整个卷取系统。该技术也降低了人工勘察的成本和强度，降低了安全隐患，提高了评估效率，同时对于评估尺度进行了量化，提高了生产评估的自动化能力。
并且本发明提供的基于目标检测的钢卷卷形缺陷检测识别方法，利用深度神经网络实现的剪枝优化目标检测算法Faster-RCNN，对于目标钢卷进行卷形缺陷检测识别。从现场获取的大量钢卷卷形图片构建卷形缺陷数据集，利用目前先进的识别精度高、检测速度快的Faster-RCNN目标检测算法，在传统钢铁生产行业中，完成钢卷卷形缺陷检测识别的任务，同时对于Faster-RCNN使用剪枝进行模型压缩，使得模型能够满足工业嵌入式的要求；利用了现代的智能检测技术，将其应用在钢卷的工业生产检测上；同时使用剪枝优化后的压缩模型以满足工业要求。
附图说明
图1是本发明实施例中基于目标检测的钢卷卷形缺陷检测识别方法流程图。
图2是本发明实施例中钢卷质量评估方法流程图。
图3是本发明实施例中目标检测算法分析图。
图4是本发明实施例中数据归一化方法图。
图5是本发明实施例中交并比计算方法图。
图6是本发明实施例中定位框生成方法图。
图7是本发明实施例中目标检测实例算法结构图。
图8是本发明实施例中ResNet-18的网络结构表。
图9是本发明实施例中ResNet-18的网络部分框架图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细描述。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。
相反，本发明涵盖任何由权利要求定义的在本发明的精髓和范围上做的替代、修改、等效方法以及方案。进一步，为了使公众对本发明有更好的了解，在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。
本发明实施例提供基于目标检测的钢卷卷形缺陷检测识别方法，包括：
步骤1：构建卷形缺陷数据标注集；
步骤1.1：从工业现场大量采集成品库中的钢卷图片；
步骤1.2：对于采集回来的图片，进行专业的预标注，标注内容包括钢卷图片中存在的缺陷类型及缺陷存在的位置，获得卷形缺陷数据标注集；
步骤2：构建钢卷卷形缺陷检测模型：将预标注后的卷形缺陷数据集，送入神经网络中进行深度学习训练获得；包括：
步骤2.1：对于卷形缺陷数据标注集中预标注后的图片进行数据增强；所述数据增强的方法包括对于图片进行旋转、以钢卷中心画水平线与垂直线进行随机裁剪；
步骤2.2：将数据增强后的钢卷缺陷数据集分成3份，按比例7:2:1分成训练集、验证集、测试集，预备送入目标检测网络中进行训练、验证和测试；
步骤2.3：构建目标检测网络Faster-RCNN，所述目标检测网络Faster-RCNN以ResNet-18为主干网络，利用多层卷积层，能够通过不断的卷积，对整张钢卷卷形图片进行特征提取；同时利用RPN网络为辅助网络，进行关键的特征区域推荐，使对于检测目标的特征定位更加精确；具体为：将训练集中的图片修正对齐到固定大小1000×800像素，随后利用分类网络ResNet-18不断的对训练图片进行卷积、池化操作，得出多个特征层，利用所述多个特征层，经过区域推荐网络RPN和全连接层，分别输出缺陷类和位置的置信度分数，使用非极大值抑制算法，多次迭代，根据不同类型的得分，得分最高的，就是对应的缺陷和位置。
步骤2.4：在训练过程中，对于网络连接中的不同层，观察层权重变化和最终输出之间的关系，设置相关度低的连接及核的参数系数为0，即将不重要的参数舍弃，基于剪枝优化算法，对模型进行优化剪枝和压缩；
步骤2.5：利用验证集进行交叉验证，在测试集上进行测试最终效果，选择模型最优的训练结果进行保存，获得训练好的钢卷卷形缺陷检测模型；
步骤3：利用训练好的钢卷卷形缺陷检测模型，对在线的图片数据进行解析与评估：
实时采集钢卷卷形图片：工业摄像机安装在运输线喷号机的前后，采用悬挂式设计，用于实时采集钢卷卷形图像；其中，工业摄像机安装位置能够降低工业现场的干扰，有效利用空间，得到更好的拍摄角度，实时采集钢卷卷形图片；
对在线的图片数据进行解析与评估：工业计算机连接所述摄像头，且在线实时接收所述摄像头采集的钢卷卷形图像，在所述工业计算机中部署训练获得的所述钢卷卷形缺陷检测模型，所述工业计算机利用训练好的所述钢卷卷形缺陷检测模型对在线实时采集的钢卷卷形图像进行数字化分析，分析获得输入的钢卷卷形图片具有的缺陷类型与等级；所述数字化分析包括：利用滑动窗口算法对测试图片进行像素级的扫描，根据所述钢卷卷形缺陷检测模型的权值网络模型，能够自动定位在训练集中大量、重复出现的标注特征，并将结果显示在测试图片中，从而实现缺陷分类检测的目的。
在本实施例中，所述训练好的钢卷卷形缺陷检测模型是整个Faster-RCNN网络经过不断迭代，降低全局损失后，逐渐收敛，稳定到一个局部最优或者全局最优点的一个权值网络。所述标检测网络Faster-RCNN，采用检测识别算法Faster-RCNN，是根据现有的目标检测算法，并将用于传统的钢铁制造业。所述剪枝优化算法，是模型通过减少网络层数和连接，以减少参数数量的一种模型压缩算法。
图1为本发明实施例中基于目标检测的钢卷卷形缺陷检测识别方法流程图。预先收集工业钢卷卷形图片做缺陷数据集，送入神经网络中生成缺陷检测模型，再通过现场摄像头实时采集工业现场卷形图片，送入缺陷检测模型中完成缺陷检测任务，输出检测结果。
图2为钢卷质量评估算法流程图。输入为预采样的钢卷卷形图片，控制器为计算机，执行机构为利用预采样的钢卷卷形图片，训练出来的缺陷检测模型，被控对象为报警器，输出为钢卷卷形所带有的缺陷及位置。不断利用新输出的图片，及对应的缺陷、位置，优化调整模型的准确率和稳定性，达到一个高精度的能够满足工业需求的高度。
图3为目标检测算法分析图，目标检测算法主要包含两个内容：一个是目标分类，用于检测的对象的确定；另一个是目标定位，用于检测的对象在图像中的位置的确定。现有技术中，目标分类的神经网络近些年不断的优化，知名的有AlexNet、VggNet、GoogleNet、ResNet、ResNext、SeNet等。目标定位算法，主流思想分两派，一类是很早就提出来的基于区域推荐的RPN算法，利用Anchor进行位置的精度修正；另外一类是基于角点检测的Corner算法，利用热力图上的嵌入式向量进行位置的匹配和修正。其中RPN相关算法又根据过程分为Two-Stage、End-to-End两种。R-CNN系列为Two-Stage，后续的拓展基本能达到End-to-End的效果。Yolo系列为End-to-End，能够一次完成分类和定位任务。将这两种算法结合起来能够完成钢卷卷形缺陷检测识别。但是为了满足小模型便于嵌入开发、安装的工业要求，还需对生成的模型进行压缩，本实施例中采用使用剪枝优化对网络不重要的连接和核进行裁剪，进行模型压缩，减少模型冗余。
图4是本发明实施例中数据归一化方法图。首先获取原图尺寸，和标注区域尺寸，对于原图的放大和缩小，等比例的将标注区域同样进行放大和缩小，同时将所有的参数都缩小到(0，1)范围内。
图5是本发明实施例中交并比计算方法图。这是计算缺陷检测模型在图片中所预测的区域，与图片中真实缺陷所在的位置区域重叠百分比的方法。重叠度为重叠区域面积与非重叠区域面积和的比值，即
图6是本发明实施例中定位框生成方法图。定位框生成过程使用了3个方向维度，和3个尺寸维度，共9个维度的定位法。3个方向维度包括正方形，竖直长方形，水平长方形；3个尺寸维度包括尺度为(8，16，32)三个尺度。两两组合在一起共9个维度进行定位框生成。
图7为发明实施例中目标检测实例Faster-RCNN算法结构图，训练过程中，大量任意大小的图片，经过预处理后达到相同的固定尺寸，在神经网络的不断卷积、池化交替后，得到一个小的特征图，同时送入RPN和主线网络，利用RPN网络筛选出得分较高的可能性区域，再经过主干网络，利用RoI池化和全连接层得到分类分数和定位分数。
图8为ResNet-18的网络结构图，主要是分四个网络层，每一个网络层里有一个下采样的卷积，用于减小神经网络中的下降梯度消失问题，是的可以构建更深的神经网络。同时上一个网络层向下一个网络层传递的时候新的卷积步长会变大，为了减小深层网络特征图的大小，提高深层特征图的感受野。
图9为ResNet-18的网络部分框架图,即中降尺寸残差块结构；类似于自动控制原理中的前馈控制，这里也是将输入直接接到了对应输出网络层上。弱化了梯度消失的问题，使梯度能够继续下降，同时为构建更深的网络层提供了有利条件。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (8)
1.基于目标检测的钢卷卷形缺陷检测识别方法，其特征在于，包括：
步骤1：构建卷形缺陷数据标注集；
步骤1.1：从工业现场大量采集成品库中的钢卷图片；
步骤1.2：对于采集回来的图片，进行专业的预标注，标注内容包括钢卷图片中存在的缺陷类型及缺陷存在的位置，获得卷形缺陷数据标注集；
步骤2：构建钢卷卷形缺陷检测模型：将预标注后的钢卷卷形缺陷数据集，送入神经网络中进行深度学习训练获得所述钢卷卷形缺陷检测模型；包括：
步骤2.1：对于卷形缺陷数据标注集中预标注后的图片进行数据增强和归一化；
步骤2.2：将数据增强后的钢卷卷形缺陷数据集分成3份，按比例7:2:1分成训练集、验证集、测试集，预备送入目标检测网络中进行训练、验证和测试；
步骤2.3：构建目标检测网络Faster-RCNN，所述目标检测网络Faster-RCNN以ResNet-18为主干网络，利用多层卷积层，能够通过不断的卷积，对整张钢卷卷形图片进行特征提取；同时利用RPN网络为辅助网络，进行关键的特征区域推荐，使对于检测目标的特征定位更加精确；
步骤2.4：在训练过程中，对于网络连接中的不同层，设置相关度低的连接及核的参数系数为0，即将不重要的参数舍弃，基于剪枝优化算法，对模型进行优化剪枝和压缩；
步骤2.5：利用钢卷卷形缺陷数据集中的验证集进行交叉验证，在测试集上进行测试最终效果，选择模型最优的训练结果进行保存，获得训练好的钢卷卷形缺陷检测模型；
步骤3：利用训练好的钢卷卷形缺陷检测模型，对在线的图片数据进行解析与评估。
2.根据权利要求1所述基于目标检测的钢卷卷形缺陷检测识别方法，其特征在于，步骤2.1中，所述数据增强的方法包括对于图片进行旋转、以钢卷中心画水平线与垂直线进行随机裁剪。
3.根据权利要求1所述基于目标检测的钢卷卷形缺陷检测识别方法，其特征在于，所述步骤2.3，具体为：将训练集中的图片修正对齐到固定大小1000×800像素，随后利用分类网络ResNet-18不断的对训练图片进行卷积、池化操作，得出多个特征层，利用所述多个特征层，经过区域推荐网络RPN和全连接层，分别输出缺陷类和位置的置信度分数，使用非极大值抑制算法，多次迭代，根据不同类型的得分，得分最高的，就是对应的缺陷和位置。
4.根据权利要求1所述基于目标检测的钢卷卷形缺陷检测识别方法，其特征在于，所述训练好的钢卷卷形缺陷检测模型是整个Faster-RCNN网络经过不断迭代，降低全局损失后，逐渐收敛，稳定到一个局部最优或者全局最优点的一个权值网络。
5.根据权利要求1所述基于目标检测的钢卷卷形缺陷检测识别方法，其特征在于，所述步骤3，具体包括：
实时采集钢卷卷形图片：工业摄像机安装在运输线喷号机的前后，采用悬挂式设计，用于实时采集钢卷卷形图像；
对在线的图片数据进行解析与评估：工业计算机连接所述工业摄像头，且在线实时接收所述工业摄像头采集的钢卷卷形图像，在所述工业计算机中部署训练获得的所述钢卷卷形缺陷检测模型，所述工业计算机利用训练好的所述钢卷卷形缺陷检测模型对在线实时采集的钢卷卷形图像进行数字化分析，分析获得输入的钢卷卷形图片具有的缺陷类型与等级。
6.根据权利要求5所述基于目标检测的钢卷卷形缺陷检测识别方法，其特征在于，所述数字化分析包括：利用滑动窗口算法对测试图片进行像素级的扫描，根据所述钢卷卷形缺陷检测模型的权值网络模型，能够自动定位在训练集中大量、重复出现的标注特征，并将结果显示在测试图片中，从而实现缺陷分类检测的目的。
7.根据权利要求1所述基于目标检测的钢卷卷形缺陷检测识别方法，其特征在于，所述标检测网络Faster-RCNN，采用检测识别算法Faster-RCNN，是根据现有的目标检测算法，并将用于传统的钢铁制造业。
8.根据权利要求1所述基于目标检测的钢卷卷形缺陷检测识别方法，其特征在于，所述剪枝优化算法，是模型通过减少网络层数和连接，以减少参数数量的一种模型压缩算法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910488179.2A CN110197170A (zh) | 2019-06-05 | 2019-06-05 | 基于目标检测的钢卷卷形缺陷检测识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910488179.2A CN110197170A (zh) | 2019-06-05 | 2019-06-05 | 基于目标检测的钢卷卷形缺陷检测识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110197170A true CN110197170A (zh) | 2019-09-03 |
Family
ID=67754024
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910488179.2A Pending CN110197170A (zh) | 2019-06-05 | 2019-06-05 | 基于目标检测的钢卷卷形缺陷检测识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110197170A (zh) |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110648323A (zh) * | 2019-09-26 | 2020-01-03 | 上海御微半导体技术有限公司 | 一种缺陷检测分类系统及其方法 |
| CN111127416A (zh) * | 2019-12-19 | 2020-05-08 | 武汉珈鹰智能科技有限公司 | 基于计算机视觉的混凝土结构表面缺陷自动检测方法 |
| CN111199543A (zh) * | 2020-01-07 | 2020-05-26 | 南京航空航天大学 | 一种基于卷积神经网络的冰柜表面缺陷检测 |
| CN111307753A (zh) * | 2020-02-25 | 2020-06-19 | 杨晨露 | 一种基于太赫兹技术的纤维材料检测系统及方法 |
| CN111489332A (zh) * | 2020-03-31 | 2020-08-04 | 成都数之联科技有限公司 | 一种用于目标检测的多尺度iof随机裁剪的数据增强方法 |
| CN111553950A (zh) * | 2020-04-30 | 2020-08-18 | 中冶赛迪重庆信息技术有限公司 | 一种钢卷对中判断方法、系统、介质及电子终端 |
| CN111860421A (zh) * | 2020-07-30 | 2020-10-30 | 东北大学 | 一种基于Mask R-CNN网络的C-Mn钢组织识别方法 |
| CN111968103A (zh) * | 2020-08-27 | 2020-11-20 | 中冶赛迪重庆信息技术有限公司 | 一种钢卷间距检测方法、系统、介质及电子终端 |
| CN112053336A (zh) * | 2020-08-31 | 2020-12-08 | 中冶赛迪重庆信息技术有限公司 | 一种棒材对齐检测方法、系统、设备及介质 |
| CN112183474A (zh) * | 2020-10-28 | 2021-01-05 | 欧冶云商股份有限公司 | 一种钢铁行业基于5g+人工智能的视频盘库方法及系统 |
| CN112288716A (zh) * | 2020-10-28 | 2021-01-29 | 中冶赛迪重庆信息技术有限公司 | 一种钢卷打捆状态检测方法、系统、终端及介质 |
| CN112288043A (zh) * | 2020-12-23 | 2021-01-29 | 飞础科智慧科技(上海)有限公司 | 窑炉表面缺陷检测方法、系统和介质 |
| CN113240628A (zh) * | 2021-04-14 | 2021-08-10 | 首钢集团有限公司 | 一种钢卷质量的判定方法、装置及系统 |
| CN113269759A (zh) * | 2021-05-28 | 2021-08-17 | 中冶赛迪重庆信息技术有限公司 | 一种基于图像识别的钢卷信息检测方法、系统、介质和终端 |
| CN113269043A (zh) * | 2021-04-27 | 2021-08-17 | 辽宁科技大学 | 一种钢卷松卷的实时跟踪识别方法及装置 |
| CN113284115A (zh) * | 2021-05-28 | 2021-08-20 | 中冶赛迪重庆信息技术有限公司 | 一种钢卷塔形识别方法、系统、介质和终端 |
| CN114441549A (zh) * | 2021-12-31 | 2022-05-06 | 武汉钢铁有限公司 | 钢卷质量检测系统及方法 |
| CN114722973A (zh) * | 2022-06-07 | 2022-07-08 | 江苏华程工业制管股份有限公司 | 一种钢管热处理的缺陷检测方法及系统 |
| CN115471560A (zh) * | 2022-11-11 | 2022-12-13 | 成都智元汇信息技术股份有限公司 | 一种基于主视角和侧视角的切图方法及装置 |
| WO2023071759A1 (zh) * | 2021-10-26 | 2023-05-04 | 江苏时代新能源科技有限公司 | 一种极片打皱检测方法、系统、终端及存储介质 |
| CN116586441A (zh) * | 2023-07-10 | 2023-08-15 | 江苏甬金金属科技有限公司 | 一种金属轧机的智能控制方法及系统 |
| CN117732886A (zh) * | 2024-02-07 | 2024-03-22 | 东北大学 | 一种基于级联智能诊断的热轧质量预控制方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108242054A (zh) * | 2018-01-09 | 2018-07-03 | 北京百度网讯科技有限公司 | 一种钢板缺陷检测方法、装置、设备和服务器 |
| CN109376773A (zh) * | 2018-09-30 | 2019-02-22 | 福州大学 | 基于深度学习的裂纹检测方法 |
| US20190080444A1 (en) * | 2017-09-11 | 2019-03-14 | International Business Machines Corporation | Object detection |
| CN109767427A (zh) * | 2018-12-25 | 2019-05-17 | 北京交通大学 | 列车轨道扣件缺陷的检测方法 |
| CN109829900A (zh) * | 2019-01-18 | 2019-05-31 | 创新奇智(北京)科技有限公司 | 一种基于深度学习的钢卷端面缺陷检测方法 |
-
2019
- 2019-06-05 CN CN201910488179.2A patent/CN110197170A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190080444A1 (en) * | 2017-09-11 | 2019-03-14 | International Business Machines Corporation | Object detection |
| CN108242054A (zh) * | 2018-01-09 | 2018-07-03 | 北京百度网讯科技有限公司 | 一种钢板缺陷检测方法、装置、设备和服务器 |
| CN109376773A (zh) * | 2018-09-30 | 2019-02-22 | 福州大学 | 基于深度学习的裂纹检测方法 |
| CN109767427A (zh) * | 2018-12-25 | 2019-05-17 | 北京交通大学 | 列车轨道扣件缺陷的检测方法 |
| CN109829900A (zh) * | 2019-01-18 | 2019-05-31 | 创新奇智(北京)科技有限公司 | 一种基于深度学习的钢卷端面缺陷检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 张昭昭等: "《模块化神经网络结构分析与设计》", 30 April 2014 * |
Cited By (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110648323A (zh) * | 2019-09-26 | 2020-01-03 | 上海御微半导体技术有限公司 | 一种缺陷检测分类系统及其方法 |
| CN111127416A (zh) * | 2019-12-19 | 2020-05-08 | 武汉珈鹰智能科技有限公司 | 基于计算机视觉的混凝土结构表面缺陷自动检测方法 |
| CN111199543A (zh) * | 2020-01-07 | 2020-05-26 | 南京航空航天大学 | 一种基于卷积神经网络的冰柜表面缺陷检测 |
| CN113447455A (zh) * | 2020-02-25 | 2021-09-28 | 杨晨露 | 一种基于太赫兹技术的纤维材料检测系统 |
| CN111307753A (zh) * | 2020-02-25 | 2020-06-19 | 杨晨露 | 一种基于太赫兹技术的纤维材料检测系统及方法 |
| CN113447455B (zh) * | 2020-02-25 | 2022-08-12 | 苏州鱼得水电气科技有限公司 | 一种基于太赫兹技术的纤维材料检测系统 |
| CN111489332A (zh) * | 2020-03-31 | 2020-08-04 | 成都数之联科技有限公司 | 一种用于目标检测的多尺度iof随机裁剪的数据增强方法 |
| CN111553950A (zh) * | 2020-04-30 | 2020-08-18 | 中冶赛迪重庆信息技术有限公司 | 一种钢卷对中判断方法、系统、介质及电子终端 |
| CN111553950B (zh) * | 2020-04-30 | 2023-04-18 | 中冶赛迪信息技术(重庆)有限公司 | 一种钢卷对中判断方法、系统、介质及电子终端 |
| CN111860421A (zh) * | 2020-07-30 | 2020-10-30 | 东北大学 | 一种基于Mask R-CNN网络的C-Mn钢组织识别方法 |
| CN111968103A (zh) * | 2020-08-27 | 2020-11-20 | 中冶赛迪重庆信息技术有限公司 | 一种钢卷间距检测方法、系统、介质及电子终端 |
| CN111968103B (zh) * | 2020-08-27 | 2023-05-09 | 中冶赛迪信息技术(重庆)有限公司 | 一种钢卷间距检测方法、系统、介质及电子终端 |
| CN112053336A (zh) * | 2020-08-31 | 2020-12-08 | 中冶赛迪重庆信息技术有限公司 | 一种棒材对齐检测方法、系统、设备及介质 |
| CN112288716B (zh) * | 2020-10-28 | 2023-10-27 | 中冶赛迪信息技术(重庆)有限公司 | 一种钢卷打捆状态检测方法、系统、终端及介质 |
| CN112183474B (zh) * | 2020-10-28 | 2021-07-02 | 欧冶云商股份有限公司 | 一种钢铁行业基于5g+人工智能的视频盘库方法及系统 |
| CN112183474A (zh) * | 2020-10-28 | 2021-01-05 | 欧冶云商股份有限公司 | 一种钢铁行业基于5g+人工智能的视频盘库方法及系统 |
| CN112288716A (zh) * | 2020-10-28 | 2021-01-29 | 中冶赛迪重庆信息技术有限公司 | 一种钢卷打捆状态检测方法、系统、终端及介质 |
| CN112288043A (zh) * | 2020-12-23 | 2021-01-29 | 飞础科智慧科技(上海)有限公司 | 窑炉表面缺陷检测方法、系统和介质 |
| CN113240628A (zh) * | 2021-04-14 | 2021-08-10 | 首钢集团有限公司 | 一种钢卷质量的判定方法、装置及系统 |
| CN113269043B (zh) * | 2021-04-27 | 2023-08-18 | 辽宁科技大学 | 一种钢卷松卷的实时跟踪识别方法及装置 |
| CN113269043A (zh) * | 2021-04-27 | 2021-08-17 | 辽宁科技大学 | 一种钢卷松卷的实时跟踪识别方法及装置 |
| CN113284115A (zh) * | 2021-05-28 | 2021-08-20 | 中冶赛迪重庆信息技术有限公司 | 一种钢卷塔形识别方法、系统、介质和终端 |
| CN113269759A (zh) * | 2021-05-28 | 2021-08-17 | 中冶赛迪重庆信息技术有限公司 | 一种基于图像识别的钢卷信息检测方法、系统、介质和终端 |
| WO2023071759A1 (zh) * | 2021-10-26 | 2023-05-04 | 江苏时代新能源科技有限公司 | 一种极片打皱检测方法、系统、终端及存储介质 |
| CN114441549A (zh) * | 2021-12-31 | 2022-05-06 | 武汉钢铁有限公司 | 钢卷质量检测系统及方法 |
| CN114441549B (zh) * | 2021-12-31 | 2024-02-23 | 武汉钢铁有限公司 | 钢卷质量检测系统及方法 |
| CN114722973A (zh) * | 2022-06-07 | 2022-07-08 | 江苏华程工业制管股份有限公司 | 一种钢管热处理的缺陷检测方法及系统 |
| CN115471560A (zh) * | 2022-11-11 | 2022-12-13 | 成都智元汇信息技术股份有限公司 | 一种基于主视角和侧视角的切图方法及装置 |
| CN116586441B (zh) * | 2023-07-10 | 2023-11-14 | 江苏甬金金属科技有限公司 | 一种金属轧机的智能控制方法及系统 |
| CN116586441A (zh) * | 2023-07-10 | 2023-08-15 | 江苏甬金金属科技有限公司 | 一种金属轧机的智能控制方法及系统 |
| CN117732886A (zh) * | 2024-02-07 | 2024-03-22 | 东北大学 | 一种基于级联智能诊断的热轧质量预控制方法 |
| CN117732886B (zh) * | 2024-02-07 | 2024-04-30 | 东北大学 | 一种基于级联智能诊断的热轧质量预控制方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110197170A (zh) | 基于目标检测的钢卷卷形缺陷检测识别方法 | |
| WO2021142902A1 (zh) | 基于DANet的无人机海岸线漂浮垃圾巡检系统 | |
| CN106127204B (zh) | 一种全卷积神经网络的多方向水表读数区域检测算法 | |
| CN110717481B (zh) | 一种利用级联卷积神经网络实现人脸检测的方法 | |
| CN103604809B (zh) | 一种图案布匹瑕疵在线视觉检测方法 | |
| CN108537215A (zh) | 一种基于图像目标检测的火焰检测方法 | |
| CN109711474A (zh) | 一种基于深度学习的铝材表面缺陷检测算法 | |
| CN109816012A (zh) | 一种融合上下文信息的多尺度目标检测方法 | |
| CN108346159A (zh) | 一种基于跟踪-学习-检测的视觉目标跟踪方法 | |
| CN104361590B (zh) | 一种控制点自适应分布的高分辨率遥感影像配准方法 | |
| CN107862705A (zh) | 一种基于运动特征和深度学习特征的无人机小目标检测方法 | |
| CN105300296B (zh) | 一种激光拼焊曲面拼缝测量方法及其实现装置 | |
| CN108960198A (zh) | 一种基于残差ssd模型的交通标志检测与识别方法 | |
| CN109583324A (zh) | 一种基于单点多盒检测器的指针仪表读数自动识别方法 | |
| CN103886325B (zh) | 一种分块的循环矩阵视频跟踪方法 | |
| CN109446925A (zh) | 一种基于卷积神经网络的电力设备检测算法 | |
| CN109657541A (zh) | 一种基于深度学习的无人机航拍图像中的船舶检测方法 | |
| CN101527043B (zh) | 基于运动目标轮廓信息的视频对象分割方法 | |
| CN102134636A (zh) | 监控退火炉内钢带跑偏的方法 | |
| CN110110649A (zh) | 基于速度方向的可选择性人脸检测方法 | |
| CN112233067A (zh) | 一种热轧钢卷端面质量检测方法及系统 | |
| CN109214308A (zh) | 一种基于焦点损失函数的交通异常图片识别方法 | |
| CN106407958A (zh) | 基于双层级联的面部特征检测方法 | |
| CN106226212A (zh) | 基于深度残差网络的高光谱霾监测方法 | |
| CN109376676A (zh) | 基于无人机平台的公路工程现场施工人员安全预警方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190903 |
|
| RJ01 | Rejection of invention patent application after publication |