CN112733841A - 钢卷内部紊乱判断方法、系统、设备及介质 - Google Patents
钢卷内部紊乱判断方法、系统、设备及介质 Download PDFInfo
- Publication number
- CN112733841A CN112733841A CN202011607709.XA CN202011607709A CN112733841A CN 112733841 A CN112733841 A CN 112733841A CN 202011607709 A CN202011607709 A CN 202011607709A CN 112733841 A CN112733841 A CN 112733841A
- Authority
- CN
- China
- Prior art keywords
- steel coil
- area
- image
- target
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种钢卷内部紊乱判断方法、系统、设备及介质,包括:采集目标钢卷的初始图像信息,将初始图像信息输入目标检测网络进行训练,建立用于识别目标钢卷位置的检测模型;利用检测模型实时采集目标区域的钢卷图像信息,根据钢卷图像信息判断钢卷是否处于感兴趣区域内;当感兴趣区域内未检测到钢卷时,不对图像进行处理;当感兴趣区域内检测到钢卷时,对目标图像进行色彩处理得到钢卷区域图像,提取钢卷区域图像内的轮廓特征;根据轮廓特征判断钢卷是否内部紊乱,持续检测直至钢卷离开。本发明可有效、精确地判断出钢卷内部紊乱情况;能够自动实现对紊乱情况的检测,减少人工劳动与紊乱损失,具有易于实现、计算量小、稳定性强的优点。
Description
技术领域
本发明涉及钢铁冶炼领域和图像处理领域,特别是涉及一种针对钢线材的钢卷内部紊乱判断方法、系统、设备及介质。
背景技术
在钢卷处理过程中,钢线材首先需要卷成钢卷,随后进入下一环节进行包装处理。这是连续自动化生产线的关键一步,如果钢线材未能卷成规整形状,钢卷发生内部紊乱,则可能使后续生产线发生停机故障。
然而,对于钢卷是否合格,以及是否发生紊乱,此前通常为人工确认,缺乏规范、高效的检测方式。对于钢铁厂而言,容易引起钢铁厂的人力成本和生产成本上升,因此,亟需一种无人参与的钢卷内部紊乱判断方法,以确保钢卷内部紊乱判断的准确性和及时性。
发明内容
鉴于以上所述现有情况的缺点,本发明的目的在于提供一种钢卷内部紊乱判断方法、系统、设备及介质,用于解决现有技术中针对钢线材的钢卷内部紊乱检测不便的问题。
为实现上述目的及其他相关目的,本发明提供一种钢卷内部紊乱判断方法,包括:
采集目标钢卷的初始图像信息,将所述初始图像信息输入目标检测网络进行训练,建立用于识别所述目标钢卷位置的检测模型;
利用所述检测模型实时采集目标区域的钢卷图像信息,根据所述钢卷图像信息判断所述钢卷是否处于感兴趣区域内;
当所述感兴趣区域内未检测到钢卷时,不对图像进行处理;
当所述感兴趣区域内检测到钢卷时,对目标图像进行色彩处理得到钢卷区域图像,提取所述钢卷区域图像内的轮廓特征;
根据所述轮廓特征判断钢卷是否内部紊乱,持续检测直至所述钢卷离开。
本发明的另一目的在于提供一种钢卷内部紊乱判断系统,包括:
模型构建模块,用于采集目标钢卷的初始图像信息,将所述初始图像信息输入目标检测网络进行训练,建立用于识别所述目标钢卷位置的检测模型;
第一判断模块,利用所述检测模型实时采集目标区域的钢卷图像信息,根据所述钢卷图像信息判断所述钢卷是否处于感兴趣区域内;
图像处理模块,用于当所述感兴趣区域内未检测到钢卷时,不对图像进行处理;当所述感兴趣区域内检测到钢卷时,对目标图像进行色彩处理得到钢卷区域图像,提取所述钢卷区域图像内的轮廓特征;
第二判断模块,用于根据所述轮廓特征判断钢卷是否内部紊乱,持续检测直至所述钢卷离开。
本发明的另一目的在于提供一种电子设备,包括:一个或多个处理器;和其上存储有指令的一个或多个机器可读介质,当所述一个或多个处理器执行时,使得所述电子设备执行中一个或多个所述的方法。
本发明的还一目的在于提供一种一个或多个机器可读介质,其上存储有指令,当由一个或多个处理器执行时,使得设备执行中一个或多个所述的方法。
如上所述,本发明提供的一种钢卷内部紊乱判断方法、系统、电子设备及介质,具有以下有益效果:
本发明可以对钢线材的钢卷内部进行实时检测,判断钢卷内部紊乱结果并自动传递给其他系统,相比现有技术,通过替换人工检测,提高钢卷内部紊乱判断的效率与精确度;同时,减少了人工工作量与紊乱损失,具有易于实现、计算量小、稳定性强的优点,也能满足实时性处理的要求。
附图说明
图1显示为本发明实施例提供一种钢卷内部紊乱判断方法流程示意图;
图2显示为本发明实施例提供一种钢卷内部紊乱判断方法完整流程示意图;
图3显示为本发明实施例提供的工厂实地背景板设置示意图;
图4显示为本发明实施例中针对钢线材的钢卷内部紊乱现场示意图;
图5显示为本发明实施例中针对钢线材的钢卷内部紊乱处理结果示意图;
图6显示为本发明实施例中针对钢线材的目标钢卷区域与感兴趣区域位置比较判别检测示意图;
图7显示为本发明实施例中针对钢线材的HSV色彩分割处理示意图;
图8显示为本发明实施例中针对钢线材的曝光区域除杂处理示意图;
图9显示为本发明实施例中针对钢线材的非目标物体区域最小外接矩形识别示意图;
图10显示为本发明实施例中针对钢线材的轮廓识别处理示意图;
图11显示为本发明实施例中针对钢线材的圆形感兴趣区域除杂处理示意图;
图12显示为本发明实施例提供的一种钢卷内部紊乱判断结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
需要说明的是,本实施例中所提供的图示仅以示意方式说明本发明的基本构想,遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。本说明书所附图式所绘示的结构、比例、大小等,均仅用以配合说明书所揭示的内容,以供熟悉此技术的人士了解与阅读,并非用以限定本发明可实施的限定条件,故不具技术上的实质意义,任何结构的修饰、比例关系的改变或大小的调整,在不影响本发明所能产生的功效及所能达成的目的下,均应仍落在本发明所揭示的技术内容得能涵盖的范围内。同时,本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”及“一”等的用语,亦仅为便于叙述的明了,而非用以限定本发明可实施的范围,其相对关系的改变或调整,在无实质变更技术内容下,当亦视为本发明可实施的范畴。
请参阅图1,为本发明实施例提供一种钢卷内部紊乱判断方法流程示意图,详述如下:
步骤S1,采集目标钢卷的初始图像信息,将所述初始图像信息输入目标检测网络进行训练,建立用于识别所述目标钢卷位置的检测模型;
具体地,采集目标钢卷的初始图像信息构建钢卷数据集,所述初始图像信息通过标注所述钢卷保存钢卷位置信息,其中,所述位置信息的格式及内容为:
[SteelHolexmin,SteelHoleymin,SteelHolexmax,SteelHoleymax]
其中,SteelHolexmin、SteelHoleymin分别为钢卷矩形目标框在图像中的左上角x、y坐标,SteelHolexmax、SteelHoleymax分别为钢卷矩形目标框在图像中的右下角x、y坐标;
基于深度学习的目标检测网络对所述钢卷数据集进行训练,建立识别目标钢卷位置的检测模型,所述目标检测网络包括SSD系列、yolo系列或faster-rcnn中任一种,例如,SSD(Single Shot MultiBoxDetector,一阶段多框预测检测器)、YOLO(You Only LookOnce:Unified,Real-TimeObject Detection,只需要一次卷积网络运算的统一框架的实时目标检测)、Faster R-CNN、R-CNN、Fast R-CNN,也可以用其他目标检测网络替代,该类算法可对实时监控视频中出现的钢卷等典型目标进行实时监测并在视频中用方框等形式进行标识。
通过基于深度学习的目标检测网络对钢卷数据集进行训练,得到能够自动识别钢卷图像目标钢卷位置的检测模型,利用该模型能够准确获取监控视频中钢卷位置。
步骤S2,利用所述检测模型实时采集目标区域的钢卷图像信息,根据所述钢卷图像信息判断所述钢卷是否处于感兴趣区域内;
具体地,通过对比钢卷位置信息与所设置的感兴趣区域位置信息,判断所述感兴趣区域中是否存在钢卷;其中,所述感兴趣区域在图像中位置信息的内容与格式为:
[ROIxmin,ROIymin,ROIxmax,ROIymax]
其中,ROIxmin、ROIymin分别为感兴趣区域在图像中的左上角x、y坐标,ROIxmax、ROIymax分别为感兴趣区域在图像中的右下角x、y坐标;
若满足SteelHolexmin>ROIxmin,SteelHoleymin>ROIymin,SteelHolexmax<ROIxmax,SteelHoleymax<ROIymax,则判定所述目标钢卷位于识别感兴趣区域内;若不满足,则判定所述目标钢卷位于识别感兴趣区域外。
步骤S3,当所述感兴趣区域内未检测到钢卷时,不对图像进行处理;
具体地,当所述感兴趣区域内未检测到钢卷时,不对区域画面进行处理,以正常值返回设备系统。
步骤S4,当所述感兴趣区域内检测到钢卷时,对目标图像进行色彩处理得到钢卷区域图像,提取所述钢卷区域图像内的轮廓特征;
具体地,当所述感兴趣区域内检测到钢卷时,对识别到的钢卷画面进行色彩处理,所述色彩处理包括图像对比度调节、图像饱和度调节、图像明度调节、以及区域图像色彩分割。
其中,需要说明的是,步骤S3与步骤S4为并行步骤,两者执行没有先后顺序。
步骤S5,根据所述轮廓特征判断钢卷是否内部紊乱,持续检测直至所述钢卷离开。
在本实施例中,通过对钢线材的钢卷内部进行实时检测,判断钢卷内部紊乱结果并自动传递给其他系统,相比现有技术,通过替换人工检测,提高钢卷内部紊乱判断的效率与精确度;同时,减少了人工工作量与紊乱损失,具有易于实现、计算量小、稳定性强的优点,也能满足实时性处理的要求。
请参阅图2,为本发明实施例提供一种钢卷内部紊乱判断方法完整流程示意图,还包括:
步骤S0,在钢线材生产线中设置纯色背景板,根据所述背景板的位置和相机的位置设置识别感兴趣区域;
在本实施例中,在工厂钢线材生产线中实地设置纯色背景板,用以统一背景色辅助识别,再以背景板正对位设置相机,根据相机位置规划出识别感兴趣区域,实地背景板设置的详情-详见参阅图3通过设置背景板,一方面,能够减少钢卷与外部环境之间的干扰,更准确获取钢卷图像;另一方面,也能减少钢卷图像获取的工作量,提高其图像获取效率。
在另一些实施例中,目标钢卷区域与感兴趣区域比较判别的详情-可参见图6;
在步骤S3,当所述感兴趣区域内未检测到钢卷时,不对区域画面进行处理,以正常值返回设备系统;
在步骤S4,当所述感兴趣区域内检测到钢卷时,对识别到的钢卷画面进行颜色处理,其处理步骤包括图像对比度、饱和度、明度调节,以及区域图像色彩分割;详见图4至图5,为钢卷内部紊乱现场、钢卷内部紊乱处理结果示意图。
所述图像对比度调节以指数调节为基础,其基本数学表达式为:
其中,指数γ为设定的指数调节参数,A为常数系数,Vin为钢卷图像输入信息,Vout为钢卷图像输出信息,其中,图像对比度就是对图像颜色和亮度差异感知,对比度越大,图像的对象与周围差异性也就越大,反之亦然;通过指数调节图像对比度对非线性色调进行校正。
具体地,上述的图像饱和度调节、图像明度调节以HSV图像色彩格式为基础,即以色相(Hue)、饱和度(Saturation)、明度(Value)为三通道的颜色格式,相较计算机常用的RGB(Red、Green、Blue)三通道格式更直观于色彩调节处理;
将图像颜色格式从RGB三通道的格式转化为HSV格式的基本表达式如下:
max=max(R,G,B);
min=min(R,G,B);
V=max;
S=(max-min)/max;
其中,H为色相(Hue)通道数值,S为饱和度(Saturation)通道数值,V为明度(Value)通道数值。R、G、B分别为RGB的Red、Green、Blue三通道数值。
根据转化后的HSV色彩格式对钢卷区域图像的饱和度、明度进行调节处理,其基本方法在于,设定HSV三通道颜色阈值,将超出阈值的色彩区域进行归中处理,以得到颜色更加均衡、理想的钢卷区域图像。
为了加深钢线材的识别度,对于调节后的钢卷区域图像,进行扩大原来图像中的钢线材深色像素区域、减小背景板浅色像素部分区域的处理。其基本表达式如下:
dst(x,y)=min(src(x+x′,y+y′))(x′,y′):(x′,y′)≠0
其中,(x,y)为待处理像素点坐标,src(x,y)为待处理像素点的颜色值,dst(x,y)为处理后像素点的颜色值,(x+x′,y+y′)表示以(x,y)为中心的其周围联通的像素点。
以钢卷区域的左上角顶点为起始点,对于区域内的每一像素点(x,y)进行上述处理,得到最终深色钢卷区域更大、更明显的识别图像。
上述区域图像色彩分割处理是以HSV色彩格式为基础,根据工厂实地色彩情景设置的、足以区分钢卷和背景板颜色的颜色阈值,对上述处理后的钢卷区域图像进行色彩分割处理,将超出阈值范围的部分转为黑色、符合阈值范围的部分转为白色,得到仅有黑白两色的二值化区域图像,其基本原理表达式如下:
HSVmin=(Hmin,Smin,Vmin)
HSVmax=(Hmax,Smax,Vmax)
其中,mask(x,y)为得到的二值化图像像素值,255为白色像素值,0为黑色像素值,HSV(x,y)为待分割色彩图像的像素值,HSVmin与HSVmax是根据工厂实地色彩情景设置的、足以区分钢卷和背景板颜色的HSV颜色阈值。
以目标钢卷区域的左上角顶点为起始点,对于区域内的每一像素点(x,y)进行上述颜色分割判断处理,最终得到仅有黑白两色的二值化区域图像。
在另一个实施例中,颜色分割处理结果-可参见图7。
对于处理后的图像而言,仍有存在极端环境情况的可能,如背景板的过度曝光,会使原本应处在背景板颜色区域范围的像素值超出识别阈值,被误转化为黑色区域,干扰色彩分割结果,针此种情况,使用阈值二值化对识别区域图像进行去曝光处理,将识别出的超阈值像素转化白色,与背景板白色区域融合。
所述阈值二值化计算公式可表达如下:
其中dst(x,y)为二值化阈值计算后的像素值,255为白色像素值,0为黑色像素值,src(x,y)为待处理原像素值,thresh为所设阈值。
以钢卷区域的左上角顶点为起始点,对于区域内的每一像素点(x,y)进行二值化判别处理,将极端像素点颜色与整个背景板区域融合,得到较完整连续图像。
曝光区域除杂处理结果可参见图8。
对于其他可能会对识别颜色区域造成混淆的非目标物体,如黄色的固定支架,其在强光照射下存在曝光可能,对二值化处理结果造成影响;再次使用上方所述的色彩分割方法,通过工厂实地情境设定符合非目标物体颜色范围的色彩阈值,对非目标物体区域进行分割,将分割出的区域像素值转为0,使其与背景板外黑色区域融合,实现对其他颜色像素进行除杂。
对于识别出的非目标物体区域,内部可能会存在因曝光引起的不连续孔洞,即未识别区域,为了确保非目标物体区域连续填满,鉴于除钢卷外的物体基本都为规则的四边形,使用最小外接矩形对此区域进行填充除杂。其基本原理如下:
rect=min(Width*Height)forθ∈(-90,0]
其中rect为寻找的非目标物体区域的最小外接矩形,θ为以水平轴(x轴)为起始逆时针旋转,与碰到的矩形的第一条边的夹角大小。碰到的矩形的第一条边的边长为Width,另一条边边长为Height。
将此非目标物体外接矩形区域进行黑色填充,确保全部非目标物体区域与背景板外黑色区域融合,达到非目标物体的充分除杂。
非目标物体区域最小外接矩形识别结果可参见图9。
对于所述的获取图像色彩轮廓特征所采用的基本方式为,将上一步得到的经过了颜色处理和非目标物体除杂后的二值化钢卷区域,进行边缘轮廓的查找识别,即寻找二值化图像中的所有黑白交界处的像素点,将每个连通的交界像素点部分储存为一条完整轮廓。
在步骤S6中,对于所述的获取图像色彩轮廓特征所采用的基本方式为,将上一步得到的经过了颜色处理和非目标物体除杂后的二值化钢卷区域,进行边缘轮廓的查找识别,即寻找二值化图像中的所有黑白交界处的像素点,将每个连通的交界像素点部分储存为一条完整轮廓。
进一步地,将寻找到的轮廓特征,按照其轮廓面积在整体图像区域面积(每条轮廓内包围的像素点数量)所占比例,分为三种情况:
最大轮廓:钢卷在背景板上围成的类圆形区域,当感兴趣区域内识别到钢卷时,必然存在此最大轮廓;可以通过在所有轮廓中寻找面积最大值所对应的轮廓来获取此轮廓;
区域轮廓:发生紊乱时,钢卷所围成的类圆形区域会被不规整的钢线材分割,形成除最大轮廓外的区域轮廓,且可能同时存在多个区域轮廓;可以通过设置第一面积比例阈值来寻找此轮廓,例如,第一面积比例阈值通常为最大轮廓面积的二十分之一;无紊乱时不存在此类轮廓;
躁点轮廓:光照阴影影响、钢卷行进时的像素点持续运动会产生与周围像素有较明显区别躁点,在轮廓识别时被识别为小型独立轮廓,可以通过设置第二面积比例阈值来寻找此轮廓,例如,第二面积比例阈值通常为最大轮廓的千分之一;
轮廓识别结果可参见图10,其中左方类圆形轮廓即为最大轮廓,右方月牙型轮廓即为区域轮廓。
进一步地,对于得到的钢卷区域轮廓特征,由于光照可能会对钢线材造成颜色渲染影响,使其H(Hue)通道值进入背景板颜色阈值范围,对颜色分割结果造成干扰,再次进行除杂处理;其中处理方式包括圆形感兴趣区域除杂、躁点轮廓除杂,目的为提高紊识别精确度;
对于钢卷在背景板上围成的类圆形最大轮廓区域,使用最小外接圆进行圆形感兴趣区域除杂;通过寻找最大轮廓的四个极值点[xmin,yxmin]、[xmax,yxmax]、[xymin,ymin]、[xymax,ymax],以其两两连线的中垂线交点作为圆心,圆心到任一顶点的距离为半径作最小外接圆。将圆形感兴趣区域外的像素区域与二值化图像中的黑色像素区域融合,得到仅圆形感兴趣区域内有效的二值化图像。
圆形感兴趣区域除杂处理结果可参见图11。
其所述躁点轮廓区域除杂的基本原理为,事先设定躁点轮廓的面积阈值,对每一条轮廓进行筛选。其基本原理如下:
其中,contours为输入的待处理轮廓,area(contours)为待处理轮廓面积,即此轮廓围成的区域内的像素点个数和,thresold为躁点轮廓面积阈值。
舍弃被判断为False的躁点轮廓,仅保留符合条件的判断为True的轮廓,以此完成躁点轮廓除杂。
其所述判断钢卷是否存在内部紊乱的判断方法为,对于除杂后的钢卷目标区域轮廓特征,根据其中是否存在符合区域轮廓面积范围的轮廓,判定钢卷是否存在紊乱状况。其判定基本原理如下:
其中result为判断结果,area(contours)为待判断轮廓面积,maxarea为最大轮廓面积,thresold为二者比例阈值,其值符合区域轮廓面积占比,可以与最大轮廓和躁点轮廓区分。
对于得到的紊乱判断结果,进行画面连续判断处理,即当一段时间内的钢卷目标区域轮廓特征连续被判断为紊乱时,进行紊乱结果反馈,向设备系统返回异常值,否则仍返回正常结果;此画面连续处理可增大识别容错率,避免了部分画面短暂不理想识别可能会带来的误警报结果。
请参阅图12,本发明还提供一种钢卷内部紊乱判断系统,包括:
模型构建模块1,用于采集目标钢卷的初始图像信息,将所述初始图像信息输入目标检测网络进行训练,建立用于识别所述目标钢卷位置的检测模型;
第一判断模块2,利用所述检测模型实时采集目标区域的钢卷图像信息,根据所述钢卷图像信息判断所述钢卷是否处于感兴趣区域内;
图像处理模块3,用于当所述感兴趣区域内未检测到钢卷时,不对图像进行处理;当所述感兴趣区域内检测到钢卷时,对目标图像进行色彩处理得到钢卷区域图像,提取所述钢卷区域图像内的轮廓特征;
第二判断模块4,用于根据所述轮廓特征判断钢卷是否内部紊乱,持续检测直至所述钢卷离开
系统实施例的技术原理与前述方法实施例的技术原理相似,因而不再对同样的技术细节做重复性赘述。
在一实施例中,针对钢线材的钢卷内部紊乱判断系统包括模型构建模块1、第一判断模块2、图像处理模块3和第二判断模块4;模型构建模块1用于辅助执行前述方法实施例介绍的步骤S1;第一判断模块2用于辅助执行前述方法实施例介绍的步骤S2;图像处理模块3用于辅助执行前述方法实施例介绍的步骤S3、S4;第二判断模块4用于辅助执行前述方法实施例介绍的步骤S5。
另外,还需要说明的是,钢卷内部紊乱判断系统还包括:
预处理模块0,在钢线材生产线中设置纯色背景板,根据所述背景板的位置和相机的位置设置识别感兴趣区域。
本发明实施例还提供一个或多个机器可读介质,本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本实施例提供的电子终端,包括处理器、存储器、收发器和通信接口,存储器和通信接口与处理器和收发器连接并完成相互间的通信,存储器用于存储计算机程序,通信接口用于进行通信,处理器和收发器用于运行计算机程序,使电子终端执行如上方法的各个步骤。
在上述实施例中,说明书对“本实施例”的提及表示结合实施例说明的特定特征、结构或特性包括在至少一些实施例中,但不必是全部实施例。“本实施例”的多次出现不一定全部都指代相同的实施例。
在上述实施例中,尽管已经结合了本发明的具体实施例对本发明进行了描述,但是根据前面的描述,这些实施例的很多替换、修改和变形对本领域普通技术人员来说将是显而易见的。例如,其他存储结构(例如,动态RAM(DRAM))可以使用所讨论的实施例。本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本发明可用于众多通用或专用的计算系统环境或配置中。例如:个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。
本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
上述实施例仅示例性说明本发明的原理及其功效,而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下,对上述实施例进行修饰或改变。因此,但凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本发明的权利要求所涵盖。
Claims (18)
1.一种钢卷内部紊乱判断方法,其特征在于,包括:
采集目标钢卷的初始图像信息,将所述初始图像信息输入目标检测网络进行训练,建立用于识别所述目标钢卷位置的检测模型;
利用所述检测模型实时采集目标区域的钢卷图像信息,根据所述钢卷图像信息判断所述钢卷是否处于感兴趣区域内;
当所述感兴趣区域内未检测到钢卷时,不对图像进行处理;
当所述感兴趣区域内检测到钢卷时,对目标图像进行色彩处理得到钢卷区域图像,提取所述钢卷区域图像内的轮廓特征;
根据所述轮廓特征判断钢卷是否内部紊乱,持续检测直至所述钢卷离开。
2.根据权利要求1所述的钢卷内部紊乱判断方法,其特征在于,还包括:在钢线材生产线中设置纯色背景板,根据所述背景板的位置和相机的位置设置识别感兴趣区域。
3.根据权利要求1所述的钢卷内部紊乱判断方法,其特征在于,所述采集目标钢卷的初始图像信息,将所述初始图像信息输入目标检测网络进行训练,建立用于识别所述目标钢卷位置的检测模型的步骤,包括:
采集目标钢卷的初始图像信息构建钢卷数据集,所述初始图像信息通过标注所述钢卷保存钢卷位置信息,其中,所述位置信息的格式及内容为:
[SteelHolexmin,SteelHoleymin,SteelHolexmax,SteelHoleymax]
其中,SteelHolexmin、SteelHoleymin分别为钢卷矩形目标框在图像中的左上角x、y坐标,SteelHolexmax、SteelHoleymax分别为钢卷矩形目标框在图像中的右下角x、y坐标;
基于深度学习的目标检测网络对所述钢卷数据集进行训练,建立识别目标钢卷位置的检测模型,所述目标检测网络包括SSD系列、yolo系列或faster-rcnn中任一种。
4.根据权利要求1所述的钢卷内部紊乱判断方法,其特征在于,通过对比钢卷位置信息与所设置的感兴趣区域位置信息,判断所述感兴趣区域中是否存在钢卷;其中,所述感兴趣区域在图像中位置信息的内容与格式为:
[ROIxmin,ROIymin,ROIxmax,ROIymax]
其中,ROIxmin、ROIymin分别为感兴趣区域在图像中的左上角x、y坐标,ROIxmax、ROIymax分别为感兴趣区域在图像中的右下角x、y坐标;
若满足SteelHolexmin>ROIxmin,SteelHoleymin>ROIymin,SteelHolexmax<ROIxmax,SteelHoleymax<ROIymax,则判定所述目标钢卷位于识别感兴趣区域内;若不满足,则判定所述目标钢卷位于识别感兴趣区域外。
5.根据权利要求1所述的钢卷内部紊乱判断方法,其特征在于,当所述感兴趣区域内检测到钢卷时,对识别到的钢卷画面进行色彩处理,所述色彩处理包括图像对比度调节、图像饱和度调节、图像明度调节、以及区域图像色彩分割。
6.根据权利要求5所述的钢卷内部紊乱判断方法,其特征在于,所述图像饱和度和图像明度以HSV图像色彩格式为基础进行调节,其中,色相(Hue)、饱和度(Saturation)、明度(Value)为三通道的颜色格式,依据预设的HSV三通道颜色阈值,将超出阈值的色彩区域进行归中处理,以得到颜色更均衡、更理想的钢卷区域图像。
7.根据权利要求6所述的钢卷内部紊乱判断方法,其特征在于,对调节处理的钢卷区域图像扩大原来图像中的钢线材深色像素区域、减小背景板浅色像素部分区域,使深色钢卷区域具有更大、更明显的识别图像,表达式如下:
dst(x,y)=min(src(x+x′,y+y′))(x′,y′):(x′,y′)≠0
其中,(x,y)为待处理像素点坐标,src(x,y)为待处理像素点的颜色值,dst(x,y)为处理后像素点的颜色值,(x+x′,y+y′)表示以(x,y)为中心的其周围联通的像素点。
8.根据权利要求7所述的钢卷内部紊乱判断方法,其特征在于,所述区域图像色彩分割是以HSV色彩格式为基础,根据工厂实地色彩情景设置区分钢卷和背景板颜色的颜色阈值,对图像对比度、饱和度、明度处理后的钢卷区域图像进行色彩分割处理,将超出阈值范围的部分转为黑色、符合阈值范围的部分转为白色,得到黑白两色的二值化区域图像,表达式如下:
HSVmin=(Hmin,Smin,Vmin)
HSVmax=(Hmax,Smax,Vmax)
其中,mask(x,y)为得到的二值化图像像素值,255为白色像素值,0为黑色像素值,HSV(x,y)为待分割色彩图像的像素值,HSVmin与HSVmax是根据工厂实地色彩情景设置的、足以区分钢卷和背景板颜色的HSV颜色阈值。
9.根据权利要求2所述的钢卷内部紊乱判断方法,其特征在于,还包括:当检测到背景板过度曝光时,使用阈值二值化对钢卷目标区域图像进行去曝光处理,将超出阈值的像素转化白色,使其与背景板白色区域融合。
10.根据权利要求9所述的钢卷内部紊乱判断方法,其特征在于,还包括:当检测到颜色区域存在混淆非目标物体时,利用色彩分割法通过工厂实地情境设置符合非目标物体颜色范围的色彩阈值,对非目标物体区域进行色彩分割,将分割出的非目标物体区域像素值转为0,使其与背景板外黑色区域融合,实现对其他颜色像素进行除杂。
11.根据权利要求1所述的钢卷内部紊乱判断方法,其特征在于,所述目标图像进行色彩处理得到二值化钢卷区域图像,查找识别所述二值化钢卷区域图像的边缘轮廓,其中,寻找二值化图像中的所有黑白交界处的像素点,将每个连通的交界处像素点部分储存为一条完整轮廓。
12.根据权利要求11所述的钢卷内部紊乱判断方法,其特征在于,所述轮廓特征按照其轮廓面积在整体图像区域面积所占比例划分为:
最大轮廓:钢卷在背景板上围成的类圆形区域,当所述感兴趣区域内识别到钢卷时,通过在所有轮廓中寻找面积最大值所对应的轮廓来确定最大轮廓;
区域轮廓:当钢卷内部发生紊乱时,钢卷所围成的类圆形区域会被不规整的钢线材分割,形成除最大轮廓以外的区域轮廓,通过设置第一面积比例阈值来确定区域轮廓;
躁点轮廓:当检测到光照阴影影响时,钢卷行进时的像素点持续运动会产生与周围像素存在区别躁点,通过设置第二面积比例阈值来寻找躁点轮廓。
13.根据权利要求12所述的钢卷内部紊乱判断方法,其特征在于,当检测钢卷区域轮廓特征为噪点轮廓时,根据光照和钢卷行进时的像素点持续运动对钢线材所造成的颜色渲染影响,采用圆形感兴趣区域除杂、躁点轮廓除杂。
15.根据权利要求1或14所述的钢卷内部紊乱判断方法,其特征在于,当检测到在预设时间段内钢卷目标区域轮廓特征连续被判断为紊乱时;反馈紊乱结果,以异常值返回设备系统;否则,以正常值返回设备系统。
16.一种钢卷内部紊乱判断系统,其特征在于,包括:
模型构建模块,用于采集目标钢卷的初始图像信息,将所述初始图像信息输入目标检测网络进行训练,建立用于识别所述目标钢卷位置的检测模型;
第一判断模块,利用所述检测模型实时采集目标区域的钢卷图像信息,根据所述钢卷图像信息判断所述钢卷是否处于感兴趣区域内;
图像处理模块,用于当所述感兴趣区域内未检测到钢卷时,不对图像进行处理;当所述感兴趣区域内检测到钢卷时,对目标图像进行色彩处理得到钢卷区域图像,提取所述钢卷区域图像内的轮廓特征;
第二判断模块,用于根据所述轮廓特征判断钢卷是否内部紊乱,持续检测直至所述钢卷离开。
17.一种电子设备,其特征在于,包括:
一个或多个处理器;和
其上存储有指令的一个或多个机器可读介质,当所述一个或多个处理器执行时,使得所述电子设备执行如权利要求1-15中一个或多个所述的方法。
18.一个或多个机器可读介质,其特征在于,其上存储有指令,当由一个或多个处理器执行时,使得设备执行如权利要求1-15中一个或多个所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011607709.XA CN112733841B (zh) | 2020-12-30 | 2020-12-30 | 钢卷内部紊乱判断方法、系统、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011607709.XA CN112733841B (zh) | 2020-12-30 | 2020-12-30 | 钢卷内部紊乱判断方法、系统、设备及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112733841A true CN112733841A (zh) | 2021-04-30 |
CN112733841B CN112733841B (zh) | 2022-12-16 |
Family
ID=75610139
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011607709.XA Active CN112733841B (zh) | 2020-12-30 | 2020-12-30 | 钢卷内部紊乱判断方法、系统、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112733841B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113284117A (zh) * | 2021-05-28 | 2021-08-20 | 中冶赛迪重庆信息技术有限公司 | 一种钢卷松卷识别方法、系统、介质和终端 |
Citations (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63235022A (ja) * | 1987-03-25 | 1988-09-30 | Kawasaki Steel Corp | ストリツプコイルの巻締まり疵検出方法 |
CN104535586A (zh) * | 2014-11-18 | 2015-04-22 | 华东理工大学 | 带钢边部缺陷检测识别方法 |
CN204714337U (zh) * | 2015-06-25 | 2015-10-21 | 河北钢铁股份有限公司承德分公司 | 一种可防止卷钢夹伤的夹钳 |
CN106950174A (zh) * | 2017-03-07 | 2017-07-14 | 昆山市建设工程质量检测中心 | 基于图像处理技术的保温材料粘结面积比剥离试验方法 |
WO2017193251A1 (zh) * | 2016-05-09 | 2017-11-16 | 深圳迈瑞生物医疗电子股份有限公司 | 识别超声图像中感兴趣区域轮廓的方法及系统 |
US20180082423A1 (en) * | 2016-09-20 | 2018-03-22 | Sichuan University | Kind of lung lobe contour extraction method aiming at dr radiography |
KR20180115368A (ko) * | 2017-04-12 | 2018-10-23 | 주식회사 포스코 | 선재의 표면 흠 자동 맵핑 장치 및 방법 |
CN109493313A (zh) * | 2018-09-12 | 2019-03-19 | 华中科技大学 | 一种基于视觉的钢卷定位方法及设备 |
CN109816645A (zh) * | 2019-01-18 | 2019-05-28 | 创新奇智(广州)科技有限公司 | 一种钢卷松卷的自动检测方法 |
CN110675359A (zh) * | 2019-06-29 | 2020-01-10 | 创新奇智(南京)科技有限公司 | 一种钢卷表面的缺陷样本生成方法、系统及电子设备 |
CN110942444A (zh) * | 2019-09-30 | 2020-03-31 | 阿里巴巴集团控股有限公司 | 物体检测方法和装置 |
WO2020083540A1 (de) * | 2018-10-26 | 2020-04-30 | Emg Automation Gmbh | Verfahren zur automatisierten steuerung- und regelung einer maschine zur schmier-mittelaufbringung sowie einrichtung zur automatisierten steuerung- und regelung einer maschine zur schmiermittelaufbringung |
CN111340027A (zh) * | 2020-03-05 | 2020-06-26 | 中冶赛迪重庆信息技术有限公司 | 一种堆钢识别方法、系统、电子设备及介质 |
CN111330979A (zh) * | 2020-02-28 | 2020-06-26 | 鞍钢股份有限公司 | 一种热轧钢卷扁卷处理系统及方法 |
CN111681227A (zh) * | 2020-06-09 | 2020-09-18 | 中冶赛迪重庆信息技术有限公司 | 一种飞剪机器异常的判断方法、系统、电子设备及介质 |
WO2020221177A1 (zh) * | 2019-04-30 | 2020-11-05 | 深圳数字生命研究院 | 图像的识别方法及装置、存储介质和电子装置 |
CN111942702A (zh) * | 2020-09-15 | 2020-11-17 | 辽宁科技大学 | 一种用于处理冷轧钢卷内孔松卷问题的装置及方法 |
CN111968104A (zh) * | 2020-08-27 | 2020-11-20 | 中冶赛迪重庆信息技术有限公司 | 一种基于机器视觉的钢卷异常识别方法、系统、设备及介质 |
CN112037198A (zh) * | 2020-08-31 | 2020-12-04 | 中冶赛迪重庆信息技术有限公司 | 一种热轧棒材定支分离检测方法、系统、介质及终端 |
CN112093345A (zh) * | 2020-08-05 | 2020-12-18 | 首钢京唐钢铁联合有限责任公司 | 热轧钢卷分配下线入库的控制系统及控制方法 |
-
2020
- 2020-12-30 CN CN202011607709.XA patent/CN112733841B/zh active Active
Patent Citations (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63235022A (ja) * | 1987-03-25 | 1988-09-30 | Kawasaki Steel Corp | ストリツプコイルの巻締まり疵検出方法 |
CN104535586A (zh) * | 2014-11-18 | 2015-04-22 | 华东理工大学 | 带钢边部缺陷检测识别方法 |
CN204714337U (zh) * | 2015-06-25 | 2015-10-21 | 河北钢铁股份有限公司承德分公司 | 一种可防止卷钢夹伤的夹钳 |
WO2017193251A1 (zh) * | 2016-05-09 | 2017-11-16 | 深圳迈瑞生物医疗电子股份有限公司 | 识别超声图像中感兴趣区域轮廓的方法及系统 |
US20180082423A1 (en) * | 2016-09-20 | 2018-03-22 | Sichuan University | Kind of lung lobe contour extraction method aiming at dr radiography |
CN106950174A (zh) * | 2017-03-07 | 2017-07-14 | 昆山市建设工程质量检测中心 | 基于图像处理技术的保温材料粘结面积比剥离试验方法 |
KR20180115368A (ko) * | 2017-04-12 | 2018-10-23 | 주식회사 포스코 | 선재의 표면 흠 자동 맵핑 장치 및 방법 |
CN109493313A (zh) * | 2018-09-12 | 2019-03-19 | 华中科技大学 | 一种基于视觉的钢卷定位方法及设备 |
WO2020083540A1 (de) * | 2018-10-26 | 2020-04-30 | Emg Automation Gmbh | Verfahren zur automatisierten steuerung- und regelung einer maschine zur schmier-mittelaufbringung sowie einrichtung zur automatisierten steuerung- und regelung einer maschine zur schmiermittelaufbringung |
CN109816645A (zh) * | 2019-01-18 | 2019-05-28 | 创新奇智(广州)科技有限公司 | 一种钢卷松卷的自动检测方法 |
WO2020221177A1 (zh) * | 2019-04-30 | 2020-11-05 | 深圳数字生命研究院 | 图像的识别方法及装置、存储介质和电子装置 |
CN110675359A (zh) * | 2019-06-29 | 2020-01-10 | 创新奇智(南京)科技有限公司 | 一种钢卷表面的缺陷样本生成方法、系统及电子设备 |
CN110942444A (zh) * | 2019-09-30 | 2020-03-31 | 阿里巴巴集团控股有限公司 | 物体检测方法和装置 |
CN111330979A (zh) * | 2020-02-28 | 2020-06-26 | 鞍钢股份有限公司 | 一种热轧钢卷扁卷处理系统及方法 |
CN111340027A (zh) * | 2020-03-05 | 2020-06-26 | 中冶赛迪重庆信息技术有限公司 | 一种堆钢识别方法、系统、电子设备及介质 |
CN111681227A (zh) * | 2020-06-09 | 2020-09-18 | 中冶赛迪重庆信息技术有限公司 | 一种飞剪机器异常的判断方法、系统、电子设备及介质 |
CN112093345A (zh) * | 2020-08-05 | 2020-12-18 | 首钢京唐钢铁联合有限责任公司 | 热轧钢卷分配下线入库的控制系统及控制方法 |
CN111968104A (zh) * | 2020-08-27 | 2020-11-20 | 中冶赛迪重庆信息技术有限公司 | 一种基于机器视觉的钢卷异常识别方法、系统、设备及介质 |
CN112037198A (zh) * | 2020-08-31 | 2020-12-04 | 中冶赛迪重庆信息技术有限公司 | 一种热轧棒材定支分离检测方法、系统、介质及终端 |
CN111942702A (zh) * | 2020-09-15 | 2020-11-17 | 辽宁科技大学 | 一种用于处理冷轧钢卷内孔松卷问题的装置及方法 |
Non-Patent Citations (3)
Title |
---|
周旬等: ""镀锡产品边部线状缺陷分析与改进"", 《钢铁钒钛》 * |
潘光辉: ""钢卷端部缺陷在线检测技术的实现与应用"", 《中国金属通报》 * |
王少等: ""热轧板带表面质量智能化自动判定系统的开发应用"", 《中国冶金》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113284117A (zh) * | 2021-05-28 | 2021-08-20 | 中冶赛迪重庆信息技术有限公司 | 一种钢卷松卷识别方法、系统、介质和终端 |
CN113284117B (zh) * | 2021-05-28 | 2022-10-18 | 中冶赛迪信息技术(重庆)有限公司 | 一种钢卷松卷识别方法、系统、介质和终端 |
Also Published As
Publication number | Publication date |
---|---|
CN112733841B (zh) | 2022-12-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104751142B (zh) | 一种基于笔划特征的自然场景文本检测方法 | |
WO2022088620A1 (zh) | 相机镜头的状态检测方法、装置、设备及存储介质 | |
CN110443212B (zh) | 用于目标检测的正样本获取方法、装置、设备及存储介质 | |
CN111340027A (zh) | 一种堆钢识别方法、系统、电子设备及介质 | |
CN111695373B (zh) | 斑马线的定位方法、系统、介质及设备 | |
CN112396050B (zh) | 图像的处理方法、设备以及存储介质 | |
JP7429756B2 (ja) | 画像処理方法、装置、電子機器、記憶媒体及びコンピュータプログラム | |
CN113537211A (zh) | 一种基于非对称iou的深度学习车牌框定位方法 | |
CN112733841B (zh) | 钢卷内部紊乱判断方法、系统、设备及介质 | |
CN115578616A (zh) | 多尺度物体实例分割模型的训练方法、分割方法和装置 | |
CN113449639A (zh) | 一种物联网网关对仪表的无接触数据采集方法 | |
CN108900895B (zh) | 一种对视频流的目标区域的屏蔽方法及其装置 | |
CN117557784A (zh) | 目标检测方法、装置、电子设备及存储介质 | |
CN112749735A (zh) | 基于深度学习的转炉出钢钢流识别方法、系统、介质及终端 | |
CN113537037A (zh) | 路面病害识别方法、系统、电子设备及存储介质 | |
CN110310341B (zh) | 颜色算法中默认参数的生成方法、装置、设备和存储介质 | |
CN112001336A (zh) | 行人越界报警方法、装置、设备及系统 | |
CN113744200B (zh) | 一种摄像头脏污检测方法、装置及设备 | |
CN110619331A (zh) | 一种基于颜色距离的彩色影像字段定位方法 | |
CN113569859B (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
CN111753573B (zh) | 二维码图像识别方法、装置、电子设备以及可读存储介质 | |
CN114511862A (zh) | 表格识别方法、装置及电子设备 | |
CN114399617A (zh) | 一种遮挡图案识别方法、装置、设备和介质 | |
CN112308848A (zh) | 一种废钢货车挡板状态识别方法、系统、电子设备及介质 | |
US20230051823A1 (en) | Systems, methods, and computer program products for image analysis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: 401329 No. 5-6, building 2, No. 66, Nongke Avenue, Baishiyi Town, Jiulongpo District, Chongqing Applicant after: MCC CCID information technology (Chongqing) Co.,Ltd. Address before: 20-24 / F, No.7 Longjing Road, North New District, Yubei District, Chongqing Applicant before: CISDI CHONGQING INFORMATION TECHNOLOGY Co.,Ltd. |
|
CB02 | Change of applicant information | ||
GR01 | Patent grant | ||
GR01 | Patent grant |