CN102134636A - 监控退火炉内钢带跑偏的方法 - Google Patents

监控退火炉内钢带跑偏的方法 Download PDF

Info

Publication number
CN102134636A
CN102134636A CN201010100958XA CN201010100958A CN102134636A CN 102134636 A CN102134636 A CN 102134636A CN 201010100958X A CN201010100958X A CN 201010100958XA CN 201010100958 A CN201010100958 A CN 201010100958A CN 102134636 A CN102134636 A CN 102134636A
Authority
CN
China
Prior art keywords
image
edge
sideslip
steel band
prime
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201010100958XA
Other languages
English (en)
Inventor
何建锋
林莉军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BNA AUTOMOTIVE STEEL SHEETS Co Ltd
Baoshan Iron and Steel Co Ltd
Original Assignee
BNA AUTOMOTIVE STEEL SHEETS Co Ltd
Baoshan Iron and Steel Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BNA AUTOMOTIVE STEEL SHEETS Co Ltd, Baoshan Iron and Steel Co Ltd filed Critical BNA AUTOMOTIVE STEEL SHEETS Co Ltd
Priority to CN201010100958XA priority Critical patent/CN102134636A/zh
Publication of CN102134636A publication Critical patent/CN102134636A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明涉及退火炉内钢带跑偏领域,尤其涉及一种监控退火炉内钢带跑偏的方法。一种监控退火炉内钢带跑偏的系统,包括摄像头、监控器、跑偏控制服务器、多路视频转换器、报警器和输入设备。一种监控退火炉内钢带跑偏的方法,包括以下步骤:1)设定钢带跑偏标准;2)图像数据采集;3)将RGB图像数据转换成灰度图像数据;4)对灰度图像数据进行处理,提取钢带边缘,得到钢带轮廓图;5)选取模版,利用模版匹配定位得到钢带边缘在图像中的位置;6)报警判断。本发明通过截取炉内钢带运行ITV图像数据,有效的完成了带钢跑偏图像识别功能,能对钢带跑偏现象及时报警,并给事后分析产生炉内钢带跑偏的原因提供依据。

Description

监控退火炉内钢带跑偏的方法
技术领域
本发明涉及退火炉内钢带跑偏领域,尤其涉及一种监控退火炉内钢带跑偏的方法
背景技术
冷轧钢带经过轧制后,必须进行高温退火才能满足用户的冲压使用。退火的钢带由于规格多、跳跃变化大,在密封的退火炉内高温高速运行,极易发生钢带在炉辊上偏离机组中心线的跑偏而导致擦边断带。每次炉内钢带断带造成停机平均30小时,给生产组织带来很大困难,经济损失巨大。因此,有必要及时发现钢带跑偏现象,为及时调整退火生产模型参数设定提供帮助,避免炉内断带的发生。
在生产线的设计上,为保证退火工艺的速度稳定,在退火炉1的入出口各设置了一个用于储存钢带的活套4,示意图如图1,活套4由一系列钢辊2和一个可以上下移动的框架构成,框架的下面钢辊2固定,上面的钢辊2可以随框架一起上下移动,具有一定的行程。正常生产时入口活套4上面的钢辊2处于最高位置,当入口段需在线停机切换钢卷时,活套上面的辊子随框架逐渐下降,不断释放钢带3以保证工艺段速度稳定;当入口切换好钢卷,入口速度加速,活套4上面的钢辊2随框架逐渐上升,活套量逐渐恢复满套位置。
为监视退火炉内钢带的运行,目前连续退火生产线上都安装有工业电视ITV,对退火炉的各个部位钢带的运行进行监视,但这种监视是实时的,必须通过操作人员的人眼进行监控,判断钢带跑偏才采取相应措施,且不能再现当时的跑偏情况,如中班、夜班以及休息日发生钢带跑偏事故,技术人员无法准确获知当时的跑偏过程,给分析钢带跑偏事故带来很大的困难。这种靠人眼判断钢带跑偏检查方式还存在如下不足:由于人眼容易疲劳,不能进行长时间检查,只能随心检查;炉内钢带的生产速度提高,人员难以观测细节;无法进行精确的、及时的钢带跑偏校正;无法进行精确的事后故障分析;无法进行完备的炉内钢带生产履历归档。
因此,有必要开发基于图像识别技术的ITV图像及过程数据分析监控系统,替代人工识别判定系统。
发明内容
本发明所要解决的技术问题是提供一种监控退火炉内钢带跑偏的方法,本发明利用计算机处理ITV图像数据,实现自动判断钢带在钢辊上是否偏离机组中心线,防止钢带跑偏而导致擦边断带。
本发明是这样实现的:一种监控退火炉内钢带跑偏的方法,包括以下步骤:
步骤一、设定钢带跑偏标准,根据钢带宽度,设定相应的跑偏百分比R的临界值Rc,跑偏百分比=跑偏量/((钢辊长度-钢带宽度)/2);
步骤二、图像数据采集,通过摄像头采集退火炉内钢带运行的RGB图像数据并送入跑偏控制服务器;
步骤三、将RGB图像数据转换成灰度图像数据;
步骤四、对灰度图像数据进行处理,提取钢带边缘,得到钢带轮廓图;
步骤五、选取步骤四中最佳的钢带轮廓图作为模版,利用模版匹配定位得到钢带边缘在图像中的位置;
步骤六、报警判断,根据步骤五中得到的钢带边缘在图像中的位置,计算得到钢带的跑偏百分比R,当跑偏百分比R大于跑偏百分比临界值Rc时,跑偏控制服务器控制报警器报警,当跑偏百分比R小于等于跑偏百分比临界值Rc时,报警器不报警。
所述的步骤三具体为,将摄像头实时采集到的图像RGB 3通道的数据,转换成灰度图像,由Gray表示,转换的公式为
Gray=R*0.11+G*0.59+B*0.30    (1)
所述的步骤四中对灰度图像数据进行处理,包括:
1)高斯滤波处理;
对图像进行预处理,对图像缩放和平滑
选择的滤波算法为高斯滤波算法,
二维高斯函数如下:
G ( x , y ) = Ae - x 2 + y 2 2 σ 2 = Ae - r 2 2 σ 2 - - - ( 2 )
用小于2σ2的滤波器,即m=2*2σ2+1滤波后的图像表示为:
H(x,y)=f(x,y)*G(x,y)    (3)
2)一阶偏导的有限差分计算梯度的方向和大小;
用一阶偏导的有限差分来计算梯度的幅值和方向;一阶差分卷积模板如下:
- 1 - 1 1 1 1 - 1 1 - 1 - - - ( 4 )
将两个模板分别和图像卷积就得到了横向和纵向的梯度:
Figure GSA00000006345400034
(5)
Figure GSA00000006345400035
梯度的模值
Figure GSA00000006345400036
和方向
Figure GSA00000006345400037
由下式计算:
Figure GSA00000006345400038
Figure GSA00000006345400039
3)非极大值抑制;
得到全局的梯度后抑制非极大值,保留局部梯度最大的点;对全局梯度进行遍历,见表2的每个3*3邻域,将邻域的中心象素M与沿着梯度线的两个象素相比,若M比沿梯度线的两个相邻象素的梯度值
Figure GSA000000063454000310
小,则令M=0;若M大于等于沿梯度线的两个相邻象素的梯度值
Figure GSA000000063454000311
则令M为领域像素的梯度值,并根据做如下数据选择:
Figure GSA000000063454000313
邻域中4和8象素;若
Figure GSA000000063454000314
邻域中3和7象素;若
Figure GSA000000063454000315
邻域中1和5象素;若
Figure GSA000000063454000316
Figure GSA000000063454000317
邻域中2和6象素;
  1   2   3
  4   M   5
  6   7   8
表2
4)设定或调整双阈值,检测和连接边缘;
在非极大值抑制之后,用双阈值算法来检测和连接边缘,双阈值算法对非极大值抑制后的图像作用两个阈值T1和T2,取T2=0.3*T1;以T1得到的图像I为基础,以T2得到的图像II为补充将边缘连接起来;
5)利用标记数组清除横向虚假边缘;
构造全为零的且图像等大小的标记数组,然后从图像最左侧逐列同时扫描得到的边缘图像和标记数组,若遇到非零值f(x,y),则检查f(x+1,y)是否为非零值,是则置f(x,y)、f(x+1,y)为0,并标记标记数组中f(x+1,y)为1;若不为零则继续检查;
6)利用种子生长算法清除不连续虚假边缘,消除干扰信息;
将图像中连接在一起的像素标记成同一值,并分别记录每种标记值的连接像素的数量,然后设定合理阈值T3,将连接像素不超过该阈值T3的标记点去除,消除干扰信息;
7)利用Hough变换实现断线重连;
在图像空间(直角坐标系)中有一条直线,该直线的方程采用极坐标形式表示为:
设坐标原点到直线的(垂直)距离为ρ,直线法线(垂直)与x轴夹角为θ,则这条直线可唯一表示为:
ρ=xcosθ+ysinθ    (8)
式中,(x,y)为直线上点的坐标;(ρ,θ)为直线的参数;
若(xi,yi)为图像空间的一个边缘点,则通过该点的直线满足:
Figure GSA00000006345400041
式中,
Figure GSA00000006345400042
ρ,θ为变量,对应于各条直线的参数;以x和y为坐标的图像空间和以ρ,θ为坐标的参数空间有如下对应关系;
1.图像空间中的一条直线,在参数空间影射为一个点(ρ,θ);
2.图像空间中的一个点影射为参数空间中的一条正弦曲线,
3.图像空间的一条直线的多个共线点影射为参数空间相交于一点的多条正弦曲线;
利用Hough变换实现断线相连的过程如下:
步1构造参数空间s,θ,s,θ分别被量化为m和n份,对于每一个像素点(x,y),满足s=xcosθ+ysinθ;
步2生成m×n的累计数组A,记录在参数空间上s,θ出现的次数;
步3累计数组A的局部极大值就对应了原始图像中的一条直线(参数为s,θ);判断是否为局部极值的方法如下:令T4=0.2×max(A(i,j)),A中大于T4的元素被判为局部极大值;
步4根据步3中找到的参数对s,θ,在原始图像中找到符合的线段;参数s,θ;非常接近的线段可以认为是断开的同一条线段,将它们连接起来。
所述的步骤四对灰度图像数据进行处理中第4项的连接边缘的步骤如下:
步1在图像I中跟踪边缘线,对于一条边缘线l,跟终至l的终点e;
步2若图像II中和点e对应的e’点的8邻域内存在非零点p’,则将图像I中和点p’对应的p点包含在边缘线l中,并重复步1;
步3重复步1和步2直至完成所有边缘线的连接。
所述的步骤四对灰度图像数据进行处理中第6项的消除干扰信息算法如下:
步1对图像进行扫描,找到一个未被标注的非零点,标记这个点并作为种子,并修改该标记值对应的标记次数;
步2用相同的标记值标注与种子相连接的所有像素。并修改该标记值对应的标记次数。如果图像中还存在未标记的非零点,转至步1,否则转至下一步;
步3设定合理的阈值T3,把连接像素少于T3的区域去除。
所述的步骤五具体为,选取图像质量较佳时的图像,截取带钢边缘部分的图像,采用步骤四的方法进行处理,通过调整得到合理的阈值,便可以得到轮廓完整的带钢部分边缘二值化图像,该图像作为模板使用;
得到带钢边缘图像后,用模板滑过距离摄像机最近的钢辊的两侧边缘之间的整个带钢边缘存在区域,采用卷积操作得到匹配结果矩阵,即:
R ( x , y ) = Σ x ′ , y ′ [ T ( x ′ , y ′ ) ] * I ( x + x ′ , y + y ′ ) / Σ x ′ , y ′ T ( x ′ , y ′ ) 2 * Σ x ′ , y ′ I ( x + x ′ , y + y ′ ) 2 - - - ( 10 )
在匹配结果矩阵中寻找全局最大值Mmax,若Mmax>Mthd(Mthd为设定的匹配阈值),则匹配完成,否则降低canny算法中的阈值,重新进行匹配过程;
由Mmax所在的位置,并结合带钢宽度的合理性即可得到带钢边缘在图像中的位置。
本发明通过ITV图像智能识别判断系统的开发,截取炉内钢带运行ITV图像数据,采用canny算法对ITV图像进行边缘提取,并结合不同虚假边缘处理算法、干扰滤波算法和Hough变换算法等,有效的完成了带钢跑偏图像识别功能,能对钢带跑偏现象及时报警,同时将发生跑偏的钢带图像进行存盘处理,供事后分析时调用。此外,本发明的退火炉钢带运行监控系统还将完成如下的功能:如ITV图像智能识别判断系统采集、处理过程机生产控制数据,完成与图像识别信息同步接收、显示、保存和查询管理等功能的实现。ITV图像智能识别判断系统的研发,能够大幅减轻操作工的压力,并使炉内控制状态数据能够及时收集,并给事后分析产生炉内钢带跑偏的原因提供依据,进而通过优化退火炉数学模型,制定防止炉内钢带断带的控制措施,减少炉内断带。
附图说明
图1为钢带在退火生产线的运行示意图;
图2为本发明监控退火炉内钢带跑偏的系统框图;
图3本发明监控退火炉内钢带跑偏的方法中图像处理流程框图;
图中:1退火炉、2钢辊、3钢带、4活套。
具体实施方式
下面结合具体实施例,进一步阐述本发明。应理解,这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解,在阅读了本发明表述的内容之后,本领域技术人员可以对本发明作各种改动或修改,这些等价形式同样落于本申请所附权利要求书所限定的范围。
如图2所示,一种监控退火炉内钢带跑偏的系统,包括摄像头和监控器,系统中还包括跑偏控制服务器、多路视频转换器、报警器和输入设备,所述的摄像头通过工业电视控制柜后一路连接和监控器相连,另一路通过多路视频转换器连接跑偏控制服务器,所述的跑偏控制服务器内包括有视频采集卡、图像数据处理模块、钢带位置判断模块、报警模块和数据储存模块,所述的报警器和输入设备与跑偏控制服务器相连,视频采集卡负责接收由多路视频转换器输送来的图象数据。所述的跑偏控制服务器还与工业过程控制计算机相连,跑偏控制服务器在进行跑偏监控报警的同时储存从工业过程控制计算机收集到的生产数据,为以后分析跑偏原因做准备。
工作时,先将摄像头传送来的模拟视频信号变换为数字信号,传输给跑偏控制服务器内的图像数据处理模块,进行图像监控处理。同时,将生产系统中收集运行参数的工业过程控制计算机的数据信息实时传输给跑偏控制服务器内的数据储存模块,完成相应的同步数据采集,为以后分析钢带跑偏的原因做准备。
本发明的装置在实际安装时把退火炉内分成9个摄像头区域,采集工业过程控制计算机的同步数据信息,包括钢卷号、时间、炉温、板温、钢带厚度、钢带宽度、钢带运行速度和退火炉内部参数,等一些数据实时显示出来,以方便事后分析,过程数据采集主要有如下内容:
钢卷号(9个摄像头区域)
厚度(9个摄像头区域)
宽度(9个摄像头区域)
机组速度
炉段张力(PHF,HF1,HF2,SF,SCF,1CF,OA1,OA2,2CF,WQ区域)
HF炉GTCC模式(ON/OFF)
HF炉段空气流量(1-8区域)
HF炉段煤气流量(1-8区域)
HF炉段炉温(1-8区域)
各炉段氮气流量(HF,SF,SCF,1CF,OA,2CF区域)
各炉段板温(HF,SF,SCF,1CF,OA,2CF出口)
带钢辐射率(HF,SF,SCF,1CF,OA,2CF出口板温仪的仪表实测值)
焊缝通过炉子入口的长度(HF,SF,SCF,1CF,OA,2CF入口)
炉段的CPC带钢跑偏量(1~12#CPC)
炉段的CPC液压缸位置(1~12#CPC)
SF炉段炉温实际值(1-2区域)
SCF炉段和炉辊室炉温实际值(1+3区域)
1CF炉段炉辊室炉温实际值(上下区域)
OA炉段炉温实际值(1-4区域)
2C炉段炉温实际值
PHF炉段风机转速实际值(1-2风机)
SCF炉段风机转速实际值(1-6风机)
1CF炉段风机转速实际值(1-6风机)
2CF炉段风机转速实际值(1-20风机)
如图3所示,一种监控退火炉内钢带跑偏的方法,包括以下步骤:
步骤一、设定钢带跑偏标准,根据钢带宽度,设定相应的跑偏百分比R的临界值Rc,跑偏百分比=跑偏量/((钢辊长度-钢带宽度)/2);
步骤二、图像数据采集,通过摄像头采集退火炉内钢带运行的RGB图像数据并送入跑偏控制服务器;RGB图像即红绿蓝彩色模式,是工业界的一种颜色标准,是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的;
通过视频采集卡获得原始的YUV422数据。YUV(亦称YCrCb)是被欧洲电视系统所采用的一种颜色编码方法。Y代表亮度,uv代表色差,u和v是构成彩色的两个分量。对于YUV422数据每个色差信道的抽样率是亮度信道的一半,水平方向的色度抽样率只是三个信道的抽样率相同时(YUV444)的一半。对非压缩的8比特量化的图像来说,每个由两个水平方向相邻的像素组成的宏像素需要占用4字节内存。
下面的四个像素为:[Y0 U0 V0][Y1 U1 V1][Y2 U2 V2][Y3 U3V3]
存放的码流为:Y0 U0 Y1 V1 Y2 U2 Y3 V3
映射出像素点为:[Y0 U0 V1][Y1 U0 V1][Y2 U2 V3][Y3 U2 V3]YUV色彩空间采用以下公式转换到RGB色彩空间:
R=Y+1.14V
G=Y-0.39U-0.58V
B=Y+2.03U
步骤三、将RGB图像数据转换成灰度图像数据;
将摄像头实时采集到的图像RGB 3通道的数据,转换成灰度图像,由Gray表示,转换的公式为
Gray=R*0.11+G*0.59+B*0.30    (1)
式中:R为红色通道数据,G为绿色通道数据,B为蓝色通道数据;步骤四、对灰度图像数据进行处理,提取钢带边缘,得到钢带轮廓图;
1)高斯滤波处理;
由于工业生产现场环境恶劣,采集到的带钢运行图像中包含相当多的噪声。图像的预处理中采取的主要操作为对图像的缩放和平滑。由于带钢的边缘线条比较简单,缩小图像不会造成的边缘细节丢失,缩小图像可以图像灰度梯度得到增强,因而在后续的边缘提取操作中就可以采用较高的阈值来提取边缘,更好地抑制图像噪声造成的虚假边缘,而且还可以减小平滑图像使用的模板大小,减小图像平滑和后续所有处理的计算量。图象平滑的目的是尽量减少噪声的影响,改善图象质量。
选择的滤波算法为高斯滤波算法,
二维高斯函数如下:
G ( x , y ) = Ae - x 2 + y 2 2 σ 2 = Ae - r 2 2 σ 2 - - - ( 2 )
用小于2σ2的滤波器,即m=2*2σ2+1滤波后的图像表示为:
H(x,y)=f(x,y)*G(x,y)    (3)
式(2)、(3)中:
H     :滤波后的图像
f     :原始图像
G     :滤波模板
(x,y):像数点坐标
σ    :函数的宽度参数
e     :对数常数
A     :系数
为减少计算量,可以将图像缩放和滤波结合在一起,例如将图像缩小到1/2,并采用核大小为3*3的高斯滤波。
首先将高斯核扩充为5*5,如表1所示,5*5模版中空白处都为0。用新的模板对图像进行滤波处理,每次滑过两个像素,即可得到滤波后的图像。
Figure GSA00000006345400102
表1
2)一阶偏导的有限差分计算梯度的方向和大小;
用一阶偏导的有限差分来计算梯度的幅值和方向;一阶差分卷积模板如下:
- 1 - 1 1 1 1 - 1 1 - 1 - - - ( 4 )
将两个模板分别和图像卷积就得到了横向和纵向的梯度:
(5)
式(5)中:
Figure GSA00000006345400113
:横向梯度
Figure GSA00000006345400114
:纵向梯度
H1,H2:分别为横向、纵向差分卷积模板
(m,n):像数点对应的坐标
梯度的模值
Figure GSA00000006345400115
和方向
Figure GSA00000006345400116
由下式计算:
Figure GSA00000006345400117
Figure GSA00000006345400118
式(6)中:
Figure GSA00000006345400119
:梯度的模值
Figure GSA000000063454001110
:梯度的方向
3)非极大值抑制;
得到全局的梯度并不能够直接用来确定边缘,还必须抑制非极大值,保留局部梯度最大的点。对全局梯度进行遍历,对于如表2所示的每个3*3邻域,将邻域的中心象素M与沿着梯度线的两个象素相比,若比沿梯度线的两个相邻象素梯度值小,则令M=0;若M比沿梯度线的两个相邻象素的梯度值
Figure GSA000000063454001111
小,则令M=0;若M大于等于沿梯度线的两个相邻象素的梯度值
Figure GSA000000063454001112
则令M为领域像素的梯度值,并根据
Figure GSA000000063454001113
做如下数据选择:
邻域中4和8象素;若
Figure GSA000000063454001115
邻域中3和7象素;若
Figure GSA000000063454001116
邻域中1和5象素;若
Figure GSA000000063454001118
邻域中2和6象素;
  1   2   3
  4   M   5
  6   7   8
表2
4)设定或调整双阈值,检测和连接边缘;
在非极大值抑制之后,用双阈值算法来检测和连接边缘,双阈值算法对非极大值抑制后的图像作用两个阈值T1和T2,取T2=0.3*T1;用T1得到的图像I由于阈值较高,去除了大部分的噪声,但也同时损失了有用的边缘信息。用T2得到的图像II则保留了较多的边缘信息。以T1得到的图像I为基础,以T2得到的图像II为补充将边缘连接起来;连接边缘的步骤如下:
步1在图像I中跟踪边缘线,对于一条边缘线l,跟终至l的终点e。
步2若图像II中和点e对应的e’点的8邻域内存在非零点p’,则将图像I中和点p’对应的p点包含在边缘线l中,并重复步1。
步3重复步1和步2直至完成所有边缘线的连接。
5)利用标记数组清除横向虚假边缘;
由带钢图像的特点可知,真实的边缘应该是接近纵向的,然而由于带钢反光和图像中噪声等因素,现在得到的边缘图像中存在非常多的横向虚假边缘需要去除。处理的方法是,构造全为零的且图像等大小的标记数组,然后从图像最左侧逐列同时扫描得到的边缘图像和标记数组,若遇到非零值f(x,y),则检查f(x+1,y)是否为非零值,是则置f(x,y)、f(x+1,y)为0,并标记标记数组中f(x+1,y)为1;若不为零则继续检查;
6)利用种子生长算法清除不连续虚假边缘,消除干扰信息;
根据“干扰信息不连续带钢边缘是连续的”这一重要特征,可以设定一个阈值T3,将连接像素不超过T3的所有干扰信息都去除。具体实现可以利用种子生长的办法来完成,将图像中连接在一起的像素标记成同一值,并分别记录每种标记值的连接像素的数量,然后设定合理阈值T3,将连接像素不超过该阈值T3的标记点去除,消除干扰信息;消除干扰信息算法如下:
步1对图像进行扫描,找到一个未被标注的非零点,标记这个点并作为种子,并修改该标记值对应的标记次数。
步2用相同的标记值标注与种子相连接的所有像素。并修改该标记值对应的标记次数。如果图像中还存在未标记的非零点,转至步1,否则转至下一步。
步3设定合理的阈值T3,把连接像素少于T3的区域去除。
7)利用Hough变换实现断线重连;
消除干扰因素后,虽然能有效地去除图像中的不连续噪声,但在选择阈值T3时,若T3取的太小,则去除干扰的效果不明显;若希望尽可能的去除噪声,选择较大的T3,则真实边缘可能损失较多。去除虚假边缘后得到的带钢边缘往往呈现在接近钢板反光区域的地方断开的现象。这些断开的地方可以利用Hough变换来实现断线相连。Hough变换的基本原理如下:
在图像空间(直角坐标系)中有一条直线,该直线的方程采用极坐标形式表示为:
设坐标原点到直线的(垂直)距离为ρ,直线法线(垂直)与x轴夹角为θ,则这条直线可唯一表示为:
ρ=xcosθ+ysinθ    (8)
式中,(x,y)为直线上点的坐标;(ρ,θ)为直线的参数。
若(xi,yi)为图像空间的一个边缘点,则通过该点的直线满足:
Figure GSA00000006345400131
式中,
Figure GSA00000006345400132
ρ,θ为变量,对应于各条直线的参数。以x和y为坐标的图像空间和以ρ,θ为坐标的参数空间有如下对应关系;
1.图像空间中的一条直线,在参数空间影射为一个点(ρ,θ)。
2.图像空间中的一个点影射为参数空间中的一条正弦曲线,
3.图像空间的一条直线的多个共线点影射为参数空间相交于一点的多条正弦曲线;
利用Hough变换实现断线相连的过程如下:
步1构造参数空间s,θ,s,θ分别被量化为m和n份,对于每一个像素点(x,y),满足s=xcosθ+ysinθ;
步2生成m×n的累计数组A,记录在参数空间上s,θ出现的次数;
步3累计数组A的局部极大值就对应了原始图像中的一条直线(参数为s,θ);判断是否为局部极值的方法如下:令T4=0.2×max(A(i,j)),A中大于T4的元素被判为局部极大值;i为累计数组A的第一维索引号,j为累计数组A的第二维索引号;
步4根据步3中找到的参数对s,θ,在原始图像中找到符合的线段;参数s,θ;非常接近的线段可以认为是断开的同一条线段,将它们连接起来;
步骤五、选取步骤四中最佳的钢带轮廓图作为模版,利用模版匹配定
位得到钢带边缘在图像中的位置;
选取图像质量较佳时的图像,截取带钢边缘部分的图像,采用步骤四的方法进行处理,通过调整得到合理的阈值,便可以得到轮廓完整的带钢部分边缘二值化图像,该图像作为模板使用;
得到带钢边缘图像后,用模板滑过整个钢带边缘可能存在区域(距离摄像机最近的钢辊的两侧边缘之间),采用卷积操作得到匹配结果矩阵,即:
R ( x , y ) = Σ x ′ , y ′ [ T ( x ′ , y ′ ) ] * I ( x + x ′ , y + y ′ ) / Σ x ′ , y ′ T ( x ′ , y ′ ) 2 * Σ x ′ , y ′ I ( x + x ′ , y + y ′ ) 2 - - - ( 10 )
在匹配结果矩阵中寻找全局最大值Mmax,若Mmax>Mthd(Mthd为设定的匹配阈值),则匹配完成,否则降低canny算法中的阈值,重新进行匹配过程。
由Mmax所在的位置,并结合带钢宽度的合理性即可得到带钢边缘在图像中的位置。
步骤六、报警判断,根据步骤五中得到的钢带边缘在图像中的位置,计算得到钢带的跑偏百分比R,当跑偏百分比R大于跑偏百分比临界值Rc时,跑偏控制服务器控制报警器报警,当跑偏百分比R小于等于跑偏百分比临界值Rc时,报警器不报警。
以下简单描述退火炉内钢带跑偏的系统工作状况:
跑偏数据存储
该部分数据为跑偏数据缓存队列里的结构体数组data_buffer_temp。当发生跑偏时系统先建跑偏数据表,然后将跑偏信息记录到数据库baosteel_time表中。最后将前后半小时数据存入到数据库跑偏表中。该部分采用多线程技术,存储操作耗时2分钟但不影响正常运行。
每天数据存储
该部分数据为每天数据缓存队列里的结构体数组data_buffer_forauto。当两个小时时间到时系统会自动建表然后将建表信息记录到数据库baosteel_time表中。最后将两个小时数据存入到数据库跑偏表中。该部分也采用多线程技术,存储操作耗时2分钟但不影响正常运行。
当发生跑偏或者两个小时间隔时间到时,则触发视频存储,视频存储通过调用板卡驱动函数将视频流以硬件形式压缩为H264的编码格式存储在硬盘上。
跑偏视频存储
当检查到跑偏发生时自动启动。系统调用makevideo函数将视频数据缓存到硬盘中,当存储完前后半小时的数据后,由cutfile类完成对缓存视频文件的剪切,以检测到发生跑偏为中间时间剪切前后半小时存储到以时间命名的文件夹中。视频数据的获得是通过StartVideoCapture回调函数实现,通过对视频文件句柄的读写实现录像的保存。
每天视频存储
通过调用makevideo_for_auto_save函数将视频数据流直接存储到以时间命名的文件夹中,每隔两个小时重新写一批视频文件。视频数据的获得是通过StartVideoCapture回调函数实现,通过对视频文件句柄的读写实现录像的保存,此处视频文件句柄与跑偏视频文件句柄不同。
视频回放设计采用与播放器相同设计,通过调用板卡解码函数读取硬盘上视频文件显示在界面上,同时从数据库中搜索出的数据以曲线形式同步显示。此模块为非实时功能。
验证效果:
1800连退机组用于生产汽车板时由于生产带钢宽度比其它冷轧机组宽,为800~1850mm,且带钢规格多、跳跃变化大。当生产窄料时,炉内易发生跑偏断带;生产带钢宽度大于1500mm时,在炉内极易跑偏而出现热瓢曲进而导致断带,尤其是IF高温料。2007年9~11月间,连退机组共发生7次炉内跑偏现象产生断带,其中11月12日、13日和19日一周内发生三次炉内断带,每次断带造成停机平均30小时,给生产组织带来很大困难,经济损失巨大。
使用本发明的监控退火炉内钢带跑偏的方法对冷轧带钢的高温退火通板进行自动监控,并自动记录存储下钢带跑偏的过程视频和相关的运行参数,为事后分析钢带跑偏事故发挥了很好的辅助作用。该跑偏监控系统建立后,退火炉内的带钢断带次数显著降低,由之前的平均7次/年降低到2次/年。
下面通过数据说明一次利用本发明的方法操作的效果,详细过程如下:
1)操作描述
2009.7.23甲夜,生产至6:35分时,突然带钢在10#CPC处向DS急剧跑偏,机组以20mpm减速率降速,带钢仍在OA2炉10#CPC处擦边断带。
前行卷4419584-00为0.8*1566DDQ,后行卷4419582-00为0.6*1617EDDQ,4419582-00为轧机板形可疑卷。前行卷生产时机组速度控制在240mpm,后行卷过渡,机组升至275mpm,由于HF带温偏高见板形良好,各CPC均无变化,机组升至294mpm运行。张力均是CPU张力-10%控制。正常运行一段时间后,后行带头突然在10#CPC擦边断带
2)断带经过
连退机组的瓢曲跑偏监控计算机自动记录下了这次瓢曲跑偏的过程,通过播放视频,可完整的显示断带全过程及过程参数的变化。
从断带过程看出,在4419582-00(0.594*1617)这卷的带头焊缝后,马上在OA1出现热瓢曲(OA1入口没发现,OA1出口看出在中间出现)。随后炉内张力降低后,瓢曲消失,并最终由于前段的瓢曲加重在OA2断带。以上断带的过程精确到秒,非常清晰,完整再现了当时运行参数调整对带钢跑偏瓢曲的影响,与上述操作工的描述相差较大。
以上分析充分利用了钢带的跑偏监控计算机,不仅清楚地再现了当时的带钢跑偏过程,而且通过运行参数的变化,找到了带钢张力偏低是导致钢带跑偏的原因,为对策措施的制定提供了依据。

Claims (6)

1.一种监控退火炉内钢带跑偏的方法,其特征是,包括以下步骤:步骤一、设定钢带跑偏标准,根据钢带宽度,设定相应的跑偏百分比R的临界值Rc,跑偏百分比=跑偏量/((钢辊长度-钢带宽度)/2);
步骤二、图像数据采集,通过摄像头采集退火炉内钢带运行的RGB图像数据并送入跑偏控制服务器;
步骤三、将RGB图像数据转换成灰度图像数据;
步骤四、对灰度图像数据进行处理,提取钢带边缘,得到钢带轮廓图;
步骤五、选取步骤四中最佳的钢带轮廓图作为模版,利用模版匹配定位得到钢带边缘在图像中的位置;
步骤六、报警判断,根据步骤五中得到的钢带边缘在图像中的位置,计算得到钢带的跑偏百分比R,当跑偏百分比R大于跑偏百分比临界值Rc时,跑偏控制服务器控制报警器报警,当跑偏百分比R小于等于跑偏百分比临界值Rc时,报警器不报警。
2.如权利要求1所述的监控退火炉内钢带跑偏的方法,其特征是:所述的步骤三具体为,将摄像头实时采集到的图像RGB 3通道的数据,转换成灰度图像,由Gray表示,转换的公式为
Gray=R*0.11+G*0.59+B*0.30(1)
3.如权利要求1所述的监控退火炉内钢带跑偏的方法,其特征是:所述的步骤四中对灰度图像数据进行处理,包括:
1)高斯滤波处理;
对图像进行预处理,对图像缩放和平滑
选择的滤波算法为高斯滤波算法,
二维高斯函数如下:
G ( x , y ) = Ae - x 2 + y 2 2 σ 2 = Ae - r 2 2 σ 2 - - - ( 2 )
用小于2σ2的滤波器,即m=2*2σ2+1滤波后的图像表示为:
H(x,y)=f(x,y)*G(x,y)(3)
式中:
H     :滤波后的图像
f     :原始图像
G     :滤波模板
(x,y):像数点坐标
σ    :函数的宽度参数
e     :对数常数
A     :系数
2)一阶偏导的有限差分计算梯度的方向和大小;
用一阶偏导的有限差分来计算梯度的幅值和方向;一阶差分卷积模板如下:
| - 1 - 1 1 1 | | 1 - 1 1 - 1 | - - - ( 4 )
将两个模板分别和图像卷积就得到了横向和纵向的梯度:
Figure FSA00000006345300022
式中:
Figure FSA00000006345300023
:横向梯度
Figure FSA00000006345300024
:纵向梯度
H1,H2:分别为横向、纵向差分卷积模板
(m,n):像数点对应的坐标
梯度的模值
Figure FSA00000006345300025
和方向
Figure FSA00000006345300026
由下式计算:
Figure FSA00000006345300027
式中:
Figure FSA00000006345300029
:梯度的模值
Figure FSA000000063453000210
:梯度的方向
3)非极大值抑制;
得到全局的梯度后抑制非极大值,保留局部梯度最大的点;对全局梯度进行遍历,见表2的每个3*3邻域,将邻域的中心象素M与沿着梯度线的两个象素相比,若M比沿梯度线的两个相邻象素的梯度值小,则令M=0;若M大于等于沿梯度线的两个相邻象素的梯度值
Figure FSA00000006345300032
,则令M为领域像素的梯度值,并根据
Figure FSA00000006345300033
做如下数据选择:
邻域中4和8象素;若
Figure FSA00000006345300035
邻域中3和7象素;若
Figure FSA00000006345300036
邻域中1和5象素;若
Figure FSA00000006345300037
Figure FSA00000006345300038
邻域中2和6象素;
  1   2   3   4   M   5   6   7   8
表2
4)设定或调整双阈值,检测和连接边缘;
在非极大值抑制之后,用双阈值算法来检测和连接边缘,双阈值算法对非极大值抑制后的图像作用两个阈值T1和T2,取T2=0.3*T1;以T1得到的图像I为基础,以T2得到的图像II为补充将边缘连接起来;
5)利用标记数组清除横向虚假边缘;
构造全为零的且图像等大小的标记数组,然后从图像最左侧逐列同时扫描得到的边缘图像和标记数组,若遇到非零值f(x,y),则检查f(x+1,y)是否为非零值,是则置f(x,y)、f(x+1,y)为0,并标记标记数组中f(x+1,y)为1;若不为零则继续检查;
f(x,y)元素的说明
6)利用种子生长算法清除不连续虚假边缘,消除干扰信息;
将图像中连接在一起的像素标记成同一值,并分别记录每种标记值的连接像素的数量,然后设定合理阈值T3,将连接像素不超过该阈值T3的标记点去除,消除干扰信息;
7)利用Hough变换实现断线重连;
在图像空间(直角坐标系)中有一条直线,该直线的方程采用极坐标形式表示为:
设坐标原点到直线的(垂直)距离为ρ,直线法线(垂直)与x轴夹角为θ,则这条直线可唯一表示为:
ρ=xcosθ+ysinθ(8)
式中,(x,y)为直线上点的坐标;(ρ,θ)为直线的参数;
若(xi,yi)为图像空间的一个边缘点,则通过该点的直线满足:
Figure FSA00000006345300041
式中,
Figure FSA00000006345300042
ρ,θ为变量,对应于各条直线的参数;以x和y为坐标的图像空间和以ρ,θ为坐标的参数空间有如下对应关系;
1.图像空间中的一条直线,在参数空间影射为一个点(ρ,θ),
2.图像空间中的一个点影射为参数空间中的一条正弦曲线,
3.图像空间的一条直线的多个共线点影射为参数空间相交于一点的多条正弦曲线;
利用Hough变换实现断线相连的过程如下:
步1构造参数空间s,θ,s,θ分别被量化为m和n份,对于每一个像素点(x,y),满足s=xcosθ+ysinθ;
步2生成m×n的累计数组A,记录在参数空间上s,θ出现的次数;
步3累计数组A的局部极大值就对应了原始图像中的一条直线(参数为s,θ);判断是否为局部极值的方法如下:令T4=0.2×max(A(i,j)),A中大于T4的元素被判为局部极大值;i为累计数组A的第一维索引号,j为累计数组A的第二维索引号;
步4根据步3中找到的参数对s,θ,在原始图像中找到符合的线段;参数s,θ;非常接近的线段可以认为是断开的同一条线段,将它们连接起来。
4.如权利要求3所述的监控退火炉内钢带跑偏的方法,其特征是:所述的步骤四对灰度图像数据进行处理中第4项的连接边缘的步骤如下:
步1在图像I中跟踪边缘线,对于一条边缘线1,跟踪至1的终点e;
步2若图像II中和点e对应的e’点的8邻域内存在非零点p’,则将图像I中和点p’对应的p点包含在边缘线1中,并重复步1;
步3重复步1和步2直至完成所有边缘线的连接。
5.如权利要求3所述的监控退火炉内钢带跑偏的方法,其特征是:所述的步骤四对灰度图像数据进行处理中第6项的消除干扰信息算法如下:
步1对图像进行扫描,找到一个未被标注的非零点,标记这个点并作为种子,并修改该标记值对应的标记次数;
步2用相同的标记值标注与种子相连接的所有像素。并修改该标记值对应的标记次数。如果图像中还存在未标记的非零点,转至步1,否则转至下一步;
步3设定合理的阈值T3,把连接像素少于T3的区域去除。
6.如权利要求1所述的监控退火炉内钢带跑偏的方法,其特征是:所述的步骤五具体为,选取图像质量较佳时的图像,截取带钢边缘部分的图像,采用步骤四的方法进行处理,通过调整得到合理的阈值,便可以得到轮廓完整的带钢部分边缘二值化图像,该图像作为模板使用;
得到带钢边缘图像后,用模板滑过距离摄像机最近的钢辊的两侧边缘之间的整个带钢边缘存在区域,采用卷积操作得到匹配结果矩阵,即:
R ( x , y ) = Σ x ′ , y ′ [ T ( x ′ , y ′ ) ] * I ( x + x ′ , y + y ′ ) / Σ x ′ , y ′ T ( x ′ , y ′ ) 2 * Σ x ′ , y ′ I ( x + x ′ , y + y ′ ) 2 - - - ( 10 )
式中:
R    :匹配计算结果矩阵
T    :带钢边缘图像模板
I    :带钢边缘可能存在区域的边缘图像
(x,y),(x’,y’):像素点坐标
在匹配结果矩阵中寻找全局最大值Mmax,若Mmax>Mthd(Mthd为设定的匹配阈值),则匹配完成,否则降低canny算法中的阈值,重新进行匹配过程;
由Mmax所在的位置,并结合带钢宽度的合理性即可得到带钢边缘在图像中的位置。
CN201010100958XA 2010-01-26 2010-01-26 监控退火炉内钢带跑偏的方法 Pending CN102134636A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201010100958XA CN102134636A (zh) 2010-01-26 2010-01-26 监控退火炉内钢带跑偏的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201010100958XA CN102134636A (zh) 2010-01-26 2010-01-26 监控退火炉内钢带跑偏的方法

Publications (1)

Publication Number Publication Date
CN102134636A true CN102134636A (zh) 2011-07-27

Family

ID=44294562

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201010100958XA Pending CN102134636A (zh) 2010-01-26 2010-01-26 监控退火炉内钢带跑偏的方法

Country Status (1)

Country Link
CN (1) CN102134636A (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102673979A (zh) * 2012-06-12 2012-09-19 青岛科技大学 输送带跑偏判断方法及判断装置
CN102773265A (zh) * 2012-07-10 2012-11-14 首钢总公司 一种带钢跑偏的控制系统
CN104134211A (zh) * 2014-07-23 2014-11-05 西安工程大学 一种基于高斯滤波器多分辨率滤波的带钢缺陷检测方法
CN103834796B (zh) * 2012-11-23 2016-01-20 宝山钢铁股份有限公司 一种在线识别炉内带钢跑偏的方法
CN105678731A (zh) * 2014-11-17 2016-06-15 宝钢新日铁汽车板有限公司 一种识别带钢瓢曲的方法
CN106282530A (zh) * 2016-08-29 2017-01-04 首钢京唐钢铁联合有限责任公司 一种热辊模式的应用方法
CN106350657A (zh) * 2016-08-29 2017-01-25 首钢京唐钢铁联合有限责任公司 一种应用在连续立式退火炉中的防瓢曲报警系统
CN106391728A (zh) * 2015-07-28 2017-02-15 Posco公司 带钢位置测量装置、带钢跑偏控制装置及计算方法
CN108853832A (zh) * 2018-08-08 2018-11-23 中国电子科技集团公司第二十八研究所 一种智能消防头盔
CN109931229A (zh) * 2017-12-18 2019-06-25 北京金风科创风电设备有限公司 用于风力发电机组的涡激振动的监测方法和设备
CN113538320A (zh) * 2020-03-31 2021-10-22 宝山钢铁股份有限公司 一种用于热轧带钢跑偏量检测的灰度自适应方法
CN113686269A (zh) * 2021-08-24 2021-11-23 浙江西大门新材料股份有限公司 一种卷帘面料平整度测试及评价方法
CN115116010A (zh) * 2022-08-29 2022-09-27 山东千颐科技有限公司 基于图像处理的皮带防跑偏视觉识别系统
CN116573366A (zh) * 2023-07-07 2023-08-11 江西小马机器人有限公司 基于视觉的皮带跑偏检测方法、系统、设备及存储介质
CN117455908A (zh) * 2023-12-22 2024-01-26 山东济矿鲁能煤电股份有限公司阳城煤矿 一种皮带机跑偏视觉检测方法及系统

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102673979B (zh) * 2012-06-12 2014-06-11 青岛科技大学 输送带跑偏判断方法及判断装置
CN102673979A (zh) * 2012-06-12 2012-09-19 青岛科技大学 输送带跑偏判断方法及判断装置
CN102773265A (zh) * 2012-07-10 2012-11-14 首钢总公司 一种带钢跑偏的控制系统
CN102773265B (zh) * 2012-07-10 2015-02-25 首钢总公司 一种带钢跑偏的控制系统
CN103834796B (zh) * 2012-11-23 2016-01-20 宝山钢铁股份有限公司 一种在线识别炉内带钢跑偏的方法
CN104134211B (zh) * 2014-07-23 2017-07-25 西安工程大学 一种基于高斯滤波器多分辨率滤波的带钢缺陷检测方法
CN104134211A (zh) * 2014-07-23 2014-11-05 西安工程大学 一种基于高斯滤波器多分辨率滤波的带钢缺陷检测方法
CN105678731A (zh) * 2014-11-17 2016-06-15 宝钢新日铁汽车板有限公司 一种识别带钢瓢曲的方法
CN106391728B (zh) * 2015-07-28 2019-05-10 Posco公司 带钢位置测量装置、带钢跑偏控制装置及计算方法
CN106391728A (zh) * 2015-07-28 2017-02-15 Posco公司 带钢位置测量装置、带钢跑偏控制装置及计算方法
CN106282530A (zh) * 2016-08-29 2017-01-04 首钢京唐钢铁联合有限责任公司 一种热辊模式的应用方法
CN106350657A (zh) * 2016-08-29 2017-01-25 首钢京唐钢铁联合有限责任公司 一种应用在连续立式退火炉中的防瓢曲报警系统
CN106282530B (zh) * 2016-08-29 2019-02-01 首钢京唐钢铁联合有限责任公司 一种热辊模式的应用方法
CN109931229A (zh) * 2017-12-18 2019-06-25 北京金风科创风电设备有限公司 用于风力发电机组的涡激振动的监测方法和设备
CN108853832A (zh) * 2018-08-08 2018-11-23 中国电子科技集团公司第二十八研究所 一种智能消防头盔
CN113538320A (zh) * 2020-03-31 2021-10-22 宝山钢铁股份有限公司 一种用于热轧带钢跑偏量检测的灰度自适应方法
CN113686269A (zh) * 2021-08-24 2021-11-23 浙江西大门新材料股份有限公司 一种卷帘面料平整度测试及评价方法
CN113686269B (zh) * 2021-08-24 2024-01-16 浙江西大门新材料股份有限公司 一种卷帘面料平整度测试及评价方法
CN115116010A (zh) * 2022-08-29 2022-09-27 山东千颐科技有限公司 基于图像处理的皮带防跑偏视觉识别系统
CN116573366A (zh) * 2023-07-07 2023-08-11 江西小马机器人有限公司 基于视觉的皮带跑偏检测方法、系统、设备及存储介质
CN116573366B (zh) * 2023-07-07 2023-11-21 江西小马机器人有限公司 基于视觉的皮带跑偏检测方法、系统、设备及存储介质
CN117455908A (zh) * 2023-12-22 2024-01-26 山东济矿鲁能煤电股份有限公司阳城煤矿 一种皮带机跑偏视觉检测方法及系统
CN117455908B (zh) * 2023-12-22 2024-04-09 山东济矿鲁能煤电股份有限公司阳城煤矿 一种皮带机跑偏视觉检测方法及系统

Similar Documents

Publication Publication Date Title
CN102134636A (zh) 监控退火炉内钢带跑偏的方法
CN105678700B (zh) 基于预测梯度的图像插值方法及系统
CN102002582A (zh) 一种利用图像识别的带钢同步分析监控方法和系统
CN106991668B (zh) 一种天网摄像头拍摄画面的评价方法
CN108427920A (zh) 一种基于深度学习的边海防目标检测方法
CN103475897B (zh) 一种基于失真类型判断的自适应图像质量评价方法
CN102663357A (zh) 基于颜色特征的停车场车位检测算法
CN104778446A (zh) 一种图像质量评价与人脸识别效率关系模型的构建方法
CN107563397A (zh) 一种卫星云图中云团运动矢量的确定方法
CN103035001A (zh) 一种基于超像素分割的地基云自动检测方法
CN113034442B (zh) 一种基于缺陷分布图谱的热轧带钢表面质量分级方法
CN110321855A (zh) 一种雾天检测预警装置
CN105701770A (zh) 一种基于上下文线性模型的人脸超分辨率处理方法及系统
CN102509414B (zh) 一种基于计算机视觉的烟雾检测方法
CN106203269A (zh) 一种基于可形变局部块的人脸超分辨率处理方法及系统
CN105335930A (zh) 边缘数据驱动的鲁棒性人脸超分辨率处理方法及系统
CN112801965A (zh) 一种基于卷积神经网络的烧结皮带异物监测方法及系统
CN105701515A (zh) 一种基于双层流形约束的人脸超分辨率处理方法及系统
CN115457556A (zh) 一种核电厂圆盘指针式仪表读数方法
CN104809735B (zh) 基于傅里叶变换实现图像雾霾评价的系统及方法
CN106960433A (zh) 一种基于图像熵以及边缘的全参考声纳图像质量评测方法
CN108197655A (zh) 基于主成分分析与神经网络的路面破损病害图像分类方法
CN104392209A (zh) 一种目标与背景的图像复杂度评价模型
CN115171079B (zh) 一种基于夜间场景的车辆检测方法
CN104103046B (zh) 一种极化sar图像的快速滤波处理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20110727