CN104866862B - 一种带钢表面面积型缺陷识别分类的方法 - Google Patents
一种带钢表面面积型缺陷识别分类的方法 Download PDFInfo
- Publication number
- CN104866862B CN104866862B CN201510204464.9A CN201510204464A CN104866862B CN 104866862 B CN104866862 B CN 104866862B CN 201510204464 A CN201510204464 A CN 201510204464A CN 104866862 B CN104866862 B CN 104866862B
- Authority
- CN
- China
- Prior art keywords
- mrow
- image
- picture
- features
- gradient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 65
- 229910000831 Steel Inorganic materials 0.000 title claims abstract description 40
- 239000010959 steel Substances 0.000 title claims abstract description 40
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 35
- 239000011159 matrix material Substances 0.000 claims abstract description 33
- 238000007637 random forest analysis Methods 0.000 claims abstract description 29
- 238000012549 training Methods 0.000 claims abstract description 21
- 238000000605 extraction Methods 0.000 claims abstract description 14
- 238000012937 correction Methods 0.000 claims abstract description 13
- 238000010606 normalization Methods 0.000 claims abstract description 7
- 238000003066 decision tree Methods 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 abstract 1
- 230000000694 effects Effects 0.000 description 9
- 238000005286 illumination Methods 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 5
- 238000007635 classification algorithm Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 239000002994 raw material Substances 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 4
- 238000005520 cutting process Methods 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 238000013138 pruning Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 235000002566 Capsicum Nutrition 0.000 description 1
- 239000006002 Pepper Substances 0.000 description 1
- 235000016761 Piper aduncum Nutrition 0.000 description 1
- 235000017804 Piper guineense Nutrition 0.000 description 1
- 244000203593 Piper nigrum Species 0.000 description 1
- 235000008184 Piper nigrum Nutrition 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种带钢表面面积型缺陷识别分类的方法,包括以下步骤:从训练样本库中提取带钢表面图片,去除无用背景,将图片所属类别保存至对应标签矩阵中;对上述图片进行双线性差值算法缩放;采用Gamma校正法,对缩放后图片的图像进行颜色空间归一化;对校正后图片进行方向梯度直方图特征提取;选择灰度共生矩阵对校正后图片进行纹理特征提取;将方向梯度直方图特征与纹理特征合并,构造一个含两大类特征的特征集作为训练数据库;将特征数据用改进的随机森林分类算法进行训练;将待识别带钢缺陷图片依次经过双线性插值算法缩放、Gamma校正、方向梯度直方图特征和纹理特征提取,再将特征数据输入到改进的随机森林分类器中完成识别。
Description
技术领域
本发明涉及机器视觉、图像处理、模式识别领域,尤其涉及一种带钢表面面积型缺陷识别分类的方法。
背景技术
进入21世纪我国制造业已进入飞速发展时代,对基础原材料的质量与产能提出了更高要求。带钢作为制造业中最为重要的基础原材料之一,在机械、汽车、船体、航空等工业制造中不可或缺,其产出质量与产能对国家经济发展的重要性可想而知,制造商对带钢的产品质量要求越来越高。带钢产品的质量由多方面因素控制,主要包括生产的原材料、轧制生产工艺等。产出的带钢质量表现在带钢的表面,常出现的缺陷有划伤、裂边、孔洞等单一缺陷,这些缺陷以目前的技术检出率已经达到很高的水准,但是存在很多面积型复杂缺陷如红锈、椒盐缺陷、灰尘状缺陷等,这些缺陷在识别上还存在非常大的问题。上述表面缺陷不仅影响带钢外观,而且对带钢本身的耐磨性、硬度、强度等性能也都有很大影响。因此,对带钢表面缺陷识别分类与及时纠偏非常重要,不仅可以提高产出的带钢质量,而且可极大降低原材料的消耗。
基于机器视觉的带钢表面缺陷检测主要包括带钢缺陷特征提取以及图像分类识别两大步骤。目前带钢缺陷特征提取的方法很多,比较常见的有灰度共生矩阵(GLCM)、尺度不变特征变换(SIFT)等,这些方法用于带钢单一缺陷的特征提取效果较佳,但是针对带钢面积型复杂缺陷效果不是很好,不能详细描述每种复杂缺陷之间的区别;同时,单一的特征提取不能够克服光照不变性、旋转性等问题。为此,本专利提出将方向梯度直方图(HOG)与GLCM两类特征融合进行面积型复杂缺陷的识别与分类。HOG特征对缺陷边缘非常敏感,即对缺陷细节描述非常细致,但是不能够克服旋转性的问题,并且对整幅图特征把握不好。GLCM能够很好地克服缺陷旋转性问题,且对整幅图缺陷的把握很好,但是其缺点是对细节描述不佳。将两类特征融合,可以非常好地克服几何、光学不变性以及旋转性等问题,同时能够详尽地描述各种复杂缺陷之间的区别,以达到识别分类的目的。
图像识别分类算法也有很多,比较常用的有支持向量机(SVM)、词袋(BOW)、K均值等。支持向量机虽然在二分类或者少分类、低数据样本的情况下表现很好,但是在分类种类达到4种以上、特征维度达到1000以上、训练样本数据变多的时候,支持向量机的识别准确率就会急剧下降。BOW在对样本差距较大的识别效果特别好,比如在对样本为吉他、蝴蝶、自行车这几种图片识别分类效果特别好,但是针对带钢缺陷图像,由于无缺陷部分的图像非常接近,有缺陷图像部分占比例不是非常大,因此会出现识别结果错误率特别高的现象。K均值在数据特征完成以后不能够很好地确定K的个数,有时设定的K值与要分的种类会发生冲突、出现不合理的分类状况。随机森林是一种利用多棵决策树对样本进行训练并预测的分类器,由Leo Breiman和Adele Cutler于2001年提出,为一种机器学习算法。随机森林克服了决策树过拟合问题,对噪声和异常值有较好的容忍性,对高维数据分类问题具有良好的可扩展性和并行性。随机森林算法相对其他算法的优点在于能够快速处理高维度数据信息,而且不需要对特征进行加权,同时也不需要对算法剪枝,多分类精准度非常高,对多维特征训练速率非常快。虽然随机森林在图像识别分类方面相对于其他算法有很多优势,但是它自身的原理会导致本发明运用的HOG与GLCM多特征融合不均衡。因此本发明对随机森林算法进行改进,将森林里面的决策树平均分为两个部分,分别对HOG与GLCM的特征进行随机选取、测试样本预测,且两个部分的决策树分别投票,统计票数记为最终识别结果。改进后的随机森林算法可以均衡地融合HOG与GLCM的特征予以分类识别。
发明内容
本发明所要解决的技术问题是,克服以上背景技术中提到的不足和缺陷,提供一种具有光照、几何和旋转不变性等优点,同时高效区分复杂缺陷特征之间差别的带钢表面面积型缺陷识别分类方法。
为解决上述技术问题,本发明提出的技术方案为一种带钢表面面积型缺陷识别分类的方法,包括以下步骤:
步骤(1)、从训练样本库中提取带钢表面图片,对图片进行定宽高裁剪去除图片非带钢表面无用背景,使所得图片只剩下带钢表面,将图片所属类别保存至对应标签矩阵中;
步骤(2)、对裁剪后图片进行双线性差值算法缩放;
步骤(3)、采用Gamma校正法,对缩放的图片的图像进行颜色空间归一化,从而调节图像的对比度、降低图像局部的阴影和光照变化所造成的影响,同时抑制噪声干扰;
步骤(4)、对校正后图片进行方向梯度直方图(HOG)特征提取,将图片分成若干个细胞单元,选取细胞单元为8乘8,块的大小为16乘16,块的步进大小为8乘8,以步进的形式计算特征从而克服缺陷位置变化性、旋转性等问题;每个细胞单元提取9个方向的梯度直方图,每幅图片共提取1764个向量特征作为训练特征的一部分,以便准确地表述不同纹理缺陷之间的差别;HOG对缺陷的边缘非常敏感,可以非常精准地描述每一种面积型缺陷之间的区别,但是它不能够克服缺陷旋转性的问题,对整体粗糙度等特征不敏感,为此需要用步骤5提出的灰度共生矩阵来弥补这些不足;
步骤(5)、选择灰度共生矩阵对校正后图片进行纹理特征提取,其中灰度共生矩阵(GLCM)表示纹理特征,包括纹理对比度、最大概率、纹理相关性、熵、均值和、方差、方差和、逆差矩、差的方差、和熵、差熵、聚类阴影、显著阴影、角二阶矩;为了克服缺陷样本的旋转性,分别提取以上14个纹理特征的4个方向(0°,45°,90°135°)组成训练数据库的纹理特征,由此得到56个向量特征;灰度共生矩阵是对图片整体的一个特征的描述,4个方向的特征统计很好地克服了旋转性的问题,但是其对细节特征描述不是很到位,不过HOG特征正好弥补这个缺点;
步骤(6)、考虑到GLCM得到的纹理特征与HOG得到的特征各有优缺点,将两者进行合并,组成一个含1820个特征的特征集作为训练数据库;
步骤(7)、利用改进的随机森林(Random Forest)分类算法离线训练特征数据集。其中由HOG计算得到1764个图像特征用50棵最大深度为20的决策树训练,由GLCM计算得到56个图像特征用50棵最大深度为6的决策树训练,融合100棵决策树的分类结果按照投票统计原则确定当前图像所属的类别i(缺陷种类一共15种),i=1,2,…,15。
步骤(8)、将测试样本数据依次经过双线性插值算法缩放,再进行Gamma校正,然后进行HOG特征和GLCM纹理特征提取,再将特征数据输入到改进的随机森林分类器中完成分类识别。
上述的方法中,优选的,所述双线性差值算法的具体步骤包括:对于一个目的坐标,通过向后映射法得到其在原始图像的对应浮点坐标(i+u,j+v),其中i、j均为非负整数,u、v为[0,1]区间的浮点数,则这个像素的值f(i+u,j+v)可由原图像中坐标为(i,j)、(i+1,j)、(i,j+1)、(i+1,j+1)所对应的周围四个像素的值决定,即:f(i+u,j+v)=(1-u)×(1-v)×f(i,j)+(1-u)×v×f(i,j+1)+u×(1-v)×f(i+1,j)+u×v×f(i+1,j+1),其中f(i,j)表示源图像(i,j)处的像素值。
上述的方法中,优选的,将所述图片进行双线性差值算法缩放至尺寸为:宽高为64个像素乘64个像素,实验表明这么大尺寸的图片,对特征保留的效果最佳,其大小可根据原摄像头图像大小进行调整,缩小采样以后可以在保证识别准确率的情况下,极大地缩短识别时间。
上述的方法中,优选的,所述Gamma校正法的计算公式为:Vout(i,j)=Vin(i,j)gamma,其中gamma=0.5。
上述的方法中,优选的,所述HOG特征提取的具体步骤包括:
(1)计算图像横坐标和纵坐标方向的梯度,并据此计算每个像素位置的梯度方向值;计算梯度的求导操作不仅能够捕获轮廓和一些纹理信息,还能进一步弱化光照的影响;图像中像素点(x,y)的梯度为:Gx(x,y)=H(x+1,y)-H(x-1,y);Gy(x,y)=H(x,y+1)-H(x,y-1);式中Gx(x,y),Gy(x,y),H(x,y)分别表示输入图像中像素点(x,y)处的水平方向梯度、垂直方向梯度和像素值;像素点(x,y)处的梯度幅值和梯度方向分别为:
(2)将图像分成64个“细胞单元cell”,每个cell的大小为8×8个像素,在一个细胞单元内统计9个方向的梯度直方图,也就是将cell的梯度方向360度分成9个方向块;如图5所示,如果这个像素的梯度方向是20-40度,直方图第2个统计柱(bin)的计数就加一,以此类推,对cell内每个像素用梯度方向在直方图中进行加权投影(映射到固定的角度范围),就可以得到这个cell的梯度方向直方图了,即该cell对应的9维特征向量,其中梯度大小就是投影的权值。例如说:这个像素的梯度方向是20-40度,然后它的梯度大小是2,那么直方图第2个bin的计数就不是加一,而是加二。
(3)把细胞单元组合成大的块,块内归一化梯度直方图,块的大小为2×2个细胞单元,选取归一化因子L2-norm,||v||2表示v的2阶范数,用ε表示一个很小的常数,每个细胞单元有9个特征,每一块有4个细胞单元,步长为8个像素,所以每行每列都有7个块,一共有1764个HOG特征。
上述的方法中,优选的,所述灰度共生矩阵是由图像灰度级之间的联合概率密度P(i,j,d,θ)所构成的矩阵,即满足P(i,j)=Num{(x1,y1),(x2,y2)∈M×N|f(x1,y1)=i,f(x2,y2)=j}关系,设f(x,y)为一幅二维数字图像,其大小为M×N,x、y分别为像素的坐标值,其中Num{x}表示集合x中的元素个数;方向为θ、间距为d的灰度共生矩阵P(i,j,d,θ)为共生矩阵的第i行j列元素的值。θ取0°,45°,90°和135°四个方向,这四个方向的共生矩阵值P(i,j,d,θ)计算方法如下面公式:
P(i,j,d,0°)=Num{(x1,y1),(x2,y2)∈M×N|x1-x2=0,|y1-y2|=d;f(x1,y1)=i,f(x2,y2)=j}P(i,j,d,45°)=Num{(x1,y1),(x2,y2)∈M×N|x1-x2=d,y1-y2=d,f(x1,y1)=i,f(x2,y2)=j}或者Num{(x1,y1),(x2,y2)∈M×N|x1-x2=-d,y1-y2=-d;f(x1,y1)=i,f(x2,y2)=j}P(i,j,d,90°)=Num{(x1,y1),(x2,y2)∈M×N|x1-x2=d,|y1-y2|=0;f(x1,y1)=i,f(x2,y2)=j}P(i,j,d,135°)=Num{(x1,y1),(x2,y2)∈M×N|x1-x2=d,y1-y2=-d,f(x1,y1)=i,f(x2,y2)=j}或者Num{(x1,y1),(x2,y2)∈M×N|x1-x2=-d,y1-y2=d;f(x1,y1)=i,f(x2,y2)=j}。
上述的方法中,优选的,所述通过灰度共生矩阵提取具体的纹理特征计算公式为:
角二阶矩:
对比度:
相关性:
其中
熵:
方差:其中m为p(i,j,d,θ)的均值;
均值和:其中
方差和:其中
逆差矩:
差的方差:
其中,
和熵:其中
差熵:其中,
聚类阴影:
其中
显著聚类:
最大概率:w14=MAX[p(i,j,d,θ)]。
上述的方法中,优选的,所述随机森林分类算法的具体分类步骤包括:将1820个混合特征代入改进的随机森林算法中进行训练;由于HOG有1764个特征,而GLCM只有56个特征,则设置森林中树的数量为100,分成两部分,即50棵树随机选取HOG特征,其决策树的最大深度为20,另外50棵树随机选取GLCM特征,其决策树最大深度为6,然后对两部分的结果做出投票得到最终结果。带钢面积型缺陷的种类有15种,通过以上方法完成特征融合与样本训练以后,即可对测试样本进行分类识别。
与现有技术相比,本发明的优点在于:能够快速准确地识别带钢面积型缺陷,克服现有技术对单一缺陷识别效果较好、但对复杂缺陷识别效果较差的缺陷;本发明巧妙地融合了灰度共生矩阵和方向梯度直方图两类特征进行图像分类识别,克服了缺陷的旋转性和方向不变性等问题,同时通过方向梯度直方图详尽描述缺陷的细节部分,用灰度共生矩阵整体统计整幅缺陷图的特征;提出改进的随机森林有效融合HOG特征和GLCM特征进行图像分类识别,对高维数据分类问题具有良好的可扩展性和并行性,相对其他算法,所提图像分类算法的优点在于能够快速地处理高维度数据信息,且不需要对特征进行加权,也不需要对算法剪枝,多分类精准度非常高,对多维特征训练速率非常快。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明带钢复杂缺陷的特征提取和识别分类流程图。
图2为本发明实施例1中去除无用背景以后的图。
图3为本发明实施例1中双线性插值缩放以后的图。
图4为本发明实施例1中HOG特征提取的详细流程图。
图5为本发明实施例1中细胞单元360度分成9个方向的块即9个bin的直方图统计细胞单元的梯度信息。
图6为本发明实施例1中随机森林分类单棵决策树算法简图。
图7为本发明实施例1中随机森林分类算法简图。
具体实施方式
为了便于理解本发明,下文将结合说明书附图和较佳的实施例对本发明作更全面、细致地描述,但本发明的保护范围并不限于以下具体的实施例。
除非另有定义,下文中所使用的所有专业术语与本领域技术人员通常理解的含义相同。本文中所使用的专业术语只是为了描述具体实施例的目的,并不是旨在限制本发明的保护范围。
实施例1:
一种本发明的带钢表面面积型缺陷识别分类的方法,流程如图1所示,包括以下步骤:
步骤一:从训练样本库中提取带钢表面图片,对图片进行定宽高裁剪去除图片非带钢表面无用背景,使所得图片只剩下带钢表面,如图2所示。并将图片所属类别保存到对应标签矩阵中。
步骤二:对图片进行双线性插值算法采样,缩放到宽高为64像素乘64像素,实验表明这样处理后特征保留的效果最佳,且极大地缩短了后续识别的时间,其大小可根据原摄像头图像进行调整,如图3所示;其中双线性插值算法:是利用了需要处理的原始图像中像素点周围的四个像素点的相关性,通过双线性算法计算得出的。对于一个目的坐标,通过向后映射法得到其在原始图像的对应浮点坐标(i+u,j+v),其中i,j均为非负整数,u,v为[0,1]区间的浮点数,则这个像素的值f(i+u,j+v)可由原图像中坐标为(i,j)、(i+1,j)、(i,j+1)、(i+1,j+1)所对应的周围四个像素的值决定,即:f(i+u,j+v)=(1-u)×(1-v)×f(I,j)+(1-u)×V×f(i,j+1)+u×(1-v)×f(i+1,j)+u×v×f(i+1,j+1),其中f(i,j)表示源图像(i,j)处的像素值。
步骤三:对缩放后图片采用Gamma校正法,对输入图像进行颜色空间的归一化;计算公式:Vout(i,j)=Vin(i,j)gamma,gamma=0.5;校正的目的是调节图像的对比度,降低图像局部的阴影和光照变化所造成的影响,同时可以抑制噪音的干扰。
步骤四:对校正后图片进行HOG特征提取,详细流程图见图4,将图像分成64个细胞单元,选取细胞单元为8乘8,块的大小为16乘16,块的步进大小为8乘8,以步进的形式对每个块进行特征提取,可以克服位置缺陷变化性等问题。设每个细胞单元提取9个方向的梯度直方图,细致提取直方图能够准确地表述不同纹理缺陷之间的差别,所以每幅图片提取1764个向量特征作为训练特征的一部分。
步骤四-1,计算图像横坐标和纵坐标方向的梯度,并据此计算每个像素位置的梯度方向值;这一求导操作不仅能够捕获轮廓和一些纹理信息,还能进一步弱化光照的影响。图像中像素点(x,y)的梯度为:Gx(x,y)=H(x+1,y)-H(x-1,y);Gy(x,y)=H(x,y+1)-H(x,y-1);式中Gx(x,y),Gy(x,y),H(x,y)分别表示输入图像中像素点(x,y)处的水平方向梯度、垂直方向梯度和像素值。像素点(x,y)处的梯度幅值和梯度方向分别为:
步骤四-2,将图像分成64个“细胞单元cell”,每个cell的大小为8×8个像素。在一个细胞单元内统计9个方向的梯度直方图,即将cell的梯度方向360度分成9个方向块。如图5所示,如果一个像素的梯度方向是20-40度,直方图第2个统计柱bin的计数就加一。以此类推,对cell内每个像素用梯度方向在直方图中进行加权投影(映射到固定的角度范围),由此得到这个cell的梯度方向直方图,即该cell对应的9维特征向量。其中,梯度大小是投影的权值,如某个像素的梯度方向是20-40度,它的梯度大小是2,那么直方图第2个bin的计数就不是加一,而是加二。
步骤四-3,把细胞单元组合成大的块(block),块内归一化梯度直方图,块的大小为2×2个细胞单元,即对36维的特征向量进行规范化,其中,选取归一化因子L2-norm,||v||2表示v的2阶范数,用ε表示一个很小的常数。每个细胞单元有9个特征,每一块有4个细胞单元,步长为8个像素,所以每行每列都有7个块,所以一共有1764个HOG特征。
步骤五:选择灰度共生矩阵对校正后的图片进行纹理特征提取,其中,灰度共生矩阵表示的纹理特征包括纹理对比度、最大概率、纹理相关性、熵、均值和、方差、方差和、逆差矩、差的方差、和熵、差熵、聚类阴影、显著阴影、角二阶矩。为了克服缺陷样本的旋转性,分别提取以上14个纹理特征的4个方向(0°,45°,90°135°)组成训练数据库的纹理特征,一共是56个向量特征。纹理特征提取的详细过程:灰度共生矩阵是由图像灰度级之间的联合概率密度P(i,j,d,θ)所构成的矩阵,即满足P(i,j)=Num{(x1,y1),(x2,y2)∈M×N|f(x1,y1)=i,f(x2,y2)=j}关系,它定义方向为θ、间距为d的灰度共生矩阵P(i,j,d,θ)为共生矩阵的第i行j列元素的值,其中,θ取0°,45°,90°,135°4个方向。设f(x,y)为一幅二维数字图像,其大小为M×N,x和y分别为像素的横和纵坐标值,0°、45°、90°、135°四个方向的共生矩阵值P(i,j,d,θ)计算方法如下面公式:
P(i,j,d,0°)=Num{(x1,y1),(x2,y2)∈M×N|x1-x2=0,|y1-y2|=d;f(x1,y1)=i,f(x2,y2)=j}P(i,j,d,45°)=Num{(x1,y1),(x2,y2)∈M×N|x1-x2=d,y1-y2=d,f(x1,y1)=i,f(x2,y2)=j}或者Num{(x1,y1),(x2,y2)∈M×N|x1-x2=-d,y1-y2=-d;f(x1,y1)=i,f(x2,y2)=j}P(i,j,d,90°)=Num{(x1,y1),(x2,y2)∈M×N|x1-x2=d,|y1-y2|=0;f(x1,y1)=i,f(x2,y2)=j}P(i,j,d,135°)=Num{(x1,y1),(x2,y2)∈M×N|x1-x2=d,y1-y2=-d,f(x1,y1)=i,f(x2,y2)=j}或者Num{(x1,y1),(x2,y2)∈M×N|x1-x2=-d,y1-y2=d;f(x1,y1)=i,f(x2,y2)=j}。
其中,Num{x}表示集合x中的元素个数;
下面是通过灰度共生矩阵提取的具体纹理特征计算公式:
角二阶矩:
对比度:
相关性:
其中
熵:
方差:其中m为p(i,j,d,θ)的均值。
均值和:其中
方差和:其中
逆差矩:
差的方差:
其中,
和熵:其中
差熵:其中,
聚类阴影:
其中
显著聚类:
最大概率:w14=MAX[p(i,j,d,θ)]。
步骤六:将HOG特征与纹理特征进行合并,组成一个含有1820个特征的特征集作为训练数据库。
步骤七:将特征数据用改进的随机森林(Random Forest)多分类算法进行训练。随机森林算法的工作原理如图7所示,其核心是森林里面有很多决策树,如图6所示,每一颗树即是从开始到最后判别结果是A或者B的整个分支过程。树中所用的特征都是从总的特征集里随机选取的,但下一棵树就不会再选取已运用到的特征。如图7所示,森林里面有很多棵决策树,最后通过森林中所有决策树投票表决确定最终结果。带钢面积型缺陷检测时,将HOG和GLCM两大类缺陷特征结合起来作为特征数据,其中HOG有1764个特征,而GLCM只有56个特征,这两类特征的数量存在比较大差距,由于随机森林算法是对特征集中所有特征随机选取作为结点判别依据,这样会导致特征选取时出现不平衡,所以对传统随机森林算法进行改进,设置森林中树的数量为100,将其分成两部分,50棵树随机选取HOG特征,其决策树的最大深度为20,另外50棵树随机选取GLCM特征,其决策树最大深度为6,然后对决策结果进行投票得到最后结果。带钢面积型缺陷的种类有15种,通过以上方法完成特征融合与样本训练以后,即可对测试样本进行预测分类。
步骤八:将测试样本数据依次经过双线性插值算法缩放、Gamma校正以及HOG特征和纹理特征提取,再将特征数据输入到随机森林分类器中完成分类识别。
融合GLCM与HOG特征,运用改进的随机森林分类算法进行表钢表面缺陷识别分类的结果如表1所示。
表1本实施例融合GLCM与HOG特征识别分类结果
Claims (7)
1.一种带钢表面面积型缺陷识别分类的方法,其特征在于,包括以下步骤:
步骤(1)、从训练样本库中提取带钢表面图片,去除无用背景,将图片所属类别保存至对应标签矩阵中;
步骤(2)、对上述图片进行双线性差值算法缩放;
步骤(3)、采用Gamma校正法,对缩放后图片的图像进行颜色空间归一化;
步骤(4)、对校正后图片进行方向梯度直方图特征提取;
步骤(5)、选择灰度共生矩阵对校正后图片进行纹理特征提取;
步骤(6)、将方向梯度直方图特征与纹理特征合并,构造一个含两大类特征的特征集作为训练数据库;
步骤(7)、将特征数据用改进的随机森林分类算法进行训练;
步骤(8)、将待识别带钢缺陷图片依次经过双线性插值算法缩放、Gamma校正、方向梯度直方图特征和纹理特征提取,再将特征数据输入到改进的随机森林分类器中完成分类识别;
所述改进的随机森林分类算法的具体分类步骤包括:将1820个图像特征带入改进的随机森林算法进行训练,其中方向梯度直方图有1764个特征,而灰度共生矩阵只有56个特征;设置森林中树的数量为100,分成两部分,其中50棵树随机选取方向梯度直方图特征,其决策树的最大深度为20,另外50棵树随机选取灰度共生矩阵特征,其决策树最大深度为6;对决策结果做出投票得出最后结果;面积型缺陷的种类有15种,通过特征融合和随机森林算法的离线训练,即能对测试样本进行分类识别。
2.根据权利要求1所述的方法,其特征在于,所述双线性差值算法的具体步骤包括:对于一个目的坐标,通过向后映射法得到其在原始图像的对应的浮点坐标(i+u,j+v),其中i、j均为非负整数,u、v为[0,1]区间的浮点数,则这个像素的值f(i+u,j+v)由原图像中坐标为(i,j)、(i+1,j)、(i,j+1)、(i+1,j+1)所对应的周围四个像素的值决定,即:f(i+u,j+v)=(1-u)×(1-v)×f(i,j)+(1-u)×v×f(i,j+1)+u×(1-v)×f(i+1,j)+u×v×f(i+1,j+1),其中f(i,j)表示源图像(i,j)处的像素值。
3.根据权利要求2所述的方法,其特征在于,将去除无用背景后的图片进行双线性差值算法缩放至尺寸为:宽高为64个像素乘64个像素。
4.根据权利要求2所述的方法,其特征在于,所述Gamma校正法的计算公式为:Vout(i,j)=Vin(i,j)gamma,其中gamma=0.5。
5.根据权利要求1所述的方法,其特征在于,所述方向梯度直方图特征提取的具体步骤包括:
(1)计算图像横坐标和纵坐标方向的梯度,并据此计算每个像素位置的梯度方向值;图像中像素点(x,y)的梯度为:Gx(x,y)=H(x+1,y)-H(x-1,y);Gy(x,y)=H(x,y+1)-H(x,y-1);式中Gx(x,y),Gy(x,y),H(x,y)分别表示输入图像中像素点(x,y)处的水平方向梯度、垂直方向梯度和像素值;像素点(x,y)处的梯度幅值和梯度方向分别为:
<mrow>
<mi>G</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msqrt>
<mrow>
<msub>
<mi>G</mi>
<mi>x</mi>
</msub>
<msup>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<msub>
<mi>G</mi>
<mi>y</mi>
</msub>
<msup>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
</msqrt>
<mo>;</mo>
<mi>a</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msup>
<mi>tan</mi>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msup>
<mrow>
<mo>(</mo>
<mfrac>
<mrow>
<mi>G</mi>
<mi>y</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mi>G</mi>
<mi>x</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
(2)将图像分成64个“细胞单元”,每个细胞单元的大小为8×8个像素,在一个细胞单元内统计9个方向的梯度直方图,也就是将细胞单元的梯度方向360度分成9个方向块;
(3)把细胞单元组合成大的块,块内归一化梯度直方图,块的大小为2×2个细胞单元,选取归一化因子L2-norm,||v||2表示v的2阶范数,用ε表示一个很小的常数,每个细胞单元有9个特征,每一块有4个细胞单元,步长为8个像素,所以每行每列都有7个块,一共有1764个HOG特征。
6.根据权利要求1所述的方法,其特征在于,所述灰度共生矩阵是由图像灰度级之间的联合概率密度P(i,j,d,θ)所构成的矩阵,即满足
P(i,j)=Num{(x1,y1),(x2,y2)∈M×N|f(x1,y1)=i,f(x2,y2)=j}关系,设f(x,y)为一幅二维数字图像,其大小为M×N,x、y分别为像素的坐标值,其中Num{x}表示集合x中的元素个数;方向为θ、间距为d的灰度共生矩阵P(i,j,d,θ)为共生矩阵的第i行j列元素的值。
7.根据权利要求1~6中任意一项所述的方法,其特征在于,所述通过灰度共生矩阵提取具体的纹理特征计算公式为:
角二阶矩:
对比度:
相关性:
其中
熵:
方差:其中m为p(i,j,d,θ)的均值;
均值和:其中
方差和:其中
逆差矩:
差的方差:
其中,
和熵:其中
差熵:其中,
聚类阴影:
其中
显著聚类:
最大概率:w14=MAX[p(i,j,d,θ)]。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510204464.9A CN104866862B (zh) | 2015-04-27 | 2015-04-27 | 一种带钢表面面积型缺陷识别分类的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510204464.9A CN104866862B (zh) | 2015-04-27 | 2015-04-27 | 一种带钢表面面积型缺陷识别分类的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104866862A CN104866862A (zh) | 2015-08-26 |
CN104866862B true CN104866862B (zh) | 2017-12-22 |
Family
ID=53912683
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510204464.9A Active CN104866862B (zh) | 2015-04-27 | 2015-04-27 | 一种带钢表面面积型缺陷识别分类的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104866862B (zh) |
Families Citing this family (42)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105447524A (zh) * | 2015-11-27 | 2016-03-30 | 优渊商贸(上海)有限公司 | 图像识别方法及装置 |
CN105931224A (zh) * | 2016-04-14 | 2016-09-07 | 浙江大学 | 基于随机森林算法的肝脏平扫ct图像病变识别方法 |
CN106097360A (zh) * | 2016-06-17 | 2016-11-09 | 中南大学 | 一种带钢表面缺陷识别方法及装置 |
CN106529542A (zh) * | 2016-09-30 | 2017-03-22 | 中国石油天然气股份有限公司 | 示功图识别方法和装置 |
CN106530292B (zh) * | 2016-10-28 | 2019-07-05 | 鞍钢未来钢铁研究院有限公司 | 一种基于线扫描相机的带钢表面缺陷图像快速辨识方法 |
CN108074025B (zh) * | 2016-11-10 | 2021-12-31 | 上海宝信软件股份有限公司 | 基于表面缺陷分布特征的钢卷表面缺陷判定方法 |
CN106682641A (zh) * | 2017-01-05 | 2017-05-17 | 北京细推科技有限公司 | 基于fhog‑lbph特征的图像行人识别方法 |
CN106951922A (zh) * | 2017-03-16 | 2017-07-14 | 太原理工大学 | 一种基于支持向量机的天文图像实时筛选系统 |
CN107330365A (zh) * | 2017-05-27 | 2017-11-07 | 深圳市美好幸福生活安全系统有限公司 | 基于最大稳定极值区域和svm的交通标志识别方法 |
CN107369136B (zh) * | 2017-06-22 | 2020-06-09 | 福建省万龙新材料科技有限公司 | 聚晶金刚石复合片表面裂纹视觉检测方法 |
CN107492091B (zh) * | 2017-07-06 | 2020-09-04 | 东莞理工学院 | 基于机器视觉的标签外观检测方法及终端设备 |
CN107486415B (zh) * | 2017-08-09 | 2023-10-03 | 中国计量大学 | 基于机器视觉的篾片缺陷在线检测系统及检测方法 |
CN107742094A (zh) * | 2017-09-22 | 2018-02-27 | 江苏航天大为科技股份有限公司 | 提高人证比对结果的图像处理方法 |
CN107945161B (zh) * | 2017-11-21 | 2020-10-23 | 重庆交通大学 | 基于纹理特征提取的道路表面缺陷检测方法 |
CN108242053B (zh) * | 2017-12-29 | 2020-12-01 | 武汉钢铁有限公司 | 一种基于vai表面检测系统的缺陷图片分类收集方法 |
CN108319855A (zh) * | 2018-02-08 | 2018-07-24 | 中国人民解放军陆军炮兵防空兵学院郑州校区 | 一种基于深度森林的恶意代码分类方法 |
CN108399430B (zh) * | 2018-02-28 | 2019-09-27 | 电子科技大学 | 一种基于超像素和随机森林的sar图像舰船目标检测方法 |
CN108447051B (zh) * | 2018-03-09 | 2019-12-24 | 东北大学 | 一种基于计算机视觉的金属产品表面缺陷等级评定方法 |
CN108428231B (zh) * | 2018-03-19 | 2022-04-26 | 南京信息工程大学 | 一种基于随机森林的多参数零件表面粗糙度学习方法 |
CN108520262B (zh) * | 2018-03-28 | 2020-08-07 | 厦门瑞为信息技术有限公司 | 一种基于fpga实时提取fhog特征的方法 |
CN108846839B (zh) * | 2018-06-05 | 2021-08-10 | 中南大学 | 一种基于扇形邻域差异直方图的匣钵裂纹检测方法 |
CN109191421B (zh) * | 2018-07-04 | 2022-02-22 | 沈阳工业大学 | 柱形锂电池圆周面凹坑视觉检测方法 |
CN109032097B (zh) * | 2018-08-28 | 2021-09-07 | 唐山钢铁集团有限责任公司 | 一种冷轧带钢镀锌线过程控制方法 |
CN109271977A (zh) * | 2018-11-23 | 2019-01-25 | 四川长虹电器股份有限公司 | 票据自动分类训练方法、装置及自动分类方法、装置 |
CN109444169B (zh) * | 2019-01-17 | 2021-06-15 | 南昌航空大学 | 一种轴承缺陷检测方法及系统 |
CN109858485A (zh) * | 2019-01-25 | 2019-06-07 | 东华大学 | 一种基于lbp和glcm的织物瑕疵检测方法 |
CN111192304A (zh) * | 2019-02-25 | 2020-05-22 | 中南大学 | 一种基于改进局部二值模式的纹理描述方法及其系统 |
CN110033434A (zh) * | 2019-03-04 | 2019-07-19 | 南京航空航天大学 | 一种基于纹理显著性的表面缺陷检测方法 |
CN110189297B (zh) * | 2019-04-18 | 2021-02-19 | 杭州电子科技大学 | 一种基于灰度共生矩阵的磁性材料外观缺陷检测方法 |
CN110060247B (zh) * | 2019-04-18 | 2022-11-25 | 深圳市深视创新科技有限公司 | 应对样本标注错误的鲁棒深度神经网络学习方法 |
CN110716138A (zh) * | 2019-10-25 | 2020-01-21 | 中国矿业大学 | 一种笼型异步电机定子绕组匝间短路故障识别方法 |
CN110874600B (zh) * | 2019-11-18 | 2020-09-25 | 北京邮电大学 | 基于机器学习的离子束溅射沉积薄膜凹坑与颗粒判别方法 |
CN111626977A (zh) * | 2019-11-25 | 2020-09-04 | 梁帆 | 一种基于图像识别的钢轨表面检测方法 |
CN111160373B (zh) * | 2019-12-30 | 2022-07-15 | 重庆邮电大学 | 一种变速鼓零件缺陷图像特征提取以及检测分类方法 |
CN111340027A (zh) * | 2020-03-05 | 2020-06-26 | 中冶赛迪重庆信息技术有限公司 | 一种堆钢识别方法、系统、电子设备及介质 |
CN111931953A (zh) * | 2020-07-07 | 2020-11-13 | 北京工业大学 | 一种废旧手机多尺度特征深度森林识别方法 |
CN112488211A (zh) * | 2020-12-03 | 2021-03-12 | 浙江理工大学 | 一种织物图像瑕疵分类方法 |
CN113610822B (zh) * | 2021-08-13 | 2022-09-09 | 湖南大学 | 一种基于多尺度信息融合的表面缺陷检测方法 |
CN114199879B (zh) * | 2021-11-23 | 2024-06-18 | 北京科技大学 | 一种冷轧带钢表面聚集型缺陷的识别方法 |
CN114549525B (zh) * | 2022-04-25 | 2022-08-16 | 海门裕隆光电科技有限公司 | 一种基于改进canny算法的工业图像检测方法 |
CN114998290A (zh) * | 2022-06-20 | 2022-09-02 | 佛山技研智联科技有限公司 | 基于有监督模式的织物瑕疵检测方法、装置、设备及介质 |
CN115619784B (zh) * | 2022-12-16 | 2023-06-02 | 福建帝视科技集团有限公司 | 一种基于深度特征记忆库的无监督缺陷检测方法及终端 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102637258A (zh) * | 2012-04-01 | 2012-08-15 | 首钢总公司 | 一种建立在线表面质量检测系统缺陷库的方法 |
CN103745234A (zh) * | 2014-01-23 | 2014-04-23 | 东北大学 | 一种带钢表面缺陷的特征提取与分类方法 |
-
2015
- 2015-04-27 CN CN201510204464.9A patent/CN104866862B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102637258A (zh) * | 2012-04-01 | 2012-08-15 | 首钢总公司 | 一种建立在线表面质量检测系统缺陷库的方法 |
CN103745234A (zh) * | 2014-01-23 | 2014-04-23 | 东北大学 | 一种带钢表面缺陷的特征提取与分类方法 |
Non-Patent Citations (1)
Title |
---|
Classification of defects in steel strip surface based on multiclass support vector machine;Hu H, Li Y, Liu M, et al;《 Multimedia tools and applications》;20121013;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN104866862A (zh) | 2015-08-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104866862B (zh) | 一种带钢表面面积型缺陷识别分类的方法 | |
CN108830188B (zh) | 基于深度学习的车辆检测方法 | |
CN109598287B (zh) | 基于深度卷积生成对抗网络样本生成的外观瑕疵检测方法 | |
CN103544499B (zh) | 一种基于机器视觉的表面瑕疵检测的纹理特征降维方法 | |
CN109523518B (zh) | 一种轮胎x光病疵检测方法 | |
CN115082419A (zh) | 一种吹塑箱包生产缺陷检测方法 | |
CN101667245B (zh) | 基于支持向量新颖检测分类器级联的人脸检测方法 | |
CN105608441B (zh) | 一种车型识别方法及系统 | |
CN108647706B (zh) | 基于机器视觉的物品识别分类与瑕疵检测方法 | |
CN107886539B (zh) | 一种工业场景下高精度齿轮视觉检测方法 | |
CN112233107B (zh) | 基于图像处理技术的葵花籽品级分类方法 | |
CN107886066A (zh) | 一种基于改进hog‑sslbp的行人检测方法 | |
CN108985339A (zh) | 一种基于目标识别与knn算法的超市仓库货物识别分类方法 | |
CN112200163B (zh) | 水下底栖生物检测方法及系统 | |
Beksi et al. | Object classification using dictionary learning and rgb-d covariance descriptors | |
CN111968115B (zh) | 基于栅格化图像处理方法的骨科耗材检测方法及系统 | |
CN111161237A (zh) | 一种果蔬表面质检方法及其储存介质、分拣装置 | |
CN110415222A (zh) | 一种基于纹理特征的丝饼侧面缺陷识别方法 | |
CN114863464B (zh) | 一种pid图纸图件信息的二阶识别方法 | |
CN116503622A (zh) | 基于计算机视觉图像的数据采集读取方法 | |
CN103353941A (zh) | 基于视角分类的自然标志物注册方法 | |
CN117975175B (zh) | 一种基于机器视觉的塑料管道外观缺陷检测方法 | |
CN112949634B (zh) | 一种铁路接触网鸟窝检测方法 | |
CN117611571A (zh) | 一种基于改进yolo模型的带钢表面缺陷检测方法 | |
CN116664540A (zh) | 基于高斯线检测的橡胶密封圈表面缺陷检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
EXSB | Decision made by sipo to initiate substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |