CN110458812A - 一种基于颜色描述及稀疏表达的类圆形水果缺陷检测方法 - Google Patents
一种基于颜色描述及稀疏表达的类圆形水果缺陷检测方法 Download PDFInfo
- Publication number
- CN110458812A CN110458812A CN201910663730.2A CN201910663730A CN110458812A CN 110458812 A CN110458812 A CN 110458812A CN 201910663730 A CN201910663730 A CN 201910663730A CN 110458812 A CN110458812 A CN 110458812A
- Authority
- CN
- China
- Prior art keywords
- far
- color
- image block
- fruit
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 235000013399 edible fruits Nutrition 0.000 title claims abstract description 71
- 230000007547 defect Effects 0.000 title claims abstract description 60
- 238000001514 detection method Methods 0.000 title abstract description 26
- 238000000034 method Methods 0.000 claims abstract description 49
- 239000011159 matrix material Substances 0.000 claims description 16
- 238000012937 correction Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 10
- 239000003086 colorant Substances 0.000 claims description 9
- 239000000203 mixture Substances 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000002950 deficient Effects 0.000 abstract description 14
- 238000012360 testing method Methods 0.000 abstract description 2
- 238000012549 training Methods 0.000 description 8
- 238000000605 extraction Methods 0.000 description 7
- 230000000903 blocking effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005429 filling process Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于颜色描述及稀疏表达的类圆形水果缺陷检测方法。所述方法包括如下步骤:获取待检测图像的远邻域颜色描述特征;对所述远邻域颜色描述特征进行修正获取修正后的远邻域颜色描述特征;根据所述修正后的远邻域颜色描述特征建立高斯混合模型;根据所述高斯混合模型获取待检测水果的缺陷位置。该方法以图像块为基础,通过考虑图像块与远邻域区域的差异性、与邻域区域的相似性及图像块自身颜色的数量、空间分布情况完成检测。本发明方法属于无监督学习方法,以分类方式输出检测结果,可完成多类型、多数量类圆形水果缺陷检测任务。
Description
技术领域
本发明属于机器视觉技术领域,具体涉及一种基于颜色描述及稀疏表达的类圆形水果缺陷检测方法。
背景技术
基于机器视觉技术的水果缺陷检测,现已逐步取代人工肉眼检测,前者在检测准确性、快速性及持久性上要远远优于后者。根据具体检测要求的不同,检测结果多以分类或分割的形式进行可视化。
目前国内外主要的缺陷检测方法大致可以分为以下四类:基于统计信息、基于滤波信息、基于图像分解以及基于深度学习的方法。基于统计信息的方法多以直方图为基础,建立好相应的训练直方图及检测直方图,比较两类直方图的距离以确定待检测部分是否为缺陷。该方法对于不同类型缺陷需建立不同的训练直方图,且对样本数量要求较高,普适性不强。基于滤波信息的方法对图像进行小波或轮廓波等变化,根据变化系数确定缺陷位置。该方法对变化参数设置要求较高,不同类型不同大小缺陷需要设置不同参数。基于低秩分解的方法将待检测图像分解为背景与随机噪声部分,其中非缺陷区域对应背景部分,非缺陷区域的相似性决定了该部分的低秩性,缺陷区域对应随机噪声部分。该方法不需任何存储样本,灵活性较强,并且结合了局部结构和全局结构,但该方法在实际检测过程中检测效果不佳。基于深度学习的方法属于有监督学习,该方法需要庞大的实际拍摄图片支撑样本数据库。整个过程由训练及测试组成,在训练阶段通过搭建神经网络,提取各类图片深度信息,在检测阶段根据训练得到的网络最优参数对输入图片进行最终类别输出。该方法的检测效率通常高于传统图像处理方法,但对样本及设备的要求较高。
发明内容
针对现有技术的不足,本发明的目的在于提供了一种基于颜色描述及稀疏表达的类圆形水果缺陷检测方法,以解学现有技术中存在的检测效果不佳、准确性较低的问题。
为解决上述技术问题,本发明所采用的技术方案是:
一种基于颜色描述及稀疏表达的类圆形水果缺陷检测方法,所述方法包括如下步骤:
获取待检测图像的远邻域颜色描述特征;
对所述远邻域颜色描述特征进行修正获取修正后的远邻域颜色描述特征;
根据所述修正后的远邻域颜色描述特征建立高斯混合模型;
根据所述高斯混合模型获取待检测水果的缺陷位置。
进一步的,所述远邻域颜色描述特征的获取方法包括:
获取所述待检测图像的颜色类别标记;
根据所述颜色类别标记建立颜色统计直方图;
建立所述待检测图像中各个像素点对应的远邻域区域和置信度;
根据所述颜色类别标记获取远邻域区域内与中心像素点同类别的相似像素点;
根据所述相似像素点个数获取远邻域相似值;
根据所述置信度和远邻域相似值计算得到远邻域相似值加权和;
根据所述颜色统计直方图和远邻域相似值加权和得到远邻域颜色相似描述特征。
进一步的,所述远邻域相似值加权和的计算方法如下:
FSumL=∑(u,v)∈LMsim(u,v)×Mconf(u,v) (10)
其中,FSumL为图像块中类别标记为L的像素点对应的远邻域相似值加权和,(u,v)为图像块中类别为L的像素点坐标,Msim为该图像块各像素的远邻域相似值构成的矩阵,Mconf为图像块置信度矩阵。
进一步的,所述远邻域颜色相似描述特征计算方法如下:
其中,F为远邻域颜色描述特征,FSum为远邻域相似值加权和,FRGB为颜色统计直方图。
进一步的,所述远邻域颜色相似描述特征的修正方法包括:
获取稀疏表达的最优稀疏度;
获取待检测图像中各图像块在最优稀疏度下对应的编码系数;
根据所述最优稀疏度对应的编码系数修正远邻域颜色描述特征。
进一步的,所述最优稀疏度的获取方法包括:
对所述远邻域颜色相似描述特征进行恢复处理获取恢复后远邻域颜色相似描述特征;
根据所述远邻域颜色相似描述特征和恢复后远邻域颜色相似描述特征获得两者的距离差;
将所述相同颜色类别标标记的图像块的距离差相加以获得当前稀疏度下的特征距离差之和;
改变稀疏度获得不同稀疏度下的特征距离差之和;
选择特征距离差之和的最小值对应的稀疏度作为最优稀疏度。
进一步的,所述修正后的远邻域颜色描述特征表达式如下:
其中,为修正后的远邻域颜色描述特征,D为超完备字典,wi为各邻域图像块权重值,αi为第i个邻域图像块编码系数。
进一步的,所述编码系数的计算公式如下:
[w2x2+w3x3+w4x4+w5x5,x2,x3,x4,x5]=D[α1,α2,α3,α4,α5]
Dαi=xi,i=2,3,4
s.t min||α||row,0 (17)
式中,x2,x3,x4,x5为邻域图像块的修正前的远领域颜色描述特征,w2,w3,w4,w5为各邻域图像块权重值,α1为中心图像块编码系数,α2、α3、α4、α5为α1的邻域图像块编码系数,xi为第i个领域邻域图像块的修正前的远领域颜色描述特征,αi为第i个邻域图像块编码系数,D为超完备字典。
进一步的,所述待检测图像的获取方法包括:
通过去背景处理获取无背景的水果图像;
对所述无背景的水果图像进行扩充;
对扩充后的无背景的水果图像进行划分获取重叠图像块和非重叠图像块;
获取非重叠图像块中含有水果区域的图像块并对所述含有水果区域的图像块中需要填充的图像进行填充,所述填充后的含有水果区域的图像块和不需要填充的含有水果区域的图像块即为待检测图像。
进一步的,所述图像块填充方法包括:
将图像块填充部分的像素被置为该图像块中所有水果区域颜色值的均值。
与现有技术相比,本发明所达到的有益效果是:
(1)本发明在考虑缺陷自身邻域相似性的过程中,引入了稀疏表达,提出了一种改进的稀疏表达来反映邻域相似性,通过该稀疏表达修正后的远邻域颜色描述特征既考虑了差异性又反映了相似性,同时也提高了检测速度;
(2)本发明在填充像素缺失阶段,不同于对所有缺失区域填充,本发明先对图像进行分块处理,然后以图像块为基础,仅对含有部分水果区域的图像块进行填充,这种最佳填充方式减少了参与检测过程的非必要因素,为后续检测的高准确性和高效率性奠定了基础;
(3)本发明在传统颜色统计直方图的基础上,提出了一种远邻域颜色描述特征,该特征既能反映图像块内部各类颜色的数量分布情况,还能反映图像块内部各类颜色的空间分布情况,又能反应图像块与其远邻域区域的差异程度。
附图说明
图1为水果缺陷检测实施方法流程示意图;
图2为缺失像素最佳填充方式流程图;
图3为远邻域颜色描述特征提取总体流程图;
图4为各图像块远邻域相似和特征提取流程图;
图5为稀疏表达修正远邻域颜色描述特征流程图。
具体实施方式
下面结合说明书附图和具体实施对本发明工作原理和技术方案作进一步详细的描述。
如图1所示,一种基于颜色描述及稀疏表达的水果缺陷检测方法,包括水果图像提取、水果图像的分块处理、缺失像素填充、远邻域颜色描述特征提取、稀疏表达修正颜色描述特征、高斯混合模型分类、缺陷位置确定。具体步骤如下:
步骤一,水果图像提取。利用背景与水果的颜色差异可直接利用阈值操作对实时拍摄的水果图像进行去背景处理。由于拍摄方式不限,水果周围可能会出现小部分阴影,导致背景去除不完全,提取的水果周边仍包含少许背景。为减少阴影部分影响,可对阈值处理后的水果部分进行腐蚀,完成景物分离,提取水果,得到无背景的水果图像。
步骤二,水果图像的分块处理。为了便于特征提取,后续检测操作均以图像块为基础,因此需对水果部分分别进行重叠图像块及非重叠图像块划分。但是介于类圆形水果形状的特殊性,无法对整个无背景的水果图像区域正常分块,因此需先将无背景的水果图像中的水果区域扩充为外接矩形,接着对该外接矩形进行图像块划分,其中扩充出的部分像素暂被置为0。
为了保证行、列能被整数个图像块完全划分,需对扩充后的区域进行缩放。缩放后的宽、高分别为:
其中,W1、H1为缩放后扩充区域的宽度和高度,W0、H0为缩放前扩充区域的宽度和高度,WB0、HB0为非重叠块宽度和高度。
缩放完成后,可以进行非重叠块与重叠块划分。划分后各行、各列图像块数量分别为:
其中,Nx0、Ny0为非重叠块划分后各行、各列图像块数量,Nx1、Ny1为重叠块划分后各行、各列图像块数量。W1、H1为待分块图像的宽度和高度,WB0、HB0为非重叠块宽度和高度,WB1、HB1为非重叠块宽度和高度。
步骤三,缺失像素填充。如图2所示,填充像素缺失部分。外接矩形内部区域与水果区域的相异部分存在像素缺失,需对该相异部分进行填充。为保证检测的准确性与及时性,填充操作仅需针对包含部分水果的图像块。步骤二中执行分块处理的外接矩形中非水果区域像素为零,需对该部分像素进行填充。为保证检测的准确性与及时性,不对所有像素为零的位置进行填充,而是有选择性地执行像素填充处理。具体填充过程如下:
3.1)根据划分后得到的各个非重叠块中是否包含水果区域,可将非重叠块划分为两大类,有用图像块类与无用图像块类。包含水果区域的图像块被添加进有用图像块集合,不包含水果区域的图像块被添加进无用图像块集合。在后续的检测操作中只保留有用图像块集合中的图像块。
3.2)再根据各个图像块中包含水果区域的多少将有用图像块集合中的图像块分为两小类,需填充图像块类与无需填充图像块类。全部包含水果区域的图像块被添加进无需填充图像块集合,部分包含水果区域的图像块被添加进需填充图像块集合。
3.3)对于需填充图像块集合中的某一个具体图像块,需填充部分的像素被置为该图像块中所有水果区域颜色值的均值,所有填充后的含有水果区域的图像块和不需要填充的含有水果区域的图像块即为待检测图像。
步骤四,远邻域颜色描述特征提取。如图3、图4所示,对分块处理后的图像,根据缺陷部分与非缺陷部分在颜色上的差异提取新构建的远邻域颜色描述特征。缺陷的分布情况可类比图像中的随机独立噪声点,对于小面积缺陷,其邻域之外区域为非缺陷的可能性较高,对于非缺陷区域,其邻域之外区域为非缺陷的可能性较高,因此通过待检测目标区域属性与其邻域之外区域属性的相似性可以区分出小面积缺陷与非缺陷;而对于大面积缺陷,其邻域之外区域依旧为缺陷的可能性较高,为了进一步区分出大面积缺陷与非缺陷,可利用目标区域颜色属性加以区分。同时,无论是大缺陷还是小缺陷,其内部颜色分布情况都不同于非缺陷区域。因此,根据上述分析,该模块提出了一种新颖而有效的远邻域颜色描述特征,该特征既能反应待检测图像块与远邻域区域在颜色上的差异,又能反应待检测块自身颜色的数量分布和空间分布情况。该远邻域颜色描述特征具体提取流程如下:
4.1)首先对整张待检测图像的颜色向量进行k均值聚类以得到各颜色向量的类别标记,即颜色类别标记。
4.2)接着对待检测图像中每个有用图像块建立颜色统计直方图,其中某一维特征为该块中所属特定类别的像素数量。
4.3)接着确定待检测图像中各个像素点对应的远邻域区域。远邻域区域由最远远邻域值和最近远邻域值决定。其中最远远邻域值限制了远邻域外边缘像素所在位置,即远邻域所有外边缘像素与中心像素之间的横向距离或纵向距离为最远远邻域值;最近远邻域值限制了远邻域内边缘像素所在位置,即远邻域所有内边缘像素与中心像素之间的横向距离或纵向距离为最近远邻域值,因此最远邻域区域内的像素位于外边缘与内边缘之间。具体表述如下:
Disfar≤|xfn-xc|≤Disnear (7)
Disfar≤|yfn-yc|≤Disnear (8)
其中,Disfar、Disnear分别为最远、最近远邻域值,(xc,yc)为中心像素点坐标,(xfn,yfn)为远邻域区域内某一像素点坐标。
4.4)由4.1)中各像素的聚类类别标记,可以得到远邻域区域内与中心像素在类别上相同的像素点,从而获得远邻域区域与中心像素在颜色上的相似程度,该相似程度又被称为远邻域相似值。
4.5)以图像块为基础,综合每一个像素点的远邻域相似值,建立属于该图像块的远邻域颜色描述特征。针对某一图像块,其具体提取方式如下:
Ⅰ.对于块中不同位置的像素点,需要为其远邻域相似值添加置信度。因为位于块边缘的像素点,它们的远邻域区域属于该图像块的远邻域区域,但位于块中间的像素点,它们的远邻域区域则属于该图像块的近邻域区域。因此当以图像块为基础时,块内各个像素点的远邻域相似值置信度不同,越靠近块边缘的像素点置信度应越高,越接近中心的像素点置信度应越低。置信度矩阵如下所示,矩阵中各元素值表示对应位置像素点远邻域相似值的置信度:
观察上述置信度矩阵,可以发现该矩阵以左上角5×5大小的矩阵为基本单元,上下、左右分别对称,并且越接近边缘置信度越高,越接近中间置信度越低。
Ⅱ.对于某一特定类别标记,可以找到该图像块中所有属于该类别的像素点,从而可以获得这些像素点的远邻域相似值及对应的置信度值。将这些像素点的远邻域相似值分别与其置信度值相乘并相加可得到该类别对应的远邻域相似值加权和。具体表述如下:
FSumL=∑(u,v)∈LMsim(u,v)×Mconf(u,v) (10)
其中,FSumL为该图像块中类别标记为L的像素点对应的远邻域相似值加权和,(u,v)为图像块中类别为L的像素点坐标,Msim为该图像块各像素的远邻域相似值构成的矩阵,该矩阵大小和Mconf相同。
III.遍历该图像块中所有的类别,可以分别得到各个类别对应的远邻域相似值加权和。
IV.由4.2)得到了各图像块的颜色直方图统计特征,该特征反映了图像块中各类颜色分布的数量多少,由4.5)中的III得到了各图像块的远邻域相似加权和特征,该特征既能反映图像块中各类颜色与其远邻域区域的相似程度,又能反应图像块内部各类颜色的空间分布情况。这两个特征的维度与颜色类别数量相关,即各维度属性为特定的一种颜色类别。将两个特征按照对应类别相除,可以得到平均各类颜色与远邻域区域的相似程度,即为最终的远邻域颜色相似描述特征:
其中,F为该图像块最终的远邻域颜色描述特征,FSum为该图像块远邻域相似加权和特征,FRGB为该图像块颜色直方图统计特征。
该远邻域颜色描述特征既能反映图像块与远邻域区域的颜色相似程度,又能反应图像块内部自身的数量分布和空间分布情况。相较于单纯反映图像块中各类颜色数量分布情况的颜色统计直方图,远邻域颜色描述特征要远远好于后者。
步骤五,稀疏表达修正远邻域颜色描述特征。考虑到缺陷分布的离散型及各缺陷自身的邻域相似性,引入改进的稀疏表达修正远邻域颜色描述特征。如图5所示,由于水果表面颜色的随机性及拍摄角度带来的明暗程度不同,单纯使用步骤四所述的远邻域颜色描述特征进行分类会出现少量小面积独立图像块与缺陷部分出现在同一张类别图中的情况,此时,少量小面积独立图像块在该类别图中的存在可类比于噪声。由于各个图像块与其邻域图像块相似程度较高,即缺陷图像块邻域仍为缺陷图像块的可能性较大,根据这一特性可以引入稀疏表达来消除少量小面积独立图像块的影响。具体引入方式如下:
5.1)基本的稀疏表达原理式为:
s.tmin||α||0 (12)
其中,x为修正前的远领域颜色描述特征,D为超完备字典,为字典中的原子,为稀疏表示系数,该表达式的基本含义是:数据通过编码后可用字典中的原子线性表示,其中稀疏表示系数中大部分元素为0,即编码后数据仅需采用少量字典原子线性表示,这样减少了数据的冗余,实现了数据的压缩。由5.1)给出的原理式可知,稀疏表达存在三个主要变量:数据、字典和稀疏表示系数,下面分别针对这三个变量进行邻域信息引入可行性分析。
I.由于该发明中水果检测属于无监督检测方式,因此需要根据
拍摄照片及K-SVD算法实时生成超完备字典,且对于待检测图片中各个待编码图像块,其所对应的字典都应保持不变,因此无法从字典上引入邻域信息。
II.对于各个待编码图像块,其与邻域图像块具有一定相似性,因此待编码图像块可视为由邻域图像块加权组合而成。以4-邻域为例,有如下近似等式:
x1=w2x2+w3x3+w3x3+w4x4 (13)
其中,x1为待编码的修正前的远领域颜色描述特征,x2,x3,x4,x5为x1邻域图像块的修正前的远领域颜色描述特征,w2,w3,w4,w5为各邻域图像块权重值。该式中,权重由各邻域图像块与待编码图像块的距离决定:
Dis1i=||x1-xi||1,i=2,3,4 (14)
其中,Dis1i表示某一邻域块与带编码块的距离,wi为第i个邻域图像块权重值。
III.由于稀疏表示是利用少量原子进行线性表示,对于处于同一邻域范围内的数据,它们的相似性决定了这些数据选择线性表示原子的相似程度高,因此在稀疏表示中,中心图像块挑选的字典原子可视为与邻域图像块挑选的字典原子相同,它们之间的差别仅在于利用各原子进行线性表示的系数上,即中心图像块与邻域图像块的编码系数非零位置相同,但在同一位置上的系数值不同。引入稀疏表示后,既要保证各编码系数的稀疏性,又要保证全部的非零元素位置相同,以4-邻域为例,其限制表达式如下:
min||[α1,α2,α3,α4,α5]||row,0 (16)
其中,α1为中心图像块编码系数,α2、α3、α4、α5为α1的邻域图像块编码系数。
5.2)由5.1)分析可知,对于邻域信息的引入,既能从数据上入手,又能从编码系数上入手。因此,本发明从从这两方面入手引入邻域信息。以4-邻域为例,整合后的表达式如下:
[w2x2+w3x3+w4x4+w5x5,x2,x3,x4,x5]=D[α1,α2,α3,α4,α5]
Dαi=xi,i=2,3,4
s.t min||α||row,0 (17)
xi为第i个领域邻域图像块的修正前的远领域颜色描述特征,αi为第i个邻域图像块编码系数,D为超完备字典。
在上述表达式中,稀疏度的选择决定了邻域信息的引入程度,因此为了充分利用邻域信息,本发明采用动态选择稀疏值方式,具体过程如下:
根据待检测图像的颜色类别标记获取图像块类别标记;从拥有同种图像块类别标记的图像块中随机选择一个作为中心图像块,其余作为邻域图像块;
通过恢复处理算法得到中心图像块的恢复远邻域颜色相似描述特征,从而获得该中心图像块恢复前后的远邻域颜色相似描述特征的距离差。将所有图像块类别的距离差相加以获得当前稀疏度下的特征距离差之和。改变稀疏度已获得不同稀疏度下的特征距离差之和。选择特征距离差之和的最小值对应的稀疏度作为最优稀疏度。接着稀疏度得到最优稀疏度后,可以得到各图像块的最优编码矩阵,下面需要利用这些矩阵对步骤四中得到的远邻域颜色描述特征进行修正,完成邻域信息的引入,具体修正方式如下:
首先将各图像块的最终编码表示为其对应最优编码矩阵中邻域编码的加权组合,其中权数与式(15)相同。
接着将字典与最终编码相乘得到该图像块修正后的特征。以4-邻域为例,其中:
其中,为修正后的远邻域颜色描述特征,D为超完备字典,wi为第i个邻域图像块权重值,αi为第i个邻域图像块编码系数。
步骤六,高斯混合模型建立。将步骤五修正得到的颜色描述特征送入高斯混合模型进行训练,通过EM算法迭代训练获得模型最优参数及各图像块的分类结果。分类后缺陷图像块与非缺陷图像块会被划分到不同的类别图中。
步骤七,缺陷位置确定。经过步骤六后,虽然缺陷与非缺陷图像块被划分在了不同类图中,具体哪个类别属于缺陷所在类图还需进一步处理。为此,本发明采取有监督学习方式进行缺陷位置确定,通过训练多层感知机MLP,对各类图连通区域进行MLP分类。
分类结果会有如下四种情况:1)输出类别为缺陷,输出置信度大于置信度阈值;2)输出类别为缺陷,输出置信度小于置信度阈值;3)输出类别为非缺陷,输出置信度大于置信度阈值;4)输出类别为非缺陷,输出置信度小于置信度阈值。属于情况3)的区域为确定缺陷,属于情况1)的区域为确定的非缺陷。属于情况2)4)的区域需要进行二次判定。其判定规则为观察该区域中各图像块中8-邻域内是否存在缺陷,若存在,则该块被确定为缺陷,否则为非缺陷。
经过步骤一至步骤七,最终可以明确标定出检测得到的缺陷。
在类别划分阶段采用无监督学习方式,以分类形式显示结果的类圆形水果缺陷检测方法。其中颜色描述部分提出了一种新颖且有效的远邻域颜色描述特征,该特征用来反映水果缺陷部分与健康部分的差异性,稀疏表达部分用来反映各部分与其邻域的相似性。
应理解上述实施例仅用于说明本发明技术方案的具体实施方式,而不用于限制本发明的范围。在阅读了本发明之后,本领域技术人员对本发明的各种等同形式的修改和替换均落于本申请权利要求所限定的保护范围。
Claims (10)
1.一种基于颜色描述及稀疏表达的类圆形水果缺陷检测方法,其特征在于,所述方法包括如下步骤:
获取待检测图像的远邻域颜色描述特征;
对所述远邻域颜色描述特征进行修正获取修正后的远邻域颜色描述特征;
根据所述修正后的远邻域颜色描述特征建立高斯混合模型;
根据所述高斯混合模型获取待检测水果的缺陷位置。
2.根据权利要求1所述的一种基于颜色描述及稀疏表达的类圆形水果缺陷检测方法,其特征在于,所述远邻域颜色描述特征的获取方法包括:
获取所述待检测图像的颜色类别标记;
根据所述颜色类别标记建立颜色统计直方图;
建立所述待检测图像中各个像素点对应的远邻域区域和置信度;
根据所述颜色类别标记获取远邻域区域内与中心像素点同类别的相似像素点;
根据所述相似像素点个数获取远邻域相似值;
根据所述置信度和远邻域相似值计算得到远邻域相似值加权和;
根据所述颜色统计直方图和远邻域相似值加权和得到远邻域颜色相似描述特征。
3.根据权利要求2所述的一种基于颜色描述及稀疏表达的类圆形水果缺陷检测方法,其特征在于,所述远邻域相似值加权和的计算方法如下:
FSumL=∑(u,v)∈LMsim(u,v)×Mconf(u,v) (10)
其中,FSumL为图像块中类别标记为L的像素点对应的远邻域相似值加权和,(u,v)为图像块中类别为L的像素点坐标,Msim为该图像块各像素的远邻域相似值构成的矩阵,Mconf为图像块置信度矩阵。
4.根据权利要求2所述的一种基于颜色描述及稀疏表达的类圆形水果缺陷检测方法,其特征在于,所述远邻域颜色相似描述特征计算方法如下:
其中,F为远邻域颜色描述特征,FSum为远邻域相似值加权和,FRGB为颜色统计直方图。
5.根据权利要求2所述的一种基于颜色描述及稀疏表达的类圆形水果缺陷检测方法,其特征在于,所述远邻域颜色相似描述特征的修正方法包括:
获取稀疏表达的最优稀疏度;
获取待检测图像中各图像块在最优稀疏度下对应的编码系数;
根据所述最优稀疏度对应的编码系数修正远邻域颜色描述特征。
6.根据权利要求5所述的一种基于颜色描述及稀疏表达的类圆形水果缺陷检测方法,其特征在于,所述最优稀疏度的获取方法包括:
对所述远邻域颜色相似描述特征进行恢复处理获取恢复后远邻域颜色相似描述特征;
根据所述远邻域颜色相似描述特征和恢复后远邻域颜色相似描述特征获得两者的距离差;
将所述相同颜色类别标标记的图像块的距离差相加以获得当前稀疏度下的特征距离差之和;
改变稀疏度获得不同稀疏度下的特征距离差之和;
选择特征距离差之和的最小值对应的稀疏度作为最优稀疏度。
7.根据权利要求5所述的一种基于颜色描述及稀疏表达的类圆形水果缺陷检测方法,其特征在于,所述修正后的远邻域颜色描述特征表达式如下:
其中,为修正后的远邻域颜色描述特征,D为超完备字典,wi为各邻域图像块权重值,αi为第i个邻域图像块编码系数。
8.根据权利要求5所述的一种基于颜色描述及稀疏表达的类圆形水果缺陷检测方法,其特征在于,所述编码系数的计算公式如下:
[w2x2+w3x3+w4x4+w5x5,x2,x3,x4,x5]=D[α1,α2,α3,α4,α5]
Dαi=xi,i=2,3,4
s.t min||α||row,0 (17)
式中,x2,x3,x4,x5为邻域图像块的修正前的远领域颜色描述特征,w2,w3,w4,w5为各邻域图像块权重值,α1为中心图像块编码系数,α2、α3、α4、α5为α1的邻域图像块编码系数,xi为第i个领域邻域图像块的修正前的远领域颜色描述特征,αi为第i个邻域图像块编码系数,D为超完备字典。
9.根据权利要求1所述的一种基于颜色描述及稀疏表达的类圆形水果缺陷检测方法,其特征在于,所述待检测图像的获取方法包括:
通过去背景处理获取无背景的水果图像;
对所述无背景的水果图像进行扩充;
对扩充后的无背景的水果图像进行划分获取重叠图像块和非重叠图像块;
获取非重叠图像块中含有水果区域的图像块并对所述含有水果区域的图像块中需要填充的图像进行填充,所述填充后的含有水果区域的图像块和不需要填充的含有水果区域的图像块即为待检测图像。
10.根据权利要求9所述的一种基于颜色描述及稀疏表达的类圆形水果缺陷检测方法,其特征在于,所述图像块填充方法包括:
将图像块填充部分的像素被置为该图像块中所有水果区域颜色值的均值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910663730.2A CN110458812B (zh) | 2019-07-22 | 2019-07-22 | 一种基于颜色描述及稀疏表达的类圆形水果缺陷检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910663730.2A CN110458812B (zh) | 2019-07-22 | 2019-07-22 | 一种基于颜色描述及稀疏表达的类圆形水果缺陷检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110458812A true CN110458812A (zh) | 2019-11-15 |
CN110458812B CN110458812B (zh) | 2022-08-30 |
Family
ID=68483030
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910663730.2A Active CN110458812B (zh) | 2019-07-22 | 2019-07-22 | 一种基于颜色描述及稀疏表达的类圆形水果缺陷检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110458812B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111024710A (zh) * | 2019-12-17 | 2020-04-17 | 江苏恒宝智能系统技术有限公司 | 一种农作物异常检测系统及方法 |
CN112734691A (zh) * | 2020-12-17 | 2021-04-30 | 郑州金惠计算机系统工程有限公司 | 一种工业制品缺陷检测方法、装置、终端设备及存储介质 |
CN114792314A (zh) * | 2022-06-21 | 2022-07-26 | 南通永卓金属制品有限公司 | 基于激光束的金属丝网缺陷检测方法及人工智能系统 |
CN115115638A (zh) * | 2022-08-30 | 2022-09-27 | 南通翡利达液压科技有限公司 | 一种液压系统漏油检测及判定方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5544256A (en) * | 1993-10-22 | 1996-08-06 | International Business Machines Corporation | Automated defect classification system |
CN103226616A (zh) * | 2013-05-16 | 2013-07-31 | 南京龙渊微电子科技有限公司 | 一种图像内容检索系统及其图像内容稀疏学习方法 |
CN105787955A (zh) * | 2016-03-29 | 2016-07-20 | 河南森源电气股份有限公司 | 一种带钢缺陷的稀疏分割方法及其分割装置 |
-
2019
- 2019-07-22 CN CN201910663730.2A patent/CN110458812B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5544256A (en) * | 1993-10-22 | 1996-08-06 | International Business Machines Corporation | Automated defect classification system |
CN103226616A (zh) * | 2013-05-16 | 2013-07-31 | 南京龙渊微电子科技有限公司 | 一种图像内容检索系统及其图像内容稀疏学习方法 |
CN105787955A (zh) * | 2016-03-29 | 2016-07-20 | 河南森源电气股份有限公司 | 一种带钢缺陷的稀疏分割方法及其分割装置 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111024710A (zh) * | 2019-12-17 | 2020-04-17 | 江苏恒宝智能系统技术有限公司 | 一种农作物异常检测系统及方法 |
CN112734691A (zh) * | 2020-12-17 | 2021-04-30 | 郑州金惠计算机系统工程有限公司 | 一种工业制品缺陷检测方法、装置、终端设备及存储介质 |
CN114792314A (zh) * | 2022-06-21 | 2022-07-26 | 南通永卓金属制品有限公司 | 基于激光束的金属丝网缺陷检测方法及人工智能系统 |
CN115115638A (zh) * | 2022-08-30 | 2022-09-27 | 南通翡利达液压科技有限公司 | 一种液压系统漏油检测及判定方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110458812B (zh) | 2022-08-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110458812B (zh) | 一种基于颜色描述及稀疏表达的类圆形水果缺陷检测方法 | |
CN108961235B (zh) | 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法 | |
CN113160192B (zh) | 复杂背景下基于视觉的压雪车外观缺陷检测方法及装置 | |
CN107358258B (zh) | 基于nsct双cnn通道和选择性注意机制的sar图像目标分类 | |
CN111179217A (zh) | 一种基于注意力机制的遥感图像多尺度目标检测方法 | |
CN105528595A (zh) | 在无人机航拍图像中对输电线路绝缘子的识别定位方法 | |
CN113449594A (zh) | 一种多层网络组合的遥感影像地类语义分割与面积计算方法 | |
CN109840483B (zh) | 一种滑坡裂缝检测与识别的方法及装置 | |
CN109215034A (zh) | 一种基于空间金字塔掩盖池化的弱监督图像语义分割方法 | |
CN111242026B (zh) | 一种基于空间层次感知模块和度量学习的遥感图像目标检测方法 | |
Lv et al. | Few-shot learning combine attention mechanism-based defect detection in bar surface | |
CN115797813B (zh) | 基于航拍图像的水环境污染检测方法 | |
CN112329771B (zh) | 一种基于深度学习的建筑材料样本识别方法 | |
CN110852327A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN115471682A (zh) | 一种基于SIFT融合ResNet50的图像匹配方法 | |
CN113421223B (zh) | 基于深度学习和高斯混合的工业产品表面缺陷检测方法 | |
CN114820541A (zh) | 基于重构网络的缺陷检测方法 | |
CN113657225B (zh) | 一种目标检测方法 | |
CN116912184B (zh) | 一种基于篡改区域分离和区域约束损失的弱监督深度修复图像篡改定位方法及系统 | |
CN112418262A (zh) | 车辆再识别的方法、客户端及系统 | |
CN113657196B (zh) | Sar图像目标检测方法、装置、电子设备和存储介质 | |
CN115937095A (zh) | 融合图像处理算法和深度学习的印刷缺陷检测方法及系统 | |
CN114639013A (zh) | 基于改进Orient RCNN模型的遥感图像飞机目标检测识别方法 | |
CN114862883A (zh) | 一种目标边缘提取方法、图像分割方法及系统 | |
CN117746079B (zh) | 一种高光谱图像的聚类预测方法、系统、存储介质及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |