CN113724238A - 基于特征点邻域颜色分析的陶瓷砖色差检测与分级方法 - Google Patents
基于特征点邻域颜色分析的陶瓷砖色差检测与分级方法 Download PDFInfo
- Publication number
- CN113724238A CN113724238A CN202111049672.8A CN202111049672A CN113724238A CN 113724238 A CN113724238 A CN 113724238A CN 202111049672 A CN202111049672 A CN 202111049672A CN 113724238 A CN113724238 A CN 113724238A
- Authority
- CN
- China
- Prior art keywords
- tile
- template
- color
- ceramic tile
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000000919 ceramic Substances 0.000 title claims abstract description 116
- 238000001514 detection method Methods 0.000 title claims abstract description 48
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000004458 analytical method Methods 0.000 title claims abstract description 19
- 238000003708 edge detection Methods 0.000 claims abstract description 10
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 230000011218 segmentation Effects 0.000 claims abstract description 6
- 238000012549 training Methods 0.000 claims description 22
- 238000001914 filtration Methods 0.000 claims description 15
- 239000003086 colorant Substances 0.000 claims description 12
- XOFYZVNMUHMLCC-ZPOLXVRWSA-N prednisone Chemical compound O=C1C=C[C@]2(C)[C@H]3C(=O)C[C@](C)([C@@](CC4)(O)C(=O)CO)[C@@H]4[C@@H]3CCC2=C1 XOFYZVNMUHMLCC-ZPOLXVRWSA-N 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 235000002566 Capsicum Nutrition 0.000 claims description 3
- 239000006002 Pepper Substances 0.000 claims description 3
- 235000016761 Piper aduncum Nutrition 0.000 claims description 3
- 235000017804 Piper guineense Nutrition 0.000 claims description 3
- 235000008184 Piper nigrum Nutrition 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 150000003839 salts Chemical class 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 244000203593 Piper nigrum Species 0.000 claims 1
- 230000002950 deficient Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 5
- 230000009286 beneficial effect Effects 0.000 abstract description 4
- 230000004075 alteration Effects 0.000 abstract description 2
- 238000004364 calculation method Methods 0.000 description 9
- 238000004519 manufacturing process Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 241000722363 Piper Species 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000000452 restraining effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000009415 formwork Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005498 polishing Methods 0.000 description 1
- 230000007115 recruitment Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30132—Masonry; Concrete
Abstract
本发明提供一种基于特征点邻域颜色分析的陶瓷砖色差检测与分级方法，包括以下步骤：第一步，对模板瓷砖图像以及待测瓷砖图像进行图像预处理；第二步，采用Canny边缘检测算子进行分割；第三步，将分割后的模板瓷砖图像以及待测瓷砖图像输入训练好的U‑net3+网络；第四步，分别对分割好的模板瓷砖图像和待测瓷砖图像中的瓷砖本体进行特征点检测；第五步，分别计算各模板瓷砖和待测瓷砖在CIELAB颜色空间的均值；第六步，设定阈值Th，利用CIEDE2000色差公式计算待检测瓷砖与各等级模板瓷砖的色差值ΔEi，并进行分类。本发明具有良好的泛化能力以及检测效果，同时可实现对具有色差的陶瓷砖进行有效和准确地智能化分级，从而有利于在陶瓷行业进行普及和推广。
Description
技术领域
本发明涉及陶瓷砖检测技术领域，更具体地说，涉及一种基于特征点邻域颜色分析的陶瓷砖色差检测与分级方法。
背景技术
陶瓷产品自动化智能化检测已成为制约陶瓷制造产业升级的重大难题。传统的劳动密集型的陶瓷产业在智能制造、绿色发展的大潮下，机器人打磨抛光、施釉等工序已逐渐替代人工，甚至智能制造工厂亦不断涌现。目前瓷砖生产线各类设备已基本实现自动化生产，但瓷砖的检测工作仍未突破技术瓶颈，需依靠人工进行主观检测判断。
以智能化检测设备代替人工进行瓷砖分级分色检测是行业发展的必然。随着人民生活水平的提高，产品多样化、花色多样化、纹理复杂化等成为瓷砖产品发展方向，而且消费者对产品质量的要求也不断提高。人工瓷砖检测是一个高劳动强度、易于出错的环节，漏检现象不可避免发生，批次产品的一致性无法有效保证，同时招工困难的问题也日益凸显。
基于视觉的检测方法，是目前最火热的方法，大致可分两种，首先是基于视觉的图像处理传统方法，该方法主要是通过一些传统的图像处理方法来达到检测的目的，优点是适用的范围比较广，效果也比较好，但是在面对纹理复杂的瓷砖色差检测，采用传统图像处理的方法的效果就比较差。另一种是基于深度学习的方法，这种方法是近几年的研究热点，在各行各业中现已经能够看到它的身影，由于神经网络的特性，该方法能够完成比较复杂情况下的检测任务，不过该方法太过于依赖设备的性能，而且需要大量的训练数据来支撑起整个网络的性能，网络训练时间长，泛化能力差，针对某个产品的检测网络，在应用到其他产品上的时候就需要重新采集相应的数据重新训练网络权重才能达到一个较好的检测结果。
发明内容
本发明的目的在于克服现有技术中的缺点与不足，提供一种基于特征点邻域颜色分析的陶瓷砖色差检测与分级方法，该色差检测与分级方法准确可靠，并具有良好的泛化能力以及检测效果，同时可实现对具有色差的陶瓷砖进行有效和准确地智能化分级，从而有利于在陶瓷行业进行普及和推广。
为了达到上述目的，本发明通过下述技术方案予以实现：一种基于特征点邻域颜色分析的陶瓷砖色差检测与分级方法，其特征在于：包括以下步骤：
第一步，分别将m个颜色等级的模板瓷砖图像以及待测瓷砖图像进行图像预处理；
第二步，采用Canny边缘检测算子分别对预处理后的模板瓷砖图像以及待测瓷砖图像中的图像与背景进行分割，并去除背景；
第三步，将第二步分割后的模板瓷砖图像以及待测瓷砖图像输入训练好的U-net3+网络，实现分别对模板瓷砖图像以及待测瓷砖图像中复杂纹理与瓷砖本体进行分割；
第四步，分别对分割好的模板瓷砖图像和待测瓷砖图像中的瓷砖本体进行特征点检测；分别统计模板瓷砖图像的瓷砖本体以及待测瓷砖图像的瓷砖本体中所有特征点及以特征点为中心3*3的网格中，所有像素点的RGB颜色特征；
第五步，分别将统计得到的模板瓷砖和待测瓷砖的RGB颜色特征转换到CIELAB颜色空间，并分别计算各模板瓷砖和待测瓷砖在CIELAB颜色空间的均值；
第六步，设定阈值Th，利用CIEDE2000色差公式计算待检测瓷砖与各等级模板瓷砖的色差值ΔEi，并进行分类：计算色差值的最小值ΔE＝min0＜i≤mΔEi，若最小值ΔE小于或等于阈值Th时，则将待检测瓷砖的颜色分类归为求出最小值ΔE对应的模板瓷砖的颜色等级，否则将待测瓷砖归为次品。
在上述方案中，本发明的色差检测与分级方法可针对具有复杂纹理的陶瓷砖和以及普通的陶瓷砖进行色差检测，并具有良好的泛化能力以及检测效果。同时该方法可实现对具有色差的陶瓷砖进行有效和准确地智能化分级，从而有利于在陶瓷行业进行普及和推广。
第一步中，所述分别将m个颜色等级的模板瓷砖图像以及待测瓷砖图像进行图像预处理是指：分别对m个颜色等级的模板瓷砖图像以及待测瓷砖图像进行滤波操作，采用中值滤波方法滤除图像中的椒盐噪声，采用高斯滤波滤除摄像机温度升高引起的高斯噪声。
第二步中，由于采集到的瓷砖图像不仅包含瓷砖信息还含有背景信息，但是图像中背景的内容不是我们所关注的内容，而且背景所含的颜色信息会对整体检测结果产生影响，使结果误差变大，所以通过Canny边缘检测算子，将瓷砖与背景分割开来。Canny边缘检测算法基本流程是首先使用高斯滤波器进行滤波，以平滑图像滤除噪声，然后计算图像中每个像素点的梯度强度和方向，然后使用非极大值抑制消除边缘检测带来的杂散响应，最后用双阈值检测和连接分析来确定真实的和潜在的边缘。
第三步中，所述U-net3+网络的训练步骤包括以下步骤：
步骤一，利用工业SSD相机采集各种种类的瓷砖数据集；
步骤二，使用labelme对采集到的瓷砖数据集进行标注，并进行数据增强，扩充数据集，以提高模型的鲁棒性和泛化能力；
步骤三，将第二步处理的数据集输入构建好的U-net3+网络进行训练，并更新优化网络中的参数；
步骤四，检测U-net3+网络性能是否达到要求：如果U-net3+网络性能已经达到要求，则停止训练，得到模板瓷砖图像以及待测瓷砖图像中复杂纹理与瓷砖本体分割的网络；否则增加训练数据和训练的世代，继续对U-net3+网络进行训练。
本发明利用训练好的U-net3+网络分离复杂纹理和瓷砖本体，由于瓷砖复杂纹理及图案复杂纹理及图案对色差检测具有较大的干扰，通过U-net3+网络分离出瓷砖中的复杂问题，减少纹理图案对色差检测结果的影响。U-net3+采用了全尺度的跳跃连接结合了来自不同比例的特征图中的低级细节和高级语义，并采用深度监控从全尺度聚集特征图中学习分层表示，不仅提高了精度，还减少了网络参数量提高计算效率。
第四步中，采用FAST算法分别对分割好的模板瓷砖图像和待测瓷砖图像中的瓷砖本体进行特征点检测，包括以下步骤：
步骤1，分别将分割好的模板瓷砖图像和待测瓷砖图像中的瓷砖本体转为灰度图；
步骤2，在灰度图中，以候选像素点P为中心，在半径为3个像素的圆上一共经过了16个像素点，按顺时针方向编号为1到16；
步骤3，设定一个阈值t，如果16个像素点中有N个像素点与中心像素点P的灰度差的绝对值大于等于t，则判定该检测点为特征点；判定公式如下：
其中，Ip为待测中心点P的灰度值，Ix表示中心点P周围编号1至16中点的灰度值，N取9或者12；
步骤4，计算每个特征点的得分V值，并比较得分V值，保留得分V值最大对应的特征点，得到模板瓷砖图像以及待测瓷砖图像中瓷砖本体的所有特征点的位置信息；其中，得分V值为点P和其周围16个像素点的绝对偏差和。
由于本发明的色差检测过程中只关注瓷砖图像特征点及其周围像素点的颜色信息，所以综合考虑检测速度和准确率因素，采用FAST算法分别对前面得到分割好的待测瓷砖图像和不同等级的模板瓷砖图片进行特征点检测，FAST算法是通过比较一个候选像素点周围的像素灰度来判定是否为特征点。
第四步中，根据模板瓷砖图像以及待测瓷砖图像中瓷砖本体的所有特征点的位置信息，从瓷砖本体的RGB图像统计得到待测瓷砖和模板瓷砖中瓷砖本体的特征点及其3*3的网格所有像素点的颜色特征。
第五步中，所述分别将统计得到的模板瓷砖和待测瓷砖的RGB颜色特征转换到CIELAB颜色空间，并分别计算各模板瓷砖和待测瓷砖在CIELAB颜色空间的均值是指：首先，计算m个颜色等级瓷砖及待测瓷砖在CIELAB颜色空间的L、a*和b*的值；然后分别将各颜色等级的模板瓷砖及待测瓷砖的L、a*和b*的值进行求和并除以总的像素个数得到均值，待测瓷砖和颜色等级为i的模板瓷砖在CIELAB颜色空间对应的L、a*和b*的值的均值分别为L0、
和Li、
其中，m个颜色等级瓷砖及待测瓷砖在CIELAB颜色空间的L、a*和b*的值计算如下：
将RGB颜色空间转换到CIE1931XYZ颜色空间计算出三基色的刺激值X、Y、Z，此变换为一个线性变换，通过一个3*3的矩阵M实现；变化公式如下：
其中，矩阵M的参数由CCD相机和光源的光学特性确定；
根据得到的三基色的刺激值X、Y、Z，通过下列变换计算出CIELAB颜色空间的L、a*和b*的值：
f的函数如下：
其中，Xn、Yn、Zn为标准照明体照射在完全漫反射体上，再经过完全漫反射反射到观察者严重的白色刺激的三刺激值。
第六步中，将待测瓷砖和颜色等级为i的模板瓷砖在CIELAB颜色空间对应的L、a*和b*的值的均值L0、
和Li、
代入CIEDE2000色差公式，计算待检测瓷砖与各等级模板瓷砖的色差值ΔEi。
本发明还包括第七步，判断是否继续对其它的待检测瓷砖进行检测：若继续进行检测，则返回第一步，其中，m个颜色等级的模板瓷砖图像不需要重复第一步至第四步的处理；否则检测完毕。
与现有技术相比，本发明具有如下优点与有益效果：本发明基于特征点邻域颜色分析的陶瓷砖色差检测与分级方法准确可靠，并具有良好的泛化能力以及检测效果，同时可实现对具有色差的陶瓷砖进行有效和准确地智能化分级，从而有利于在陶瓷行业进行普及和推广。
附图说明
图1是本发明基于特征点邻域颜色分析的陶瓷砖色差检测与分级方法的流程图；
图2是本发明方法中U-net3+网络的训练流程图。
具体实施方式
下面结合附图与具体实施方式对本发明作进一步详细的描述。
实施例
如图1所示，本发明基于特征点邻域颜色分析的陶瓷砖色差检测与分级方法，其特征在于：包括以下步骤：
第一步，分别将m个颜色等级的模板瓷砖图像以及待测瓷砖图像进行图像预处理；具体地说，分别对m个颜色等级的模板瓷砖图像以及待测瓷砖图像进行滤波操作，采用中值滤波方法滤除图像中的椒盐噪声，采用高斯滤波滤除摄像机温度升高引起的高斯噪声。
第二步，采用Canny边缘检测算子分别对预处理后的模板瓷砖图像以及待测瓷砖图像中的图像与背景进行分割，并去除背景。由于采集到的瓷砖图像不仅包含瓷砖信息还含有背景信息，但是图像中背景的内容不是我们所关注的内容，而且背景所含的颜色信息会对整体检测结果产生影响，使结果误差变大，所以通过Canny边缘检测算子，将瓷砖与背景分割开来。Canny边缘检测算法基本流程是首先使用高斯滤波器进行滤波，以平滑图像滤除噪声，然后计算图像中每个像素点的梯度强度和方向，然后使用非极大值抑制消除边缘检测带来的杂散响应，最后用双阈值检测和连接分析来确定真实的和潜在的边缘。
第三步，将第二步分割后的模板瓷砖图像以及待测瓷砖图像输入训练好的U-net3+网络，实现分别对模板瓷砖图像以及待测瓷砖图像中复杂纹理与瓷砖本体进行分割。其中，U-net3+网络的训练流程图如图2所示，训练步骤包括以下步骤：
步骤一，利用工业SSD相机采集各种种类的瓷砖数据集；
步骤二，使用labelme对采集到的瓷砖数据集进行标注，并进行数据增强，扩充数据集，以提高模型的鲁棒性和泛化能力；
步骤三，将第二步处理的数据集输入构建好的U-net3+网络进行训练，并更新优化网络中的参数；
步骤四，检测U-net3+网络性能是否达到要求：如果U-net3+网络性能已经达到要求，则停止训练，得到模板瓷砖图像以及待测瓷砖图像中复杂纹理与瓷砖本体分割的网络；否则增加训练数据和训练的世代，继续对U-net3+网络进行训练。
第四步，分别对分割好的模板瓷砖图像和待测瓷砖图像中的瓷砖本体进行特征点检测；分别统计模板瓷砖图像的瓷砖本体以及待测瓷砖图像的瓷砖本体中所有特征点及以特征点为中心3*3的网格中，所有像素点的RGB颜色特征。
第五步，分别将统计得到的模板瓷砖和待测瓷砖的RGB颜色特征转换到CIELAB颜色空间，并分别计算各模板瓷砖和待测瓷砖在CIELAB颜色空间的均值；
第六步，设定阈值Th，利用CIEDE2000色差公式计算待检测瓷砖与各等级模板瓷砖的色差值ΔEi，并进行分类：计算色差值的最小值ΔE＝min0＜i≤mΔEi，若最小值ΔE小于或等于阈值Th时，则将待检测瓷砖的颜色分类归为求出最小值ΔE对应的模板瓷砖的颜色等级，否则将待测瓷砖归为次品。
第七步，判断是否继续对其它的待检测瓷砖进行检测：若继续进行检测，则返回第一步，其中，m个颜色等级的模板瓷砖图像不需要重复第一步至第四步的处理；否则检测完毕。
具体地说，本发明第四步中，采用FAST算法分别对分割好的模板瓷砖图像和待测瓷砖图像中的瓷砖本体进行特征点检测，包括以下步骤：
步骤1，分别将分割好的模板瓷砖图像和待测瓷砖图像中的瓷砖本体转为灰度图；
步骤2，在灰度图中，以候选像素点P为中心，在半径为3个像素的圆上一共经过了16个像素点，按顺时针方向编号为1到16；
步骤3，设定一个阈值t，如果16个像素点中有N个像素点与中心像素点P的灰度差的绝对值大于等于t，则判定该检测点为特征点；判定公式如下：
其中，Ip为待测中心点P的灰度值，Ix表示中心点P周围编号1至16中点的灰度值，N取9或者12；
步骤4，计算每个特征点的得分V值，并比较得分V值，保留得分V值最大对应的特征点，得到模板瓷砖图像以及待测瓷砖图像中瓷砖本体的所有特征点的位置信息；其中，得分V值为点P和其周围16个像素点的绝对偏差和。
第四步的最后，根据模板瓷砖图像以及待测瓷砖图像中瓷砖本体的所有特征点的位置信息，从瓷砖本体的RGB图像统计得到待测瓷砖和模板瓷砖中瓷砖本体的特征点及其3*3的网格所有像素点的颜色特征。
本发明第五步中，上述分别将统计得到的模板瓷砖和待测瓷砖的RGB颜色特征转换到CIELAB颜色空间，并分别计算各模板瓷砖和待测瓷砖在CIELAB颜色空间的均值是指：首先，计算m个颜色等级瓷砖及待测瓷砖在CIELAB颜色空间的L、a*和b*的值；然后分别将各颜色等级的模板瓷砖及待测瓷砖的L、a*和b*的值进行求和并除以总的像素个数得到均值，待测瓷砖和颜色等级为i的模板瓷砖在CIELAB颜色空间对应的L、a*和b*的值的均值分别为L0、
和Li、
其中，m个颜色等级瓷砖及待测瓷砖在CIELAB颜色空间的L、a*和b*的值计算如下：
将RGB颜色空间转换到CIE1931XYZ颜色空间计算出三基色的刺激值X、Y、Z，此变换为一个线性变换，通过一个3*3的矩阵M实现；变化公式如下：
其中，矩阵M的参数由CCD相机和光源的光学特性确定；
根据得到的三基色的刺激值X、Y、Z，通过下列变换计算出CIELAB颜色空间的L、a*和b*的值：
f的函数如下：
其中，Xn、Yn、Zn为标准照明体照射在完全漫反射体上，再经过完全漫反射反射到观察者严重的白色刺激的三刺激值。
本发明第六步中，将待测瓷砖和颜色等级为i的模板瓷砖在CIELAB颜色空间对应的L、a*和b*的值的均值L0、
和Li、
代入CIEDE2000色差公式，计算待检测瓷砖与各等级模板瓷砖的色差值ΔEi，该CIEDE2000色差公式为现有的计算公式，具体计算过程为：
根据第五步求得的待测瓷砖和各模板瓷砖在CIELAB颜色空间的均值L0、
和Li、
利用CIEDE2000色差公式计算待测瓷砖与颜色等级为i的模板瓷砖之间的色差ΔEi，色差公式如下：
其中，计算过程及各参数的意义为：
<1>计算a′,C′,h′
其中
它表示CIE1976LAB颜色空间的a*轴的调整因子，是彩度的函数；
是需要计算的两个颜色的
的算数平均值。将第五步求得的待测瓷砖和各模板瓷砖在CIELAB颜色空间的均值L0、
和Li、
分别代入上式，可求得待测瓷砖的参数L′s,a′s,b′s,C′ab,s,h′ab,s，以及模板瓷砖的参数L′b,a′b,b′b,C′ab,b,h′ab,b。
<2>计算ΔL′、ΔCab′、ΔHab′
ΔL′、ΔCab′、ΔHab′分别表示明度差、彩度差和色相差，计算公式如下
ΔL′＝L′b-L′s
ΔCab′＝C′ab,b-C′ab,s
式中的下标s和b分别表示要计算色差的一对颜色中模板瓷砖色和待测瓷砖色，下同。其中，Δh′ab＝h′ab,b-h′ab,s。
<3>计算SL、SC、SH，以及RT和RC
SL、SC和SH称为权重函数，定义了椭圆半轴的长度，允许在CIELAB颜色空间中根据区域的不同进行各自的调整，以及校正该空间的均匀性。
式中
计算时角度和弧度的相互转换。
RT＝-sin(2Δθ)×RC
其中
它是由色调决定的旋转角；
<4>选择合适的校正系数KL、KC和KH
在CIE给定的标准观测条件下，KL＝KC＝KH＝1。在条件不符合时，则要根据工业色差评估条件来确定这些数值。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (8)
1.一种基于特征点邻域颜色分析的陶瓷砖色差检测与分级方法，其特征在于：包括以下步骤：
第一步，分别将m个颜色等级的模板瓷砖图像以及待测瓷砖图像进行图像预处理；
第二步，采用Canny边缘检测算子分别对预处理后的模板瓷砖图像以及待测瓷砖图像中的图像与背景进行分割，并去除背景；
第三步，将第二步分割后的模板瓷砖图像以及待测瓷砖图像输入训练好的U-net3+网络，实现分别对模板瓷砖图像以及待测瓷砖图像中复杂纹理与瓷砖本体进行分割；
第四步，分别对分割好的模板瓷砖图像和待测瓷砖图像中的瓷砖本体进行特征点检测；分别统计模板瓷砖图像的瓷砖本体以及待测瓷砖图像的瓷砖本体中所有特征点及以特征点为中心3*3的网格中，所有像素点的RGB颜色特征；
第五步，分别将统计得到的模板瓷砖和待测瓷砖的RGB颜色特征转换到CIELAB颜色空间，并分别计算各模板瓷砖和待测瓷砖在CIELAB颜色空间的均值；
第六步，设定阈值Th，利用CIEDE2000色差公式计算待检测瓷砖与各等级模板瓷砖的色差值ΔEi，并进行分类：计算色差值的最小值ΔE＝min0＜i≤mΔEi，若最小值ΔE小于或等于阈值Th时，则将待检测瓷砖的颜色分类归为求出最小值ΔE对应的模板瓷砖的颜色等级，否则将待测瓷砖归为次品。
2.根据权利要求1所述的基于特征点邻域颜色分析的陶瓷砖色差检测与分级方法，其特征在于：第一步中，所述分别将m个颜色等级的模板瓷砖图像以及待测瓷砖图像进行图像预处理是指：分别对m个颜色等级的模板瓷砖图像以及待测瓷砖图像进行滤波操作，采用中值滤波方法滤除图像中的椒盐噪声，采用高斯滤波滤除摄像机温度升高引起的高斯噪声。
3.根据权利要求1所述的基于特征点邻域颜色分析的陶瓷砖色差检测与分级方法，其特征在于：第三步中，所述U-net3+网络的训练步骤包括以下步骤：
步骤一，利用工业SSD相机采集各种种类的瓷砖数据集；
步骤二，使用labelme对采集到的瓷砖数据集进行标注，并进行数据增强，扩充数据集，以提高模型的鲁棒性和泛化能力；
步骤三，将第二步处理的数据集输入构建好的U-net3+网络进行训练，并更新优化网络中的参数；
步骤四，检测U-net3+网络性能是否达到要求：如果U-net3+网络性能已经达到要求，则停止训练，得到模板瓷砖图像以及待测瓷砖图像中复杂纹理与瓷砖本体分割的网络；否则增加训练数据和训练的世代，继续对U-net3+网络进行训练。
4.根据权利要求1所述的基于特征点邻域颜色分析的陶瓷砖色差检测与分级方法，其特征在于：第四步中，采用FAST算法分别对分割好的模板瓷砖图像和待测瓷砖图像中的瓷砖本体进行特征点检测，包括以下步骤：
步骤1，分别将分割好的模板瓷砖图像和待测瓷砖图像中的瓷砖本体转为灰度图；
步骤2，在灰度图中，以候选像素点P为中心，在半径为3个像素的圆上一共经过了16个像素点，按顺时针方向编号为1到16；
步骤3，设定一个阈值t，如果16个像素点中有N个像素点与中心像素点P的灰度差的绝对值大于等于t，则判定该检测点为特征点；判定公式如下：
其中，Ip为待测中心点P的灰度值，Ix表示中心点P周围编号1至16中点的灰度值，N取9或者12；
步骤4，计算每个特征点的得分V值，并比较得分V值，保留得分V值最大对应的特征点，得到模板瓷砖图像以及待测瓷砖图像中瓷砖本体的所有特征点的位置信息；其中，得分V值为点P和其周围16个像素点的绝对偏差和。
5.根据权利要求4所述的基于特征点邻域颜色分析的陶瓷砖色差检测与分级方法，其特征在于：第四步中，根据模板瓷砖图像以及待测瓷砖图像中瓷砖本体的所有特征点的位置信息，从瓷砖本体的RGB图像统计得到待测瓷砖和模板瓷砖中瓷砖本体的特征点及其3*3的网格所有像素点的颜色特征。
6.根据权利要求1所述的基于特征点邻域颜色分析的陶瓷砖色差检测与分级方法，其特征在于：第五步中，所述分别将统计得到的模板瓷砖和待测瓷砖的RGB颜色特征转换到CIELAB颜色空间，并分别计算各模板瓷砖和待测瓷砖在CIELAB颜色空间的均值是指：首先，计算m个颜色等级瓷砖及待测瓷砖在CIELAB颜色空间的L、a*和b*的值；然后分别将各颜色等级的模板瓷砖及待测瓷砖的L、a*和b*的值进行求和并除以总的像素个数得到均值，待测瓷砖和颜色等级为i的模板瓷砖在CIELAB颜色空间对应的L、a*和b*的值的均值分别为L0、
和Li、
其中，m个颜色等级瓷砖及待测瓷砖在CIELAB颜色空间的L、a*和b*的值计算如下：
将RGB颜色空间转换到CIE1931XYZ颜色空间计算出三基色的刺激值X、Y、Z，此变换为一个线性变换，通过一个3*3的矩阵M实现；变化公式如下：
其中，矩阵M的参数由CCD相机和光源的光学特性确定；
根据得到的三基色的刺激值X、Y、Z，通过下列变换计算出CIELAB颜色空间的L、a*和b*的值：
f的函数如下：
其中，Xn、Yn、Zn为标准照明体照射在完全漫反射体上，再经过完全漫反射反射到观察者严重的白色刺激的三刺激值。
7.根据权利要求6所述的基于特征点邻域颜色分析的陶瓷砖色差检测与分级方法，其特征在于：第六步中，将待测瓷砖和颜色等级为i的模板瓷砖在CIELAB颜色空间对应的L、a*和b*的值的均值L0、
和Li、
代入CIEDE2000色差公式，计算待检测瓷砖与各等级模板瓷砖的色差值ΔEi。
8.根据权利要求1所述的基于特征点邻域颜色分析的陶瓷砖色差检测与分级方法，其特征在于：还包括第七步，判断是否继续对其它的待检测瓷砖进行检测：若继续进行检测，则返回第一步，其中，m个颜色等级的模板瓷砖图像不需要重复第一步至第四步的处理；否则检测完毕。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111049672.8A CN113724238A (zh) | 2021-09-08 | 2021-09-08 | 基于特征点邻域颜色分析的陶瓷砖色差检测与分级方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111049672.8A CN113724238A (zh) | 2021-09-08 | 2021-09-08 | 基于特征点邻域颜色分析的陶瓷砖色差检测与分级方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113724238A true CN113724238A (zh) | 2021-11-30 |
Family
ID=78682556
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111049672.8A Pending CN113724238A (zh) | 2021-09-08 | 2021-09-08 | 基于特征点邻域颜色分析的陶瓷砖色差检测与分级方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113724238A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117644057A (zh) * | 2024-01-29 | 2024-03-05 | 蒙娜丽莎集团股份有限公司 | 一种瓷砖分类传送方法、系统及可读存储介质 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012041418A1 (en) * | 2010-10-01 | 2012-04-05 | Telefonica, S.A. | Method and system for real-time images foreground segmentation |
| US20170231550A1 (en) * | 2014-08-25 | 2017-08-17 | Singapore University Of Technology And Design | Method and device for analysing an image |
| CN110826416A (zh) * | 2019-10-11 | 2020-02-21 | 佛山科学技术学院 | 一种基于深度学习的卫浴陶瓷表面缺陷检测方法及装置 |
| CN110910413A (zh) * | 2019-11-28 | 2020-03-24 | 中国人民解放军战略支援部队航天工程大学 | 一种基于U-Net的ISAR图像分割方法 |
| CN111242896A (zh) * | 2019-12-31 | 2020-06-05 | 电子科技大学 | 一种彩色印刷标签缺陷检测与质量评级方法 |
| CN111339974A (zh) * | 2020-03-03 | 2020-06-26 | 景德镇陶瓷大学 | 一种现代陶瓷与古陶瓷的鉴别方法 |
| CN111340824A (zh) * | 2020-02-26 | 2020-06-26 | 青海民族大学 | 一种基于数据挖掘的图像特征分割方法 |
| CN111640128A (zh) * | 2020-05-29 | 2020-09-08 | 哈尔滨理工大学 | 一种基于U-Net网络的细胞图像分割方法 |
| CN111667475A (zh) * | 2020-06-09 | 2020-09-15 | 陕西科技大学 | 一种基于机器视觉的大枣分级检测方法 |
| CN112164055A (zh) * | 2020-09-30 | 2021-01-01 | 曾强 | 一种基于颜色分割的光伏电池色差分类方法 |
| CN112464885A (zh) * | 2020-12-14 | 2021-03-09 | 上海交通大学 | 基于机器学习的面部色斑未来变化的图像处理系统 |
| CN113256624A (zh) * | 2021-06-29 | 2021-08-13 | 中移(上海)信息通信科技有限公司 | 连铸圆坯缺陷检测方法、装置、电子设备及可读存储介质 |
| WO2021165471A1 (en) * | 2020-02-21 | 2021-08-26 | Surgvision Gmbh | Assisting medical procedures with luminescence images processed in limited informative regions identified in corresponding auxiliary images |
-
2021
- 2021-09-08 CN CN202111049672.8A patent/CN113724238A/zh active Pending
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012041418A1 (en) * | 2010-10-01 | 2012-04-05 | Telefonica, S.A. | Method and system for real-time images foreground segmentation |
| US20170231550A1 (en) * | 2014-08-25 | 2017-08-17 | Singapore University Of Technology And Design | Method and device for analysing an image |
| CN110826416A (zh) * | 2019-10-11 | 2020-02-21 | 佛山科学技术学院 | 一种基于深度学习的卫浴陶瓷表面缺陷检测方法及装置 |
| CN110910413A (zh) * | 2019-11-28 | 2020-03-24 | 中国人民解放军战略支援部队航天工程大学 | 一种基于U-Net的ISAR图像分割方法 |
| CN111242896A (zh) * | 2019-12-31 | 2020-06-05 | 电子科技大学 | 一种彩色印刷标签缺陷检测与质量评级方法 |
| WO2021165471A1 (en) * | 2020-02-21 | 2021-08-26 | Surgvision Gmbh | Assisting medical procedures with luminescence images processed in limited informative regions identified in corresponding auxiliary images |
| CN111340824A (zh) * | 2020-02-26 | 2020-06-26 | 青海民族大学 | 一种基于数据挖掘的图像特征分割方法 |
| CN111339974A (zh) * | 2020-03-03 | 2020-06-26 | 景德镇陶瓷大学 | 一种现代陶瓷与古陶瓷的鉴别方法 |
| CN111640128A (zh) * | 2020-05-29 | 2020-09-08 | 哈尔滨理工大学 | 一种基于U-Net网络的细胞图像分割方法 |
| CN111667475A (zh) * | 2020-06-09 | 2020-09-15 | 陕西科技大学 | 一种基于机器视觉的大枣分级检测方法 |
| CN112164055A (zh) * | 2020-09-30 | 2021-01-01 | 曾强 | 一种基于颜色分割的光伏电池色差分类方法 |
| CN112464885A (zh) * | 2020-12-14 | 2021-03-09 | 上海交通大学 | 基于机器学习的面部色斑未来变化的图像处理系统 |
| CN113256624A (zh) * | 2021-06-29 | 2021-08-13 | 中移(上海)信息通信科技有限公司 | 连铸圆坯缺陷检测方法、装置、电子设备及可读存储介质 |
Non-Patent Citations (5)
| Title |
|---|
| HUAILIANG ZHANG, LING PENG , SHENG YU , AND WEI QU: ""Detection of Surface Defects in Ceramic Tiles With Complex Texture"", 《IEEE》 * |
| 卢清华，等: ""基于机器视觉的大幅面陶瓷地砖尺寸测量研究"", 《光学学报》 * |
| 李玉荣;: "基于改进BP神经网络的彩色图像边缘检测", 煤炭技术, no. 10 * |
| 段春梅;张涛川;: "基于机器视觉的瓷砖素坯表面缺陷无损检测算法研究", 智能计算机与应用, no. 03 * |
| 罗陆锋，谭远良，卢清华，邹湘军: ""水果防碰损采摘的视觉认知及其 执行机构研究进展"", 《河北科技大学学报》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117644057A (zh) * | 2024-01-29 | 2024-03-05 | 蒙娜丽莎集团股份有限公司 | 一种瓷砖分类传送方法、系统及可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109269951B (zh) | 基于图像的浮选尾煤灰分、浓度、粗颗粒含量检测方法 | |
| CN109376792B (zh) | 基于多通道残差神经网络的光伏电池外观缺陷分类方法 | |
| CN108181316B (zh) | 一种基于机器视觉的竹条缺陷检测方法 | |
| CN109001212A (zh) | 一种基于机器视觉的不锈钢汤勺缺陷检测方法 | |
| CN108662977A (zh) | 一种耐火砖几何尺寸测量方法 | |
| CN113628189B (zh) | 一种基于图像识别的快速带钢划痕缺陷检测方法 | |
| CN102974551A (zh) | 一种基于机器视觉的多晶硅太阳能检测分选的方法 | |
| CN113793337B (zh) | 基于人工智能的机车配件表面异常程度评估方法 | |
| CN109741393B (zh) | 双孢菇直径测量和中心点定位方法 | |
| CN108596873A (zh) | 基于高度直方图分割的耐火砖深度缺陷的识别方法 | |
| CN110781913B (zh) | 一种拉链布带缺陷检测方法 | |
| CN110687121B (zh) | 一种陶瓦智能在线检测与自动分级方法和系统 | |
| CN106097368A (zh) | 一种单板裂缝的识别方法 | |
| CN110749598A (zh) | 一种融合颜色、形状和纹理特征的蚕茧表面缺陷检测方法 | |
| CN114910480A (zh) | 一种基于机器视觉的晶圆表面缺陷检测方法 | |
| CN110728286B (zh) | 一种基于火花图像的砂带磨削材料去除率识别方法 | |
| CN113724238A (zh) | 基于特征点邻域颜色分析的陶瓷砖色差检测与分级方法 | |
| CN107038401B (zh) | 一种嘴唇轮廓的分割及特征提取方法 | |
| CN106815602B (zh) | 一种基于多层次特征描述的跑道fod图像探测方法及装置 | |
| CN116642827A (zh) | 基于高光谱成像技术的大批量织物沾色评级方法及系统 | |
| CN113160166B (zh) | 通过卷积神经网络模型进行医学影像数据挖掘工作方法 | |
| CN114419039B (zh) | 一种基于模板匹配的装饰墙纸缺陷检测方法 | |
| CN113034403B (zh) | 医学影像数据通过高斯滤波进行降噪的工作方法 | |
| CN113610187B (zh) | 基于图像技术的木材纹理提取及分类方法 | |
| CN110827272B (zh) | 一种基于图像处理的轮胎x光图像缺陷检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |