CN113096110B - 基于深度学习的瑕疵自主检测方法以及相关装置 - Google Patents
基于深度学习的瑕疵自主检测方法以及相关装置 Download PDFInfo
- Publication number
- CN113096110B CN113096110B CN202110450352.7A CN202110450352A CN113096110B CN 113096110 B CN113096110 B CN 113096110B CN 202110450352 A CN202110450352 A CN 202110450352A CN 113096110 B CN113096110 B CN 113096110B
- Authority
- CN
- China
- Prior art keywords
- image
- product
- product image
- flaw
- deep learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 61
- 238000013135 deep learning Methods 0.000 title claims abstract description 44
- 239000013598 vector Substances 0.000 claims abstract description 45
- 238000005286 illumination Methods 0.000 claims abstract description 40
- 238000012545 processing Methods 0.000 claims abstract description 28
- 230000006870 function Effects 0.000 claims abstract description 22
- 238000000034 method Methods 0.000 claims abstract description 17
- 230000003213 activating effect Effects 0.000 claims abstract description 16
- 230000004913 activation Effects 0.000 claims abstract description 16
- 239000011159 matrix material Substances 0.000 claims description 64
- 238000001914 filtration Methods 0.000 claims description 23
- 238000000605 extraction Methods 0.000 claims description 18
- 230000004907 flux Effects 0.000 claims description 17
- 238000003860 storage Methods 0.000 claims description 16
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims 2
- 230000007547 defect Effects 0.000 description 16
- 238000013528 artificial neural network Methods 0.000 description 9
- 239000002184 metal Substances 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000013473 artificial intelligence Methods 0.000 description 3
- 229910000831 Steel Inorganic materials 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 239000010959 steel Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000009749 continuous casting Methods 0.000 description 1
- 239000002537 cosmetic Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000007747 plating Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30136—Metal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及图像处理领域，公开了一种基于深度学习的瑕疵自主检测方法以及相关装置。该方法包括：激活预置光源的单色光照，并拍摄获取待检测产品的产品图像集；依次查询所述单色光照对应的解析算法，以及基于所述解析算法对所述产品图像集中所述单色光照对应的产品图像进行分析处理，得到结果向量；根据预置激活函数，对所述结果向量进行激活处理，得到分类结果。
Description
技术领域
本发明涉及图像处理领域，尤其涉及一种基于深度学习的瑕疵自主检测方法以及相关装置。
背景技术
金属制品表面质量检测工业生产中的作用日趋显著。金属表面缺陷是影响成品质量的重要因素，金属表面缺陷大小及严重程度是衡量金属制品质量的重要指标，亦是用户最关心和最直观的质量指标，对产品质量起决定性的作用。目前，在金属制品中，如高温连铸坯表面、带钢表面等缺陷的检测，主要是人工抽样检查(抽检率为100％左右)，受现场客观条件和个人主观因素的影响易出现误判或错判，这种落后的检测手段已无法满足现代钢铁工业发展的要求。例如传统的涡流检测和漏磁检测外观瑕疵。但他们都是只能检测单一的瑕疵类型，例如外观的划伤或者撞击缺陷，但对于外观的脏污或者有无以及电镀颜色不均的瑕疵基本无法进行检测。
随着人工智能和深度学习最近几年的发展，使得传统的光学方法获得重新的发展，通过更新的光学取像方法，使得金属表面的瑕疵可以进行机器学习进行分类处理和判定，使得瑕疵的分类更加智能快捷化。但是，如何实现人工智能与金属制品表的检测相互结合，需要有一种具体结合提升的检测准确率和简化检测步骤的方案。
发明内容
本发明的主要目的在于解决人工智能与金属表面检测具体结合检测准确率和简化检测步骤的技术问题。
本发明第一方面提供了一种基于深度学习的瑕疵自主检测方法，所述基于深度学习的瑕疵自主检测方法包括：
激活预置光源的单色光照，并拍摄获取待检测产品的产品图像集；
依次查询所述单色光照对应的解析算法，以及基于所述解析算法对所述产品图像集中所述单色光照对应的产品图像进行分析处理，得到结果向量；
根据预置激活函数，对所述结果向量进行激活处理，得到分类结果。
可选的，在本发明第一方面的第一种实现方式中，所述依次查询所述单色光照对应的解析算法，以及基于所述解析算法对所述产品图像集中所述单色光照对应的产品图像进行分析处理，得到结果向量包括：
依次查询所述单色光照对应的卷积向量；
在所述产品图像集中抓取所述单色光照对应的产品图像，对所述产品图像进行灰度化处理，得到灰度产品图像；
提取所述灰度产品图像所有的灰度值，基于所有所述灰度值构建出所述灰度产品图像对应的图像特征矩阵；
基于预置卷积步长，将所述卷积向量对所述图像特征矩阵进行卷积处理，得到特征提取矩阵；
查询所述单色光照对应的特异权重矩阵集，基于所述特异权重矩阵集对矩阵对所述特征提取矩阵进行解析处理，得到结果向量。
可选的，在本发明第一方面的第二种实现方式中，所述查询所述单色光照对应的特异权重矩阵集，基于所述特异权重矩阵集对矩阵对所述特征提取矩阵进行解析处理，得到结果向量包括：
查询所述单色光照对应的特异权重矩阵集；
读取所述特异权重矩阵集中特异权重矩阵的排列序号，基于所述排列序号将所述特异权重矩阵集中的特异权重矩阵与所述特征提取矩阵进行乘积，得到结果向量。
可选的，在本发明第一方面的第三种实现方式中，在所述激活预置光源的单色光照，并拍摄获取待检测产品的产品图像集之后，在所述依次查询所述单色光照对应的解析算法之前，还包括：
将所述产品图像集中的产品图像转换为YCbCr图像，其中，Y为亮度，Cb为RBG输入信号蓝色部分与RGB信号亮度值之差，Cr是RGB输入信号红色部分与RGB信号亮度值之差；
基于预置高斯函数，对所述YCbCr图像中的Y分量进行滤波处理，得到滤波Y分量；
根据所述滤波Y分量，调整所述YCbCr图像，得到过滤YCbCr图像；
将所过滤YCbCr图像转换为RGB图像，将转换后的RGB图像确定为新的产品图像，生成新的产品图像集。
可选的，在本发明第一方面的第四种实现方式中，所述基于预置高斯函数，对所述YCbCr图像中的Y分量进行滤波处理，得到滤波Y分量包括：
根据对数转换公式F(Y)＝log2Y，对所述YCbCr图像中的Y分量进行转换处理，得到所述YCbCr图像中的F(Y)分量；
根据预置高斯函数，对所述F(Y)分量进行滤波处理，得到滤波F(Y)值，将所述滤波F(Y)值确定为滤波Y分量。
可选的，在本发明第一方面的第五种实现方式中，所述将所述产品图像集中的产品图像转换为YCbCr图像包括：
读取所述产品图像集中的产品图像的RBG通量，其中，R为红色输出信号，B为蓝色输出信号，G为绿色输出信号；
基于第一转换公式：Y＝0.239*R+0.600*G+0.085*B+16，Cb＝-0.135*R-0.305*G+0.465*B+128，Cr＝0.465*R-0.350*G-0.063*B+128，将产品图像转换为YCbCr图像。
可选的，在本发明第一方面的第六种实现方式中，所述将所过滤YCbCr图像转换为RGB图像包括：
读取所过滤YCbCr图像中的Y通量值、Cb通量值、Cr通量值；
基于第二转换公式：R＝1.135*(Y-16)+1.585*(Cr-128)，G＝1.135*(Y-16)-0.398*(Cb-128)-0.925*(Cr-128)，B＝1.135*(Y-16)+2.005*(Cb-128)，将所过滤YCbCr图像转换为RGB图像。
本发明第二方面提供了一种基于深度学习的瑕疵自主检测装置，包括：
获取模块，用于激活预置光源的单色光照，并拍摄获取待检测产品的产品图像集；
分析模块，用于依次查询所述单色光照对应的解析算法，以及基于所述解析算法对所述产品图像集中所述单色光照对应的产品图像进行分析处理，得到结果向量；
激活模块，用于根据预置激活函数，对所述结果向量进行激活处理，得到分类结果。
本发明第三方面提供了一种基于深度学习的瑕疵自主检测设备，包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；所述至少一个处理器调用所述存储器中的所述指令，以使得所述基于深度学习的瑕疵自主检测设备执行上述的基于深度学习的瑕疵自主检测方法。
本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的基于深度学习的瑕疵自主检测方法。
附图说明
图1为本发明实施例中基于深度学习的瑕疵自主检测方法的一个实施例示意图；
图2为本发明实施例中基于深度学习的瑕疵自主检测方法的另一个实施例示意图；
图3为本发明实施例中基于深度学习的瑕疵自主检测装置的一个实施例示意图；
图4为本发明实施例中基于深度学习的瑕疵自主检测装置的另一个实施例示意图；
图5为本发明实施例中基于深度学习的瑕疵自主检测设备的一个实施例示意图。
具体实施方式
本发明实施例提供了一种基于深度学习的瑕疵自主检测方法以及相关装置。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中基于深度学习的瑕疵自主检测方法的一个实施例包括：
101、激活预置光源的单色光照，并拍摄获取待检测产品的产品图像集；
在本实施例中，单色光照包括有紫色光照、蓝色光照、绿色光照、白色光照，在这里需要说明的是，采用不同色彩的光照，是由于不同的颜色的光波长不同，白光对大尺度的划伤和毛刺，绿光和蓝光主要是针对小尺度的裂纹或者划伤。因为光波长越短，小尺度的瑕疵会比较鲜明的呈现出来。通过不同的单色光生成的作为光源，可以产生不同的产品图像，将产品图像以光源种类为划分依据，生成产品图像集。
102、依次查询单色光照对应的解析算法，以及基于解析算法对产品图像集中单色光照对应的产品图像进行分析处理，得到结果向量；
在本实施例中，单色光照的解析算法是一种神经网络学习算法，将获得产品图像集中的单色光照进行灰度化处理，然后可以依据3*3的卷积矩阵，对灰度化后的图像生成的像素矩阵进行卷积，再依据权重矩阵集中权重矩阵的排序依次对生成矩阵进行乘积，获得1*N结构的结果向量矩阵。
103、根据预置激活函数，对结果向量进行激活处理，得到分类结果。
在本实施例中，激活函数是常见的Softmax函数，其中，Softmax函数的表达式为：其中x依次为1*N结构的结果向量的里面的元素，根据概率值计算出最佳的元素，抓取元素映射定义出的分类结果，将所有产品图像的分类结果组合出，即可知道产品所有的缺陷和瑕疵。
本发明实施例中，通过单色光照的提升整个产品的瑕疵图像抓取的情况，通过神经网络对瑕疵图像进行分析，最终快速和操作简便的得到一个准确性更高的产品检测结果，实现了传统光学检测与神经网络结合。
请参阅图2，本发明实施例中基于深度学习的瑕疵自主检测方法的另一个实施例包括：
201、激活预置光源的单色光照，并拍摄获取待检测产品的产品图像集；
本实施例类似于第一个实施例，可以参照第一个实施例，在此不做赘述。
202、读取产品图像集中的产品图像的RBG通量，其中，R为红色输出信号，B为蓝色输出信号，G为绿色输出信号；
203、基于第一转换公式：Y＝0.239*R+0.600*G+0.085*B+16，Cb＝-0.135*R-0.305*G+0.465*B+128，Cr＝0.465*R-0.350*G-0.063*B+128，将产品图像转换为YCbCr图像；
204、根据对数转换公式F(Y)＝log2Y，对YCbCr图像中的Y分量进行转换处理，得到YCbCr图像中的F(Y)分量；
202-204实施例中，为RGB图像转化为YCbCr图像，Y＝0.239*R+0.600*G+0.085*B+16，Cb＝-0.135*R-0.305*G+0.465*B+128，Cr＝0.465*R-0.350*G-0.063*B+128，将产品图像从RGB图像转化为YCbCr图像，Y为亮度，Cb为RBG输入信号蓝色部分与RGB信号亮度值之差，Cr是RGB输入信号红色部分与RGB信号亮度值之差。对转换后的Y分量，转换为F(Y)＝log2Y。
205、根据预置高斯函数，对F(Y)分量进行滤波处理，得到滤波F(Y)值，将滤波F(Y)值确定为滤波Y分量；
206、根据滤波Y分量，调整YCbCr图像，得到过滤YCbCr图像；
205-206实施例中，F(Y)＝log2Y，高斯函数其中，σ为过滤参数，利用高斯函数对F(Y)的值进行调整过滤，得到滤波Y分量，将Y分量更改YCbCr图像，得到过滤YCbCr图像。
207、读取所过滤YCbCr图像中的Y通量值、Cb通量值、Cr通量值；
208、基于第二转换公式：R＝1.135*(Y-16)+1.585*(Cr-128)，G＝1.135*(Y-16)-0.398*(Cb-128)-0.925*(Cr-128)，B＝1.135*(Y-16)+2.005*(Cb-128)，将所过滤YCbCr图像转换为RGB图像；
207-208实施例，通过R＝1.135*(Y-16)+1.585*(Cr-128)，G＝1.135*(Y-16)-0.398*(Cb-128)-0.925*(Cr-128)，B＝1.135*(Y-16)+2.005*(Cb-128)，依次将YCbCr图像中每个像素，依次转化为相应的RGB图像。
209、将转换后的RGB图像确定为新的产品图像，生成新的产品图像集；
本实施例中，为过滤后的产品图像进行重新定义，将过滤后的产品图像集，作为处理对象进行下一步操作。
210、依次查询单色光照对应的卷积向量；
211、在产品图像集中抓取单色光照对应的产品图像，对产品图像进行灰度化处理，得到灰度产品图像；
212、提取灰度产品图像所有的灰度值，基于所有灰度值构建出灰度产品图像对应的图像特征矩阵；
210-212实施例，为将特征图像提取特征，卷积向量为3*3的矩阵，在卷积向量中参数是通过训练后得到。211、212步骤通过读取RGB通量，基于现有灰度化处理步骤，进行处理，将整个图像灰度值作为一个提取对象，获得灰度值构成的图像特征矩阵。
213、基于预置卷积步长，将卷积向量对图像特征矩阵进行卷积处理，得到特征提取矩阵；
214、查询单色光照对应的特异权重矩阵集；
215、读取特异权重矩阵集中特异权重矩阵的排列序号，基于排列序号将特异权重矩阵集中的特异权重矩阵与特征提取矩阵进行乘积，得到结果向量；
213-215实施例中，卷积步长为3，通过卷积步长将卷积向量为3*3与图像特征矩阵进行卷积，而特异权重矩阵集包括至少2个以上的m*m矩阵，卷积步长为m，通过卷积提取特征提取矩阵中数值，并且是按照排序进行卷积，最终使得图像特征矩阵得到对应的1*n的向量矩阵。
216、根据预置激活函数，对结果向量进行激活处理，得到分类结果。
本实施例类似于第一个实施例，可以参照第一个实施例，在此不做赘述。
本发明实施例中，通过单色光照的提升整个产品的瑕疵图像抓取的情况，通过神经网络对瑕疵图像进行分析，最终快速和操作简便的得到一个准确性更高的产品检测结果，实现了传统光学检测与神经网络结合。
上面对本发明实施例中基于深度学习的瑕疵自主检测方法进行了描述，下面对本发明实施例中基于深度学习的瑕疵自主检测装置进行描述，请参阅图3，本发明实施例中基于深度学习的瑕疵自主检测装置一个实施例包括：
获取模块301，用于激活预置光源的单色光照，并拍摄获取待检测产品的产品图像集；
分析模块302，用于依次查询所述单色光照对应的解析算法，以及基于所述解析算法对所述产品图像集中所述单色光照对应的产品图像进行分析处理，得到结果向量；
激活模块303，用于根据预置激活函数，对所述结果向量进行激活处理，得到分类结果。
本发明实施例中，通过单色光照的提升整个产品的瑕疵图像抓取的情况，通过神经网络对瑕疵图像进行分析，最终快速和操作简便的得到一个准确性更高的产品检测结果，实现了传统光学检测与神经网络结合。
请参阅图4，本发明实施例中基于深度学习的瑕疵自主检测装置的另一个实施例包括：
获取模块301，用于激活预置光源的单色光照，并拍摄获取待检测产品的产品图像集；
分析模块302，用于依次查询所述单色光照对应的解析算法，以及基于所述解析算法对所述产品图像集中所述单色光照对应的产品图像进行分析处理，得到结果向量；
激活模块303，用于根据预置激活函数，对所述结果向量进行激活处理，得到分类结果。
其中，所述分析模块302包括：
查询单元3021，用于依次查询所述单色光照对应的卷积向量；
灰度化单元3022，用于在所述产品图像集中抓取所述单色光照对应的产品图像，对所述产品图像进行灰度化处理，得到灰度产品图像；
提取单元3023，用于提取所述灰度产品图像所有的像素值，基于所有所述像素值构建出所述灰度产品图像对应的图像特征矩阵；
卷积单元3024，用于基于预置卷积步长，将所述卷积向量对所述图像特征矩阵进行卷积处理，得到特征提取矩阵；
解析单元3025，用于查询所述单色光照对应的特异权重矩阵集，基于所述特异权重矩阵集对矩阵对所述特征提取矩阵进行解析处理，得到结果向量。
其中，所述解析单元3025具体用于：
查询所述单色光照对应的特异权重矩阵集；
读取所述特异权重矩阵集中特异权重矩阵的排列序号，基于所述排列序号将所述特异权重矩阵集中的特异权重矩阵与所述特征提取矩阵进行乘积，得到结果向量。
其中，所述基于深度学习的瑕疵自主检测装置还包括过滤模块304，所述过滤模块304包括：
第一转换单元3041，用于将所述产品图像集中的产品图像转换为YCbCr图像，其中，Y为亮度，Cb为RBG输入信号蓝色部分与RGB信号亮度值之差，Cr是RGB输入信号红色部分与RGB信号亮度值之差；
滤波单元3042，用于基于预置高斯函数，对所述YCbCr图像中的Y分量进行滤波处理，得到滤波Y分量；
调整单元3043，用于根据所述滤波Y分量，调整所述YCbCr图像，得到过滤YCbCr图像；
第二转换单元3044，用于将所过滤YCbCr图像转换为RGB图像，将转换后的RGB图像确定为新的产品图像，生成新的产品图像集。
其中，所述滤波单元3042具体用于：
根据对数转换公式F(Y)＝log2Y，对所述YCbCr图像中的Y分量进行转换处理，得到所述YCbCr图像中的F(Y)分量；
根据预置高斯函数，对所述F(Y)分量进行滤波处理，得到滤波F(Y)值，将所述滤波F(Y)值确定为滤波Y分量。
其中，所述第一转换单元3041具体用于：
读取所述产品图像集中的产品图像的RBG通量，其中，R为红色输出信号，B为蓝色输出信号，G为绿色输出信号；
基于第一转换公式：Y＝0.239*R+0.600*G+0.085*B+16，Cb＝-0.135*R-0.305*G+0.465*B+128，Cr＝0.465*R-0.350*G-0.063*B+128，将产品图像转换为YCbCr图像。
其中，所述第二转换单元3044具体用于：
读取所过滤YCbCr图像中的Y通量值、Cb通量值、Cr通量值；
基于第二转换公式：R＝1.135*(Y-16)+1.585*(Cr-128)，G＝1.135*(Y-16)-0.398*(Cb-128)-0.925*(Cr-128)，B＝1.135*(Y-16)+2.005*(Cb-128)，将所过滤YCbCr图像转换为RGB图像。
本发明实施例中，通过单色光照的提升整个产品的瑕疵图像抓取的情况，通过神经网络对瑕疵图像进行分析，最终快速和操作简便的得到一个准确性更高的产品检测结果，实现了传统光学检测与神经网络结合。
上面图3和图4从模块化功能实体的角度对本发明实施例中的基于深度学习的瑕疵自主检测装置进行详细描述，下面从硬件处理的角度对本发明实施例中基于深度学习的瑕疵自主检测设备进行详细描述。
图5是本发明实施例提供的一种基于深度学习的瑕疵自主检测设备的结构示意图，该基于深度学习的瑕疵自主检测设备500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)510(例如，一个或一个以上处理器)和存储器520，一个或一个以上存储应用程序533或数据532的存储介质530(例如一个或一个以上海量存储设备)。其中，存储器520和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对基于深度学习的瑕疵自主检测设备500中的一系列指令操作。更进一步地，处理器510可以设置为与存储介质530通信，在基于深度学习的瑕疵自主检测设备500上执行存储介质530中的一系列指令操作。
基于深度学习的瑕疵自主检测设备500还可以包括一个或一个以上电源540，一个或一个以上有线或无线网络接口550，一个或一个以上输入输出接口560，和/或，一个或一个以上操作系统531，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图5示出的基于深度学习的瑕疵自主检测设备结构并不构成对基于深度学习的瑕疵自主检测设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述基于深度学习的瑕疵自主检测方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统或装置、单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (8)
1.一种基于深度学习的瑕疵自主检测方法，其特征在于，包括步骤：
激活预置光源的单色光照，并拍摄获取待检测产品的产品图像集；
依次查询所述单色光照对应的解析算法，以及基于所述解析算法对所述产品图像集中所述单色光照对应的产品图像进行分析处理，得到结果向量；
根据预置激活函数，对所述结果向量进行激活处理，得到分类结果；
其中，所述依次查询所述单色光照对应的解析算法，以及基于所述解析算法对所述产品图像集中所述单色光照对应的产品图像进行分析处理，得到结果向量包括：
依次查询所述单色光照对应的卷积向量；
在所述产品图像集中抓取所述单色光照对应的产品图像，对所述产品图像进行灰度化处理，得到灰度产品图像；
提取所述灰度产品图像所有的灰度值，基于所有所述灰度值构建出所述灰度产品图像对应的图像特征矩阵；
基于预置卷积步长，将所述卷积向量对所述图像特征矩阵进行卷积处理，得到特征提取矩阵；
查询所述单色光照对应的特异权重矩阵集，基于所述特异权重矩阵集对矩阵对所述特征提取矩阵进行解析处理，得到结果向量；
其中，所述查询所述单色光照对应的特异权重矩阵集，基于所述特异权重矩阵集对矩阵对所述特征提取矩阵进行解析处理，得到结果向量包括：
查询所述单色光照对应的特异权重矩阵集；
读取所述特异权重矩阵集中特异权重矩阵的排列序号，基于所述排列序号将所述特异权重矩阵集中的特异权重矩阵与所述特征提取矩阵进行乘积，得到结果向量。
2.根据权利要求1所述的基于深度学习的瑕疵自主检测方法，其特征在于，在所述激活预置光源的单色光照，并拍摄获取待检测产品的产品图像集之后，在所述依次查询所述单色光照对应的解析算法之前，还包括：
将所述产品图像集中的产品图像转换为YCbCr图像，其中，Y为亮度，Cb为RBG输入信号蓝色部分与RGB信号亮度值之差，Cr是RGB输入信号红色部分与RGB信号亮度值之差；
基于预置高斯函数，对所述YCbCr图像中的Y分量进行滤波处理，得到滤波Y分量；
根据所述滤波Y分量，调整所述YCbCr图像，得到过滤YCbCr图像；
将所过滤YCbCr图像转换为RGB图像，将转换后的RGB图像确定为新的产品图像，生成新的产品图像集。
3.根据权利要求2所述的基于深度学习的瑕疵自主检测方法，其特征在于，所述基于预置高斯函数，对所述YCbCr图像中的Y分量进行滤波处理，得到滤波Y分量包括：
根据对数转换公式F(Y)＝log2Y，对所述YCbCr图像中的Y分量进行转换处理，得到所述YCbCr图像中的F(Y)分量；
根据预置高斯函数，对所述F(Y)分量进行滤波处理，得到滤波F(Y)值，将所述滤波F(Y)值确定为滤波Y分量。
4.根据权利要求2所述的基于深度学习的瑕疵自主检测方法，其特征在于，所述将所述产品图像集中的产品图像转换为YCbCr图像包括：
读取所述产品图像集中的产品图像的RBG通量，其中，R为红色输出信号，B为蓝色输出信号，G为绿色输出信号；
基于第一转换公式：Y＝0.239*R+0.600*G+0.085*B+16，Cb＝-0.135*R-0.305*G+0.465*B+128，Cr＝0.465*R-0.350*G-0.063*B+128，将产品图像转换为YCbCr图像。
5.根据权利要求4所述的基于深度学习的瑕疵自主检测方法，其特征在于，所述将所过滤YCbCr图像转换为RGB图像包括：
读取所过滤YCbCr图像中的Y通量值、Cb通量值、Cr通量值；
基于第二转换公式：R＝1.135*(Y-16)+1.585*(Cr-128)，G＝1.135*(Y-16)-0.398*(Cb-128)-0.925*(Cr-128)，B＝1.135*(Y-16)+2.005*(Cb-128)，将所过滤YCbCr图像转换为RGB图像。
6.一种基于深度学习的瑕疵自主检测装置，其特征在于，所述基于深度学习的瑕疵自主检测装置包括：
获取模块，用于激活预置光源的单色光照，并拍摄获取待检测产品的产品图像集；
分析模块，用于依次查询所述单色光照对应的解析算法，以及基于所述解析算法对所述产品图像集中所述单色光照对应的产品图像进行分析处理，得到结果向量；
激活模块，用于根据预置激活函数，对所述结果向量进行激活处理，得到分类结果；
其中，所述分析模块具体用于：
依次查询所述单色光照对应的卷积向量；
在所述产品图像集中抓取所述单色光照对应的产品图像，对所述产品图像进行灰度化处理，得到灰度产品图像；
提取所述灰度产品图像所有的灰度值，基于所有所述灰度值构建出所述灰度产品图像对应的图像特征矩阵；
基于预置卷积步长，将所述卷积向量对所述图像特征矩阵进行卷积处理，得到特征提取矩阵；
查询所述单色光照对应的特异权重矩阵集，基于所述特异权重矩阵集对矩阵对所述特征提取矩阵进行解析处理，得到结果向量；
其中，所述分析模块还具体用于：
查询所述单色光照对应的特异权重矩阵集；
读取所述特异权重矩阵集中特异权重矩阵的排列序号，基于所述排列序号将所述特异权重矩阵集中的特异权重矩阵与所述特征提取矩阵进行乘积，得到结果向量。
7.一种基于深度学习的瑕疵自主检测设备，其特征在于，所述基于深度学习的瑕疵自主检测设备包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述基于深度学习的瑕疵自主检测设备执行如权利要求1-5中任一项所述的基于深度学习的瑕疵自主检测方法。
8.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-5中任一项所述的基于深度学习的瑕疵自主检测方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110057651 | 2021-01-15 | ||
| CN2021100576514 | 2021-01-15 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113096110A CN113096110A (zh) | 2021-07-09 |
| CN113096110B true CN113096110B (zh) | 2024-01-23 |
Family
ID=76680141
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110450352.7A Active CN113096110B (zh) | 2021-01-15 | 2021-04-25 | 基于深度学习的瑕疵自主检测方法以及相关装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113096110B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0787970A2 (de) * | 1996-02-05 | 1997-08-06 | FIRMA F+O ELECTRONIC SYSTEMS GmbH | Vorrichtung zur Inspektion der Oberfläche von Holz zwecks Feststellung von Oberflächenmerkmalen und Verfahren hierzu |
| US6075563A (en) * | 1996-06-14 | 2000-06-13 | Konica Corporation | Electronic camera capable of adjusting color tone under different light sources |
| CN103886642A (zh) * | 2014-04-04 | 2014-06-25 | 北京科技大学 | 一种钢板表面三维重建快速实现方法 |
| KR20160002517A (ko) * | 2014-06-30 | 2016-01-08 | 성균관대학교산학협력단 | 디지털 이미지 향상 방법 및 장치와, 이를 이용한 영상 처리 장치 |
| CN108490000A (zh) * | 2018-03-13 | 2018-09-04 | 北京科技大学 | 一种棒线材表面缺陷在线检测装置和方法 |
| CN110687119A (zh) * | 2018-07-04 | 2020-01-14 | 东腾投资集团有限公司 | 一种缺陷检测方法、系统与装置、计算机可读存储介质 |
| CN111123496A (zh) * | 2020-01-19 | 2020-05-08 | 西安交通大学 | 基于希尔伯特变换的结构照明快速三维彩色显微成像方法 |
| CN111879789A (zh) * | 2020-07-15 | 2020-11-03 | 深圳科瑞技术股份有限公司 | 金属表面缺陷检测方法及系统 |
-
2021
- 2021-04-25 CN CN202110450352.7A patent/CN113096110B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0787970A2 (de) * | 1996-02-05 | 1997-08-06 | FIRMA F+O ELECTRONIC SYSTEMS GmbH | Vorrichtung zur Inspektion der Oberfläche von Holz zwecks Feststellung von Oberflächenmerkmalen und Verfahren hierzu |
| US6075563A (en) * | 1996-06-14 | 2000-06-13 | Konica Corporation | Electronic camera capable of adjusting color tone under different light sources |
| CN103886642A (zh) * | 2014-04-04 | 2014-06-25 | 北京科技大学 | 一种钢板表面三维重建快速实现方法 |
| KR20160002517A (ko) * | 2014-06-30 | 2016-01-08 | 성균관대학교산학협력단 | 디지털 이미지 향상 방법 및 장치와, 이를 이용한 영상 처리 장치 |
| CN108490000A (zh) * | 2018-03-13 | 2018-09-04 | 北京科技大学 | 一种棒线材表面缺陷在线检测装置和方法 |
| CN110687119A (zh) * | 2018-07-04 | 2020-01-14 | 东腾投资集团有限公司 | 一种缺陷检测方法、系统与装置、计算机可读存储介质 |
| CN111123496A (zh) * | 2020-01-19 | 2020-05-08 | 西安交通大学 | 基于希尔伯特变换的结构照明快速三维彩色显微成像方法 |
| CN111879789A (zh) * | 2020-07-15 | 2020-11-03 | 深圳科瑞技术股份有限公司 | 金属表面缺陷检测方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| 多光路下基于RGB三通道的手机壳表面缺陷检测;刘源泂;雷娇;王兴东;汤勃;;机械设计与制造(第10期);全文 * |
| 自动光学(视觉)检测技术及其在缺陷检测中的应用综述;卢荣胜;吴昂;张腾达;王永红;;光学学报(第08期);全文 * |
| 钢材表面缺陷图像感兴趣区域提取方法;甘胜丰;雷维新;邓芳;袁荣奇;;机械设计与制造(第01期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113096110A (zh) | 2021-07-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106548467B (zh) | 红外图像和可见光图像融合的方法及装置 | |
| CN108020519B (zh) | 一种基于颜色恒常性的虚拟多光源光谱重建方法 | |
| CN103954634A (zh) | 一种印刷品在线质量检测系统 | |
| CN104636759B (zh) | 一种获取图片推荐滤镜信息的方法及图片滤镜信息推荐系统 | |
| CN107563976A (zh) | 美颜参数获取方法、装置、可读存储介质和计算机设备 | |
| CN102262093A (zh) | 基于机器视觉的印花机在线检测方法 | |
| CN107144353A (zh) | 一种基于数码相机的纺织品色差测量方法 | |
| CN103149214B (zh) | 水果表面缺陷检测方法 | |
| CN101933321A (zh) | 用于估测场景光源的图像传感器装置及方法 | |
| CN112132196B (zh) | 一种结合深度学习和图像处理的烟盒缺陷识别方法 | |
| JP2011220823A (ja) | 色測定装置、および、色測定方法 | |
| CN112446864A (zh) | 瑕疵检测方法、装置、设备和存储介质 | |
| CN103778621B (zh) | 对外来物体碎片的识别方法 | |
| CN110644216B (zh) | 一种纺织品自动化色牢度评级装置 | |
| CN101964293A (zh) | 一种金相显微组织图像处理方法 | |
| CN112697682A (zh) | 一种基于机器视觉进行家具耐光色牢度检测的方法 | |
| JP5841091B2 (ja) | 画像色分布検査装置および画像色分布検査方法 | |
| CN110044485B (zh) | 一种图像式织物颜色测量方法 | |
| CN114419311B (zh) | 一种基于多源信息的百香果成熟度无损检测方法及装置 | |
| CN105371955B (zh) | 一种染色色差检测装置及检测方法 | |
| CN113096110B (zh) | 基于深度学习的瑕疵自主检测方法以及相关装置 | |
| CN112098415A (zh) | 一种杨梅品质无损检测方法 | |
| CN117115610A (zh) | 基于多角度图像曝光融合的金属表面缺陷检测方法及系统 | |
| US11962949B2 (en) | Method of air pollution estimation based on spectral image processing | |
| CN113439870B (zh) | 一种雪茄烟外观分类方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |