CN115797292A - 图像质量检测方法、表面缺陷检测方法、设备及存储介质 - Google Patents
图像质量检测方法、表面缺陷检测方法、设备及存储介质 Download PDFInfo
- Publication number
- CN115797292A CN115797292A CN202211541620.7A CN202211541620A CN115797292A CN 115797292 A CN115797292 A CN 115797292A CN 202211541620 A CN202211541620 A CN 202211541620A CN 115797292 A CN115797292 A CN 115797292A
- Authority
- CN
- China
- Prior art keywords
- image
- product
- abnormal
- information
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本申请属于视觉检测技术领域，公开了一种图像质量检测方法、表面缺陷检测方法、设备及存储介质。该方法包括：获取图像数据；从图像数据中提取图像特征；根据图像特征以及预先训练好的分布特征计算距离信息，构成距离矩阵；根据距离矩阵生成包含分数信息的目标图像；根据目标图像中的分数信息对目标图像进行异常位置定位，得到异常检测结果。通过上述方式，根据产品的图像数据检出瑕疵产品，避免了人工检测造成的效率低下，提升了瑕疵产品检测的准确性和检测效率，并且对图像中的异常位置进行定位，便于为规范生产操作提供数据支持。
Description
技术领域
本申请涉及视觉检测技术领域，尤其涉及一种图像质量检测方法、表面缺陷检测方法、设备及存储介质。
背景技术
在生产各类产品时，若不及时检出瑕疵产品将影响后续生产流程，造成人力物力的浪费，若流入市场则影响产品销售流通，更甚影响企业社会形象与口碑。
目前相关瑕疵检测方法一般通过人工手动检测，由于当前生产线上的产品瑕疵异常的出现频次很低，以及重复的、长时间的肉眼检测易造成疲惫，依靠人工手动检测效果不理想、检测效率低。
上述内容仅用于辅助理解本申请的技术方案，并不代表承认上述内容是现有技术。
申请内容
本申请的主要目的在于提供一种图像质量检测方法、表面缺陷检测方法、设备及存储介质，旨在解决如何高效准确地检出瑕疵产品的技术问题。
为实现上述目的，本申请提供了一种图像质量检测方法，所述方法包括以下步骤：
获取图像数据；
从所述图像数据中提取图像特征；
根据所述图像特征以及预先训练好的分布特征计算距离信息，并根据所述距离信息构成距离矩阵；
根据所述距离矩阵生成包含分数信息的目标图像；
根据所述目标图像中的分数信息对所述目标图像进行异常位置定位，得到异常检测结果。
可选地，所述分布特征包括多元高斯分布的样本均值和样本协方差；
所述方法还包括：
获取正样本数据；
根据所述正样本数据拟合多元高斯分布模型，确定多元高斯分布的样本均值和样本协方差。
可选地，所述图像数据包括待检测产品的图像数据，所述获取图像数据，包括：
获取待检测产品的初始图像；
根据产品模板图像对所述初始图像进行配准，得到第一图像；
根据预设产品区域对所述第一图像进行裁剪，得到第二图像；
将所述第二图像置于预设背景图像上，生成图像数据。
可选地，所述根据产品模板图像对所述初始图像进行配准，得到第一图像之后，所述方法还包括：
存储所述初始图像与所述第一图像之间的映射矩阵；
所述根据所述目标图像中的分数信息对所述目标图像进行异常位置定位，得到异常检测结果之后，所述方法还包括：
确定异常位置坐标；
根据所述预设产品区域和所述映射矩阵将所述异常位置坐标转化为所述初始图像对应的缺陷目标坐标；
根据所述缺陷目标坐标和所述初始图像生成缺陷目标图像。
可选地，所述根据所述目标图像中的分数信息对所述目标图像进行异常位置定位，得到异常检测结果，包括：
获取多个目标阈值；
分别根据各个所述目标阈值和所述目标图像中的分数信息对所述目标图像进行二值化处理，得到多个待检测图像；
对所述多个待检测图像进行斑点检测，确定存在斑点的异常位置坐标，得到异常检测结果。
可选地，所述对所述多个待检测图像进行斑点检测，确定存在斑点的异常位置坐标，得到异常检测结果，包括：
对所述多个待检测图像分别进行边缘查找，得到各所述待检测图像的轮廓信息；
根据所述轮廓信息确定各所述待检测图像的轮廓中心位置；
对所述多个待检测图像的轮廓中心位置进行聚类，得到斑点集合；
确定所述斑点集合的半径信息；
根据所述半径信息对所述斑点集合进行过滤，确定满足预设要求的异常位置坐标，得到异常检测结果。
可选地，所述从所述图像数据中提取图像特征，包括：
对所述图像数据进行归一化处理，得到标准图像；
对所述标准图像进行特征提取，生成嵌入向量；
对所述嵌入向量进行降维处理，得到图像特征。
此外，为实现上述目的，本申请还提出一种工业产品的表面缺陷检测方法，所述工业产品的表面缺陷检测方法包括：
确定待检测工业产品的产品标识；
根据所述产品标识获取所述产品标识对应的产品信息；
采集待检测产品的初始图像，并根据所述产品信息对所述图像进行预处理，得到图像数据；
从所述图像数据中提取图像特征；
根据所述图像特征以及预先训练好的分布特征计算距离信息，并根据所述距离信息构成距离矩阵；
根据所述距离矩阵生成包含分数信息的目标图像；
根据所述目标图像中的分数信息对所述目标图像进行异常位置定位，得到异常检测结果；
将所述异常检测结果发送至所述制造执行系统。
此外，为实现上述目的，本申请还提出一种图像质量检测设备，所述图像质量检测设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像质量检测程序，所述图像质量检测程序配置为实现如上文所述的图像质量检测方法，或者所述图像质量检测程序配置为实现如上文所述的工业产品的表面缺陷检测方法。
此外，为实现上述目的，本申请还提出一种存储介质，所述存储介质上存储有图像质量检测程序，所述图像质量检测程序被处理器执行时实现如上文所述的图像质量检测方法，或者所述图像质量检测程序被处理器执行时实现如上文所述的工业产品的表面缺陷检测方法。
本申请中根据产品的图像数据提取到的图像特征与预先训练好的分布特征构建包含分数信息的目标图像，基于目标图像中的分数信息定位出异常位置，实现了瑕疵产品的检出，避免了人工检测造成的效率低下，提升了瑕疵产品检测的准确性和检测效率，并且对图像中的异常位置进行定位，便于为规范生产操作提供数据支持。
附图说明
图1是本申请实施例方案涉及的硬件运行环境的图像质量检测设备的结构示意图；
图2为本申请图像质量检测方法第一实施例的流程示意图；
图3为本申请图像质量检测方法的自动检测系统示例图；
图4为本申请图像质量检测方法第二实施例的流程示意图；
图5(a)为本申请图像质量检测方法的门体钣金表面检测场景下的模板图像示意图；
图5(b)为本申请图像质量检测方法的门体钣金表面检测场景下的生产线相机采集图像示意图；
图5(c)为本申请图像质量检测方法的门体钣金表面检测场景下的预处理后图像示意图；
图5(d)为本申请图像质量检测方法的门体钣金表面检测场景下的二值化处理后的黑白图像示意图；
图5(e)为本申请图像质量检测方法的门体钣金表面检测场景下的异常定位图像示意图；
图5(f)为本申请图像质量检测方法的门体钣金表面检测场景下的映射回原图的异常定位图像示意图；
图6(a)为本申请图像质量检测方法的注塑结构件检测场景下的模板图像示意图；
图6(b)为本申请图像质量检测方法的注塑结构件检测场景下的生产线相机采集图像示意图；
图6(c)为本申请图像质量检测方法的注塑结构件检测场景下的预处理后图像示意图；
图6(d)为本申请图像质量检测方法的注塑结构件检测场景下的二值化处理后的黑白图像示意图；
图6(e)为本申请图像质量检测方法的注塑结构件检测场景下的异常定位图像示意图；
图6(f)为本申请图像质量检测方法的注塑结构件检测场景下的映射回原图的异常定位图像示意图；
图7(a)为本申请图像质量检测方法的丝网印刷检测场景下的模板图像示意图；
图7(b)为本申请图像质量检测方法的丝网印刷检测场景下的生产线相机采集图像示意图；
图7(c)为本申请图像质量检测方法的丝网印刷检测场景下的预处理后图像示意图；
图7(d)为本申请图像质量检测方法的丝网印刷检测场景下的二值化处理后的黑白图像示意图；
图7(e)为本申请图像质量检测方法的丝网印刷检测场景下的异常定位图像示意图；
图7(f)为本申请图像质量检测方法的丝网印刷检测场景下的映射回原图的异常定位图像示意图；
图8为本申请图像质量检测方法第三实施例的流程示意图；
图9为本申请工业产品的表面缺陷检测方法第一实施例的流程示意图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
参照图1，图1为本申请实施例方案涉及的硬件运行环境的图像质量检测设备结构示意图。
如图1所示，该图像质量检测设备可以包括：处理器1001，例如中央处理器(Central Processing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(Wireless-Fidelity，Wi-Fi)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory，RAM)，也可以是稳定的非易失性存储器(Non-Volatile Memory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的结构并不构成对图像质量检测设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及图像质量检测程序。
在图1所示的图像质量检测设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本申请图像质量检测设备中的处理器1001、存储器1005可以设置在图像质量检测设备中，所述图像质量检测设备通过处理器1001调用存储器1005中存储的图像质量检测程序，并执行本申请实施例提供的图像质量检测方法或工业产品的表面缺陷检测方法。
在一些实施例中，本申请中的图像质量检测方法可以应用于工业场景中产品瑕疵质量检测场景中。工业场景中产品的瑕疵视觉检测具有重要意义，在家用电器领域的电器门体钣金冲压、产品注塑结构件、操作面板丝网印刷等生产场景中，存在着瑕疵产品，若不及时检出瑕疵产品将影响后续生产流程，造成人力物力的浪费，若流入市场则影响产品销售流通，更甚影响企业社会形象与口碑。目前相关瑕疵检测方法一般通过人工手动检测，由于工业生产线上的产品瑕疵异常的出现频次很低，以及重复的、长时间的肉眼检测易造成疲惫，依靠人工手动检测效果不理想、检测效率低。通过本申请提供的图像质量检测方法可以通过对图像的识别与处理可以自动定位出图像中的异常位置，实现了瑕疵产品的检出，避免了人工检测造成的效率低下，提升了瑕疵产品检测的准确性和检测效率，并且对图像中的异常位置进行定位，便于为规范生产操作提供数据支持。
可以理解，在其他实施例中，本申请提供的图像质量检测方法还可以应用于其他应用场景而非只适用于工业场景中，在此不做限制。
本申请实施例提供了一种图像质量检测方法，参照图2，图2为本申请图像质量检测方法第一实施例的流程示意图。
本实施例中，所述图像质量检测方法包括以下步骤：
步骤S10：获取图像数据。
可以理解的是，本实施例的执行主体为图像质量检测设备，所述图像质量检测设备可以为计算机、服务器等设备，还可以为其他具备人工智能推理功能的设备，本实施例对此不加以限制。
需要说明的是，图像数据可以是待检测产品对应的图像数据。在一些实施例中，图像数据可以是待检测产品位于相机拍摄范围时，通过设置于生产线上的相机采集到的图像。在一些实施例中，还可以包括：对相机采集到的图像进行预处理，从而去除图像中无关的信息，增强有关信息的可检测性。
可选地，图像数据的预处理过程为：识别相机采集的原始图像中的参照区域，对原始图像进行旋转，以使旋转后图像中的参照区域达到预设区域位置，得到预处理后的图像数据。
可选地，图像数据的预处理过程为：将相机采集的原始图像中的重点区域裁剪出来，放置于衬底图像上，得到预处理后的图像数据。这样在一些方面可以解决瑕疵关注区域分散或长条状排列不利于算法处理的问题。
步骤S20：从所述图像数据中提取图像特征。
具体地，所述步骤S20，包括：对所述图像数据进行归一化处理，得到标准图像；对所述标准图像进行特征提取，生成嵌入向量；对所述嵌入向量进行降维处理，得到图像特征。
在一些实施例中，可以利用均值和标准差对图像数据进行归一化处理。均值可以包括图像R、G、B三个通道中至少一个通道的均值，标准差可以包括R、G、B三个通道中至少一个通道的标准差，均值和标准差为预先基于大批量图像计算得到的。
需要说明的是，可选地，可以利用卷积神经网络模型(CNN)对标准图像进行特征提取，并对激活图中不同层向量进行连接生成携带信息的嵌入向量。其中，CNN可选采用ResNet18架构，并使用其在ImageNet数据库上预训练得到的权重。可选地，还可以利用VGG网络模型进行特征提取。
在具体实现中，利用网络模型得到的嵌入向量可能携带冗余的信息，采用随机减少向量维数的方式或PCA降维方式对嵌入向量进行降维处理，实现降低模型复杂性，减少模型训练与测试时间，保持模型优良性能。
步骤S30：根据所述图像特征以及预先训练好的分布特征计算距离信息，并根据所述距离信息构成距离矩阵。
应当理解的是，预先训练好的分布特征是指预先从已知图像中学习到的图像像素值所服从分布的统计特征。预先训练好的分布特征包括多元高斯分布的样本均值和样本协方差。在一些实施例中可以通过马氏距离计算距离信息，并构成马氏矩阵，根据以下公式计算图像特征(i,j)位置与学习到的多元高斯分布N(uij,cij)之间的马氏距离：
其中，xij为图像特征中的(i,j)位置，uij为训练学习到的多元高斯分布的样本均值，cij为训练学习到的多元高斯分布的样本协方差。
在一些实施例中，所述分布特征包括多元高斯分布的样本均值和样本协方差；
所述方法还包括：获取正样本数据；根据所述正样本数据拟合多元高斯分布模型，确定多元高斯分布的样本均值和样本协方差。
需要说明的是，目前还有根据二元分类方法进行产品瑕疵检测的方式，但是由于生产线上瑕疵异常样本少而正样本充足的长尾分布现象、负样本收集较为困难，二元分类方法无法进行完全监督训练模型，导致模型的检测效率低。而本实施例中利用正样本数据进行训练学习，降低了样本收集难度，其中，正样本数据是指不存在瑕疵的产品图像。多元高斯分布可以捕获在训练正样本时来自不同语义层次的信息，包含各层次间的相性，利于提高后续的异常定位性能。具体地，利用设置于生产线上的相机对各类产品批量采集正样本图像，从多张正样本图像中依据上述特征提取方式提取(i,j)位置的嵌入向量集
M为正样本图像数量，样本均值和样本协方差的计算方式如下：
其中，假设Xij由多元高斯分布模型N(uij,cij)产生，uij是Xij的样本均值，cij是Xij的样本协方差，α是正则项来保证cij满秩且可逆，可进行马氏距离求解，基于多个正样本图像的嵌入向量集拟合多元高斯分布模型，最终每个位置通过高斯分布矩阵与多元高斯分布相关联。
步骤S40：根据所述距离矩阵生成包含分数信息的目标图像。
应当理解的是，通过马氏距离计算距离信息，构成的距离矩阵为马氏矩阵，根据步骤S30计算出构成异常地图的马氏矩阵M＝(M(xij))1＜i＜W,1＜j＜H，其中W和H为用于生成嵌入向量的最大激活图的分辨率。在具体实现中，利用双线性上采样和多维高斯滤波处理马氏矩阵，并对数值进行归一化，将数值控制在(0,1)之间得到包含分数信息的目标图像，目标图像中的各个点携带有对应的分数信息。
步骤S50：根据所述目标图像中的分数信息对所述目标图像进行异常位置定位，得到表面缺陷检测结果。
需要说明的是，可选地，根据预设检测阈值对目标图像进行二值化处理，其中，将分数信息大于预设检测阈值的点赋值为1，将分数小于预设检测阈值的点赋值为0，得到黑白图像，对该黑白图像进行图像形态学处理开运算(对图像进行先腐蚀后膨胀去除噪声保留原图)，确定开运算前后图像的映射关系(wred→wspl和hred→hspl)，将开运算处理后的黑白图像根据映射关系映射至原图像大小，采用斑点检测算法在映射后的黑白图像上进行斑点检测，确定存在斑点的区域位置坐标，得到表面缺陷检测结果。
在一些实施例中，为了提升异常位置的定位准确度，本实施例中设置有多个预设检测阈值，依据多个预设检测阈值对目标图像进行多次二值化处理，得到多个黑白图像，采用斑点检测算法分别检测多个黑白图像上斑点，并进行聚类，得到斑点集合，确定斑点集合的半径，并进行过滤，确定符合预设要求的区域位置坐标，得到表面缺陷检测结果。
目前还有利用模板匹配计算差值方法进行产品瑕疵检测的方式，主要是利用正确的模板图像与生产线采集的产品图像进行匹配计算像素差值，该方法对生产线的物理环境要求较高，例如产品表面光线条件、产品摆放等，以及该方法的处理速度较慢，无法满足高时效性的生产线。在具体实现中，参照图3，图3为本申请图像质量检测方法的自动检测系统示例图：
1、通过生产线相机扫描一维码，系统进入采图模式，若扫码成功，则相机采集图像同时调用MES系统(Manufacturing Execution System，制造执行系统)，确定生产线上的产品类型，便于后续区分产品类型；若扫码失败，客户端显示提示信息并亮红灯；
2、图像预处理模块：对图像进行裁剪，图像宽wori，图像高hori；对裁剪后的图像区域按一定规则进行拼接，图像宽wspl，图像高hspl；对拼接后的图像按照算法图像大小要求进行缩放，图像宽wred，图像高hred；
3、异常检测定位模块：将相机采集的图像输入至本实施例的图像质量检测方法进行检测，会返回异常分数的列表和对应的异常位置坐标的列表，若异常分数列表中的数值存在大于所设定的阈值，则客户端显示NG并亮红光，若异常分数列表中的数值均小于所设阈值，则客户端显示OK并亮绿光。
该系统搭配生产线客户端对每件产品进行拍照检测、异常定位、记录显示，在检测到存在瑕疵异常的产品时，客户端会输出NG亮红灯进行提示，并将异常产品图像单独保存，同时生产线将当前异常产品剔出。该系统的检测速度与精度可满足工业场景的要求，保障了生产线的生产流畅性和产品出厂的质量。
本实施例中根据产品的图像数据提取到的图像特征与预先训练好的分布特征构建包含分数信息的目标图像，基于目标图像中的分数信息定位出异常位置，实现了瑕疵产品的检出，避免了人工检测造成的效率低下，提升了瑕疵产品检测的准确性和检测效率，并且对图像中的异常位置进行定位，便于为规范生产操作提供数据支持。
参考图4，图4为本申请图像质量检测方法第二实施例的流程示意图。
基于上述第一实施例，本实施例图像质量检测方法中所述图像数据包括待检测产品的图像数据，所述步骤S10，包括：
步骤S101：获取待检测产品的初始图像。
步骤S102：根据产品模板图像对所述初始图像进行配准，得到第一图像。
应当理解的是，本实施例提供图像预处理方式，解决产品瑕疵检测过程中关注区域分散或长条状排列不利于算法处理的问题。生产线相机采集的初始图像中呈现的产品摆放随机或者产品区域在图像中占比小，不利于进行裁剪拼接，本实施例中根据产品模板图像对初始图像进行配准，校正相机图像，并保存配准对齐前后图像的映射矩阵Hinv。具体地，配准处理将待检测产品的初始图像与产品模板图像对齐。在具体实现中，确定初始图像对应的产品类别，根据产品类别确定对应的产品模板图像。
步骤S103：根据预设产品区域对所述第一图像进行裁剪，得到第二图像。
需要说明的是，预设产品区域为提前设置的与产品模板图像对应的图像区域，可选地，预设产品区域为提前基于产品瑕疵频发位置设置的图像区域。根据预设产品区域对第一图像进行裁剪，得到包括一个或多个图像区域的第二图像。
步骤S104：将所述第二图像置于预设背景图像上，生成图像数据。
应当理解的是，将第二图像置于预设背景图像上，叠加生成图像数据。若第二图像包括多个图像区域，可选地对裁剪得到的多个图像区域进行拼接和/或缩放，将处理后的图像置于预设背景图像上，叠加生成图像数据。可选地，预设背景图像为黑色衬底图像。在具体实现中，预设有多个不同尺寸的背景图像，根据第二图像(或拼接和/或缩放处理后的图像)的尺寸从多个背景图像中选择尺寸合适的预设背景图像。
需要说明的是，以产品模板图像对应一个预设产品区域为例进行说明，假设预设产品区域坐标为(xt_min,yt_min,xt_max,yt_max)，拼接区域坐标为(xr_min,yr_min,xr_max,yr_max)，设置合适大小的黑色衬底图像。裁剪后的第二图像的尺寸为：
w＝xt_max-xt_min；
h＝yt_max-yt_min；
将裁剪后的第二图像放置到黑色衬底图像上，坐标如下：
xstart＝xr_min；
xend＝xr_min+w；
ystart＝yr_min；
yend＝yr_min+h。
在一些实施例中，目前的产品瑕疵检测方式中无法自动进行产品的瑕疵异常区域的定位形成电子图像存档，不利于后期规范生产线人员操作和发挥数据价值。为了检测结果显示更加直观，便于检测结果图像的保存和后续查看，为为规范生产操作提供数据支持，所述步骤S102之后，所述方法还包括：存储所述初始图像与所述第一图像之间的映射矩阵；
所述步骤S50之后，所述方法还包括：确定异常位置坐标；根据所述预设产品区域和所述映射矩阵将所述异常位置坐标转化为所述初始图像对应的缺陷目标坐标；根据所述缺陷目标坐标和所述初始图像生成缺陷目标图像。
应当理解的是，本实施例提供图像后处理方式，将检测到的异常位置坐标映射回原图。可选地，以映射后的缺陷目标坐标为圆心，选择预设半径在图像上画圆，生成缺陷目标图像。
需要说明的是，以检测到一个异常区域为例件说明，假设检测到的异常位置坐标为(xcenter,ycenter)，则异常位置坐标映射回原图的计算过程如下：
1、消除在拼接时位移带来的位置变化影响：
xr_center＝xcenter-xr_min；
yr_center＝ycenter-yr_min；
2、消除在切割图像时位移带来的位置变化影响：
xt_center＝xr_center+xt_min；
yt_center＝yr_center+yt_min；
3、利用配准对齐时的映射逆矩阵处理(xt_center,yt_center)，使其还原至原图中的位置坐标：
(xori_center,yori_center)＝(xt_center,yt_center)×Hinv；
4、选取合适的半径长度r，以(xori_center,yori_center)为圆心在相机采集的原图上标记异常区域位置，在客户端显示和并进行保存。
参照图5(a)-5(f)，图5(a)-5(f)分别为门体钣金表面检测场景下的模板图像、生产线相机采集图像、预处理后图像、二值化处理后的黑白图像、异常定位图像、映射回原图的异常定位图像，电器门体钣金表面瑕疵检测处理的过程为：选取模板图像，对生产线采集的图像进行配准对齐，由于门体钣金较大，不利于算法一次性整体处理，因此采用切分为两部进行检测，切割后形成待检测图像，将待检测图像输入本实施例的图像质量检测方法，获取异常区域中心坐标，将获得的异常区域中心坐标映射回生产线采集的图像，进行异常区域标记与客户端显示。
参照图6(a)-6(f)，图6(a)-6(f)分别为注塑结构件检测场景下的模板图像、生产线相机采集图像、预处理后图像、二值化处理后的黑白图像、异常定位图像、映射回原图的异常定位图像，电器风道板注塑结构件的瑕疵检测处理过程为，选取模板图像，对生产线采集的图像进行配准对齐，由于注塑结构件较大且关注区域分布较散，因此采用目标区域切割拼接形成待检测图像，将待检测图像输入本实施例的图像质量检测方法，获得异常区域中心坐标，将获得的异常区域中心坐标映射回生产线采集的图像，进行异常区域标记与客户端显示。
参照图7(a)-7(f)，图7(a)-7(f)分别为丝网印刷检测场景下的模板图像、生产线相机采集图像、预处理后图像、二值化处理后的黑白图像、异常定位图像、映射回原图的异常定位图像，电器操作面板丝网印刷检测处理的过程为：选取模板图像，对生产线图像进行配准对齐，由于目标在成像中呈现长条形状，因此采用了切割拼接形成待检测图像，将待检测图像输入本实施例的图像质量检测方法，获得异常区域中心坐标，将获得的异常区域中心坐标映射回生产线采集图像，进行异常区域标记与客户端显示。
本实施例通过对产品图像配准、切割区域并拼接，使产品区域集中，从而解决瑕疵关注区域长条状分布排列或位置分布较为分散，不利于后续算法处理判别的问题，提升了瑕疵产品检测的准确性和检测效率。
参考图8，图8为本申请图像质量检测方法第三实施例的流程示意图。
基于上述第一实施例，本实施例图像质量检测方法的所述步骤S50，包括：
步骤S501：获取多个目标阈值。
应当理解的是，多个目标阈值可以为提前设置的多个不同的预设参数值。可选地，控制器存储有提前设置的最低阈值、最高阈值和阈值步长，以阈值步长为间隔在最低阈值和最高阈值之间取得一系列的阈值，得到多个目标阈值。
步骤S502：分别根据各个所述目标阈值和所述目标图像中的分数信息对所述目标图像进行二值化处理，得到多个待检测图像。
需要说明的是，利用多个目标阈值对目标图像进行二值化处理，得到多个待检测图像，其中，将目标图像中分数信息大于目标阈值的点赋值为1，将分数小于目标阈值的点赋值为0。
步骤S503：对所述多个待检测图像进行斑点检测，确定存在斑点的异常位置坐标，得到异常检测结果。
应当理解的是，可选地，检测多个待检测图像中的斑点，将各个斑点的中心位置确定为异常位置坐标，得到表面缺陷检测结果。
可选地，所述步骤S503，包括：对所述多个待检测图像分别进行边缘查找，得到各所述待检测图像的轮廓信息；根据所述轮廓信息确定各所述待检测图像的轮廓中心位置；对所述多个待检测图像的轮廓中心位置进行聚类，得到斑点集合；确定所述斑点集合的半径信息；根据所述半径信息对所述斑点集合进行过滤，确定满足预设要求的异常位置坐标，得到表面缺陷检测结果。
需要说明的是，控制器存储有提前设置的最小斑点间距值、最小区域面积值和最大区域面积值。对多个二值化处理后的图像进行边缘查找，并计算每一个轮廓的轮廓中心位置，提取多个待检测图像中检测出的轮廓中心位置，将中心位置距离小于最小斑点间距值的轮廓中心位置归属为一个团组，对应一个斑点集合，最终得到一个或多个斑点集合，估计斑点集合的半径大小，根据半径大小计算斑点集合的面积，依据最小区域面积值与最大区域面积值对斑点集合进行过滤，确定满足预设要求的异常位置坐标，得到表面缺陷检测结果。例如，根据半径大小计算A斑点集合的面积为S，若S大于最大区域面积值或小于最小区域面积值，则将A斑点集合过滤掉。
本实施例中利用多个目标阈值分别对包含分数信息的目标图像进行二值化处理，得到多个待检测图像，对多个待检测图像进行斑点检测，确定存在斑点的异常位置坐标，得到表面缺陷检测结果，提升了异常位置的定位准确度，进一步提升了瑕疵产品检测的准确性和检测效率。
本申请实施例提出了一种工业产品的表面缺陷检测方法，参照图9，图9为本申请工业产品的表面缺陷检测方法第一实施例的流程示意图。
如图9所示，本申请实施例提出的工业产品的表面缺陷检测方法包括：
步骤S01：确定待检测工业产品的产品标识。
可以理解的是，位于生产线上的待检测工业产品上贴有标识码，用于对各产品进行标识和区分，标识码可以为条形码(一维码)，还可以为二维码，本实施对此不加以限制。通过生产线相机扫描位于检测范围内的待检测工业产品的标识码，从而确定待检测工业产品的产品标识。
步骤S02：根据所述产品标识获取所述产品标识对应的产品信息。
需要说明的是，可选地，根据产品标识调用制造执行系统(MES)，获取对应的产品信息，产品信息至少包括待检测工业产品的产品类别。
步骤S03：采集待检测产品的初始图像，并根据所述产品信息对所述图像进行预处理，得到图像数据。
在具体实现中，根据产品信息中包括的产品类别确定对应的产品模板图像和预设产品区域，预处理过程可以为：根据产品模板图像对所述初始图像进行配准，得到第一图像；根据预设产品区域对所述第一图像进行裁剪，得到第二图像；将所述第二图像置于预设背景图像上，生成图像数据。
步骤S04：从所述图像数据中提取图像特征。
具体地，所述步骤S04，包括：对所述图像数据进行归一化处理，得到标准图像；对所述标准图像进行特征提取，生成嵌入向量；对所述嵌入向量进行降维处理，得到图像特征。
在一些实施例中，可以利用均值和标准差对图像数据进行归一化处理。均值可以包括图像R、G、B三个通道中至少一个通道的均值，标准差可以包括R、G、B三个通道中至少一个通道的标准差，均值和标准差为预先基于大批量图像计算得到的。
需要说明的是，可选地，可以利用卷积神经网络模型(CNN)对标准图像进行特征提取，并对激活图中不同层向量进行连接生成携带信息的嵌入向量。其中，CNN可选采用ResNet18架构，并使用其在ImageNet数据库上预训练得到的权重。可选地，还可以利用VGG网络模型进行特征提取。
在具体实现中，利用网络模型得到的嵌入向量可能携带冗余的信息，采用随机减少向量维数的方式或PCA降维方式对嵌入向量进行降维处理，实现降低模型复杂性，减少模型训练与测试时间，保持模型优良性能。
步骤S05：根据所述图像特征以及预先训练好的分布特征计算距离信息，并根据所述距离信息构成距离矩阵。
应当理解的是，预先训练好的分布特征是指预先从已知图像中学习到的图像像素值所服从分布的统计特征。预先训练好的分布特征包括多元高斯分布的样本均值和样本协方差。在一些实施例中可以通过马氏距离计算距离信息，并构成马氏矩阵，根据以下公式计算图像特征(i,j)位置与学习到的多元高斯分布N(uij,cij)之间的马氏距离：
其中，xij为图像特征中的(i,j)位置，uij为训练学习到的多元高斯分布的样本均值，cij为训练学习到的多元高斯分布的样本协方差。
在一些实施例中，所述预设分布特征包括多元高斯分布的样本均值和样本协方差；所述方法还包括：获取正样本数据；根据所述正样本数据拟合多元高斯分布模型，确定多元高斯分布的样本均值和样本协方差。
需要说明的是，目前还有根据二元分类方法进行产品瑕疵检测的方式，但是由于生产线上瑕疵异常样本少而正样本充足的长尾分布现象、负样本收集较为困难，二元分类方法无法进行完全监督训练模型，导致模型的检测效率低。而本实施例中利用正样本数据进行训练学习，降低了样本收集难度，其中，正样本数据是指不存在瑕疵的产品图像。多元高斯分布可以捕获在训练正样本时来自不同语义层次的信息，包含各层次间的相性，利于提高后续的异常定位性能。具体地，利用设置于生产线上的相机对各类产品批量采集正样本图像，从多张正样本图像中依据上述特征提取方式提取(i,j)位置的嵌入向量集
M为正样本图像数量，样本均值和样本协方差的计算方式如下：
其中，假设Xij由多元高斯分布模型N(uij,cij)产生，uij是Xij的样本均值，cij是Xij的样本协方差，α是正则项来保证cij满秩且可逆，可进行马氏距离求解，基于多个正样本图像的嵌入向量集拟合多元高斯分布模型，最终每个位置通过高斯分布矩阵与多元高斯分布相关联。
步骤S06：根据所述距离矩阵生成包含分数信息的目标图像。
应当理解的是，通过马氏距离计算距离信息，构成的距离矩阵为马氏矩阵，根据上述步骤计算出构成异常地图的马氏矩阵M＝(M(xij))1＜i＜W,1＜j＜H，其中W和H为用于生成嵌入向量的最大激活图的分辨率。在具体实现中，利用双线性上采样和多维高斯滤波处理马氏矩阵，并对数值进行归一化，将数值控制在(0,1)之间得到包含分数信息的目标图像，目标图像中的各个点携带有对应的分数信息。
步骤S07：根据所述目标图像中的分数信息对所述目标图像进行异常位置定位，得到异常检测结果。
需要说明的是，可选地，根据预设检测阈值对目标图像进行二值化处理，其中，将分数信息大于预设检测阈值的点赋值为1，将分数小于预设检测阈值的点赋值为0，得到黑白图像，对该黑白图像进行图像形态学处理开运算(对图像进行先腐蚀后膨胀去除噪声保留原图)，确定开运算前后图像的映射关系(wred→wspl和hred→hspl)，将开运算处理后的黑白图像根据映射关系映射至原图像大小，采用斑点检测算法在映射后的黑白图像上进行斑点检测，确定存在斑点的区域位置坐标，得到表面缺陷检测结果。
在一些实施例中，为了提升异常位置的定位准确度，本实施例中设置有多个预设检测阈值，依据多个预设检测阈值对目标图像进行多次二值化处理，得到多个黑白图像，采用斑点检测算法分别检测多个黑白图像上斑点，并进行聚类，得到斑点集合，确定斑点集合的半径，并进行过滤，确定符合预设要求的区域位置坐标，得到表面缺陷检测结果。
步骤S08：将所述异常检测结果发送至所述制造执行系统。
可以理解的是，制造执行系统至少具备生产过程控制功能和产品质量管理功能，将异常检测结果传入制造执行系统，一方面，便于制造执行系统对异常产品的后续生产流程进行管控，避免瑕疵产品流入市场，另一方面，便于制造执行系统存储正常产品和异常产品的信息，以便管理人员后续查询。
目前还有利用模板匹配计算差值方法进行产品瑕疵检测的方式，主要是利用正确的模板图像与生产线采集的产品图像进行匹配计算像素差值，该方法对生产线的物理环境要求较高，例如产品表面光线条件、产品摆放等，以及该方法的处理速度较慢，无法满足高时效性的生产线。参照图3：
1、通过生产线相机扫描一维码，系统进入采图模式，若扫码成功，则相机采集图像同时调用MES系统(Manufacturing Execution System，制造执行系统)，确定生产线上的产品类型，便于后续区分产品类型；若扫码失败，客户端显示提示信息并亮红灯
2、图像预处理模块：对图像进行裁剪，图像宽wori，图像高hori；对裁剪后的图像区域按一定规则进行拼接，图像宽wspl，图像高hspl；对拼接后的图像按照算法图像大小要求进行缩放，图像宽wred，图像高hred；
3、异常检测定位模块：将相机采集的图像输入至本实施例的工业产品的表面缺陷检测方法进行检测，会返回异常分数的列表和对应的异常位置坐标的列表，若异常分数列表中的数值存在大于所设定的阈值，则客户端显示NG并亮红光，若异常分数列表中的数值均小于所设阈值，则客户端显示OK并亮绿光。
该系统搭配生产线客户端对每件产品进行拍照检测、异常定位、记录显示，在检测到存在瑕疵异常的产品时，客户端会输出NG亮红灯进行提示，并将异常产品图像单独保存，同时生产线将当前异常产品剔出。该系统的检测速度与精度可满足工业场景的要求，保障了生产线的生产流畅性和产品出厂的质量。
应当理解的是，以上仅为举例说明，对本申请的技术方案并不构成任何限定，在具体应用中，本领域的技术人员可以根据需要进行设置，本申请对此不做限制。
本实施例中扫描产品的标识码，获取产品信息，根据产品信息对产品的图像数据预处理，得到图像数据，根据图像数据中提取到的图像特征与预先训练好的分布特征构建包含分数信息的目标图像，基于目标图像中的分数信息定位出异常位置，将异常检测结果发送至制造执行系统，适用于工业产品生产场景，实现了瑕疵产品的检出，避免了人工检测造成的效率低下，提升了瑕疵产品检测的准确性和检测效率，并且对图像中的异常位置进行定位，便于为规范生产操作提供数据支持。
需要说明的是，以上所描述的工作流程仅仅是示意性的，并不对本申请的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的，此处不做限制。
另外，未在本实施例中详尽描述的技术细节，可参见本申请任意实施例所提供的图像质量检测方法，此处不再赘述。
此外，本申请实施例还提出一种存储介质，所述存储介质上存储有图像质量检测程序，所述图像质量检测程序被处理器执行时实现如上文所述的图像质量检测方法或工业产品的表面缺陷检测方法。
由于本存储介质采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。
此外，需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器(Read OnlyMemory，ROM)/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。
Claims (10)
1.一种图像质量检测方法，其特征在于，所述方法包括：
获取图像数据；
从所述图像数据中提取图像特征；
根据所述图像特征以及预先训练好的分布特征计算距离信息，并根据所述距离信息构成距离矩阵；
根据所述距离矩阵生成包含分数信息的目标图像；
根据所述目标图像中的分数信息对所述目标图像进行异常位置定位，得到异常检测结果。
2.如权利要求1所述的图像质量检测方法，其特征在于，所述分布特征包括多元高斯分布的样本均值和样本协方差；
所述方法还包括：
获取正样本数据；
根据所述正样本数据拟合多元高斯分布模型，确定多元高斯分布的样本均值和样本协方差。
3.如权利要求1所述的图像质量检测方法，其特征在于，所述图像数据包括待检测产品的图像数据，所述获取图像数据，包括：
获取待检测产品的初始图像；
根据产品模板图像对所述初始图像进行配准，得到第一图像；
根据预设产品区域对所述第一图像进行裁剪，得到第二图像；
将所述第二图像置于预设背景图像上，生成图像数据。
4.如权利要求3所述的图像质量检测方法，其特征在于，所述根据产品模板图像对所述初始图像进行配准，得到第一图像之后，所述方法还包括：
存储所述初始图像与所述第一图像之间的映射矩阵；
所述根据所述目标图像中的分数信息对所述目标图像进行异常位置定位，得到异常检测结果之后，所述方法还包括：
确定异常位置坐标；
根据所述预设产品区域和所述映射矩阵将所述异常位置坐标转化为所述初始图像对应的缺陷目标坐标；
根据所述缺陷目标坐标和所述初始图像生成缺陷目标图像。
5.如权利要求1所述的图像质量检测方法，其特征在于，所述根据所述目标图像中的分数信息对所述目标图像进行异常位置定位，得到异常检测结果，包括：
获取多个目标阈值；
分别根据各个所述目标阈值和所述目标图像中的分数信息对所述目标图像进行二值化处理，得到多个待检测图像；
对所述多个待检测图像进行斑点检测，确定存在斑点的异常位置坐标，得到异常检测结果。
6.如权利要求5所述的图像质量检测方法，其特征在于，所述对所述多个待检测图像进行斑点检测，确定存在斑点的异常位置坐标，得到异常检测结果，包括：
对所述多个待检测图像分别进行边缘查找，得到各所述待检测图像的轮廓信息；
根据所述轮廓信息确定各所述待检测图像的轮廓中心位置；
对所述多个待检测图像的轮廓中心位置进行聚类，得到斑点集合；
确定所述斑点集合的半径信息；
根据所述半径信息对所述斑点集合进行过滤，确定满足预设要求的异常位置坐标，得到异常检测结果。
7.如权利要求1-6中任一项所述的图像质量检测方法，其特征在于，所述从所述图像数据中提取图像特征，包括：
对所述图像数据进行归一化处理，得到标准图像；
对所述标准图像进行特征提取，生成嵌入向量；
对所述嵌入向量进行降维处理，得到图像特征。
8.一种工业产品的表面缺陷检测方法，其特征在于，包括如权利要求1至7中任意一项所述的图像质量检测方法，所述工业产品的表面缺陷检测方法包括：
确定待检测工业产品的产品标识；
根据所述产品标识获取所述产品标识对应的产品信息；
采集待检测产品的初始图像，并根据所述产品信息对所述图像进行预处理，得到图像数据；
从所述图像数据中提取图像特征；
根据所述图像特征以及预先训练好的分布特征计算距离信息，并根据所述距离信息构成距离矩阵；
根据所述距离矩阵生成包含分数信息的目标图像；
根据所述目标图像中的分数信息对所述目标图像进行异常位置定位，得到异常检测结果；
将所述异常检测结果发送至所述制造执行系统。
9.一种图像质量检测设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像质量检测程序，所述图像质量检测程序配置为实现如权利要求1至7中任一项所述的图像质量检测方法，或者所述图像质量检测程序配置为实现如权利要求8所述的一种工业产品的表面缺陷检测方法。
10.一种存储介质，其特征在于，所述存储介质上存储有图像质量检测程序，所述图像质量检测程序被处理器执行时实现如权利要求1至7任一项所述的图像质量检测方法，或者所述图像质量检测程序被处理器执行时实现如权利要求8所述的一种工业产品的表面缺陷检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211541620.7A CN115797292A (zh) | 2022-12-02 | 2022-12-02 | 图像质量检测方法、表面缺陷检测方法、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211541620.7A CN115797292A (zh) | 2022-12-02 | 2022-12-02 | 图像质量检测方法、表面缺陷检测方法、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115797292A true CN115797292A (zh) | 2023-03-14 |
Family
ID=85445181
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211541620.7A Pending CN115797292A (zh) | 2022-12-02 | 2022-12-02 | 图像质量检测方法、表面缺陷检测方法、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115797292A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116563281A (zh) * | 2023-07-07 | 2023-08-08 | 浙江省北大信息技术高等研究院 | 五金件质量检测方法、装置、计算机设备及存储介质 |
-
2022
- 2022-12-02 CN CN202211541620.7A patent/CN115797292A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116563281A (zh) * | 2023-07-07 | 2023-08-08 | 浙江省北大信息技术高等研究院 | 五金件质量检测方法、装置、计算机设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104143094A (zh) | 一种无需答题卡的试卷自动阅卷处理方法及系统 | |
| CN111310826B (zh) | 样本集的标注异常检测方法、装置及电子设备 | |
| WO2020038138A1 (zh) | 样本标注方法及装置、损伤类别的识别方法及装置 | |
| CN115131283A (zh) | 目标对象的缺陷检测、模型训练方法、装置、设备及介质 | |
| CN114463567B (zh) | 一种基于区块链的智慧教育作业大数据防抄袭方法与系统 | |
| CN113673500A (zh) | 证件图像识别方法、装置、电子设备及存储介质 | |
| WO2021232670A1 (zh) | 一种pcb元件识别方法及装置 | |
| CN115359239A (zh) | 风电叶片缺陷检测定位方法、装置、存储介质和电子设备 | |
| CN115797292A (zh) | 图像质量检测方法、表面缺陷检测方法、设备及存储介质 | |
| CN113435219B (zh) | 防伪检测方法、装置、电子设备及存储介质 | |
| CN111028209B (zh) | 一种电话机丝印质量检测方法及系统 | |
| CN115546219B (zh) | 检测板式生成方法、板卡缺陷检测方法、装置及产品 | |
| CN110210465A (zh) | 一种数据采集的方法及系统 | |
| CN113743434A (zh) | 一种目标检测网络的训练方法、图像增广方法及装置 | |
| CN116258703A (zh) | 缺陷检测方法、装置、电子设备及计算机可读存储介质 | |
| CN112861861B (zh) | 识别数码管文本的方法、装置及电子设备 | |
| CN114494142A (zh) | 一种基于深度学习的移动终端中框缺陷检测方法及装置 | |
| CN113269052A (zh) | 价签识别方法、终端、存储装置 | |
| CN114596243A (zh) | 缺陷检测方法、装置、设备及计算机可读存储介质 | |
| CN112507999B (zh) | 基于视觉特征的非侵入式用户界面输入项识别方法 | |
| CN116403098B (zh) | 一种票据篡改检测方法及系统 | |
| CN114491131B (zh) | 对候选图像进行重新排序的方法、装置和电子设备 | |
| CN116894930B (zh) | 基于ai+ar的数字作业指导系统 | |
| CN117011216A (zh) | 一种缺陷检测方法、装置、电子设备及存储介质 | |
| CN117789085A (zh) | 地图检测方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |