CN117173200B - 一种图像分割方法、装置、设备和介质 - Google Patents
一种图像分割方法、装置、设备和介质 Download PDFInfo
- Publication number
- CN117173200B CN117173200B CN202311454681.4A CN202311454681A CN117173200B CN 117173200 B CN117173200 B CN 117173200B CN 202311454681 A CN202311454681 A CN 202311454681A CN 117173200 B CN117173200 B CN 117173200B
- Authority
- CN
- China
- Prior art keywords
- image
- input image
- sub
- processing
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000003709 image segmentation Methods 0.000 title claims abstract description 38
- 238000012545 processing Methods 0.000 claims abstract description 96
- 230000007547 defect Effects 0.000 claims abstract description 58
- 238000001514 detection method Methods 0.000 claims abstract description 50
- 230000000877 morphologic effect Effects 0.000 claims abstract description 24
- 238000009792 diffusion process Methods 0.000 claims abstract description 22
- 238000005070 sampling Methods 0.000 claims abstract description 15
- 238000001914 filtration Methods 0.000 claims description 47
- 230000006870 function Effects 0.000 claims description 21
- 230000015654 memory Effects 0.000 claims description 17
- 238000006243 chemical reaction Methods 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 11
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 7
- 238000009499 grossing Methods 0.000 claims description 6
- 238000012952 Resampling Methods 0.000 claims description 3
- 238000009795 derivation Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 abstract description 7
- 230000008569 process Effects 0.000 description 19
- 238000004364 calculation method Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 230000000052 comparative effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000002950 deficient Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 230000004069 differentiation Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种图像分割方法、装置、设备和介质，涉及图像处理技术领域，旨在解决现有技术对输入图像进行图像分割处理时，分割质量较差的技术问题。所述图像分割方法，包括以下步骤：获取第一输入图像；其中，所述第一输入图像为待缺陷检测的扩散板图像；对所述第一输入图像采用间隔采样处理，获得第二输入图像；将所述第二输入图像进行形态学重建处理后，获得子图像；将所述子图像和所述第二输入图像进行多通道拼接处理，获得目标图像。通过本申请所述方法对图像进行分割的效率得到了显著的提升。
Description
技术领域
本申请涉及图像处理技术领域，尤其涉及一种图像分割方法、装置、设备和介质。
背景技术
在工业缺陷检测技术领域，输入图像大多为高分辨率的灰度图，但在输入图像中所含的缺陷区域通常较小。因此，为了保证缺陷检测精度，一般需要对图像中的特征像素进行分割处理。
但目前的图像分割方法为了将输入尺寸降低，会忽视分割后图像的像素信息的完整性，这也就导致了分割处理后的图像成像质量较差，进而影响后续缺陷检测的精确度。
发明内容
本申请实施例提供了一种图像分割方法、装置、设备和介质，解决了现有技术对输入图像进行图像分割处理时，分割质量较差的技术问题。
一方面，本申请实施例提供了一种图像分割方法，包括以下步骤：
获取第一输入图像；其中，所述第一输入图像为待缺陷检测的扩散板图像；
对所述第一输入图像采用间隔采样处理，获得第二输入图像；
将所述第二输入图像进行形态学重建处理后，获得子图像；
将所述子图像和所述第二输入图像进行多通道拼接处理，获得目标图像。
作为本申请一些可选实施方式，所述将所述第二输入图像进行形态学重建处理后，获得子图像，包括：
基于高斯平滑算法和微分求导的离散微分算子，计算所述第二输入图像的灰度函数近似梯度值；
基于所述灰度函数近似梯度值，获得所述第二输入图像的边缘特征信息；
基于所述边缘特征信息，对所述第二输入图像进行形态学重建处理后，获得子图像。
通过上述步骤处理后，相较于处理前，可以获得噪声更低且边缘更清晰的子图像。
作为本申请一些可选实施方式，所述将所述第二输入图像进行形态学重建处理后，获得子图像，包括：
将所述第二输入图像进行空间域滤波处理，获得第一子图像；
将所述第二输入图像进行频域滤波处理，获得第二子图像；
将所述第二输入图像进行灰度变换处理，获得第三子图像。
可以看出，本申请通过上述三种处理方式，获得了三种特性子图像，分别降低了图像噪声的第一子图像、增强边缘信息使得缺陷区域更为突出的第二子图像以及有效对图像中条带进行了保真处理的第三子图像。
具体来说，所述将所述第二输入图像进行空间域滤波处理，获得第一子图像，包括：
将所述第二输入图像进行空间域滤波处理后，通过滤波反投影重建图像，获得第一子图。
在经过空间域滤波处理后获得的第一子图像，与原图相比，可以很明显看出其降低了除特征信息以外的噪音，如高斯噪音或其他噪声信息等，从而加快了模型的收敛速度和预测速度。
作为本申请一些可选实施方式，所述将所述第二输入图像进行频域滤波处理，获得第二子图像，包括：
将所述第二输入图像进行频域滤波处理后，通过滤波反投影重建图像，获得第二子图像。
在经过频域滤波处理后获得的第二子图像，与原图相比，可以很明显看出其特征区域更明显，即缺陷区域更为突出，更便于被模型所识别。
作为本申请一些可选实施方式，所述将所述第二输入图像进行频域滤波处理后，通过滤波反投影重建图像，获得第二子图像，包括：
将所述第二输入图像进行傅里叶变换后，采用掩膜处理方式将图像中的低频信息滤掉，获得第一频滤图像；
将所述第一频滤图像进行傅里叶逆变换后，将图像中的矢量值转换为标量值，并将标量值反投影重建图像，获得第二子图像。
具体来说，所述将所述第二输入图像进行灰度变换处理，获得第三子图像，包括：
将所述第二输入图像进行灰度变换处理后，进行空间变换处理，获得第三子图像。
在经过灰度变换处理和空间变换处理后获得的第三子图像，与原图相比，可以很明显看出其有效避免了图像条带失真。
作为本申请一些可选实施方式，所述第二输入图像的每一行像素值小于所述第一输入图像的每一行像素值，所述第二输入图像的每一列像素值小于所述第一输入图像的每一列像素值，所述第二输入图像的每一个通道的像素值大于所述第一输入图像的每一个通道的像素值。
通过上述处理步骤，本申请保证了在对图像进行下采样时不丢失信息，同时也能缩小图像输入，加快模型训练和预测速度。
作为本申请一些可选实施方式，在所述将所述子图像和所述第二输入图像进行多通道拼接处理，获得目标图像之后，还包括：
将所述目标图像输入至目标检测模型中进行目标检测，以获得目标检测信息；其中，所述目标检测信息包括目标缺陷位置、目标缺陷尺寸和目标缺陷类型；其中，所述目标检测模型为基于扩散板样本图像训练获得的yolo v5模型，所述扩散板样本图像中包含目标缺陷区域。
通过上述步骤，可以有效提高缺陷区域的检测效率。
作为本申请一些可选实施方式，所述图像分割方法应用于yolo v5模型中的Focus模块。
通过将本申请实施例所述方法整合到yolo v5模型中的Focus模块。因此避免了在cpu模块上进行计算，在整合在Focus模块上后，则可以将计算过程转移到计算能力更强的GTU模块上，从而加快了计算速度。
再一方面，本申请实施例提供了一种图像分割装置，包括：
获取图像模块，用于获取第一输入图像；其中，所述第一输入图像为待缺陷检测的扩散板图像；
重采样模块，用于对所述第一输入图像采用间隔采样处理，获得第二输入图像；
图像重建模块，用于将所述第二输入图像进行形态学重建处理后，获得子图像；
图像融合模块，用于将所述子图像和所述第二输入图像进行多通道拼接处理，获得目标图像。
再一方面，本申请实施例提供了一种电子设备，包括：存储器和处理器，所述存储器中存储有获取机程序，所述处理器执行所述获取机程序，实现前述方法。
再一方面，本申请实施例提供了一种获取机可读存储介质，所述获取机可读存储介质上存储有获取机程序，所述处理器执行所述获取机程序，实现前述方法。
与现有技术相比，本申请实施例所述方案提供了一种图像分割方法，在获取待缺陷检测的扩散板图像后，如果对其直接进行下采样，或损失部分微弱信息，因此本申请通过对所述待缺陷检测的扩散板图像进行间隔采样的方式，将原图像转换为宽高均减半的同时，将信息存储在通道上，以此保证下采样时不丢失信息，且缩小了图像的输入尺寸，从而加快模型训练或推理的速度。但在通过间隔采样后获得的第二输入图像会存在较多冗余信息，因此在通道上拼接会造成部分权值用于提取保存相同输入的信息，因此本申请实施例通过将所述第二输入图像进行形态学重建处理后，获得子图像；再将所述子图像和所述第二输入图像进行多通道拼接处理，获得目标图像。可以看出上述方法在对图像进行分割时，能提高分割质量，从而在后续训练过程中，减少了网络迭代次数，加快了模型的收敛速度，进而在后续实际应用时，提高了模型的检测速度。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种电子设备的结构示意图；
图2是本申请实施例提供的一种图像分割的流程示意图；
图3是本申请实施例提供的一种第二输入图像示意图；
图4是本申请实施例同的一种获得目标图像的流程示意图；
图5是本申请实施例提供的一种第一类别缺陷的对比图像；
图6是本申请实施例提供的一种第二类别缺陷的对比图像；
图7是本申请实施例提供的一种第三类别缺陷的对比图像；
图8是本申请实施例提供的一种第四类别缺陷的对比图像；
图9是本申请实施例提供的一种图像分割装置的结构示意图。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
缺陷检测是工业界在产品生产过程中为了保证产品良率必须设置的一环，在产品生产过程中会产生多种缺陷，传统的工厂采用工业相机拍照，人工肉眼检测的方式来检出缺陷，这种方式会增加很大的人工成本，且人工由于疲劳等因素检测质量不稳定。近年来，深度学习和人工智能发展迅速，基于深度学习目标检测算法的图像缺陷检测开始应用在工业缺陷检测过程中，用于替代人工检测，降低人工成本并提高检测准确率。
工业检测中，大部分是高分辨率的灰度图，而真正的缺陷所占像素区域很小。为保证检测精度。图像一般很少下采样，或者下采样倍数普遍偏低，这就导致图像的输入很大，很占用硬件资源。并且灰度图中，由于成像差异，材质问题。成像设备很难覆盖多材质，多工况产品线的缺陷产品成像问题。故而导致有些缺陷产品成像质量不佳，需要图像增强予以保证后期的检测处理效果。所以大分辨率图像输入，大分辨率图像增强的高时效性成为一个需要重视的问题。
也就是说，在工业缺陷检测技术领域，输入图像大多为高分辨率的灰度图，但在输入图像中所含的缺陷区域通常较小。因此，为了保证缺陷检测精度，一般需要对图像中的特征像素进行分割处理。但目前的图像分割方法为了将输入尺寸降低，会忽视分割后图像的像素信息的完整性，这也就导致了分割处理后的图像成像质量较差，进而影响后续缺陷检测的精确度。
基于上述技术问题，本申请为在保证像素信息不减少的情况下进行下采样，并进行相应子结果的预处理，以提高算法时效性，增强算法落地的可行性，提出了以下技术方案：一种图像分割方法，包括以下步骤：获取第一输入图像；其中，所述第一输入图像为待缺陷检测的扩散板图像；对所述第一输入图像采用间隔采样处理，获得第二输入图像；将所述第二输入图像进行形态学重建处理后，获得子图像；将所述子图像和所述第二输入图像进行多通道拼接处理，获得目标图像。
参照图1，图1为本申请实施例方案涉及的硬件运行环境的电子设备结构示意图。
如图1所示，该电子设备可以包括：处理器1001，例如中央处理器（CentralProcessing Unit，CPU），通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（Display）、输入单元比如键盘（Keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如无线保真（WIreless-FIdelity，WI-FI）接口）。存储器1005可以是高速的随机存取存储器（RandomAccess Memory，RAM）存储器，也可以是稳定的非易失性存储器（Non-Volatile Memory，NVM），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、数据存储模块、网络通信模块、用户接口模块以及电子程序。
在图1所示的电子设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本申请电子设备中的处理器1001、存储器1005可以设置在电子设备中，所述电子设备通过处理器1001调用存储器1005中存储的图像分割装置，并执行本申请实施例提供的图像分割方法。
参见图2，本申请的实施例提供了：一种图像分割方法，包括以下步骤：
步骤S10、获取第一输入图像。
需要说明的是，所述第一输入图像为待缺陷检测的扩散板图像，如一张[H,W,3]的图片，所述H是指图像的高度尺寸值，W是指图像的宽度尺寸值，3是指图像的通道值。如果对上述图像进行直接下采样，则会损失部分微弱信息。因此本申请实施例针对上述技术缺陷，采用间隔采样的方式，提高输入图像的质量，即：
步骤S20、对所述第一输入图像采用间隔采样处理，获得第二输入图像。
需要说明的是，所述间隔采样处理的具体步骤为：采用步长为2的方式将原图转换成[H/2,W/2,3*4]的形式，在宽高上减小尺寸的同时，将通道增加4倍，因此保证在对图像进行下采样时不丢失信息，同时也能缩小图像输入，加快模型训练和预测速度。也就是说，所述第二输入图像的每一行像素值小于所述第一输入图像的每一行像素值，所述第二输入图像的每一列像素值小于所述第一输入图像的每一列像素值，所述第二输入图像的每一个通道的像素值大于所述第一输入图像的每一个通道的像素值。
所述第二输入图像如图3所示，需要说明的是，图3（1）表示为原图，即第一输入图像；图3（2）表示为间隔采样处理后的第二输入图像，其中图3（1）和图3（2）中的数字1表示为第一次采样的像素格，数字2表示为第二次采样的像素格，数字3表示为第三次采样的像素格，数字4表示为第四次采样的像素格。
仍存在较多冗余信息，因此在通道上拼接会造成部分权值用于提取保存相同输入的信息。同时，某些工业场景缺陷肉眼难以识别，需要特定的数据增强方法，但如果离线做会增加流程难度，也就是说，如果是对样本图像进行预处理，如图像标注或其他数据增强处理，均会导致在实际图像检测时，需要进行同样的预处理步骤，从而导致增加流程难度。并且如果是对整张图像进行预处理，则会存在和某些特征冲突。因此本申请实施例采用子图增强，在扩散板工业检测场景下，使用了凸显轮廓的增强方法。但在子图增强之前，需要先获得第二输入图像的子图像，即：
步骤S30、将所述第二输入图像进行形态学重建处理后，获得子图像。
需要说明的是，本申请实施例采用了结合了高斯平滑和微分求导的离散微分算子(Sobel 算子)，来计算图像灰度函数的近似梯度。在像素值发生跃迁的地方，就是图像边缘特征。这样来增强整个图片的边缘信息，使得模型更容易提取边缘特征，融合sobel在x,y方向上的卷积核后，算子的卷积核变为：
通过采用如上卷积核对子图像进行卷积操作，获得增强后的子图像。
除了空间域上的高通滤波可以增强边缘信息外，频域滤波一样可以，在改工业场景下，本申请使用了傅里叶变化，同时使用掩模将图像低频信息滤掉，再使用傅里叶逆变换并同时将矢量转换成标量将值映射到图像合理范围内。完成特征的增强（因为过滤掉了低频信息，所以相对突出了高频信息）。
具体来说，步骤S30所述将所述第二输入图像进行形态学重建处理后，获得子图像，包括：
步骤S31、基于高斯平滑算法和微分求导的离散微分算子，计算所述第二输入图像的灰度函数近似梯度值。
需要说明的是，所述高斯平滑算法和微分求导的离散微分算子是像素图像边缘检测中最重要的算子之一，它是一个离散的二阶差分算子，用来计算图像亮度函数的阶梯度之近似值；并将X向和Y向进行整合后，获得一个二阶差分算子。在图像的任何一点使用此算子，将会产生该点对应的梯度矢量或是其法矢量。该算子包含两组3x3的矩阵，分别为横向及纵向的整合数据矩阵，将之与图像作平面卷积，即可得出灰度函数近似梯度值。
步骤S32、基于所述灰度函数近似梯度值，获得所述第二输入图像的边缘特征信息。
需要说明的是，将所述灰度函数近似梯度值与预设像素阈值进行对比，将大于或等于所述预设像素阈值的像素点，认作为边缘点。在对横向及纵向的整合数据矩阵时，可以通过将横向的灰度函数近似梯度值的平方值和纵向的灰度函数近似梯度值的平方值相加后，进行开根号求解，获得整合后的灰度函数近似梯度值。或将横向的灰度函数近似梯度值不开平方的绝对值和纵向的灰度函数近似梯度值不开平方的绝对值相加，获得整合后的灰度函数近似梯度值，可以根据实际的工业应用场景进行调整。如：
或
式中，G表示整合后的灰度函数近似梯度值，Gx表示横向的灰度函数近似梯度值，Gy表示纵向的灰度函数近似梯度值。
步骤S33、基于所述边缘特征信息，对所述第二输入图像进行形态学重建处理后，获得子图像。
需要说明的是，所述形态学重建处理包括灰度变换处理、空间域滤波处理和频域滤波处理，即：
所述将所述第二输入图像进行形态学重建处理后，获得子图像，包括：将所述第二输入图像进行空间域滤波处理，获得第一子图像；将所述第二输入图像进行频域滤波处理，获得第二子图像；将所述第二输入图像进行灰度变换处理，获得第三子图像。
具体来说，所述将所述第二输入图像进行空间域滤波处理，获得第一子图像，包括：将所述第二输入图像进行空间域滤波处理后，通过滤波反投影重建图像，获得第一子图。在经过空间域滤波处理后获得的第一子图像，与原图相比，可以很明显看出其降低了除特征信息以外的噪音，如高斯噪音或其他噪声信息等，从而加快了模型的收敛速度和预测速度。
具体来说，所述将所述第二输入图像进行频域滤波处理，获得第二子图像，包括：将所述第二输入图像进行频域滤波处理后，通过滤波反投影重建图像，获得第二子图像。更具体来说，所述将所述第二输入图像进行频域滤波处理后，通过滤波反投影重建图像，获得第二子图像，包括：将所述第二输入图像进行傅里叶变换后，采用掩膜处理方式将图像中的低频信息滤掉，获得第一频滤图像；将所述第一频滤图像进行傅里叶逆变换后，将图像中的矢量值转换为标量值，并将标量值反投影重建图像，获得第二子图像。在经过频域滤波处理后获得的第二子图像，与原图相比，可以很明显看出其特征区域更明显，即缺陷区域更为突出，更便于被模型所识别。
具体来说，所述将所述第二输入图像进行灰度变换处理，获得第三子图像，包括：将所述第二输入图像进行灰度变换处理后，进行空间变换处理，获得第三子图像。所述灰度变换处理是指在RGB模型中，如果R=G=B时，则彩色表示一种灰度颜色，其中R=G=B的值叫灰度值。灰度图像与黑白图像不同，在计算机图像领域中黑白图像只有黑色与白色两种颜色；灰度图像在黑色与白色之间还有许多级的颜色深度。因此可以看出，在经过灰度变换处理和空间变换处理后获得的第三子图像，与原图相比，可以很明显看出其有效避免了图像条带失真。
在实际应用时，再将未处理过的子图像和上述通过空间域滤波增强后的子图像、通过频域滤波增强后的子图像以及经过灰度拉伸/压缩后的子图像在通道上进行拼接后，获得目标图像，即：
步骤S40、将所述子图像和所述第二输入图像进行多通道拼接处理，获得目标图像。
需要说明的是，所述、将所述子图像和所述第二输入图像进行多通道拼接处理，获得目标图像的步骤示意图如图4所示，其中，图4（1）表示为原始图像，即第一输入图像；图4（2）从上至下子图分别表示为第二输入图像、第一子图像、第二子图像和第三子图像，图4（3）表示为目标图像。图4中的数字1表示为第一次采样的像素格，数字2表示为第二次采样的像素格，数字3表示为第三次采样的像素格，数字4表示为第四次采样的像素格。
为进一步便于本领域技术人员理解本申请实施例所述技术方案，现结合以下具体实例对本申请所述第二输入图像、第一子图像和第二子图像进行说明，第三子图像为经过相对较常规的灰度处理后的图像，因此这里不做特殊说明，具体可见图5-图8；其中，图5为第一类别缺陷的对比图像，图6为第二类别缺陷的对比图像，图7为第三类别缺陷的对比图像，图8为第四类别缺陷的对比图像；其中，所述图5-图8中，从左至右分别均为第二输入图像、第二子图像和第一子图像，可以看出，相较于原图，经过本申请所述形态学重建处理后获得的子图像噪音更少，且边缘更清晰。因此将上述第一子图像、第二子图像和第三子图像与第二输入图像进行多通道拼接后，所获得的的目标图像，分割质量得到了有效提升，从而在后续训练过程中，减少了网络迭代次数，加快了模型的收敛速度，进而在后续实际应用时，提高了模型的检测速度。
需要说明的是，在所述将所述子图像和所述第二输入图像进行多通道拼接处理，获得目标图像之后，还包括：将所述目标图像输入至目标检测模型中进行目标检测，以获得目标检测信息；其中，所述目标检测信息包括目标缺陷位置、目标缺陷尺寸和目标缺陷类型；其中，所述目标检测模型为基于扩散板样本图像训练获得的yolo v5模型，所述扩散板样本图像中包含目标缺陷区域。
需要说明的是，本申请实施例所述图像分割方法应用于yolo v5模型中的Focus模块。即通过将本申请实施例所述方法整合到yolo v5模型中的Focus模块。因此避免了在cpu模块上进行计算，在整合在Focus模块上后，则可以将计算过程转移到计算能力更强的GTU模块上，从而加快了计算速度。
本申请将经过普通Foucus模块处理后的第一目标图像和经过本申请所述经过上述图像分割改进后的Focus模块处理后的第二目标图像进行了对比，对比结果如表1所示：
表1：
基于上述表1，可以看出，第二目标图像相较于第一目标图像，精确率更高且召回率更低；若将IoU设为0.5时，计算每一类的所有第二目标图像和所有第一目标图像的AP值，然后求所有类别的平均值，即mAP值，可以看出，第二目标图像的mAP值高于所述第一目标图像的mAP值；若将IoU设为0.5%-0.95%中的预设步长阈值，如步长为0.05，则IoU阈值分别为0.5、0.55、0.6、0.65、0.7、0.75、0.8、0.85、0.9、0.95，分别计算每个Iou阈值时，每一类的所有第二目标图像和所有第一目标图像的AP值，然后求所有类别的平均值，再求所有IoU阈值时的平均值，即mAP，可以看出，第二目标图像的mAP值远高于所述第一目标图像的mAP值。需要说明的是，上述AP表示Average Precision，是指单个类别平均精确度。
也就是说，与现有技术相比，本申请实施例所述方案所述的图像分割方法，通过在获取待缺陷检测的扩散板图像后，如果对其直接进行下采样，或损失部分微弱信息，因此本申请通过对所述待缺陷检测的扩散板图像进行间隔采样的方式，将原图像转换为宽高均减半的同时，将信息存储在通道上，以此保证下采样时不丢失信息，且缩小了图像的输入尺寸，从而加快模型训练或推理的速度。但在通过间隔采样后获得的第二输入图像会存在较多冗余信息，因此在通道上拼接会造成部分权值用于提取保存相同输入的信息，因此本申请实施例通过将所述第二输入图像进行形态学重建处理后，获得子图像；再将所述子图像和所述第二输入图像进行多通道拼接处理，获得目标图像。可以看出上述方法在对图像进行分割时，能提高分割质量，从而在后续训练过程中，减少了网络迭代次数，加快了模型的收敛速度，进而在后续实际应用时，提高了模型的检测速度。
参见图9，基于相同的发明思路，本申请的实施例还提供了：一种图像分割装置，包括：
获取图像模块，用于获取第一输入图像；其中，所述第一输入图像为待缺陷检测的扩散板图像；
重采样模块，用于对所述第一输入图像采用间隔采样处理，获得第二输入图像；
图像重建模块，用于将所述第二输入图像进行形态学重建处理后，获得子图像；
图像融合模块，用于将所述子图像和所述第二输入图像进行多通道拼接处理，获得目标图像。
需要说明的是，本实施例中图像分割装置中各模块是与前述实施例中的图像分割方法中的各步骤一一对应，因此，本实施例的具体实施方式和达到的技术效果可参照前述图像分割方法的实施方式，这里不再赘述。
此外，在一种实施例中，本申请还提供一种获取机存储介质，所述获取机存储介质上存储有获取机程序，所述获取机程序被处理器运行时实现前述实施例中方法的步骤。
在一些实施例中，获取机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。获取机可以是包括智能终端和服务器在内的各种获取设备。
在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言（包括编译或解释语言，或者声明性或过程性语言）来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在获取环境中使用的其它单元。
作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言（HTML，Hyper TextMarkup Language）文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件（例如，存储一个或多个模块、子程序或代码部分的文件）中。
作为示例，可执行指令可被部署为在一个获取设备上执行，或者在位于一个地点的多个获取设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个获取设备上执行。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述 实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的 技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体 现出来，该获取机软件产品存储在一个存储介质（如只读存储器/随机存取存储器、磁碟、光 盘）中，包括若干指令用以使得一台多媒体终端设备(可以是手机，获取机，电视接收机，或者网络设备等)执行本申请各个实施例所述的方法。
以上所揭露的仅为本申请的局部实施例而已，当然不能以此来限定本申请之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或局部流程，并依本申请权利要求所作的等同变化，仍属于发明所涵盖的范围。
Claims (9)
1.一种图像分割方法，其特征在于，包括以下步骤：
获取第一输入图像；其中，所述第一输入图像为待缺陷检测的扩散板图像；
对所述第一输入图像采用间隔采样处理，获得第二输入图像；所述第二输入图像的每一行像素值小于所述第一输入图像的每一行像素值，所述第二输入图像的每一列像素值小于所述第一输入图像的每一列像素值，所述第二输入图像的每一个通道的像素值大于所述第一输入图像的每一个通道的像素值；
将所述第二输入图像进行形态学重建处理后，获得子图像；其中，所述将所述第二输入图像进行形态学重建处理后，获得子图像，包括：基于高斯平滑算法和微分求导的离散微分算子，计算所述第二输入图像的灰度函数近似梯度值；基于所述灰度函数近似梯度值，获得所述第二输入图像的边缘特征信息；基于所述边缘特征信息，对所述第二输入图像进行形态学重建处理后，获得子图像；其中，所述将所述第二输入图像进行形态学重建处理后，获得子图像，包括：将所述第二输入图像进行空间域滤波处理，获得第一子图像；将所述第二输入图像进行频域滤波处理，获得第二子图像；将所述第二输入图像进行灰度变换处理，获得第三子图像；
将所述子图像和所述第二输入图像进行多通道拼接处理，获得目标图像；将所述目标图像输入至目标检测模型中进行目标检测，以获得目标检测信息；其中，所述目标检测信息包括目标缺陷位置、目标缺陷尺寸和目标缺陷类型；其中，所述目标检测模型为基于扩散板样本图像训练获得的yolo v5模型，所述扩散板样本图像中包含目标缺陷区域。
2.根据权利要求1所述图像分割方法，其特征在于，所述将所述第二输入图像进行空间域滤波处理，获得第一子图像，包括：
将所述第二输入图像进行空间域滤波处理后，通过滤波反投影重建图像，获得第一子图。
3.根据权利要求1所述图像分割方法，其特征在于，所述将所述第二输入图像进行频域滤波处理，获得第二子图像，包括：
将所述第二输入图像进行频域滤波处理后，通过滤波反投影重建图像，获得第二子图像。
4.根据权利要求3所述图像分割方法，其特征在于，所述将所述第二输入图像进行频域滤波处理后，通过滤波反投影重建图像，获得第二子图像，包括：
将所述第二输入图像进行傅里叶变换后，采用掩膜处理方式将图像中的低频信息滤掉，获得第一频滤图像；
将所述第一频滤图像进行傅里叶逆变换后，将图像中的矢量值转换为标量值，并将标量值反投影重建图像，获得第二子图像。
5.根据权利要求1所述图像分割方法，其特征在于，所述将所述第二输入图像进行灰度变换处理，获得第三子图像，包括：
将所述第二输入图像进行灰度变换处理后，进行空间变换处理，获得第三子图像。
6.根据权利要求1-5任一项所述图像分割方法，其特征在于，所述图像分割方法应用于yolo v5模型中的Focus模块。
7.一种图像分割装置，其特征在于，包括：
获取图像模块，用于获取第一输入图像；其中，所述第一输入图像为待缺陷检测的扩散板图像；
重采样模块，用于对所述第一输入图像采用间隔采样处理，获得第二输入图像；所述第二输入图像的每一行像素值小于所述第一输入图像的每一行像素值，所述第二输入图像的每一列像素值小于所述第一输入图像的每一列像素值，所述第二输入图像的每一个通道的像素值大于所述第一输入图像的每一个通道的像素值；
图像重建模块，用于将所述第二输入图像进行形态学重建处理后，获得子图像；其中，所述将所述第二输入图像进行形态学重建处理后，获得子图像，包括：基于高斯平滑算法和微分求导的离散微分算子，计算所述第二输入图像的灰度函数近似梯度值；基于所述灰度函数近似梯度值，获得所述第二输入图像的边缘特征信息；基于所述边缘特征信息，对所述第二输入图像进行形态学重建处理后，获得子图像；其中，所述将所述第二输入图像进行形态学重建处理后，获得子图像，包括：将所述第二输入图像进行空间域滤波处理，获得第一子图像；将所述第二输入图像进行频域滤波处理，获得第二子图像；将所述第二输入图像进行灰度变换处理，获得第三子图像；
图像融合模块，用于将所述子图像和所述第二输入图像进行多通道拼接处理，获得目标图像；将所述目标图像输入至目标检测模型中进行目标检测，以获得目标检测信息；其中，所述目标检测信息包括目标缺陷位置、目标缺陷尺寸和目标缺陷类型；其中，所述目标检测模型为基于扩散板样本图像训练获得的yolo v5模型，所述扩散板样本图像中包含目标缺陷区域。
8.一种电子设备，其特征在于，该电子设备包括存储器和处理器，所述存储器中存储有获取机程序，所述处理器执行所述获取机程序，实现如权利要求1-6中任一项所述的方法。
9.一种获取机可读存储介质，其特征在于，所述获取机可读存储介质上存储有获取机程序，处理器执行所述获取机程序，实现如权利要求1-6中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311454681.4A CN117173200B (zh) | 2023-11-03 | 2023-11-03 | 一种图像分割方法、装置、设备和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311454681.4A CN117173200B (zh) | 2023-11-03 | 2023-11-03 | 一种图像分割方法、装置、设备和介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117173200A CN117173200A (zh) | 2023-12-05 |
| CN117173200B true CN117173200B (zh) | 2024-02-02 |
Family
ID=88945443
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311454681.4A Active CN117173200B (zh) | 2023-11-03 | 2023-11-03 | 一种图像分割方法、装置、设备和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117173200B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107730528A (zh) * | 2017-10-28 | 2018-02-23 | 天津大学 | 一种基于grabcut算法的交互式图像分割与融合方法 |
| CN114022554A (zh) * | 2021-11-03 | 2022-02-08 | 北华航天工业学院 | 一种基于yolo的按摩机器人穴位检测与定位方法 |
| CN114202543A (zh) * | 2022-02-18 | 2022-03-18 | 成都数之联科技股份有限公司 | Pcb板脏污缺陷检测方法、装置、设备及介质 |
| CN114913370A (zh) * | 2022-05-06 | 2022-08-16 | 国网河北省电力有限公司石家庄供电分公司 | 基于深度学习与形态学融合的状态自动检测方法与装置 |
| CN115564702A (zh) * | 2021-07-02 | 2023-01-03 | Tcl科技集团股份有限公司 | 模型训练方法、系统、设备、存储介质及缺陷检测方法 |
| CN115731282A (zh) * | 2022-11-21 | 2023-03-03 | 华南农业大学 | 基于深度学习的水下鱼类重量估计方法、系统及电子设备 |
| CN115861327A (zh) * | 2023-03-01 | 2023-03-28 | 成都数之联科技股份有限公司 | 一种pcb颜色变化缺陷检测方法、装置、设备及介质 |
| CN115908843A (zh) * | 2022-11-04 | 2023-04-04 | 中南大学 | 过热度识别模型训练方法、识别方法、设备及存储介质 |
| CN116109631A (zh) * | 2023-04-11 | 2023-05-12 | 成都数之联科技股份有限公司 | 一种pcba虚焊缺陷检测方法、装置、设备和介质 |
| CN116188509A (zh) * | 2023-04-23 | 2023-05-30 | 电子科技大学 | 一种高效率三维图像分割方法 |
| CN116485709A (zh) * | 2023-02-01 | 2023-07-25 | 武汉科技大学 | 一种基于YOLOv5改进算法的桥梁混凝土裂缝检测方法 |
| CN116612106A (zh) * | 2023-06-06 | 2023-08-18 | 哈尔滨理工大学 | 一种基于yolox算法的光学元件表面缺陷检测方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4033403A1 (en) * | 2021-01-14 | 2022-07-27 | Tata Consultancy Services Limited | System and method for attention-based surface crack segmentation |
| US20230169662A1 (en) * | 2021-11-29 | 2023-06-01 | Centre For Intelligent Multidimensional Data Analysis Limited | System and method for generating a morphological atlas of an embryo |
| US20230306591A1 (en) * | 2022-03-25 | 2023-09-28 | Han-Wei Zhang | Medical image analysis method |
-
2023
- 2023-11-03 CN CN202311454681.4A patent/CN117173200B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107730528A (zh) * | 2017-10-28 | 2018-02-23 | 天津大学 | 一种基于grabcut算法的交互式图像分割与融合方法 |
| CN115564702A (zh) * | 2021-07-02 | 2023-01-03 | Tcl科技集团股份有限公司 | 模型训练方法、系统、设备、存储介质及缺陷检测方法 |
| CN114022554A (zh) * | 2021-11-03 | 2022-02-08 | 北华航天工业学院 | 一种基于yolo的按摩机器人穴位检测与定位方法 |
| CN114202543A (zh) * | 2022-02-18 | 2022-03-18 | 成都数之联科技股份有限公司 | Pcb板脏污缺陷检测方法、装置、设备及介质 |
| CN114913370A (zh) * | 2022-05-06 | 2022-08-16 | 国网河北省电力有限公司石家庄供电分公司 | 基于深度学习与形态学融合的状态自动检测方法与装置 |
| CN115908843A (zh) * | 2022-11-04 | 2023-04-04 | 中南大学 | 过热度识别模型训练方法、识别方法、设备及存储介质 |
| CN115731282A (zh) * | 2022-11-21 | 2023-03-03 | 华南农业大学 | 基于深度学习的水下鱼类重量估计方法、系统及电子设备 |
| CN116485709A (zh) * | 2023-02-01 | 2023-07-25 | 武汉科技大学 | 一种基于YOLOv5改进算法的桥梁混凝土裂缝检测方法 |
| CN115861327A (zh) * | 2023-03-01 | 2023-03-28 | 成都数之联科技股份有限公司 | 一种pcb颜色变化缺陷检测方法、装置、设备及介质 |
| CN116109631A (zh) * | 2023-04-11 | 2023-05-12 | 成都数之联科技股份有限公司 | 一种pcba虚焊缺陷检测方法、装置、设备和介质 |
| CN116188509A (zh) * | 2023-04-23 | 2023-05-30 | 电子科技大学 | 一种高效率三维图像分割方法 |
| CN116612106A (zh) * | 2023-06-06 | 2023-08-18 | 哈尔滨理工大学 | 一种基于yolox算法的光学元件表面缺陷检测方法 |
Non-Patent Citations (5)
| Title |
|---|
| A variable attention nested UNet++ network-based NDT X-ray image defect segmentation method;Liu J等;《Coatings》;第12卷(第5期);1-19 * |
| Real-time underwater maritime object detection in side-scan sonar images based on transformer-YOLOv5;Yu Y等;《Remote Sensing》;第13卷(第18期);1-28 * |
| Underwater sea cucumber identification based on improved YOLOv5;Zhai X等;《Applied Sciences》;第12卷(第18期);1-15 * |
| 基于改进YOLO v5的道路小目标检测算法;牛为华等;《传感技术学报》;第36卷(第1期);36-44 * |
| 基于机器视觉的路面裂缝及附属物检测研究;王创;《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》(第12期);C034-105 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117173200A (zh) | 2023-12-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114266773B (zh) | 显示面板缺陷定位方法、装置、设备及存储介质 | |
| DE112014006439B4 (de) | Kantenerkennungsvorrichtung, Kantenerkennungsverfahren und Programm | |
| CN114170227B (zh) | 产品表面缺陷检测方法、装置、设备及存储介质 | |
| CN114529459A (zh) | 一种对图像边缘进行增强处理的方法和系统及介质 | |
| CN113596573B (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
| KR20200132682A (ko) | 이미지 최적화 방법, 장치, 디바이스 및 저장 매체 | |
| CN115239734A (zh) | 模型训练方法、装置、存储介质、设备及计算机程序产品 | |
| CN111062331A (zh) | 图像的马赛克检测方法、装置、电子设备及存储介质 | |
| WO2020231016A1 (en) | Image optimization method, apparatus, device and storage medium | |
| JP2021152886A (ja) | 眼科用レンズにおけるエッジ欠陥検出および他の欠陥を強化するためのコンピュータ実装プロセス | |
| CN114202491B (zh) | 一种增强光学图像的方法及系统 | |
| Zhu et al. | Low-light image enhancement network with decomposition and adaptive information fusion | |
| CN117173200B (zh) | 一种图像分割方法、装置、设备和介质 | |
| CN114187201A (zh) | 模型训练方法、图像处理方法、装置、设备及存储介质 | |
| CN111986102A (zh) | 一种数字病理图像去模糊方法 | |
| CN114742774A (zh) | 融合局部和全局特征的无参考图像质量评价方法及系统 | |
| CN113744169A (zh) | 图像增强方法、装置、电子设备和存储介质 | |
| CN108470326B (zh) | 图像补全方法及装置 | |
| CN115457614A (zh) | 一种图像质量评价方法、模型训练方法及装置 | |
| CN117132767B (zh) | 一种小目标检测方法、装置、设备及可读存储介质 | |
| CN114581448B (zh) | 图像检测方法、装置、终端设备以及存储介质 | |
| CN115239732B (zh) | 点灯机显示不均判断方法、装置、设备及存储介质 | |
| CN113628184A (zh) | 基于傅里叶变换对显示屏缺陷进行检测的方法、装置及可读存储介质 | |
| CN109842735B (zh) | 一种将扫描图转换为高清图的处理方法和装置 | |
| CN113139973B (zh) | 基于人工智能的疟原虫识别方法及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |