CN115861276A - 石墨膜片表面划痕检测方法和装置 - Google Patents

Abstract

本发明公开了石墨膜片表面划痕检测方法和装置，所述方法包括：响应于获取到的石墨膜片表面图像，对所述石墨膜片表面图像进行去噪增强预处理；将预处理后的图像生成表面有划痕的石墨膜片合成图像；通过所述合成图像训练石墨膜片表面划痕检测模型，得到训练好的源域模型；将所述源域模型放入由真实图像构成的目标域数据集中进行域自适应，得到目标域模型；通过所述目标域模型进行石墨膜片表面划痕检测。本发明能够使模型能学习到丰富的表面划痕特征，提高其检测精度，在合成图像学到的知识应用到真实图像中，缓解了模型泛化性能差的问题。

Description

石墨膜片表面划痕检测方法和装置

技术领域

本发明属于深度学习技术领域，尤其涉及石墨膜片表面划痕检测方法和装置。

背景技术

石墨膜片是应用于智能手机的一种散热材料，可将手机的CPU、屏幕和电池等散发的热量传导至手机壳和框架，降低手机温度，提升手机性能。然而，在石墨膜片生产过程中，表面划痕的产生是不可避免的，这些划痕会影响石墨膜片的散热性能，从而导致手机温度上升，降低手机性能。因此在生产过程中，需要对石墨膜片质量严格把控，表面划痕检测成为十分重要的环节。

石墨膜片表面划痕检测的目标是将表面存在划痕的石墨膜片分拣出来，从而避免其流入下一个生产加工环节。传统的人工检测方法主要靠人眼辨识膜片表面是否有划痕，这种方法的检测准确率易受检测人员的主观影响而导致漏检，检测准确率和检测效率低，随着生产自动化而逐渐被淘汰。随着人工智能的兴起，机器视觉在表面划痕检测领域受到广泛关注。传统的基于机器视觉的表面划痕检测方法主要基于手工设计的图像特征算法，利用灰度变换、直方图均衡等图像预处理算法及阈值分割、边缘检测等图像分割算法，仅适用于特定条件下的划痕检测需求，不适用于复杂的生产环境。

基于有监督学习的方法依靠大量的标记数据可以训练一个性能很好的模型，然而在实际工业生产中，采集和标记石墨膜片表面图像样本是一项庞大且繁琐的工作，而且表面有划痕的石墨膜片图像样本十分缺乏，因此有监督学习的应用场景受到数据集的限制。而基于无监督学习的方法虽然可以避免繁琐的数据集标记工作，但是容易受到光照和噪声等影响，抗干扰能力不强。

发明内容

本发明的目的在于，为克服现有技术缺陷，提供了石墨膜片表面划痕检测方法和装置,通过人工合成表面划痕算法，使表面无划痕的石墨膜片图像产生划痕，缓解表面有划痕图像样本缺乏问题；采用域自适方法，将合成图像制作为源域数据集，将采集的真实图像制作为目标域数据集，在源域的合成图像中训练一个性能好的模型，然后将其应用到真实图像的目标域中，避免庞大且繁琐的数据集标记工作。

本发明目的通过下述技术方案来实现：

一种石墨膜片表面划痕检测方法，所述方法包括：

响应于获取到的石墨膜片表面图像，对所述石墨膜片表面图像进行去噪增强预处理；

将预处理后的图像生成表面有划痕的石墨膜片合成图像；

通过所述合成图像训练石墨膜片表面划痕检测模型，得到训练好的源域模型；

将所述源域模型放入由真实图像构成的目标域数据集中进行域自适应，得到目标域模型；

通过所述目标域模型进行石墨膜片表面划痕检测。

进一步的，所述对所述石墨膜片表面图像进行去噪增强预处理具体包括：

采用频率域法对图像进行基于傅里叶变换的信号增强，然后采用低通滤波法将图像中的噪声去掉，再采用高通滤波法增强高频信号。

进一步的，所述将预处理后的图像生成表面有划痕的石墨膜片合成图像具体包括：

采用随机游走的方式生成二维的表面划痕轮廓；

对图像进行模糊处理；

根据无划痕图块的灰度级对表面有划痕图像的灰度级进行截断，区分划痕区域的灰度值与背景区域的灰度值。

进一步的，所述方法还包括：

对合成的图像进行图像增广，通过随机裁剪、翻转、调整对比度和亮度的方式产生相似图像作为训练数据集中的样本。

进一步的，所述石墨膜片表面划痕检测模型的构建具体包括：

使用一个深度卷积神经网络提取石墨膜片表面图像特征，使用一个全连接层输出图像表面有无划痕的概率。

进一步的，所述通过所述合成图像训练石墨膜片表面划痕检测模型，得到训练好的源域模型具体包括：

将合成图像制作成源域数据集；

根据源域数据集训练石墨膜片表面划痕检测模型，使模型能提取多种划痕特征，得到源域模型。

进一步的，所述将所述源域模型放入由真实图像构成的目标域数据集中进行域自适应，得到目标域模型具体包括：

将真实图像制作成目标域数据集；

根据目标域数据集训练源域模型，使模型适应合成图像与真实图像之间的分布差异，得到目标域模型。

另一方面，本发明还提供了一种石墨膜片表面划痕检测装置，所述装置包括：

预处理模块，所述预处理模块响应于获取到的石墨膜片表面图像，对所述石墨膜片表面图像进行去噪增强预处理；

合成图像生成模块，所述合成图像生成模块将预处理后的图像生成表面有划痕的石墨膜片合成图像；

源域模型训练模块，所述源域模型训练模块通过所述合成图像训练石墨膜片表面划痕检测模型，得到训练好的源域模型；

目标域模型训练模块，所述目标域模型训练模块将所述源域模型放入由真实图像构成的目标域数据集中进行域自适应，得到目标域模型；

划痕检测模块，所述划痕检测模块通过所述目标域模型进行石墨膜片表面划痕检测。

另一方面，本发明还提供了一种计算机设备，计算机设备包括处理器和存储器，所述存储器中存储有计算机程序，所述计算机程序由所述处理器加载并执行以实现上述的任意一种石墨膜片表面划痕检测方法。

另一方面，本发明还提供了一种计算机可读存储介质，所述存储介质中存储有计算机程序，所述计算机程序由处理器加载并执行以实现上述的任意一种石墨膜片表面划痕检测方法。

本发明的有益效果在于：

本发明将采集的图像进行预处理，提升图像的质量，有利于图像特征提取，同时扩充数据集，有利于训练一个好的模型；采用人工合成表面划痕算法生成大量表面有划痕的图像，缓解了表面有划痕的图像数量不足的问题，从而使模型能学习到丰富的表面划痕特征，提高其检测精度；采用域自适应方法训练模型，使模型在合成图像学到的知识应用到真实图像中，缓解了模型泛化性能差的问题。

附图说明

图1是本发明实施例提供的石墨膜片表面划痕检测方法流程示意图；

图2是本发明实施例图像采集装置结构图；

图3是本发明实施例图像预处理流程图；

图4是本发明实施例人工合成表面划痕流程图；

图5是本发明实施例表面划痕检测模型结构图；

图6是本发明实施例域自适应方法模型训练流程图；

图7是本发明实施例提供的石墨膜片表面划痕检测装置结构框图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

基于有监督学习的方法依靠大量的标记数据可以训练一个性能很好的模型，然而在实际工业生产中，采集和标记石墨膜片表面图像样本是一项庞大且繁琐的工作，而且表面有划痕的石墨膜片图像样本十分缺乏，因此有监督学习的应用场景受到数据集的限制。而基于无监督学习的方法虽然可以避免繁琐的数据集标记工作，但是容易受到光照和噪声等影响，抗干扰能力不强。

为了解决上述技术问题，提出了本发明石墨膜片表面划痕检测方法和装置的下述各个实施例。

实施例1

参照图1，如图1所示是本实施例提供的石墨膜片表面划痕检测方法流程示意图，该方法具体包括以下步骤：

步骤一：响应于获取到的石墨膜片表面图像，对所述石墨膜片表面图像进行去噪增强预处理。

具体地，本实施例中石墨膜片表面图像获取方式如下：

根据实际生产环境的特点，选择合适的相机与补光灯；根据石墨膜片表面为黑色的特点，且表面光滑存在反光现象，选择合适拍摄角度和补光角度与亮度；最后通过该装置采集石墨膜片表面图像。

参照图2，如图2所示是本实施例图像采集装置结构图。图像采集装置主要由底座、放置平台、支撑立杆、水平调节杠、工业相机、补光灯放置圈、多个补光灯组成。本实施例中多个补光灯在俯视视角呈环形对称设置。

首先将一张石墨膜片放入图像采集装置的放置平台中，调节工业相机的焦距，在某一角度补光下，利用石墨膜片的反光特性，某些位置的细节信息如微小划痕很容易被工业相机捕获，而其他位置的细节由于补光不足而有些位置的细节信息视觉效果很差，导致拍摄的石墨膜片表面图像信息不全面，因此可采取不同的补光方案进行补光，获取信息全面的石墨膜片表面图像。

逆时针逐个打开关闭补光灯，沿着石墨膜片边缘补光；逐步打开由前至后对称位置的补光灯，从上至下扫描式地对石墨膜片补光；逐步打开对角位置补光灯，以对角形式对石墨膜片不同位置进行补光。

由上述三种补光方案测试不同单个位置补光下石墨膜片的不同位置的细节信息视觉效果，工业相机随之不断拍摄不同补光状态下的石墨膜片表面图像，最终确定哪种补光数量和补光位置下石墨膜片表面图像的视觉效果最好，工业相机获取的图像信息最全面。

然后放入下一张石墨膜片，按照不同的补光方案继续拍摄，直至所有石墨膜片都拍摄完成，如此少量的石墨膜片可得到大量的石墨膜片表面图像。

针对采集到的图像进行预处理，参照图3，如图3所示是本实施例图像预处理流程图。具体地，对采集的图像进行图像增强，采用频率域法将图像看成一种二维信号，对其进行基于傅里叶变换(STFT)的信号增强，然后采用低通滤波法将图像中的噪声去掉，再采用高通滤波法增强边缘等高频信号，使模糊的图像变得清晰并强调感兴趣的表面划痕特征，扩大图像中表面无划痕区域与表面划痕之间的差别，以改善图像质量、丰富信息量、加强图像判读和识别效果。

步骤二：将预处理后的图像生成表面有划痕的石墨膜片合成图像。

参照图4，如图4所示是本实施例人工合成表面划痕流程图。

具体地，首先，采用一种随机游走的方式来生成一个二维的表面划痕骨架/轮廓，从原始图像中的一个随机坐标点出发，以s为步长，沿随机的方向移动n步，就得到一个轮廓形状；其次，对图像进行模糊处理使其变化更加平滑，表面划痕纹理更加自然；然后，为了让生成的合成表面划痕表现出明显的个体结构，并且不严格遵循正常图像的灰度级别，需要根据无划痕图块的灰度级对表面有划痕图像的灰度级进行截断，即使划痕区域的灰度值与背景区域的灰度值有明显的区分；最后，验证合成上去的表面划痕是否足够明显能够被识别出来。评价方法就是用增加划痕的图像减去无划痕图像，然后计算差值图像的平方和。

作为一种实施方式，本实施例对合成图像进行图像增广，通过随机裁剪、翻转、调整对比度和亮度等方式来产生相似又不相同的图像，扩大训练数据集的规模。

步骤三：通过所述合成图像训练石墨膜片表面划痕检测模型，得到训练好的源域模型。

参照图5，如图5所示是本实施例表面划痕检测模型结构图，本实施例中表面划痕检测模型构建方式如下：

使用一个深度卷积神经网络提取石墨膜片表面图像特征，使用一个全连接层输出图像表面有无划痕的概率。

本实施例源域模型训练包括以下步骤：

将合成图像制作成源域数据集，训练表面划痕检测模型，使模型能提取丰富多样的划痕特征，准确检测出表面有划痕的图像。

表面划痕检测模型由特征提取器和图像分类器两部分组成。其中，特征提取器用于减少一些原始输入的石墨膜片表面图像的维度，将原始的特征进行重新组合以便于后续的使用。图像分类器利用给定的石墨膜片有无划痕类别、已知的训练石墨膜片表面图像来学习分类规则，然后对未知石墨膜片表面图像进行表面有无划痕分类。

作为一种实施方式，本实施例训练源域模型过程中，将合成图像按照9:1的比例随机划分训练集和验证集，将训练集的图像输入初始的表面划痕检测模型，使初始模型学习合成的石墨膜片表面图像的特征以及分类规则，得到学习了合成图像知识的源域模型，然后利用验证集验证源域模型的检测准确率，选择检测准确率最高的源域模型进行下一步的模型训练。

步骤四：将所述源域模型放入由真实图像构成的目标域数据集中进行域自适应，得到目标域模型。

参照图6，如图6所示是本实施例域自适应方法模型训练流程图，训练目标域模型包括以下步骤：

将真实图像制作成目标域数据集，训练源域模型，使模型能适应合成图像与真实图像之间的分布差异，在目标域中模型性能依然保良好，从而缓解模型泛化性能差的问题。

作为一种实施方式，本实施例训练目标域模型过程中，首先将上一步选择的源域模型作为教师模型，构建一个初始模型作为学生模型，采用知识蒸馏的方法，将训练集的图像分别输入教师模型和学生模型，分别得到教师模型和学生模型的预测值和表示层特征。

本实施例将教师模型的预测值作为伪标签，将学生模型预测值与教师模型预测值的差值作为分类损失值。

本实施例采用对比学习，将学生模型表示层特征与教师模型表示层特征的距离作为蒸馏损失值。

最后通过分类损失值和蒸馏损失值使学生模型不断学习教师模型在合成图像中学习的知识，学生模型的预测值也不断接近教师模型的预测值，从而使模型在目标域的真实图像中保持良好的分类效果。

经过上述训练过程得到的目标域模型，可将大量合成图像的知识运用到少量真实图像中，解决真实图像样本缺乏以及模型泛化性能差的问题。

步骤五：通过所述目标域模型进行石墨膜片表面划痕检测。

将石墨膜片放入数据采集装置中，采集其表面图像，将图像经过预处理提高其视觉效果，最后送入目标域模型检测，输出检测的石墨膜片表面是否有划痕的检测结果。

本实施例提供的石墨膜片表面划痕检测方法将采集的图像进行预处理，提升图像的质量，有利于图像特征提取，同时扩充数据集，有利于训练一个好的模型；采用人工合成表面划痕算法生成大量表面有划痕的图像，缓解了表面有划痕的图像数量不足的问题，从而使模型能学习到丰富的表面划痕特征，提高其检测精度；采用域自适应方法训练模型，使模型在合成图像学到的知识应用到真实图像中，缓解了模型泛化性能差的问题。

实施例2

参照图7，如图7所示是本实施例提供的石墨膜片表面划痕检测装置结构框图，该装置具体包括以下结构：

预处理模块，预处理模块响应于获取到的石墨膜片表面图像，对石墨膜片表面图像进行去噪增强预处理；

合成图像生成模块，合成图像生成模块将预处理后的图像生成表面有划痕的石墨膜片合成图像；

源域模型训练模块，源域模型训练模块通过合成图像训练石墨膜片表面划痕检测模型，得到训练好的源域模型；

目标域模型训练模块，目标域模型训练模块将源域模型放入由真实图像构成的目标域数据集中进行域自适应，得到目标域模型；

划痕检测模块，划痕检测模块通过目标域模型进行石墨膜片表面划痕检测。

实施例3

本优选实施例提供了一种计算机设备，该计算机设备可以实现本申请实施例所提供的石墨膜片表面划痕检测方法任一实施例中的步骤，因此，可以实现本申请实施例所提供的石墨膜片表面划痕检测方法的有益效果，详见前面的实施例，在此不再赘述。

实施例4

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。为此，本发明实施例提供一种存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本发明实施例所提供的石墨膜片表面划痕检测方法中任一实施例的步骤。

其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。

由于该存储介质中所存储的指令，可以执行本发明实施例所提供的任一石墨膜片表面划痕检测方法实施例中的步骤，因此，可以实现本发明实施例所提供的任一石墨膜片表面划痕检测方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种石墨膜片表面划痕检测方法，其特征在于，所述方法包括：

响应于获取到的石墨膜片表面图像，对所述石墨膜片表面图像进行去噪增强预处理；

将预处理后的图像生成表面有划痕的石墨膜片合成图像；

通过所述合成图像训练石墨膜片表面划痕检测模型，得到训练好的源域模型；

将所述源域模型放入由真实图像构成的目标域数据集中进行域自适应，得到目标域模型；

通过所述目标域模型进行石墨膜片表面划痕检测。

2.如权利要求1所述的石墨膜片表面划痕检测方法，其特征在于，所述对所述石墨膜片表面图像进行去噪增强预处理具体包括：

采用频率域法对图像进行基于傅里叶变换的信号增强，然后采用低通滤波法将图像中的噪声去掉，再采用高通滤波法增强高频信号。

3.如权利要求1所述的石墨膜片表面划痕检测方法，其特征在于，所述将预处理后的图像生成表面有划痕的石墨膜片合成图像具体包括：

采用随机游走的方式生成二维的表面划痕轮廓；

对图像进行模糊处理；

根据无划痕图块的灰度级对表面有划痕图像的灰度级进行截断，区分划痕区域的灰度值与背景区域的灰度值。

4.如权利要求3所述的石墨膜片表面划痕检测方法，其特征在于，所述方法还包括：

对合成的图像进行图像增广，通过随机裁剪、翻转、调整对比度和亮度的方式产生相似图像作为训练数据集中的样本。

5.如权利要求1所述的石墨膜片表面划痕检测方法，其特征在于，所述石墨膜片表面划痕检测模型的构建具体包括：

使用一个深度卷积神经网络提取石墨膜片表面图像特征，使用一个全连接层输出图像表面有无划痕的概率。

6.如权利要求1所述的石墨膜片表面划痕检测方法，其特征在于，所述通过所述合成图像训练石墨膜片表面划痕检测模型，得到训练好的源域模型具体包括：

将合成图像制作成源域数据集；

根据源域数据集训练石墨膜片表面划痕检测模型，使模型能提取多种划痕特征，得到源域模型。

7.如权利要求1所述的石墨膜片表面划痕检测方法，其特征在于，所述将所述源域模型放入由真实图像构成的目标域数据集中进行域自适应，得到目标域模型具体包括：

将真实图像制作成目标域数据集；

根据目标域数据集训练源域模型，使模型适应合成图像与真实图像之间的分布差异，得到目标域模型。

8.一种石墨膜片表面划痕检测装置，其特征在于，所述装置包括：

预处理模块，所述预处理模块响应于获取到的石墨膜片表面图像，对所述石墨膜片表面图像进行去噪增强预处理；

合成图像生成模块，所述合成图像生成模块将预处理后的图像生成表面有划痕的石墨膜片合成图像；

源域模型训练模块，所述源域模型训练模块通过所述合成图像训练石墨膜片表面划痕检测模型，得到训练好的源域模型；

目标域模型训练模块，所述目标域模型训练模块将所述源域模型放入由真实图像构成的目标域数据集中进行域自适应，得到目标域模型；

划痕检测模块，所述划痕检测模块通过所述目标域模型进行石墨膜片表面划痕检测。

Images