CN114998263A - 用于百格测试的附着力分析方法及系统 - Google Patents

Abstract

一种用于百格测试的附着力分析方法及系统。在本公开中，利用物件识别模型来找出待测图像中的剥落区域，并且利用语意分割模型来识别待测图像中的刮痕区域而获得处理后影像。接着，于处理后影像中取出与剥落区域对应的裁切区域，结合剥落区域与裁切区域而获得结合影像，并基于结合影像计算剥落比例。

Description

用于百格测试的附着力分析方法及系统

技术领域

本发明涉及一种分析方法及系统，且特别涉及一种于百格测试的附着力分析方法及系统。

背景技术

百格测试是镀膜附着力的一种评估方式，因方便操作与观察容易而广泛运用于业界中。测试方法为利用百格刀在受测物件上刮出刻痕，接着，通过胶带紧密贴附于百格位置后，再以瞬间力道将胶带撕起，以受测物上的涂料的脱落程度来判断镀膜的附着力好坏。

传统附着力的分析是由测试人员利用显微镜检视样本表面的格状区域，来评估涂布表面的附着力。例如，通过相机来拍摄胶带粘贴前与后两张照片，再通过对两张图片相减求差，来找出两张照片相异处，即为剥落区域。然，倘若胶带粘贴前与粘贴后两者的拍摄光源不同或者显微镜的放大倍率不同，则在后续对两张图片相减时会产生误判的情形。此外，样本的电路图纹亦会造成判定的干扰。此外，还可通过人工目视来判断剥落状况。然，人为主观判定百格的剥落状况，缺乏客观的统一标准，并且倘若剥落区域太小或不明显，也会造成使用者的判定困难。而在找寻最严重剥落处需多次来回移动玻璃片，徒增时间成本。此外，拍照设备需额外借用单眼相机，借用与归还需增加不必要的时间成本。而测试结果与拍摄图片存储于测试人员的个人电脑中，亦导致数据杂乱、难以整理。

发明内容

本发明提供一种用于百格测试的附着力分析方法及系统，可大幅节省时间成本，并客观进行高效判定。

本发明的用于百格测试的附着力分析方法，利用电子装置来执行，所述附着力分析方法包括：利用物件识别模型来找出待测图像中的剥落区域；利用语意分割模型来识别待测图像中的刮痕区域而获得处理后影像；于处理后影像中取出与剥落区域对应的裁切区域；结合剥落区域与裁切区域而获得结合影像；以及基于结合影像计算剥落比例。

在本发明的一实施例中，上述附着力分析方法还包括：自影像信号中获取多个帧；利用拉普拉斯算子自所述帧中删除失焦的帧；以及在判定未失焦的帧中删除像素重复的帧，将保留的每一帧作为待测图像。

在本发明的一实施例中，上述附着力分析方法还包括：对待测图像执行去模糊化处理，以将经去模糊化处理后的待测影像输入至物件识别模型与语意分割模型。

在本发明的一实施例中，结合剥落区域与裁切区域而获得结合影像的步骤包括：利用边缘检测模型对剥落区域进行边缘检测，而获得边缘影像；以及结合边缘影像与裁切区域而获得结合影像。

在本发明的一实施例中，基于结合影像计算剥落比例的步骤包括：对结合影像执行黑白反转处理，而获得反转影像；对反转影像执行边缘增强处理，而获得加强影像；利用边缘检测演算法在加强影像中找剥落块轮廓；基于剥落块轮廓来计算剥落面积；以及基于剥落面积以及待测图像的总面积，计算剥落比例。

本发明的附着力分析系统，包括：显微镜，具有影像获取装置，通过影像获取装置来拍摄置于显微镜上的待测物而获得影像信号；以及电子装置，自影像获取装置接收影像信号。所述电子装置经配置以自影像信号中获得多个待测图像，并分别针对各待测图像执行下述动作：利用物件识别模型来找出待测图像中的剥落区域；利用语意分割模型来识别待测图像中的刮痕区域而获得处理后影像；于处理后影像中取出与剥落区域对应的裁切区域；结合剥落区域与裁切区域而获得结合影像；以及基于结合影像计算剥落比例。

基于上述，本公开提供一种用于百格测试的附着力分析方法及系统，以自动化取代人工，并建立客观评断标准。据此，大幅节省时间成本，并客观进行高效判定。

附图说明

图1是依照本发明一实施例的附着力分析系统的方框图。

图2是依照本发明一实施例的使用者界面的示意图。

图3是依照本发明一实施例的附着力分析的架构图。

图4是依照本发明一实施例的待测图像的示意图。

图5是依照本发明一实施例的用于百格测试的附着力分析方法的流程图。

图6是依照本发明一实施例的使用不同演算法的语意分割模型所获得的结果的示意图。

图7是依照本发明一实施例的获得结合影像之前的影像处理流程的示意图。

图8是依照本发明一实施例的计算剥落面积的示意图。

图9是依照本发明一实施例的分析示意图。

图10是依照本发明另一实施例的分析示意图。

图11是依照本发明一实施例的准确率比较示意图。

附图标记说明：

110：电子装置

111：处理器

113：存储元件

120：显微镜

121：影像获取装置

200：使用者界面

201～209：工作框

400、600、B、T：待测图像

410：剥落块

420：刮痕区域

610、620、920、1020、T2：处理后影像

901：物件框

910、1010、T1：识别后影像

930、1030：判定结果影像

A：影像信号

B1～Bn：候选图像

b1：剥落区域

b2：裁切区域

b3：边缘影像

b4：结合影像

b5：反转影像

b6：加强影像

b7：轮廓影像

b8：最终影像

M1：物件识别模型

M2：语意分割模型

S305～S320：附着力分析的步骤

S505～S525：附着力分析的步骤

具体实施方式

图1是依照本发明一实施例的附着力分析系统的方框图。请参照图1，附着力分析系统包括电子装置110以及显微镜120。电子装置110包括处理器111与存储元件113。显微镜120中安装有影像获取装置121。

处理器111例如为中央处理单元(Central Processing Unit，CPU)、物理处理单元(Physics Processing Unit，PPU)、可程序化的微处理器(Microprocessor)、嵌入式控制芯片、数字信号处理器(Digital Signal Processor，DSP)、特殊应用集成电路(ApplicationSpecific Integrated Circuits，ASIC)或其他类似装置。

存储元件113例如是任意形式的固定式或可移动式随机存取存储器(RandomAccess Memory，RAM)、只读存储器(Read-Only Memory，ROM)、快闪存储器(Flash memory)、硬盘或其他类似装置或这些装置的组合。存储元件113中包括一或多个程序码片段，上述程序码片段在被安装后，会由处理器111来执行。在一实施例中，存储元件113还存储有一使用者界面，以在显示器(未示出)中显示使用者界面供使用者来使用。

影像获取装置121例如是采用电荷耦合元件(Charge coupled device，CCD)镜头、互补式金属氧化物半导体晶体管(Complementary metal oxide semiconductortransistors，CMOS)镜头的摄影机、照相机等。通过影像获取装置121来拍摄设置在显微镜120的载物台上的待测物(例如：经百格测试的玻璃)。

图2是依照本发明一实施例的使用者界面的示意图。请参照图2，使用者界面200包括多个工作框201～209。工作框201用以进行图像的浏览、选择以及存储。例如，在工作框201的左栏中显示多个图像供使用者浏览，使用者可通过单击鼠标左键在这些图像中进行选择。在工作框201的右栏中可显示被选择的待测图像的档名，使用者可通过双击鼠标左键来存储被选择的图像。工作框203用以供使用者输入待测物(例如为采样玻璃)的数据，以利建档。工作框205可及时观看影像获取装置121的录影画面，并且兼作为呈现被选择的待测图像，并在待测图像中反应分析结果。工作框207提供了去模蝴化与视觉化的工具并且显示分析后的图像信息以及判定结果。工作框209包括5个操作钮，用以控制录影、停止、快照、存储以及浏览数据库。

图3是依照本发明一实施例的附着力分析的架构图。请参照图3，首先，将影像信号A输入至电子装置110，由处理器111自影像信号A中来获取多个帧。例如，在影像获取装置121不动的情况下，移动待测物，确保影像获取装置121能拍摄到待测物的每一处，进而获得影像信号A。

接着，在步S305中，由处理器111删除失焦的帧。例如，利用拉普拉斯算子(Laplacian operator)来计算出每一帧的变异数，将变异数与一设定阈值(例如12)进行比对，将变异数小于12的帧删除。所述设定阈值可基于专案中的全部图片进行测试结果来决定。

之后，在步骤S310中，由处理器111在判定未失焦的帧中删除像素重复的帧，借此来获得多个候选图像B1～Bn。每一个候选图像B1～Bn中没有重复的区域。由于在自影像信号A获得多个帧的过程中，可能会在时间序列中相邻的两个帧中包括重复的区域，因此，在步骤S310中，可通过像素比对的动作在两个帧中判断是否包括重复的像素。例如，可先依照时间序列来取出两个相邻的帧f1、f2，倘若这两个帧f1、f2包括相同的像素，则将时间序列在后的帧f2删除，之后依照时间序列往下取下一帧f3，判断帧f3是否具有与帧f1相同的像素。倘若帧f3与帧f1并未包括相同的像素，保留帧f1(候选图片)，并继续将帧f3与帧f4进行比对，以此类推来检查完每一帧。

在获得候选图像B1～Bn之后，逐一将每一个候选图像作为待测图像B，并将待测图像B分别输入物件识别模型M1以及语意分割(semantic segmentation)模型M2，以分别找出待测图像B中的剥落区域以及刮痕区域。另外，在取出待测图像B之后，还可进一步对待测图像B执行去模糊化处理，以将经去模糊化处理后的待测影像B输入至物件识别模型M1与语意分割模型M2。去模糊化处理可采用DeblurGAN-v2或MPRNet等演算法。

图4是依照本发明一实施例的待测图像的示意图。请参照图4，通过物件识别模型M1可在待测图像B中找出剥落块410，通过语意分割模型M2可在待测图像B中分离出刀片刮过的刮痕区域420，以优化剥落区域的面积计算。

返回图3，在找出待测图像B中的剥落区域以及刮痕区域之后，进一步在步骤S315中进行附着力分析，以计算剥落区域的剥落比例。并且，在步骤S320中，获得分析结果。例如，根据剥落比例来判断待测图像的等级。按照ASTM(American Society for Testing andMaterials)标准，等级可分为1B～5B。等级5B表示完全没有剥落，等级4B表示剥落比例小于或等于5％，等级3B表示剥落比例大于5％，且未大于15％，等级2B表示剥落比例大于15％，且未大于35％，等级1B表示剥落比例大于35％，且未大于65％，等级0B表示剥落比例大于65％。

底下再举一实施例来说明附着力分析的详细流程。图5是依照本发明一实施例的用于百格测试的附着力分析方法的流程图。请参照图3及图5，在步骤S505中，处理器111利用物件识别模型M1来找出待测图像中的剥落区域。所述物件识别模型M1可采用下述其中一种演算法，R-CNN(Region Based Convolutional Neural Networks，区域卷积神经网络)、YOLO(You Only Look Once)、SSD(Single Shot MultiBox Detector)、EfficientDet、CenterNet、Swin transformer(Swin转换器)。

在通过物件识别模型M1于待测图像中检测到的可能为剥落区域的多个预测边界框之后，对每一个预测边界框计算IOU(Intersection over Union，交并比)值。IOU值是预测边界框和参考边界框的交集和联集之间的比率。如果IOU值大于一个阈值(例如0.5)，则将此预测边界框判定为剥落区域，反之，则忽略此预测边界框。

另一方面，在步骤S510中，处理器111利用语意分割模型M2来识别待测图像中的刮痕区域而获得处理后影像。所述语意分割模型M2可采用下述其中一种演算法，FCN(FullyConvolutional Networks，全卷积神经网络)、U-Net、DeepLab、ReNet、ReSeg、GAN(Generative Adversarial Networks，生成对抗网络)、HRNet(High-Resolution Net)、OCRNet(object-context representation Net)。

图6是依照本发明一实施例的使用不同演算法的语意分割模型所获得的结果的示意图。在本实施例中，针对采用一般CNN(例如U-Net)的语意分割模型M2，以及采用GAN(例如pix2pix)的语意分割模型M2的结果进行比对。

处理后影像610为使用U-Net的语意分割模型M2对待测图像600进行分析所获得。由处理后影像610可知，采用U-Net的语意分割模型M2在百格测试的效果不理想。原因推测可能是刮痕区域除了边缘处之外并无明显特征，U-Net可能认定其为单一颜色区域，造成预测严重失准。

处理后影像620为使用GAN的语意分割模型M2对待测图像600进行分析所获得。由处理后影像620可知，采用GAN的语意分割模型M2的效果比采用U-Net语意分割模型M2的效果还佳。原因推测是GAN具有判别器，能判断生成的处理后影像620是否与待测图像600有外观上的相似性。

返回图5，在步骤S515中，处理器111于处理后影像中取出与剥落区域对应的裁切区域。在步骤S520中，处理器111结合剥落区域与裁切区域而获得结合影像。并且，在步骤S525中，处理器111基于结合影像计算剥落比例。

底下再举例来进一步说明步骤S515～步骤S525。图7是依照本发明一实施例的获得结合影像之前的影像处理流程的示意图。图8是依照本发明一实施例的计算剥落面积的示意图。

请参照7，待测图像T经由物件识别模型M1获得识别后影像T1，在识别后影像T1中利用物件框来标示出剥落处。之后，在识别后影像T1中进行物件框处裁切，借此获得物件框所框选的剥落区域b1。并且，待测图像T经由语意分割模型M2获得处理后影像T2。接着，基于识别后影像T1的物件框所框选的坐标范围，在处理后影像T2中取出与剥落区域b1对应的裁切区域b2。

而为了使后续结果更为精准，可进一步利用边缘检测模型M3对剥落区域b1进行边缘检测而获得边缘影像b3。边缘检测模型M3例如采用Canny边缘检测演算法。之后，结合边缘影像b3与裁切区域b2来获得结合影像b4(如图8所示)，以在结合影像b4中来计算剥落面积，进而获得剥落比例。而为了在准确地计算剥落面积，还可针对结合影像b4执行下述处理。

参照图8，在结合边缘影像b3与裁切区域b2来获得结合影像b4之后，对结合影像b4执行黑白反转处理，而获得反转影像b5。接着，对反转影像b5执行边缘增强处理，而获得加强影像b6。然后，利用边缘检测演算法在加强影像b6中找剥落块轮廓，而获得轮廓影像b7。之后，基于轮廓影像b7中的剥落块轮廓来获得最终影像b8，借此计算最终影像b8中的黑色区域的像素数量作为剥落面积。而后，基于剥落面积以及待测图像的总面积，计算剥落比例(剥落面积/总面积)。例如，假设待测图像的总面积为800×600，剥落面积的像素数量为6704，则剥落比例为6704/(800×600)。基此，处理器111可根据剥落比例来判定等级。

底下再举两个实施例来说明套用上述附着力分析系统所获得的分析结果。图9是依照本发明一实施例的分析示意图。图10是依照本发明另一实施例的分析示意图。

在图9所示的实施例包括经由物件识别模型M1获得的识别后影像910(包括框选出剥落区域的物件框901)以及经由语意分割模型M2获得的处理后影像920。基于识别后影像910以及处理后影像920获得最终的判定结果影像930，其剥落比例为1.026％，判定为等级4B。

在图10所示的实施例包括经由物件识别模型M1获得的识别后影像1010(未检测到剥落区域)以及经由语意分割模型M2获得的处理后影像1020。基于识别后影像1010以及处理后影像1020获得最终的判定结果影像1030。判定结果影像1030未包括任何剥落，判定为等级5B。

图11是依照本发明一实施例的准确率比较示意图。在图11中，横轴表示预测等级，纵轴表示为实际等级，图中的数量为预测等级与实际等级的判断数量。在此实施例中，以预测等级为1B而言，共有37个待测图像的预测等级为1B，而实际等级为1B的判断数量为34，实际等级为2B～5B的数量则皆为0。图11中预测等级与实际等级相符的数量共198(34+30+35+32+67)，全数进行预测的数量共216个，由此可知，所述实施例所公开的智能分析的准确率已达91.7％(198/216)。

综上所述，本公开提供一种用于百格测试的附着力分析方法及系统，以自动化取代人工，并建立客观评断标准。据此，大幅节省时间成本，并客观进行高效判定。并且，提供数据整理、视觉化工具，并提供直觉流畅的操作体验，以提升使用者体验。

Claims (10)

1.一种用于百格测试的附着力分析方法，利用一电子装置来执行，该附着力分析方法包括：

利用一物件识别模型来找出一待测图像中的一剥落区域；

利用一语意分割模型来识别该待测图像中的一刮痕区域而获得一处理后影像；

于该处理后影像中取出与该剥落区域对应的一裁切区域；

结合该剥落区域与该裁切区域而获得一结合影像；以及

基于该结合影像计算一剥落比例。

2.如权利要求1所述的附着力分析方法，还包括：

自一影像信号中获取多个帧；

利用一拉普拉斯算子自该些帧中删除失焦的帧；以及

在判定未失焦的帧中删除像素重复的帧，将保留的每一帧作为该待测图像。

3.如权利要求1所述的附着力分析方法，还包括：

对该待测图像执行一去模糊化处理，以将经该去模糊化处理后的该待测影像输入至该物件识别模型与该语意分割模型。

4.如权利要求1所述的附着力分析方法，其中结合该剥落区域与该裁切区域而获得该结合影像的步骤包括：

利用一边缘检测模型对该剥落区域进行边缘检测，而获得一边缘影像；以及

结合该边缘影像与该裁切区域而获得该结合影像。

5.如权利要求1所述的附着力分析方法，其中基于该结合影像计算该剥落比例的步骤包括：

对该结合影像执行一黑白反转处理，而获得一反转影像；

对该反转影像执行一边缘增强处理，而获得一加强影像；

利用一边缘检测演算法在该加强影像中找一剥落块轮廓；

基于该剥落块轮廓来计算一剥落面积；以及

基于该剥落面积以及该待测图像的一总面积，计算该剥落比例。

6.一种附着力分析系统，包括：

一显微镜，具有一影像获取装置，通过该影像获取装置来拍摄置于该显微镜上的一待测物而获得一影像信号；以及

一电子装置，自该影像获取装置接收该影像信号，该电子装置经配置以自该影像信号中获得多个待测图像，并分别针对每一该些待测图像执行下述动作：

利用一物件识别模型来找出每一该些待测图像中的一剥落区域；

利用一语意分割模型来识别每一该些待测图像中的一刮痕区域而获得一处理后影像；

于该处理后影像中取出与该剥落区域对应的一裁切区域；

结合该剥落区域与该裁切区域而获得一结合影像；以及

基于该结合影像计算一剥落比例。

7.如权利要求6所述的附着力分析系统，其中该电子装置经配置以：

自该影像信号中获取多个帧；

利用一拉普拉斯算子自该些帧中删除失焦的帧；以及

在判定未失焦的帧中删除像素重叠的帧，将保留的每一帧作为每一该些待测图像。

8.如权利要求6所述的附着力分析系统，其中该电子装置经配置以：

对每一该些待测图像执行一模糊化处理，以将经该模糊化处理后的该待测影像输入至该物件识别模型与该语意分割模型。

9.如权利要求6所述的附着力分析系统，其中该电子装置经配置以：

利用一边缘检测模型对该剥落区域进行边缘检测，而获得一边缘影像；以及

结合该边缘影像与该裁切区域而获得该结合影像。

10.如权利要求6所述的附着力分析系统，其中该电子装置经配置以：

对该结合影像执行一黑白反转处理，而获得一反转影像；

对该反转影像执行一边缘增强处理，而获得一加强影像；

利用一边缘检测演算法在该加强影像中找一剥落块轮廓；

基于该剥落块轮廓来计算一剥落面积；以及

基于该剥落面积以及该待测图像的一总面积，计算该剥落比例。

Images