CN117078603A - 基于改进的yolo模型的半导体激光芯片损伤探测方法和系统 - Google Patents

基于改进的yolo模型的半导体激光芯片损伤探测方法和系统 Download PDF

Info

Publication number
CN117078603A
CN117078603A CN202310937017.9A CN202310937017A CN117078603A CN 117078603 A CN117078603 A CN 117078603A CN 202310937017 A CN202310937017 A CN 202310937017A CN 117078603 A CN117078603 A CN 117078603A
Authority
CN
China
Prior art keywords
damage
feature
semiconductor laser
yolo model
laser chip
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310937017.9A
Other languages
English (en)
Inventor
田凤
忻向军
周建伟
张琦
高然
田清华
王珏
黄鑫
张文全
王富
李志沛
郭栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yatigers Shanghai Communication Technology Co ltd
Beijing Institute of Technology BIT
Beijing University of Posts and Telecommunications
Original Assignee
Yatigers Shanghai Communication Technology Co ltd
Beijing Institute of Technology BIT
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yatigers Shanghai Communication Technology Co ltd, Beijing Institute of Technology BIT, Beijing University of Posts and Telecommunications filed Critical Yatigers Shanghai Communication Technology Co ltd
Priority to CN202310937017.9A priority Critical patent/CN117078603A/zh
Publication of CN117078603A publication Critical patent/CN117078603A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明提供一种基于改进的YOLO模型的半导体激光芯片损伤探测方法和系统，该方法包括：将半导体激光器芯片的红外热图像输入到YOLO模型中；其中，YOLO模型包含主干提取网络和检测头，检测头包含特征融合模块和损伤探测模块；利用YOLO模型的主干提取网络对红外热图像进行特征提取，得到预设数量个尺寸递减的特征图，从中选取3个，并输入到YOLO模型的特征融合模块中；利用YOLO模型的特征融合模块对选取的三个特征图进行特征融合，得到不同尺寸的第一特征图、第二特征图和第三特征图；YOLO模型的损伤探测模块在不同尺寸的第一特征图、第二特征图和第三特征图中预测半导体激光芯片上的损伤位置和损伤类别。本发明能够聚焦于普通质量的锚框，提高检测器的整体性能。

Description

基于改进的YOLO模型的半导体激光芯片损伤探测方法和系统
技术领域
本发明涉及光通信器件损伤检测技术领域，尤其涉及一种基于改进的YOLO模型的半导体激光芯片损伤探测方法和系统。
背景技术
近年来，半导体激光器已经广泛应用于各行各业，需求量不断增加。激光器芯片作为半导体激光器最核心的器件之一，其质量好坏将直接决定半导体激光器的工作性能。然而，在半导体激光器芯片的生产过程中，由于其生产工艺过程较为复杂，很容易生产出带有缺陷的半导体激光器芯片。当激光器输出功率变大以后，激光器工作在高功率状态下，其腔面薄膜本身、表面的缺陷、腔面污染等，均会吸收部分光能，出现局部蓄热，进而导致腔体或腔面高温熔化并使腔体产生暗线损伤，严重影响半导体激光器的性能，这一问题被称为灾变光学损伤(COD，Catastrophic Optical Damage)。灾变光学损伤又可以分为灾变光学镜面损伤(Catastrophic Optical Mirror Damage，COMD)和灾变光学腔体损伤(Catastrophic Optical Body Damage，COBD)两个类型。对于灾变光学镜面损伤，其特点是暗线缺陷起始于前端面，并会沿着腔面不断延伸，是由于光的自聚焦和空间烧孔造成的。而灾变光学腔体损伤的特点则是暗线缺陷是起始于激光器腔体里面，并沿着腔面不断发展，其产生机理是当丝状的光强度达到灾变光学腔体损伤的阈值时，其所在区域就会产生暗点并不断发展成暗线直至成为灾变光学腔体损伤。
传统的半导体激光器芯片损伤检测方法是通过人工拍摄照片，然后再由人工根据这些照片去检测激光器芯片的损伤。这种方法不但费时费力，最主要的是对于一些面积微小的损伤，人眼很难判断出来，因此这些微小的芯片损伤很容易被忽略，进而导致损伤识别率低。近几年，随着深度学习与计算机视觉的发展，利用深度学习算法不但省时省力，而且识别正确率更高。通过深度学习算法去实现工业产品损伤识别已经成为主流方法。
但是，目前应用于半导体激光器芯片损伤检测的深度学习方法，在锚框(又称目标框，Anchor box)的问题上预先假设训练数据中的样本是高质量的，一方面高质量锚框的竞争力较高，有一方面低质量示例产生的有害梯度，而对普通质量的锚框聚焦度不足，因而影响了检测的准确率。
发明内容
鉴于此，本发明实施例提供了一种基于改进的YOLO模型的半导体激光芯片损伤探测方法和系统，以消除或改善现有技术中存在的一个或更多个缺陷。
本发明的一个方面提供了一种基于改进的YOLO模型的半导体激光芯片损伤探测方法，该方法包括以下步骤：
将半导体激光器芯片的红外热图像输入到所述YOLO模型中；其中，YOLO模型包含主干提取网络和检测头，所述检测头包含特征融合模块和损伤探测模块；
利用YOLO模型的主干提取网络对红外热图像进行特征提取，得到预设数量个尺寸递减的特征图，从所述预设数量个尺寸递减的特征图中选取3个，并输入到YOLO模型的特征融合模块中；
利用YOLO模型的特征融合模块对选取的三个特征图进行特征融合，得到不同尺寸的第一特征图、第二特征图和第三特征图；
YOLO模型的损伤探测模块在所述不同尺寸的第一特征图、第二特征图和第三特征图中预测半导体激光芯片上的损伤位置和损伤类别。
在本发明的一些实施例中，在将半导体激光器芯片的红外热图像输入到YOLO模型前，该方法还包括：对半导体激光器芯片的红外热图像进行图像预处理，所述图像预处理包含数据增强。
在本发明的一些实施例中，在所述利用YOLO模型的主干提取网络对红外热图像进行特征提取，得到预设数量个尺寸递减的特征图，从所述预设数量个尺寸递减的特征图中选取3个的步骤中，所述预设数量为5，所选取的3个特征图为5个尺寸递减的特征图中较小的3个。
在本发明的一些实施例中，所述YOLO模型为YOLOv8模型，YOLO模型的特征融合模块包含C2f模块，所述C2f模块的输入先经过卷积层的处理，再经过分割函数，预设数量个瓶颈层对分割函数的输出进行处理，将分割函数和每个瓶颈层处理后的结果进行拼接操作，将拼接操作的结果再次经过卷积层处理得到所述C2f模块的输出。
在本发明的一些实施例中，所述YOLO模型的损伤探测模块在所述不同尺寸的第一特征图、第二特征图和第三特征图中预测半导体激光芯片上的损伤位置和损伤类别的步骤，包括：YOLO模型所包含的已预训练的损伤探测模块对第一特征图、第二特征图和第三特征图分别进行处理，在第一特征图、第二特征图和第三特征图中分别预测一个半导体激光芯片上的损伤位置，并生成对所述损伤位置的标签，基于所述已预训练的损伤探测模块生成的对损伤位置的标签预测半导体激光芯片上的损伤类别。
在本发明的一些实施例中，在得到预测的半导体激光芯片上的损伤位置和损伤类别后，该方法还包括：将基于第一特征图、第二特征图和第三特征图分别预测得到的损伤位置和损伤类别合并，得到损伤探测合并结果，并将所述损伤探测合并结果映射回半导体激光器芯片的红外热图像中，以数字和图形标注方式可视化呈现半导体激光器芯片所预测包含损伤位置和损伤类别的损伤探测合并结果；或将基于第一特征图、第二特征图和第三特征图分别预测得到的损伤位置和损伤类别分别映射回半导体激光器芯片的红外热图像中，并合并得到唯一的包含损伤位置和损伤类别的损伤探测合并结果，以数字和图形标注方式可视化呈现所述损伤探测合并结果。
在本发明的一些实施例中，该方法还包括：在所述改进的YOLO模型的训练过程中，所述第一特征图、第二特征图和第三特征图经过损伤探测模块的处理得到第一损伤预测探测结果、第二损伤预测探测结果和第三损伤预测探测结果，将所述第一损伤预测探测结果、第二损伤预测探测结果、第三损伤预测探测结果和训练数据包含的真实损伤探测结果输入到损失函数部分计算损失值，待训练的YOLO模型基于损失值反向传播更新各个参数，实现对YOLO模型的训练；其中，所述损失函数部分包含回归损失函数和分类损失函数，所述回归损失函数包含动态交并比损失WIoU和分布焦点损失，所述动态交并比损失WIoU基于灵活的梯度增益分配策略。
在本发明的一些实施例中，所述分类损失函数为二元交叉熵损失BCE；所述半导体激光芯片上的损伤类别包括灾变光学镜面损伤COMD和灾变光学腔体损伤COBD。
本发明的另一方面提供了一种基于改进的YOLO模型的半导体激光芯片损伤探测系统，包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该系统实现如上实施例中任一项所述方法的步骤。
本发明的另一方面提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上实施例中任一项所述方法的步骤。
本发明所提出的基于改进的YOLO模型的半导体激光芯片损伤探测方法和系统，创造性的引入YOLOv8算法到半导体激光器芯片的损伤检测中，基于无锚点的YOLOv8算法建立的模型，能够直接预测芯片上损伤的中心位置，降低了高质量示例(即高质量训练图像)的竞争力，并减小了低质量示例产生的有害梯度，这使得WIoU可以聚焦于普通质量的锚框，并提高检测器的整体性能。
本发明的附加优点、目的，以及特征将在下面的描述中将部分地加以阐述，且将对于本领域普通技术人员在研究下文后部分地变得明显，或者可以根据本发明的实践而获知。本发明的目的和其它优点可以通过在说明书以及附图中具体指出的结构实现到并获得。
本领域技术人员将会理解的是，能够用本发明实现的目的和优点不限于以上具体所述，并且根据以下详细说明将更清楚地理解本发明能够实现的上述和其他目的。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。在附图中：
图1为本发明一实施例中基于YOLO模型的半导体激光芯片损伤探测方法流程图。
图2为本发明一实施例中改进的YOLO模型训练流程示意图。
图3为本发明一实施例中改进的YOLO模型测试流程示意图。
图4为本发明一实施例中改进的YOLOv8模型中C2f模块结构示意图。
图5为本发明所基于的交并比原理示意图。
图6为本发明所基于的WIoU原理推导示意图。
图7为本发明一实施例中改进的YOLOv8模型与传统YOLOv8模型的BBox损失函数曲线对比图。
图8为本发明一实施例中使用改进的YOLOv8模型进行芯片损伤识别结果示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。
在此，还需要说明的是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的结构和/或处理步骤，而省略了与本发明关系不大的其他细节。
应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。
在此，还需要说明的是，如果没有特殊说明，术语“连接”在本文不仅可以指直接连接，也可以表示存在中间物的间接连接。
在下文中，将参考附图描述本发明的实施例。在附图中，相同的附图标记代表相同或类似的部件，或者相同或类似的步骤。
为了解决现有的深度学习模型应用于半导体激光器芯片损伤检测所存在的问题，本发明提供了一种基于改进的YOLO模型的半导体激光芯片损伤探测方法和系统。
图1为本发明一实施例中基于YOLO模型的半导体激光芯片损伤探测方法流程图，改进的YOLO模型通过动态交并比损失WIoU和分布焦点损失组合成的回归损失函数训练得到，损失函数使用主要是在模型的训练阶段，每个批次的训练数据送入模型后，通过前向传播输出预测值，然后损失函数会计算出预测值和真实值之间的差异值，也就是损失值。得到损失值之后，模型通过反向传播去更新各个参数，来降低真实值与预测值之间的损失，使得模型生成的预测值往真实值方向靠拢，从而达到学习的目的。
如图1所示，该方法主要包含以下步骤：
步骤S110：将半导体激光器芯片的红外热图像输入到所述YOLO模型中；其中，YOLO模型包含主干提取网络(Backbone)和检测头(Head)，检测头包含特征融合模块和损伤探测模块。
在本发明一些实施例中，在步骤S110之前，该方法还包括：可以对半导体激光器芯片的红外热图像进行图像预处理，该图像预处理至少包含数据增强。但本发明不限于此，在本发明一些实施例中，该图像预处理的步骤还包括：图像亮度变换、局部邻域预处理、图像复原和图像归一化处理等。此步骤的目的是为了提升图像的质量，从而更好的进行损伤检测。进一步地，在本发明一些实施例中，所述图像预处理的步骤还包括，进行图像分割，将分割后的图像分别输入到改进的YOLOv8中，从而降低运算量。
步骤S120：利用YOLO模型的主干提取网络对红外热图像进行特征提取，得到预设数量个尺寸递减的特征图，从预设数量个尺寸递减的特征图中选取3个，并输入到YOLO模型的特征融合模块中。
需要说明的是，在步骤S120中，该预设数量优选的为5，从5个尺寸递减的特征图中选取尺寸较小的三个用于特征融合。但本发明并不限于此，可以基于输入图像的分辨率不同，修改进行特征提取得到的特征图的数量，但是不可少于3个。
步骤S130：利用YOLO模型的特征融合模块对选取的三个特征图进行特征融合，得到不同尺寸的第一特征图、第二特征图和第三特征图。
其中，该YOLO模型为YOLOv8模型，YOLO模型的特征融合模块包含包含C2f模块，该C2f模块的输入先经过卷积层的处理，再经过分割函数，预设数量个瓶颈层对分割函数的输出进行处理，将分割函数和每个瓶颈层处理后的结果进行拼接操作，将拼接操作的结果再次经过卷积层处理得到所述C2f模块的输出。YOLOv8算法本身提供了成熟的对于三个不同尺寸特征图的特征融合的流程。
步骤S140：YOLO模型的损伤探测模块在所述不同尺寸的第一特征图、第二特征图和第三特征图中预测半导体激光芯片上的损伤位置和损伤类别。
其中，步骤S140具体包括：YOLO模型所包含的已预训练的损伤探测模块对第一特征图、第二特征图和第三特征图分别进行处理，在第一特征图、第二特征图和第三特征图中分别预测一个半导体激光芯片上的损伤位置，并生成对损伤位置的标签，基于所述已预训练的损伤探测模块生成的对损伤位置的标签预测半导体激光芯片上的损伤类别。在现有技术中，损伤探测模块采用的是二分类技术，虽然二分类技术能够判断是否存在损伤，但是无法对损伤的类别进行判断，并且，本发明在实现对损伤的类别进行判断的基础上，能够实现相比于现有技术更快的损伤探测，本发明所实现的效果显著优于现有技术。
进一步地，在本发明一实施例中，该损伤类别能够以百分比的形式呈现，例如，5％的概率为COMD，95％的概率为COBD。
在本发明一些实施例中，在步骤S140之后，该方法还包括：将基于第一特征图、第二特征图和第三特征图分别预测得到的损伤位置和损伤类别合并，得到损伤探测合并结果，并将损伤探测合并结果映射回半导体激光器芯片的红外热图像中，以数字和图形标注方式可视化呈现半导体激光器芯片所预测包含损伤位置和损伤类别的损伤探测合并结果。
在本发明又一些实施例中，在步骤S140之后，该方法还包括：将基于第一特征图、第二特征图和第三特征图分别预测得到的损伤位置和损伤类别分别映射回半导体激光器芯片的红外热图像中，并合并得到唯一的包含损伤位置和损伤类别的损伤探测合并结果，以数字和图形标注方式可视化呈现所述损伤探测合并结果。
本发明所提出的基于改进的YOLO模型的半导体激光芯片损伤探测方法和系统，创造性的引入YOLOv8算法到半导体激光器芯片的损伤检测中，基于无锚点的Anchor-Free思想所建立的YOLO模型，能够直接预测芯片上损伤的中心位置，降低了高质量训练图像的竞争力，并减小了低质量训练图像所产生的有害梯度，这使得WIoU可以聚焦于普通质量的锚框，并提高检测器的整体性能。
图3为本发明一实施例中改进的YOLO模型测试流程示意图，该YOLO模型为YOLOv8模型，在输入端，图片经过数据增强等一系列操作进行预处理后，被送入主干提取网络，主干提取网络部分对处理后的图片进行提取特征；随后，提取到的特征经过特征融合处理得到大、中、小三种尺寸的特征层。其中，C2f模块是YOLOv8相比于其他YOLO系列算法所特有的，可以在保证轻量化的同时获得更加丰富的梯度流信息,这是YOLOv8的又一个优势所在。最终，融合后的特征经过检测之后输出得到结果。
如图3所示，该测试过程包含如下步骤：
(1)将用于测试的图像输入到已经训练完成的YOLO模型的主干提取网络100中，主干提取网络100对红外热图像进行特征提取，得到尺寸递减的P1、P2、P3、P4和P5共5个特征图，选取P3、P4和P5输入到YOLO模型的特征融合模块210中；其中，待训练YOLO模型的特征头200包含特征融合模块210和损伤探测模块220。
(2)特征融合模块210对选取的P3、P4和P5三个特征图进行特征融合，得到特征融合之后的P3、P4和P5；其中，图2中的C代表Concat，堆叠操作(又称为拼接操作)，U代表Upsample，上采样模块，C2f是YOLOv8模型所特有的模块。该特征融合模块的结构为YOLOv8算法所提供的，在此对其结构不再赘述。但本发明并不限于此，例如，YOLO模型可以为YOLOv7模型或以后的类似的迭代版本。
在该C2f模块，其输入先经过卷积层的处理，再经过分割函数，预设数量个瓶颈层对分割函数的输出进行处理，将分割函数和每个瓶颈层处理后的结果进行拼接操作，将拼接操作的结果再次经过卷积层处理得到所述C2f模块的输出。
(3)将特征融合之后的P3、P4和P5分别放到损伤探测模块220中进行损伤探测，得到第一损伤预测探测结果、第二损伤预测探测结果和第三损伤预测探测结果，并将第一损伤探测结果、第二损伤探测结果、第三损伤探测结果合并，得到损伤探测合并结果，并进行输出。
图4为本发明一实施例中改进的YOLOv8模型中C2f模块结构示意图，该C2f模块的输入先经过卷积层(Conv)的处理，再经过分割函数(Split函数)，预设数量个瓶颈层(Bottleneck层)对分割函数的输出进行处理，将分割函数和每个瓶颈层处理后的结果进行拼接操作(Concat)，将拼接操作的结果再次经过卷积层(Conv)处理得到所述C2f模块的输出。
图5为本发明所基于的交并比原理示意图。在目标检测任务中，通常用IoU来衡量预测结果的位置信息的准确程度。IoU的原理很简单，用数学中集合的语言来说，就是两个区域的“交集(intersection)”除以两个区域的“并集(union)”，在图3中，交集用Si来表示，并集用Su来表示，IoU的计算式如下：
其中，在目标检测任务中，两个方框分别代表实际的物体位置和预测的物体位置，由式(1)可以看出，当两者的交集越大，并集就越小，所得到的IoU值就越大。IoU最大值为1，此时预测区域与实际区域完全重合，IoU最小值为0，此时预测区域与实际区域没有交集，也就是说，IoU值越大，所预测的结果就越准确。锚框(Anchor Box)，锚框就是用来拟合真实区域的边界框，它是以每个像素为中心生成的大量大小和宽高比不同的框，是预先设定的。在目标检测中，图像中可能存在多个类别需要识别，或者说有多个目标，所以我们需要用锚框圈出目标在图像中的区域，对这些区域分别预测。：锚框是否包含物体，被认为是一个二分类的问题，通过标签(Objectness)来进行判断，例如，如果锚框内存在损伤，则表示该锚框属于正类，如果锚框内不存在损伤，则表示该锚框属于负类。在YOLOv8中，无需使用到锚框，因此也降低了高质量示例(即高质量训练图像)的竞争力，并减小了低质量示例产生的有害梯度。
当IoU作为目标检测任务的损失函数时，LIoU表示损失函数(又称为“离群度”)，可以用下式表示：
LIoU＝1-IoU； (2)
图6为本发明所基于的WIoU原理推导示意图，Wise-IoU的提出是由于训练数据不可避免地包含低质量的例子(即低质量的训练数据)，距离和横纵比等几何因素会加重低质量例子的惩罚，从而降低模型的泛化性能。一个好的损失函数应该在锚盒与目标盒重合良好时弱化几何因素的惩罚，训练中较少的干预会使模型获得更好的泛化能力。WIoU共有三个版本，在本发明一实施例中，优选的版本为WIoU-v3。
WIoU损失函数LWIoU的计算式如下：
LWIoU＝τRWIoULIoU； (3)
其中：
其中，α和δ这两个超参数需要根据不同的任务设定成不同的值，在本实施例的任务中，当α和δ被分别设定为1.4和5。式(4)中的*表示该计算式与计算图分离。表示LIoU的动量滑动平均值，xgt、ygt是指真实物体锚框的中心点，x、y是指预测框的中心点。
图7为本发明一实施例中改进的YOLOv8模型与传统YOLOv8模型的BBox损失函数曲线对比图。在本实施例中，利用制作好的数据集对模型进行训练，这里采用的深度学习框架是pytorch 2.0.0。Epoch设置为100，Batch size为8，学习率为0.01。由于IoU影响的是BBox损失函数，因此图7只展示了经过相同训练后，改进YOLOv8算法与改进前YOLOv8算法的BBox损失函数曲线图。其中，Epoch中文翻译为时期数，所有训练样本的一个正向传递和一个反向传递是一个时期。
由图7可以看出，经过改进后的YOLOv8模型(Improved-YOLOv8)的损失函数曲线明显比传统的YOLOv8模型收敛效果更好。值得一提的是，改进后YOLOv8模型的BBox损失从训练开始就优于改进前算法BBox损失训练100轮后的结果。这将足以说明，在针对我们的半导体激光器芯片损伤数据集时，采用WIoU的YOLOv8算法要比传统的采用CIoU的YOLOv8算法效果更好。其中，B-Box(Bounding Box)损失函数是一个代称，WIoU和CIoU都是B-Box损失函数。
表1YOLOv8改进前后各项参数对比
由表1可以看出，改进后的算法，平均检测时间是13.22ms，比改进之前提高了0.98ms，这将有利于实现半导体激光器芯片损伤的实时检测。在mAP@0.5:0.95方面，改进版YOLOv8从之前的71.8％提升到了74.7％，有了2.9％的性能提升，这说明改进YOLOv8算法的检测性能更高。其中，mAP(mean Average Precision，平均精确率的平均)是一个常用于评价模型准确率的参数，mAP@0.5表示IoU设为0.5时，计算每一类的所有图片的平均准确率，然后对所有类别的所有图片的平均准确率求平均。mAP@0.5:0.95表示在不同IoU阈值(从0.5到0.95，步长0.05)上的平均Map。
图8为本发明一实施例中使用改进的YOLOv8模型进行芯片损伤识别结果示意图，其中，(1)-(3)、(4)和(7)是灾变光学镜面损伤(COMD)，(5)-(6)和(8)-(9)是灾变光学腔体损伤(COBD)。通过不同颜色框选出了损伤存在的区域，并通过文字显示损伤类别。
以上，本发明所提出的基于改进的YOLO模型的半导体激光芯片损伤探测方法和系统，创造性的引入YOLOv8算法到半导体激光器芯片的损伤检测中，基于无锚点的Anchor-Free思想所建立的YOLO模型，能够直接预测芯片上损伤的中心位置，降低了高质量训练图像的竞争力，并减小了低质量训练图像所产生的有害梯度，这使得WIoU可以聚焦于普通质量的锚框，并提高检测器的整体性能。
本发明的另一方面还提供了一种训练用于如上实施例的改进的YOLO模型的训练方法，在改进的YOLO模型的训练过程中，所述第一特征图、第二特征图和第三特征图经过损伤探测模块的处理得到第一损伤预测探测结果、第二损伤预测探测结果和第三损伤预测探测结果，将所述第一损伤预测探测结果、第二损伤预测探测结果、第三损伤预测探测结果和训练数据包含的真实损伤探测结果输入到损失函数部分计算损失值，待训练的YOLO模型基于损失值反向传播更新各个参数，实现对YOLO模型的训练；其中，所述损失函数部分包含回归损失函数和分类损失函数，所述回归损失函数包含动态交并比损失WIoU和分布焦点损失，所述动态交并比损失WIoU基于灵活的梯度增益分配策略。
其中，该分类损失函数为二元交叉熵损失(binary cross entropy，BCE)。半导体激光芯片上的损伤类别包括灾变光学镜面损伤COMD和灾变光学腔体损伤COBD。
图2为本发明一实施例中改进的YOLO模型训练流程示意图，该训练过程包含如下步骤：
(1)将用于训练的图像输入到待训练YOLO模型的主干提取网络100中，主干提取网络100对红外热图像进行特征提取，得到尺寸递减的P1、P2、P3、P4和P5共5个特征图，选取P3、P4和P5输入到YOLO模型的特征融合模块210中；其中，待训练YOLO模型的特征头200包含特征融合模块210和损伤探测模块220。
(2)特征融合模块210对选取的P3、P4和P5三个特征图进行特征融合，得到特征融合之后的P3、P4和P5；其中，图2中的C代表Concat，堆叠操作(又称为拼接操作)，U代表Upsample，上采样模块，C2f是YOLO模型所特有的模块。该特征融合模块的结构为YOLOv8算法所提供的，在此对其结构不再赘述。
在该C2f模块，其输入先经过卷积层的处理，再经过分割函数，预设数量个瓶颈层对分割函数的输出进行处理，将分割函数和每个瓶颈层处理后的结果进行拼接操作，将拼接操作的结果再次经过卷积层处理得到所述C2f模块的输出。
(3)将特征融合之后的P3、P4和P5分别放到损伤探测模块220中进行损伤探测，得到第一损伤预测探测结果、第二损伤预测探测结果和第三损伤预测探测结果，并将第一损伤预测探测结果、第二损伤预测探测结果、第三损伤预测探测结果和真实损伤检测结果输入到损失函数中计算损失值，先后经过回归损失函数和分类损失函数；其中，回归损失函数包含动态交并比损失WIoU和分布焦点损失，分类损失函数为二元交叉熵损失BCE，而传统的回归损失函数为完全交并比损失CIoU和分布焦点损失。
(4)待训练的YOLO模型基于损失值反向传播更新各个参数，实现对YOLO模型的训练。
(5)合并第一损伤预测探测结果、第二损伤预测探测结果和第三损伤预测探测结果，得到损伤探测合并结果，并进行输出。
与上述方法相应地，本发明还提供了一种基于改进的YOLO模型的半导体激光芯片损伤探测系统，该系统包括计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该系统实现如前所述方法的步骤。
图2与图3相比，在训练过程中，经检测头输出的结果还要经过损失函数与标签作比较，其损失函数包含三个部分，分别是CIoU损失函数、DFL损失函数、BCE损失函数，其中CIoU与DFL组成回归损失函数，BCE构成分类损失函数。这里我们将YOLOv8算法原本的CIoU算法替换为更灵活的WIoU算法，这样可以得到更精确的识别效果和更高的模型性能。
本发明所提出的改进的YOLO模型，在损失函数中，我们将回归损失函数的CIoU替换成WIoU,WIoU的动态非单调聚焦机制使用“离群度”替代CIoU对锚框进行质量评估，并提供了明智的梯度增益分配策略。该策略在降低高质量锚框的竞争力的同时，也减小了低质量示例产生的有害梯度。这使得WIoU可以聚焦于普通质量的锚框，并提高检测器的整体性能。
本发明所提出的基于改进的YOLO模型的半导体激光芯片损伤探测方法和系统，具备如下优点：
(1)本发明创造性的引入YOLOv8算法到半导体激光器芯片的损伤检测中，基于无锚点的YOLOv8算法建立的模型，能够直接预测芯片上损伤的中心位置，降低了高质量示例(即高质量训练图像)的竞争力，并减小了低质量示例(即低质量训练图像)产生的有害梯度，这使得模型可以聚焦于普通质量的锚框，并提高检测器的整体性能。
(2)改进了YOLOv8算法，将回归损失函数由完整交并比损失CIoU+分布焦点损失DFL修改为动态交并比损失WIoU+DFL，灵活的动态交并比损失WIoU可以使训练的YOLO模型聚焦于普通质量的训练图像。Wise-IOU(动态交并比损失)，基于动态非单调的聚焦机制，使用“离群度”代替IoU对锚框进行质量评估，并提供了明智的梯度增益分配策略。该策略在降低高质量锚框的竞争力的同时，也减少了低质量训练图像产生的有害梯度，使得模型可以聚焦于普通质量的锚框，并提高检测器的整体性能。
(3)基于改进的方法所训练得到的YOLO模型，WIoU的引入提高了损伤检测的整体性能，提升了对芯片损伤的检测准确率，具备更短的检测时间，更短的检测时间将更有利于实现半导体激光器芯片损伤的实时检测识别。
进一步地，本发明基于改进的方法所训练得到的YOLO模型，比传统YOLO模型在mAP@0.5:0.95上提高了2.9％，在平均检测时间方面提高了0.98毫秒，能更快更准确的对芯片损伤进行识别。
(4)进一步地，本发明所提出的基于改进的YOLO模型的半导体激光芯片损伤探测系统，能够将训练得到的YOLO模型部署在硬件设备上，实现半导体激光器芯片损伤的实时检测识别，为工业产品损伤检测提供一种有效解决方案。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时以实现如前所述方法的步骤。该计算机可读存储介质可以是有形存储介质，诸如随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、软盘、硬盘、可移动存储盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质。
本领域普通技术人员应该可以明白，结合本文中所公开的实施方式描述的各示例性的组成部分、系统和方法，能够以硬件、软件或者二者的结合来实现。具体究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。
需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
本发明中，针对一个实施方式描述和/或例示的特征，可以在一个或更多个其它实施方式中以相同方式或以类似方式使用，和/或与其他实施方式的特征相结合或代替其他实施方式的特征。
以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于改进的YOLO模型的半导体激光芯片损伤探测方法，其特征在于，所述改进的YOLO模型通过动态交并比损失WIoU和分布焦点损失组合成的回归损失函数训练得到，该方法包括以下步骤：
将半导体激光器芯片的红外热图像输入到所述YOLO模型中；其中，YOLO模型包含主干提取网络和检测头，所述检测头包含特征融合模块和损伤探测模块；
利用YOLO模型的主干提取网络对红外热图像进行特征提取，得到预设数量个尺寸递减的特征图，从所述预设数量个尺寸递减的特征图中选取3个，并输入到YOLO模型的特征融合模块中；
利用YOLO模型的特征融合模块对选取的三个特征图进行特征融合，得到不同尺寸的第一特征图、第二特征图和第三特征图；
YOLO模型的损伤探测模块在所述不同尺寸的第一特征图、第二特征图和第三特征图中预测半导体激光芯片上的损伤位置和损伤类别。
2.根据权利要求1所述的方法，其特征在于，在将半导体激光器芯片的红外热图像输入到YOLO模型前，该方法还包括：
对半导体激光器芯片的红外热图像进行图像预处理，所述图像预处理包含数据增强。
3.根据权利要求1所述的方法，其特征在于，在所述利用YOLO模型的主干提取网络对红外热图像进行特征提取，得到预设数量个尺寸递减的特征图，从所述预设数量个尺寸递减的特征图中选取3个的步骤中，所述预设数量为5，所选取的3个特征图为5个尺寸递减的特征图中较小的3个。
4.根据权利要求1所述的方法，其特征在于，所述YOLO模型为YOLOv8模型，YOLO模型的特征融合模块包含C2f模块，所述C2f模块的输入先经过卷积层的处理，再经过分割函数，预设数量个瓶颈层对分割函数的输出进行处理，将分割函数和每个瓶颈层处理后的结果进行拼接操作，将拼接操作的结果再次经过卷积层处理得到所述C2f模块的输出。
5.根据权利要求1所述的方法，其特征在于，所述YOLO模型的损伤探测模块在所述不同尺寸的第一特征图、第二特征图和第三特征图中预测半导体激光芯片上的损伤位置和损伤类别的步骤，包括：
YOLO模型所包含的已预训练的损伤探测模块对第一特征图、第二特征图和第三特征图分别进行处理，在第一特征图、第二特征图和第三特征图中分别预测一个半导体激光芯片上的损伤位置，并生成对所述损伤位置的标签，基于所述已预训练的损伤探测模块生成的对损伤位置的标签预测半导体激光芯片上的损伤类别。
6.根据权利要求1所述的方法，其特征在于，在得到预测的半导体激光芯片上的损伤位置和损伤类别后，该方法还包括：
将基于第一特征图、第二特征图和第三特征图分别预测得到的损伤位置和损伤类别合并，得到损伤探测合并结果，并将所述损伤探测合并结果映射回半导体激光器芯片的红外热图像中，以数字和图形标注方式可视化呈现半导体激光器芯片所预测包含损伤位置和损伤类别的损伤探测合并结果；或
将基于第一特征图、第二特征图和第三特征图分别预测得到的损伤位置和损伤类别分别映射回半导体激光器芯片的红外热图像中，并合并得到唯一的包含损伤位置和损伤类别的损伤探测合并结果，以数字和图形标注方式可视化呈现所述损伤探测合并结果。
7.根据权利要求1所述的方法，其特征在于，该方法还包括：
在所述改进的YOLO模型的训练过程中，所述第一特征图、第二特征图和第三特征图经过损伤探测模块的处理得到第一损伤预测探测结果、第二损伤预测探测结果和第三损伤预测探测结果，将所述第一损伤预测探测结果、第二损伤预测探测结果、第三损伤预测探测结果和训练数据包含的真实损伤探测结果输入到损失函数部分计算损失值，待训练的YOLO模型基于损失值反向传播更新各个参数，实现对YOLO模型的训练；其中，所述损失函数部分包含回归损失函数和分类损失函数，所述回归损失函数包含动态交并比损失WIoU和分布焦点损失，所述动态交并比损失WIoU基于灵活的梯度增益分配策略。
8.根据权利要求7所述的方法，其特征在于，所述分类损失函数为二元交叉熵损失BCE；
所述半导体激光芯片上的损伤类别包括灾变光学镜面损伤COMD和灾变光学腔体损伤COBD。
9.一种基于改进的YOLO模型的半导体激光芯片损伤探测系统，包括处理器和存储器，其特征在于，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该系统实现如权利要求1至8中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至8中任一项所述方法的步骤。
CN202310937017.9A 2023-07-27 2023-07-27 基于改进的yolo模型的半导体激光芯片损伤探测方法和系统 Pending CN117078603A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310937017.9A CN117078603A (zh) 2023-07-27 2023-07-27 基于改进的yolo模型的半导体激光芯片损伤探测方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310937017.9A CN117078603A (zh) 2023-07-27 2023-07-27 基于改进的yolo模型的半导体激光芯片损伤探测方法和系统

Publications (1)

Publication Number Publication Date
CN117078603A true CN117078603A (zh) 2023-11-17

Family

ID=88701458

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310937017.9A Pending CN117078603A (zh) 2023-07-27 2023-07-27 基于改进的yolo模型的半导体激光芯片损伤探测方法和系统

Country Status (1)

Country Link
CN (1) CN117078603A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117974662A (zh) * 2024-03-29 2024-05-03 东莞市昌盛电子制品有限公司 一种芯片的检测方法、电子设备及存储介质
CN117974662B (zh) * 2024-03-29 2024-06-11 东莞市昌盛电子制品有限公司 一种芯片的检测方法、电子设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117974662A (zh) * 2024-03-29 2024-05-03 东莞市昌盛电子制品有限公司 一种芯片的检测方法、电子设备及存储介质
CN117974662B (zh) * 2024-03-29 2024-06-11 东莞市昌盛电子制品有限公司 一种芯片的检测方法、电子设备及存储介质

Similar Documents

Publication Publication Date Title
Ma et al. GANMcC: A generative adversarial network with multiclassification constraints for infrared and visible image fusion
CN109299274B (zh) 一种基于全卷积神经网络的自然场景文本检测方法
CN112069874B (zh) 胚胎光镜图像中细胞的识别方法及系统、设备及存储介质
CN112884064A (zh) 一种基于神经网络的目标检测与识别方法
CN108492291B (zh) 一种基于cnn分割的太阳能光伏硅片瑕疵检测系统及方法
CN110909690A (zh) 一种基于区域生成的遮挡人脸图像检测方法
CN113658132A (zh) 基于计算机视觉的结构件焊缝检测方法
CN104050471A (zh) 一种自然场景文字检测方法及系统
CN113344971B (zh) 一种融合卡尔曼滤波的孪生红外目标跟踪方法
CN110309765B (zh) 一种视频运动目标高效检测方法
CN112613579A (zh) 一种人脸或人头图像质量的模型训练方法、评估方法及高质量图像的选取方法
CN113191216B (zh) 基于姿态识别和c3d网络的多人实时动作识别方法和系统
CN111815528A (zh) 基于卷积模型和特征融合的恶劣天气图像分类增强方法
CN111898566B (zh) 姿态估计方法、装置、电子设备和存储介质
CN107273884A (zh) 一种基于移动终端摄像头的车辆牌照识别方法
CN111461036A (zh) 一种利用背景建模增强数据的实时行人检测方法
CN113989604A (zh) 基于端到端深度学习的轮胎dot信息识别方法
CN111898410A (zh) 无约束场景下的基于上下文推理的人脸检测方法
CN110688976A (zh) 基于图像识别的门店比对方法
Liu et al. Toward visual quality enhancement of dehazing effect with improved Cycle-GAN
CN104268845A (zh) 极值温差短波红外图像的自适应双局部增强方法
CN113537037A (zh) 路面病害识别方法、系统、电子设备及存储介质
CN112184608A (zh) 一种基于特征转移的红外与可见光图像融合方法
CN111612802A (zh) 一种基于现有图像语义分割模型的再优化训练方法及应用
CN117078603A (zh) 基于改进的yolo模型的半导体激光芯片损伤探测方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination