CN117291809B - 一种基于深度学习的集成电路图像拼接方法及系统 - Google Patents

Abstract

本发明涉及集成电路图像拼接技术领域，特别是涉及一种基于深度学习的集成电路图像拼接方法及系统，包括对待拼接的两张图像进行光照均衡化操作；对光照均衡化后的图像进行图像特征增强；利用深度学习模型对图像提取掩膜图像；对生成的掩膜图像进行调整，将调整得到的全景图像的掩膜图像与原待拼接图像进行融合，进而得到两张待拼接图像的拼接后的全景图像，将得到的全景图像与全景图像的掩膜图像进行融合，再进行矩形化处理，得到规则的拼接图像。本发明能够实现微观图像的特征精准提取，实现像素级的对齐拼接成一幅完整的图像，进而能够准确地检测集成电路的缺陷位置。

Description

一种基于深度学习的集成电路图像拼接方法及系统

技术领域

本发明涉及集成电路图像拼接技术领域，特别是涉及一种基于深度学习的集成电路图像拼接方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

在集成电路缺陷检测任务中，往往需要对集成电路的分布图进行分析。在该过程中，通常采用扫描电子显微镜，对开封、去层后的芯片进行拍照。为了把所测芯片的细节拍摄清晰，扫描电子显微镜往往使用较高的放大倍率，因此拍摄得到的集成电路设计版图微观图像只是所测集成电路设计版图很小的一部分。因此我们需要对这些微观图像进行特征提取，然后进行拼接得到完整的集成电路设计版图，从而为后续的集成电路缺陷检测过程打下基础。

传统的图像特征提取与拼接任务包括特征点检测、映射估计、匹配对齐、投影变换以及图像融合等重要过程。但是传统的基于特征的图像特征提取与拼接任务严重依赖于特征检测质量，特征提取结果较差，并且往往无法拼接特征点较少或者是分辨率较低的图像。而且，受光源影响，在扫描电子显微镜扫描微观图像时会出现反光以及光照强度不均匀的现象。这都影响着图像的特征点检测以及特征提取的质量，也影响着最终得到的拼接图像是否准确。

发明内容

为了解决上述问题，本发明提出了一种基于深度学习的集成电路图像拼接方法及系统，本发明能够实现微观图像的特征精准提取，实现像素级的对齐拼接成一幅完整的图像，进而能够准确地检测集成电路的缺陷位置。

为了实现上述目的，本发明采用如下技术方案：

第一方面，本发明提供一种基于深度学习的集成电路图像拼接方法，包括：

对待拼接的两张图像进行光照均衡化操作；

对光照均衡化后的图像进行图像特征增强；

利用第一深度学习模型对图像特征增强后的图像进行处理，得到待拼接的两张图像分别对应的掩膜图像；

对生成的掩膜图像进行调整，将调整得到的全景图像的掩膜图像与原待拼接图像进行融合，得到第一融合图像；

利用第二深度学习模型对第一融合图像进行处理，得到两张待拼接图像的拼接后的全景图像，将得到的全景图像与全景图像的掩膜图像进行融合，得到第二融合图像；

利用第三深度学习模型对第二融合图像进行矩形化处理，得到规则的拼接图像。

作为可选择的实施方式，对待拼接的两张图像进行光照均衡化操作的具体过程包括：将两张待拼接图像在RGB空间中进行像素点的线性变换，将包含高曝光区域与过暗区域的各区域图像亮度进行初步均匀化调节。

作为可选择的实施方式，对光照均衡化后的图像进行图像特征增强的具体过程包括：使用拉普拉斯算法对光照均衡化后的图像进行二阶微分的操作，突出图像边缘，增强图像细节，并去除图像噪声，提高图像对比度。

作为可选择的实施方式，所述第一深度学习模型以真实全景图像的掩码作为优化目标，包括编码器部分与解码器部分，编码器部分设置为五层，解码器部分设置为六层，编码器部分的输入为两张待拼接图像的叠加矩阵，输出为一个提取到的特征向量，并作为解码器部分的输入，解码器部分的最后一层采用激活函数，第一深度学习模型的损失函数为真实掩码图像与预测掩码图像像素值差的平方和。

作为可选择的实施方式，对生成的掩膜图像进行调整的具体过程包括通过使用像素平均误差的方法对输出的掩膜图像进行调整，使其更加接近真实掩膜图像。

作为可选择的实施方式，将调整得到的全景图像的掩膜图像与原待拼接图像进行融合的具体过程中，考虑到掩码图像与待拼接图像的大小不同，将待拼接图像填充为零，然后再将图像进行融合处理，融合方法为将两张待拼接图像的像素矩阵与掩膜图像的像素矩阵进行直接叠加，得到融合图像。

作为可选择的实施方式，所述第二深度学习模型的优化目标为真实全景图像，包括编码器部分和解码器部分，损失函数包括像素损失与感知损失，像素损失关注的是预测图像与真实的全景图像的像素的差异，而感知损失关注生成图像的高频信息。

作为可选择的实施方式，所述第三深度学习模型用于对生成的不规则的全景图像矩形化，并使矩形化后的拼接图像不发生失真，所述第三深度学习模型采用残差结构，包括八个卷积层以及三个最大池化层，损失函数为边界损失。

第二方面，本发明提供一种基于深度学习的集成电路图像拼接系统，包括：

均衡模块，被配置为对待拼接的两张图像进行光照均衡化操作；

增强模块，被配置为对光照均衡化后的图像进行图像特征增强；

掩膜图像处理模块，被配置为利用第一深度学习模型对图像特征增强后的图像进行处理，得到待拼接的两张图像分别对应的掩膜图像；

第一融合模块，被配置为对生成的掩膜图像进行调整，将调整得到的全景图像的掩膜图像与原待拼接图像进行融合，得到第一融合图像；

第二融合模块，被配置为利用第二深度学习模型对第一融合图像进行处理，得到两张待拼接图像的拼接后的全景图像，将得到的全景图像与全景图像的掩膜图像进行融合，得到第二融合图像；

矩形化处理模块，被配置为利用第三深度学习模型对第二融合图像进行矩形化处理，得到规则的拼接图像。

所述系统还包括：

图像采集设备，用于采集集成电路微观图像，并将采集到的数据传输到本地存储设备中；

本地存储设备，用于储存图像采集设备采集到的数据，并对采集到的图像进行分类，对每一块集成电路芯片采集到的图像进行分别存储，形成本地数据集，并接收、存储拼接好的图像。

与现有技术相比，本发明的有益效果为：

本发明提供了一个完整的基于深度学习的图像拼接方法和系统，从图像预处理到图像拼接到拼接图像的矩形化过程提供了相应的基于深度学习方法并实现每一步流程，充分利用了深度学习方法在图像特征提取与图像处理方面的优势，能够有效的消除直接拼接产生的明显拼接缝，使图像达到像素级的拼接，从而能够更好的开展后续的集成电路芯片缺陷检测的工作。

本发明通过线性变换能够使得采集设备采集到的微观图像光照更加均匀，便于后续提取特征，同时使得拼接出的完整图像更加自然，便于开展缺陷检测工作。

本发明通过深度学习方法进行图像拼接，避免了传统的图像特征提取过程。因为采集到的集成电路微观图像中的细微的结构非常多，传统的特征提取方法错误率高，通过构建深度学习网络，避免特征提取环节，直接通过提取到的掩膜图像进行拼接，大大提高了拼接图像的成功率。

本发明针对传统的矩形化过程容易使得原来的图像出现特征扭曲的缺点，为避免影响集成电路图像后续开展缺陷检测工作中，由于拼接完成的图像出现特征扭曲，直接影响缺陷检测结果的情况，通过采用深度学习方法，避免图像矩形化过程中的特征扭曲问题，从而为缺陷检测工作打下基础。

本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本发明实施例1提供的实施流程图。

图2为本发明实施例3提供的系统结构图；

图3为本发明实施例1的第一阶段的网络示意图；

图4为本发明实施例1的第二阶段的网络示意图；

图5为本发明实施例1的第三阶段的网络示意图。

具体实施方式

下面结合附图与实施例对本发明做进一步说明。

应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

实施例1

一种基于深度学习的集成电路微观图像的图像拼接方法，如图1所示，按照以下步骤具体实施：

预备步骤，使用Pytorch框架，分别以VGG16和ResNet50为骨干搭建出各个深度学习模型网络，并基于Pytorch的环境和构建的本地数据集对搭建出的深度学习模型进行训练。

当然，在其他实施例中，可以实用其他方式搭建深度学习网络模型。并不仅限于上述方式。

使用RGB空间中的像素的线性变换来直接调整过曝光区域与过暗区域的图像的亮度，线性变换的过程为:

g(i，j)＝a*f(i,j)+b。

其中，系数a影响的是图像的对比度，系数b影响的是图像的亮度，f(i，j)代表的是图像原灰度，g(i，j)代表的是转化后的像素灰度。具体操作过程为，当图像部分过曝光时，可以调整让a的值小于1，或者减小b的值，使得本部分区域图像的亮度得到调整。当图像区域过暗时，可以采取相反的操作。

图像增强操作，采用拉普拉斯变换方法，拉普拉斯变换方法对图像进行二阶微分的操作，能够突出图像边缘，增强图像细节。通过构造一个Laplace算子对图像进行处理，拉普拉斯变换方法的过程为：

其中： 代表拉普拉斯算子，C代表系数，f(i，j)代表的是变换前的图像，g(i，j)代表的是变换后的图像。

将预处理后的图像输入到已经训练完成的第一阶段的深度学习网络中，经过网络提取特征后，得到的是两幅待拼接图像全景图像的掩膜图像。其中，该部分深度学习网络采用编码器与解码器结构，以VGG16为骨干，对真实全景图像的掩码作为优化目标，编码器部分设置为五层，解码器部分设置为六层，卷积核大小设为3×3，卷积步长设为2。

具体的，如图3所示，该部分深度学习网络采用编码器与解码器结构，以VGG16为骨干，对真实全景图像的掩码作为优化目标，编码器部分设置为五层，编码器部分的5个卷积层的核数分别为64、64、128、128、256。卷积核大小为3×3，卷积步长设置为2，输出为一个256维的向量。解码器部分设置为六个反卷积层，卷积核大小设为3×3，卷积步长也设为2。考虑到掩膜图像的像素值都在0-1之间，因此最后一层采用Sigmoid函数作为激活函数，其余各层采用Relu作为激活函数。

编码器部分的输入为两张待拼接图像的叠加矩阵，输出为一个提取到的特征向量，并作为解码器网络的输入。其中，解码器网络的最后一层输出的图像掩膜像素值在0～1之间，最后一层采用Sigmoid作为激活函数，将阈值设置为0.5，大于0.5的像素被设置为1，小于0.5的像素被设置为0。其中，损失函数为真实掩码图像与预测掩码图像像素值差的平方和：

其中mask_true为真实掩膜值，mask_prep为预测掩膜值。

通过使用像素平均误差的方法对输出的掩膜图像进行调整，使其更加接近真实掩膜图像，过程如下所示:

result_true表示的是真实掩膜值，result_pred表示的是预测生成的掩膜值，sum操作代表对差值进行求和，N_Pixel表示的掩膜图像的像素总值。

将输出得到的掩膜图像与两幅待拼接图像进行融合，其中，考虑到掩码图像与待拼接图像的大小不同，首先将待拼接图像填充为零，然后再将图像进行融合处理。其中，融合方法为将两张待拼接图像的像素矩阵与掩膜图像的像素矩阵进行直接叠加，得到融合图像。

将融合处理后的图像作为下一阶段的深度学习网络的输入。其中，该部分网络采用编码器与解码器结构，以VGG16为骨干。一共由10个卷积层以及4次上采样操作，卷积核大小为3×3，步距设为1。

具体的，如图4所示，该部分网络采用编码器与解码器结构，以VGG16为骨干。一共由10个卷积层以及4次上采样操作，其中每层卷积层大小如示意图所示，卷积核大小为3×3，步距设为2。同样的，除最后一层采用Sigmoid作为激活函数外，其余各层均采用Relu作为激活函数。

该部分网络的优化目标为真实全景图像，其中，损失函数设置为两部分：像素损失与感知损失。像素损失主要关注的是预测图像与真实的全景图像的像素的差异，而感知损失主要关注生成图像的高频信息，损失函数的公式如下：

loss₁＝|image_true-image_pred|

loss₂＝|VGG16(image_true)-VGG16(image_pred)|

其中上述第一项公式表示模型的像素损失，其中image_true表示的是真实像素值image_pred表示的是预测生成的像素值。上述第二项公式表示的是感知损失，其中，VGG16(image_true)表示的是真实的全景图像的高频信息，VGG16(image_pred)表示的是预测生成图像的高频信息。

将深度学习网络生成的全景图像与上一步骤得到的掩膜图像进行融合，取全景图像的像素矩阵与掩膜图像的像素矩阵，将像素矩阵进行叠加得到融合图像。

将融合后的图像输入至下一阶段的深度学习网络中，该部分网络的作用是对生成的不规则的全景图像矩形化，并使矩形化后的拼接图像不发生失真。该部分网络采用残差结构，以ResNet50为骨干搭建，由八个卷积层以及两个最大池化层组成。卷积核大小设为3×3，步距设置为1。

具体的，如图5所示，该部分网络采用残差结构，以ResNet50为骨干搭建，由八个卷积层以及两个最大池化层组成。其中，前半部分为输入图像的矩形化特征点提取部分，后半部分为约束构成矩形化的网格的各个顶点的运动约束部分。其中，卷积核大小设为3×3，步距设置为1。各个卷积层均采用Relu作为激活函数。

该部分的优化目标是将边界不规则的图像优化为规则的矩形图像。损失函数为边界损失，优化过程如下：

loss＝|R-M|

R为预先设置好的矩形标签，M表示输入的图像。

实施例2

一种基于深度学习的集成电路图像拼接系统，包括：

均衡模块，被配置为对待拼接的两张图像进行光照均衡化操作；

增强模块，被配置为对光照均衡化后的图像进行图像特征增强；

掩膜图像处理模块，被配置为利用第一深度学习模型对图像特征增强后的图像进行处理，得到待拼接的两张图像分别对应的掩膜图像；

第一融合模块，被配置为对生成的掩膜图像进行调整，将调整得到的全景图像的掩膜图像与原待拼接图像进行融合，得到第一融合图像；

第二融合模块，被配置为利用第二深度学习模型对第一融合图像进行处理，得到两张待拼接图像的拼接后的全景图像，将得到的全景图像与全景图像的掩膜图像进行融合，得到第二融合图像；

矩形化处理模块，被配置为利用第三深度学习模型对第二融合图像进行矩形化处理，得到规则的拼接图像。

此处需要说明的是，上述模块对应于实施例1中所述的步骤，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。

实施例3

如图2所示，一种基于深度学习的集成电路微观图像拼接系统，包括：一台集成电路芯片扫描仪、若干本地存储设备若干处理器和一台中央处理设备。

集成电路芯片扫描仪用于扫描生成集成的电路微观图像，并将扫描得到的图像上传至本地存储设备当中，扫描设备具备扫描、数字化、压缩、存储、检索和查看集成电路微观图像的功能，是用来扫描生成集成电路围观图像的设备。

本地存储设备，包括数据收集模块和预分类模块，以及计算机程序存储模块。

本地存储设备的数据收集模块读取扫描仪中扫描得到的预先存储在扫描仪中的微观图像，增大图像存储空间，并且能够存储中央处理器传回的拼接完成的图像。更方便的留存和读取拼接图像。

本地存储设的预分类模块会对扫描仪传入的图像进行分类，将不同的集成电路芯片扫描得到的图像划分为不同的类别，以免出现不同集成电路芯片图像的误拼接操作。

本地存储设备中的计算机程序模块，用来储存一个或多个计算机程序，并传输到处理器中执行计算机程序。

中央处理设备，首先对搭建好的深度学习模型进行训练，中央处理设备向本地存储设备发出指令，读取本地存储设备中的本地数据集，将迭代次数设置为T，当迭代次数达到T时，结束训练过程。读取本地存储设备传入的待拼接图像进行拼接任务，待拼接任务结束后，根据拼接图像的结果，对深度学习网络权重进行更新，保证拼接质量最优化。

处理器设备，与采集设备，存储设备以及中央处理设备相连接。该处理器能够读取储一个或者多个计算机程序，处理器执行一个或多个计算机程序，以使得系统执行上述各项环节。

应理解，本实施例中，处理器可以是中央处理单元CPU，处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

本地存储设备可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。

实施例中的方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。

在更多实施例中，还提供：

一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成实施例1中所述的方法。为了简洁，在此不再赘述。

应理解，本实施例中，处理器可以是中央处理单元CPU，处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。

一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例1中所述的方法。

实施例1中的方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。

本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元即算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (8)

1.一种基于深度学习的集成电路图像拼接方法，其特征在于，包括：

对待拼接的两张图像进行光照均衡化操作；

对光照均衡化后的图像进行图像特征增强；

利用第一深度学习模型对图像特征增强后的图像进行处理，得到待拼接的两张图像分别对应的掩膜图像；

对生成的掩膜图像进行调整，将调整得到的全景图像的掩膜图像与原待拼接图像进行融合，得到第一融合图像；

利用第二深度学习模型对第一融合图像进行处理，得到两张待拼接图像的拼接后的全景图像，将得到的全景图像与全景图像的掩膜图像进行融合，得到第二融合图像；

将调整得到的全景图像的掩膜图像与原待拼接图像进行融合的具体过程中，考虑到掩码图像与待拼接图像的大小不同，将待拼接图像填充为零，然后再将图像进行融合处理，融合方法为将两张待拼接图像的像素矩阵与掩膜图像的像素矩阵进行直接叠加，得到融合图像；

所述第二深度学习模型的优化目标为真实全景图像，包括编码器部分和解码器部分，损失函数包括像素损失与感知损失，像素损失关注的是预测图像与真实的全景图像的像素的差异，而感知损失关注生成图像的高频信息；

利用第三深度学习模型对第二融合图像进行矩形化处理，得到规则的拼接图像。

2.如权利要求1所述的一种基于深度学习的集成电路图像拼接方法，其特征在于，对待拼接的两张图像进行光照均衡化操作的具体过程包括：将两张待拼接图像在RGB空间中进行像素点的线性变换，将包含高曝光区域与过暗区域的各区域图像亮度进行初步均匀化调节。

3.如权利要求1所述的一种基于深度学习的集成电路图像拼接方法，其特征在于，对光照均衡化后的图像进行图像特征增强的具体过程包括：使用拉普拉斯算法对光照均衡化后的图像进行二阶微分的操作，突出图像边缘，增强图像细节，并去除图像噪声，提高图像对比度。

4.如权利要求1所述的一种基于深度学习的集成电路图像拼接方法，其特征在于，所述第一深度学习模型以真实全景图像的掩码作为优化目标，包括编码器部分与解码器部分，编码器部分设置为五层，解码器部分设置为六层，编码器部分的输入为两张待拼接图像的叠加矩阵，输出为一个提取到的特征向量，并作为解码器部分的输入，解码器部分的最后一层采用激活函数，第一深度学习模型的损失函数为真实掩码图像与预测掩码图像像素值差的平方和。

5.如权利要求1所述的一种基于深度学习的集成电路图像拼接方法，其特征在于，对生成的掩膜图像进行调整的具体过程包括通过使用像素平均误差的方法对输出的掩膜图像进行调整，使其更加接近真实掩膜图像。

6.如权利要求1所述的一种基于深度学习的集成电路图像拼接方法，其特征在于，所述第三深度学习模型用于对生成的不规则的全景图像矩形化，并使矩形化后的拼接图像不发生失真，所述第三深度学习模型采用残差结构，包括八个卷积层以及三个最大池化层，损失函数为边界损失。

7.一种基于深度学习的集成电路图像拼接系统，其特征在于，包括：

均衡模块，被配置为对待拼接的两张图像进行光照均衡化操作；

增强模块，被配置为对光照均衡化后的图像进行图像特征增强；

掩膜图像处理模块，被配置为利用第一深度学习模型对图像特征增强后的图像进行处理，得到待拼接的两张图像分别对应的掩膜图像；

第一融合模块，被配置为对生成的掩膜图像进行调整，将调整得到的全景图像的掩膜图像与原待拼接图像进行融合，得到第一融合图像；

第二融合模块，被配置为利用第二深度学习模型对第一融合图像进行处理，得到两张待拼接图像的拼接后的全景图像，将得到的全景图像与全景图像的掩膜图像进行融合，得到第二融合图像；

将调整得到的全景图像的掩膜图像与原待拼接图像进行融合的具体过程中，考虑到掩码图像与待拼接图像的大小不同，将待拼接图像填充为零，然后再将图像进行融合处理，融合方法为将两张待拼接图像的像素矩阵与掩膜图像的像素矩阵进行直接叠加，得到融合图像；

所述第二深度学习模型的优化目标为真实全景图像，包括编码器部分和解码器部分，损失函数包括像素损失与感知损失，像素损失关注的是预测图像与真实的全景图像的像素的差异，而感知损失关注生成图像的高频信息；

矩形化处理模块，被配置为利用第三深度学习模型对第二融合图像进行矩形化处理，得到规则的拼接图像。

8.如权利要求7所述的一种基于深度学习的集成电路图像拼接系统，其特征在于，还包括：

图像采集设备，用于采集集成电路微观图像，并将采集到的数据传输到本地存储设备中；

本地存储设备，用于储存图像采集设备采集到的数据，并对采集到的图像进行分类，对每一块集成电路芯片采集到的图像进行分别存储，形成本地数据集，并接收、存储拼接好的图像。