CN111968119A - 基于半导体缺陷检测的图像处理方法、装置、设备及介质 - Google Patents
基于半导体缺陷检测的图像处理方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN111968119A CN111968119A CN202011130171.8A CN202011130171A CN111968119A CN 111968119 A CN111968119 A CN 111968119A CN 202011130171 A CN202011130171 A CN 202011130171A CN 111968119 A CN111968119 A CN 111968119A
- Authority
- CN
- China
- Prior art keywords
- vector
- pass
- image
- low
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000004065 semiconductor Substances 0.000 title claims abstract description 99
- 238000001514 detection method Methods 0.000 title claims abstract description 73
- 230000007547 defect Effects 0.000 title claims abstract description 54
- 238000003672 processing method Methods 0.000 title claims abstract description 24
- 239000013598 vector Substances 0.000 claims abstract description 243
- 230000004927 fusion Effects 0.000 claims abstract description 84
- 238000012545 processing Methods 0.000 claims abstract description 70
- 238000007499 fusion processing Methods 0.000 claims abstract description 19
- 238000000034 method Methods 0.000 claims abstract description 17
- 238000006243 chemical reaction Methods 0.000 claims description 40
- 239000011159 matrix material Substances 0.000 claims description 34
- 230000006870 function Effects 0.000 claims description 10
- 238000003860 storage Methods 0.000 claims description 10
- 238000003708 edge detection Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 6
- 230000007480 spreading Effects 0.000 claims description 4
- 238000003892 spreading Methods 0.000 claims description 4
- 238000002156 mixing Methods 0.000 claims 2
- 238000003384 imaging method Methods 0.000 abstract description 10
- 238000005516 engineering process Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 5
- 230000006378 damage Effects 0.000 description 4
- 238000007689 inspection Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 208000027418 Wounds and injury Diseases 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 208000014674 injury Diseases 0.000 description 3
- 239000005022 packaging material Substances 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 229910052751 metal Inorganic materials 0.000 description 2
- 238000012634 optical imaging Methods 0.000 description 2
- 238000004806 packaging method and process Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- -1 but not cracks Substances 0.000 description 1
- WABPQHHGFIMREM-UHFFFAOYSA-N lead(0) Chemical compound [Pb] WABPQHHGFIMREM-UHFFFAOYSA-N 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 150000002739 metals Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration using non-spatial domain filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30141—Printed circuit board [PCB]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30148—Semiconductor; IC; Wafer
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明涉及数据处理领域,提供了一种基于半导体缺陷检测的图像处理方法、装置、设备及介质,该方法包括获取的半导体全频段内部结构图像集,从内部结构图像集中选取频段不同的图像作为源图像;对源图像进行处理得到高通图像块及低通图像块,对低通图像块转换得到低通向量,对低通向量进行编码得到对应的稀疏系数向量,对所有稀疏系数向量进行融合处理得到低通融合向量;对高通图像块转换得到高通向量,根据高通向量与低通向量构建每张源图像的向量集,对所有向量集进行融合处理得到全通融合向量;将低通融合向量与全通融合向量进行重构得到目标向量,将目标向量转换成目标图像。本发明能够提升半导体成像的清晰度,以提升半导体缺陷检测精度。
Description
技术领域
本发明涉及数据处理领域,尤其涉及一种基于半导体缺陷检测的图像处理方法、装置、设备及介质。
背景技术
对半导体芯片的缺陷检测是制造半导体芯片过程中的一个重要步骤,决定是半导体芯片的良品率。半导体芯片缺陷主要方式有晶圆内部结构不均一、芯片内部电路剥落、芯片封装引线断裂、封装材料受应力失效等。
目前,工业常用的半导体缺陷检测技术是光学检测、超声检测、X射线检测,但这些技术都存在一定的局限性。光学检测无法观察到半导体内部,因为它无法穿透芯片的封装材料和PCB板。由于在测试过程中使用了声耦合剂,因此超声技术既费时又会污损,只能做到抽样检测。X射线技术只能检测金属,而不能检测芯片内部非金属地的裂纹,分层或孔洞。此外,X射线的电离特性可能会损坏晶片内部电路结构,并且对现场工作人员造成人身伤害。因此,如何提升半导体成像的清晰度,以提升半导体缺陷检测精度成为了亟需解决的技术问题。
发明内容
本发明的主要目的在于提供一种基于半导体缺陷检测的图像处理方法、装置、设备及介质,旨在如何提升半导体成像的清晰度,以提升半导体缺陷检测精度的问题。
为实现上述目的,本发明提供的一种基于半导体缺陷检测的图像处理方法,该方法包括:
获取步骤:获取由太赫兹探测终端获取的半导体全频段内部结构图像集,从所述内部结构图像集中选取至少两张频段不同的图像作为源图像;
处理步骤:对所述至少两张源图像进行多尺度变换处理,得到与各张所述源图像对应的高通图像块及低通图像块,其中,所述高通图像块的数量大于所述低通图像块的数量;
第一转换步骤:对各个所述低通图像块进行向量转换得到对应的低通向量,利用稀疏表示对各个所述低通向量进行编码得到对应的稀疏系数向量,利用预设的第一融合规则对所有所述稀疏系数向量进行融合处理得到低通融合向量;
第二转换步骤:对各个所述高通图像块进行向量转换得到对应的高通向量,根据得到的所述高通向量与低通向量构建每张源图像的向量集,利用预设的第二融合规则对所有所述向量集进行融合处理得到全通融合向量;
重构步骤:利用预设的图像重构算法将所述低通融合向量与所述全通融合向量进行重构得到目标向量,将所述目标向量转换成目标矩阵,将所述目标矩阵转换成包括所述半导体内部结构的目标图像。
优选地,所述第一融合规则包括:
优选地,所述稀疏系数向量通过以下算法计算得到:
优选地,所述图像重构算法包括:
优选地,所述第二融合规则包括:
从每张所述源图像的向量集中对应向量同一位置的值取绝对值后进行大小比较,取绝对值大的值作为融合后的所述全通融合向量的值。
优选地,所述“将所述目标矩阵转换成包括所述半导体内部结构的目标图像”步骤之后,该方法还包括步骤:
对所述目标图像进行平滑去噪处理及灰度拉伸处理得到清晰度提升的第一图像。
优选地,所述“对所述目标图像进行预处理得到第一图像”步骤还包括:
在对所述目标图像进行平滑去噪处理及灰度拉伸处理后进行二值化处理,得到二值化图像;
对所述二值化图像进行边缘检测,获取所述半导体内部结构的轮廓区域,去除所述二值化图像中的背景区域得到所述第一图像。
为实现上述目的,本发明还进一步提供一种基于半导体缺陷检测的图像处理装置,所述基于半导体缺陷检测的图像处理装置包括:
获取模块,用于获取由太赫兹探测终端获取的半导体全频段内部结构图像集,从所述内部结构图像集中选取至少两张频段不同的图像作为源图像;
处理模块,用于对所述至少两张源图像进行多尺度变换处理,得到与各张所述源图像对应的高通图像块及低通图像块,其中,所述高通图像块的数量大于所述低通图像块的数量;
第一转换模块,用于对各个所述低通图像块进行向量转换得到对应的低通向量,利用稀疏表示对各个所述低通向量进行编码得到对应的稀疏系数向量,利用预设的第一融合规则对所有所述稀疏系数向量进行融合处理得到低通融合向量;
第二转换模块,用于对各个所述高通图像块进行向量转换得到对应的高通向量,根据得到的所述高通向量与低通向量构建每张源图像的向量集,利用预设的融合规则对所有所述向量集进行融合处理得到全通融合向量;
重构模块,用于利用预设的图像重构算法将所述低通融合向量与所述全通融合向量进行重构得到目标向量,将所述目标向量转换成目标矩阵,将所述目标矩阵转换成包括所述半导体内部结构的目标图像。
为实现上述目的,本发明还进一步提供一种电子设备,所述电子设备包括存储器和处理器,所述存储器上存储有基于半导体缺陷检测的图像处理程序,所述基于半导体缺陷检测的图像处理程序被所述处理器执行时实现如上述的基于半导体缺陷检测的图像处理方法的步骤。
为实现上述目的,本发明进一步提供一种计算机可读存储介质,所述计算机可读存储介质上存储有基于半导体缺陷检测的图像处理程序,所述基于半导体缺陷检测的图像处理程序可被一个或者多个处理器执行,以实现如上述的基于半导体缺陷检测的图像处理方法的步骤。
本发明提出的基于半导体缺陷检测的图像处理方法、装置、设备及介质,通过获取由太赫兹探测终端获取的半导体全频段内部结构图像集,从所述内部结构图像集中选取至少两张频段不同的图像作为源图像;对所述至少两张源图像进行多尺度变换处理,得到与各张所述源图像对应的高通图像块及低通图像块,其中,所述高通图像块的数量大于所述低通图像块的数量;对各个所述低通图像块进行向量转换得到对应的低通向量,利用稀疏表示对各个所述低通向量进行编码得到对应的稀疏系数向量,利用预设的第一融合规则对所有所述稀疏系数向量进行融合处理得到低通融合向量;对各个所述高通图像块进行向量转换得到对应的高通向量,根据得到的所述高通向量与低通向量构建每张源图像的向量集,利用预设的第二融合规则对所有所述向量集进行融合处理得到全通融合向量;利用预设的图像重构算法将所述低通融合向量与所述全通融合向量进行重构得到目标向量,将所述目标向量转换成目标矩阵,将所述目标矩阵转换成包括所述半导体内部结构的目标图像。本发明能够提升半导体成像的清晰度,以提升半导体缺陷检测精度。
附图说明
图1为本发明一实施例提供的基于半导体缺陷检测的图像处理方法的流程示意图;
图2为本发明一实施例提供的基于半导体缺陷检测的图像处理装置的模块示意图;
图3为本发明一实施例提供的实现基于半导体缺陷检测的图像处理方法的电子设备的内部结构示意图。
本发明目的的实现、功能特点及优点将结合实施例,参附图做进一步说明。
具体实施方式
为了使本发明的目的、技术本实施例及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,在本发明中涉及“第一”、“第二”等的描述仅用于描述目的,而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外,各个实施例之间的技术本实施例可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术本实施例的结合出现相互矛盾或无法实现时应当认为这种技术本实施例的结合不存在,也不在本发明要求的保护范围之内。
本发明提供一种基于半导体缺陷检测的图像处理方法。参照图1所示,为本发明一实施例提供的基于半导体缺陷检测的图像处理方法的流程示意图。该方法可以由一个系统执行,该系统可以由软件和/或硬件实现。
在本实施例中,基于半导体缺陷检测的图像处理方法包括:
S110,获取由太赫兹探测终端获取的半导体全频段内部结构图像集,从所述内部结构图像集中选取至少两张频段不同的图像作为源图像。
在本实施例中,以客户端为执行主体,例如电脑。首先客户端接收由太赫兹探测终端获取的半导体全频段内部结构图像集。因为太赫兹波为单色波,所以在整个频段内都可以获得图像,且不同频段获得的图像清晰度不一样,不同图像的特征信息(半导体芯片内部电路图上的粘结线、沉孔及包装柱外槽等特征信息)在不同频段中的清晰度也不一样。因此为了在一张图像上同时融合不同频段的优势,在本方案中,通过从内部结构图像集中选取至少两张频段不同的图像作为源图像,融合不同频段的图像特征信息,以获得特征信息更清晰完善的内部结构图像。
其中,太赫兹探测终端是一种基于太赫兹波成像技术的相机,太赫兹(THz)波是一种频率范围为 0.1THz-10THz,波长范围为 0.03-3mm,介于无线电波和光波之间的电磁波。相较于其他射线,例如X射线的成像技术,太赫兹波具有高时空相干性、低光子能量、使用安全性高、定向性好、频谱宽等特性,能够穿透半导体芯片的封装材料和PCB板,从而获取半导体芯片内部的电路结构图像。同时太赫兹波不会对现场工作人员造成人身伤害。通过太赫兹探测终端获取半导体的内部结构图像后,为后续识别半导体内部结构是否存在缺陷做准备。
S120,对所述至少两张源图像进行多尺度变换处理,得到与各张所述源图像对应的高通图像块及低通图像块,其中,所述高通图像块的数量大于所述低通图像块的数量。
由于太赫兹波极限分辨率的限制,太赫兹光成像技术仍然存在成像分辨率相对较低的现象。因此,为了进一步解决上述技术问题,在本实施例中,在进行图像融合之前,先对至少两张源图像进行多尺度变换(MST)处理,得到与各张源图像对应的高通图像块及低通图像块,其中,高通图像块的数量大于低通图像块的数量。
常规的多尺度变换处理方式主要有拉普拉斯金字塔(LP)、低通金字塔比(RP)、双树复小波变换(DTCWT)和曲线变换(CVT),在本实施例中,优选双树复小波变换(DTCWT)对源图像进行多尺度变换处理,能够保留源图像中特征信息更多的细节和纹理信息,有利于提升图像处理精度。
S130,对各个所述低通图像块进行向量转换得到对应的低通向量,利用稀疏表示对各个所述低通向量进行编码得到对应的稀疏系数向量,利用预设的第一融合规则对所有所述稀疏系数向量进行融合处理得到低通融合向量。
在本实施例中,通过对各个低通图像块进行向量转换得到对应的低通向量,具体地,通过矩阵转换实现图像块到向量之间的转换。在得到低通向量后,利用稀疏表示(SR)对各个低通向量进行编码得到对应的稀疏系数向量,利用预设的第一融合规则对所有稀疏系数向量进行融合处理得到低通融合向量。
其中,第一融合规则包括:
稀疏系数向量通过以下算法计算得到:
S140,对各个所述高通图像块进行向量转换得到对应的高通向量,根据得到的所述高通向量与低通向量构建每张源图像的向量集,利用预设的第二融合规则对所有所述向量集进行融合处理得到全通融合向量。
在本实施例中,通过对各个高通图像块进行矩阵转换得到对应的高通向量,根据得到的高通向量与低通向量构建每张源图像的向量集,利用预设的第二融合规则对所有向量集进行融合处理得到全通融合向量。因为太赫兹探测终端获取的半导体内部图像细节较少,因此,在本方案中通过融合高通向量与低通向量来增强图像轮廓,提升图像的精度。
所述第二融合规则包括:
将每张源图像的向量集中对应向量同一位置的值取绝对值后进行大小比较,取绝对值大的值作为融合后的全通融合向量的值。
S150,利用预设的图像重构算法将所述低通融合向量与所述全通融合向量进行重构得到目标向量,将所述目标向量转换成目标矩阵,将所述目标矩阵转换成包括所述半导体内部结构的目标图像。
在本实施例中,通过利用图像重构算法将低通融合向量与全通融合向量进行重构得到目标向量,将目标向量转换成目标矩阵,将目标矩阵转换成包括半导体内部结构的目标图像。
其中,图像重构算法包括:
在另一实施例中,为了在后续识别目标图像中是否存在缺陷过程能够提升识别精准度,还通过对目标图像进行预处理得到清晰度更高的第一图像。
具体地,“对所述目标图像进行预处理得到第一图像”步骤包括:
对所述目标图像进行平滑去噪处理及灰度拉伸处理得到清晰度提升的第一图像。
其中,平滑去噪处理采用高斯滤波,能够去除图像中的噪点,提升图像的清晰度。灰度拉伸处理能够提升图像的对比度,进而提升图像的清晰度。
在另一实施例中,“对所述目标图像进行预处理得到第一图像”步骤还包括:
在对所述目标图像进行平滑去噪处理及灰度拉伸处理后进行二值化处理,得到二值化图像;
对所述二值化图像进行边缘检测,获取所述半导体的轮廓区域,去除所述二值化图像中的背景区域得到所述第一图像。
在本实施例中,通过边缘检测技术从二值化图像中获取半导体的轮廓区域,并去除二值化图像中的背景区域,缩小检测区域,进而提升对目标图像的识别准确性和减少系统的数据处理压力。
关于上述步骤的详细介绍,请参照下述图2关于基于半导体缺陷检测的图像处理程序10实施例的程序模块示意图及图3关于基于半导体缺陷检测的图像处理方法实施例的方法流程示意图的说明。
如图2所示,是本发明基于半导体缺陷检测的图像处理装置100的功能模块图。
本发明所述基于半导体缺陷检测的图像处理装置100可以安装于电子设备1中。根据实现的功能,所述基于半导体缺陷检测的图像处理装置100可以包括获取模块110、处理模块120、第一转换模块130、第二转换模块140及重构模块150。本发明所述模块也可以称之为单元,是指一种能够被电子设备1处理器所执行,并且能够完成固定功能的一系列计算机程序段,其存储在电子设备1的存储器中。
在本实施例中,关于各模块/单元的功能如下:
获取模块110,用于获取由太赫兹探测终端获取的半导体全频段内部结构图像集,从所述内部结构图像集中选取至少两张频段不同的图像作为源图像。
在本实施例中,以客户端为执行主体,例如电脑。首先客户端接收由太赫兹探测终端获取的半导体全频段内部结构图像集。因为太赫兹波为单色波,所以在整个频段内都可以获得图像,且不同频段获得的图像清晰度不一样,不同图像的特征信息(半导体芯片内部电路图上的粘结线、沉孔及包装柱外槽等特征信息)在不同频段中的清晰度也不一样。因此为了在一张图像上同时融合不同频段的优势,在本方案中,通过从内部结构图像集中选取至少两张频段不同的图像作为源图像,融合不同频段的图像特征信息,以获得特征信息更清晰完善的内部结构图像。
其中,太赫兹探测终端是一种基于太赫兹波成像技术的相机,太赫兹(THz)波是一种频率范围为 0.1THz-10THz,波长范围为 0.03-3mm,介于无线电波和光波之间的电磁波。相较于其他射线,例如X射线的成像技术,太赫兹波具有高时空相干性、低光子能量、使用安全性高、定向性好、频谱宽等特性,能够穿透半导体芯片的封装材料和PCB板,从而获取半导体芯片内部的电路结构图像。同时太赫兹波不会对现场工作人员造成人身伤害。通过太赫兹探测终端获取半导体的内部结构图像后,为后续识别半导体内部结构是否存在缺陷做准备。
处理模块120,用于对所述至少两张源图像进行多尺度变换处理,得到与各张所述源图像对应的高通图像块及低通图像块,其中,所述高通图像块的数量大于所述低通图像块的数量。
由于太赫兹波极限分辨率的限制,太赫兹光成像技术仍然存在成像分辨率相对较低的现象。因此,为了进一步解决上述技术问题,在本实施例中,在进行图像融合之前,先对至少两张源图像进行多尺度变换(MST)处理,得到与各张源图像对应的高通图像块及低通图像块,其中,高通图像块的数量大于低通图像块的数量。
常规的多尺度变换处理方式主要有拉普拉斯金字塔(LP)、低通金字塔比(RP)、双树复小波变换(DTCWT)和曲线变换(CVT),在本实施例中,优选双树复小波变换(DTCWT)对源图像进行多尺度变换处理,能够保留源图像中特征信息更多的细节和纹理信息,有利于提升图像处理精度。
第一转换模块130,用于对各个所述低通图像块进行向量转换得到对应的低通向量,利用稀疏表示对各个所述低通向量进行编码得到对应的稀疏系数向量,利用预设的第一融合规则对所有所述稀疏系数向量进行融合处理得到低通融合向量。
在本实施例中,通过对各个低通图像块进行向量转换得到对应的低通向量,具体地,通过矩阵转换实现图像块到向量之间的转换。在得到低通向量后,利用稀疏表示(SR)对各个低通向量进行编码得到对应的稀疏系数向量,利用预设的第一融合规则对所有稀疏系数向量进行融合处理得到低通融合向量。
其中,第一融合规则包括:
稀疏系数向量通过以下算法计算得到:
第二转换模块140,用于对各个所述高通图像块进行向量转换得到对应的高通向量,根据得到的所述高通向量与低通向量构建每张源图像的向量集,利用预设的第二融合规则对所有所述向量集进行融合处理得到全通融合向量。
在本实施例中,通过对各个高通图像块进行矩阵转换得到对应的高通向量,根据得到的高通向量与低通向量构建每张源图像的向量集,利用预设的第二融合规则对所有向量集进行融合处理得到全通融合向量。因为太赫兹探测终端获取的半导体内部图像细节较少,因此,在本方案中通过融合高通向量与低通向量来增强图像轮廓,提升图像的精度。
所述第二融合规则包括:
将每张源图像的向量集中对应向量同一位置的值取绝对值后进行大小比较,取绝对值大的值作为融合后的全通融合向量的值。
重构模块150,用于利用预设的图像重构算法将所述低通融合向量与所述全通融合向量进行重构得到目标向量,将所述目标向量转换成目标矩阵,将所述目标矩阵转换成包括所述半导体内部结构的目标图像。
在本实施例中,通过利用图像重构算法将低通融合向量与全通融合向量进行重构得到目标向量,将目标向量转换成目标矩阵,将目标矩阵转换成包括半导体内部结构的目标图像。
其中,图像重构算法包括:
在另一实施例中,为了在后续识别目标图像中是否存在缺陷过程能够提升识别精准度,还通过对目标图像进行预处理得到清晰度更高的第一图像。
具体地,“对所述目标图像进行预处理得到第一图像”步骤包括:
对所述目标图像进行平滑去噪处理及灰度拉伸处理得到清晰度提升的第一图像。
其中,平滑去噪处理采用高斯滤波,能够去除图像中的噪点,提升图像的清晰度。灰度拉伸处理能够提升图像的对比度,进而提升图像的清晰度。
在另一实施例中,“对所述目标图像进行预处理得到第一图像”步骤还包括:
在对所述目标图像进行平滑去噪处理及灰度拉伸处理后进行二值化处理,得到二值化图像;
对所述二值化图像进行边缘检测,获取所述半导体的轮廓区域,去除所述二值化图像中的背景区域得到所述第一图像。
在本实施例中,通过边缘检测技术从二值化图像中获取半导体的轮廓区域,并去除二值化图像中的背景区域,缩小检测区域,进而提升对目标图像的识别准确性和减少系统的数据处理压力。
如图3所示,是本发明实现基于半导体缺陷检测的图像处理方法的电子设备的结构示意图。
所述电子设备1可以包括处理器12、存储器11和总线,还可以包括存储在所述存储器11中并可在所述处理器12上运行的计算机程序,如基于半导体缺陷检测的图像处理程序10。
其中,所述存储器11至少包括一种类型的可读存储介质,所述计算机可读存储介质上存储有基于半导体缺陷检测的图像处理程序,基于半导体缺陷检测的图像处理程序可被一个或者多个处理器执行。所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如:SD或DX存储器等)、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备1的内部存储单元,例如该电子设备1的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备1的外部存储设备,例如电子设备1上配备的插接式移动硬盘、智能存储卡(Smart Media Card,SMC)、安全数字(Secure Digital,SD)卡、闪存卡(Flash Card)等。进一步地,所述存储器11还可以既包括电子设备1的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备1的应用软件及各类数据,例如基于半导体缺陷检测的图像处理程序10的代码等,还可以用于暂时地存储已经输出或者将要输出的数据。
所述处理器12在一些实施例中可以由集成电路组成,例如可以由单个封装的集成电路所组成,也可以是由多个相同功能或不同功能封装的集成电路所组成,包括一个或者多个中央处理器(Central Processing unit,CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器12是所述电子设备1的控制核心(Control Unit),利用各种接口和线路连接整个电子设备1的各个部件,通过运行或执行存储在所述存储器11内的程序或者模块(例如基于半导体缺陷检测的图像处理程序等),以及调用存储在所述存储器11内的数据,以执行电子设备1的各种功能和处理数据。
所述总线可以是外设部件互连标准(peripheral component interconnect,简称PCI)总线或扩展工业标准结构(extended industry standard architecture,简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器11以及至少一个处理器12等之间的连接通信。
图3仅示出了具有部件的电子设备1,本领域技术人员可以理解的是,图3示出的结构并不构成对所述电子设备1的限定,可以包括比图示更少或者更多的部件,或者组合某些部件,或者不同的部件布置。
例如,尽管未示出,所述电子设备1还可以包括给各个部件供电的电源(比如电池),优选地,电源可以通过电源管理系统与所述至少一个处理器12逻辑相连,从而通过电源管理系统实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备1还可以包括多种传感器、蓝牙模块、Wi-Fi模块等,在此不再赘述。
进一步地,所述电子设备1还可以包括网络接口13,可选地,所述网络接口13可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等),通常用于在该电子设备1与其他电子设备1之间建立通信连接。
可选地,该电子设备1还可以包括用户接口,用户接口可以是显示器(Display)、输入单元(比如键盘(Keyboard)),可选地,用户接口还可以是标准的有线接口、无线接口。可选地,在一些实施例中,显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode,有机发光二极管)触摸器等。其中,显示器也可以适当的称为显示屏或显示单元,用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。
应该了解,所述实施例仅为说明之用,在专利申请范围上并不受此结构的限制。
所述电子设备1中的所述存储器11存储的基于半导体缺陷检测的图像处理程序10是多个指令的组合,在所述处理器12中运行时,可以实现:
获取步骤:获取由太赫兹探测终端获取的半导体全频段内部结构图像集,从所述内部结构图像集中选取至少两张频段不同的图像作为源图像;
处理步骤:对所述至少两张源图像进行多尺度变换处理,得到与各张所述源图像对应的高通图像块及低通图像块,其中,所述高通图像块的数量大于所述低通图像块的数量;
第一转换步骤:对各个所述低通图像块进行向量转换得到对应的低通向量,利用稀疏表示对各个所述低通向量进行编码得到对应的稀疏系数向量,利用预设的第一融合规则对所有所述稀疏系数向量进行融合处理得到低通融合向量;
第二转换步骤:对各个所述高通图像块进行向量转换得到对应的高通向量,根据得到的所述高通向量与低通向量构建每张源图像的向量集,利用预设的第二融合规则对所有所述向量集进行融合处理得到全通融合向量;
重构步骤:利用预设的图像重构算法将所述低通融合向量与所述全通融合向量进行重构得到目标向量,将所述目标向量转换成目标矩阵,将所述目标矩阵转换成包括所述半导体内部结构的目标图像。
在另一实施例中,该程序还执行丢弃步骤,包括步骤:
对所述目标图像进行平滑去噪处理及灰度拉伸处理得到清晰度提升的第一图像。
在另一实施例中,所述“对所述目标图像进行预处理得到第一图像”步骤还包括:
在对所述目标图像进行平滑去噪处理及灰度拉伸处理后进行二值化处理,得到二值化图像;
对所述二值化图像进行边缘检测,获取所述半导体内部结构的轮廓区域,去除所述二值化图像中的背景区域得到所述第一图像。
具体地,所述处理器11对上述指令的具体实现方法可参考图1对应实施例中相关步骤的描述,在此不赘述。
进一步地,所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的销售或使用时,可以存储在一个计算机可读取存储介质中。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或系统、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)。
在本发明所提供的几个实施例中,应该理解到,所揭露的设备,系统和方法,可以通过其它的方式实现。例如,以上所描述的系统实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。
因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。系统权利要求中陈述的多个单元或系统也可以由一个单元或系统通过软件或者硬件来实现。第二等词语用来表示名称,而并不表示任何特定的顺序。
最后应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或等同替换,而不脱离本发明技术方案的精神和范围。
Claims (10)
1.一种基于半导体缺陷检测的图像处理方法,其特征在于,包括:
获取步骤:获取由太赫兹探测终端获取的半导体全频段内部结构图像集,从所述内部结构图像集中选取至少两张频段不同的图像作为源图像;
处理步骤:对所述至少两张源图像进行多尺度变换处理,得到与各张所述源图像对应的高通图像块及低通图像块,其中,所述高通图像块的数量大于所述低通图像块的数量;
第一转换步骤:对各个所述低通图像块进行向量转换得到对应的低通向量,利用稀疏表示对各个所述低通向量进行编码得到对应的稀疏系数向量,利用预设的第一融合规则对所有所述稀疏系数向量进行融合处理得到低通融合向量;
第二转换步骤:对各个所述高通图像块进行向量转换得到对应的高通向量,根据得到的所述高通向量与低通向量构建每张源图像的向量集,利用预设的第二融合规则对所有所述向量集进行融合处理得到全通融合向量;
重构步骤:利用预设的图像重构算法将所述低通融合向量与所述全通融合向量进行重构得到目标向量,将所述目标向量转换成目标矩阵,将所述目标矩阵转换成包括所述半导体内部结构的目标图像。
5.如权利要求1所述的基于半导体缺陷检测的图像处理方法,其特征在于,所述第二融合规则包括:
从每张所述源图像的向量集中对应向量同一位置的值取绝对值后进行大小比较,取绝对值大的值作为融合后的所述全通融合向量的值。
6.如权利要求1所述的基于半导体缺陷检测的图像处理方法,其特征在于,所述“将所述目标矩阵转换成包括所述半导体内部结构的目标图像”步骤之后,该方法还包括步骤:
对所述目标图像进行平滑去噪处理及灰度拉伸处理得到清晰度提升的第一图像。
7.如权利要求6所述的基于半导体缺陷检测的图像处理方法,其特征在于,所述“对所述目标图像进行预处理得到第一图像”步骤还包括:
在对所述目标图像进行平滑去噪处理及灰度拉伸处理后进行二值化处理,得到二值化图像;
对所述二值化图像进行边缘检测,获取所述半导体内部结构的轮廓区域,去除所述二值化图像中的背景区域得到所述第一图像。
8.一种基于半导体缺陷检测的图像处理装置,其特征在于,包括:
获取模块,用于获取由太赫兹探测终端获取的半导体全频段内部结构图像集,从所述内部结构图像集中选取至少两张频段不同的图像作为源图像;
处理模块,用于对所述至少两张源图像进行多尺度变换处理,得到与各张所述源图像对应的高通图像块及低通图像块,其中,所述高通图像块的数量大于所述低通图像块的数量;
第一转换模块,用于对各个所述低通图像块进行向量转换得到对应的低通向量,利用稀疏表示对各个所述低通向量进行编码得到对应的稀疏系数向量,利用预设的第一融合规则对所有所述稀疏系数向量进行融合处理得到低通融合向量;
第二转换模块,用于对各个所述高通图像块进行向量转换得到对应的高通向量,根据得到的所述高通向量与低通向量构建每张源图像的向量集,利用预设的融合规则对所有所述向量集进行融合处理得到全通融合向量;
重构模块,用于利用预设的图像重构算法将所述低通融合向量与所述全通融合向量进行重构得到目标向量,将所述目标向量转换成目标矩阵,将所述目标矩阵转换成包括所述半导体内部结构的目标图像。
9.一种电子设备,其特征在于,所述电子设备包括存储器和处理器,所述存储器上存储有基于半导体缺陷检测的图像处理程序,所述基于半导体缺陷检测的图像处理程序被所述处理器执行时实现如权利要求1-7中任一项所述的基于半导体缺陷检测的图像处理方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有基于半导体缺陷检测的图像处理程序,所述基于半导体缺陷检测的图像处理程序可被一个或者多个处理器执行,以实现如权利要求1-7中任一项所述的基于半导体缺陷检测的图像处理方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011130171.8A CN111968119A (zh) | 2020-10-21 | 2020-10-21 | 基于半导体缺陷检测的图像处理方法、装置、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011130171.8A CN111968119A (zh) | 2020-10-21 | 2020-10-21 | 基于半导体缺陷检测的图像处理方法、装置、设备及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111968119A true CN111968119A (zh) | 2020-11-20 |
Family
ID=73387245
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011130171.8A Pending CN111968119A (zh) | 2020-10-21 | 2020-10-21 | 基于半导体缺陷检测的图像处理方法、装置、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111968119A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113465529A (zh) * | 2021-08-31 | 2021-10-01 | 武汉飞恩微电子有限公司 | 一种基于视觉识别的芯片应变测量方法与系统 |
CN113744163A (zh) * | 2021-11-03 | 2021-12-03 | 季华实验室 | 集成电路图像增强方法、装置、电子设备及存储介质 |
TWI764492B (zh) * | 2020-12-31 | 2022-05-11 | 鴻海精密工業股份有限公司 | 缺陷檢測分類方法、裝置、電子設備及存儲介質 |
CN115100081A (zh) * | 2022-08-24 | 2022-09-23 | 深圳佳弟子科技有限公司 | Lcd显示屏灰阶图像增强方法、装置、设备及存储介质 |
CN116818704A (zh) * | 2023-03-09 | 2023-09-29 | 苏州荣视软件技术有限公司 | 一种半导体瑕疵ai高精度全自动检测方法、设备及介质 |
CN117252879A (zh) * | 2023-11-17 | 2023-12-19 | 深圳禾思众成科技有限公司 | 一种用于半导体检测的显微线扫成像系统及其控制方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110235046A1 (en) * | 2010-03-24 | 2011-09-29 | Fujitsu Limited | Imaging apparatus |
CN104134211A (zh) * | 2014-07-23 | 2014-11-05 | 西安工程大学 | 一种基于高斯滤波器多分辨率滤波的带钢缺陷检测方法 |
CN107356599A (zh) * | 2017-06-23 | 2017-11-17 | 厦门大学 | 一种陶瓷基复合材料的太赫兹无损检测方法 |
CN111429393A (zh) * | 2020-04-15 | 2020-07-17 | 四川警察学院 | 基于卷积弹性网络的多聚焦图像融合方法 |
CN111429392A (zh) * | 2020-04-13 | 2020-07-17 | 四川警察学院 | 基于多尺度变换和卷积稀疏表示的多聚焦图像融合方法 |
-
2020
- 2020-10-21 CN CN202011130171.8A patent/CN111968119A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110235046A1 (en) * | 2010-03-24 | 2011-09-29 | Fujitsu Limited | Imaging apparatus |
CN104134211A (zh) * | 2014-07-23 | 2014-11-05 | 西安工程大学 | 一种基于高斯滤波器多分辨率滤波的带钢缺陷检测方法 |
CN107356599A (zh) * | 2017-06-23 | 2017-11-17 | 厦门大学 | 一种陶瓷基复合材料的太赫兹无损检测方法 |
CN111429392A (zh) * | 2020-04-13 | 2020-07-17 | 四川警察学院 | 基于多尺度变换和卷积稀疏表示的多聚焦图像融合方法 |
CN111429393A (zh) * | 2020-04-15 | 2020-07-17 | 四川警察学院 | 基于卷积弹性网络的多聚焦图像融合方法 |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI764492B (zh) * | 2020-12-31 | 2022-05-11 | 鴻海精密工業股份有限公司 | 缺陷檢測分類方法、裝置、電子設備及存儲介質 |
CN113465529A (zh) * | 2021-08-31 | 2021-10-01 | 武汉飞恩微电子有限公司 | 一种基于视觉识别的芯片应变测量方法与系统 |
CN113465529B (zh) * | 2021-08-31 | 2021-11-23 | 武汉飞恩微电子有限公司 | 一种基于视觉识别的芯片应变测量方法与系统 |
CN113744163A (zh) * | 2021-11-03 | 2021-12-03 | 季华实验室 | 集成电路图像增强方法、装置、电子设备及存储介质 |
CN113744163B (zh) * | 2021-11-03 | 2022-02-08 | 季华实验室 | 集成电路图像增强方法、装置、电子设备及存储介质 |
CN115100081A (zh) * | 2022-08-24 | 2022-09-23 | 深圳佳弟子科技有限公司 | Lcd显示屏灰阶图像增强方法、装置、设备及存储介质 |
CN115100081B (zh) * | 2022-08-24 | 2022-11-15 | 深圳佳弟子科技有限公司 | Lcd显示屏灰阶图像增强方法、装置、设备及存储介质 |
CN116818704A (zh) * | 2023-03-09 | 2023-09-29 | 苏州荣视软件技术有限公司 | 一种半导体瑕疵ai高精度全自动检测方法、设备及介质 |
CN116818704B (zh) * | 2023-03-09 | 2024-02-02 | 苏州荣视软件技术有限公司 | 一种半导体瑕疵ai高精度全自动检测方法、设备及介质 |
CN117252879A (zh) * | 2023-11-17 | 2023-12-19 | 深圳禾思众成科技有限公司 | 一种用于半导体检测的显微线扫成像系统及其控制方法 |
CN117252879B (zh) * | 2023-11-17 | 2024-04-05 | 深圳禾思众成科技有限公司 | 一种用于半导体检测的显微线扫成像系统及其控制方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111968119A (zh) | 基于半导体缺陷检测的图像处理方法、装置、设备及介质 | |
JP6868119B2 (ja) | ホログラフィック偽造防止コードの検査方法及び装置 | |
CN112465060A (zh) | 图像中目标物检测方法、装置、电子设备及可读存储介质 | |
CN113159147A (zh) | 基于神经网络的图像识别方法、装置、电子设备 | |
CN110082135A (zh) | 设备故障识别方法、装置和终端设备 | |
CN111639704A (zh) | 目标识别方法、装置及计算机可读存储介质 | |
CN112132216B (zh) | 车型识别方法、装置、电子设备及存储介质 | |
Mishra et al. | Modified Frei-Chen operator-based infrared and visible sensor image fusion for real-time applications | |
Chen et al. | Multi-scale GAN with transformer for surface defect inspection of IC metal packages | |
CN111681738A (zh) | 基于病理切片扫描和分析一体化方法、装置、设备及介质 | |
CN111083478A (zh) | 一种视频帧重构方法、装置及终端设备 | |
CN114612316A (zh) | 一种核预测网络图像去雨方法和装置 | |
CN117152182B (zh) | 一种超低照度网络相机图像处理方法、装置及电子设备 | |
Tsiktsiris et al. | Accelerated seven segment optical character recognition algorithm | |
CN116109627B (zh) | 基于迁移学习和小样本学习缺陷检测方法、装置及介质 | |
CN117237256A (zh) | 一种浅海珊瑚礁监测数据采集方法、装置及设备 | |
CN117392059A (zh) | 图像清晰度评估方法及装置、设备、存储介质 | |
CN116563189A (zh) | 一种基于深度学习的医学图像跨对比度合成方法及系统 | |
CN115546142A (zh) | 基于深度学习的x光图像骨骼检测方法与系统 | |
CN113744163B (zh) | 集成电路图像增强方法、装置、电子设备及存储介质 | |
CN116168009A (zh) | 缺陷检测方法及装置、电子设备和存储介质 | |
CN113239814B (zh) | 基于光流重构的面部表情识别方法、装置、设备及介质 | |
CN115205246A (zh) | 换流阀电晕放电紫外图像特征提取方法和装置 | |
CN112634938A (zh) | 基于音频的人员积极性分析方法、装置、设备及存储介质 | |
CN112084728A (zh) | 基于pix2pix的PCB灰度图像着色方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201120 |
|
RJ01 | Rejection of invention patent application after publication |