CN116051370A - 晶粒图像的拼接方法，装置，电子设备 - Google Patents
晶粒图像的拼接方法，装置，电子设备 Download PDFInfo
- Publication number
- CN116051370A CN116051370A CN202211648944.0A CN202211648944A CN116051370A CN 116051370 A CN116051370 A CN 116051370A CN 202211648944 A CN202211648944 A CN 202211648944A CN 116051370 A CN116051370 A CN 116051370A
- Authority
- CN
- China
- Prior art keywords
- image
- images
- spliced
- sub
- loop
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 75
- 230000002093 peripheral effect Effects 0.000 claims abstract description 147
- 238000009826 distribution Methods 0.000 claims abstract description 62
- 230000005855 radiation Effects 0.000 claims abstract description 12
- 239000013078 crystal Substances 0.000 claims abstract description 10
- 239000013598 vector Substances 0.000 claims description 65
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 238000005457 optimization Methods 0.000 claims description 9
- 230000004044 response Effects 0.000 abstract description 10
- 238000010586 diagram Methods 0.000 description 21
- 230000008569 process Effects 0.000 description 17
- 230000006870 function Effects 0.000 description 15
- 230000004927 fusion Effects 0.000 description 11
- 238000004590 computer program Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 7
- 230000007547 defect Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 6
- 238000007689 inspection Methods 0.000 description 6
- CXENHBSYCFFKJS-OXYODPPFSA-N (Z,E)-alpha-farnesene Chemical compound CC(C)=CCC\C(C)=C\C\C=C(\C)C=C CXENHBSYCFFKJS-OXYODPPFSA-N 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种晶粒图像的拼接方法，装置，电子设备。其中，该方法包括：获取晶粒图像的各个待拼接子图像；确定各个待拼接子图像的分布情况，并根据分布情况确定初始锚区；获取各层外围闭环图像，各层外围闭环图像为以初始锚区为中心依次由内向外辐射分布的待拼接子图像拼接得到；将初始锚区与各层外围闭环图像拼接后形成目标晶粒图像，其中，初始锚区与相邻的外围闭环图像拼接融合后，再与邻近外围闭环图像拼接融合，依次拼接直至与最外层外围闭环图像拼接形成目标晶粒图像。本申请解决了由于相关技术中一般基于待拼接图像的最高频率响应对应的位置作为拼接偏移位置进行拼接造成的拼接图像容易出现错位的技术问题。
Description
技术领域
本申请涉及图像拼接领域，具体而言，涉及一种晶粒图像的拼接方法，装置，电子设备。
背景技术
针对单个晶粒(Die)的检测，不同晶粒的尺寸在相机的不同倍镜下的实际视场图像可能并不一致，导致相机单次拍摄不能覆盖整个晶粒，因此，需要将单个晶粒划分为多个视场进行拍摄，最后，再将多个视场对应多张图像进行拼接，得到用于检测的完整晶粒图像。多个视场对应的多张图像之间的特征区域会存在高度重复或者特征较少的现象，不利于完成最终的完整的晶粒的拼接。
相关技术中，在拼接时一般会基于待拼接图像采用相位相关法进行拼接，即利用求解的互功率谱图像的最高频率响应所对应的位置作为拼接偏移位置进行拼接，但是对于某些类型的晶粒，例如，对于CIS这种类型的晶粒重叠区域重复较多的图像，其最高频率响应不唯一，因此，容易导致拼接的图像出现错位。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种晶粒图像的拼接方法，装置，电子设备，以至少解决由于相关技术中一般基于待拼接图像的最高频率响应对应的位置作为拼接偏移位置进行拼接造成的拼接图像容易出现错位的技术问题。
根据本申请实施例的一个方面，提供了一种晶粒图像的拼接方法，包括：获取晶粒图像的各个待拼接子图像；确定各个待拼接子图像的分布情况，并根据分布情况确定初始锚区；获取各层外围闭环图像，各层外围闭环图像为以初始锚区为中心依次由内向外辐射分布的待拼接子图像拼接得到；将初始锚区与各层外围闭环图像拼接后形成目标晶粒图像，其中，初始锚区与相邻的外围闭环图像拼接融合后，再与邻近外围闭环图像拼接融合，依次拼接直至与最外层外围闭环图像拼接形成目标晶粒图像。
可选地，获取各层外围闭环图像，包括：依据各相邻待拼接子图像的理论重叠量，对各相邻待拼接子图像拼接获得闭环图像；获取闭环图像的多组备选量，基于每组备选量优化，确定相邻重叠区的确定相对偏移向量；依据相邻重叠区的确定相对偏移向量，将相邻待拼接子图像的重叠区融合，获取外围闭环图像。
可选地，获取闭环图像的多组备选量，基于每组备选量优化，确定相邻重叠区的确定相对偏移向量，包括：获取闭环图像的多组备选量，其中每组备选量存在N个相对偏移向量，N为自然数；选定各组备选量内的目标偏移向量，使得闭环图像的相对偏移之和趋于0，其中，目标偏移向量为相邻重叠区的确定相对偏移向量。
可选地，选定各组备选量内的目标偏移向量，包括：调用路径规划算法求解各组备选量中路径最小的相对偏移向量；确定路径最小的相对偏移向量为目标相对偏移向量。
可选地，将初始锚区与各层外围闭环图像拼接后形成目标晶粒图像，包括：获取初始锚区与相邻的外围闭环图像的多对边界重叠区域；获取各重叠区域的最佳拼接偏移，以使得重叠图像像素差异最小；依据各最佳拼接偏移，将外围闭环图像与初始锚区的多对重叠区域融合，作为第一锚区，第一锚区用以与其邻近外围闭环图拼接。
可选地，获取初始锚区与相邻的外围闭环图像的多对边界重叠区域前，还包括：将初始锚区放置于相邻的外围闭环图像的内接框的中心；控制初始锚区与外围闭环图像沿各个方向的重叠面积或者比例的差值在预设范围内。
可选地，在得到目标晶粒图像之后，还包括：获取目标晶粒图像对应的样本模板，其中，样本模板上沿对角方向设置有用于定位尺寸的两个特征模板，两个特征模板之间沿横轴方向的距离为第一距离，沿纵轴方向的距离为第二距离；获取两个特征模板在目标晶粒图像中对应的位置，确定两个特征模板在目标晶粒图像中沿横轴方向的第三距离，以及沿纵轴方向的第四距离；求取第一距离与第三距离之间的第一差值，基于第一差值优化目标晶粒图像沿横轴方向的尺寸；求取第二距离与第四距离之间的第二差值，基于第二差值优化目标晶粒图像沿纵轴方向的尺寸。
可选地，基于第一差值优化目标晶粒图像沿横轴方向的尺寸，包括：以目标晶粒图像中第一列各个待拼接子图像所在位置为基准位置，确定目标晶粒图像中除第一列之外，每一列所包括的待拼接子图像数量；求取第一差值与每一列所包括的待拼接子图像数量的第一比值；获取每一列所在的列数，根据第一比值与列数确定目标晶粒图像中的每列待拼接子图像对应的第一偏移距离；基于每列待拼接子图像对应的第一偏移距离沿着横轴方向移动每列待拼接子图像优化目标晶粒图像沿横轴方向的尺寸。
可选地，基于第二差值优化目标晶粒图像沿纵轴方向的尺寸，包括：以目标晶粒图像中第一行各个子图像所在位置为基准位置，确定目标晶粒图像中除第一行之外，每一行所包括的子图像数量；求取第二差值与每一行所包括的子图像数量的第二比值；获取每一行所在的行数，根据第二比值与行数确定目标晶粒图像中的每行子图像对应的第二偏移距离；基于每行子图像对应的第二偏移距离沿着纵轴方向移动每行子图像优化目标晶粒图像沿纵轴方向的尺寸。
可选地，确定各个待拼接子图像的分布情况，并根据分布情况确定初始锚区，包括：获取各个待拼接子图像沿着晶粒图像的横轴方向以及纵轴方向上的分布数量；根据待拼接子图像沿晶粒图像的横轴方向以及纵轴方向的分布数量确定初始锚区。
可选地，根据待拼接子图像沿晶粒图像的横轴方向以及纵轴方向的分布数量确定初始锚区，包括：在待拼接子图像沿晶粒图像的横轴方向以及纵轴方向的分布数量均为偶数的情况下，确定不设置初始锚区；在待拼接子图像沿晶粒图像的横轴方向以及纵轴方向的分布数量均为奇数的情况下，确定晶粒图像的中心位置处对应的单个待拼接子图像为初始锚区；在待拼接子图像沿晶粒图像的横轴方向的分布数量为偶数，且纵轴方向的分布数量为奇数的情况下，或者在待拼接子图像沿晶粒图像的横轴方向的分布数量为奇数，且纵轴方向的分布数量为偶数的情况，确定晶粒图像的中心位置处对应的多个待拼接子图像为初始锚区。
可选地，初始锚区为多个待拼接子图像时，依据多个待拼接子图像的相对偏移向量完成初始锚区拼接。
根据本申请实施例的另一方面，还提供了一种晶粒图像的拼接装置，包括：第一获取模块，用于获取晶粒图像的各个待拼接子图像；确定模块，用于确定各个待拼接子图像的分布情况，并根据分布情况确定初始锚区；第二获取模块，用于获取各层外围闭环图像，各层外围闭环图像为以初始锚区为中心依次由内向外辐射分布的多个待拼接子图像拼接得到；拼接模块，用于将初始锚区与各层外围闭环图像拼接后形成目标晶粒图像，其中，初始锚区与相邻的外围闭环图像拼接融合后，再与邻近外围闭环图像拼接融合，依次拼接直至与最外层外围闭环图像拼接形成目标晶粒图像。根据本申请实施例的另一方面，还提供了一种非易失性存储介质，存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行任意一种晶粒图像的拼接方法。
根据本申请实施例的另一方面，还提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，处理器被配置为执行指令，以实现任意一种晶粒图像的拼接方法。
在本申请实施例中，采用构建初始锚区，并不断更新锚区的方式，通过获取晶粒图像的各个待拼接子图像；确定各个待拼接子图像的分布情况，并根据分布情况确定初始锚区；获取各层外围闭环图像，各层外围闭环图像为以初始锚区为中心依次由内向外辐射分布的待拼接子图像拼接得到；将初始锚区与各层外围闭环图像拼接后形成目标晶粒图像；其中，初始锚区与相邻的外围闭环图像外围闭环图像拼接融合后，再与邻近外围闭环图像外围闭环图像拼接融合，依次拼接直至与最外层外围图像拼接形成目标晶粒图像，达到了降低待拼接图像的重复特征的目的，从而实现了减少图像拼接错误率的技术效果，进而解决了由于相关技术中一般基于待拼接图像的最高频率响应对应的位置作为拼接偏移位置进行拼接造成的拼接图像容易出现错位的技术问题。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是相关技术中，基于单色传感器进行检测以及带有拜耳阵列对CIS进行检测的平面示意图；
图2是相关技术中基于AOI系统成像示意图；
图3是相关技术中用于拼接的FOV空间分布示意图；
图4是根据本申请实施例的晶粒图像的拼接方法的流程示意图；
图5是根据本申请的晶粒图像的拼接方法的拼接示意图；
图6是本申请一些实施例中获取各层外围闭环图像的流程示意图；
图7是本申请实施例中获取闭环图像的多组备选量，并确定相邻重叠区的确定相对偏移向量的流程示意图；
图8是本申请实施例中选定各组备选量内的目标偏移向量的流程示意图；
图9是本申请实施例中初始锚区与各层外围闭环图像拼接形成目标晶粒图像的流程示意图；
图10是本申请实施例中，在得到目标晶粒图像之后，为了对晶粒图像的尺寸进行优化的总流程示意图；
图11是本申请一些实施例中，基于所述第一差值优化所述目标晶粒图像沿横轴方向的尺寸的流程示意图；
图12是本申请一些实施例中基于第二差值优化目标晶粒图像沿纵轴方向的尺寸的流程示意图；
图13是本申请一实施例中的拼接算法流程示意图；
图14是本申请实施例中的初始锚区布局示意图；
图15是本申请一实施例中的外围闭环图像的布局示意图；
图16是本申请一实施例中的拼接方向示意图；
图17是本申请实施例中的闭环重叠区示意图；
图18是本申请实施例一种可选的动态规划有向图；
图19是本申请一实施例中基于alph融合左右拼接时的原理图；
图20是本申请实施例中闭环与锚区融合示意图；
图21是本申请一实施例中Die尺寸优化原理图；
图22是根据本申请实施例的晶粒图像的拼接装置的结构示意图；
图23是根据用来实施本申请实施例的示例电子设备的示意性框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于本领域技术人员更好地理解的本申请相关实施例，现对本申请相关实施例可能涉及的技术术语或者部分名词，解释如下：
Die：Die指的是芯片未封装前的晶粒,是从硅晶元(Wafer)上用激光切割而成的小片(Die)，每一个Die就是一个独立的功能芯片，最终将被作为一个单位而被封装起来成为我们常见的芯片。
相位相关法：相位相关(phase correlate)可以用于检测两幅内容相同的图像之间的相对位移量。可用于对齐图像，其不具备光照不变性。它是基于傅立叶变换的位移定理：一个平移过的函数的傅立叶变换仅仅是未平移函数的傅立叶变换与一个具有线性相位的指数因子的乘积，即空间域中的平移会造成频域中频谱的相移。
图像拼接是集成电路检测领域中的重要环节。在晶圆缺陷检测领域，往往是以单个晶粒(Die)为检测单元，由于不同晶粒(Die)的尺寸以及相机在不同倍镜下的实际视场图像(Fov)大小并不一致，导致相机单次拍摄不能覆盖整个晶粒(Die)，即相机的FOV小于晶粒(Die)的尺寸，此时需要将单个晶粒(Die)划分为相机的多个视场分别进行拍摄，最后使用图像拼接技术分别将多张图像进行拼接，生成得到完整的晶粒(Die)图像。
图1是某款晶粒(Die)在自动光学检测AOI系统成像示意图，如图1所示，其存在大量的细线条形的重复特征，图2是另外一款晶粒(Die)在AOI系统的成像示意图，如图2所示，其存在大量的点状重复特征，而对于上述这种存在大量重复特征的拼接图像而言，其采用相位相关法进行识别时，其最高频率响应不唯一，因此，容易导致拼接的图像出现错位。需要说明的是，图1与图2仅是对本申请应用场景的示例性说明(即特征高度重复这一情况)，而本申请对特征较少的拼接图像同样适用。
图3是相关技术中用于拼接的FOV空间分布示意图，如图3所示，在晶粒表面缺陷检测过程中，尤其是高倍物镜下，相机的FOV小于需要检测的晶粒(以下以Die表示)尺寸，此时需要将包含Die部分的多个FOV图像进行拼接。
在执行过程中，首先需要进行相邻FOV的两两拼接，然后进行全局约束处理，以防止拼接结果的变形，一般是共线性约束，但是共线性显然不适用于针对的特征较少的图像拼接。由此可见，相关技术中存在如下问题：
1)FOV采集图像之间特征、区域高度重复，平移参量存在多个最优解，不利于拼接；
2)拼接完成后，尺寸难以被约束为一致。
为了解决上述技术问题，本申请实施例提供了一种晶粒图像的拼接方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图4是根据本申请实施例的晶粒图像的拼接方法，如图4所示，该方法包括如下步骤：
步骤S402，获取晶粒图像的各个待拼接子图像；
正如上文所述，在晶圆检测领域，往往是以单个晶粒(Die)为检测单元，而由于不同晶粒的尺寸不同，以及相机等采集设备的实际视场图像Fov限制，因此，相机单次拍摄时往往不能覆盖整个Die，进而需要将单个Die划分为相机的多个视场进行拍摄，获得多个图像，将多张图像进行拼接获得晶粒图像。因此，该步骤S402中的待拼接子图像，即为相机的一个视场拍摄时所获得图像中的多个待拼接子图像。多个图像拼接也即多个图像内的多个待拼接子图像的拼接。
步骤S404，确定各个待拼接子图像的分布情况，并根据分布情况确定初始锚区；
需要说明的是，各个待拼接子图像的分布情况包括但不限于：各个待拼接子图像在横轴或者纵轴方向上的分布数量。而初始锚区即为首次拼接时的中心位置。
步骤S406，获取各层外围闭环图像，各层外围闭环图像为以初始锚区为中心依次由内向外辐射分布的多个待拼接子图像拼接得到；
可以理解的，每层外围闭环图像是由以初始锚区为中心，在同一预定半径范围内的多个待拼接子图像拼接获得。各层外围闭环图像均以初始锚区为中心，由内向外成圆形或椭圆形分布。
步骤S408，将初始锚区与各层外围闭环图像拼接后形成目标晶粒图像，其中，初始锚区与相邻的外围闭环图像拼接融合后，再与邻近外围闭环图像拼接融合，依次拼接直至与最外层外围闭环图像拼接形成目标晶粒图像。
需要说明的是，在拼接过程中对于与初始锚区相邻的外围闭环图像需要以上述初始锚区作为拼接中心对其进行拼接。
该晶粒图像的拼接方法中，获取晶粒图像的各个待拼接子图像；确定各个待拼接子图像的分布情况，并根据分布情况确定初始锚区；获取各层外围闭环图像，各层外围闭环图像为以初始锚区为中心依次由内向外辐射分布的待拼接子图像拼接得到；将初始锚区与各层外围闭环图像拼接后形成目标晶粒图像；其中，初始锚区与相邻的外围闭环图像拼接融合后，再与邻近外围闭环图像拼接融合，依次拼接直至与最外层外围闭环图像拼接形成目标晶粒图像，达到了降低待拼接图像的重复特征的目的，从而实现了减少图像拼接错误率的技术效果，进而解决了由于相关技术中一般基于待拼接图像的最高频率响应对应的位置作为拼接偏移位置进行拼接造成的拼接图像容易出现错位的技术问题。
上述步骤S408中将初始锚区与各层外围闭环图像拼接后形成目标晶粒图像，包括：将初始锚区与相邻的外围闭环图像拼接融合，更新锚区中心，作为下一层外围闭环图像拼接所要参考的新锚区，依次类推，获得目标晶粒图像。
图5是根据本申请的晶粒图像的拼接方法的拼接示意图，如图5所示，固定中心部分不动，作为稳定全局拼接结构的一个重要约束；以中心0为拼接时的初始锚区，围绕其周围的一组待拼接子图像可以在拼接时形成闭环即获得外围闭环图像；将外围闭环图像与初始锚区进行拼接融合，将融合后的图像，作为下一次拼接的新锚区；依次类推，将所有的待拼接子图像进行全局拼接；最后借助模板匹配对Die尺寸进行微调，生成最终Die图像。
图6是本申请一些实施例中获取各层外围闭环图像的流程示意图，如图6所示，该流程包括如下步骤：
S602，依据各相邻待拼接子图像的理论重叠量，对各相邻待拼接子图像拼接获得闭环图像；其中理论重叠量为由相机拍摄两张图像的编码位置相减计算得到；
S604，获取闭环图像的多组备选量，基于每组备选量优化，确定相邻重叠区的确定相对偏移向量；
需要说明的是，相邻重叠区为闭环图像中各个相邻的待拼接子图像之间的重叠区，备选量为待选用的相对偏移向量，其中，每组备选量均包括N个相对偏移向量，在对每组备选量优化的过程中，需要从每组备选量中选中一个相对偏移向量，使得整个闭环图像的相对偏移之和趋于0。
S606，依据相邻重叠区的确定相对偏移向量，将相邻待拼接子图像的重叠区融合，获取外围闭环图像。
上述步骤S604中确定相对偏移向量可以采用相位相关算法，上述相位相关算法包括但不限于：二维脉冲函数法。
还需要说明的是，相邻待拼接子图像的拼接重叠等于理论重叠量加上相对偏移向量，其中，理论重叠量由相机拍摄两张图像的编码位置相减计算得到，理论上当前二维脉冲函数的峰值所在位置即可为两张图像的相对偏移向量，而实际上由于相邻两张图像间的重叠区域特征可能高度重复，或者特征很少，导致二维脉冲函数没有明显的峰值，其最大值可能并不是最优的偏移，因此需选用多个二维脉冲函数的较大值作为备选的相对偏移向量，本申请实施例中一般要求备选的相对偏移向量的保留的数目：n≥9，其中n表示备选的相对偏移向量的保留的数目。
图7是本申请一示例性实施例中确定相邻重叠区的确定相对偏移向量的流程示意图，如图7所示，该流程主要包括如下步骤：
S702，获取闭环图像的多组备选量，其中每组备选量存在N个相对偏移向量，其中，N为自然数；
S704，选定各组备选量内的目标偏移向量，使得闭环图像的相对偏移之和趋于0，其中，目标偏移向量为相邻重叠区的确定相对偏移向量。
可以理解的，每组备选量中均存在N个相对偏移向量，因此，需要从每组备选量中选中一个相对偏移向量，以使得整个闭环的相对偏移之和趋于0，即从每组备选量中找到路径最小的相对偏移向量，容易注意到的是，本申请实施例中所采用的方案为初始锚区加各层外围闭环图像的拼接方式，此方案可以使得Die的Fov拼接不再只依靠相邻图像Fov的最高频率响应，而可以引入多组频率响应，再利用闭环偏移和为0的约束进行优化，大大降低了Die图像的拼接错误率。
图8是本申请可选的实施例中选定各组备选量内的目标偏移向量的流程示意图，如图8所示，该流程包括：
S802，调用路径规划算法求解各组备选量中路径最小的相对偏移向量；
S804，确定路径最小的相对偏移向量为目标相对偏移向量。
图9是本申请一些实施例中初始锚区与各层外围闭环图像拼接形成目标晶粒图像的流程示意图，如图9所示，该流程包括：
S902，获取初始锚区与相邻的外围闭环图像的多对边界重叠区域；
S904，获取各重叠区域的最佳拼接偏移，以使得重叠图像像素差异最小；
S906，依据各最佳拼接偏移，将外围闭环图像与初始锚区的多对重叠区域融合，作为第一锚区，第一锚区用以与其邻近外围闭环图拼接。
可选地，获取初始锚区与相邻的外围闭环图像的多对边界重叠区域前，可将初始锚区放置于相邻的外围闭环图像的内接框的中心；控制初始锚区与外围闭环图像沿各个方向的重叠面积或者比例的差值在预设范围内。例如，对于重叠面积而言，预设范围可以为0-4之间，对于比例而言，上述比例可以为10％-20％：
需要说明的是，上述拼接过程中可以采用算法包括但不限于：阿尔法alph融合算法。
可选地，初始锚区与各层外围闭环图像拼接后形成目标晶粒图像，包括：第一锚区与其邻近外围闭环图像融合作为第二锚区，第二锚区用于与其邻近的外围闭环图像融合，依次拼接，实现初始锚区与各层外围闭环图像拼接，形成目标晶粒图像。
作为一种可选的实施方式，在初始锚区为多个待拼接子图像时，可以依据多个待拼接子图像的相对偏移向量完成初始锚区拼接。
作为一种可选的实施方式，在得到目标晶粒图像之后，为了对晶粒图像的尺寸进行约束，避免拼接得到的目标晶粒图像的尺寸存在波动，影响后续工艺流程中，晶粒缺陷检测的性能与效果。如图10所示，具体包括如下步骤：
S1001，获取目标晶粒图像对应的样本模板，样本模板如图18所示，样本模板上沿对角方向设置有用于定位尺寸的两个特征模板，两个特征模板之间沿横轴方向的距离为第一距离，沿纵轴方向的距离为第二距离；
对于晶粒图像的拼接，由于每个晶粒图像均会有各自的缺陷，为了便于检测同时保证所有的晶粒尺寸大小一致，可以将多个晶粒图像进行融合，得到没有缺陷或缺陷较少的融合后晶粒图像，将融合后得到的晶粒图像为样本模板，该样本模板可以作为在晶粒进行检测过程中所采用的标准图像。
在本申请的一些实施例中，样本模板的尺寸为晶粒对应的标准尺寸，上述两个特征模板为在样本模板上选择的两个ROI区域，例如，可以为样本模板上框选的两个矩形框，上述两个矩形框沿着样本模板对角线的设置，一个矩形框放置在样板模板的左上方，另一个矩形框放置在样本模板的右下方，两个矩形框的对角线的交点沿横轴方向的距离为第一距离，沿纵轴方向的距离为第二距离。
S1002，获取两个特征模板在目标晶粒图像中对应的位置，确定两个特征模板在目标晶粒图像中沿横轴方向的为第三距离，以及沿纵轴方向的第四距离；
S1003，求取第一距离与第三距离之间的第一差值，基于第一差值优化目标晶粒图像沿横轴方向的尺寸；
S1004，求取第二距离与第四距离之间的第二差值，基于第二差值优化目标晶粒图像沿纵轴方向的尺寸。
容易注意到的是，上述第一距离与第三距离即为目标晶粒图像的各列子图像在横轴方向的偏移，上述第二距离与第四距离即为目标晶粒图像的各行子图像在纵轴方向上的偏移。
图11是本申请一些实施例中，基于所述第一差值优化所述目标晶粒图像沿横轴方向的尺寸的流程示意图，如图11所示，该流程包括：
S10031，以所述目标晶粒图像中第一列各个待拼接子图像所在位置为基准位置，确定所述目标晶粒图像中除所述第一列之外，每一列所包括的待拼接子图像数量；
S10032，求取所述第一差值与所述每一列所包括的待拼接子图像数量的第一比值；
S10033，获取每一列所在的列数，根据所述第一比值与所述列数确定所述目标晶粒图像中的每列待拼接子图像对应的第一偏移距离；
S10034，基于所述每列待拼接子图像对应的第一偏移距离沿着所述横轴方向移动所述每列待拼接子图像优化所述目标晶粒图像沿横轴方向的尺寸。
同理，在本申请一些实施例中，可基于第二差值优化目标晶粒图像沿纵轴方向的尺寸，图12是本申请一些实施例中基于第二差值优化目标晶粒图像沿纵轴方向的尺寸的流程示意图，如图12所示，该流程包括：
S10041，以所述目标晶粒图像中第一行各个子图像所在位置为基准位置，确定所述目标晶粒图像中除所述第一行之外，每一行所包括的子图像数量；
S10042，求取所述第二差值与所述每一行所包括的子图像数量的第二比值；
S10043，获取每一行所在的行数，根据所述第二比值与所述行数确定所述目标晶粒图像中的每行子图像对应的第二偏移距离；
S10044，基于所述每行子图像对应的第二偏移距离沿着所述纵轴方向移动所述每行子图像优化所述目标晶粒图像沿纵轴方向的尺寸。
容易注意到的是，将实际得到的目标晶粒尺寸与样本尺寸进行比较，可对实际得到的目标晶粒尺寸进行进一步优化，确保了拼接得到的目标晶粒尺寸与样本尺寸一致。
作为一种可选的实施方式，确定各个待拼接子图像的分布情况，根据分布情况确定初始锚区，可以通过如下步骤实现，具体的：可获取各个待拼接子图像沿着晶粒图像的横轴方向以及纵轴方向上的分布数量；然后，根据待拼接子图像沿晶粒图像的横轴方向以及纵轴方向的分布数量确定初始锚区。
需要说明的是，根据待拼接子图像沿晶粒图像的横轴方向以及纵轴方向的分布数量确定初始锚区，具体包括以下四种情况：
1.在待拼接子图像沿晶粒图像的横轴方向以及纵轴方向的分布数量均为偶数的情况下，确定不设置初始锚区，即在行列均为偶数的情况下，不设置初始锚区；
2.在待拼接子图像沿晶粒图像的横轴方向以及纵轴方向的分布数量均为奇数的情况下，确定晶粒图像的中心位置处对应的单个待拼接子图像为初始锚区，即行列均为奇数的情况下，则处于中心位置处的单个待拼接子图像为初始锚区；
3.在待拼接子图像沿晶粒图像的横轴方向的分布数量为偶数，且纵轴方向的分布数量为奇数的情况下，确定晶粒图像的中心位置处对应的多个待拼接子图像为初始锚区，即在行奇列偶的情况下，根据中心位置处的多个待拼接子图像拼接后确定初始锚区，可以理解的是，在行奇列偶的情况下，根据中心位置处横轴方向相邻的多个待拼接子图像确定初始锚区。
4.在待拼接子图像沿晶粒图像的横轴方向的分布数量为奇数，且纵轴方向的分布数量为偶数的情况下，确定晶粒图像的中心位置处对应的多个待拼接子图像为初始锚区，即在行偶列奇的情况下，根据中心位置处的多个待拼接子图像确定初始锚区，可以理解的是，在行偶列奇的情况下，根据中心位置处纵轴方向上相邻的多个待拼接子图像拼接后确定初始锚区。
图13是本申请一实施例中的拼接算法流程示意图，如图13所示，该流程主要包括：S1300：确定初始锚区，S1302：确定外围闭环图像，S1304：拼接外围闭环图像，S1306：拼接外围闭环图像与锚区，S1308：判断是否是最外层闭环图像，如果不是最外层闭环图像，S1310：则更新锚区；如果是最外层闭环图像，S1312：进行尺寸优化，S1314：输出拼接结果。
具体的：
S1300：确定初始锚区
图14是本申请实施例中确定初始锚区的示意图，如图14所示，单个Die由多个Fov组成，根据组成Die的Fov数目不同，可以有以下四种Fov分布情况：
第一种情况，行列均为偶数，则不需要初始锚区，直接以内部的Fov图像为初始锚区，如图14(a)所示；
第二种情况，行列均为奇数，则以图14(b)中的第0个Fov图像作为初始锚区，外面所有的Fov图像分别组成闭环结构；
第三种情况，行奇数，列偶数，则以图14(c)中的两个第0个Fov图像作为初始锚区，外面所有Fov图像分别组成闭环结构；
第四种情况，行偶数，列奇数，则以图14(d)中的两个第0个Fov图像作为初始锚区，外面所有Fov图像分别组成闭环结构；对于初始锚区具有多个Fov图像的情况，如图14(c,d)所示，直接对其利用相位相关进行拼接，以拼接结果作为初始锚区；
可以理解的，对于初始锚区而言，在初始锚区为多个待拼接子图像时，依据多个待拼接子图像的相对偏移向量完成初始锚区拼接。
具体的，通过相位相关法计算相对偏移向量，例如，将二维脉冲函数的峰值所在位置为两张图像的相对偏移向量。
S1302：确定外围闭环图像,
图15是外围闭环图像的布局示意图，如图15所示，以初始锚区为起点，分别对待拼接子图像进行闭环划分，使除初始锚区以外的每个待拼接子图像均受到一个闭环约束。
S1304：拼接外围闭环图像
在外围闭环图像的待拼接子图像进行闭环拼接时，可设定闭环拼接方向为顺时针方向(可以理解的，也可设定闭环拼接方向为逆时针方向)，图16是拼接方向示意图，如图16所示，相邻待拼接子图像重叠区的相对偏移存在共分为四种情况，其中R为参考图像，S为待拼接子图像，设定拼接偏移向上为正，向下为负，向左为正，向右为负，进而整个外围闭环图像的正确相对偏移之和应趋于0，以此来约束外围闭环图像上待拼接子图像的拼接偏移；
具体地，拼接待拼接子图像获得外围闭环图像可通过如下步骤实现：
1)对相邻的待拼接子图像拼接：
相邻待拼接子图像的拼接重叠等于理论重叠量加相对偏移向量；
依据各相邻待拼接子图像的理论重叠量，对各相邻待拼接子图像拼接获得闭环图像，其中理论重叠量可以由相机拍摄两张Fov图像的编码位置相减计算得到；
获取闭环图像的多组备选量，基于每组备选量优化，确定相邻重叠区的确定相对偏移向量；
相对偏移向量可采用相位相关法进行计算；理论上当前二维脉冲函数的峰值所在位置即可为相邻待拼接子图像的相对偏移向量：{Δx,Δy}。
进一步的，需要说明的是，实际上由于相邻两待拼接子图像间的理论重叠区域特征可能高度重复，或者特征很少，导致二维脉冲函数的没有明显峰值，其最大值可能不是最优的偏移，因此需要选用多个二维脉冲函数的较大值作为备选量的相对偏移向量，本申请一些实施例中，备选的相对偏移向量，一般可保留的数目：n≥9。
2)对闭环备选量进行优化
图17是本申请实施例中的闭环重叠区示意图，如图17所示，相邻重叠区为闭环图像中各个相邻的待拼接子图像之间的重叠区，备选量为待选用的相对偏移向量，其中，每组备选量均包括N个相对偏移向量，在对每组备选量优化的过程中，需要从每组备选量中选中一个相对偏移向量，使得整个闭环图像的相对偏移之和趋于0，即需要在每组备选量中各选择一个备选量内的目标偏移量{Δx,Δy}，使得整个闭环图像的相对偏移之和趋于0；
其中，t为备选量总的组数，即闭环中重叠区个数。
该优化问题可采用路径动态规划方法求解，图18是一种可选的动态规划有向图，如图18所示，通过调用路径规划方法，可求解出最小路径即可以求解出各组备选量中最小的相对偏移向量，作为闭环中所有相邻重叠区的确定相对偏移向量。
3)对外围闭环图像进行融合
依据相邻重叠区的确定相对偏移向量，将相邻待拼接子图像的重叠区融合，获取外围闭环图像
外围闭环图像的融合可采用多种方法，该实施例采用可alph融合方法对计算出来的相邻重叠区进行融合，对于两个相邻待拼接子图像R(x,y)、S(x,y)，其融合结果F(x,y)见下式。
F(x,y)＝(1-α)·R(x,y)+α·S(x,y)
其中α为可变系数，以重叠区的中间线为界，图16是基于alph融合左右拼接时的原理图，如图19所示，上下拼接类似，其中，
w为相邻待拼接子图像求解得到的拼接重叠宽度，d为当前像素点p到图像R(x,y)右边界的像素距离。
S1306：拼接外围闭环图像与锚区
初始锚区与各层所述外围闭环图像拼接，首先可将外围闭环图像闭环融合后的图形作为一个整体，将初始锚区首先放到闭环融合后的图形的内接矩形的中心，保证初始锚区与闭环各个方向的重叠面积或重叠比例基本一致，符合设备在采集子图过程中，移动步长基本一致的实际约束，图20是外围闭环图像与初始锚区融合示意图，如图20所示，可分别取出初始锚区与外围闭环图像重叠的四对重叠区域，分别进行相位相关拼接，最后，以四个重叠区域拼接结果中，使得重叠图像像素差异最小的拼接偏移，作为当前闭环与锚区的最佳拼接偏移，同理，对于外围闭环图像、初始锚区融合也可采用alph融合。
S1308：判断是否是最外层闭环图像
若不是，跳到S1310；若是，继续执行S1312。
S1310：则更新锚区
将S1306拼接完成的结果图像作为最新的锚区图像，最新的锚区图像与下一层外围闭环图像拼接，跳到S1304。
S1312：Die尺寸优化，即在得到目标晶粒图像之后，对晶粒图像的尺寸进行优化。
对于Die拼接，要保证所有Die的尺寸与Die的样本模板尺寸一致，因此需对拼接后的Die尺寸进行优化。
图21是上述优化过程中Die尺寸优化原理图，如图21左半部分所示，在Die的样本模板上的对角框选两个ROI区域作为尺寸定位的特征模板TM1、TM2，这两个特征模板在X、Y方向的距离分别为W、H，可用W、H表征Die尺寸，需要说明的是，上述样本模板包括但不限于：黄金模板以及其他类型的标准模板。
a)将TM1、TM2分别在带入到实际拼接生成的Die图像中，分别使用图像模板匹配算法，例如相关性或者基于特征点匹配，计算出两个模板在拼接出来的Die图像中的位置，如图21右半部分所示，进而可得到实际拼接出来的Die图像的尺寸Wr、Hr。
b)以组成Die的第1列Fov为基准，将第2列至Xm列Fov在X方向进行偏移，第i列Fov偏移距离如下式所示：
c)以组成Die的第1行Fov为基准，将第2行至Ym行Fov在Y方向进行偏移，第j行Fov偏移距离如下式所示：
其中，上述特征模板TM1、TM2，在X、Y方向的距离分别为W、H；实际拼接出来的Die图像的尺寸沿X、Y方向分别为Wr、Hr；i与j分别表示列与行；Δxi、Δyi分别表示在X、Y方向的偏移距离(或称偏移量)；Xm、Ym分别为组成Die图像的Fov在X、Y方向的数量。
图22是根据本申请实施例的一种晶粒图像的拼接装置，如图22所示，该装置包括：
第一获取模块190，用于获取晶粒图像的各个待拼接子图像；
确定模块192，用于确定各个待拼接子图像的分布情况，并根据分布情况确定初始锚区；
第二获取模块194，用于获取各层外围闭环图像，各层外围闭环图像为以初始锚区为中心依次由内向外辐射分布的待拼接子图像拼接得到；
拼接模块196，用于将初始锚区与各层外围闭环图像拼接后形成目标晶粒图像，其中，初始锚区与相邻的外围闭环图像外围闭环图像拼接融合后，再与邻近外围闭环图像外围闭环图像拼接融合，依次拼接直至与最外层外围闭环图像拼接形成目标晶粒图像。
需要说明的是，在拼接过程中对于与初始锚区相邻的外围闭环图像外围闭环图像需要以上述初始锚区作为拼接中心对其进行拼接。
该拼接装置中，第一获取模块190，用于获取晶粒图像的各个待拼接子图像；确定模块192，用于确定各个待拼接子图像的分布情况，并根据分布情况确定初始锚区；第二获取模块194，用于获取各层外围闭环图像，各层外围闭环图像为以初始锚区为中心依次由内向外辐射分布的待拼接子图像拼接得到；拼接模块196，用于将初始锚区与各层外围闭环图像拼接后形成目标晶粒图像，其中，初始锚区与相邻的外围闭环图像外围闭环图像拼接融合后，再与邻近外围闭环图像外围闭环图像拼接融合，依次拼接直至与最外层外围闭环图像拼接形成目标晶粒图像，达到了降低待拼接图像的重复特征的目的，从而实现了减少图像拼接错误率的技术效果，进而解决了由于相关技术中一般基于待拼接图像的最高频率响应对应的位置作为拼接偏移位置进行拼接造成的拼接图像容易出现错位的技术问题。
根据本申请实施例的另一方面，还提供了一种非易失性存储介质，存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行任意一种晶粒图像的拼接方法。
具体地，上述存储介质用于存储以下功能的程序指令，实现以下功能：
获取晶粒图像的各个待拼接子图像；确定各个待拼接子图像的分布情况，并根据分布情况确定初始锚区；获取各层外围闭环图像，各层外围闭环图像为以初始锚区为中心依次由内向外辐射分布的待拼接子图像拼接得到；将初始锚区与各层外围闭环图像拼接后形成目标晶粒图像，其中，初始锚区与相邻的外围闭环图像外围闭环图像拼接融合后，再与邻近外围闭环图像外围闭环图像拼接融合，依次拼接直至与最外层外围闭环图像拼接形成目标晶粒图像。
可选地，在本实施例中，上述存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。上述存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
在本申请一示例性实施例中，还提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现上述任一项的晶粒图像的拼接方法。
可选地，该计算机程序在被处理器执行时可实现如下步骤：
获取晶粒图像的各个待拼接子图像；确定各个待拼接子图像的分布情况，并根据分布情况确定初始锚区；获取各层外围闭环图像，各层外围闭环图像为以初始锚区为中心依次由内向外辐射分布的待拼接子图像拼接得到；将初始锚区与各层外围闭环图像拼接后形成目标晶粒图像，其中，初始锚区与相邻的外围闭环图像外围闭环图像拼接融合后，再与邻近外围闭环图像外围闭环图像拼接融合，依次拼接直至与最外层外围闭环图像拼接形成目标晶粒图像。
根据本申请的实施例提供了一种电子设备，该电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述任一项的晶粒图像的拼接方法。
可选地，上述电子设备还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入设备输出设备和上述处理器连接。
图23示出了可以用来实施本申请的实施例的示例电子设备2000的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图23所示，设备2000包括计算单元2001，其可以根据存储在只读存储器(ROM)2002中的计算机程序或者从存储单元2008加载到随机访问存储器(RAM)2003中的计算机程序，来执行各种适当的动作和处理。在RAM 2003中，还可存储设备2000操作所需的各种程序和数据。计算单元2001、ROM 2002以及RAM 2003通过总线2004彼此相连。输入/输出(I/O)接口2005也连接至总线2004。
设备2000中的多个部件连接至I/O接口2005，包括：输入单元2006，例如键盘、鼠标等；输出单元2007，例如各种类型的显示器、扬声器等；存储单元2008，例如磁盘、光盘等；以及通信单元2009，例如网卡、调制解调器、无线通信收发机等。通信单元2009允许设备2000通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元2001可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元2001的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元2001执行上文所描述的各个方法和处理，例如晶粒图像的拼接方法。例如，在一些实施例中，晶粒图像的拼接方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元2008。在一些实施例中，计算机程序的部分或者全部可以经由ROM 2002和/或通信单元2009而被载入和/或安装到设备2000上。当计算机程序加载到RAM2003并由计算单元2001执行时，可以执行上文描述的晶粒图像的拼接方法的一个或多个步骤。备选地，在其他实施例中，计算单元2001可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行晶粒图像的拼接方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本申请的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本申请的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。
Claims (14)
1.一种晶粒图像的拼接方法，其特征在于，包括：
获取晶粒图像的各个待拼接子图像；
确定各个所述待拼接子图像的分布情况，并根据所述分布情况确定初始锚区；
获取各层外围闭环图像，各层所述外围闭环图像为以所述初始锚区为中心依次由内向外辐射分布的多个待拼接子图像拼接得到；
将所述初始锚区与各层所述外围闭环图像拼接后形成目标晶粒图像，其中，所述初始锚区与相邻的所述外围闭环图像拼接融合后，再与邻近所述外围闭环图像拼接融合，依次拼接直至与最外层所述外围闭环图像拼接形成目标晶粒图像。
2.根据权利要求1所述的方法，其特征在于，获取各层外围闭环图像，包括：
依据各相邻待拼接子图像的理论重叠量，对各相邻待拼接子图像拼接获得闭环图像；
获取闭环图像的多组备选量，基于每组备选量优化，确定相邻重叠区的确定相对偏移向量；
依据相邻重叠区的确定相对偏移向量，将相邻待拼接子图像的重叠区融合，获取外围闭环图像。
3.根据权利要求2所述的方法，其特征在于，获取闭环图像的多组备选量，基于每组备选量优化，确定相邻重叠区的确定相对偏移向量，包括：
获取闭环图像的多组备选量，其中每组备选量存在N个相对偏移向量，N为自然数；
选定各组备选量内的目标偏移向量，使得闭环图像的相对偏移之和趋于0，其中，目标偏移向量为相邻重叠区的确定相对偏移向量。
4.根据权利要求3所述的方法，其特征在于，选定各组备选量内的目标偏移向量，包括：
调用路径规划算法求解所述各组备选量中路径最小的相对偏移向量；
确定所述路径最小的相对偏移向量为所述目标相对偏移向量。
5.根据权利要求1所述的方法，其特征在于，将所述初始锚区与各层所述外围闭环图像拼接后形成目标晶粒图像，包括：
获取所述初始锚区与相邻的所述外围闭环图像的多对边界重叠区域；
获取各所述重叠区域的最佳拼接偏移，以使得重叠图像像素差异最小；
依据各所述最佳拼接偏移，将所述外围闭环图像与所述初始锚区的多对重叠区融合，作为第一锚区，所述第一锚区用以与其邻近外围闭环图像拼接。
6.根据权利要求5所述的方法，其特征在于，获取所述初始锚区与相邻的所述外围闭环图像的多对边界重叠区域前，还包括：
将所述初始锚区放置于相邻的所述外围闭环图像的内接框的中心；
控制所述初始锚区与所述外围闭环图像沿各个方向的重叠面积或者比例的差值在预设范围内。
7.根据权利要求1所述的方法，其特征在于，在得到目标晶粒图像之后，所述方法还包括：
获取所述目标晶粒图像对应的样本模板，其中，所述样本模板上沿对角方向设置有用于定位尺寸的两个特征模板，所述两个特征模板之间沿横轴方向的距离为第一距离，沿纵轴方向的距离为第二距离；
获取所述两个特征模板在所述目标晶粒图像中对应的位置，确定所述两个特征模板在所述目标晶粒图像中沿横轴方向的第三距离，以及沿纵轴方向的第四距离；
求取所述第一距离与所述第三距离之间的第一差值，基于所述第一差值优化所述目标晶粒图像沿横轴方向的尺寸；
求取所述第二距离与第四距离之间的第二差值，基于所述第二差值优化所述目标晶粒图像沿所述纵轴方向的尺寸。
8.根据权利要求7所述的方法，其特征在于，基于所述第一差值优化所述目标晶粒图像沿横轴方向的尺寸，包括：
以所述目标晶粒图像中第一列各个待拼接子图像所在位置为基准位置，确定所述目标晶粒图像中除所述第一列之外，每一列所包括的待拼接子图像数量；
求取所述第一差值与所述每一列所包括的待拼接子图像数量的第一比值；
获取每一列所在的列数，根据所述第一比值与所述列数确定所述目标晶粒图像中的每列待拼接子图像对应的第一偏移距离；
基于所述每列待拼接子图像对应的第一偏移距离沿着所述横轴方向移动所述每列待拼接子图像优化所述目标晶粒图像沿横轴方向的尺寸。
9.根据权利要求7所述的方法，其特征在于，基于所述第二差值优化所述目标晶粒图像沿所述纵轴方向的尺寸，包括：
以所述目标晶粒图像中第一行各个子图像所在位置为基准位置，确定所述目标晶粒图像中除所述第一行之外，每一行所包括的子图像数量；
求取所述第二差值与所述每一行所包括的子图像数量的第二比值；
获取每一行所在的行数，根据所述第二比值与所述行数确定所述目标晶粒图像中的每行子图像对应的第二偏移距离；
基于所述每行子图像对应的第二偏移距离沿着所述纵轴方向移动所述每行子图像优化所述目标晶粒图像沿纵轴方向的尺寸。
10.根据权利要求1所述的方法，其特征在于，确定所述各个待拼接子图像的分布情况，并根据所述分布情况确定初始锚区，包括：
获取所述各个待拼接子图像沿着所述晶粒图像的横轴方向以及纵轴方向上的分布数量；
根据所述待拼接子图像沿所述晶粒图像的所述横轴方向以及所述纵轴方向的分布数量确定初始锚区。
11.根据权利要求10所述的方法，其特征在于，根据所述待拼接子图像沿所述晶粒图像的所述横轴方向以及所述纵轴方向的分布数量确定初始锚区，包括：
在所述待拼接子图像沿所述晶粒图像的所述横轴方向以及所述纵轴方向的分布数量均为偶数的情况下，确定不设置所述初始锚区；
在所述待拼接子图像沿所述晶粒图像的所述横轴方向以及所述纵轴方向的分布数量均为奇数的情况下，确定所述晶粒图像的中心位置处对应的单个待拼接子图像为所述初始锚区；
在所述待拼接子图像沿所述晶粒图像的所述横轴方向的分布数量为偶数，且所述纵轴方向的分布数量为奇数的情况下，或者在所述待拼接子图像沿所述晶粒图像的所述横轴方向的分布数量为奇数，且所述纵轴方向的分布数量为偶数的情况，确定所述晶粒图像的中心位置处对应的多个待拼接子图像拼接后为所述初始锚区。
12.根据权利要求10或11所述的方法，其特征在于，所述初始锚区为多个所述待拼接子图像时，依据多个待拼接子图像的相对偏移向量完成初始锚区拼接。
13.一种晶粒图像的拼接装置，其特征在于，包括：
第一获取模块，用于获取晶粒图像的各个待拼接子图像；
确定模块，用于确定各个所述待拼接子图像的分布情况，并根据所述分布情况确定初始锚区；
第二获取模块，用于获取各层外围闭环图像，各层所述外围闭环图像为以所述初始锚区为中心依次由内向外辐射分布的多个待拼接子图像拼接得到；
拼接模块，用于将所述初始锚区与各层所述外围闭环图像拼接后形成目标晶粒图像，其中，所述初始锚区与相邻的所述外围闭环图像拼接融合后，再与邻近所述外围闭环图像拼接融合，依次拼接直至与最外层所述外围闭环图像拼接形成目标晶粒图像。
14.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至12中任一项所述的晶粒图像的拼接方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211648944.0A CN116051370A (zh) | 2022-12-21 | 2022-12-21 | 晶粒图像的拼接方法，装置，电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211648944.0A CN116051370A (zh) | 2022-12-21 | 2022-12-21 | 晶粒图像的拼接方法，装置，电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116051370A true CN116051370A (zh) | 2023-05-02 |
Family
ID=86126562
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211648944.0A Pending CN116051370A (zh) | 2022-12-21 | 2022-12-21 | 晶粒图像的拼接方法，装置，电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116051370A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117058005A (zh) * | 2023-10-13 | 2023-11-14 | 珠海埃克斯智能科技有限公司 | 晶圆的晶粒图像重构方法、装置、电子设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102968777A (zh) * | 2012-11-20 | 2013-03-13 | 河海大学 | 一种基于重叠区域sift特征点的图像拼接方法 |
| CA2880229A1 (en) * | 2012-08-21 | 2014-02-27 | Visual Intelligence, LP | Infrastructure mapping system and method |
| CN110390640A (zh) * | 2019-07-29 | 2019-10-29 | 齐鲁工业大学 | 基于模板的泊松融合图像拼接方法、系统、设备及介质 |
| CN114202462A (zh) * | 2021-12-07 | 2022-03-18 | 南京理工大学 | 一种可移植到arm端的图像拼接方法 |
-
2022
- 2022-12-21 CN CN202211648944.0A patent/CN116051370A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2880229A1 (en) * | 2012-08-21 | 2014-02-27 | Visual Intelligence, LP | Infrastructure mapping system and method |
| WO2014031284A1 (en) * | 2012-08-21 | 2014-02-27 | Visual Intelligence, LP | Infrastructure mapping system and method |
| CN102968777A (zh) * | 2012-11-20 | 2013-03-13 | 河海大学 | 一种基于重叠区域sift特征点的图像拼接方法 |
| CN110390640A (zh) * | 2019-07-29 | 2019-10-29 | 齐鲁工业大学 | 基于模板的泊松融合图像拼接方法、系统、设备及介质 |
| CN114202462A (zh) * | 2021-12-07 | 2022-03-18 | 南京理工大学 | 一种可移植到arm端的图像拼接方法 |
Non-Patent Citations (1)
| Title |
|---|
| 洪鹏程等: "基于SUＲF 分割圆形区域的图像拼接", 《电讯技术》, vol. 61, no. 11, 30 November 2021 (2021-11-30) * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117058005A (zh) * | 2023-10-13 | 2023-11-14 | 珠海埃克斯智能科技有限公司 | 晶圆的晶粒图像重构方法、装置、电子设备及存储介质 |
| CN117058005B (zh) * | 2023-10-13 | 2024-01-16 | 珠海埃克斯智能科技有限公司 | 晶圆的晶粒图像重构方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Lan et al. | MADNet: A fast and lightweight network for single-image super resolution | |
| US10708525B2 (en) | Systems and methods for processing low light images | |
| US20200160493A1 (en) | Image filtering based on image gradients | |
| US20220215588A1 (en) | Image signal processor for processing images | |
| US10326981B2 (en) | Generating 3D images using multi-resolution camera set | |
| US8675997B2 (en) | Feature based image registration | |
| US20120188389A1 (en) | Method and apparatus for parallax correction in fused array imaging systems | |
| US9600887B2 (en) | Techniques for disparity estimation using camera arrays for high dynamic range imaging | |
| US11967051B2 (en) | Image fusion method and portable terminal | |
| US20090244299A1 (en) | Image processing device, computer-readable storage medium, and electronic apparatus | |
| US11194536B2 (en) | Image processing method and apparatus for displaying an image between two display screens | |
| US11967040B2 (en) | Information processing apparatus, control method thereof, imaging device, and storage medium | |
| US9807313B2 (en) | Method and system of increasing integer disparity accuracy for camera images with a diagonal layout | |
| CN111179199A (zh) | 图像处理方法、装置及可读存储介质 | |
| US20190213749A1 (en) | Method, image processing device, and system for generating disparity map | |
| CN116051370A (zh) | 晶粒图像的拼接方法，装置，电子设备 | |
| EP2750391B1 (en) | Method, apparatus and computer program product for processing of images | |
| CN110335228B (zh) | 一种图像视差的确定方法、装置及系统 | |
| CN113674181B (zh) | 一种多曝光图像的对齐融合方法及设备 | |
| CN113379746B (zh) | 图像检测方法、装置、系统、计算设备及可读存储介质 | |
| US20110001882A1 (en) | Method and system for determining motion vectors for flat regions | |
| CN114529483A (zh) | 数据处理方法、装置、终端和可读存储介质 | |
| US10643312B2 (en) | Smoothed image generating device, abnormality determining device, and smoothed image generating method | |
| CN112884877A (zh) | 光场显示方法、装置、电子设备及存储介质 | |
| CN113096084B (zh) | 基于阵列相机成像的视觉检测方法、设备及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |