CN116523814A - 定位方法、转换关系的获取方法、检测方法及系统 - Google Patents
定位方法、转换关系的获取方法、检测方法及系统 Download PDFInfo
- Publication number
- CN116523814A CN116523814A CN202210074800.2A CN202210074800A CN116523814A CN 116523814 A CN116523814 A CN 116523814A CN 202210074800 A CN202210074800 A CN 202210074800A CN 116523814 A CN116523814 A CN 116523814A
- Authority
- CN
- China
- Prior art keywords
- matching
- image
- coordinate
- coordinate system
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 91
- 238000006243 chemical reaction Methods 0.000 title claims description 70
- 238000001514 detection method Methods 0.000 title claims description 66
- 238000012545 processing Methods 0.000 claims abstract description 36
- 230000000875 corresponding effect Effects 0.000 claims description 33
- 230000002596 correlated effect Effects 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 description 14
- 238000005259 measurement Methods 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 241001270131 Agaricus moelleri Species 0.000 description 2
- 230000001154 acute effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003754 machining Methods 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
一种定位方法、转换关系的获取方法、检测方法及系统,在所述定位方法中,第一模板图像与第二模板图像均包括待测目标的标准图像,且第二模板图像为第一模板图像的子图像,将所获取的待测物的第一图像与分别与第一模板图像和第二模板图像进行第一匹配处理和第二匹配处理,获取第一图像中的第一匹配区域和第一匹配结果,以及第一图像中的第二匹配区域及第二匹配结果,并综合考虑第一匹配区域和第一匹配结果和第二匹配区域及第二匹配结果获取第三匹配结果和/或第四匹配结果,与采用单一的模板图像进行匹配处理相比,可以提高模板匹配的鲁棒性和匹配结果的可信度,从而可以提高待测目标定位的精度。
Description
技术领域
本发明涉及光学检测技术领域,尤其涉及一种定位方法、转换关系的获取方法、检测方法及系统。
背景技术
随着现代工业的发展,精密加工被用到越来越多的领域;同时,对于加工精度也有越来越高的要求。为了满足加工精度的需求,提高加工样品的合格率,需要经常对加工过程及加工的产品进行关于形貌畸变的测试,以确保畸变在可容忍范围。
在精密加工的畸变检测应用中,经常需要对待测物的设定测量点(例如,在关键位置处)的高度、膜厚或线宽或对准误差进行检测。然而在对特定待测点进行检测过程中,需要对待测点进行精确定位,以保证检测的精度。
现有技术中,采用模板匹配的方式获取所采集到的图像中待测目标的匹配区域,但存在模板匹配鲁邦性差的问题,导致检测准确性较低的问题。
发明内容
本发明解决的问题是提供一种定位方法、转换关系的获取方法、检测方法及系统,以提高模板匹配的鲁棒性,进而提高待测目标定位的精度。
为解决上述问题,本发明提供一种定位方法,包括:
提供待测物,所述待测物包括待测目标;
获取待测物的第一图像;
将所述第一图像与第一模板图像进行第一匹配处理,获取第一图像中的第一匹配区域及第一匹配结果;所述第一模板图像包括所述待测目标的标准图像;所述第一匹配结果包括第一图像与第一模板图像的第一相似度及第一匹配区域的第一候选坐标;
将所述第一图像与第二模板图像进行第二匹配处理,获取第一图像中的第二匹配区域及第二匹配结果;所述第二模板图像为所述第一模板图像的子图像,且包括所述待测目标的标准图像;所述第二匹配结果包括第一图像与第二模板图像的第二相似度及第二匹配区域的第二候选坐标;
基于所述第一候选坐标和第二获选坐标,获取第三匹配结果,和/或基于所述第一相似度和第二相似度,获取第四匹配结果;所述第三匹配结果和第四匹配结果包括所述第一匹配区域和第二匹配区域具有待测目标的匹配区域,或所述第一匹配区域和第二匹配区域不具有待测目标的匹配区域。
可选地,所述将所述第一图像与第一模板图像进行第一匹配处理,获取第一图像中的第一匹配区域及第一匹配结果,包括:
采用与所述第一模板图像具有相同尺寸的第一匹配窗口对所述第一图像进行遍历,获取所述第一图像中第一匹配窗口所在区域与所述第一模板图像之间的第一相关性得分;所述第一相关性得分与所述第一匹配窗口和第一模板图像的各像素点灰度的方差负相关;
获取所述第一图像中所述第一相关性得分的最大值对应的第一匹配窗口所在区域作为所述第一匹配区域,并获取所述第一匹配区域的第一候选坐标,将所述第一相关性得分的最大值作为所述第一图像与所述第一模板图像之间的第一相似度;
所述将所述第一图像与第二模板图像进行第二匹配处理,获取第一图像中的第二匹配区域及第二匹配结果,包括:
采用与所述第二模板图像具有相同尺寸的第二匹配窗口对所述第一图像进行遍历,获取所述第一图像中第二匹配窗口所在区域与所述第二模板图像之间的第二相关性得分;所述第二相关性得分与所述第二匹配窗口和第二模板图像的各像素点灰度的方差负相关;
获取所述第一图像中第二相关性得分的最大值对应的第二匹配窗口所在区域作为所述第二匹配区域,并获取所述第二匹配区域的第二候选坐标,将所述第二相关性得分的最大值作为所述第一图像与所述第二模板图像之间的第二相似度。
可选地,所述获取所述第一图像中所述第一相关性得分或获取所述第一图像中所述第二相关性得分,包括:通过互相关处理获取所述第一相关性得分或第二相关性得分。
可选地,所述通过互相关处理获取所述第一相关性得分或第二相关性得分包括:
或
其中,NCC(p,d)表示所述第一相关性得分或者所述第二相关性得分,I1(x,y)表示所述第一模板图像或者所述第二模板图像中像素点(x,y)处的灰度值,表示所述第一模板图像或者所述第二模板图像中像素点的灰度均值,I2(x+p,y+d)表示第一图像中像素点(x+p,y+d)处的灰度值,/>表示第一图像中像素点的灰度均值,Wp表示第一图像中第一匹配窗口所在区域或第一图像中第二匹配窗口所在区域,·表示乘积运算。
可选地,所述第一模板图像与所述第二模板图像共中心,且所述待测目标的标准图像分别位于所述第一模板图像和所述第二模板图像的中心区域;
所述获取所述第一匹配区域的第一候选坐标,包括:获取所述第一匹配区域的中心点的第一中心点候选坐标;
所述获取所述第二匹配区域的第二候选坐标,包括:获取所述第二匹配区域的中心点的第二中心点候选坐标;
所述基于所述第一候选坐标和第二获选坐标,获取第三匹配结果,包括:
判断所述第一中心点候选坐标与所述第二中心点候选坐标之间的偏差是否小于或等于预设的偏差阈值;
若所述第一中心点候选坐标与所述第二中心点候选坐标之间的偏差小于或等于所述偏差阈值,将所述第一中心点候选坐标或所述第二中心点候选坐标,作为所述待测目标的中心点的第一中心点目标坐标。
可选地,若所述第一中心点候选坐标与所述第二中心点候选坐标之间的偏差大于所述偏差阈值,所述基于所述第一候选坐标和第二获选坐标,获取第三匹配结果,还包括:
所述第一匹配区域和第二匹配区域不具有待测目标的匹配区域,或根据所述第一相似度和第二相似度获取第四匹配结果。
可选地,所述第一模板图像与所述第二模板图像共中心,且所述待测目标的标准图像分别位于所述第一模板图像和所述第二模板图像的中心区域;
所述获取所述第一匹配区域的第一候选坐标,包括:获取所述第一匹配区域的中心点的第一中心点候选坐标;
所述获取所述第二匹配区域的第二候选坐标,包括:获取所述第二匹配区域的中心点的第二中心点候选坐标;
所述根据所述第一相似度和第二相似度获取第四匹配结果,包括:
若第一相似度大于第一相似度阈值且第二相似度小于或等于第二相似度阈值,将所述第一中心点候选坐标作为所述待测目标的中心点在第一坐标系下的第一中心点目标坐标;
若第一相似度小于或等于所述第一相似度阈值且第二相似度大于所述第二相似度阈值,将所述第二中心点候选坐标作为所述待测目标的中心点在第一坐标系下的第一中心点目标坐标;
若第一相似度小于或等于第一相似度阈值且第二相似度小于或等于第二相似度阈值,则所述第一匹配区域和第二匹配区域不具有待测目标的匹配区域。
可选地,所述第一相似度阈值大于所述第二相似度阈值。
可选地,所述第一相似度阈值的范围为[0.9,1],所述第二相似度阈值的范围为[0.7,0.95]。
可选地,所述第一图像中的像素点具有第一坐标系下的位置坐标,所述待测物具有第二坐标系;
所述获取待测物的第一图像,包括:获取待测目标的中心点的参考位置坐标;所述参考位置坐标为假定所述第一坐标系与所述第二坐标系相重合的前提下,待测目标的中心点在所述第一坐标系下的位置坐标;以所述参考位置坐标为中心,获取所述待测物相应表面区域的图像,作为所述第一图像;
所述获取所述第一匹配区域的中心点的第一中心点候选坐标,包括:获取所述第一匹配区域的中心点在所述第一坐标系下的第一中心点候选坐标与所述参考位置坐标之间的第一偏移矢量;将所述参考位置坐标与所述第一偏移矢量相加,获取所述第一匹配区域的中心点在所述第一坐标系下的第二中心点候选坐标;
所述获取第二匹配区域的中心点的第二中心点候选坐标,包括:获取第二匹配区域的中心点在所述第一坐标系下的第二中心点候选坐标与所述参考位置坐标之间的第二偏移矢量;将所述参考位置坐标与所述第二偏移矢量相加,获取第二匹配区域的中心点在所述第一坐标系下的第二中心点候选坐标。
可选地,所述第一模板图像为矩形,且所述第一模板图像的边长为150um-250um;所述第二模板图像为矩形,且所述第二模板图像边长尺寸为50um-110um。
可选地,若所述第一匹配区域和第二匹配区域不具有待测目标的匹配区域,所述方法还包括:
对所述待测物进行区域移动处理,并重新执行所述获取待测物的第一图像的步骤;其中,所述区域移动处理前后所获取的第一图像中所述待测物的表面区域部分重叠或相衔接。
相应地,本发明实施例还提供了一种转换关系的获取方法,包括:
采用如上述任一项所述的定位方法沿第一方向获取所述待测物中至少相邻的两个待测目标在所述第一坐标系下的第一目标坐标信息;所述待测物具有第二坐标系,所述第一方向为所述第一坐标系的坐标轴方向;
基于至少相邻的两个待测目标在所述第一坐标系下的第一目标坐标信息,获取所述第二坐标系与所述第一坐标系之间的转换关系。
可选地,所述第一坐标系与所述第二坐标系之间的转换关系包括所述第一坐标系与所述第二坐标系之间的旋转关系;所述获取所述第一坐标系与所述第二坐标系之间的转换关系,包括:
获取至少相邻的两个待测目标的中心点在所述第一坐标系下的第一中心点目标坐标信息;
对至少相邻的两个待测目标的中心点在所述第一坐标系下的第一中心点目标坐标进行拟合,获取对应的第一连线;
计算所述第一连线与所述第一方向之间的旋转角度,作为所述第一坐标系与所述第二坐标系之间的旋转关系。
可选地,所述至少相邻的两个待测目标位于所述待测物的中心点附近。
相应地,本发明实施例还提供了一种检测方法,包括:
提供目标检测设备,所述目标检测设备具有第三坐标系;
采用如上述任一项所述的转换关系的获取方法获取所述第一坐标系和第二坐标系之间的转换关系;所述待测物表面具有待测区,所述待测区在所述第一坐标系下具有第一坐标信息;
根据所述第一坐标系和第二坐标系之间的转换关系和所述第一坐标信息,获取所述待测区在第二坐标系下的第二坐标信息;
获取所述第二坐标系与所述第三坐标系之间的转换关系;
根据所述第二坐标系和第三坐标系之间的转换关系和所述第二坐标信息,获取所述待测区在所述第三坐标系下的第三坐标信息;
使所述目标检测设备根据所述第三坐标信息对所述待测区进行定位;
使所述目标检测设备根据所述第三坐标信息对所述待测区进行定位之后,通过所述目标检测设备对所述待测区进行检测,获取所述待测区的物理信息。
相应地,本发明实施例还提供了一种检测系统,包括:
第一转换关系获取模块,适于采用如上述任一项所述的转换关系的获取方法获取所述第一坐标系和第二坐标系之间的转换关系;所述待测物表面具有待测区,所述待测区在所述第一坐标系下具有第一坐标信息;
第二坐标获取模块,适于根据所述第一坐标系和第二坐标系之间的转换关系和所述第一目标坐标信息,获取所述待测区在第二坐标系下的第二目标坐标信息;
第二转换关系获取模块,适于获取第三坐标系与所述第二坐标系之间的转换关系;
第三坐标获取模块,适于根据所述第三坐标系与所述第二坐标系之间的转换关系和所述第二目标坐标信息,获取所述待测区在所述第三坐标系下的第三目标坐标信息;
目标检测设备,具有所述第三坐标系,适于根据所述第三坐标信息对所述待测区进行定位,并对所述待测区进行检测,获取所述待测区的物理信息。。
与现有技术相比,本发明的技术方案具有以下优点:
本发明实施例中的定位方法中,第一模板图像与第二模板图像均包括待测目标的标准图像,且第二模板图像为第一模板图像的子图像,将所获取的待测物的第一图像与分别与第一模板图像和第二模板图像进行第一匹配处理和第二匹配处理,获取第一图像中的第一匹配区域和第一匹配结果,以及第一图像中的第二匹配区域及第二匹配结果,并综合考虑第一匹配区域和第一匹配结果和第二匹配区域及第二匹配结果获取第三匹配结果和/或第四匹配结果,与采用单一的模板图像进行匹配处理相比,可以提高模板匹配的鲁棒性和匹配结果的可信度,从而可以提高待测目标定位的精度。
附图说明
图1为本发明实施例中的一种定位方法的流程示意图;
图2是待测目标一实施例的俯视图;
图3是本发明实施例中第一模板图像的一实施例的示意图;
图4是本发明实施例中第二模板图像的一实施例的示意图;
图5示出了本发明实施例中的一种转换关系的获取方法的流程示意图;
图6示出了本发明实施例中的一种检测方法的流程示意图;
图7示出了本发明实施例中的一种检测系统的结构示意图。
具体实施方式
由背景技术可知,现有的待测物表面的特定位置的定位的过程中,采用模板匹配的方式获取实时采集到的图像中与待测目标相匹配的区域,存在着模板匹配鲁棒性差的问题,导致待测目标的检测精度较低。
具体地,对待测物不同位置的表面区域进行实时图像采集,并将采集到的图像与所述待测目标的标准图像进行模板匹配,并将匹配结果与相似度阈值进行比较,以判断匹配成功与否。因不同的待测物的制造工艺存在差别,使得待测物中的待测目标与模板图像之间的差距较大,采用单一的模板图像与采集到的图像进行模板匹配所得到的匹配结果的可信度较差,存在着鲁棒性差的问题。
为解决上述问题,本发明实施例中的定位方法包括:提供待测物,所述待测物包括待测目标;获取待测物的第一图像;将所述第一图像与第一模板图像进行第一匹配处理,获取第一图像中的第一匹配区域及第一匹配结果;所述第一模板图像包括所述待测目标的标准图像;所述第一匹配结果包括第一图像与第一模板图像的第一相似度及第一匹配区域的第一候选坐标;将所述第一图像与第二模板图像进行第二匹配处理,获取第一图像中的第二匹配区域及第二匹配结果;所述第二模板图像为所述第一模板图像的子图像,且包括所述待测目标的标准图像;所述第二匹配结果包括第一图像与第二模板图像的第二相似度及第二匹配区域的第二候选坐标;基于所述第一候选坐标和第二获选坐标,获取第三匹配结果,和/或基于所述第一相似度和第二相似度,获取第四匹配结果;所述第三匹配结果和第四匹配结果包括所述第一匹配区域和第二匹配区域具有待测目标的匹配区域,或所述第一匹配区域和第二匹配区域不具有待测目标的匹配区域。
本发明实施例中的定位方法中,第一模板图像与第二模板图像均包括待测目标的标准图像,且第二模板图像为第一模板图像的子图像,将所获取的待测物的第一图像与分别与第一模板图像和第二模板图像进行第一匹配处理和第二匹配处理,获取第一图像中的第一匹配区域和第一匹配结果,以及第一图像中的第二匹配区域及第二匹配结果,并综合考虑第一匹配区域和第一匹配结果和第二匹配区域及第二匹配结果获取第三匹配结果和/或第四匹配结果,与采用单一的模板图像进行匹配处理相比,可以提高模板匹配的鲁棒性和匹配结果的可信度,从而可以提高待测目标定位的精度。
为使本发明的上述目的、特征和优点能够更为明显易懂,下面结合附图对本发明的具体实施例做详细的说明。
图1示出了本发明实施例中的一种定位方法的流程示意图。参见图1,所述定位方法,包括:
步骤S101:提供待测物,所述待测物包括待测目标;
步骤S102:获取所述待测物的第一图像;
步骤S103:将所述第一图像与第一模板图像进行第一匹配处理,获取第一图像中的第一匹配区域及第一匹配结果;所述第一模板图像包括所述待测目标的标准图像;所述第一匹配结果包括第一图像与第一模板图像的第一相似度及第一匹配区域的第一候选坐标;
步骤S104:将所述第一图像与第二模板图像进行第二匹配处理,获取第一图像中的第二匹配区域及第二匹配结果;所述第二模板图像为所述第一模板图像的子图像,且包括所述待测目标的标准图像;所述第二匹配结果包括第一图像与第二模板图像的第二相似度及第二匹配区域的第二候选坐标;
步骤S105:基于所述第一候选坐标和第二获选坐标,获取第三匹配结果,和/或基于所述第一相似度和第二相似度,获取第四匹配结果;所述第三匹配结果和第四匹配结果包括所述第一匹配区域和第二匹配区域具有待测目标的匹配区域,或所述第一匹配区域和第二匹配区域不具有待测目标的匹配区域。
请继续参见图1,执行步骤S101,提供待测物,所述待测物包括待测目标。
本实施例中,待测物为晶圆(wafer)。在其他实施例中,所述待测物还可以为其他类型的待测目标,如玻璃基板等,在此不做限制。
本实施例中,待测目标形成于待测物上。
作为一种示例,待测目标为特征结构。具体地,所述特征结构为标记(mark),图案,所述标记图案为位于晶圆或芯片上的一层膜上的特征图案。
图2是待测目标一实施例的俯视图。如图2所示,所述待测目标100为十字形标记。在其他实施例中,所述待测目标还能够为光栅形标记、矩形标记、三角形标记或环形标记等。
请继续参见图1,执行步骤S102,获取待测物的第一图像。
获取待测物的第一图像,为后续将所获取的第一图像与预设的第一模板图像和第二模板图像分别进行匹配处理提供基础。
本实施例中,获取所述待测物的第一图像的步骤包括:提供初始检测设备;采用所述初始检测设备获取所述待测物的第一图像。
本实施例中,所述初始检测设备包括成像装置。具体地,所述成像装置包括明场成像装置或暗场成像装置。例如,所述成像装置可以为远心成像装置。所述远心成像装置仅采集平行于光轴的光进行成像,使放大倍率不受待测物位置影响,保证轮廓精度。所述成像装置可包括能够实现本发明的定位方法(例如,能够实现足够的轮廓精度测量)的任何适合的成像装置。在其他实施例中,所述成像装置还可以为显微镜等。所述初始检测设备还可以包括其它测量硬件,例如移动平台、光学测量部件等。
所述初始检测设备具有第一坐标系。具体地,所述第一坐标系包括第一坐标轴和第二坐标轴。其中,第一坐标轴和第二坐标轴所组成的平面为第一坐标平面。具体地,第一坐标系采用笛卡尔直角坐标系。
所述第一坐标平面为所述成像装置的测量平面。所述成像装置用于获取待测物在所述第一坐标平面中的像。其中,所述待测物在所述第一坐标平面中的像包括待测物在所述第一坐标平面中的坐标信息。
本实施例中,待测物的尺寸大于初始检测设备的视野(Field of View),通过一次拍摄仅能够获取所述待测物的部分表面的图像。相应地,采用所述初始检测设备所获取的第一图像为所述待测物的部分表面的图像。同时,所述初始检测设备的视野大于待测目标的尺寸,通过一次拍摄能够获取待测目标的整个表面的图像。
本实施例中,所述待测物包括呈周期性排列的待测区,所述待测目标与所述待测区相对应设置,也即待测目标在所述待测物中呈现与所述待测区相同的周期性排列规律。因此,作为一种示例,所述初始检测设备以所述第一坐标系的原点为起点,沿着第一坐标系的第一坐标轴和/或第二坐标轴的方向,以待测区的长度和/或宽度为步长移动所述待测物,以获取所述待测物的相应的部分表面的图像,作为所述第一图像。
需要指出的是,所述待测物具有第二坐标系,所述第二坐标系为所述待测物的自建坐标系。所述第二坐标系包括第三坐标轴和第四坐标轴,所述第三坐标轴和第四坐标轴所组成的平面作为第二坐标平面,第二坐标系采用笛卡尔直角坐标系。
具体地,所述待测物边缘具有参考标记,所述待测物的中心点用于表征所述第二坐标系的原点位置,所述待测物的中心点与所述参考标记的连线表征所述第二坐标平面的第三坐标轴或第四坐标轴的方向。其中,所述待测物的中心点与所述参考标记的连线表征所述第二坐标平面的第三坐标轴或第四坐标轴的方向指的是,所述待测物的中心点与所述参考标记的连线与第三坐标轴或第四坐标轴具有已知夹角,所述已知夹角为零、锐角、直角或钝角。
本实施例中,所述待测物置于载物台上。其中,在将待测物置于载物台的过程中,采用相应的粗对准操作使得待测物的中心点与所述载物台所在的第一坐标系的原点进行对准。然而,该粗对准操作仅能将待测物的中心点与所述载物台所在的第一坐标系的原点进行对准,并不能确保载物台所在的第一坐标系与所述待测物的第二坐标系之间完全重合。换言之,第一坐标系与第二坐标系之间可能存在相应的旋转关系,所述旋转关系也即第一坐标系与第二坐标系之间的转换关系。在其他实施例中,待测物的中心点与所述载物台所在的第一坐标系的原点之间未重合,第一坐标系与第二坐标系还存在平移关系。
本实施例中,在采用所述初始检测设备获取待测物的第一图像时,因无法确定第一坐标系与第二坐标系之间可能存在的相应的旋转角度,仅能够按照预估的方式获取待测物的第一图像,以期所获取的待测物相应表面的图像中存在待测目标的图像。
具体地,获取待测目标的中心点在所述第一坐标系下的参考位置坐标,并以所述参考位置坐标作为所述初始检测设备的视场中心,获取所述待测物相应表面区域的图像,作为所述第一图像。其中,所述参考位置坐标为假定所述第一坐标系与所述第二坐标系相重合的前提下,待测目标的中心点在所述第一坐标系下的位置坐标。
请继续参见图1,执行步骤S103,将所述第一图像与第一模板图像进行第一匹配处理,获取第一图像中的第一匹配区域及第一匹配结果;所述第一模板图像包括所述待测目标的标准图像;所述第一匹配结果包括第一图像与第一模板图像的第一相似度及第一匹配区域的第一候选坐标。
将所述第一图像与第一模板图像进行第一匹配处理,获取第一图像中的第一匹配区域及第一匹配结果,以在后续与第二匹配区域和第二匹配结果相结合,确定所述第一图像中是否存在所述待测目标的图像,继而在确定所述第一图像中存在所述待测目标的图像时,获取所述待测目标在第一坐标系下的坐标的信息,从而实现所述待测目标在第一坐标系下的定位。
本实施例中,采用相应的粗对准操作使得待测物的中心点与所述载物台所在的第一坐标系的原点进行对准,使得第一坐标系与第二坐标系具有相应的旋转角度,该旋转角度也即第一坐标系与第二坐标系之间的旋转关系。
当第一坐标系与第二坐标系之间的旋转角度较小时,按照预估的方式通过初始检测设备拍摄所述待测物的部分表面所获取的第一图像中很大可能包括所述待测目标的图像。然而,当第一坐标系与第二坐标系之间的旋转角度较大时,按照预估的方式通过初始检测设备拍摄所述待测物的部分表面所获取的第一图像中则很大可能不包括所述待测目标的图像。故而,需要对所述第一图像进行识别,以确定所获取的第一图像中是否存在所述待测目标的图像。
所述第一模板图像包括所述待测目标的标准图像。所述待测目标的标准图像为所述待测目标的高质量图像,将所述第一图像与第一模板图像进行第一匹配处理,以初步判定所述第一图像中是否存在所述待测目标的图像。
图3是第一模板图像的一实施例的示意图。参见图3,所述第一模板图像200包括所述待测目标的标准图像250,且待测目标的标准图像250位于所述第一模板图像200的中心区域。
本实施例中,待测目标的标准图像250位于所述第一模板图像200的中心区域。待测目标的标准图像250位于所述第一模板图像200的中心区域,在以第一模板图像的中心点获取第一模板图像的中心对称的区域作为第二模板图像的情况下,使得所述待测目标的标准图像250可以出现在第二模板图像中。
作为一种示例,可以预先利用与所述待测物一致的标准物,并对所述样品进行图像采集,获取包括待测目标的训练图像,并采用训练处理对所获取的训练图像进行训练,获取第一模板图像。
所述第一模板图像200中包括且仅包括一个待测目标的标准图像250,以在后续执行第一匹配处理时,能够唯一地确定第一图像中存在的待测目标的图像及其位置的信息。
除所述待测目标的标准图像250之外,所述第一模板图像200还包括标准物表面位于所述待测目标周围的其他结构的图像(未标示)。所述待测物表面位于所述待测目标周围的其他结构的图像,用于表征待测目标在标准物表面所处环境的信息,以在将第一模板图像与第一图像进行匹配时,可以通过待测目标的标准图像及位于所述待测目标周围的其他结构的图像信息对待测目标进行双重认定,有助于提高待测目标识别的精度。
可以理解的是,所述第一模板图像200中所包括的标准物表面位于所述待测目标周围的其他结构的图像应尽可能地多,从而可以更加准确地对表征待测目标在标准物表面所处环境的信息进行标识,从而可以进一步提高待测目标识别的精度。同时,所述第一模板图像200中所包括的标准物表面位于所述待测目标周围的其他结构的图像应使得第一模板图像200仅包括一个待测目标的标准图像250,以避免待测目标的标准图像250不唯一所导致的匹配失败的情形的发生。
所述第一模板图像200应该足够大,以能够将待测目标的整个图像涵盖于其内,并同时应避免在将第一模板图像与第一图像进行地匹配时,第一图像中可能会出现两个以上与第一模板图像200相匹配的区域,从而增加匹配错误的发生几率。为此,本实施例中,所述第一模板图像为矩形,且所述第一模板图像的边长为150um-250um。
将所述第一图像与第一模板图像进行第一匹配处理,获取第一图像中的第一匹配区域及第一匹配结果的步骤包括:采用与所述第一模板图像具有相同尺寸的第一匹配窗口对所述第一图像进行遍历,获取所述第一图像中第一匹配窗口所在区域与所述第一模板图像之间的第一相关性得分;获取所述第一图像中所述第一相关性得分的最大值对应的第一匹配窗口所在区域作为所述第一匹配区域,并获取所述第一匹配区域的第一候选坐标,将所述第一相关性得分的最大值作为所述第一图像与所述第一模板图像之间的第一相似度。
作为一种示例,在第一图像中选取与第一模板图像的尺寸相同的第一匹配窗口;将第一匹配窗口按照预设的滑动方向在第一图像中滑动,且每滑动一次后计算第一模板图像与当前第一匹配窗口所在区域之间的第一相关性得分,从而获得多个第一相关性得分;选取最大的第一相关性得分所对应的第一匹配窗口所在区域作为与第一匹配区域,获取所述第一匹配区域的第一候选坐标,并将最大的所述第一相关性得分作为所述第一图像与所述第一模板图像之间的第一相似度。
例如,可以将第一匹配窗口从第一图像的左上角向右滑动,每次滑动量为一列像素的尺寸,当滑动至第一图像的最右测后向下滑动,且向下滑动量为一行像素的尺寸,再从第一图像的最左侧向左开始滑动,依此类推,直至第一匹配窗口遍历第一图像中的每一个像素点。需要说明的是,所述第一图像与所述第一模板图像之间的相似度越大,则第一匹配窗口所在区域与第一模板图像的各像素点之间的像素点灰度的方差则越小,因此,所述第一相关性得分与所述第一匹配窗口所在区域和第一模板图像的各像素点灰度的方差负相关。
计算第一图像中第一匹配窗口所在区域与第一模板图像之间的第一相关性得分的方式包括平均绝对差(Mean AbsoluteDifferences,MAD)处理、绝对误差和处理(Sum ofAbsolute Differences,SAD)、误差平方和处理(Sum of Squared Differences,SSD)、平均误差平方和处理(Mean SquareDifferences,MSD)、互相关处理(Normalized CrossCorrelation,NCC)、序贯相似性检测处理(Sequential Similarity DetectionAlgorithm,SSDA)或哈达玛变换处理(Hadamard Transform)。
本实施例中,通过互相关处理获取所述第一图像中第一匹配区域与所述第一模板图像之间的第一相关性得分。
作为一种示例,采用如下的公式计算所述第一图像中第一匹配区域与所述第一模板图像之间的第一相关性得分:
其中,NCC(p,d)表示所述第一相关性得分,I1(x,y)表示所述第一模板图像,表示,I2(x+d,y)表示所述第一图像,/>表示,Wp表示第一图像中与所述第一模板图像相匹配的匹配区域,·表示乘积运算。
作为另一种示例,采用如下的公式计算所述第一图像中第一匹配区域与所述第一模板图像之间的第一相关性得分:
本实施例中,所述待测目标的标准图像250位于所述第一模板图像200的中心区域。相应地,获取第一匹配区域的第一候选坐标,也即获取第一匹配区域的中心点在第一坐标系下的第一中心点候选坐标。
获取第一匹配区域的中心点在第一坐标系下的第一中心点候选坐标,以在后续确定第一匹配区域包括待测目标的图像时,能够将第一中心点候选坐标作为待测目标的第一中心点目标坐标。
本实施例中,采用初始检测设备以待测目标的中心点的参考位置坐标为视场中心获取第一图像,相应地,获取所述第一匹配区域的中心点的第一中心点候选坐标,包括:获取所述第一匹配区域的中心点在所述第一坐标系下的第一中心点候选坐标与所述参考位置坐标之间的第一偏移矢量;将所述参考位置坐标与所述第一偏移矢量相加,获取所述第一匹配区域的中心点在所述第一坐标系下的第一中心点候选坐标。
请继续参见图1,执行步骤S104,将所述第一图像与第二模板图像进行第二匹配处理,获取第一图像中的第二匹配区域及第二匹配结果;所述第二模板图像为所述第一模板图像的子图像,且包括所述待测目标的标准图像;所述第二匹配结果包括第一图像与第二模板图像的第二相似度及第二匹配区域的第二候选坐标。
将所述第一图像与第二模板图像进行第二匹配处理,获取第一图像中的第二匹配区域和第二匹配结果,以在后续与第一图像中的第一匹配区域及第一匹配结果相结合,确定所述第一图像中是否存在所述待测目标的图像,继而在确定所述第一图像中存在所述待测目标的图像时,可以获取所述待测目标在第一坐标系下的坐标的信息,从而实现待测目标的定位。
所述第二模板图像包括所述待测目标的标准图像。所述待测目标的标准图像为所述待测目标的高质量图像,将所述第一图像与第二模板图像进行第二匹配处理,以确定所述第一图像中是否存在所述待测目标的图像,进而在确定所述第一图像中包括所述待测目标的图像时,获取所述待测目标在第一坐标系下的第二候选坐标信息。
图4示出了本发明实施例中一种第二模板图像的示意图。参见图4,所述第二模板图像300包括所述待测目标的标准图像250,且待测目标的标准图像250位于所述第二模板图像300的中心区域。
本实施例中,第二模板图像300为第一模板图像200的子图像,所述待测目标300的标准图像250分别位于所述第一模板图像与所述第二模板图像的中心区域,且所述第一模板图像与所述第二模板图像共中心。相应地,以所述第一模板图像200的中心点为中心,从所述第一模板图像200中截取包括所述待测目标的标准图像250的中心对称的区域,作为所述第二模板图像300。
因此,所述第二模板图像300中包括且仅包括一个待测目标的标准图像250,以在后续执行第二匹配处理时,能够唯一地确定第一图像中存在的待测目标的图像及其位置的信息。
所述第二模板图像300不宜过小,其尺寸应足够容纳整个待测目标的标准图像250。为此,本实施例中,所述第二模板图像为矩形,其边长为50um-110um。
将所述第一图像与第二模板图像进行第二匹配处理,获取第一图像中的第二匹配区域及匹配结果的步骤包括:采用与所述第二模板图像具有相同尺寸的第二匹配窗口对所述第一图像进行遍历,计算所述第一图像中第二匹配窗口所在区域与所述第二模板图像之间的第二相关性得分;获取所述第一图像中第二相关性得分的最大值对应的第二匹配窗口所在区域作为所述第二匹配区域,获取第二匹配区域的第二候选坐标,并将所述第二相关性得分的最大值作为所述第一图像与所述第二模板图像之间的第二相似度。
作为一种示例,在第一图像中选取与第二模板图像的尺寸相同的第二匹配窗口;将第二匹配窗口按照滑动方向在第一图像中滑动,且每滑动一次后计算第二模板图像与当前第二匹配窗口所在区域之间的第二相关性得分,从而获得多个第二相关性得分;选取最大的第二相关性得分所对应的第二匹配窗口所在区域作为与所述第二匹配区域,获取所述第二匹配区域的第二候选坐标,并将最大的所述第二相关性得分作为所述第一图像与所述第二模板图像之间的第二相似度。
例如,可以将第二匹配窗口从第一图像的左上角向下滑动,每次滑动量为一行像素的尺寸,当滑动至第一图像的最下侧后向右滑动,且向右滑动量为一列像素的尺寸,再从第一图像的最下侧向上开始滑动,依此类推,直至第二匹配窗口遍历第一图像中的每一个像素点。需要说明的是,所述第一图像与所述第二模板图像之间的相似度越大,则第一图像中与第二匹配窗口所在区域的各像素点与第一模板图像的各像素点之间的像素点灰度的方差则越小,因此,所述第二相关性得分与所述第二匹配窗口所在区域和第一模板图像的各像素点灰度的方差负相关。
与第一相关性得分类似,计算第一图像中第二匹配窗口所在区域与第二模板图像之间的第二相关性得分的方式包括平均绝对差处理、绝对误差和处理、误差平方和处理、平均误差平方和处理、归一化互相关处理、序贯相似性检测处理或哈达玛变换处理等。
本实施例中,采用互相关处理获取所述第一图像中第二匹配窗口所在区域与所述第一模板图像之间的第一相关性得分。其中,关于第二相关性得分的计算公式,请参见前述关于计算第一相关性得分的内容,在此不再赘述。
本实施例中,所述待测目标的标准图像250位于所述第二模板图像200的中心区域,相应地,获取第二匹配区域的第二候选坐标,也即获取第二匹配区域的中心点在第一坐标系下的第二中心点候选坐标。
获取第二匹配区域的中心点在第一坐标系下的第二中心点候选坐标,以在后续确定第二匹配区域包括待测目标的图像时,能够将第二中心点候选坐标作为待测目标的第一中心点目标坐标。
本实施例中,采用初始检测设备以待测目标的中心点的参考位置坐标为视场中心获取第一图像,相应地,获取所述第二匹配区域的中心点的第二中心点候选坐标,包括:获取所述第二匹配区域的中心点在所述第一坐标系下的第一中心点候选坐标与所述参考位置坐标之间的第二偏移矢量;将所述参考位置坐标与所述第二偏移矢量相加,获取所述第二匹配区域的中心点在所述第一坐标系下的第二中心点候选坐标。
请继续参见图1,执行步骤S105,基于所述第一候选坐标和第二获选坐标,获取第三匹配结果,和/或基于所述第一相似度和第二相似度,获取第四匹配结果;所述第三匹配结果和第四匹配结果包括所述第一匹配区域和第二匹配区域具有待测目标的匹配区域,或所述第一匹配区域和第二匹配区域不具有待测目标的匹配区域。
获取第三结果和/或第四结果,以确定所述第一匹配区域和第二匹配区域是否具有待测目标的匹配区域,继而可以在确定所述第一匹配区域和第二匹配区域具有待测目标的匹配区域的情况下,获取待测目标的第一目标坐标,从而能够实现待测目标的定位。
本实施例中,基于所述第一候选坐标和第二获选坐标,获取第三匹配结果,包括:判断所述第一中心点候选坐标与所述第二中心点候选坐标之间的偏差是否小于或等于预设的偏差阈值;若所述第一中心点候选坐标与所述第二中心点候选坐标之间的偏差小于或等于所述偏差阈值,将所述第一中心点候选坐标或所述第二中心点候选坐标,作为所述待测目标的中心点的第一中心点目标坐标。
通过判断所述第一中心点候选坐标与所述第二中心点候选坐标之间的偏差是否小于或等于预设的偏差阈值,以判断第一匹配结果与第二匹配结果是否一致,进而可以判定所述第一匹配区域和第二匹配区域是否具有待测目标的匹配区域。
此处,所述第一中心点候选坐标与所述第二中心点候选坐标之间的偏差,是指所述第一中心点候选坐标与所述第二中心点候选坐标之间的距离。相应地,判断所述第一中心点候选坐标与所述第二中心点候选坐标之间的偏差是否小于或等于偏差阈值,也即判断所述第一中心点候选坐标与所述第二中心点候选坐标之间的距离是否小于或等于所述偏差阈值。
具体地,当所述第一中心点候选坐标与所述第二中心点候选坐标之间的偏差小于或等于偏差阈值时,说明所述第一中心点候选坐标与所述第二中心点候选坐标之间的距离较近,表明第一匹配结果与第二匹配结果一致,进而表明第一匹配区域和第二匹配区域具有待测目标的匹配区域,因此,可以将第一中心点候选坐标或者第二中心点候选坐标作为所述待测目标的中心点在所述第一坐标系下的第一中心点目标坐标。
可以理解的是,第二模板图像为第一模板图像的子图像,相应地,与第一模板图像相比,第二模板图像中除待测目标的图像之外的其他图像的信息较少,因此,在第一匹配结果与第二匹配结果相一致的情况下,可以认为第二匹配结果的精度高于第一匹配结果。因此,作为一种示例,当所述第一中心点候选坐标与所述第二中心点候选坐标之间的偏差小于或等于偏差阈值时,可以直接将第二中心点候选坐标作为所述待测目标的中心点在第一坐标系下的第一中心点目标坐标。
作为另一种示例,在所述第一中心点候选坐标与所述第二中心点候选坐标之间的偏差小于或等于所述偏差阈值时,若第一相似性得分的最大值大于第二相似性得分的最大值,此时,表明第一匹配结果的精度高于第二匹配结果,故可以将第一中心点候选坐标作为所述待测目标的中心点在第一坐标系下的第一中心点目标坐标。
作为又一种示例,在所述第一中心点候选坐标与所述第二中心点候选坐标之间的偏差小于或等于偏差阈值时,若第一相似性得分的最大值小于第二相似性得分的最大值,此时,表明第二匹配结果的精度大于第一匹配结果,因而可以将第二中心点候选坐标作为所述待测目标的中心点在第一坐标系下的第一中心点目标坐标。
本实施例中,若所述第一中心点候选坐标与所述第二中心点候选坐标之间的偏差大于偏差阈值,则基于所述第一候选坐标和第二获选坐标,获取第三匹配结果,还包括:所述第一匹配区域和第二匹配区域不具有待测目标的匹配区域,或根据所述第一相似度和第二相似度获取第四匹配结果。
具体地,若所述第一中心点候选坐标与所述第二中心点候选坐标之间的偏差大于偏差阈值,说明第一中心点候选坐标与所述第二中心点候选坐标之间的距离较远,相应表明第一匹配结果与第二匹配结果不一致。此时,存在所述第一匹配区域或第二匹配区域具有待测目标的匹配区域的可能性,也存在第一匹配区域和第二匹配区域均不具有待测目标的匹配区域的可能性。
因此,本实施例中,可以根据第一模板图像与第一图像之间的第一相似度和第二模板图像与第一图像之间的第二相似度的信息,根据所述第一相似度和第二相似度获取第四匹配结果,以判定是第一匹配区域还是第二匹配区域具有待测目标的匹配区域,或是第一匹配区域和第二匹配区域均不具有待测目标的匹配区域。
具体地,根据所述第一相似度和第二相似度获取第四匹配结果,包括:若第一相似度大于第一相似度阈值且第二相似度小于或等于第二相似度阈值,将所述第一中心点候选坐标作为所述待测目标的中心点在第一坐标系下的第一中心点目标坐标;若第一相似度小于或等于所述第一相似度阈值且第二相似度大于所述第二相似度阈值,将所述第二中心点候选坐标作为所述待测目标的中心点在第一坐标系下的第一中心点目标坐标;若第一相似度小于或等于第一相似度阈值且第二相似度小于或等于第二相似度阈值,则所述第一匹配区域和第二匹配区域不具有待测目标的匹配区域。
若第一相似度大于第一相似度阈值且第二相似度小于或等于第二相似度阈值,表明在第一匹配区域中具有待测目标的匹配区域,而第二匹配区域中不具有待测目标的匹配区域。因此,将第一中心点候选坐标作为所述待测目标的中心点在第一坐标系下的第一中心点目标坐标。
若第一相似度大于第一相似度阈值且第二相似度小于或等于第二相似度阈值,表明在第一匹配区域中不具有待测目标的匹配区域,而第二匹配区域中具有待测目标的匹配区域。因此,将第二中心点候选坐标作为所述待测目标的中心点在第一坐标系下的第一中心点目标坐标。
若第一相似度小于或等于第一相似度阈值且第二相似度小于或等于第二相似度阈值,表明在第一匹配区域和第二匹配区域中不具有待测目标的匹配区域。
本实施例中,在第一匹配区域和第二匹配区域中不具有待测目标的匹配区域时,所述定位方法还包括:对所述待测物进行区域移动处理,并返回执行获取所述待测物的第一图像。
对所述待测物进行区域移动处理,以拓宽拍摄范围,获取更多的第一图像,从而能够从第一图像中获取具有待测目标的匹配区域。
在对所述待测物进行区域移动处理时,可以沿着预设方向所述待测物进行区域移动处理,以获取更多的第一图像。
本实施例中,所述预设方向为沿着所述第一坐标轴和第二坐标轴的方向,以获取当前第一图像对应的待测物表面区域周围的其他表面区域的图像,作为相应的第一图像。
本实施例中,区域移动处理前后的第一图像中对应的待测物的表面区域相衔接。区域移动处理前后的第一图像中对应的待测物的表面区域,即为相邻两次获取的第一图像所对应的待测物的表面区域,由于前一次所获取的第一图像已经分别与第一模板图像和第二模板图像进行了第一匹配处理过程和第二匹配处理过程,因此,区域移动处理前后的第一图像中对应的待测物的表面区域相衔接,有利于避免重复获取到相同的图像,且能够通过后一次所获取的第一图像获取到更多的信息,从而有利于避免资源的浪费,且提高待测目标定位的速度。在其他实施例中,根据实际的需求,区域移动处理前后的第一图像中对应的待测物的表面区域还能够部分重叠。
在其他实施例中,在获取第一匹配结果和第二匹配结果之后,还能够直接基于所述第一相似度和第二相似度获取第四匹配结果。
需要指出的是,第二模板图像为第一模板图像的子图像,相应地,与第一模板图像相比,第二模板图像中除待测目标的图像之外的其他图像的信息较少,因此,为了确保匹配结果的准确性,所述第一相似度阈值相应大于第二相似度阈值。
所述第一相似度阈值不宜过大也不宜过小。如果第一相似度阈值过小,则第一模板图像与第一图像之间的匹配精度较小,无法满足对待测目标的定位精度的要求;如果第一相似度阈值过大,则容易导致判断的标准过于严苛,从而增加不必要的获取第一图像的次数,进而造成资源的浪费,降低了定位速度。为此,本实施例中,所述第一相似度阈值的范围为[0.9,1]。基于类似的理由,所述第二配阈值的范围为[0.7,0.95]。
相应地,本发明实施例还提供了一种转换关系的获取方法。
图5示出了本发明实施例中的一种转换关系的获取方法的流程示意图。参见图5,所述转换关系的获取方法可以包括:
步骤S501:采用如上述任一项所述的定位方法沿第一方向获取所述待测物中至少相邻的两个待测目标在所述第一坐标系下的第一目标坐标信息;所述待测物具有第二坐标系,所述第一方向为所述第一坐标系的坐标轴方向;
步骤S502:基于至少相邻的两个待测目标在所述第一坐标系下的第一目标坐标信息,获取所述第二坐标系与所述第一坐标系之间的转换关系。
本实施例中,通过获取待测物的第一图像,并通过将所获取的第一图像分别与第一模板图像和第二模板图像进行匹配,以获取待测目标在所述第一坐标系下的第一目标坐标信息,能够实现待测物中的待测目标在第一坐标下的准确定位。其中,获取所述待测物中至少相邻的两个待测目标在所述第一坐标系下的第一目标坐标信息的定位方法请参见前述部分的介绍,在此不再赘述。
本实施例中,待测物的放置平面与所述第一坐标平面平行或重合,以便于所述成像装置获取所述待测物的像。具体地,所述待测物放置于载物台,所述载物台的待测物承载表面与所述第一坐标平面平行或重合。
需要指出的是,所述待测物具有第二坐标系,所述第二坐标系为所述待测物的自建坐标系。其中,所述第二坐标系包括第三坐标轴和第四坐标轴,所述第三坐标轴和第四坐标轴所组成的平面作为第二坐标平面。具体地,第二坐标系采用笛卡尔直角坐标系。
具体地,所述待测物边缘具有参考标记,所述待测物的中心点用于表征所述第二坐标系的原点位置,所述待测物的中心点与所述参考标记的连线表征所述第二坐标平面的第三坐标轴或第四坐标轴的方向。其中,所述待测物的中心点与所述参考标记的连线表征所述第二坐标平面的第三坐标轴或第四坐标轴的方向指的是,所述待测物的中心点与所述参考标记的连线与第三坐标轴或第四坐标轴具有已知夹角,所述已知夹角为零、锐角、直角或钝角。
本实施例中,所述待测物置于载物台上。其中,在将待测物置于载物台的过程中,采用相应的粗对准操作使得待测物的中心点与所述载物台所在的第一坐标系的原点进行对准。然而,该粗对准操作仅能将待测物的中心点与所述载物台所在的第一坐标系的原点进行对准,并不能确保载物台所在的第一坐标系与所述待测物的第二坐标系之间完全重合。因此,第一坐标系与第二坐标系之间可能存在相应的旋转关系,所述旋转关系也即第一坐标系与第二坐标系之间的坐标转换关系。在其他实施例中,待测物的中心点与所述载物台所在的第一坐标系的原点并不重合,也即第一坐标系与第二坐标系的原点位置不重合,相应地,第一坐标系与第二坐标系还能够存在对应的平移关系。
获取所述第一坐标系与所述第二坐标系之间的转换关系的步骤包括:基于至少相邻的两个待测目标在所述第一坐标系下的第一目标坐标信息,获取所述第二坐标系与所述第一坐标系之间的转换关系。
具体地,至少相邻的两个待测目标在所述第一坐标系下的第一目标坐标信息包括至少相邻的两个待测目标的中心点在所述第一坐标系下的第一中心点目标坐标信息;基于至少相邻的两个待测目标在所述第一坐标系下的第一目标坐标信息,获取所述第二坐标系与所述第一坐标系之间的转换关系的步骤包括:获取至少相邻的两个待测目标的中心点在所述第一坐标系下的第一中心点目标坐标信息;对至少相邻的两个待测目标的中心点在所述第一坐标系下的第一中心点目标坐标进行拟合,获取对应的第一连线;计算所述第一连线与所述第一方向之间的旋转角度,作为所述第一坐标系与所述第二坐标系之间的旋转关系。
对至少相邻的两个待测目标的中心点在所述第一坐标系下的第一中心点目标坐标进行拟合,也即将至少相邻的两个待测目标的中心点在所述第一坐标系下的第一中心点目标坐标(xi,yi),代入如下的公式计算a与b的数值:
y=ax+b(3)
本实施例中,所述至少相邻的两个待测目标位于所述待测物的中心点附近,使得通过所述至少相邻的两个待测目标的中心点所确定的第一连线也位于待测物的中心点附近,可以相应降低至少相邻的两个待测目标的定位误差对转换关系获取的影响,从而可以提高转换关系获取的精度。
相应地,本发明实施例还提供了一种检测方法,包括:
图6示出了本发明实施例中的一种检测方法的流程示意图。参见图6,所述检测方法包括:
步骤S601:提供目标检测设备,所述目标检测设备具有第三坐标系;
步骤S602:根据上述所述的转换关系的获取方法获取所述第一坐标系和第二坐标系之间的转换关系;所述待测物表面具有待测区,所述待测区在所述第一坐标系下具有第一坐标信息;
步骤S603:根据所述第一坐标系和第二坐标系之间的转换关系和所述第一坐标信息,获取所述待测区在第二坐标系下的第二坐标信息;
步骤S604:获取所述第二坐标系与所述第三坐标系之间的转换关系;
步骤S605:根据所述第二坐标系和第三坐标系之间的转换关系和所述第二坐标信息,获取所述待测区在所述第三坐标系下的第三坐标信息;
步骤S606:使所述目标检测设备根据所述第三坐标信息对所述待测区进行定位;
步骤S607:使所述目标检测设备根据所述第三坐标信息对所述待测区进行定位之后,通过所述目标检测设备对所述待测区进行检测,获取所述待测区的物理信息。
本实施例中,所述目标检测设备可以根据所述待测物的待测区在第三坐标系下的第三目标坐标信息对所述待测区进行定位。
本实施例中,通过获取第一坐标系和第二坐标系之间的转换关系,并根据所述转换关系和待测区在所述第一坐标系下的第一坐标信息,获取待测物中的待测区在所述第二坐标系下的第二坐标信息,能够根据第二待测区坐标信息实现对待测物的待测区进行快速、高精度的测量。其中,获取所述第一坐标系和第二坐标系之间的转换关系的方法请参见前述部分的介绍,在此不再赘述。
所述第三坐标系与第二坐标系之间具有目标转换关系。所述目标转换关系可以采用目标转换矩阵来表示。根据目标转换矩阵,待测区的同一位置在第二坐标系下的坐标与在第三坐标系下的坐标满足关系:
D=T·D'(4)
或:
D=T-1·D'(5)
其中,D表示待测区中的位置在第三坐标系下的坐标,D'表示待测区的同一位置在第二坐标系下的坐标,T表示第三坐标系与第二坐标系之间的目标转换矩阵,T-1为目标转换矩阵T的逆矩阵。
换言之,待测区中同一位置在第三坐标系的坐标D和第二坐标系下D'可通过转换矩阵T方便地进行转换,也即采用所述目标转换矩阵可以将所述待测区在所述第一坐标系下的第一坐标信息转换至第二坐标系,获取待测区在所述第三坐标系下的第三目标坐标信息。
所述物理信息包括:待测区内待测目标的宽度、厚度和三维坐标中的一者或多者组合。相应地,所述物理信息包括待测目标厚度时,所述目标检测设备还包括厚度检测模块。所述厚度检测模块包括椭偏仪或光谱反射仪。所述厚度检测模块具有所述第三坐标系。
获取所述第三坐标系与第二坐标系之间的目标转换关系的方法与上述的获取所述第一坐标系与所述第二坐标系之间的转换关系的方法相同,在此不做赘述。
相应地,本发明实施例还提供了一种检测系统,包括:
图7示出了本发明实施例中的一种检测系统的流程示意图。参见图7,所述检测系统包括:
第一转换关系获取模块701,适于采用如上述所述的转换关系的获取方法获取所述第一坐标系和第二坐标系之间的转换关系;所述待测物表面具有待测区,所述待测区在所述第一坐标系下具有第一坐标信息;
第二坐标获取模块702,适于根据所述第一坐标系和第二坐标系之间的转换关系和所述第一坐标信息,获取所述待测区在第二坐标系下的第二坐标信息;
第二转换关系获取模块703,适于获取第三坐标系与所述第二坐标系之间的转换关系;
第三坐标获取模块704,适于根据所述第三坐标系与所述第二坐标系之间的转换关系和所述第二目标坐标信息,获取所述待测区在所述第三坐标系下的第三目标坐标信息;
目标检测设备705,具有所述第三坐标系,适于根据所述第三坐标信息对所述待测区进行定位,并对所述待测区进行检测,获取所述待测区的物理信息。
所述检测系统可以执行前述实施例所述的检测方法,也可以采用其他的功能结构执行所述的检测方法。对本实施例的检测方法的具体描述,可参考前述实施例中的相应描述,在此不再赘述。
虽然本发明披露如上,但本发明并非限定于此。任何本领域技术人员,在不脱离本发明的精神和范围内,均可作各种更动与修改,因此本发明的保护范围应当以权利要求所限定的范围为准。
Claims (17)
1.一种定位方法,其特征在于,包括:
提供待测物,所述待测物包括待测目标;
获取待测物的第一图像;
将所述第一图像与第一模板图像进行第一匹配处理,获取第一图像中的第一匹配区域及第一匹配结果;所述第一模板图像包括所述待测目标的标准图像;所述第一匹配结果包括第一图像与第一模板图像的第一相似度及第一匹配区域的第一候选坐标;
将所述第一图像与第二模板图像进行第二匹配处理,获取第一图像中的第二匹配区域及第二匹配结果;所述第二模板图像为所述第一模板图像的子图像,且包括所述待测目标的标准图像;所述第二匹配结果包括第一图像与第二模板图像的第二相似度及第二匹配区域的第二候选坐标;
基于所述第一候选坐标和第二获选坐标,获取第三匹配结果,和/或基于所述第一相似度和第二相似度,获取第四匹配结果;所述第三匹配结果和第四匹配结果包括所述第一匹配区域和第二匹配区域具有待测目标的匹配区域,或所述第一匹配区域和第二匹配区域不具有待测目标的匹配区域。
2.根据权利要求1所述的定位方法,其特征在于,所述将所述第一图像与第一模板图像进行第一匹配处理,获取第一图像中的第一匹配区域及第一匹配结果,包括:
采用与所述第一模板图像具有相同尺寸的第一匹配窗口对所述第一图像进行遍历,获取所述第一图像中第一匹配窗口所在区域与所述第一模板图像之间的第一相关性得分;所述第一相关性得分与所述第一匹配窗口所在区域和第一模板图像的各像素点灰度的方差负相关;
获取所述第一图像中所述第一相关性得分的最大值对应的第一匹配窗口所在区域作为所述第一匹配区域,并获取所述第一匹配区域的第一候选坐标,将所述第一相关性得分的最大值作为所述第一图像与所述第一模板图像之间的第一相似度;
所述将所述第一图像与第二模板图像进行第二匹配处理,获取第一图像中的第二匹配区域及第二匹配结果,包括:
采用与所述第二模板图像具有相同尺寸的第二匹配窗口对所述第一图像进行遍历,获取所述第一图像中第二匹配窗口所在区域与所述第二模板图像之间的第二相关性得分;所述第二相关性得分与所述第二匹配窗口所在区域和第二模板图像的各像素点灰度的方差负相关;
获取所述第一图像中第二相关性得分的最大值对应的第二匹配窗口所在区域作为所述第二匹配区域,并获取所述第二匹配区域的第二候选坐标,将所述第二相关性得分的最大值作为所述第一图像与所述第二模板图像之间的第二相似度。
3.根据权利要求2所述的定位方法,其特征在于,所述获取所述第一图像中所述第一相关性得分或获取所述第一图像中所述第二相关性得分,包括:
通过互相关处理获取所述第一相关性得分或第二相关性得分。
4.根据权利要求3所述的定位方法,其特征在于,所述通过互相关处理获取所述第一相关性得分或第二相关性得分包括:
或
其中,NCC(p,d)表示所述第一相关性得分或者所述第二相关性得分,I1(x,y)表示所述第一模板图像或者所述第二模板图像中像素点(x,y)处的灰度值,表示所述第一模板图像或者所述第二模板图像中像素点的灰度均值,I2(x+p,y+d)表示第一图像中像素点(x+p,y+d)处的灰度值,/>表示第一图像中像素点的灰度均值,Wp表示第一图像中第一匹配窗口所在区域或第一图像中第二匹配窗口所在区域,·表示乘积运算。
5.根据权利要求1所述的定位方法,其特征在于,所述第一模板图像与所述第二模板图像共中心,且所述待测目标的标准图像分别位于所述第一模板图像和所述第二模板图像的中心区域;
所述获取所述第一匹配区域的第一候选坐标,包括:获取所述第一匹配区域的中心点的第一中心点候选坐标;
所述获取所述第二匹配区域的第二候选坐标,包括:获取所述第二匹配区域的中心点的第二中心点候选坐标;
所述基于所述第一候选坐标和第二获选坐标,获取第三匹配结果,包括:
判断所述第一中心点候选坐标与所述第二中心点候选坐标之间的偏差是否小于或等于预设的偏差阈值;
若所述第一中心点候选坐标与所述第二中心点候选坐标之间的偏差小于或等于所述偏差阈值,将所述第一中心点候选坐标或所述第二中心点候选坐标,作为所述待测目标的中心点的第一中心点目标坐标。
6.根据权利要求5所述的定位方法,其特征在于,若所述第一中心点候选坐标与所述第二中心点候选坐标之间的偏差大于所述偏差阈值,所述基于所述第一候选坐标和第二获选坐标,获取第三匹配结果,还包括:
所述第一匹配区域和第二匹配区域不具有待测目标的匹配区域,或根据所述第一相似度和第二相似度获取第四匹配结果。
7.根据权利要求1所述的定位方法,其特征在于,所述第一模板图像与所述第二模板图像共中心,且所述待测目标的标准图像分别位于所述第一模板图像和所述第二模板图像的中心区域;
所述获取所述第一匹配区域的第一候选坐标,包括:获取所述第一匹配区域的中心点的第一中心点候选坐标;
所述获取所述第二匹配区域的第二候选坐标,包括:获取所述第二匹配区域的中心点的第二中心点候选坐标;
所述根据所述第一相似度和第二相似度获取第四匹配结果,包括:
若第一相似度大于第一相似度阈值且第二相似度小于或等于第二相似度阈值,将所述第一中心点候选坐标作为所述待测目标的中心点在第一坐标系下的第一中心点目标坐标;
若第一相似度小于或等于所述第一相似度阈值且第二相似度大于所述第二相似度阈值,将所述第二中心点候选坐标作为所述待测目标的中心点在第一坐标系下的第一中心点目标坐标;
若第一相似度小于或等于第一相似度阈值且第二相似度小于或等于第二相似度阈值,则所述第一匹配区域和第二匹配区域不具有待测目标的匹配区域。
8.根据权利要求7所述的定位方法,其特征在于,所述第一相似度阈值大于所述第二相似度阈值。
9.根据权利要求7所述的定位方法,其特征在于,所述第一相似度阈值的范围为[0.9,1],所述第二相似度阈值的范围为[0.7,0.95]。
10.根据权利要求5所述的定位方法,其特征在于,所述第一图像中的像素点具有第一坐标系下的位置坐标,所述待测物具有第二坐标系;
所述获取待测物的第一图像,包括:获取待测目标的中心点的参考位置坐标;所述参考位置坐标为假定所述第一坐标系与所述第二坐标系相重合的前提下,待测目标的中心点在所述第一坐标系下的位置坐标;以所述参考位置坐标为中心,获取所述待测物相应表面区域的图像,作为所述第一图像;
所述获取所述第一匹配区域的中心点的第一中心点候选坐标,包括:获取所述第一匹配区域的中心点在所述第一坐标系下的第一中心点候选坐标与所述参考位置坐标之间的第一偏移矢量;将所述参考位置坐标与所述第一偏移矢量相加,获取所述第一匹配区域的中心点在所述第一坐标系下的第二中心点候选坐标;
所述获取第二匹配区域的中心点的第二中心点候选坐标,包括:获取第二匹配区域的中心点在所述第一坐标系下的第二中心点候选坐标与所述参考位置坐标之间的第二偏移矢量;将所述参考位置坐标与所述第二偏移矢量相加,获取第二匹配区域的中心点在所述第一坐标系下的第二中心点候选坐标。
11.根据权利要求1所述的定位方法,其特征在于,所述第一模板图像为矩形,且所述第一模板图像的边长为150um-250um;所述第二模板图像为矩形,且所述第二模板图像边长尺寸为50um-110um。
12.根据权利要求1或6或7所述的定位方法,其特征在于,若所述第一匹配区域和第二匹配区域不具有待测目标的匹配区域,还包括:
对所述待测物进行区域移动处理,并重新执行所述获取待测物的第一图像的步骤;其中,所述区域移动处理前后所获取的第一图像中所述待测物的表面区域部分重叠或相衔接。
13.一种转换关系的获取方法,其特征在于,包括:
采用如权利要求1-12任一项所述的定位方法沿第一方向获取所述待测物中至少相邻的两个待测目标在第一坐标系下的第一目标坐标信息;所述待测物具有第二坐标系,所述第一方向为所述第一坐标系的坐标轴方向;
基于至少相邻的两个待测目标在所述第一坐标系下的第一目标坐标信息,获取所述第二坐标系与所述第一坐标系之间的转换关系。
14.根据权利要求13所述的转换关系的获取方法,其特征在于,所述至少相邻的两个待测目标在所述第一坐标系下的第一目标坐标信息包括所述至少相邻的两个待测目标的中心点在所述第一坐标系下的第一中心点目标坐标信息;所述第一坐标系与所述第二坐标系之间的转换关系包括所述第一坐标系与所述第二坐标系之间的旋转关系;
所述获取所述第一坐标系与所述第二坐标系之间的转换关系,包括:
获取至少相邻的两个待测目标的中心点在所述第一坐标系下的第一中心点目标坐标信息;
对至少相邻的两个待测目标的中心点在所述第一坐标系下的第一中心点目标坐标进行拟合,获取对应的第一连线;
计算所述第一连线与所述第一方向之间的旋转角度,作为所述第一坐标系与所述第二坐标系之间的旋转关系。
15.根据权利要求13或14所述的转换关系的获取方法,其特征在于,所述至少相邻的两个待测目标位于所述待测物的中心点附近。
16.一种检测方法,其特征在于,包括:
提供目标检测设备,所述目标检测设备具有第三坐标系;
采用如权利要求13至15任一项所述的转换关系的获取方法获取所述第一坐标系和第二坐标系之间的转换关系;所述待测物表面具有待测区,所述待测区在所述第一坐标系下具有第一坐标信息;
根据所述第一坐标系和第二坐标系之间的转换关系和所述第一坐标信息,获取所述待测区在第二坐标系下的第二坐标信息;
获取所述第二坐标系与所述第三坐标系之间的转换关系;
根据所述第二坐标系和第三坐标系之间的转换关系和所述第二坐标信息,获取所述待测区在所述第三坐标系下的第三坐标信息;
使所述目标检测设备根据所述第三坐标信息对所述待测区进行定位;
使所述目标检测设备根据所述第三坐标信息对所述待测区进行定位之后,通过所述目标检测设备对所述待测区进行检测,获取所述待测区的物理信息。
17.一种检测系统,其特征在于,包括:
第一转换关系获取模块,适于采用如权利要求13至15任一项所述的转换关系的获取方法获取所述第一坐标系和第二坐标系之间的转换关系;所述待测物表面具有待测区,所述待测区在所述第一坐标系下具有第一坐标信息;
第二坐标获取模块,适于根据所述第一坐标系和第二坐标系之间的转换关系和所述第一目标坐标信息,获取所述待测区在第二坐标系下的第二目标坐标信息;
第二转换关系获取模块,适于获取第三坐标系与所述第二坐标系之间的转换关系;
第三坐标获取模块,适于根据所述第三坐标系与所述第二坐标系之间的转换关系和所述第二目标坐标信息,获取所述待测区在所述第三坐标系下的第三目标坐标信息;
目标检测设备,具有所述第三坐标系,适于根据所述第三坐标信息对所述待测区进行定位,并对所述待测区进行检测,获取所述待测区的物理信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210074800.2A CN116523814A (zh) | 2022-01-21 | 2022-01-21 | 定位方法、转换关系的获取方法、检测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210074800.2A CN116523814A (zh) | 2022-01-21 | 2022-01-21 | 定位方法、转换关系的获取方法、检测方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116523814A true CN116523814A (zh) | 2023-08-01 |
Family
ID=87398107
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210074800.2A Pending CN116523814A (zh) | 2022-01-21 | 2022-01-21 | 定位方法、转换关系的获取方法、检测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116523814A (zh) |
-
2022
- 2022-01-21 CN CN202210074800.2A patent/CN116523814A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2666050B1 (en) | Microscope slide coordinate system registration | |
US20070280527A1 (en) | Method for defect detection using computer aided design data | |
CN108520514B (zh) | 基于计算机视觉的印刷电路板电子元器一致性检测方法 | |
WO2017177717A1 (zh) | 基于颜色和梯度的元件定位方法和系统 | |
US10068126B2 (en) | Microscope slide coordinate system registration | |
CN110940267B (zh) | 测量方法及其测量系统 | |
CN102023161A (zh) | 获取缺陷图像的方法 | |
CN111435070A (zh) | 转换关系的获取方法、检测设备及检测方法 | |
JP2006276454A (ja) | 画像補正方法、およびこれを用いたパターン欠陥検査方法 | |
CN112014407A (zh) | 一种集成电路晶圆表面缺陷检测的方法 | |
CN116523814A (zh) | 定位方法、转换关系的获取方法、检测方法及系统 | |
CN113983951A (zh) | 三维目标的测量方法、装置、影像仪及存储介质 | |
CN209182254U (zh) | 光学检测设备 | |
CN109215068B (zh) | 图像放大率测量方法及装置 | |
CN110874837A (zh) | 一种基于局部特征分布的缺陷自动检测方法 | |
KR101787898B1 (ko) | 다이 본딩 장치 및 방법 | |
JP2000321038A (ja) | パターン欠陥検出方法 | |
US20130278925A1 (en) | Detecting device and method for substrate | |
CN111077155A (zh) | 显示面板检查系统和显示面板的检查方法 | |
KR102541500B1 (ko) | 상관관계 기반 오버레이 키 센터링 시스템 및 그 방법 | |
CN113327232B (zh) | 继电器触点组接触面对准方法、设备和计算机存储介质 | |
CN112556614B (zh) | 转换关系的获取方法、测量方法及测量系统 | |
CN115564821A (zh) | 定位方法、检测方法和检测系统 | |
CN108010017B (zh) | 基于相机阵列的薄片叠层计数装置与方法 | |
CN114298959A (zh) | 缺陷检测方法与系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |