CN1862597B - 配准和对齐多个图像的方法 - Google Patents

配准和对齐多个图像的方法 Download PDF

Info

Publication number
CN1862597B
CN1862597B CN2006100802559A CN200610080255A CN1862597B CN 1862597 B CN1862597 B CN 1862597B CN 2006100802559 A CN2006100802559 A CN 2006100802559A CN 200610080255 A CN200610080255 A CN 200610080255A CN 1862597 B CN1862597 B CN 1862597B
Authority
CN
China
Prior art keywords
registration
alignment
discerned
corresponding point
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2006100802559A
Other languages
English (en)
Other versions
CN1862597A (zh
Inventor
维亚切斯拉夫·L·扎瓦德斯凯
贾森·阿布特
马克·布雷弗曼
爱德华·凯斯
弗拉迪米尔·马丁塞维克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taike Yingsai Technology Co., Ltd.
Original Assignee
Semiconductor Insights Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Semiconductor Insights Inc filed Critical Semiconductor Insights Inc
Publication of CN1862597A publication Critical patent/CN1862597A/zh
Application granted granted Critical
Publication of CN1862597B publication Critical patent/CN1862597B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

描述了一种配准和垂直对齐多层图像得到一个镶嵌的方法。该方法包括：使用一系列已定义的对齐对应对执行层的垂直对齐，得到一个镶嵌，和使用一系列已定义的配准对应点执行在一个层中的图像的全局配准，并且然后重新定义所识别的对齐对应对和/或配准对应点的迭代处理，直到得到满意的结果。可选地，最初可以在开始对齐处理之前执行每一层的初始全局配准。可以使用最小二乘误差最小化或其他技术确定结果的质量。

Description

配准和对齐多个图像的方法
技术领域
本发明涉及一种多个图像的配准和垂直对齐的方法，并且更具体地涉及一种垂直对齐方法，其中两个或更多镶嵌的图像代表在堆叠重叠(stacked overlay)配置中一个公共对象的不同层。
背景技术
当非常详细地观察大区域时，图像镶嵌的创建是一个有力的分析工具。当跟踪冰漂移或者地理特征运动时，常常需要将具有一个公共分辨率的多个照片镶嵌成一个示出感兴趣的整个区域的单个图像。典型地，这些镶嵌仅以二维出现，其中这些图像仅沿该图像的宽和长来镶嵌。
有时使用相似的技术来对集成电路(IC)进行分析，以便于为了质量控制检查IC或反向工程IC。IC由多个半导体和金属层组成，在彼此上重叠，以便于产生互连的电路。当分析这些器件时，IC的每一层的多个图像以行和列的一个矩阵图案进行收集，并且然后“缝合”在一起以形成一个镶嵌。在执行分析中，人们可以检查该IC的每一层的镶嵌，并且了解整个电路的互连。可选地，为了节省时间，人们可以部分地重叠每一层的透明的镶嵌，以更清晰地了解整个电路的互连。但是，由于在每一个镶嵌中重叠图像的对齐中在层之间将存在较小的误差，这可以在分析中引入误差。
作为在本领域公知的技术的一个称作成对配准的过程，用于通过最小化配准误差数字地将在一个公共平面上图像缝合在一起。成对配准通过一对图像的相对图像坐标的计算、以及在两个图像之间单对对应点的选择实现它。通过向另一图像和以前配准的图像对应用相似的技术，更多图像可以成对配准。这样的配准可以通过L.Brown的文章“A survey of image registration techniques”，ACM ComputingSurveys，Vol 24，Issue 4，1992年中所描述的技术执行，在此通过参考将其纳入。
全局图像配准考虑找到重叠图像的相对坐标，以便于补偿由图像获取系统所引入的误差。当图像被全局配准时，处理所有要配准的图像，直到实现一个配准，其最小化配准误差，并将配准误差分配在它们之间和跨越每一个图像。这可以通过例如使用最小二乘能量最小化完成。基于最小二乘的能量最小化的细节在the Proceedings ofSixth Annual PIMS Industrial Problem Solving Workshop，2002，PacificInstitute for Mathematical Sciences的第一章中给出，在此通过参考将其纳入。
但是，现有技术不解决几个问题。在一些情况下，在图像的重叠部分中不存在足够的信息以定义具有足够精度的相对坐标。可选地，由于图像获取系统的问题或者错误的成对配准，可能不存在重叠部分。这种错误的相对坐标的出现不利地影响大量的附近图像的配准质量，因为该误差由能量最小过程跨越图像分布。
此外，当表示相同区域但涉及不同层的不同的镶嵌彼此独立地配准时，可能发生误差将积累，使得这两个镶嵌将不可能不改变它们的配准方式而垂直对齐，这在现有技术没有考虑。
同样，在现有技术中，无法收集人类操作者反馈或集成关于配准适合的检查结果。因此，如果能量最小化方法的结果不可接受，操作者可能必须手动地移动大量图像。
因此，在将考虑组成图像的配准和对齐的检查和校正的重叠配置中，在本技术领域中需要一种图像镶嵌算法，其将不仅补偿单个层内的配准误差，而且补偿跨越相同区域的多个层的对齐误差。
发明内容
本发明提供一种改进的配准方法，以补偿多层镶嵌应用中的对齐误差。
根据第一主要方面，本发明提供一种创建对象的部分的图像的水平配准和垂直对齐的多层镶嵌的方法，包括步骤：
a.对于要成像的该对象的该部分的细节的每一层：
i.在一系列重叠的捕获的图像中捕获该层的细节；
ii.执行该层的所捕获的图像的成对配准，得到一个镶嵌；以及
iii.执行该层的该镶嵌的全局配准，得到一个优化的镶嵌层；
b.识别位于第一优化的镶嵌层上的图像上的和位于一个不同的优化的镶嵌层上的至少一个图像上的至少一个对齐对应对；从而使用该至少一个对齐对应对，该第一层可以更准确地与其他层对齐；以及
c.迭代地：
i.使用与每一个优化的镶嵌层相关联的所识别的对齐对应对和配准对应点，执行所有优化的镶嵌层的对齐和全局配准，得到一个基本上对齐的镶嵌；以及
ii.重新定义所识别的对齐对应对。
直到该层的对齐被优化。
根据第二主要方面，本发明提供了一种创建对象的图像的水平配准的和垂直对齐的多层镶嵌的方法，包括步骤：
a.在一系列重叠的图像中捕获每一层的细节；
b.执行所捕获的每一层的图像的成对配准，得到一个镶嵌；
c.对于要成像的该对象的细节的多个层：
i.识别至少一个配准对应点，其每一个都位于两个图像上，从而所捕获的图像可以使用至少一个配准对应点与在相同层上的其他图像更准确地配准、并识别位于第一层上的图像上的和位于多个层的不同层上的至少一个图像上的至少一个对齐对应对，从而第一层可以使用至少一个对齐对应对与其他层更准确地对齐；
ii.迭代地：
A.使用用于该层的所识别的配准对应点执行多个层的每一个的所捕获的图像的全局配准，得到一个镶嵌，并使用所识别的对齐对应对执行所有多个层的对齐，得到一个镶嵌；
B.重新定义用于多个层的每一个的所识别的配准对应点和所识别的对齐对应对；
C.直到优化多个层的配准和对齐；以及向多个层增加至少一层；
直到该对象的细节的所有层的对齐成像并优化。
根据本发明的一个实施方式的第三主要方面，公开了一种创建对象的部分的图像的水平配准和垂直对齐的多层镶嵌的方法，包括步骤：
(a)对于要成像的对象的部分的细节的每一层：(i)在一系列所捕获的图像中捕获该层的细节；(ii)执行该层的所捕获的图像的成对配准，得到一个镶嵌；(iii)识别与至少两个图像相关联的至少一个配准对应点；(iv)使用与该层相关联的所识别的配准对应点执行该层的镶嵌的全局配准，得到一个优化的镶嵌层；以及(v)重新定义用于该层的所识别的配准对应点。
(b)识别位于第一优化的镶嵌层的图像上的和一个不同的优化的镶嵌层的至少一个图像上的至少一个对齐对应对；以及
(c)迭代地：
(i)使用与每一个优化的镶嵌层相关联的所识别的对齐对应对，执行所有优化的镶嵌层的对齐和全局配准，得到基本上对齐的镶嵌；以及
(ii)重新定义所识别的对齐对应对和所识别的配准对应点；
直到这些层的对齐被优化。
本发明的配准方法还可以包括一个通知手段，以通知人类操作者需要检查异常(落在正常之外的对应点)或低可信度的对，并且应用用户定义的配准对应点和/或对齐对应对。
对于本领域的普通技术人员而言，在阅读结合附图的本发明的以下描述之后，本发明的其他方面和优点以及本发明的各个实施方式的结构和操作将更加明显。
附图说明
将参考附图描述本发明，其中：
图1(现有技术)是一个以行和列配置的图像矩阵的代表性视图。
图2(现有技术)是一个图1中所示的类型的两个重叠层的部分代表性视图。
图3是一个根据本发明的第一方面的示出用于将大量图像配准成层、以及在查找对齐误差的同时对齐大量垂直层的步骤的流程图。
图4是一个根据本发明的第二方面的示出用于将大量图像配准成层、以及在查找对齐误差的同时对齐大量垂直层的步骤的流程图。
图5是一个根据本发明的实施方式的在其之间具有对应点的图像网格的两层的代表性视图；
图6是一个示出实质配准误差的图像的重叠对的照片；
图7是一个已经根据按照图3的实施方式的成对图像配准的结果，校正相对坐标之后的图6中所描述的图像对的照片；
图8是一对重叠图像的一个照片，其中所重叠的区域不包含足够的信息以执行成对配准；
图9是图8的重叠图像对的一个照片，示出了该成对配准过程的两个不同结果；
图10是一个四个丢失了重叠区域的图像的镶嵌照片；以及
图11是一个来自一个集成电路的金属层的照片，示出了导孔的存在。
具体实施方式
为了解释的目的，给出了特定的实施方式，以提供对本发明的一个彻底理解。但是，通过阅读该公开，本领域的技术人员可以理解，没有这些特定细节也可以实施本发明。此外，没有详细给出公知的元件、设备、处理步骤等等，以便于避免模糊所描述的本发明的范围。
在充分平坦的对象要成像并且成像设备的观看区域小于该目标区域的情况下，成像例如可以以多个层10的形式以图像的三维矩阵完成，其中每一个包括对应于该成像设备的观看区域的较小的图像的矩阵，如图1所示。设计用于以这种方式收集图像并且对于本领域的普通技术人员公知的成像系统(未示出)捕获每一个图像，并且分配给它一组坐标。如果每一个图像12由一个矢量(k，i，j)表示，其中k是层号，i和j分别是对应于该层的矩阵内的图像的列号和行号，则该图像将被分配由所使用的成像系统所定义的坐标θ(k，i，j)。图像可以略微重叠14，以便于提供用于将具有公共列和/或行的图像配准在一起的一些参考点。
由成像系统所定义的坐标空间可以依赖于由成像系统所使用的特定设置。例如，一个系统可以定义图像的范围，其是按照如下所采取的，即与成像设备的观看区域内的公知点相对应的全局(x，y)坐标参考点，以及要应用于该矩阵中所有图像的幅度级。可选地，成像系统可以通过全局(x，y)坐标参考点和旋转或仿射变换(达到一个新点所需要的坐标变换)定义图像范围。例如，人们可以引入一个原点为观看区域的中心的坐标系统。仿射畸变变换可以由以下表示：
T(x)＝Mx+(SX，SY)    (1)
由于该畸变较小，M应该接近于单位矩阵I2。我们表示为M＝I2+E，其中E是一个小矩阵。那些本领域的普通技术人员将仍然容易认识到，可以使用定义由成像系统所定义的坐标空间的不同方式，而不偏离本发明的范围。
不幸地是，成像系统不是完美的，并且可能定义具有一些误差的θ(k，i，j)。
作为物理处理，图像捕获固有地在配准中引入畸变，其足可以影响整个镶嵌的正确性。这种畸变包括位移、旋转、膨胀和剪切(shearing)或偏斜(skewing)。
位移由于显微镜的定位中的不理想性而引起，这引起图像的一层相对于另一层略微位移，即使名义上它们在相同位置。
例如，在尝试对一个集成电路成像的情况下，最低的布线层可以表示为M1，第二低的布线层表示为M2等等。连接M1至M2的导孔层可以表示为V1，并且连接M2至M3的导孔层可以表示为V2等。在数据捕获处理期间，使用显微镜，一起获得Mi和Vi的两维图像，因为金属层Mi与在其之上的导孔Vi一起出现。因此，理论上，用于Mi和Vi的图像应该非常好地对齐。该目标事实上是以完美或接近完美的方式将Vi对齐到Mi+1。
因此，由于一个位移，表示为vi的所考虑的Vi的部分可以相对于表示为mi+1的所考虑的Mi+1的部分略微位移，即使名义上它们在相同位置。我们通过沿x方向为sx，且沿y方向为sy来表示所需要的vi相对于mi+1的位移以来校正该情形。在我们特定的例子中，sx和sy应小于四十个像素。该估计将根据成像系统、聚焦级别、分辨率和该图像的场尺寸而充分地变化。该四十个像素的估计基于的是具有场尺寸为4096像素的图像。
旋转类似于位移，因为Vi可能相对于mi+1略微旋转。我们通过α表示需要旋转Vi的角度以改善该情形。α是逆时针测量的。典型地，α最多是几度。
尽管用于成像系统的名义放大率对于Vi和Mi+1将是相同的，实际的放大率可能略微变化。因此，可能必须略微膨胀Vi以适合Mi+1。我们通过Vi应沿x方向膨胀kx且沿y方向膨胀ky，以适合Mi+1来表示该因素。值Kx和Ky不必要一定相等。典型地，这种膨胀或缩放误差每一个将在几个百分比的量级。
剪切或时滞构成沿图像的x或y方向的非线性畸变。典型地，在每一个方向，剪切将小于百分之一。
位移、旋转、膨胀和剪切的组合引起一般的仿射变换，一个2×2矩阵加上一个位移矢量。
由图像捕获处理的反复无常的行为所引起的误差，所述反复无常的行为例如透镜畸变、由于电磁线圈的场强变化引起的图像旋转、由于扫描线圈的增益变化引起的膨胀或收缩，采样的热漂移或阶段运动，可以通过以下最小化：选择该矩阵内的相邻图像的重叠部分上的可识别的配准对应点，并使用误差最小化算法，例如最小二乘能量最小化，按照配准对应点来执行图像矩阵上的图像配准。
最小二乘能量最小化典型地用于使用配准对应点和现有的坐标θ(k，i，j)计算θ’(k，i，j)。可以使用例如对于本领域的普通技术人员公知的其他误差最小化算法。
然而，由于配准独立于对于相邻的上层或下层的垂直对齐的考虑而进行，对齐中的误差可以积累，增加了对不齐的机会。这在图2中示出，其中已出现了对不齐问题，原因是相邻层上的配准误差累加，但是沿相反的方向。
如图2中进一步的描述，当图像的两层22和24对齐时，每一层的第一图像可以理想地配准26，但是，即使每一层上的较小的(半个像素)配准误差28都可以积累成为大区域的进程上的充分的对不齐。尽管更详细的概率学习将是合适的，层间对齐误差EA的幅度的简单布朗运动模型估计将是：
E A = ϵ 2 · max ( M , N ) - - - ( 2 )
其中ε是以像素数目的重叠区域中的可见缺陷，并且M和N分别是在该层的矩阵中的列和行，并且max(M，N)识别具有在正被讨论的层之间的最大对不齐的矩阵元素的对不齐的幅度。
本发明的第一优选实施方式的逻辑流程在图3的流程图中描述。该流程图详细描述了设计用于在创建图像的两个或更多层的垂直对齐的镶嵌中，迭代地最小化配准和对齐误差的步骤。
针对每一层独立地捕获目标对象的部分的图像30。
本领域的普通技术人员将认识到，不需要对该目标的整体进行成像。然而，可以对该整体进行成像。为了覆盖这种可能性，在可以包括目标的整体的这样意义上在本说明书中使用术语“部分”。
可选地，人们可以选择使用不同的传感器，基本上同时地捕获目标对象的部分的多于一种类型的图像。例如，人们可以捕获热量信息，以及标准视觉信息，以便于可以重叠这二者用于分析。在这种情况下，每种类型的图像将组成一个需要与剩余层对齐的独立的层。
在针对一层捕获图像之后，进行使用成对配准或者本领域的普通技术人员所知的其他配准技术对多层图像区域的一层进行成对配准的第一尝试34。这可以通过以下实现：图像捕获系统将所捕获的图像存储在与观看区域的名义参数相对应的矩阵中，并且使用公共重叠结构，例如灰色区域，作为配准对应点的名义群(cluster)来应用成对配准。
现在进一步描述如步骤34中所执行的配准和误差最小化的步骤。考虑当两个矩阵都为相同尺寸M×N时的情况；并且坐标系统是仿射变换：
θ ( k , i , j ) = a k b k c k d k , x k , i , j y k , i , j - - - ( 3 )
其中，已知先验是变换的矩阵分量 a k b k c k d k 对于层k内的所有图像是相同的。
进一步假设具有p对对应点(kt，it，jt，xt，yt)，(kt′，it′，jt′，xt′，yt′)，t＝1...p，这意味着层k的(it，jt)图像上的点(xt，yt)应该与层k’的(it′，jt′)图像上的点(xt′，yt′)相匹配。
因此，成对配准信息的误差由以下给出：
r z = x k , i , j - x k , i + 1 , j - ▿ k , i , j H x - - - ( 4 )
其中：
rz是误差；
z是针对误差项的独立序号；并且
Figure 200610080255910000210003_0
k，i，j H，
Figure 200610080255910000210003_1
k，i，j V是由成对配准所发现的分别用于水平和垂直重叠区域的相对坐标。
针对成对配准数据的进一步的误差由以下给出：
r z = y k , i , j - y k , i + 1 , j - ▿ k , i , j H y ,
r z = x k , i , j - x k , i , j + 1 - ▿ k , i , j V x , - - - ( 5 )
r z = y k , i , j - y k , i , j + 1 - ▿ k , i , j V y
然后分析成对配准尝试34的结果，以便于识别配准中的一般误差和统计异常36。典型地，这可以是一种手动视觉检查。但是配准尝试的结果的检查可以是自动的。例如，人们可以使用一个具有以下参数的计算机算法，来评估具体的局部匹配的可靠性。
a.在具体块中的导孔的数量-人们不能将判断基于该块的正确位移，如果在其中不存在导孔或者仅一个或两个导孔，这可能构成噪声项；
b.位移之后的匹配数量-理想地，这将是100％，但是在实际中应该几乎达到这个水平，这意味着几乎所有导孔都匹配；以及
c.差异和解决方案-人们希望匹配达到唯一或接近唯一。否则人们将不知道不同的最优匹配是合适的一个。例如，如果该块出现在一个宽的金属总线之上，所有匹配将“好”，并且人们将没有办法知道选择哪一个。在差异过大的情况下，可以优选地忽略该具体块，并查找较好的块。
人们可以系统地查找将提供可靠的匹配的块。例如，人们可以从整个矩阵的左上角、右上角和左下角开始查找。如果这些搜索之一失败，人们可以从右下角查找。
目标可以是找到3个不同的可靠局部匹配。人们以不同的拐角开始，以便于匹配互相保持离得很远，以便于最优化3点匹配。
人们沿每一个方向查找所有的数量不超过D(图像中的导孔的实际位置与其应该在的位置之间的像素的最大数目)的可能位移，以找到能量函数的一个或多个最小值。如果按照上述准则该块考虑为是可靠的，其拐角可以用作三点匹配中的这些点之一。
一旦三个块已可靠地局部匹配，可以通过三点匹配实现配准，其将它们各自的左上角映射到它们的位置，如由能量函数所识别的位移所修改。
可以产生Mi+1为一个黑白位图，只要在层Mi+1上存在金属则亮度为255，并且其他任何地方都为0。Vi可以是一个黑白位图，只要存在导孔则亮度为255。
Vi层上的任何导孔必须连接到Mi和Mi+1这两层上的金属上，这是一个设计规则。因此理想解决方案将是其中Vi中的每一个导孔都与Mi+1中的一个金属匹配。
因为在实际生活中，不存在完美的解决方案，如上所述，对于每一个不匹配的导孔，向该解决方案应用一个惩罚。目标是找到具有最低惩罚点数目的解决方案。该惩罚可以总结如下表：
                                      Vi中的导孔                                       Mi中的金属                                     惩罚？
                                      不                                       不                                     不
                                      不                                       是                                     不
                                      是                                       不                                     是
                                      是                                       是                                     不
理想地，人们希望将导孔和与其匹配的金属之间的畸变最小化。但是，这种畸变不是一个可观测的参数。相反，一个定义为不匹配的导孔数目和所有导孔数目的乘积的能量函数，是一个可观测的参数。因此，人们可以使用该能量，以便于评估该解决方案的质量。
解决方案的能量函数是用于个体像素/导孔的所有惩罚之和。人们可能永远得不到完美的解决方案的原因之一是Vi中的错误导孔的概率(即，导孔出现在图像中，但实际不存在)和对来自Mi+1的金属的疏忽。
完美的解决方案或者具有仅一对畸变像素的解决方案将具有几乎为0的能量，而其他解决方案将可能具有较高能量。
不同的能量函数可以用于最小化整体误差。最简单的一个是加权的最小二乘公式：
E = Σ w z r z 2 → min - - - ( 6 )
其中.，wz是根据可靠性估计分配给两个要被配准或对齐的两个图像的接缝和边缘的非负权重，其中更可靠的接缝具有更高的权重和用户输入。
可选地，人们能够通过利用不同参数将其运行几次，并从一系列的运行中选择最佳解决方案，改善该算法的整体性能。已经发现改变每块的导孔的最小数目、在位移之后的匹配数量和解决方案中的差异通常在大部分情况下将不影响计算结果，因为这些参数仅变得与具有较差质量参数的有问题的块相关。当然，最重要的参数表现为基本块尺寸。已发现适当地选择尺寸是最佳方法，并提供较好的结果。
无论使用哪一种方法，所检测的误差的集合可能引起图像对之间的某些对应配准点的识别，其被认为在提高配准尝试的准确性中是有用的。可选地，可以丢弃某些存在的配准对应点，作为组成异常或误差38。由于初始配准尝试不依赖于任何特定的配准对应点的识别，这些可能仅在第二(全局)配准尝试后被丢弃。
对于用户定义的与相同层上的大量图像相关联的配准对应点，该误差项由下式定义：
r z r z + 1 = x k t , i t , j t y k t , i t , j t + x t y t - x k t ′ , i t ′ , j t ′ y k t ′ , i t ′ , j t ′ - x t ′ y t ′ . - - - ( 7 )
仿射变换的矩阵部分没有表示在该针对一层的误差公式中，并且没有在图3所示的第一实施方式的步骤36期间计算。
然后，识别某些配准对应点，认为其将该误差保留到最小38。发现每一个配准对应点在该层中的至少两个图像上或者与其相关联。还发现平均而言，对于每9个图像，与该层中的两个图像二者都关联的一个配准对应点在这一点上足够。实际上，通过解构简单的配准方法，使用160个图像的矩阵，已发现在具有总数仅7个配准对应点的最佳情况下出现满意的配准。在最差的情况下，配准要求30个这种配准对应点。
因此，使用最新修改的配准对应点的集合执行全局配准尝试40。该配准尝试不基于如初始的配准尝试的情况的成对完成，而是基于全局完成，其中在该层中的任何图像可以相对于其他运动，以便于提供一个更满意的结果。通过应用能量最小化方法来确定配准的结果，所述能量最小化方法例如加权的最小二乘能量最小化。
通过公共可用的软件LSQR，由C.C.Paige和M.A.Saunders所写，LSQR：An algorithm for sparse linear equations and sparse leastsquares，TOMS 8(1)，43-71(1982)，可以有效地解决加权的最小二乘能量最小化问题，在此通过参考将其纳入。
能量函数中的异常项可以通过2003年Peter J.Rousseeuw，Annick M.Leroy的Robust Regression and Outlier Detection中所描述的方法找到，在此通过参考将其纳入。可以让操作者检查与这区域相对应的重叠区域。
另一个能量函数可以由以下给出
ez＝wzrz 2，E＝e(95％)→min                       (8)
其中e(95％)是剩余可用对应数据的95％的次序统计量。
短语“次序统计量”涉及统计方法，其仅依赖于数据的排序，并不依赖于其数字值。因此，例如，尽管容易计算，并且作为中心值的估计非常重要，均值或数据的平均不是一个次序统计量。模(最普遍地出现的值)也不依赖于排序，尽管在基于比较的模型中用于计算它的最有效的方法包括算法排序。最普遍使用的次序统计量是中值，即在这些值的排列顺序中的中间位置的值。
该公式提供了普通的最小二乘能量最小化的鲁棒性的优点，因为一定百分比的误差数据或用户输入将不影响结果。该问题还可以通过2003年Peter J.Rousseeuw，Annick M.Leroy的Robust Regressionand Outlier Detection中所描述的方法解决。
另一个公式将是根据其可靠性水平将数据分组成两个或更多组，然后考虑最可靠的组，最小化加权的最小二乘能量，并且使最不可靠的组中的能量最小，使得最可靠组中的能量的最小增长。可以使用公开可用的TSNNLS软件，由Jason Cantarella所写，TSNNLS：A Solver for Large Sparse Least Squares with Non-Negative Variables，preprint of Department of Mathematics and Computer Science，Duquesne University，实施这种过程，在此通过参考将其纳入。
为了针对误差分析如步骤36中所描述的成对配准的结果，可以将该重叠的区域分成两个或多个部分，并且独立地计算每一个部分的相对图像坐标
Figure 200610080255910000210003_2
θ(k，i，j)。
在图10所示的情况中，重叠区域不包括足够的信息，以可靠地计算相对坐标。因此，在每一个划分的部分的相对坐标之间将存在一个实质差别。则对于手动检查，该情况可能引起操作者的注意，或者可选地，该情况可以被当作不可靠的图像对，并在具有误差最小化的下一次配准尝试之前被丢弃。
一旦已经计算和估计与最近的全局配准尝试相关联的误差42，配准对应点的集合将被进一步调整38，并且然后进行进一步的全局配准尝试40。
这个调整配准对应点的集合38，使用所调整的配准对应点的集合执行全局配准尝试40，并且检查配准尝试的结果42的处理可以重复迭代，直到最终得到满意的配准水平。
一旦已满意地配准了一个图像层，对于不同层重复进行整个处理。
一旦所有层都已满意地配准，可以开始垂直对齐的处理。
为了垂直地对齐各个层，必须在每一个相邻的层对之间选择至少一对对齐对应点46。这些对齐对应点是代表在至少两个相邻层之间的相同空间的点。存在几种本领域的普通技术人员可以使用的选择对齐对应点的方法。首先，人类操作者可以手动地识别相邻层之间的对应点。其次，可以在成像之前将标记插入这些层，用作在对齐阶段期间的对应点。这种标记必须在层之间可见。第三，计算机可以配置成用于使用图像识别软件自动地选择对应点。在IC应用中，例如，如上所述，已知在底层上可见的导孔互连应该到顶层的镀金属区域。因此，可以在一层上选择导孔图案的模板，并为该模板在相邻层上开始搜索。这提供了在相邻层之间的较好的对应点。当执行该模板匹配时，优选地使用一个较小区域的模板，以便于确保所有导孔到达相邻层上的目的地。偶尔导孔有意地在层之间“漂浮”，并且不与相邻层连接。通过使用小模板，计算机可以被命令为执行粗对齐。图11示出了与相邻层上的导孔粗匹配的一层上的导孔。
一旦一层通过至少一个所选择的对齐对应对与至少一个其他层相关联，通过使用误差最小化技术，例如最小二乘能量最小化，几乎同时地计算所有层上的全局坐标进行相结合的对齐和全局配准尝试48。这导致图像的对齐和全局配准。
如以上步骤，然后分析对齐尝试的结果50，以便于识别对齐中的一般误差和统计异常46。典型地，这可以是手动视觉检查。但是，对齐尝试的结果的检查可以是自动的。无论使用哪一种方法，所检测的误差的集合可以引起某些额外对齐对应对的识别，其被认为在提高对齐尝试的准确性中有用。可选地，在随后的迭代期间，可以将某些存在的对齐对应对作为构成异常或误差而丢弃46。
调整对齐对应对的集合46、使用所调整的对齐对应对集合和存在的配准对应点集合执行所结合的对齐和全局配准尝试48、并且检查配准尝试的结果50的这种处理能够迭代地重复，直到最终得到满意的对齐和全局配准的水平。通常，越多的图像镶嵌的平面对不齐，将需要越多的对齐对应对。这样，可以调整该方法，以允许更大的自由度(例如各个图像的运动或旋转的度数)，以便于准确地将整体对齐和配准误差最小化。
通过在对齐处理期间允许具体层的配准可以重新计算，可以避免图2所体现的不同层的配准趋向于发散的问题。当然，在最优的配准上将选择两层的相对次最优的配准，以便于使整体误差最小化，同时考虑取得满意的对齐的需要。
步骤48中的对齐充分不同于步骤34中所执行的配准。针对对齐对应对误差的等式由以下等式给出：
r z r z + 1 = a k b k t c k t d k x x k t , i t , j t y k t , i t , j t + x t y t - a k t ′ b k ′ c k t ′ d k t ′ x x k t ′ , i t ′ , j t ′ y k t ′ , i t ′ , j t ′ - x t ′ y t ′ - - - ( 9 )
能量函数必须充分同时地关于变量 θ ( k , i , j ) = a k b k c k d k , x k , i , j y k , i , j 进行优化。这致使优化问题不收敛，并且因此难以解决。在实际中，当使用如步骤34中所描述的相同方法用固定 x k , i , j y k , i , j 最小化 a k b k c k d k 时，可以使用迭代算法近似一个解决方案。因而，当利用固定的 a k b k c k d k 修改 x k , i , j y k , i , j 时，仅在几次重复中该解决方案收敛到一个可接受的解决方案。
因此，在该第一实施方式中，在尝试对齐之前，配准处理顺序地出现。
作为例子，图5示出了在重叠图像86的矩阵配置中的两个重叠层82、84(为了清晰，没有示出重叠的区域)。为了便于解释，假设图像86已经独立地配准，并且相对坐标已经定义。层82、84包括定义为对80a、80b、88a、88b和92a、92b的对应点，其可以由人类操作者选择，或者可选地由计算机基于前面所描述的大量图像识别技术而选择。点80a、88a和92a位于层82上，并且点80b、88b和92b位于层84上。该第一实施方式的处理使用这些对应对，以对齐这两个镶嵌的图像层。
初始假设配准和对齐对应点是正确的。在系统计算用于这两个镶嵌的图像层的全局坐标之后，可以通过检查确定图像没有正确地对齐。在选择新的对齐对应对之前，检查对齐对应对的初始集合。在该情况下，可以观察到点80a和80b实际上并不对应。因此，从对齐对应对的列表中去除这些点，并且可以识别新的对。执行另一个对齐和全局配准尝试，并且再次检查该对齐对应对。继续该处理，直到满意地对齐和配准这两层。
参考图4中所示的流程图详细描述本发明的第二实施方式。这些步骤描述了在一个表示相同区域的堆叠重叠配置中用于垂直对齐两层或更多层的算法。在该第二实施方式中，配准和对齐步骤基本上同时地执行。实际上，忽略了在逐层基础上执行迭代配准的初步步骤。因此，尽管得到了一定的处理简单性，其可能以整个结果的质量为代价，并且可能导致一个计算上更复杂的对齐步骤。
因此，在初始步骤54中捕获至少两个相邻层的分量的图像。可信地，可以在该初始步骤获取所有目标层，但仅获取相邻两层的图像就足够。
在每一个层上执行初始的成对配准尝试56，与图3所描述的方式非常相似。
然后，成对结果经历全局配准57，与图3所描述的方式非常相似。
然后识别某些全局配准对应点和对齐对应对58，从而在相同层的至少两个图像上找到每一个配准对应点，并且从而一层上的至少一个图像与另一层上的相应图像通过对齐对应对相链接。本领域的那些普通技术人员将容易地认识到，可以以任何顺序实现配准对应点和对齐对应对的选择。
在捕获图像、以及识别配准对应点和对齐对应对之后，使用误差最小化技术，例如最小二乘能量最小化，或者对于本领域的普通技术人员公知的其他误差最小化算法，进行全局配准和对齐多层图像区域的所成像层的第一尝试60。
然后分析配准和对齐尝试的结果62，以便于识别在配准和对齐中的一般误差和统计异常。典型地，这可以是手动的视觉检查。然而，配准尝试结果的检查可以自动的。无论使用哪一种方法，所检测的误差集合可以导致在一层中的相邻图像之间的某些额外的配准对应点和/或在不同层上的对应图像之间的对齐对应对的识别，其被认为提高配准和对齐尝试58的准确性是有用的。可选地，可以将某些存在的配准对应点和/或对齐对应对作为构成异常或误差而丢弃。
调整配准对应点和对齐对应对的集合58、使用所调整的配准对应点和对齐对应对的集合执行全局配准尝试和对齐尝试60、并且检查配准和对齐尝试的结果62的这种处理，能够迭代地重复，直到最终得到满意的配准和对齐水平。
一旦图像的这些层已满意地配准和对齐，对于不同层重复整个处理。
现在讨论处理的例子和所获得的结果。
一旦已满意地配准和对齐所有层，处理完成。
在图6中，示出了一对图像94、96，其具有一个没有正确地配准的重叠区域98。
在图7中，再次示出了来自图6的图像94、96。但是，现在该重叠区域已正确配准，并且接缝100示出了可以从第一照片94到第二照片96看到的过渡线。
在图8中，示出了一对图像102a和104a，其不包含足够的信息以容易地配准两个图像。在它们之间的接缝106a示出了这二者当前已经配准的点。
图9示出了如根据图8配准的图像对，以及随后的另一个配准尝试的结果，示出了在具有新接缝106b的另一个配准中的图像102b和104b。
图10示出了在一个配准配置中的四个图像108、110、116、114，其丢失了重叠区域112。
图11示出了一个具有重叠的导孔层122的金属层124，其略微缺乏对齐。一些导孔位于可能的位置120中，而其他表现为漂浮126。
本发明有利地提供了一种有效的装置，以补偿在其中两层或更多层要成像的成像应用中的对不齐误差的累积。
本发明可以在数字电子电路，或硬件、固件、软件中，或其组合中实现。本发明的装置可以以用于由可编程处理器执行的、在机器可读存储设备中具体实现的计算机程序产品实现；并且方法动作可以由通过操作输入数据和产生输出来执行本发明的功能的执行指令程序的可编程处理器执行。本发明可以在一个或多个计算机程序中有利地实现，所述计算机程序在包括至少一个输入设备和至少一个输出设备的可编程系统上可执行。每一个计算机程序可以以高级过程或面向对象编程语言实现，或者如果需要以汇编或机器语言实现；并且在任何情况下，该语言可以是一种编译的或解释的语言。
作为例子，合适的处理器包括一般和特定微处理器。通常，处理器将从只读存储器和/或随机访问存储器接收指令和数据。通常，计算机将包括一个或多个大存储设备，用于存储数据文件；这种设备包括磁盘，例如内部的硬盘和可移动盘；磁光盘；以及光盘。适合具体表现计算机程序指令和数据的存储设备包括所有形式的非易失性存储器，包括作为例子的半导体存储设备，例如EPROM、EEPROM和闪存设备；磁盘例如内部硬盘和可移动盘；磁光盘；以及CD-ROM盘。上述任何都可以由ASIC(专用集成电路)补充，或者包含在ASIC中。
这种类型的计算机的例子是可编程的处理系统，用于实现图3和4中所示的处理。该系统可以包括一个处理器、一个随机访问存储器、一个硬驱动控制器以及一个输入/输出控制器，通过处理器总线连接。
对于本领域的普通技术人员来说，很显然，不偏离本发明的精神和范围内，可以对这里所公开的实施方式进行与本发明一致的各种修改和变型。根据说明书的考虑和这里所公开的本发明的实施，与本发明一致的其他实施方式将变得明显。
因此，尽管根据目前认为最可行的和优选的实施方式描述了本发明，说明书和实施方式仅能被认为是示例性的。本领域的那些普通技术人员将容易地认识到，在不偏离本发明的精神和范围的前提下，可以进行各种修改和等效结构和功能。因此，本发明必须符合最宽的解释，以便于包括所有这些修改和等效结构和功能，并且具有由以下权利要求所公开的真正的范围和精神。

Claims (41)

1.一种创建对象的一部分的图像的水平配准和垂直对齐的多层镶嵌的方法，包括步骤：
a.对于要成像的该对象的该部分的细节的每一层：
i.在一系列捕获的图像中捕获该层的细节；
ii.执行该层的所捕获的图像的成对配准，得到一个镶嵌；以及
iii.执行该层的该镶嵌的全局配准，得到一个优化的镶嵌层；
b.识别位于第一优化的镶嵌层上的图像上的和位于一个不同的优化的镶嵌层上的至少一个图像上的至少一个对齐对应对；以及
c.迭代地：
i.使用与每一个优化的镶嵌层相关联的所识别的对齐对应对，执行所有优化的镶嵌层的对齐和全局配准，得到一个基本上对齐的镶嵌；以及
ii.重新定义所识别的对齐对应对；
直到该层的对齐被优化。
2.根据权利要求1的方法，其中
在步骤a.ii之后和步骤a.iii之前，引入步骤：
识别与至少两个图像相关联的至少一个配准对应点；
步骤a.iii包括在全局配准期间使用所识别的与该层相关联的配准对应点；以及
在步骤a.iii之后引入步骤：
重新定义用于该层的所识别的配准对应点。
3.根据权利要求2的方法，其中步骤c.ii包括重新定义所识别的配准对应点。
4.根据权利要求1的方法，其中执行所捕获的图像的成对配准，得到一个镶嵌的步骤包括对于配准作为基础识别和使用图像上的公共灰色区域。
5.根据权利要求2的方法，其中重新定义所识别的配准对应点的步骤包括将以前所识别的配准对应点作为不可靠而丢弃。
6.根据权利要求5的方法，其中丢弃以前所识别的配准对应点的步骤包括将以前所识别的配准对应点作为构成异常而丢弃。
7.根据权利要求5的方法，其中丢弃以前所识别的配准对应点的步骤包括将以前所识别的配准对应点作为构成误差而丢弃。
8.根据权利要求2的方法，其中重新定义所识别的配准对应点的步骤包括识别额外的配准对应点。
9.根据权利要求1的方法，其中重新定义所识别的对齐对应对的步骤包括将以前所识别的对齐对应对作为不可靠而丢弃。
10.根据权利要求9的方法，其中丢弃以前所识别的对齐对应对的步骤包括将以前所识别的对齐对应对作为构成异常而丢弃。
11.根据权利要求9的方法，其中丢弃以前所识别的对齐对应对的步骤包括将以前所识别的对齐对应对作为构成误差而丢弃。
12.根据权利要求1的方法，其中重新定义所识别的对齐对应对的步骤包括识别额外的对齐对应对。
13.根据权利要求1的方法，其中捕获该层的细节的步骤包括使用不同于用于该层以前所捕获的细节的传感器，捕获以前已捕获的层的细节。
14.根据权利要求2的方法，其中重新定义所识别的配准对应点的步骤包括检查所执行的配准的结果。
15.根据权利要求14的方法，其中检查的步骤包括该层的该镶嵌的图像的一个手动视觉检查。
16.根据权利要求14的方法，其中检查的步骤包括该层的该镶嵌的图像的一个计算机辅助检查。
17.根据权利要求14的方法，其中检查的步骤包括对在所执行的配准中的误差计算和分配最小化能量函数。
18.根据权利要求17的方法，其中计算和分配最小化能量函数的步骤包括应用一个最小二乘能量最小化算法。
19.根据权利要求18的方法，其中应用最小二乘能量最小化算法的步骤包括步骤：
根据可靠性将关于配准误差的数据分成多个组；
考虑最可靠的组，使从最小二乘能量最小化算法的应用所获取的加权的最小二乘能量值最小化；以及
在最不可靠的组中使从最小二乘能量最小化算法的应用中所获取的能量值最小化，同时使最可靠的组的能量值中的任何增加最小化。
20.根据权利要求17的方法，其中计算和分配最小化能量函数的步骤包括应用95％次序统计量能量函数。
21.根据权利要求1的方法，其中执行对齐的步骤包括使用全局图像配准。
22.根据权利要求1的方法，其中重新定义所识别的对齐对应对的步骤包括检查所执行的配准的结果。
23.根据权利要求22的方法，其中检查的步骤包括该正被对齐的层的镶嵌的图像的一个手动视觉检查。
24.根据权利要求22的方法，其中检查的步骤包括该正被对齐的层的镶嵌的图像的计算机辅助检查。
25.根据权利要求22的方法，其中检查的步骤包括对在所执行的对齐中的误差计算和分配一个最小化能量函数。
26.根据权利要求25的方法，其中该计算和分配一个最小化能量函数的步骤包括应用一个最小二乘能量最小化算法。
27.根据权利要求26的方法，其中应用最小二乘能量最小化算法的步骤包括步骤：
根据可靠性将关于配准误差的数据分成多个组；
考虑最可靠的组，使从最小二乘能量最小化算法的应用所获取的加权的最小二乘能量值最小化；以及
在最不可靠的组中使从最小二乘能量最小化算法的应用中所获取的能量值最小化，同时使最可靠的组的能量值中的任何增加最小化。
28.根据权利要求25的方法，其中计算和分配最小化能量函数的步骤包括应用95％次序统计量能量函数。
29.一种创建对象的一部分的图像的水平配准和垂直对齐的多层镶嵌的方法，包括步骤：
a.在一系列图像中捕获每一层的细节；
b.执行所捕获的每一层的图像的成对配准，得到一个镶嵌；
c.对于要成像的该对象的细节的多个层：
i.识别至少一个配准对应点，每一个与两个图像相关联，并识别位于第一层上的图像上的和位于多个层的不同层上的至少一个图像上的至少一个对齐对应对；
ii.迭代地：
a)使用用于该多个层的每一个的所识别的配准对应点执行所捕获的多个层的每一个的图像的全局配准，得到一个镶嵌，并使用所识别的对齐对应对执行所有多个层的对齐，得到一个镶嵌；
b)重新定义用于多个层的每一个的所识别的配准对应点和所识别的对齐对应对；
直到优化多个层的配准和对齐；以及
iii.向多个层增加至少一层；
直到该对象的该部分的细节的所有层的对齐成像并优化。
30.根据权利要求29的方法，其中在迭代步骤之前，执行所捕获的图像的成对配准的步骤，得到一个镶嵌。
31.根据权利要求29的方法，其中所述识别至少一个配准对应点被所述识别至少一个对齐对应对跟随。
32.根据权利要求29的方法，其中所述识别至少一个对齐对应对被所述识别至少一个配准对应点跟随。
33.根据权利要求29的方法，其中重新定义所识别的配准对应点的步骤包括将以前所识别的配准对应点作为不可靠而丢弃。
34.根据权利要求33的方法，其中丢弃以前所识别的配准对应点的步骤包括将以前所识别的配准对应点作为构成异常而丢弃。
35.根据权利要求33的方法，其中丢弃以前所识别的配准对应点的步骤包括将以前所识别的配准对应点作为构成误差而丢弃。
36.根据权利要求29的方法，其中重新定义所识别的配准对应点的步骤包括识别额外的配准对应点。
37.根据权利要求29的方法，其中重新定义所识别的对齐对应对的步骤包括将以前所识别的对齐对应对作为不可靠而丢弃。
38.根据权利要求37的方法，其中丢弃以前所识别的对齐对应对的步骤包括将以前所识别的对齐对应对作为构成异常而丢弃。
39.根据权利要求37的方法，其中丢弃以前所识别的对齐对应对的步骤包括将以前所识别的对齐对应对作为构成误差而丢弃。
40.根据权利要求29的方法，其中重新定义所识别的对齐对应对的步骤包括识别额外的对齐对应对。
41.一种创建对象的一部分的图像的水平配准和垂直对齐的多层镶嵌的方法，包括步骤：
(a)对于要成像的对象的该部分的细节的每一层：
(i)在一系列所捕获的图像中捕获该层的细节；
(ii)执行该层的所捕获的图像的成对配准，得到一个镶嵌；
(iii)识别与至少两个图像相关联的至少一个配准对应点；
(iv)使用与该层相关联的所识别的配准对应点执行该层的镶嵌的全局配准，得到一个优化的镶嵌层；以及
(v)重新定义用于该层的所识别的配准对应点。
(b)识别位于第一优化的镶嵌层的图像上的和一个不同的优化的镶嵌层上的至少一个图像上的至少一个对齐对应对；以及
(c)迭代地：
(i)使用与每一个优化的镶嵌层相关联的所识别的对齐对应对，执行所有优化的镶嵌层的对齐和全局配准，得到一个基本上对齐的镶嵌；以及
(ii)重新定义所识别的对齐对应对和所识别的配准对应点；
直到这些层的对齐被优化。
CN2006100802559A 2005-05-13 2006-05-15 配准和对齐多个图像的方法 Active CN1862597B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
CA2507174A CA2507174C (en) 2005-05-13 2005-05-13 Method of registering and aligning multiple images
CA2,507,174 2005-05-13
US11/201,233 2005-08-10
US11/201,233 US7693348B2 (en) 2005-05-13 2005-08-10 Method of registering and aligning multiple images

Publications (2)

Publication Number Publication Date
CN1862597A CN1862597A (zh) 2006-11-15
CN1862597B true CN1862597B (zh) 2010-12-29

Family

ID=37390019

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006100802559A Active CN1862597B (zh) 2005-05-13 2006-05-15 配准和对齐多个图像的方法

Country Status (3)

Country Link
US (2) US7693348B2 (zh)
CN (1) CN1862597B (zh)
CA (1) CA2507174C (zh)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10721405B2 (en) 2004-03-25 2020-07-21 Clear Imaging Research, Llc Method and apparatus for implementing a digital graduated filter for an imaging apparatus
US8331723B2 (en) 2004-03-25 2012-12-11 Ozluturk Fatih M Method and apparatus to correct digital image blur due to motion of subject or imaging device
US9826159B2 (en) 2004-03-25 2017-11-21 Clear Imaging Research, Llc Method and apparatus for implementing a digital graduated filter for an imaging apparatus
US7593599B2 (en) * 2005-06-30 2009-09-22 Corning Incorporated Method of assembling a composite data map having a closed-form solution
JP4919028B2 (ja) * 2006-03-03 2012-04-18 富士ゼロックス株式会社 画像処理装置および画像処理プログラム
US8126257B2 (en) * 2006-04-12 2012-02-28 Kabushiki Kaisha Toshiba Alignment of semiconductor wafer patterns by corresponding edge groups
US7945117B2 (en) * 2006-08-22 2011-05-17 Siemens Medical Solutions Usa, Inc. Methods and systems for registration of images
US20080119712A1 (en) * 2006-11-20 2008-05-22 General Electric Company Systems and Methods for Automated Image Registration
WO2008073962A2 (en) 2006-12-12 2008-06-19 Rutgers, The State University Of New Jersey System and method for detecting and tracking features in images
CA2605234C (en) * 2007-10-03 2015-05-05 Semiconductor Insights Inc. A method of local tracing of connectivity and schematic representations produced therefrom
AU2009282654A1 (en) * 2008-08-18 2010-02-25 Waterloo Industries, Inc. Systems and arrangements for object identification
US20100265313A1 (en) * 2009-04-17 2010-10-21 Sony Corporation In-camera generation of high quality composite panoramic images
US8701058B2 (en) * 2009-06-18 2014-04-15 Semiconductor Insights Inc. Integrated circuit analysis systems and methods
JP5498189B2 (ja) * 2010-02-08 2014-05-21 株式会社日立ハイテクノロジーズ 欠陥検査方法及びその装置
WO2012015732A1 (en) * 2010-07-26 2012-02-02 Siemens Corporation Global error minimization in image mosaicking using graph laplacians and its applications in microscopy
WO2012037419A2 (en) * 2010-09-16 2012-03-22 Omnyx, LLC Digital pathology image manipulation
US9124873B2 (en) 2010-12-08 2015-09-01 Cognex Corporation System and method for finding correspondence between cameras in a three-dimensional vision system
US11488322B2 (en) 2010-12-08 2022-11-01 Cognex Corporation System and method for training a model in a plurality of non-perspective cameras and determining 3D pose of an object at runtime with the same
US8600192B2 (en) 2010-12-08 2013-12-03 Cognex Corporation System and method for finding correspondence between cameras in a three-dimensional vision system
US8279500B2 (en) 2011-01-27 2012-10-02 Seiko Epson Corporation System and method for integrated pair-wise registration of images using image based information and sensor coordinate and error information
US8253985B2 (en) * 2011-01-27 2012-08-28 Seiko Epson Corporation Image registration parameters and confidence estimation from sensor data
US8437497B2 (en) 2011-01-27 2013-05-07 Seiko Epson Corporation System and method for real-time image retensioning and loop error correction
US8805094B2 (en) * 2011-09-29 2014-08-12 Fujitsu Limited Using machine learning to improve detection of visual pairwise differences between browsers
WO2013085627A2 (en) 2011-10-21 2013-06-13 Conocophillips Company Ice data collection, processing and visualization system
CN103377382A (zh) * 2012-04-27 2013-10-30 通用电气公司 用于图像对准的最佳梯度寻踪
US9275485B2 (en) 2012-06-28 2016-03-01 The University Of Utah Research Foundation Seam network processing for panorama weaving
US8890894B2 (en) 2012-06-28 2014-11-18 The University Of Utah Research Foundation Seam processing for panorama weaving
KR102126355B1 (ko) * 2013-06-04 2020-06-25 삼성전자주식회사 방사선 촬영 장치 및 방사선 영상 생성 방법
CN107076980A (zh) * 2014-08-18 2017-08-18 维斯科技有限公司 用于大视场显微扫描中嵌入图像的系统和方法
US9286682B1 (en) * 2014-11-21 2016-03-15 Adobe Systems Incorporated Aligning multi-view scans
US9940704B2 (en) * 2015-06-19 2018-04-10 KLA—Tencor Corporation Pre-layer defect site review using design
US9530199B1 (en) * 2015-07-13 2016-12-27 Applied Materials Israel Ltd Technique for measuring overlay between layers of a multilayer structure
US10157439B2 (en) 2015-07-20 2018-12-18 Qualcomm Incorporated Systems and methods for selecting an image transform
CN105335931A (zh) * 2015-11-09 2016-02-17 广州视源电子科技股份有限公司 板卡图像拼接方法、处理装置及系统
US10074167B2 (en) * 2015-12-06 2018-09-11 Kla-Tencor Corporation Reducing registration and design vicinity induced noise for intra-die inspection
WO2017172611A1 (en) * 2016-03-28 2017-10-05 General Dynamics Mission Systems, Inc. System and methods for automatic solar panel recognition and defect detection using infrared imaging
JP7128203B2 (ja) * 2017-04-14 2022-08-30 ヴェンタナ メディカル システムズ， インク． スティッチングのための局所的タイルベースレジストレーションおよび大域的配置
EP3701496A1 (en) * 2017-10-27 2020-09-02 King Abdullah University Of Science And Technology An apparatus and method for fiducial marker alignment in electron tomography
CN110445465A (zh) * 2017-12-22 2019-11-12 晶科电力科技股份有限公司 一种光伏电站中热斑定位方法
US11182043B2 (en) * 2018-11-27 2021-11-23 Anduril Industries Inc. Interactive virtual interface

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5694481A (en) * 1995-04-12 1997-12-02 Semiconductor Insights Inc. Automated design analysis system for generating circuit schematics from high magnification images of an integrated circuit
US6097854A (en) * 1997-08-01 2000-08-01 Microsoft Corporation Image mosaic construction system and apparatus with patch-based alignment, global block adjustment and pair-wise motion-based local warping
US6359617B1 (en) * 1998-09-25 2002-03-19 Apple Computer, Inc. Blending arbitrary overlaying images into panoramas
US6549651B2 (en) * 1998-09-25 2003-04-15 Apple Computers, Inc. Aligning rectilinear images in 3D through projective registration and calibration
CN1426021A (zh) * 2002-12-19 2003-06-25 上海交通大学 遥感图像的非线性配准方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0602730B1 (en) * 1992-12-18 2002-06-19 Koninklijke Philips Electronics N.V. Registration of Volumetric images which are relatively elastically deformed by matching surfaces
US5649032A (en) * 1994-11-14 1997-07-15 David Sarnoff Research Center, Inc. System for automatically aligning images to form a mosaic image
US5832110A (en) * 1996-05-28 1998-11-03 Ricoh Company, Ltd. Image registration using projection histogram matching
US5974198A (en) * 1996-08-26 1999-10-26 Adobe Systems Incorporated Adjustment layers for composited image manipulation
CA2216900C (en) * 1996-10-01 2001-12-04 Semiconductor Insights Inc. Method to extract circuit information
US6597818B2 (en) * 1997-05-09 2003-07-22 Sarnoff Corporation Method and apparatus for performing geo-spatial registration of imagery
US6249616B1 (en) * 1997-05-30 2001-06-19 Enroute, Inc Combining digital images based on three-dimensional relationships between source image data sets
US6078701A (en) * 1997-08-01 2000-06-20 Sarnoff Corporation Method and apparatus for performing local to global multiframe alignment to construct mosaic images
JP3300280B2 (ja) * 1998-04-23 2002-07-08 インターナショナル・ビジネス・マシーンズ・コーポレーション 画像合成処理装置およびその方法
US6101238A (en) * 1998-11-25 2000-08-08 Siemens Corporate Research, Inc. System for generating a compound x-ray image for diagnosis
US6757445B1 (en) * 2000-10-04 2004-06-29 Pixxures, Inc. Method and apparatus for producing digital orthophotos using sparse stereo configurations and external models
US6684379B2 (en) * 2000-10-18 2004-01-27 Chipworks Design analysis workstation for analyzing integrated circuits
CA2358729C (en) * 2001-10-12 2008-07-08 Semiconductor Insights Inc. Computer aided method of circuit extraction
US7834905B2 (en) * 2002-06-18 2010-11-16 Bayerische Motoren Werke Aktiengesellschaft Method and system for visualizing the environment of a vehicle with a distance-dependent merging of an infrared and a visual image
US7362920B2 (en) * 2003-09-22 2008-04-22 Siemens Medical Solutions Usa, Inc. Method and system for hybrid rigid registration based on joint correspondences between scale-invariant salient region features
US7226797B2 (en) * 2004-11-23 2007-06-05 Hewlett-Packard Development Company, L.P. Sensing alignment of multiple layers

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5694481A (en) * 1995-04-12 1997-12-02 Semiconductor Insights Inc. Automated design analysis system for generating circuit schematics from high magnification images of an integrated circuit
US6097854A (en) * 1997-08-01 2000-08-01 Microsoft Corporation Image mosaic construction system and apparatus with patch-based alignment, global block adjustment and pair-wise motion-based local warping
US6359617B1 (en) * 1998-09-25 2002-03-19 Apple Computer, Inc. Blending arbitrary overlaying images into panoramas
US6549651B2 (en) * 1998-09-25 2003-04-15 Apple Computers, Inc. Aligning rectilinear images in 3D through projective registration and calibration
CN1426021A (zh) * 2002-12-19 2003-06-25 上海交通大学 遥感图像的非线性配准方法

Also Published As

Publication number Publication date
US20060257051A1 (en) 2006-11-16
US20080123996A1 (en) 2008-05-29
US7693348B2 (en) 2010-04-06
CN1862597A (zh) 2006-11-15
CA2507174A1 (en) 2006-11-13
CA2507174C (en) 2013-07-16

Similar Documents

Publication Publication Date Title
CN1862597B (zh) 配准和对齐多个图像的方法
US8538168B2 (en) Image pattern matching systems and methods for wafer alignment
EP1901228B1 (en) Apparatus, method and program for image matching
US10062005B2 (en) Multi-scale correspondence point matching using constellation of image chips
JP2004340840A (ja) 距離測定装置、距離測定方法、及び距離測定プログラム
CN105608667A (zh) 一种全景拼接的方法及装置
TWI551857B (zh) 檢驗方法
CN111340701A (zh) 一种基于聚类法筛选匹配点的电路板图像拼接方法
US20090092285A1 (en) Method of local tracing of connectivity and schematic representations produced therefrom
Kruger et al. In-factory calibration of multiocular camera systems
US6965386B2 (en) Method for three dimensional image reconstruction
JP4424797B2 (ja) 立体形状検出方法
Hannuksela et al. Document image mosaicing with mobile phones
RU2384882C1 (ru) Способ автоматической компоновки ландшафтных панорамных изображений
Klančar et al. Robust and efficient vision system for group of cooperating mobile robots with application to soccer robots
Hamzah et al. Software Calibration for Stereo Camera on Stereo Vision Mobile Robot using Tsai's Method
CN114881900A (zh) 一种基于特征匹配和渐入渐出融合的受电弓图像拼接方法
US20060241898A1 (en) Automated alignment of spatial data sets using geometric invariant information and parameter space clustering
Hurtík et al. Fuzzy transform theory in the view of image registration application
WO2008002077A2 (en) Method for correcting note image in damaged note
JPH1091788A (ja) パターン位置合わせ装置およびパターン位置合わせ方法
Zhang et al. Guided feature matching for multi-epoch historical image blocks pose estimation
KR102392631B1 (ko) 딥매칭을 이용한 콘크리트 구조물 또는 교량의 파노라마 이미지 생성 및 업데이트 시스템, 이의 파노라마 이미지 생성 및 업데이트 방법 및 파노라마 이미지 생성 및 업데이트 프로그램
Alihodza et al. Indoor 2D map generation using projective transformation
Liu et al. Accurate image mosaicing for bridge deck using graph optimization with GPS data

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C56 Change in the name or address of the patentee
CP01 Change in the name or title of a patent holder

Address after: ottawa

Patentee after: Taike Yingsai Technology Co., Ltd.

Address before: ottawa

Patentee before: Semiconductor Insights Inc.