CN103325085B - 自动图像对齐的方法、装置和系统 - Google Patents

自动图像对齐的方法、装置和系统 Download PDF

Info

Publication number
CN103325085B
CN103325085B CN201310059353.4A CN201310059353A CN103325085B CN 103325085 B CN103325085 B CN 103325085B CN 201310059353 A CN201310059353 A CN 201310059353A CN 103325085 B CN103325085 B CN 103325085B
Authority
CN
China
Prior art keywords
image
triangular mesh
corresponding points
alignment
key point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310059353.4A
Other languages
English (en)
Other versions
CN103325085A (zh
Inventor
余良吟
刘明昌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN103325085A publication Critical patent/CN103325085A/zh
Application granted granted Critical
Publication of CN103325085B publication Critical patent/CN103325085B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/422—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
    • G06V10/426—Graphical representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20072—Graph-based image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本公开涉及自动图像对齐。一种自动对齐图像的方法包括：(a)确定第一图像与第二图像之间的初始对应点特征；(b)从所述图像内的初始对应点特征为所述图像创建三角形网格；(c)利用所述三角形网格基于仿射变换估计来改善第一图像与第二图像之间的点对应关系。所述方法还可包括：(d)根据在(c)中改善的点对应关系为所述图像创建改善的三角形网格；以及(e)通过改善的三角形网格中的多对对应三角形上的仿射变换的插值来确定所述多对对应三角形的区域内的坐标对齐。

Description

自动图像对齐的方法、装置和系统
技术领域
本公开涉及用于自动地对齐图像（例如，用不同方法染色的组织样本的图像）的方法和系统。
背景技术
病理诊断通常涉及将组织样本（例如，活体样本）切成薄片，将切片放置在各个载玻片上，并用不同的方法和试剂给切片染色。例如，组织样本切片可用苏木精和伊红（H&E）染色剂染色，以用于使样本的组织结构显现，而相邻的组织样本切片可用具有因病而异的抗体的免疫组织化学（IHC）染色剂染色。病理学家通常对H&E染色样本执行初步诊断，然后从同一活体块进行IHC染色以用于验证和预后。
随着数字化的趋势，标本玻片通常被扫描为数字图像（虚拟玻片）以供日后在监控器上查看。为了做出最终诊断，病理学家需要同时检查来自同一活体块的H&E图像上的感兴趣的区域及其在IHC图像上的对应区域。因此，需要在监控器上对齐这些染色图像，使得可在整个图像上实现同时、同步的查看，并且无论倍率如何，对应查看都是准确的（图1）。
对齐这样的染色图像是有挑战性的，因为在用不同方法染色的两个相邻样本切片之间通常存在很大的图像外观差异，并且涉及各种局部变形。相邻样本通过简单变换之后通常是不相关的，并且结构变化在整个相邻样本和不同倍率上是不可预测的。例如，从组织块的相邻但不同的部分获得的两个图像可能具有未良好定义的结构对应关系（参见图2）。并且染色图像可能具有微弱的结构，需要使其变得明确以便对齐整个图像（图3）。此外，因为组织切片在样本处理期间可能被拉伸或变形，所以每个图像的不同部分可能与同一图像的其他部分不同地变换（图4）。
由于上述问题，现有的用于图像对齐和导航的系统要求用户手工定位虚拟玻片（图像）上的对应区域。当在远离对齐区域的区域中和在不同分辨率查看时，必须重新进行该过程。对于非常大的图像（例如，100k×100k），该过程变得繁琐且不实用。另外，当在高分辨率对图像进行局部检查时，对应区域之间的外观快速岔开，变得难以找到匹配点。
因此，需要开发用于自动地对齐整体外观类似但具有局部变形的图像（例如，用不同方法染色的组织样本的大图像）的方法和系统。
发明内容
本公开包括用于对齐图像的示例性方法。所述方法的实施例包括：(a)确定第一图像与第二图像之间的初始对应点特征；(b)从所述图像内的初始对应点特征对所述图像创建三角形网格；和(c)基于使用所述三角形网格的仿射变换估计来改善第一图像与第二图像之间的点对应关系。所述方法的实施例还可包括：(d)从在(c)中改善的点对应关系对所述图像创建改善的三角形网格；和(e)通过改善的三角形网格中的多对对应三角形上的仿射变换的插值来确定所述多对对应三角形的区域内的坐标对齐。
根据本公开内容的示例性系统包括：对应关系创建器，其确定第一图像与第二图像之间的初始对应点特征；第一三角仪，其从所述图像内的初始对应点特征对所述图像创建三角形网格；对应关系改善器，其基于使用所述三角形网格的仿射变换估计来改善第一图像与第二图像之间的点对应关系；第二三角仪，其从改善的点对应关系对所述图像创建改善的三角形网格；和坐标对齐产生器，其通过使用改善的三角形网格中的多对对应三角形上的仿射变换进行插值来确定所述多对对应三角形的区域内的坐标对齐。
本公开内容包括一种存储在被执行时使计算机执行用于对齐图像的方法的示例性计算机可读介质，所述方法包括：(a)确定第一图像与第二图像之间的初始对应点特征；(b)从所述图像内的初始对应点特征对所述图像创建三角形网格；(c)基于使用所述三角形网格的仿射变换估计来改善第一图像与第二图像之间的点对应关系；(d)从在(c)中改善的点对应关系对所述图像创建改善的三角形网格；和(e)通过使用改善的三角形网格中的多对对应三角形上的仿射变换进行插值来确定所述多对对应三角形的区域内的坐标对齐。
还提供一种用于对齐图像的示例性计算机系统，该计算机系统包括：一个或多个处理器，其被构造为执行程序指令；和计算机可读介质，其包含在被所述一个或多个处理器执行时使所述计算机系统执行用于对齐图像的方法的可执行指令，所述方法包括：(a)确定第一图像与第二图像之间的初始对应点特征；(b)从所述图像内的初始对应点特征对所述图像创建三角形网格；(c)基于使用所述三角形网格的仿射变换估计来改善第一图像与第二图像之间的点对应关系；(d)从在(c)中改善的点对应关系对所述图像创建改善的三角形网格；和(e)通过改善的三角形网格中的多对对应三角形上的仿射变换的插值来确定所述多对对应三角形的区域内的坐标对齐。
要理解，前面的概括描述和下面的详细描述都仅仅是示例性的、解释性的，而非限制要求保护的本发明。
附图说明
图1示出用于病理诊断目的的图像的对齐。
图2显示分别用H&E（左）和IHC（右）染色的两个相邻组织样本之间的未良好定义的结构对应关系的例子。
图3显示分别用H&E（左）和IHC（右）染色的两个相邻组织样本中的微弱结构的例子。
图4显示由于组织处理而导致分别用H&E（左）和IHC（右）染色的两个相邻组织样本之间的不均匀变换的例子。
图5显示流程图，示出与目前要求保护的发明一致的示例性方法。
图6显示流程图，示出对齐两个图像的示例性第一阶段。
图7显示对齐两个图像的示例性第一阶段期间的示例性关键点产生（A）和关键点交叉匹配（B）。
图8显示在对齐两个图像的示例性方法中基于初始对应点特征而创建的示例性三角形网格。
图9显示流程图，示出对齐两个图像的示例性第二阶段。
图10显示流程图，示出对齐两个图像的示例性第三阶段。
图11示出与本发明一致的示例性图像对齐系统的框图。
具体实施方式
现在将详细论述示例性实施例，这些示例性实施例的例子在附图中被示出。只要有可能，相同的附图标记在所有附图中用于指代相同部分或相似部分。
本文所公开的方法和系统具有许多实际应用。例如，示例性实施例可被用于自动地对齐用不同方法染色的组织样本的大图像。通过识别匹配点和通过局部变换对局部变形进行建模，本文所公开的方法和系统可实现不同分辨率的同步查看，并且使图像中的对应区域同步。本文所公开的方法和系统不仅可用于病理诊断目的，而且还可用于对齐整体外观类似、但是包含局部变化或差异的任何图像，例如，同一场景的不同视角的卫星图像。
在下面的段落中，出于说明的目的，频繁地使用术语“IHC图像”和“H&E图像”。它们旨在概括地指代将被对齐的任何图像，而非字面上限于IHC图像或H&E图像。
图5示出与目前要求保护的发明一致的示例性方法的流程图。如图5所示，确定两个图像之间的初始对应点特征（步骤506）。所述图像可以是整体外观类似但有局部差异的任何图像，比如，用不同方法染色的相邻组织样本的图像，例如，一个用H&E染色剂，另一个用IHC染色剂。在一些实施例中，所述图像可从相同倍率获得，例如，图像可从40×倍率获得。在一些实施例中，出于处理的目的，可对图像进行下采样。
可通过图像处理算法（例如，沿着图像曲线的最大曲率）从图像提取点特征。然后，可通过在两个图像之间对点特征进行交叉匹配来确定这些点特征的对应关系。
基于初始对应点特征，可对每个图像创建三角形网格（步骤508），其中每个识别的对应点特征被用作三角形的顶点。在一些实施例中，三角形网格是Delaunary三角剖分。将意识到，至少三个初始对应点特征将被步骤508识别，以便创建三角形网格。
基于三角形网格上的仿射变换估计，可改善所述两个图像之间的点对应关系（步骤510），以获得这些图像的更精细的对应关系覆盖范围。有效地，仿射变换估计允许三角形网格中的对应三角形内的坐标的粗略对齐。结果，可识别附加的更多的准确对应点。
接着，可基于改善的点对应关系对每个图像创建改善的三角形网格（步骤512）。与从初始对应点特征创建的三角形网格相比，改善的三角形网格可包含更精细的三角形，并且覆盖图像中更多的空间。在一些实施例中，改善的三角形网格是Delaunary三角剖分。在一些实施例中，可对图像的未被改善的三角形网格覆盖的区域进行进一步处理，以识别附加的点对应关系，这些附加的点对应关系可被用于改进所述改善的三角形网格。
可使用改善的三角形网格来确定两个图像之间每个三角形内的坐标对齐（步骤514）。在一些实施例中，可对每对对应三角形计算仿射变换，并可基于仿射变换数据的插值来对齐三角形内的区域的坐标。
可基于三角形网格和三角形内的插值坐标对齐来对齐整个图像。对齐的坐标（516）（包括在三角形网格的边缘上对齐的坐标和基于插值对齐的坐标）可被存储在包括数据结构的数据库中，以用于再现在监控器上供用户同步查看。
图6显示了更详细地示出对齐两个图像的示例性第一阶段的流程图，示例性第一阶段包括确定两个图像之间的初始对应点特征并且从初始对应点特征对每个图像创建三角形网格。如图6所示，在一些实施例中，可将图像划分为多个子图像窗口，可对这些子图像窗口单个地进行处理以提取点特征并确定对应关系。图像划分可基于适合于图像的任何标准。例如，可基于图像的结构特征来划分图像之一（比如，H&E染色图像）（步骤608）。在一些实施例中，从H&E染色图像提取结构图，以识别用于图像划分的结构特征。在一些实施例中，在划分图像之前，可用染色剂分离算法来分离H&E或其他试剂的染色剂。在一些实施例中，子图像窗口可以以结构特征为中心。子图像窗口的大小可以是对于点特征提取和/或对应关系确定而言可取的任何大小，例如，100×100、200×200、300×300、400×400、500×500、600×600、800×800、900×900或1000×1000。在一些实施例中，子图像窗口的大小可以是600×600或400×400。
另外，可将另一图像（例如，IHC染色图像）划分为对应的相同大小的子图像窗口（步骤606）。在一些实施例中，为了确定初始对应点特征，可基于所述两个图像之间的直接图像坐标对应关系来划分另一图像（例如，IHC图像）。例如，可通过直接图像坐标映射将H&E图像的子图像窗口的中心映射到IHC图像，并且可基于该中心的位置在IHC图像中确定相同大小的子图像窗口。
如图6中进一步显示的，可通过分析子图像窗口的内容来对子图像窗口产生关键点（步骤610）。适合于图像的任何图像处理方法可用于产生关键点（比如，最大曲率检测）。如图7A中所例示的，在一些实施例中，可在图像分割之后基于最大曲率检测对IHC图像中的子图像窗口产生关键点。
返回参照图6，可在所述另一图像的对应子图像窗口中对关键点进行交叉匹配（步骤612）。在一些实施例中，小的关键点窗口（比如，以关键点为中心的64×64窗口）可被用于扫描另一图像（例如，H&E图像）中的对应子图像窗口以检测对应关系。在一些实施例中，可通过关键点窗口的互关联（例如，规范化互关联（normalizedcrosscorrelation））来确定所述另一图像中的关键点的对应关系。也可使用用于交叉匹配目的的其他图像分析方法，例如，基于相似性的匹配或模板匹配。一旦确定存在对应关系，就选择一个图像中的关键点及其在另一图像中的对应点作为初始对应点特征，并将这些点整合为用于三角剖分的一组初始对应点特征。
可对每个关键点重复交叉匹配，直到对子图像窗口产生的所有关键点都已被处理为止。在一些实施例中，可对来自步骤608的划分图像（例如，划分的H&E图像）的每个子图像窗口，重复迭代包括对应子图像窗口的识别（606）、关键点产生（610）和关键点交叉匹配（612）的步骤。
在一些实施例中，可基于可取的标准（例如，子图像窗口中心中的结构特征的密度）来按优先级排列一个图像（例如，H&E图像）中的子图像窗口以供处理。在一些实施例中，可根据优先级来选择H&E图像中的子图像窗口进行处理。然后，可在IHC图像中识别其对应的子图像窗口。在IHC图像中的识别窗口内，产生关键点，并将这些关键点与H&E图像中对应的子图像窗口进行匹配。一旦所有关键点对于该对子图像窗口被试尽，就根据优先级从H&E图像选择新的子图像窗口来重复该过程。
在一些实施例中，对初始对应点特征进行过滤，以消除错误的对应点（步骤614）。例如，如图7B的下图所示，可绘制连接两个图像之间的对应点的线段。理论上，如果对应点都是真的，则这些线将都是平行的。因此，连接对应点的非平行（例如交叉）线表明对应关系是错误的，对应点可作为错误肯定被滤除。可在图像对齐过程的某一时刻执行这样的过滤，例如，在每个子图像窗口被处理之后、在初始对应点特征确定期间和/或之后、和/或在改善点对应关系之后。
对于每个图像，从对于该图像识别的初始对应点特征创建三角形网格。在一些实施例中，三角形网格是Delaunary三角剖分。图8显示了从H&E染色图像（左）和IHC染色图像（右）中的初始对应点特征创建的示例性三角形网格。
图9显示了示出对齐两个图像的示例性第二阶段的流程图。在这个阶段，可利用从第一阶段获得的三角形网格基于仿射变换估计来改善点对应关系。如图9所示，可再次如上所述那样将图像划分为多个子图像窗口（步骤906）。例如，可基于结构特征来对H&E图像进行划分，并且子图像窗口均可以以结构特征点为中心。子图像窗口可以是对于改善点对应关系而言可取的任何大小，例如，100×100、200×200、300×300、400×400、500×500、600×600、800×800、900×900或1000×1000。
在一些实施例中，对于每个子图像窗口，可通过基于从初始对应点特征创建的三角形网格的仿射估计来在另一图像中识别对应的子图像窗口。例如，可基于从包含H&E图像中的子图像窗口的中心的三角形的仿射估计来将该中心映射到IHC图像，并且可基于映射的位置在IHC图像中识别对应的相同大小的子图像窗口。
在一些实施例中，如上述第一阶段中那样，对对应的子图像窗口产生关键点（步骤908）。在一些实施例中，可在图像分割之后基于最大曲率检测对IHC图像中的每个子图像窗口产生关键点。
类似于第一阶段，可在另一图像中的对应子图像窗口中对关键点进行交叉匹配（步骤910）。在一些实施例中，可使用小的关键点窗口（比如，以关键点为中心的64×64窗口）来扫描所述另一图像（例如，H&E图像）中的对应子图像窗口。可通过例如规范化互关联或其他类似的图像分析方法（比如，模板匹配）来确定另一图像中的关键点的对应关系。具有图像之间的对应关系的匹配关键点被选择、过滤并整合为一组对应点以用于改善的三角剖分。对划分图像（来自步骤906）的每个子图像窗口和子图像窗口中的每个关键点重复该交叉匹配。
在一些实施例中，可如以上对于第一阶段所述那样按优先级排列子图像窗口的处理。在一些实施例中，可对选定的对应点进行过滤，以消除错误肯定，例如，在对每个子图像窗口进行处理之后，或者在对所有子图像窗口进行处理之后（步骤912）。
如图9所示，可基于改善的点对应关系（即，从上述关键点交叉匹配识别的对应点）来创建改善的三角形网格。与从第一阶段获得的三角形网格相比，从第二阶段获得的改善的三角形网格可包含更多的顶点和更精细的三角形，并且可覆盖更多的图像空间。
如图10中的示例性流程图所示，本发明的一些实施例包括对于图像的外围区域进一步改善点对应关系和三角形网格的第三阶段。可在从第二阶段获得的改善的三角形网格外部识别附加的对应点，并且可通过合并这些附加的对应点来更新改善的三角形网格。
如图10所示，在一些实施例中，可对在第二阶段结束时识别的所有对应点计算凸空间（凸包（convexhull））（步骤1004）。未被凸包覆盖的外围区域可包含空白背景图像，但是这些区域中的一些可能显示感兴趣对象（比如，组织样本）的部分，因此可能包含可用于图像对齐的点特征。图像的可包含关于图像对齐的信息但未被凸包覆盖的那些区域在图10中和在下面被称为“缺失区域”。在一些实施例中，可从图像减去凸包，并且可分析其余图像的内容以识别缺失区域（步骤1006）以用于进一步的图像对齐。在一些实施例中，可用图像处理工具（比如，图像分割，例如，基于图形的分割）来分析其余图像的内容以识别缺失区域。在一些实施例中，对H&E图像计算凸包，并通过图像分割来分析凸包外部的图像内容以识别缺失区域。
在一些实施例中，可如上述第一阶段或第二阶段中那样将缺失区域划分为多个子图像窗口以产生新的关键点，并识别图像之间的附加对应点。例如，可基于结构特征来对H&E图像中的缺失区域进行划分。可将每个子图像窗口映射到另一图像，以识别对应的子图像窗口。例如，H&E图像中的子图像窗口可以基于几何位置或仿射映射来映射到IHC图像。在一些实施例中，如第一阶段和第二阶段中那样，可在IHC图像中的子图像窗口中产生关键点（步骤1008），然后交叉匹配到H&E图像中的对应子图像窗口。选择匹配关键点作为图像之间的对应点（步骤1010），并对这些匹配关键点进行过滤。可对缺失区域中的每个子图像窗口重复迭代以上处理。在所有的缺失区域都已被处理之后，可对在缺失区域中识别的新的对应点进行过滤以消除错误肯定，如上面描述的那样（步骤1012）。可更新从前一阶段获得的改善的三角形网格来合并新的对应点（步骤1014）。
参照图10，在一些实施例中，在所有的识别的缺失区域都已被处理并且改善的三角形网格被更新之后，可基于三角形网格来计算新的凸包（步骤1015）。为了确定因丢失区域而增大的对齐覆盖范围的广度，可计算新凸包和之前的凸包的面积，并可将区域覆盖范围增加比（r）确定为附加面积覆盖范围与之前覆盖的图像面积的比率。如果r大于预定值R（可以是例如5%、4%、3%、2%、1%、0.9%、0.8%、0.7%、0.6%、0.5%、0.4%、0.3%、0.2%、0.1%或者适合于所述目的的任何其他值）（步骤1016），则可再次如上所述那样对图像进行处理，以识别新凸包外部的新的缺失区域并且识别附加的对应点。在一些实施例中，预定值R可以是0.6%。再次更新改善的三角形网格，以合并在新的缺失区域中识别的任何附加对应点。在一些实施例中，迭代上述处理，并更新改善的三角形网格以合并新识别的对应点，直到区域覆盖范围增加比（r）不大于预定值R为止。
在一些实施例中，可选地，可再次对图像进行处理，以识别附加的缺失区域，在所述附加的缺失区域中，覆盖的三角形网格的凸包外部的点特征可被确定，并可通过不同的图像匹配方法（例如，计算几何方法）在图像之间被匹配。可进一步更新改善的三角形网格，以合并如此识别的对应点。
基于改善的三角形网格，可将一个图像中的坐标映射在另一图像中（步骤1018）。例如，对于改善的三角形网格中的每对对应三角形，顶点处的坐标可通过仿射变换来对齐，而每个三角形内的坐标则可通过顶点处的仿射变换的插值来对齐。在一些实施例中，可使用从第二阶段获得的改善的三角形网格来如上所述那样对齐坐标。对齐的坐标可被存储在数据结构和/或数据库中。可基于对齐的坐标来产生整个图像的对齐以用于输出（例如，呈现在一个或多个监控器上、打印等）。
组织样本图像（包括IHC和H&E图像）仅仅是将被对齐的示例性图像。与所公开的实施例一致的任何类型的图像也可以是用于本文所公开的自动图像对齐的候选者。多于两个的图像可以使用在不脱离本发明的更宽泛的精神和范围的情况下进行修改和改变的本文所公开的方法和系统来对齐。
应理解的是，图5、图6、图9和图10中的上述示例性处理流程仅仅是出于说明的目的。某些步骤可被删除、组合或重新布置，并且附加步骤可被添加。
本文所公开的方法可被实现为计算机程序产品，即，有形地包含在非暂时性信息载体中（比如，机器可读存储设备或有形的非暂时性计算机可读介质中）供数据处理装置执行或者控制数据处理装置的操作的计算机程序产品，所述数据处理装置例如为一个可编程处理器、多个处理器、一个计算机或多个计算机。计算机程序可用任何合适形式的编程语言（包括编译语言或解释语言）来编写，并且它可以以各种形式部署，包括被部署为独立程序或者被部署为模块、组件、子例程或者适用于在计算环境中使用的其他单元。计算机程序可被部署为在一个站点的一个计算机或多个计算机上执行、或者跨多个站点分布并且通过通信网络互连。
本文所公开的部分方法或所有方法还可用以下硬件来实现：专用集成电路（ASIC）、现场可编程门阵列（FPGA）、复杂可编程逻辑器件（CPLD）、印刷电路板（PCB）、数字信号处理器（DSP）、可编程逻辑组件和可编程互连的组合、单个中央处理单元（CPU）芯片、组合在母板上的CPU芯片、通用计算机、或者能够执行本文所公开的自动图像对齐的器件或模块的任何其他组合。
图11示出了与本发明一致的示例性图像对齐系统1100的框图。如图11所示，示例性系统1100可包括对应关系创建器1106；第一三角仪1108；对应关系改善器1110；第二三角仪1112；以及坐标对齐产生器1114。
参照图11，当接收到将被对齐的图像时，对应关系创建器1106可如上所述那样（例如，如图像对齐的第一阶段中所述那样）创建图像之间的初始对应点特征。第一三角仪1108然后从每个图像内的初始对应点特征对所述图像创建三角形网格。
基于对三角形网格的仿射变换估计，对应关系改善器1110如上所述那样（例如，如图像对齐的第二阶段中所述那样）改善图像之间的点对应关系。第二三角仪1112可从通过对应关系改善器改善的点对应关系为每个图像创建改善的三角形网格。
基于改善的三角形网格，坐标对齐产生器1114通过仿射变换来确定每对对应三角形的顶点处的坐标对齐。坐标对齐产生器还可通过每对对应三角形上的仿射变换的插值来确定该对三角形的区域内的坐标对齐。
在一些实施例中，示例性系统还可包括存储关于图像的坐标对齐信息的数据库1118，数据库1118可以是数据结构或数据管理系统。数据库还可存储在图像对齐处理期间产生或使用的任何信息。示例性系统还可包括提供用于在一个或多个监控器（比如，计算机监控器、TV监控器）或者打印机等上输出的对齐图像1120的图像对齐呈现引擎1116。
图11的系统1110可被实现为用于对齐图像的计算机系统，该计算机系统包括：一个或多个处理器，其被配置为执行程序指令；和计算机可读介质，其包含在被所述一个或多个处理器执行时使所述计算机系统执行用于对齐图像的方法的可执行指令，所述方法包括：(a)确定第一图像与第二图像之间的初始对应点特征；(b)从每个图像内的初始对应点特征对所述图像创建三角形网格；(c)基于使用所述三角形网格的仿射变换估计来改善第一图像与第二图像之间的点对应关系；(d)从在(c)中改善的点对应关系对每个图像创建改善的三角形网格；和(e)通过每对对应三角形上的仿射变换的插值来确定改善的三角形网格中所述对对应三角形的区域内的坐标对齐。
本技术可配置为如下。
（1）一种计算机实施的用于对齐图像的方法，所述方法包括由一个或多个计算机执行的以下步骤：(a)确定第一图像与第二图像之间的初始对应点特征；(b)从所述图像内的初始对应点特征对所述图像创建三角形网格；(c)利用所述三角形网格基于仿射变换估计来改善第一图像与第二图像之间的点对应关系；(d)根据在(c)中改善的点对应关系为所述图像创建改善的三角形网格；以及(e)通过改善的三角形网格中的多对对应三角形上的仿射变换的插值来确定所述多对对应三角形的区域内的坐标对齐。
（2）根据（1）的方法，其中，(a)确定初始对应点特征的步骤包括：产生第一图像中的关键点；确定第二图像中针对所述关键点的对应关系；以及将在第二图像中具有对应关系的关键点选择为初始对应点特征。
（3）根据（2）的方法，还包括：将所述第二图像划分为多个子图像窗口；以及识别所述第一图像中对应的子图像窗口；其中，产生关键点的步骤包括为所述第一图像中的对应子图像窗口产生关键点。
（4）根据（1）的方法，还包括滤除错误的初始对应点特征。
（5）根据（1）的方法，其中，(b)的三角形网格是Delaunay三角剖分。
（6）根据（1）的方法，其中，(c)改善点对应关系的步骤包括：将所述第二图像划分为多个子图像窗口；利用(b)的三角形网格基于仿射变换估计在所述第一图像中识别对应子图像窗口；以及针对所述第一图像和第二图像中的对应子图像窗口识别第一图像与第二图像之间的对应点。
（7）根据（6）的方法，其中，识别对应点的步骤包括：对所述第一图像中的对应子图像窗口产生关键点；确定所述第二图像中针对所述关键点的对应关系；以及选择在所述第二图像中具有对应关系的关键点作为对应点。
（8）根据（7）的方法，还包括滤除错误的对应点。
（9）根据（6）的方法，还包括：对所述第一图像和第二图像中的一个图像计算包含所述对应点的凸空间；识别所述一个图像中位于所述凸空间外部的缺失区域；以及识别所述缺失区域中的所述第一图像与第二图像之间的对应点。
（10）根据（1）的方法，还包括：基于所述坐标对齐和改善的三角形网格来产生图像对齐。
（11）根据（1）的方法，其中，所述第一图像是免疫组织化学IHC染色图像；并且所述第二图像是苏木精和伊红H&E染色图像。
（12）根据（2）的方法，其中，确定对应关系的步骤包括规范化互关联。
（13）根据（3）的方法，其中，产生关键点的步骤包括在第一图像上的图像分割之后的最大曲率检测。
（14）根据（7）的方法，其中，确定对应关系的步骤包括规范化互关联。
（15）一种用于对齐图像的装置，包括：图像对应关系创建器，其确定第一图像与第二图像之间的初始对应点特征；第一三角仪，其从图像内的初始对应点特征为所述图像创建三角形网格；对应关系改善器，其利用所述三角形网格基于仿射变换估计来改善第一图像与第二图像之间的点对应关系；第二三角仪，其从改善的点对应关系为所述图像创建改善的三角形网格；以及坐标对齐产生器，其通过改善的三角形网格中的多对对应三角形上的仿射变换的插值来确定所述多对对应三角形的区域内的坐标对齐。
（16）根据（15）的装置，还包括：图像对齐呈现引擎，其基于所述坐标对齐和改善的三角形网格来产生图像对齐。
（17）根据（15）的装置，还包括：数据库，其存储坐标对齐信息。
（18）一种存储指令的计算机可读介质，该指令在被执行时使计算机执行对齐图像的方法，所述方法包括：(a)确定第一图像与第二图像之间的初始对应点特征；(b)从图像内的初始对应点特征为所述图像创建三角形网格；(c)利用所述三角形网格基于仿射变换估计来改善第一图像与第二图像之间的点对应关系；(d)根据在(c)中改善的点对应关系为所述图像创建改善的三角形网格；以及(e)通过改善的三角形网格中的多对对应三角形上的仿射变换的插值来确定所述多对对应三角形的区域内的坐标对齐。
（19）根据（18）的方法，还包括：基于所述坐标对齐和改善的三角形网格来产生图像对齐。
（20）一种用于对齐图像的计算机系统，包括：一个或多个处理器，其被配置为执行程序指令；和计算机可读介质，其包含可执行指令，该可执行指令在被所述一个或多个处理器执行时使所述计算机系统执行对齐图像的方法，所述方法包括：(a)确定第一图像与第二图像之间的初始对应点特征；(b)从图像内的初始对应点特征为所述图像创建三角形网格；(c)利用所述三角形网格基于仿射变换估计来改善第一图像与第二图像之间的点对应关系；(d)根据在(c)中改善的点对应关系为所述图像创建改善的三角形网格；以及(e)通过改善的三角形网格中的多对对应三角形上的仿射变换的插值来确定所述多对对应三角形的区域内的坐标对齐。
在前面的说明书中，已参照特定示例性实施例描述了本发明。然而，将显而易见的是，在不脱离如权利要求中所阐述的本发明的更宽泛的精神和范围的情况下，可进行各种修改和改变。说明书和附图因此要被认为是说明性的，而非限制性的。通过考虑本文所公开的本发明的说明书和实践，本发明的其他实施例对于本领域技术人员可以是清楚的。

Claims (20)

1.一种计算机实施的用于对齐图像的方法，所述方法包括由一个或多个计算机执行的以下步骤：
(a)确定第一图像与第二图像之间的初始对应点特征；
(b)从所述图像内的初始对应点特征对所述图像创建三角形网格；
(c)利用所述三角形网格基于仿射变换估计来改善第一图像与第二图像之间的点对应关系；
(d)根据在(c)中改善的点对应关系为所述图像创建改善的三角形网格；以及
(e)通过改善的三角形网格中的多对对应三角形上的仿射变换的插值来确定所述多对对应三角形的区域内的坐标对齐。
2.根据权利要求1所述的方法，其中，(a)确定初始对应点特征的步骤包括：
产生第一图像中的关键点；
确定第二图像中针对所述关键点的对应关系；以及
将在第二图像中具有对应关系的关键点选择为初始对应点特征。
3.根据权利要求2所述的方法，还包括：
将所述第二图像划分为多个子图像窗口；以及
识别所述第一图像中对应的子图像窗口；
其中，产生关键点的步骤包括为所述第一图像中的对应子图像窗口产生关键点。
4.根据权利要求1所述的方法，还包括滤除错误的初始对应点特征。
5.根据权利要求1所述的方法，其中，(b)的三角形网格是Delaunay三角剖分。
6.根据权利要求1所述的方法，其中，(c)改善点对应关系的步骤包括：
将所述第二图像划分为多个子图像窗口；
利用(b)的三角形网格基于仿射变换估计在所述第一图像中识别对应子图像窗口；以及
针对所述第一图像和第二图像中的对应子图像窗口识别第一图像与第二图像之间的对应点。
7.根据权利要求6所述的方法，其中，识别对应点的步骤包括：
对所述第一图像中的对应子图像窗口产生关键点；
针对所述关键点确定在所述第二图像中的对应关系；以及
选择在所述第二图像中具有对应关系的关键点作为对应点。
8.根据权利要求7所述的方法，还包括滤除错误的对应点。
9.根据权利要求6所述的方法，还包括：
对所述第一图像和第二图像中的一个图像计算包含所述对应点的凸空间；
识别所述一个图像中位于所述凸空间外部的缺失区域；以及
识别所述缺失区域中的所述第一图像与第二图像之间的对应点。
10.根据权利要求1所述的方法，还包括：基于所述坐标对齐和改善的三角形网格来产生图像对齐。
11.根据权利要求1所述的方法，其中，所述第一图像是免疫组织化学IHC染色图像；并且所述第二图像是苏木精和伊红H&E染色图像。
12.根据权利要求2所述的方法，其中，确定对应关系的步骤包括归一化互相关。
13.根据权利要求3所述的方法，其中，产生关键点的步骤包括在第一图像上的图像分割之后的最大曲率检测。
14.根据权利要求7所述的方法，其中，确定对应关系的步骤包括归一化互相关。
15.一种用于对齐图像的装置，包括：
图像对应关系创建器，其确定第一图像与第二图像之间的初始对应点特征；
第一三角仪，其从图像内的初始对应点特征为所述图像创建三角形网格；
对应关系改善器，其利用所述三角形网格基于仿射变换估计来改善第一图像与第二图像之间的点对应关系；
第二三角仪，其从改善的点对应关系为所述图像创建改善的三角形网格；以及
坐标对齐产生器，其通过改善的三角形网格中的多对对应三角形上的仿射变换的插值来确定所述多对对应三角形的区域内的坐标对齐。
16.根据权利要求15所述的装置，还包括：
图像对齐呈现引擎，其基于所述坐标对齐和改善的三角形网格来产生图像对齐。
17.根据权利要求15所述的装置，还包括：数据库，其存储坐标对齐信息。
18.一种用于对齐图像的系统，包括：
(a)用于确定第一图像与第二图像之间的初始对应点特征的装置；
(b)用于从图像内的初始对应点特征为所述图像创建三角形网格的装置；
(c)用于利用所述三角形网格基于仿射变换估计来改善第一图像与第二图像之间的点对应关系的装置；
(d)用于根据在(c)中改善的点对应关系为所述图像创建改善的三角形网格的装置；以及
(e)用于通过改善的三角形网格中的多对对应三角形上的仿射变换的插值来确定所述多对对应三角形的区域内的坐标对齐的装置。
19.根据权利要求18所述的系统，还包括：用于基于所述坐标对齐和改善的三角形网格来产生图像对齐的装置。
20.根据权利要求18所述的系统，其中，该系统是计算机系统。
CN201310059353.4A 2012-03-02 2013-02-26 自动图像对齐的方法、装置和系统 Active CN103325085B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/410,960 US8605972B2 (en) 2012-03-02 2012-03-02 Automatic image alignment
US13/410,960 2012-03-02

Publications (2)

Publication Number Publication Date
CN103325085A CN103325085A (zh) 2013-09-25
CN103325085B true CN103325085B (zh) 2016-05-18

Family

ID=47900511

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310059353.4A Active CN103325085B (zh) 2012-03-02 2013-02-26 自动图像对齐的方法、装置和系统

Country Status (6)

Country Link
US (1) US8605972B2 (zh)
EP (1) EP2634749B1 (zh)
JP (1) JP2013182626A (zh)
CN (1) CN103325085B (zh)
CA (1) CA2866118C (zh)
WO (1) WO2013130469A1 (zh)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8824758B2 (en) * 2012-11-07 2014-09-02 Sony Corporation Method and apparatus for orienting tissue samples for comparison
US9818190B2 (en) 2013-03-14 2017-11-14 Ventana Medical Systems, Inc. Whole slide image registration and cross-image annotation devices, systems and methods
JP6499643B2 (ja) * 2013-10-01 2019-04-10 ベンタナ メディカル システムズ， インコーポレイテッド ラインベースの画像位置合わせ及び交差画像注釈デバイス、システム、及び方法
US9785818B2 (en) 2014-08-11 2017-10-10 Synaptics Incorporated Systems and methods for image alignment
CN105389774B (zh) * 2014-09-05 2019-03-01 华为技术有限公司 对齐图像的方法和装置
US10430947B2 (en) 2014-12-16 2019-10-01 Koninklijke Philips N.V. Correspondence probability map driven visualization
US9430457B2 (en) 2014-12-24 2016-08-30 Xerox Corporation Ambiguity reduction for image alignment applications
CN107851303B (zh) * 2015-07-17 2023-03-14 皇家飞利浦有限公司 组织病理学图像的配准方法和装置
CN105184786B (zh) * 2015-08-28 2017-10-17 大连理工大学 一种浮点型三角形特征描述方法
CA2995748A1 (en) 2015-09-02 2017-03-09 Ventana Medical Systems, Inc. Image processing systems and methods for displaying multiple images of a biological specimen
US10290111B2 (en) * 2016-07-26 2019-05-14 Qualcomm Incorporated Systems and methods for compositing images
JP7356904B2 (ja) * 2016-10-27 2023-10-05 コーニンクレッカ フィリップス エヌ ヴェ １つ又は複数の組織サンプルにおける細胞組成情報を決定する装置
WO2019077650A1 (ja) * 2017-10-16 2019-04-25 株式会社日立ハイテクノロジーズ 撮像装置
CN107945217B (zh) * 2017-11-20 2020-07-14 北京宇航系统工程研究所 一种适用于自动装配的图像特征点对快速筛选方法及系统
US11436741B2 (en) 2018-03-06 2022-09-06 Google Llc Adaptive image alignment using locally optimal transformations
CN117456023A (zh) 2018-03-07 2024-01-26 威里利生命科学有限责任公司 对组织切片图像的虚拟染色
CN108986016B (zh) * 2018-06-28 2021-04-20 北京微播视界科技有限公司 图像美化方法、装置及电子设备
CN109165571B (zh) * 2018-08-03 2020-04-24 北京字节跳动网络技术有限公司 用于插入图像的方法和装置
CN109191255B (zh) * 2018-09-04 2022-04-15 中山大学 一种基于无监督特征点检测的商品对齐方法
US20200410697A1 (en) * 2019-06-28 2020-12-31 Fei Company Automated and robust method for recording nm-resolution 3d image data from serial ultra-sections of life-sciences samples with electron microscopes
WO2021070188A1 (en) 2019-10-11 2021-04-15 Beyeonics Surgical Ltd. System and method for improved electronic assisted medical procedures
CN110827336A (zh) * 2019-11-01 2020-02-21 厦门美图之家科技有限公司 一种图像对齐方法、装置、设备及存储介质
CN110992407B (zh) * 2019-11-07 2023-10-27 武汉多谱多勒科技有限公司 一种红外与可见光图像匹配方法
CN111751371B (zh) * 2020-06-24 2021-01-08 武汉中纪生物科技有限公司 一种免疫组化数字玻片阅片系统及方法
WO2022046539A1 (en) * 2020-08-24 2022-03-03 Ventana Medical Systems, Inc. Whole-slide annotation transfer using geometric features
CN112348863B (zh) * 2020-11-09 2022-06-21 Oppo广东移动通信有限公司 图像对齐方法、图像对齐装置及终端设备
US11830622B2 (en) 2021-06-11 2023-11-28 International Business Machines Corporation Processing multimodal images of tissue for medical evaluation
WO2023167968A2 (en) * 2022-03-02 2023-09-07 Brain Corporation Systems and methods for aligning a plurality of local computer readable maps to a single global map and detecting mapping errors

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7200281B2 (en) * 2002-04-18 2007-04-03 Microsoft Corp. System and method for image-based surface detail transfer
CN101930537A (zh) * 2010-08-18 2010-12-29 北京交通大学 基于弯曲不变量相关特征的三维人脸识别方法及系统
CN102136142A (zh) * 2011-03-16 2011-07-27 内蒙古科技大学 基于自适应三角形网格的非刚性医学图像配准方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6266062B1 (en) 1997-10-08 2001-07-24 Maria-Cecilia Rivara Longest-edge refinement and derefinement system and method for automatic mesh generation
EP1063614A3 (en) * 1999-06-22 2002-05-29 Infiniteface.Com Inc. Apparatus for using a plurality of facial images from different viewpoints to generate a facial image from a new viewpoint, method thereof, application apparatus and storage medium
US6664956B1 (en) * 2000-10-12 2003-12-16 Momentum Bilgisayar, Yazilim, Danismanlik, Ticaret A. S. Method for generating a personalized 3-D face model
JP4451647B2 (ja) 2002-12-11 2010-04-14 エフ イー アイ カンパニ 電子顕微鏡におけるチルト系列の自動配置決定方法
WO2005017820A1 (en) 2003-08-15 2005-02-24 Scape A/S Computer-vision system for classification and spatial localization of bounded 3d-objects
JP2005308553A (ja) * 2004-04-21 2005-11-04 Topcon Corp 三次元画像計測装置及び方法
US8732025B2 (en) 2005-05-09 2014-05-20 Google Inc. System and method for enabling image recognition and searching of remote content on display
US7583857B2 (en) * 2005-08-24 2009-09-01 Siemens Medical Solutions Usa, Inc. System and method for salient region feature based 3D multi modality registration of medical images
US7854518B2 (en) 2006-06-16 2010-12-21 Hewlett-Packard Development Company, L.P. Mesh for rendering an image frame
US8131476B2 (en) * 2006-08-07 2012-03-06 General Electric Company System and method for co-registering multi-channel images of a tissue micro array
US20080095465A1 (en) * 2006-10-18 2008-04-24 General Electric Company Image registration system and method
US8358818B2 (en) 2006-11-16 2013-01-22 Vanderbilt University Apparatus and methods of compensating for organ deformation, registration of internal structures to images, and applications of same
US20080166036A1 (en) 2007-01-05 2008-07-10 Carl Zeiss Microimaging Ais, Inc. System and method for analyzing tissue slides for observable pathologies
JP5365011B2 (ja) * 2008-01-29 2013-12-11 日本電気株式会社 病理診断支援装置、病理診断支援方法、およびプログラム
CN101971213A (zh) 2008-02-29 2011-02-09 新加坡科技研究局 图像中解剖结构分割与建模的方法及系统
GB0913930D0 (en) 2009-08-07 2009-09-16 Ucl Business Plc Apparatus and method for registering two medical images
JP5614032B2 (ja) * 2009-11-30 2014-10-29 ソニー株式会社 情報処理装置、情報処理方法及びそのプログラム
TR201814942T4 (tr) * 2010-06-15 2018-11-21 Anheuser Busch Inbev Sa Mikroskopide bir görüntü işlemden geçirme yöntemi.

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7200281B2 (en) * 2002-04-18 2007-04-03 Microsoft Corp. System and method for image-based surface detail transfer
CN101930537A (zh) * 2010-08-18 2010-12-29 北京交通大学 基于弯曲不变量相关特征的三维人脸识别方法及系统
CN102136142A (zh) * 2011-03-16 2011-07-27 内蒙古科技大学 基于自适应三角形网格的非刚性医学图像配准方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于角点特征的自动图像配准;罗佳宇等;《软件》;20110215;第32卷(第2期);67-70 *

Also Published As

Publication number Publication date
JP2013182626A (ja) 2013-09-12
US8605972B2 (en) 2013-12-10
US20130230220A1 (en) 2013-09-05
EP2634749A3 (en) 2017-12-06
EP2634749B1 (en) 2019-04-10
WO2013130469A1 (en) 2013-09-06
CN103325085A (zh) 2013-09-25
CA2866118A1 (en) 2013-09-06
CA2866118C (en) 2017-03-28
EP2634749A2 (en) 2013-09-04

Similar Documents

Publication Publication Date Title
CN103325085B (zh) 自动图像对齐的方法、装置和系统
US9020233B2 (en) Method and system for up-vector detection for ribs in computed tomography volumes
EP3382644A1 (en) Method for 3d modelling based on structure from motion processing of sparse 2d images
Su et al. Region segmentation in histopathological breast cancer images using deep convolutional neural network
Schindler et al. Line-based structure from motion for urban environments
Benedek et al. Building development monitoring in multitemporal remotely sensed image pairs with stochastic birth-death dynamics
US8184888B2 (en) Method and system for polyp segmentation for 3D computed tomography colonography
US20110181589A1 (en) Image-based procedural remodeling of buildings
CN107958458A (zh) 图像分割方法、图像分割系统及包括其的设备
CN111667459B (zh) 一种基于3d可变卷积和时序特征融合的医学征象检测方法、系统、终端及存储介质
Heinly et al. Correcting for duplicate scene structure in sparse 3D reconstruction
CN108052909B (zh) 一种基于心血管oct影像的薄纤维帽斑块自动检测方法和装置
Tarsha Kurdi et al. Automatic filtering and 2D modeling of airborne laser scanning building point cloud
CN110136153A (zh) 一种图像处理方法、设备及存储介质
CA2605234A1 (en) A method of local tracing of connectivity and schematic representations produced therefrom
Owens et al. Shape anchors for data-driven multi-view reconstruction
Adu-Gyamfi et al. Functional evaluation of pavement condition using a complete vision system
CN112686122A (zh) 人体及影子的检测方法、装置、电子设备、存储介质
Ranade et al. Novel single view constraints for manhattan 3d line reconstruction
CN110533637B (zh) 一种检测对象的方法及装置
EP1803099B1 (en) Virtual grid alignment of sub-volumes
JPH09204532A (ja) 画像認識方法および画像表示方法
WO2014083402A2 (en) Method and device to process a three dimensional seismic image
Kim et al. Automated two-dimensional geometric model reconstruction from point cloud data for construction quality inspection and maintenance
Lyu et al. Automatic sulcal curve extraction on the human cortical surface

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant