CN105612555A - 针对mdx的基于图像的roi追踪 - Google Patents

Abstract

用于图像处理的装置（MDS）及相关方法。该装置包括多模匹配器（M）。匹配器（M）操作成将第一参考（RF1）图像与图像帧（F1，F2）的流（LF）进行匹配。一旦找到匹配，则将当前参考图像（RF1）调换成来自流的匹配帧。匹配器（M）然后试图通过现在使用所述匹配的帧作为新的参考图像来对照流中的随后帧进行匹配。一旦找到与所述新的参考图像匹配的另外帧（Fm），则将所述另外帧（Fm）输出为最佳匹配。

Description

针对MDX的基于图像的ROI追踪

技术领域

本发明涉及图像处理装置、图像处理方法、计算机程序元件和计算机可读介质。

背景技术

在病理学中，将组织分类成正常类型和肿瘤类型有时候是具挑战性的并且要求细胞及其形态学的精细结构的详细分析。

在传统癌症诊断中，由病理学家在视觉上分析活体检查样本的（组织）病理学图像。紧接着这一点，还使用分子方法（例如聚合酶链反应（PCT）或序列化）来标识（肿瘤）组织的生物特性。因为分子分析的结果严重依赖于所选组织区的准确组成，所以要求精确的感兴趣区（ROI）解剖。当前，ROI通常使用解剖刀手动地解剖，其是（高度）不准确的。“数字病理学”推行使用图像分析算法的途径，其可以用于搜索ROI组织。然而已经发现，现有算法有时候是缓慢的或者缺乏鲁棒性。

WO2010/125495A2公开了生成包括感兴趣区的第一切片的第一数字图像，生成第二切片的第二数字图像，以及基于第一数字图像中的感兴趣区确定第二数字图像中的感兴趣区，其中第一数字图像充当参考模板。

发明内容

因此，可能存在针对用于匹配图像的可替换装置或相关方法的需要。本发明的目的通过独立权利要求的主题来解决，其中另外的实施例并入在从属权利要求中。应当指出的是，本发明的以下所述方面等同地适用于装置、图像处理方法、计算机程序元件和计算机可读介质。

根据本发明的第一方面，提供一种用于在生物学、组织学和病理学中使用的图像处理装置，包括：

-用于从第一成像模态接收图像帧的流的输入端口；

-在两个模式之间可切换的图像匹配器。匹配器配置成试图将来自第二成像模态的图像帧与第一图像匹配，其中当匹配器操作于第一模式中时，第一图像充当第一参考（图像）模板。在第一模式中，一旦从帧的流中的帧之中找到第一匹配帧或者一旦接收到用户发出的切换信号，则匹配器切换至第二模式中以便现在使用第一匹配帧或当前帧作为第二参考（图像）模板取代第一参考模板来试图将帧的流中的（图像帧）与所述第二帧模板匹配；

-输出端口，其配置成一旦由图像匹配器找到另外的匹配帧，则输出所述另外的匹配帧。

换言之，如本文所提出的图像处理器帮助减小“交叉匹配”任务中的计算工作量，其中具有其自身图像特性的第一参考图像需要匹配到具有来自参考图像特性的特性的帧。在一个实施例中，一方面的第一参考图像和另一方面的流中的帧有时候编码明显不同的图像信息，因此当显示时，它们特别地有时候具有彼此明显不同的视觉外观。这种差异可能由参考图像和帧通过不同成像模态获取这一事实而引起和/或由参考图像和帧编码不同对象和/或在获取（多个）对象的帧和参考之前已经经历不同处置（诸如染色等）的对象的图像信息这一事实而引起。

为了更好地应对那些不同图像特性，如本文所提出的装置操作成一旦检测到第一参考模板与所述帧之间的匹配，就将第一参考模板调换成从匹配帧所计算的模板。由于这一调换，所提出的图像处理器在特别地寻找流中的随后匹配方面是高度响应性的。由于这一模板调换，原本复杂且在计算上昂贵的匹配问题得以简化。一般地，帧的两个随后流中匹配之间的时间可能预期小于将“流外”参考图像匹配“到流中”（也就是说，到帧）所花费的时间。发生加速是因为在第一匹配之后匹配器处理的是将更相似图像（即从相同对象所得到的流的帧）彼此匹配。此外，匹配过程的鲁棒性和可靠性由于匹配更相似图像而增大。

在一个实施例中，图像处理装置用于识别对象，其应当第一时刻处的第一组织样本中和后一时刻处的第二不同组织样本中被分析。在一个实施例中，样本是癌变组织片段（OI），其在利用盖玻片（“盖片”）放置于显微镜载物片上的第一组织样本中被分析，并且要从第二组织样本解剖（提取、隔离）的相同组织片段从相同石腊块提取并且放置在显微镜载物片上但是没有盖片。两个载物片然后被成像，例如具有盖片的那个使用病理学扫描仪或类似物来成像，而“没有盖片”的另一载物片放置在显微镜（在一个实施例中，电子显微镜）之下并且捕获图像以产生帧。该组织学进程引起图像/帧（从载物片取得）之间的相异水平，其看起来违反大多数标准图像匹配策略的假设。例如，盖玻片的存在（或者不存在）可能由于球面像差和折射现象而引起不同光学路径。

因此，在该示例性组织学上下文中，匹配器操作成首先试图通过比较每一个帧中的所检测特征与从具有盖片的载物片的参考图像所导出的第一模板来匹配第一OI。然后从首先匹配到OI的帧导出第二计算机化模板。在此之后，匹配器操作成试图通过比较随后帧中的所检测特征与所述（新的）第二模板来匹配每一个新的OI。这允许节省计算时间，因为用于识别第二样本中的OI的模板或“模型”已经在相同样本中的OI的基础上导出/构建。因而，由于例如在两个不同载物片（分别具有和没有盖片）上放置样本区段的进程而引起的外观中的差异所致的一些或大多数匹配问题得到克服。作为结果，匹配过程的性能将通过减小计算复杂性而在鲁棒性、准确性和吞吐时间方面改进。

切换（其是将当前模板调换成基于帧的模板）在一个实施例中自动发生，但是还存在本文预期到的手动实施例。

在其中切换自动发生的实施例中，匹配器操作成对照匹配器图像模板来评估帧的图像特征，并且使用量度计算分值，其度量某一图像部分处的两个图像之间的对应水平。将所述分值与预限定的或用户可限定的阈值相比较。如果分值超出所述阈值，则帧被视为匹配参考图像。否则，如果分值保持在所述阈值以下，则帧被视为不匹配参考图像。然后在切换发生之后彼此匹配帧时采用相同量度/分值方案。

在具有手动切换的实施例中，用户经由适当输入装置（诸如键盘或指针工具，诸如鼠标等）发出切换信号。当与之前提及的具有自动切换的实施例组合地使用时，发出用户信号以触发切换的选项有效地为用户提供“覆写设施”：用户可以“声明”当前帧形成针对新模板的基础并且可以因此“超越（trump）”当前帧中的图像特征的量度评估。“当前帧”在该上下文中是指匹配器当前正试图匹配的流中的帧，和/或是当前显示在诸如监控器或（计算机）屏幕之类的显示单元上的图像帧。

根据一个实施例，匹配操作是基于试图将如模板中所限定的第一或第二参考中的图像特征与相应图像帧中的图像部分匹配。在一个实施例中，第一参考图像的模板从之前自动地或由人类医疗专家标识或标记的图像特征来导出或计算。在参考图像中，图像特征（由模板表述）捕获感兴趣区（ROI）的图像信息，例如组织样本中的癌变部分。因而，如本文中使用的“匹配”可以被视为帧中的图像部分形成所述标记ROI的“配对ROI”的指示。换言之，帧中的配对ROI是如第一参考图像的ROI中所捕获的癌变部分在该帧中的表示。匹配操作在一个实施例中基于尺度不变特征变换（SIFT）。

根据一个实施例，输出包括在显示单元上分别显示另外的或随后的匹配图像帧的图像部分，其中相应图形覆盖物概绘相应图形部分。在一个实施例中，覆盖物以与相应匹配帧中的相应图形部分的背景不同的颜色或色调显示。这改进人类工程学。而且，由于如上文所解释的转变而引起的所提出的图像处理装置的增加响应性，图形覆盖物可以基本上与图像流的帧速率实时地供应。

根据一个实施例，输出包括在显示单元上显示另外的图像帧，其中第一匹配帧没有显示，而是仅在显示单元上（优选地顺序）显示另外的匹配帧或者来自流的任何随后匹配（也就是说，匹配帧）。这改进人类工程学，因为用户焦点被定向至可能形成比第一“条目”匹配更好的匹配的流中匹配。在可替换实施例中，或者如果用户如此请求，则还在显示单元上显示第一匹配帧。

根据一个实施例，第二参考模板针对任何（或一个或多个）另外匹配而维持直到第一成像模态的成像设置改变。响应于这样的改变，匹配器然后操作成再次切换并作为第三参考模板而使用由匹配器发现与当前、第二参考模板匹配的流中的第二另外帧。换言之，在成像设置的改变发生之后，使用第三参考模板取代之前的（第二参考）模板来用于将来的流中匹配尝试。例如，在一个实施例中，成像器是显微镜设备并且设置由焦距或焦平面限定。改变焦距或改变焦平面可以再次在成像设置的改变之前和之后所获取的帧之中引入视觉外观中的差异。该视觉外观的改变可以通过再次切换并且调换当前模板成更新的模板（也就是说，第三参考模板）来计及以使得匹配任务更容易，如之前通过从“非帧”第一参考图像转变成来自图像流的帧导出模板（第二参考模板）而已经完成的那样。

根据一个实施例，另外或随后的匹配帧的图像坐标被馈送到MDx（分子诊断）装置中以从对应于如记录在另外或随后的匹配帧中的感兴趣区的第二部段移除材料。换言之，使用配对ROI（也就是说，对应于如记录在第一图像中的ROI的（如记录在帧中的）ROI）的图像坐标来控制解剖操作。

根据一个实施例，手动地或自动地供应流。手动流供应的一个实施例是当用户在显微镜之下“平移”载物片以由此生成图像流时。在“自动”流供应实施例中，显微镜可以装备有自动扫描仪设施。显微镜的台面（在其上存放第二载物片）是机动化的并且在扫描图案中移动而同时获取帧，由此以每秒大约15帧或者更多地产生图像流（“实况馈送”）。

尽管已经在本文中参照数字病理学或数字分子病理学而解释了所提出的装置，但是在本文中同样地预期到其它用途。而且要理解到，参考图像和帧未必是病理学载物片并且成像模态未必分别是显微镜相机系统和病理学载物片扫描仪。还在本文中预期到具有可能地更低分辨率能力（其对于手边的成像任务而言仍旧是足够的）的其它相机或扫描仪系统。例如在另一实施例中，参考图像是血管造影照片并且帧的流是荧光检查图像的序列。在又一非医疗实施例中，参考图像可能已经利用数字相机而获取，而帧由视频相机记录。所提出的装置然后允许寻找运动图片帧的流中的所拍摄对象。

定义

“帧的流”或者“图像流”或者“（实况）馈送”在本文中互换地使用并且涉及图像的时间序列（被称为“帧”）。

“流的接收”可能未必意味着流的所有帧都同时接收，而是帧也可以顺序地接收，并且还要理解到，未必是如本文所提出的图像处理器所接收和/或处理的流中的每一个帧。例如，一些帧可以出于不管什么原因而被丢弃。

附图说明

现在将参照以下各图描述本发明的示例性实施例，其中：

图1示出图像处理布置；

图2示出图像处理方法的流程图。

具体实施方式

参照图1，示出了用于计算机辅助的分子诊断解剖（MDx）的布置MDS的示意性框图。该布置在组织的数字化图像上操作。在MDx中，目标是标识并且从样本隔离感兴趣的组织（诸如癌变组织）。通常针对所隔离的感兴趣组织的纯度存在高要求。图1示出可以如何实现这一点。

在初始进程中，利用福尔马林处置组织的样本标本BIO并且然后将其嵌入在石蜡中。该进程（还称为FFPE）允许保存分子结构并且固化组织标本。使用组织切割机KNF，诸如切片机或类似物，然后取得如此处置的组织的两个或更多部段SC1,2。然后使用苏木精&曙红（H&E）来染色部段之一，比方说SC1（“主部段”）。经染色或涂色的组织然后安装在标准玻璃载物片和盖片（玻璃片段，比支撑玻璃载物片薄）之间以形成显微镜主载物片SLC。使用显微镜MC，针对组织的形态学和涂色图案来分析主载物片以标识并且然后标记对应于组织的癌变部分的感兴趣区（ROI）。归因于H&E涂色，存在核及其周围细胞质之间的良好对比。而且，所处置的组织顶部上的盖片的应用使得能够更好地可视化组织形态学和细胞纹理中的小细节。如在本文中使用的主载物片意图用于由于医疗或法律原因而进行的将来保护。再次，盖片帮助保存“光学”细节并且防止（或者至少减缓）部段的降解。换言之并且如从上文应当清楚的是，主组织SC1不可用于实际地（也就是说，物理地）隔离癌变组织。这是第二部段SC2所起的作用。

所述第二部段SC2与第一主部段SC1类似地制备，但是第二部段SC2典型地仅利用苏木精涂色并且安装在分离的不同玻璃载物片上，但是这次没有盖片以形成另外的、但是这次“敞开”的载物片SL。第二部段SC2的形态可以预期为仅非常粗糙地匹配第一部段SC1的形态。

MDx中的主要任务现在是练习在第二载物片中“再寻找”按照主载物片之前所标记的感兴趣区。然而，如将从以上进程领会到的，数字载物片可能在视觉外观上明显不同。首先，两个切片尽管都是从相同组织标本取得，但是仍旧将包括癌变组织的不同部分。其次，当将部段放置在其相应的载物片上时，从活组织检查样本BIO切断两个部段SC1,SC2的切片或切割操作可能引起组织部段的不同量的拉伸、压缩或者甚至“折叠”部分。再次，两个部段已经以不同方式染色。而且，当对载物片成像时，盖片的影响往往以不同方式改变光学路径，因而进一步破坏两个部段中的癌变组织的所假定的结构类似性。

因此在本文中提出一种数字图像处理布置，其在在图像中再寻找或再标识有时候在不同图像中具有明显不同视觉外观的对应图像结构的这一任务方面帮助用户。

更具体地，数字图像处理布置包括图像处理器IP（其操作将在下文更详细地解释），其在其输入IN处取得以下的数字化版本i）主载物片SLC和ii）第二载物片SL的不同视图（“帧”）的实况馈送。图像处理器IP然后经由匹配器M在其上进行操作以在输出OUT处产生“最佳匹配”的帧Fm，其编码对应于如在主载物片SLC中所标记的ROI的“配对图像信息”。然后可以使用帧Fm来隔离对应于参考图像RF1中的ROI的组织，如将在下文更详细解释的。根据一个实施例，主载物片SLC的数字版本通过数字载物片扫描仪PSC的操作来形成。载物片扫描仪PSC输出主载物片SLC的数字图像RF1（“第一参考图像”）。

第二载物片SL通过显微镜的操作来检查，显微镜的光学输出耦合到数字转换级CV以将光学信息转换成一个或多个数字图像或“帧”。显微镜通过遵循自动扫描协议自动地操作，或者由用户手动地操作，以基本上通过“平移”操作和/或放大操作（通过改变显微镜的焦平面或焦距和/或改变透镜等）来扫描载物片SL，以便由此生成数字画像的各个接连帧F1-F3的实况馈送LF或流。换言之，每一个帧大体上示出载物片SL的不同部分或者以不同放大水平示出相同部分。帧可以当它们被生成时在显示单元DU上观察，诸如在监控器上。现在将在下文更详细地解释其中图像处理器IP操作成从图像流LF寻找最佳匹配帧Fm的方式。

操作

如本文所提出的图像处理器IP在一个实施例中基于图像对象识别来实现图像配准算法。

初始地，主载物片的第一参考图像RF1被扫描以计算所述参考图像RF1中用于识别的图像特征。用于识别的图像特征的示例是SIFT特征、Harris角点特征、边缘/轮廓特征、梯度直方图（HOG）特征、或者（归一化）灰度级特征。参考图像特征然后可以作为特征的“模型”或模板而存储在存储器中，例如计算单元的RAM或者单元的硬驱动，或者在外部存储于盘或其它外部介质上以用于将来参考。

图像处理器然后在显微镜实况馈送LF中进行读取并且在输入IN处接收帧时计算馈送的每一个帧Fi的图像特征。每一个帧Fi是示出第二切片SC2的特征的显微镜MC的当前视场的捕获。

图像处理器IP然后试图将主图像的所计算帧（即模板）与每一个帧Fi的所计算特征匹配。该匹配是基于度量馈送或流LF的相应帧中的特征和主模板之间的对应水平或程度的量度。

在一个实施例中，由匹配器M用于实现模板-帧匹配的图像匹配算法是基于尺度不变特征变换SIFT，如D.Lowe在“DistinctiveImageFeaturefromScale-InvariantKeypoints”,InternationalJournalofComputerVision,60,2,pp.91-110,2004中所描述的。然而，在本文中要理解到，同样可以使用基于其它图像匹配或对象识别的图像配准算法而具有本文的益处。例如，如本文中所使用的，用于适当算法的另一示例在一个实施例中是D.Mueller等人在“Real-timedeformableregistrationofmulti-modalwholeslidesfordigitalpathology”,ComputerizedMedicalImagingandGraphics,Vol.35,2011,pp.542-556中所提供的。

这些算法中的任一个中的量度是量化对应程度的措施并且典型地基于特征对应的匹配质量以及适合模板中的特征位置下层的几何结构的特征对应的总数目。例如，在SIFT中，模板通过特征矢量来限定，所述特征矢量总结相应图像在经过一系列滤波器（诸如卷积、带通滤波器、低通滤波器等）时的梯度行为（关于像素强度所取得的）或缩放行为。两个图像的特征矢量之间的欧几里得距离或其它距离然后限定“分值”（在适当归一化之后）。如果该分值小于比方说0.8，则不存在匹配。如果所述分值为至少0.8，则存在匹配。如本文中所使用的用于匹配目的的另一形式的“模板”是限定声称将一个图像变换成另一个图像的参数化变换的适当群组。然后将参数拟合到手边的两个图像，并且然后通过价值函数评估以限定分值。例如，价值越低，分值就越高等等。然而，诸如SIFT之类的现有算法一般假定图像之间的相对高水平的对应。例如，几何变形通常假定为仅限于取向和尺度方面的变化，并且可能允许如在SIFT中的透视变形中的非常小的变化。那些约束下层的基本原理在于SIFT和相似算法是基于相似的“视觉外观”并且因此在外观中的变化有限的情况下很好地工作，或者通过充分的模型假设而计及。然而，那些假设在本病理学上下文中不通常成立：帧和主图像之间的有用特征对应的数目相当低。这可能由不同染色处置（一方面的H&E，以及另一方面的仅H）而引起，和/或由于主图像和其它图像中的盖片的存在所致的光学路径的修改而引起。

为了解决主图像和帧之间的异类视觉外观的该问题，本文中提出使图像处理器IP操作在多模式中，也就是说，操作在至少两个模式中。在第一、“馈送外”模式中，匹配器M试图如之前所描述的那样匹配从主图像RF1计算的模板与显微镜图像馈送的帧。但是一旦量度评估指示存在所要求的水平处的匹配，则发生“切换”到“馈送内”模式中。当在“馈送内”模式中时，按照主载物片的初始模板被丢弃被当前刚刚找到的匹配帧中的所计算图像特征取代，其现在变为随后的帧将与其匹配的新模板。换言之，初始额外流匹配改变成流内匹配：试图匹配“流外部”的帧的“交叉”匹配操作（也就是说，对照初始主图像（其不是帧之一））转变成力图匹配流或馈送内或内部的帧的匹配操作。再换言之，如果在之前的主图像对比帧的匹配中，发现（通过对应量度的评估）所寻求的感兴趣区（如标记在主图像中）完全或部分存在于按照当前帧Fi的视场中，则匹配器M丢弃当前“搜索策略”并且搜索策略现在替代地基于从来自显微镜实况馈送的当前帧所再计算的新模板，发现它匹配主图像的模板。从该实例向前，基于新帧的模板由图像处理器IP使用以用于检测显微镜图像馈送中的感兴趣区。

匹配器M现在操作于第二、“馈送中”模式中。也就是说，匹配器M现在试图通过针对每一个所接收的帧水平而评估关于新模板的对应量度来对照馈送中的帧进行匹配。如果量度评估揭示来自馈送的另一帧和新模板之间的对应超出某一预限定的阈值，则现在找到“内部匹配”并且该新匹配现在被视为所寻求的最佳匹配帧Fm的实例。匹配器M然后指令图形渲染后端生成图形指示符，诸如图形覆盖物OL，其覆盖在最佳匹配帧上。图形覆盖物OL然后指示配对的感兴趣区返回超出预限定阈值的对应水平。所述最佳匹配帧Fm然后被渲染以用于显示并且然后显示在显示单元DU上。以此方式，覆盖物OL充当通知用户已经关于如由最佳匹配帧Fm所示的当前视场解决了配准问题的视觉措施。换言之，Fm是匹配帧这一事实可以解释为帧Fm中的位置（即配对ROI）已经被标识出对应于主图像中的ROI位置。因此，如果针对具有如标记在参考图像RF1中的ROI的视场（按照当前、匹配帧Fm）找到匹配，则这意味着在当前帧的视场中看到的图像对应于参考图像RF1的目标位置。然后假定配对ROI的边界的位置或“进展”（在两个图像中）相同（或者几乎如此），并且人们然后可以通过向帧Fm上覆盖视场中的配对ROI处的图形覆盖物OL而可视化匹配帧中的配对ROI的边界的位置/进展。

其它形式的视觉通知，诸如改变帧的边界部分的颜色或者类似视觉效果，可以用于向用户告知已经找到馈送中帧匹配。在本文中还预期到音频通知以替代视觉通知或者与其组合。匹配器M的事件处置器然后检查是否已经在输入端口处接收到来自馈送的新帧，并且如果是，则重复如上文解释的之前计算以便现在关于所述随后帧而评估与当前模板的对应水平。在本文中预期到的是，首先找到的参考帧模板仍是用于另外的馈送中匹配的参考模板。然而，还预期到该方案上的变形，其中发生另外的转变并且当前保持的帧模板被丢弃以被新的帧模板取代，例如在手边最新找到的帧与目标ROI具有又一更好重叠（也就是说，更好地匹配）的情况下。该第二转变在一个实施例中由用户触发或者在供应显微镜图像馈送的显微镜MC的成像设置的自动改变之后触发。例如在一个实施例中，如果用户或扫描协议改变放大率（也就是说，改变焦平面或焦距或切换透镜等），则由显微镜的电路中的控制器接口发出对应系统呼叫并且然后将其转发给匹配器M。对应事件处置器然后解译焦平面改变事件，于是匹配器M操作成将当前帧模板替换成新模板，一旦已经关于当前模板找到下一匹配帧的话。

如将从上文领会到的，由于匹配器从对照第一参考图像的流外匹配向流的帧“内”的匹配的所述转变能力，所以对象识别问题的解决变得容易得多，因为基于新帧的模板（也就是说，在第一切换之后找到的那个）在视觉外观上更加类似于如由显微镜所提供的目标ROI。不基于第二载物片SL的帧而是基于参考图像RF1（因此是第一载物片SLC的图像）的初始模板可以展现出如由显微镜馈送所捕获的帧中的图像数据与显微镜所获得的数据之上的一系列差异。所述差异可以由不同取向、尺度、形状、光照、涂色以及由于图像形成中的差异所致的一般外观而引起。在通过转变回避实况馈送中的帧和主图像之间的这些差异的情况下，匹配过程变得容易得多。作为结果，匹配过程的性能将在鲁棒性、准确性和吞吐时间方面改进，因为已经减小计算复杂性。特别地，用户体验将极大地获益于经改进的鲁棒性和更高的吞吐量。如本文中所提出的算法的较低计算复杂性使得能够使用甚至更不先进（例如低成本或移动式）计算机平台实现实时性能。

如将从上文领会到的，通过使用由匹配算法的执行所生成的信号而发起用于发起切换（特别地从主图像向基于帧的模板的第一切换）的信号。特别地，切换信号在一方面链接到帧和主模板之间的对应水平，或者在响应于显微镜系统的成像设置中的改变而发生转变的情况下链接到帧之中的对应水平。换言之，在那些实施例中，模板调换自动发生，也就是说，用户的判定不会发挥作用。然而，在其它实施例中，为用户提供“覆写”功能性，其中是用户发出信号来确定是否会发生将当前模板调换成新的经更新的模板。在该实施例中，匹配器M具有适当配置的事件处置器，其监听用户发出的信号，诸如指针工具PT事件（鼠标点击等）或者触摸屏事件。在那些实施例中，预期到的是，用户点击或触碰或以其它方式发出信号，如果他或她相信当前帧（例如，如在屏幕DU上显示的）包括所寻求的配对感兴趣区的表示并且因而应当被用作针对模板的基础以替代当前保持的那个。匹配器然后暂停对应水平的计算，但是计算当前用户选取的帧的图像特征并且使用那些作为用于将来匹配操作的模板。在一个实施例中，匹配器仍旧可以完成计算对应水平并且配置成显示数值或者可以通过颜色编码或以其它方式指示当前对应水平以便为用户提供用于就以下内容做出判定的基础：他或她是否想要采用当前所查看的图像特征作为模板。用户现在具有选项以通过鼠标点击或以其它方式再考虑选择，在该情况下，当前所查看的帧仍旧不是针对新模板的基础，但是当前所保持的帧得以保留。否则，用户发出“接受”信号并且基于当前图像的模板被采用并然后用于随后的匹配尝试。

在本文中还领会到的是，通过将基于主图像的模板调换成基于帧的模板所引起的减小的计算复杂性将导致图像识别的增加的鲁棒性和准确性以及增加的帧速率。模板调换的效果在于，一般地将存在如与将经调换的帧模板跟馈送中的帧匹配所花费的时间相比较的初始将主图像跟帧匹配所花费的时间之间的识别时间中的下降。

基于经匹配的ROI，图像（也就是说，主图像RF1及其匹配帧）可以配准（即在公共坐标系统中对准）以确定所述最佳匹配帧Fm中的配对ROI的图像坐标。如此确定的ROI的图像坐标然后可以用于控制显微镜解剖器MD的操作，以隔离癌变组织CC。所述坐标也可以用于通过手术刀或者某一刮划工具来手动移除CC。

现在参照图2中的流程图，但是总结如上文所解释的图像匹配算法的基本步骤。

在步骤S205中，接收例如显微镜馈送FL的一个或多个帧Fi。

在步骤S210中，试图对照从第一参考图像所导出的模板来匹配当前帧中的图像特征。

在步骤S215中，判定是否存在匹配，并且如果存在，则在步骤S220处执行从第一模式向第二匹配模式操作的切换。

步骤S220处的切换涉及将当前模板调换成从匹配帧的图像特征所计算的新模板。在一个实施例中，关于是否存在匹配的判定是基于对应水平，其从帧中的图像特征所计算的分值而测量并且然后与预限定的阈值比较。如果当前帧中的图像特征返回超出阈值的分值，则匹配可以被视为已经发生。否则，当前帧被视为不匹配参考图像模板。

工作流然后进行到步骤S225中以试图在馈送的随后帧传入时匹配新模板与馈送的随后帧。

一旦在步骤S230处检测到与所述新模板的另一匹配，则最新匹配的帧在步骤S235处输出。在一个实施例中，输出包括显示最新匹配的帧。在一个实施例中，显示包括覆盖图形符号以指定匹配帧中的部分返回超出预限定阈值的分值。

工作流然后可以返回到步骤S225以试图寻找传入流中的另外匹配。

在一个实施例中，步骤S220处的切换还可以通过用户发出的切换信号SWS而触发。换言之，在该情况下，切换不是由当前帧的图像特征返回足够高分值而引起。换言之，在该情况下，分值被忽略并且用户发出的信号SWS实施S220处的切换。在一个实施例中，另外的调换可以发生，但是从基于当前保持的帧的模板向基于不同的类似帧的模板（从下一匹配帧导出）的这种调换响应于供应帧流的成像器的成像设置中的改变而发生。一旦已经接收到成像设置已经改变的信号，则一找到另外帧与当前保持的帧匹配就施行帧-模板向帧-模板的调换。

在一个实施例中，预期到的是，如本文所提出的图像处理器作为软件例程在诸如一般计算平台之类的工作站上运行。然而在其它实施例中，图像处理器可以布置为专用FPGA或硬布线独立芯片。图像处理器的组件可以编程在诸如或之类的适当科学计算平台中。例如，套件的特征在于“图像处理工具箱”。

在本发明的另一示例性实施例中，提供计算机程序或计算机程序元件，其特征在于适配成在适当系统上执行根据之前实施例中的一个实施例的方法的方法步骤。

计算机程序元件因此可能存储在计算机单元上，其也可能是本发明的实施例的部分。该计算单元可以适配成执行以上所述方法的步骤或引发其执行。此外，其可以适配成操作以上所述装置的组件。计算单元可以适配成自动地操作和/或执行用户的命令。计算机程序可以加载到数据处理器的工作存储器中。数据处理器可以因而装备成施行本发明的方法。

本发明的该示例性实施例覆盖以下二者：从一开始就使用本发明的计算机程序，以及借助于更新而将现有程序转变成使用本发明的程序的计算机程序。

进一步地，计算机程序元件可能能够提供履行如上文所述方法的示例性实施例的进程所必要的所有步骤。

根据本发明的另一示例性实施例，呈现了诸如CD-ROM之类的计算机可读介质，其中计算机可读介质具有存储在其上的计算机程序元件，该计算机程序元件由之前的章节描述。

计算机程序可以存储和/或分布在适当介质上，诸如连同其它硬件一起供应或者作为其部分的光学存储介质或固态介质，但是也可以以其它形式分布，诸如经由互联网或者其它有线或无线电信系统。

然而，计算机程序也可以通过比如万维网之类的网络而呈现并且可以从这样的网络下载到数据处理器的工作存储器中。根据本发明的另一示例性实施例，提供了用于使得计算机程序元件可用于下载的介质，该计算机程序元件布置成执行根据本发明的之前所描述的实施例中的一个的方法。

必须指出的是，参照不同主题描述了本发明的实施例。特别地，参照方法类型权利要求描述了一些实施例，而参照设备类型权利要求描述了其它实施例。然而，本领域技术人员将从以上及以下描述推断出，除非以其它方式指出，否则除了属于一种类型主题的特征的任何组合之外，涉及不同主题的特征之间的任何组合也将被视为与本申请一起公开。然而，所有特征可以被组合从而提供多于特征的简单加和的合成效果。

尽管已经在附图和之前的描述中详细图示和描述了本发明，但是这样的图示和描述要视为是说明性或示例性而非限制性的。本发明不限于所公开的实施例。本领域技术人员在实践所要求保护的发明时，通过研究附图、公开内容和随附权利要求，可以理解和实现对所公开的实施例的其它变形。

在权利要求中，词语“包括”不排除其它元件或步骤，并且不定冠词“一”或“一个”不排除多个。单个处理器或其它单元可以履行在权利要求中记载的若干项的功能。在相互不同的从属权利要求中记载某些措施的简单事实不指示这些措施的组合不能用于获利。权利要求中的任何参考标记不应当解释为限制范围。

Claims (15)

1.一种用于在生物学、组织学和病理学中使用的图像处理装置，包括：

-用于从第一成像模态接收图像帧的流的输入端口（IN）；

-在两个模式之间可切换的图像匹配器（M），该匹配器配置成试图将来自第二成像模态的图像帧与第一图像进行匹配，其中当匹配器操作于第一模式中时，第一图像充当第一参考模板，其中一旦从帧的流中的帧之中找到第一匹配帧，或者一旦接收到用户发出的切换信号，则匹配器操作成切换到第二模式中以便现在使用第一匹配帧或当前帧作为第二参考模板取代第一参考模板来试图将图像帧与所述第二参考模板进行匹配；

-输出端口（OUT），其配置成一旦由图像匹配器找到另外的匹配帧，则输出所述另外的匹配帧。

2.权利要求1的图像处理装置，其中匹配操作是基于试图将如在第一或第二参考模板中所限定的图像特征与图像帧中的图像部分进行匹配。

3.权利要求2的图像处理装置，其中输出包括在显示单元上分别显示另外或随后的匹配图像帧的图像部分，其中相应的图形覆盖物概绘图像部分。

4.前述权利要求中任一项的图像处理装置，其中输出包括在显示单元上显示另外的匹配帧，其中第一匹配帧没有被显示，但是在显示单元上显示的是另外的匹配帧或者来自流的任何随后的帧。

5.前述权利要求中任一项的图像处理装置，其中针对一个或多个另外的匹配尝试维持第二参考模板直到第一成像模态的成像设置改变，其中响应于这样的改变，匹配器操作成再次切换并使用由匹配器找到以与第二参考模板匹配的流中的第二另外的帧来作为第三参考模板。

6.前述权利要求中任一项的图像处理装置，其中第一成像模态是显微镜相机系统。

7.前述权利要求中任一项的图像处理装置，其中第二成像模态是病理学载物片扫描仪。

8.前述权利要求中任一项的图像处理装置，其中获取一个或多个组织部段的图像。

9.权利要求8的图像处理装置，其中获取保持在载物片和盖玻片之间的部段的第一图像，其中获取没有载玻片的相同或不同第二部段的图像帧。

10.权利要求8-9中任一项的图像处理装置，其中部段不同，但是从相同标本取得。

11.权利要求2-10中任一项的图像处理装置，其中另外或随后的匹配帧的坐标被馈送到MDx装置中以从对应于如记录在另外或随后的匹配帧中的感兴趣区的第二部段移除材料。

12.前述权利要求中任一项的图像处理装置，其中手动地或自动地供应流。

13.用于在生物学、组织学和病理学中使用的图像处理方法，包括：

从第一成像模态接收（S205）图像帧的流；

在第一模式匹配模式中，试图将图像帧与来自第二成像模态的第一图像进行匹配（S210），其中第一图像充当第一参考模板；

当从帧的流中的帧之中找到匹配帧时，或者当接收到切换信号时，切换（S215）到第二模式中；

在第二模式中，现在使用匹配帧或当前帧作为第二参考模板取代第一参考模板来试图将图像帧与所述第二参考模板进行匹配（S220）；

一旦找到另外的匹配帧，则输出（S225）所述另外的匹配帧。

14.一种用于控制根据权利要求1-12中任一项的用于在生物学、组织学和病理学中使用的装置的计算机程序元件，其在由处理单元执行时适配成执行权利要求13的方法步骤。

15.一种具有存储在其上的权利要求14的程序元件的计算机可读介质。