CN107076980A - 用于大视场显微扫描中嵌入图像的系统和方法 - Google Patents

用于大视场显微扫描中嵌入图像的系统和方法 Download PDF

Info

Publication number
CN107076980A
CN107076980A CN201580055627.XA CN201580055627A CN107076980A CN 107076980 A CN107076980 A CN 107076980A CN 201580055627 A CN201580055627 A CN 201580055627A CN 107076980 A CN107076980 A CN 107076980A
Authority
CN
China
Prior art keywords
new images
scanning
images
key frame
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580055627.XA
Other languages
English (en)
Inventor
塞巴斯蒂安·拉勒芒
托马斯·勒盖吕·德雷维翁
林立恒
曼·赫尔曼·洛霍克
阿卜廷·拉苏利安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WICETEC Oy
Original Assignee
WICETEC Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WICETEC Oy filed Critical WICETEC Oy
Publication of CN107076980A publication Critical patent/CN107076980A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Abstract

提供了用于获取并且组合通过显微镜所捕获的图像的方法和系统。该方法包括：利用成像设备从显微镜捕获新图像；将新图像与先前图像进行比较以提供新图像的估计位置；基于新图像的估计位置，识别在存储器中所存储的扫描的相邻关键帧；将新图像与所识别的关键帧进行比较，以确定新图像距相邻关键帧的相对位移；以及基于新图像的相对位移来确定新图像的位置。所述系统包括：显微镜；耦接到显微镜用于通过该显微镜来捕获图像的相机；以及耦合到相机的计算设备，所述计算设备包括：存储器；以及用于并且适于执行在此所描述的方法的处理器。

Description

用于大视场显微扫描中嵌入图像的系统和方法
背景技术
在许多临床研究中，获取大视场显微图像是非常有益的。利用自动显微镜[1]或手动载物台显微镜[2]提出了许多技术。在该文献中，扫描被称为覆盖样本的大视场的大图像。扫描可以由许多较小的图像(诸如图1A中)组成，或者是诸如图1B中的样本的统一图像。在图1A中，较小的图像被称为关键帧。关键帧的相对位置是先验已知的。这可以利用自动扫描系统或基于图像的技术[2]来执行。在不失普遍性的情况下，对于该文献的其余部分，假设扫描由许多具有相同大小的关键帧组成。
附图说明
现在将仅作为示例，参考附图来描述本公开的各个实施例。
图1A是包括许多较小图像的样本的扫描的示意图；
图1B是包括单个统一图像的样本的扫描的示意图；
图2是具有嵌入扫描的扫描的示意图；
图3是根据本公开的实施例的系统的示意图；
图4A是利用具有小于原始扫描的放大倍率的物镜所捕获的新图像的第一扫描的示意图；
图4B是利用具有大于原始扫描的放大倍率的物镜所捕获的新图像的第一扫描的示意图；
图5是示出根据本公开的实施例的定位图像的过程的流程图；
图6是示出根据本公开的实施例的用于确定帧的定位信息过程的流程图；
图7是根据本公开的实施例的穷举搜索的各种迭代中的关键帧的选择的示意图；
图8是校正相对放大的过程的示意图；
图9A和图9B示出了根据本公开的实施例的多物镜扫描的用户界面；
图10是示出根据本公开的实施例用于手动记录Z-堆叠的系统设置的示意图；
图11是根据本公开的实施例的用于查看Z-堆叠的用户界面的示意图；
图12是根据本公开的实施例的用于观看扫描的用户界面的示意图；以及
图13是根据本公开的实施例的用于查看显示Z-堆叠的位置的扫描的用户界面的示意图。
具体实施方式
引言
问题定义
鉴于常见的使用情况，对技术人员或者临床医生而言以更高分辨率观察样本的一些部分，或者探索z-轴上的一部分可能是有益的。换句话说，将利用不同放大倍率或深度所获取的其他图像嵌入到主扫描中将是有益的。该图像是通过在空间上移动载物台获取到的图像集合，或者通过改变显微镜的焦点获得的。对于本文的其余部分，前者被称为多物镜扫描，后者被称为Z-堆叠(Z-stack)。需要注意的是，这些功能的先决条件是在大视场扫描中通过任意物镜所获取的图像的准确定位。图2显示利用高倍放大物镜和Z-堆叠所捕获的嵌入式扫描的扫描。如图2所示，原始扫描可以包含利用不同的物镜放大率所捕获的另一扫描，或者可以具有Z-堆叠，其是利用不同焦点/深度所捕获的图像。
上述特征，连同图像的实时采集，被提供在具有机动化载物台的显微镜中，但在手动载物台显微镜中不可用。本文中所描述的一些实施例对于共同提供这些特征的系统进行评价。
在本公开文本中，假设从安装在手动显微镜上的相机获取图像流，从而提供样本的实时数字图像。相机的最新数字图像以下被称为当前图像帧。用户可以控制手动载物台和显微镜的聚焦。用户在切换物镜时通知系统。然后，系统自动定位已捕获的扫描中的实时图像。当他/她意图改变焦点以获取Z-堆叠时，用户也可以通知系统。图3示出系统硬件的总览。如图3所示，将相机安装在向处理计算机流送实时图像的手动显微镜上。图像被实时处理，并且在显示器上执行可视化。
本公开文本将覆盖在此所公开的实施例的三个方面。首先，扫描中图像的定位，在“多物镜定位”节中呈现。第二个是用于在原始扫描中拼接和嵌入以不同物镜进行的这种扫描的所提出系统，在“多物镜扫描”节中呈现。第三个是用于存储和管理嵌入在扫描中的Z-堆叠的所提出系统，如“Z-堆叠”节所示。
多物镜定位
鉴于扫描，多物镜定位被定义为通过不同于在重建扫描中所使用的物镜的物镜所捕获的图像流的定位。图4A和图4B示出了两种不同的场景，其中利用较大放大倍率或较小放大倍率来捕获图像(用条带示出)。在图4A中，当前图像帧通过具有小于原始扫描的放大倍率的物镜来捕获的。在图4B中，当前图像帧通过具有大于原始扫描的放大倍率的物镜来捕获的。图像与扫描的一个或多个关键帧重叠。图像最初具有大小(sx，sy)，但可以通过相对放大倍率进行缩放到原始扫描。例如，如果原始扫描是通过10倍物镜捕获的，并且当前图像帧是通过40倍物镜捕获的，则可以将图像缩放0.25倍。在时间t捕获的当前帧的位置相对于原始扫描表示为Pt。
通过一系列图像匹配来执行定位。在下一节中，说明匹配过程。
两帧的注册
特征检测
对于当前图像帧执行特征检测。这些特征用于图像注册(链接)。特征检测的结果是一组特征，其中每个特征可以包括一组属性：
·图像坐标中的位置(x，y)；
·尺度和方位等几何属性；
·用于描述特征周围的图像模式的图像属性。
匹配两帧
通过匹配其特征来执行帧的匹配。为此目的提出了许多技术[2][3]。假设在两个图像中检测到一长列特征，该节包含两个步骤(帧被称为参考和匹配帧)：
1.对于参考帧中的每个特征，找到匹配帧中最接近的特征。最接近的特征
应该具有最相似的属性。
2.基于匹配的特征共同找到位移。
跟踪、链接和定位的定义
鉴于图像流，本文中的术语跟踪是指将当前帧匹配到先前帧。假设匹配导致位移d，则当前帧的位置被估计为pt＝pt-1+d。如果当前帧被成功匹配到先前帧，则称为被跟踪。
在此所使用的术语“链接”是指当前图像帧与关键帧的匹配。如果当前图像帧被成功匹配到至少一个关键帧，则将该当前图像帧称为被链接。
在此所使用的术语“定位”是指基于跟踪和链接来确定当前帧位置是否正确。如果当前图像帧在扫描中的位置是正确的，则将该当前图像帧称为被定位。定位过程
定位过程是当前图像帧在利用不同目镜放大倍率获取到的关键帧内进行定位的过程，该过程在图5中示出并且概述如下：
1.对于当前图像帧进行预处理，并提取特征。
2.根据该帧和关键帧的放大倍率的差异，对于新帧中的特征的位置(xi，yi)和比例si进行缩放。假设新帧具有放大倍率mn，并且关键帧具有放大倍率mk。
因此，缩放位置和比例如下：
3.并且o估计
4.链接。接下来，将当前的图像帧匹配到相邻的关键帧，以校正其位置，
并消除跟踪导致的不准确匹配的累积可能性。
在多物镜匹配的情况下，链接可能不总是成功的。因此，跟踪信息与链接信息组合以确定当前帧的位置。该过程在下一节中描述。
将跟踪与链接结合用于准确定位
基于链接和跟踪信息来估计当前图像帧的位置。如果当前图像帧被链接或跟踪，并且先前的图像帧被定位，则当前图像帧被定位。该逻辑示于图6中，图6是描述将跟踪与链接信息组合用于当前图像帧的准确定位的示意图。物镜光学特性的差异可能会导致图像的变化。这些变化可能导致物镜之间图像的匹配失败。为了提高定位算法的鲁棒性，可以将跟踪作为图像定位的替代方法添加到算法中。
穷举搜索
如果当前图像帧在前一步骤中未定位，则算法进入穷举搜索状态。在此步骤中，关键帧根据其与当前图像帧的距离进行排序。与之前的步骤相反，在这一点上，不是将这些关键帧的所有而只是一部分都链接到帧。这是为了防止穷举搜索阻碍系统的实时性能。假设n个关键帧根据其与当前图像帧的距离进行排序：K0，K1，...，Kn-1。在穷举搜索中第一次，只处理前m个元素(K0，...，Km-1)。如果链接不成功，对于下一帧，处理第二m个元素(Km，...，K2m-1)(参见图7)等等。图7示出了当前图像帧未定位在其相邻关键帧内的情况下的穷举搜索；所有关键帧相对于它们到当前图像帧的距离进行排序，并且在每次迭代中仅检查一部分关键帧用于当前图像帧的定位。由于当前图像帧在每次迭代时更新，所以参考帧不会保持不变。然而，可以假设它们不会移动太多，因为穷举搜索可以在几分之一秒内访问所有的关键帧。
相对放大倍率的校正
物镜上所指示的放大倍率可能不完全正确。例如，10倍物镜可能放大倍率为10.01。使用物理校准可以实现真实的放大倍率。然而，在没有这样的信息的情况下，可以在图像匹配过程中找到不同物镜之间的“相对”放大率。假设关键帧和当前图像中的某些功能彼此正确匹配。需要注意的是，每个特征都有一个位置，可以表示为一个点。参考帧中的匹配特征可以列为r1，...，rn，匹配帧中的匹配特征可以列为m1，...，mn。具有相同索引的特征匹配，即ri对应于mi。图8显示了这种对应关系，以及寻找两帧之间的位移的我们的先前方法。如图8所示，其示出相对放大倍率的校正，可以经由对于当前图像帧和匹配关键帧的匹配特征所执行的普鲁克分析(Procrustes analysis)[4]来执行。虽然帧在位移之后几乎匹配，但是两帧之间仍然存在相对比例。因此，应当适当重新计算两帧之间的相对比例。假设每个点都具有x和y分量：最初计算所有分量的平均值：
接下来，计算每个点集的比例：
然后计算真实的相对放大倍率为
其中S是最初基于物镜的先验知识计算出的相对放大倍率。例如对于10倍和40倍的物镜，S＝0.25。
多物镜扫描
链接多个扫描
用户可以选择将利用不同物镜捕获到的图像进行拼接并创建另一个扫描。针对这种拼接提出了许多技术[2]。在此情况下，在该扫描与原始扫描之间建立亲子关系。在两次扫描之间建立链接来关联对应的坐标空间。假设在子扫描中捕获n个帧。这些帧的拼接产生了位置(x1，y1)，...，(xn，yn)。此外，通过利用多物镜定位，发现这些帧在父扫描内的位置：为了关联这些坐标空间，可以使用普鲁克分析[4]，其中未知数是转译和比例。
用户界面
用户可以在任何时候切换到不同的物镜。用户也可以在选择的物镜开始扫描。此时，由父物镜捕获的先前扫描在背景中显示为半透明。这将为用户提供一种视觉辅助，以便将两次扫描相互关联。完成扫描后，用户可以切换回父物镜。此时，由不同物镜捕获的扫描显示为半透明且可点击。通过用户点击，扫描视图将切换为使得子扫描处于活跃状态。也就是说，40倍扫描变为不透明，而10倍扫描变为半透明。图9A和图9B示出了多物镜扫描的用户界面的总览，其中用户可以在物镜之间进行切换并分开修改每个扫描，而另一次扫描是半透明的。
记录多物镜扫描
利用他们自己的文件格式来保存父扫描及其子扫描。子扫描可以使用附加文件链接到父扫描。此文件中记录诸如到子扫描文件的路径和父扫描中子扫描的位置的信息。
Z-堆叠
样本在显微镜中的数字化通常通过捕获大的2D扫描来实现。虽然该解决方案满足大多数情况，但它只允许捕获狭窄的景深，剥离有用信息用于分析某些样品。该技术问题的解决方案是捕获Z-堆叠。Z-堆叠被定义为在不同焦平面处呈现相同样本的图像堆叠。在理论上，可以捕获整个样本的Z-堆叠，产生扫描堆叠。然而，由于构成扫描的图像的高分辨率，因为需要太多的存储空间，所以一叠扫描变得不切实际。
本节提出了一种通过记录覆盖样本的有限区域的Z-堆叠并将该堆叠附接到覆盖整个样本的扫描来减少存储器使用的方法。该解决方案的优点是提供足够的扫描深度信息用于分析，同时保持内存使用量较低。
该节分为两部分。在第一部分中描述利用显微镜用于记录和可视化Z-堆叠的工作流，并在第二部分中说明Z-堆叠到扫描的附接。
Z-堆叠记录
硬件设置
如图10所示，可以使用安装在显微镜上的数码摄像机来记录Z-堆叠。在图10中，系统设置包括显微镜，在显微镜上安装当显微镜载物台在不同深度移动时拍摄图像的相机。当相机以固定的时间间隔拍摄放置在显微镜下的样品时，可以移动显微镜载物台，以便在不同深度观察样品。因此，可以重新组合由相机拍摄的图像以形成代表在深度范围内的样本相同位置的图像的堆叠，仅限于在记录期间发生的载物台移动量。需要注意的是，该方法不必限于深度信息的分析，能够用于在记录期间通过横向/空间上移动载物台来记录样本的区域。
Z-堆叠可视化
如图11所示，Z-堆叠一次可视化一帧，图11示出用于查看Z-堆叠的用户界面。认真检查Z-堆叠有不同的方式。第一个是以与播放视频相似的方式，以与记录速度相同的速度(或速度系数)从头到尾播放Z-堆叠。第二种方法是利用鼠标滚轮滑动各帧或者利用鼠标拖动当前帧光标，允许沿Z-堆叠后退或前进。最后的方法是利用图11所示的滑块在堆叠中选择任何随机帧来查看。
需要注意的是，用户界面可以具有其他特征，例如修整Z-堆叠的开始和结束。例如，手动记录Z-堆叠的用户点击软件中的“记录”按钮，花费一些时间在用户的显微镜上准备好，然后驱动聚焦旋钮或载物台来捕获焦平面和感兴趣区域。可以修整这些操作之间的捕获到的帧，以减小Z-堆叠的大小。
由于Z堆叠可以使用许多存储空间，所以难以保持将正在可视化的整个堆叠保存在存储器中。为了解决这个问题，可以将Z-堆叠保存在硬盘上所保存的文件中，并且只加载当前显示的帧。然而，这假定用于保存Z-堆叠的文件格式允许随机访问堆叠的帧。为了解决这个问题，在下节中提出了一种保存技术。
保存Z-堆叠
包含高分辨率图像的Z-堆叠在存储空间方面变得成本高。然后，压缩堆叠的图像成为记录Z-堆叠的重要步骤。如上一节所述，Z-堆叠的图像可以直接从文件中以任何顺序可视化。压缩算法允许对Z-堆叠内的随机帧进行解码。因此，标准视频压缩过程的使用通常是合适的，因为这样的过程将以暂时方式压缩图像，产生Z-堆叠中相邻图像之间的必要依赖性。虽然视频压缩算法提供了很大的压缩比，但Z叠层中的任何图像n的解压缩需要先前图像n-1的解压缩，这反过来需要先前图像的解压缩直到到达Z-堆叠的第一帧。这种解压缩方法只适用于以从头到尾的顺序读取视频。然而，它不适合在整个Z-堆叠中的帧的随机访问。一个解决方案是将Z-堆叠的帧单独作为分开的图像见压缩。这可能不会提供最佳压缩比，但它满足读取Z-堆叠的要求。这些压缩图像然后能够以多层图像文件格式(诸如，TIFF)进行保存。
将Z-堆叠附加到扫描
由于Z-堆叠覆盖样品的有限区域，所以其单独可能不提供足够的信息用于分析样品。然而，当在扫描中被定位时，它变为有力的特征。该节提出了一种用于将Z-堆叠嵌入到利用显微镜和数码摄像机手动记录的样本扫描中的装置。
Z-堆叠记录
本节假定我们有一个利用显微镜和数码相机用于手动扫描样本的系统。这种系统的用户界面包括如图12所示由相机捕获的当前图像帧的位置以及扫描视图。中心的框显示相机相对于扫描的当前位置。
当找到感兴趣的区域时，用户可以通过点击“Z-堆叠记录”节所述的按钮来启动新的Z-堆叠的记录。当进行记录时，利用手动扫描系统的定位算法，Z-堆叠的位置是已知的。需要注意的是，由于用户自由横向地移动显微镜台，所以系统将整个Z-堆叠的位置设置为所记录的第一帧的位置。通过用矩形注释后者，在Z-堆叠与扫描之间建立链接。矩形位置和大小与Z-堆叠中的一个匹配，并且可以单击以打开“Z-堆叠可视化”节中所述的Z-堆叠查看器(见图13)。在图13中，Z-堆叠被定位在扫描中，并且被示为具有半透明图像的轮廓矩形。这些矩形是可点击的，这打开另一个窗口来查看Z-堆叠。
在“多物镜定位”节中所描述的定位算法仅提供利用不同于扫描所使用的放大倍率的物镜来记录Z-堆叠时的当前帧的位置的估计。这个估计不能保证所记录的Z-堆叠的位置的准确性。解决该问题的方法是允许用户通过利用鼠标拖动扫描内表示Z-堆叠的矩形注释来改进Z-堆叠相对于扫描的位置。可以通过在矩形注释中绘制半透明的Z-堆叠的一个图像来向用户提供视觉反馈。由于可以看到Z-堆叠与扫描之间的重叠所以是有益的，但是它假定在矩形内所绘制的帧被记录在与扫描相同的焦平面。有几种方法可以确保选择的帧是如所描述的那样。如果扫描精心地由清晰图像构成，可以选择Z-堆叠中最清晰的帧以最佳地匹配扫描。另一种可能性是总是选择所记录的第一帧，但是假设从与扫描相同的焦平面开始记录Z-堆叠。
因为用户一旦找到要记录的感兴趣区域，就会开始录制，所以这是一个可以接受的假设。该区域只能通过浏览扫描来找到，浏览扫描是在与扫描保持在同一焦平面的同时移动相机。
保存Z-堆叠和扫描之间的链接
扫描和Z-堆叠都利用它们自己的文件格式进行保存。这个结构应保持灵活性。因此，应当创建附加文件来存储扫描和记录到该扫描中的Z-堆叠之间的关系。此文件应包含到扫描文件和单独的Z-堆叠的路径名。它也应该包含Z-堆叠相对于扫描的位置。
在前面的描述中，为了解释的目的，公开许多细节以便提供对实施例的透彻理解。然而，本领域技术人员应当清楚的是这些具体细节不是必需的。在其他示例中，公知的电气结构和电路以框图的形式示出，以便不使理解模糊。例如，没有提供关于这里描述的实施例是否被实现为软件例程、硬件电路、固件或其组合的具体细节。
本公开的实施例可以呈现为机器可读介质(也称为计算机可读介质、处理器可读介质或其中具有计算机可读程序代码的计算机可用介质)中所存储的计算机程序产品。机器可读介质可以是任何合适的有形、非瞬态介质，包括磁盘、光盘只读存储器(CD-ROM)、存储设备(易失性或非易失性)或类似的存储构件的磁、光或电存储介质。机器可读介质可以包含各种指令集、代码序列、配置信息或其他数据，当这些被执行时，它们使处理器执行根据本公开的实施例的方法中的步骤。本领域普通技术人员应当理解的是，实现所描述的实施方式所需的其他指令和操作也可以存储在机器可读介质上。存储在机器可读介质上的指令可以由处理器或其他合适的处理设备进行执行，并且可以与电路进行接口来执行所描述的任务。
上述实施例仅仅希望是示例性的。本领域技术人员所作出替换、修改和变化能够影响到特定实施例。权利要求的范围不应由本文所公开的特定实施例来限制，而应以与整个说明书一致的方式来进行解释。
参考文献
以下参考文献通过引用以其整体并入本文中：
[1]"BZ-9000All-in-one Fluorescence Microscope(一体化荧光显微镜),"KeyenceCorporation,[在线].可获得：
http://www.keyence.com/products/microscope/fluorescence-microscope/ bz-9000/index.jsp.
[2]H.a.L.L.a.C.B.a.A.M.a.L.S.LO,"Apparatus and method for digitalmicroscopy imaging(用于数字显微镜成像的装置和方法)".2013.
[3]D.G.Lowe,"Object recognition from local scale-invariant features(从局域的尺寸无关的特征的对象识别),"in The proceedings of the seventh IEEEinternational conference on Computer vision(第七届IEEE国际会议论文集计算机版),1999.
[4]G.D.J.C.Gower,Procrustes Problems(普罗克拉斯提斯难题),OxfordUniversity Press(牛津大学出版社),2004.

Claims (17)

1.一种系统，包括：
显微镜；
相机，所述相机耦接到所述显微镜用于通过所述显微镜来捕获图像；以及计算设备，所述计算设备耦合到所述相机，所述计算设备包括：
存储器；以及
处理器，所述处理器用于并适于：
从所述相机获取新图像；
将所述新图像与先前图像进行比较以提供所述新图像的估计位置；
基于所述新图像的估计位置，识别在所述存储器中所存储的扫描的相邻关键帧；
将所述新图像与所识别的关键帧进行比较，以确定所述新图像距相邻关键帧的相对位移；以及
基于所述新图像距相邻关键帧的相对位移来确定所述新图像的位置。
2.根据权利要求1所述的系统，其中所述处理器还用于：
确定所述新图像是否已经被定位；以及
如果该图像尚未被定位，则执行穷举搜索以确定所述新图像的位置。
3.根据权利要求2所述的系统，其中通过在每次迭代中选择部分关键帧并且比较所述新图像与所选择的部分关键帧，在迭代中执行所述穷举搜索。
4.根据权利要求1所述的系统，还包括耦接到所述计算设备的显示器；
其中所述处理器还用于在所述显示器上呈现所述扫描和所述新图像。
5.根据权利要求1所述的系统，其中所述处理器还用于将所述新图像嵌入到现有扫描中。
6.根据权利要求1所述的系统，其中所述处理器还用于将z-堆叠嵌入到现有扫描中，所述z-堆叠是在不同深度所捕获的样本的一组图像。
7.根据权利要求6所述的系统，其中所述处理器还用于通过允许随机访问z-堆叠中的每个图像的方式来压缩所述z-堆叠。
8.根据权利要求1所述的系统，还包括输入设备；其中所述处理器还用于接受用户输入，以使嵌入图像相对于所述现有扫描进行移动。
9.一种获取并且组合通过显微镜所捕获的图像的方法，所述方法包括：
利用成像设备从显微镜捕获新图像；
将所述新图像与先前图像进行比较以提供所述新图像的估计位置；
基于所述新图像的估计位置，识别在存储器中所存储的扫描的相邻关键帧；
将所述新图像与所识别的关键帧进行比较，以确定所述新图像距所述相邻关键帧的相对位移；以及
基于所述新图像的相对位移来确定所述新图像的位置。
10.根据权利要求9所述的方法，还包括：
确定所述新图像是否已经被定位；并且
如果图像尚未被定位，则执行穷举搜索以确定所述新图像的位置。
11.根据权利要求10所述的方法，其中通过在每次迭代中选择部分关键帧并且比较所述新图像与所选择的部分关键帧，在迭代中执行所述穷举搜索。
12.根据权利要求9所述的方法，还包括在显示器上呈现所述扫描和所述新图像。
13.根据权利要求9所述的方法，还包括将所述新图像嵌入到现有扫描中。
14.根据权利要求9所述的方法，还包括将z-堆叠嵌入到现有扫描中，所述z-堆叠是在不同深度所捕获的样本的一组图像。
15.根据权利要求14所述的方法，还包括以允许随机访问z-堆叠中的每个图像的方式来压缩所述z-堆叠。
16.根据权利要求9所述的方法，还包括检测输入设备处的用户输入，并且响应于所述用户输入，相对于所述现有扫描移动嵌入图像。
17.一种非瞬态性计算机可读存储器，存储用于通过处理器执行的语句和指令，以执行根据权利要求9至16中任一项所述的方法。
CN201580055627.XA 2014-08-18 2015-08-17 用于大视场显微扫描中嵌入图像的系统和方法 Pending CN107076980A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462038499P 2014-08-18 2014-08-18
US62/038,499 2014-08-18
PCT/CA2015/050779 WO2016026038A1 (en) 2014-08-18 2015-08-17 System and method for embedded images in large field-of-view microscopic scans

Publications (1)

Publication Number Publication Date
CN107076980A true CN107076980A (zh) 2017-08-18

Family

ID=55350042

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580055627.XA Pending CN107076980A (zh) 2014-08-18 2015-08-17 用于大视场显微扫描中嵌入图像的系统和方法

Country Status (6)

Country Link
US (1) US20170242235A1 (zh)
EP (1) EP3183612A4 (zh)
JP (1) JP2017526011A (zh)
CN (1) CN107076980A (zh)
CA (1) CA2995719A1 (zh)
WO (1) WO2016026038A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112352149A (zh) * 2018-04-24 2021-02-09 第一前沿有限公司 用于自动分析空气样品的系统和方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018054690A (ja) * 2016-09-26 2018-04-05 オリンパス株式会社 顕微鏡撮像システム
CN110211183B (zh) * 2019-06-13 2022-10-21 广州番禺职业技术学院 基于单次成像大视场led透镜贴装的多目标定位系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002057999A1 (en) * 2001-01-16 2002-07-25 Applied Precision, Llc. Coordinate calibration for scanning systems
WO2002084368A1 (en) * 2001-04-12 2002-10-24 Cellavision Ab A method in microscopy and a microscope, where subimages are recorded and puzzled in the same coordinate system to enable a precise positioning of the microscope stage
WO2013016825A1 (en) * 2011-08-02 2013-02-07 Viewsiq Inc. Apparatus and method for digital microscopy imaging
US20130076892A1 (en) * 2011-09-23 2013-03-28 Mitutoyo Corporation Method utilizing image correlation to determine position measurements in a machine vision system

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4760385A (en) * 1985-04-22 1988-07-26 E. I. Du Pont De Nemours And Company Electronic mosaic imaging process
US6597818B2 (en) * 1997-05-09 2003-07-22 Sarnoff Corporation Method and apparatus for performing geo-spatial registration of imagery
AU1048399A (en) * 1997-11-10 1999-05-31 Gentech Corporation System and method for generating super-resolution-enhanced mosaic images
IL125337A0 (en) * 1998-07-14 1999-03-12 Nova Measuring Instr Ltd Method and apparatus for lithography monitoring and process control
EP1008956A1 (en) * 1998-12-08 2000-06-14 Synoptics Limited Automatic image montage system
US6711283B1 (en) * 2000-05-03 2004-03-23 Aperio Technologies, Inc. Fully automatic rapid microscope slide scanner
SE517626C3 (sv) * 2001-04-12 2002-09-04 Cellavision Ab Förfarande vid mikroskopering för att söka av och positionera ett objekt, där bilder tas och sammanfogas i samma bildkoordinatsystem för att noggrant kunna ställa in mikroskopbordet
EP1428169B1 (en) * 2002-02-22 2017-01-18 Olympus America Inc. Focusable virtual microscopy apparatus and method
IL156589A0 (en) * 2003-06-23 2004-01-04 Nova Measuring Instr Ltd Method and system for automatic target finding
US7756357B2 (en) * 2003-07-01 2010-07-13 Olympus Corporation Microscope system for obtaining high and low magnification images
EP1756750A4 (en) * 2004-05-27 2010-10-20 Aperio Technologies Inc SYSTEMS AND METHOD FOR PRODUCING AND LOOKING AT THREE-DIMENSIONAL VIRTUAL FOILS
US7792338B2 (en) * 2004-08-16 2010-09-07 Olympus America Inc. Method and apparatus of mechanical stage positioning in virtual microscopy image capture
US7643665B2 (en) * 2004-08-31 2010-01-05 Semiconductor Insights Inc. Method of design analysis of existing integrated circuits
US7456377B2 (en) * 2004-08-31 2008-11-25 Carl Zeiss Microimaging Ais, Inc. System and method for creating magnified images of a microscope slide
US20060127880A1 (en) * 2004-12-15 2006-06-15 Walter Harris Computerized image capture of structures of interest within a tissue sample
CA2507174C (en) * 2005-05-13 2013-07-16 Semiconductor Insights Inc. Method of registering and aligning multiple images
EP2095332B1 (en) * 2006-11-16 2010-08-11 Visiopharm A/s Feature-based registration of sectional images
US8098956B2 (en) * 2007-03-23 2012-01-17 Vantana Medical Systems, Inc. Digital microscope slide scanning system and methods
US20090041316A1 (en) * 2007-08-07 2009-02-12 California Institute Of Technology Vibratome assisted subsurface imaging microscopy (vibra-ssim)
US20090091566A1 (en) * 2007-10-05 2009-04-09 Turney Stephen G System and methods for thick specimen imaging using a microscope based tissue sectioning device
US8131056B2 (en) * 2008-09-30 2012-03-06 International Business Machines Corporation Constructing variability maps by correlating off-state leakage emission images to layout information
US8781219B2 (en) * 2008-10-12 2014-07-15 Fei Company High accuracy beam placement for local area navigation
US8509565B2 (en) * 2008-12-15 2013-08-13 National Tsing Hua University Optimal multi-resolution blending of confocal microscope images
US8331726B2 (en) * 2009-06-29 2012-12-11 International Business Machines Corporation Creating emission images of integrated circuits
US20110169985A1 (en) * 2009-07-23 2011-07-14 Four Chambers Studio, LLC Method of Generating Seamless Mosaic Images from Multi-Axis and Multi-Focus Photographic Data
US9075106B2 (en) * 2009-07-30 2015-07-07 International Business Machines Corporation Detecting chip alterations with light emission
US8564623B2 (en) * 2009-12-11 2013-10-22 Molecular Devices, Llc Integrated data visualization for multi-dimensional microscopy
JP5434621B2 (ja) * 2010-01-19 2014-03-05 ソニー株式会社 情報処理装置、情報処理方法、及びそのプログラム
US8860833B2 (en) * 2010-03-03 2014-10-14 Adobe Systems Incorporated Blended rendering of focused plenoptic camera data
US8396269B2 (en) * 2010-04-08 2013-03-12 Digital Pathco LLC Image quality assessment including comparison of overlapped margins
JP2012010275A (ja) * 2010-06-28 2012-01-12 Sony Corp 情報処理装置、情報処理方法、及びそのプログラム
JP5324534B2 (ja) * 2010-07-29 2013-10-23 株式会社日立ハイテクノロジーズ 検査方法及び装置
DE102010039652A1 (de) * 2010-08-23 2012-02-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Mosaikaufnahmeerzeugung
US8724000B2 (en) * 2010-08-27 2014-05-13 Adobe Systems Incorporated Methods and apparatus for super-resolution in integral photography
EP2707893B1 (en) * 2011-05-13 2019-01-16 Fibics Incorporated Microscopy imaging method and system
JP2013025466A (ja) * 2011-07-19 2013-02-04 Sony Corp 画像処理装置、画像処理システム及び画像処理プログラム
JP2013179581A (ja) * 2012-02-07 2013-09-09 Canon Inc 画像生成装置及びその制御方法
CN104520713A (zh) * 2012-03-30 2015-04-15 克拉里安特诊断服务公司 在单个样品上的免疫荧光和基于荧光的核酸分析
JP2013230145A (ja) * 2012-04-30 2013-11-14 Masahiko Sato 細胞集団の状態を評価するための方法、候補化合物の発癌性を評価するための方法、潜在的な抗癌化合物の抗癌活性を評価するための方法及び治療用細胞集団の品質を評価するための方法
JP2014090401A (ja) * 2012-10-05 2014-05-15 Canon Inc 撮像システム及びその制御方法
AU2012268846A1 (en) * 2012-12-21 2014-07-10 Canon Kabushiki Kaisha Optimal patch ranking for coordinate transform estimation of microscope images from sparse patch shift estimates
EP2984471A4 (en) * 2013-04-08 2017-01-25 WDI Wise Device Inc. Method and apparatus for small and large format histology sample examination
JP6290559B2 (ja) * 2013-09-03 2018-03-07 株式会社日立ハイテクサイエンス 断面加工観察方法、断面加工観察装置
US10089766B2 (en) * 2014-03-28 2018-10-02 Konica Minolta Laboratory U.S.A., Inc Method and system of stitching aerial data using information from previous aerial images
WO2015197815A1 (en) * 2014-06-27 2015-12-30 Koninklijke Kpn N.V. Determining a region of interest on the basis of a hevc-tiled video stream
JP6190768B2 (ja) * 2014-07-02 2017-08-30 株式会社日立ハイテクノロジーズ 電子顕微鏡装置およびそれを用いた撮像方法
US10226173B2 (en) * 2014-07-07 2019-03-12 University Of Rochester System and method for real-time montaging from live moving retina
US10003754B2 (en) * 2015-06-18 2018-06-19 Agilent Technologies, Inc. Full field visual-mid-infrared imaging system
US9721371B2 (en) * 2015-12-02 2017-08-01 Caterpillar Inc. Systems and methods for stitching metallographic and stereoscopic images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002057999A1 (en) * 2001-01-16 2002-07-25 Applied Precision, Llc. Coordinate calibration for scanning systems
WO2002084368A1 (en) * 2001-04-12 2002-10-24 Cellavision Ab A method in microscopy and a microscope, where subimages are recorded and puzzled in the same coordinate system to enable a precise positioning of the microscope stage
WO2013016825A1 (en) * 2011-08-02 2013-02-07 Viewsiq Inc. Apparatus and method for digital microscopy imaging
US20130076892A1 (en) * 2011-09-23 2013-03-28 Mitutoyo Corporation Method utilizing image correlation to determine position measurements in a machine vision system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112352149A (zh) * 2018-04-24 2021-02-09 第一前沿有限公司 用于自动分析空气样品的系统和方法

Also Published As

Publication number Publication date
CA2995719A1 (en) 2016-02-25
WO2016026038A1 (en) 2016-02-25
US20170242235A1 (en) 2017-08-24
EP3183612A1 (en) 2017-06-28
JP2017526011A (ja) 2017-09-07
EP3183612A4 (en) 2018-06-27

Similar Documents

Publication Publication Date Title
US20170140528A1 (en) Automated histological diagnosis of bacterial infection using image analysis
US11281897B2 (en) Gesture shaking recognition method and apparatus, and gesture recognition method
US11880982B2 (en) Method and system for performing image segmentation
US11003963B2 (en) Method and system for identifying targets in scenes shot by a camera
CN111932542B (zh) 一种基于多焦距的图像识别方法及装置、存储介质
Piccinini et al. Extended depth of focus in optical microscopy: Assessment of existing methods and a new proposal
TWI514172B (zh) An animation search device, an animation search method, a recording medium, and a program
CN107787463A (zh) 优化对焦堆栈的捕获
US10726067B2 (en) Method and apparatus for data retrieval in a lightfield database
JP2012105205A (ja) キーフレーム抽出装置、キーフレーム抽出プログラム、キーフレーム抽出方法、撮像装置、およびサーバ装置
CN107076980A (zh) 用于大视场显微扫描中嵌入图像的系统和方法
WO2014196097A1 (ja) 画像処理システム、画像処理装置、プログラム、記憶媒体及び画像処理方法
CN108470585A (zh) 一种互动式虚拟切片远程标注方法及系统
Merino‐Gracia et al. Real‐time text tracking in natural scenes
JP6702360B2 (ja) 情報処理方法、情報処理システム及び情報処理装置
Zhou et al. Video text processing method based on image stitching
RU2647645C1 (ru) Способ устранения швов при создании панорамных изображений из видеопотока кадров в режиме реального времени
Yan et al. Focal length estimation guided with object distribution on FocaLens dataset
RU2626551C1 (ru) Способ формирования панорамных изображений из видеопотока кадров в режиме реального времени
Gherardi et al. Real-time whole slide mosaicing for non-automated microscopes in histopathology analysis
WO2021035228A2 (en) System and methods for photo in-painting of unwanted objects with auxiliary photos on smartphone
Reichert et al. Stabilization and visual analysis of video-recorded sailing sessions
Ashman et al. A Camera-Assisted Pathology Microscope to Capture the Lost Data in Clinical Glass Slide Diagnosis
Chen et al. Autofocus window selection algorithm based on saliency detection
JP2013021482A (ja) 映像アノテーション付与装置およびその動作方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1243181

Country of ref document: HK

WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170818

REG Reference to a national code

Ref country code: HK

Ref legal event code: WD

Ref document number: 1243181

Country of ref document: HK