CN110992394A - 使用图像分割的对象跟踪 - Google Patents
使用图像分割的对象跟踪 Download PDFInfo
- Publication number
- CN110992394A CN110992394A CN201910923211.5A CN201910923211A CN110992394A CN 110992394 A CN110992394 A CN 110992394A CN 201910923211 A CN201910923211 A CN 201910923211A CN 110992394 A CN110992394 A CN 110992394A
- Authority
- CN
- China
- Prior art keywords
- image
- specimen
- interest
- target object
- microscope
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003709 image segmentation Methods 0.000 title claims abstract description 20
- 239000013598 vector Substances 0.000 claims abstract description 280
- 230000033001 locomotion Effects 0.000 claims abstract description 115
- 238000000034 method Methods 0.000 claims description 84
- 238000013528 artificial neural network Methods 0.000 claims description 15
- 238000005520 cutting process Methods 0.000 claims description 4
- 239000000523 sample Substances 0.000 description 77
- 238000009877 rendering Methods 0.000 description 39
- 238000003860 storage Methods 0.000 description 21
- 230000008569 process Effects 0.000 description 20
- 238000004891 communication Methods 0.000 description 16
- 230000008859 change Effects 0.000 description 15
- 238000010894 electron beam technology Methods 0.000 description 12
- 230000003287 optical effect Effects 0.000 description 12
- 210000002569 neuron Anatomy 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 8
- 230000004807 localization Effects 0.000 description 8
- 210000003470 mitochondria Anatomy 0.000 description 8
- 238000002360 preparation method Methods 0.000 description 8
- 238000004626 scanning electron microscopy Methods 0.000 description 8
- 210000000170 cell membrane Anatomy 0.000 description 7
- 230000000670 limiting effect Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000010884 ion-beam technique Methods 0.000 description 5
- 238000000386 microscopy Methods 0.000 description 5
- 230000002829 reductive effect Effects 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 238000001350 scanning transmission electron microscopy Methods 0.000 description 4
- 238000003491 array Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000001537 neural effect Effects 0.000 description 3
- 239000002245 particle Substances 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 241000406668 Loxodonta cyclotis Species 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 239000013078 crystal Substances 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000002149 energy-dispersive X-ray emission spectroscopy Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 150000002500 ions Chemical class 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 241000700605 Viruses Species 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 210000005013 brain tissue Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 239000002178 crystalline material Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000001493 electron microscopy Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- CKHJYUSOUQDYEN-UHFFFAOYSA-N gallium(3+) Chemical compound [Ga+3] CKHJYUSOUQDYEN-UHFFFAOYSA-N 0.000 description 1
- 239000007789 gas Substances 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 229910001338 liquidmetal Inorganic materials 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000002070 nanowire Substances 0.000 description 1
- 239000003921 oil Substances 0.000 description 1
- 239000011368 organic material Substances 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000004611 spectroscopical analysis Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000004627 transmission electron microscopy Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000004846 x-ray emission Methods 0.000 description 1
- 238000004876 x-ray fluorescence Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/174—Segmentation; Edge detection involving the use of two or more images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
- G06T2207/10061—Microscopic image from scanning electron microscope
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20152—Watershed segmentation
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
- H01J2237/00—Discharge tubes exposing object to beam, e.g. for analysis treatment, etching, imaging
- H01J2237/22—Treatment of data
- H01J2237/221—Image processing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Geometry (AREA)
- Optics & Photonics (AREA)
- Computer Graphics (AREA)
- Analytical Chemistry (AREA)
- Software Systems (AREA)
- Chemical & Material Sciences (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Microscoopes, Condenser (AREA)
- Image Analysis (AREA)
Abstract
公开了使用图像分割的对象跟踪。获得试样的捕获的图像。基于所述捕获的图像而生成分割图像。所述分割图像指示对应于感兴趣对象的片段。从所述分割图像中的所述感兴趣对象中识别一个或多个目标对象。可识别位置和/或形状最相似于前一图像中所示的目标对象的感兴趣对象。替代地，可识别与最相似于连接前一图像中的所述目标对象的连接向量的连接向量相关联的感兴趣对象。从所述前一图像中的目标对象位置到所述分割图像中的目标对象位置绘制移动向量。根据所述移动向量相对于所述试样移动显微镜的视野以捕获所述试样的另一图像。
Description
技术领域
本公开涉及试样图像采集。确切地说，本公开涉及使用图像分割的对象跟踪。
背景技术
显微镜学是使用显微镜以更好地观察用肉眼难以看到的对象的技术领域。显微镜的不同分支包含例如：光学显微镜、带电粒子（电子和/或离子）显微镜和扫描探针显微镜。
带电粒子显微镜包含使用加速的带电粒子束作为照明源。电子显微镜的类型包含例如：透射电子显微镜、扫描电子显微镜、扫描透射电子显微镜和聚焦离子束显微镜。
透射电子显微镜（TEM）的组件包含：电子光学柱、真空系统、必要的电子器件（用于聚焦和偏转光束的透镜源和用于电子源的高压发生器）和控制软件。电子光学柱的一端上包含电子枪并且另一端上包含观察设备（如摄像头）。电子束从电子枪中射出，并且穿过薄的试样，以传输被收集、聚焦并且投射到观察设备上的电子。从枪到摄像头的整个电子路径处于真空下。
与TEM相似，扫描电子显微镜（SEM）的组件包含：电子光学柱、真空系统、必要的电子器件（用于聚焦和偏转光束的透镜源和用于电子源的高压发生器）和控制软件。电子枪位于电子光学柱的一端上。试样位于电子柱的另一端上。来自电子枪的电子束聚焦在试样表面上的一个细微的光斑中。电子束在试样上方以矩形光栅扫描。由束电子与试样之间的相互作用产生的各种信号的强度被测量并存储在计算机存储器中。存储的值随后被映射为图像显示器上的亮度的变化。
扫描透射电子显微镜（STEM）类似于TEM，其中图像是通过电子穿过足够薄的试样而形成。然而，不同于TEM，STEM将电子束聚焦在一个细微的光斑上，然后在光栅照明系统中扫描样本上方的电子束。
聚焦离子束显微镜（FIB显微镜）类似于SEM，然而，FIB显微镜使用离子束而不是电子束。离子束源的实例包含液态金属离子源（LMIS），如镓离子源。
显微镜与各种可配置的显微镜参数相关联。SEM的显微镜参数的实例包含：加速电压（在电子穿过电子光学柱时被加速的电压）；电子束的会聚角；束流；光斑大小（试样上的光束光斑的直径）；停留时间；和分辨率。各种显微镜参数的不同值导致不同质量和属性的图像。例如，较高的放大率需要较小的光斑大小。较高的信噪比和对比度分辨率需要较大的束流。然而，减小光斑大小也会减小束流。
可以使用各种方法来获得试样的三维（3D）渲染。作为实例，块面（block face）扫描电子显微法涉及将试样安装在显微镜的真空腔室中；使用显微镜来捕获试样的块面的图像；从所述块面切掉薄切片；将试样升高以使得新的块面返回到显微镜的焦平面；以及捕获新的块面的另一图像。过程重复，直到已经捕获整个3D体积为止。作为另一实例，连续截面扫描电子显微镜检查涉及将试样切成薄切片；将第一切片安装在显微镜的真空腔室中；捕获第一切片的表面的图像；将下一个切片安装在显微镜的真空腔室中；捕获当前切片的表面的另一图像。所述过程重复进行，直到捕获到所有切片的图像为止。本文中所使用的术语“截面表面”是指每个2D图像中捕获到的试样的一部分，例如，在块面扫描电子显微法中的块面，或在连续截面扫描电子显微法中的切片的表面。截面表面的2D图像堆叠在一起以生成试样的3D渲染。3D渲染可在用户界面处呈现，打印到纸上，和/或以其它方式提供给用户和/或另一应用。3D渲染可呈现为3D模型和/或动画，其展示试样从试样的顶部到底部的截面表面。3D渲染可为交互式的，例如，用户可旋转3D模型，和/或快退、停止、快进动画。
可使用各种方法来获得随时间变化的试样的连续图像。原位电子显微法为使用电子显微镜来观察试样对刺激的反应的研究技术。试样安装在显微镜的视野内。刺激被激活，这致使试样做出反应。显微镜可以周期性的时间间隔，例如每0.1秒捕获试样的图像。捕获的图像被收集在一起以形成动画。动画展示在试样内随时间发生的变化。
与获得试样的3D渲染相关联的缺点之一是显微镜的视野受到限制。目标对象（用户希望观察的对象）可以通过试样的不同截面表面出现在不同的位置。虽然目标对象可能出现在特定截面表面的视野中，但目标对象也可能在另一截面表面的视野之外。因此，在3D渲染中的试样深度内不会完全捕获目标对象。
与获得试样的连续图像相关联的缺点之一是显微镜的视野受到限制。目标对象可在感兴趣的时间段内移动到不同位置。虽然目标对象可能在特定的时间间隔内出现在视野中，但目标对象也可能在另一时间间隔内在视野之外。因此，在感兴趣的时间段内中不会完全捕获目标对象。
与获得试样的3D渲染以及获得随时间变化的试样的连续图像相关联的另一缺点是跟踪目标对象极为困难。多个感兴趣对象可出现在截面表面上。其它杂项对象也可能出现在截面表面上。捕获试样图像还可涉及噪声。因此，很难确定试样图像中所示的感兴趣对象中的哪一个是目标对象。作为实例，多个线粒体可出现在脑部组织的截面表面上。然而，用户可能对线粒体中的一个特别感兴趣。由于线粒体的相似性，很难从捕获的图像中所示的其它线粒体和其它对象以及噪声中区分用户特别感兴趣的线粒体。作为另一实例，多个气泡由于刺激而可在试样内移动。然而，用户可能对某一组气泡特别感兴趣。由于气泡的相似性，很难识别出用户特别感兴趣的某一组气泡。
本发明的目标是改进获得试样的3D渲染的过程。确切地说，目标是提供一种更好地跟踪目标对象的获得3D渲染的改进方法。
本发明的目标是改进获得随时间变化的试样的连续图像的过程。确切地说，目标是提供一种更好地跟踪目标对象的获得试样的连续图像的改进方法。
为此目的，本发明提供根据技术方案1所述的方法。根据技术方案1所述的方法包含获得对应于试样的第一图像的步骤。识别第一图像中对应于目标对象的第一位置。接着获得对应于试样的第二图像（通过显微镜捕获）。将图像分割技术应用于第二图像以获得分割图像。分割图像包含（a）对应于感兴趣对象的第一组片段和（b）不对应于任何感兴趣对象的第二组片段。将分割图像中所示的感兴趣对象中与第一图像中所示的目标对象的最高相似性得分相关联的特定感兴趣对象确定为分割图像中所示的目标对象。识别分割图像中对应于目标对象的第二位置。确定从第一图像中的第一位置到分割图像中的第二位置的移动向量。根据移动向量相对于试样移动显微镜的视野以捕获对应于试样的第三图像。在实施例中，所述方法可由包含硬件处理器的至少一个装置执行。利用上述方法，有可能通过试样的不同截面表面准确地识别和跟踪目标对象。另外，利用上述方法，有可能通过随时间变化的试样准确地识别和跟踪目标对象。由于未从捕获的图像直接识别目标对象，所以增加了准确性；实际上从基于捕获的图像生成的分割图像中识别目标对象。分割图像用以筛选掉捕获的图像中所示的不感兴趣的对象。分割图像因此在识别目标对象的过程中涉及较少“噪声”。基于上述方法，目标对象保持在显微镜的视野中。
对应于试样的第一图像展示试样的第一截面表面。对应于试样的第二图像展示试样的第二截面表面。这样，将所述方法应用于试样的不同截面表面，并且获得试样的3D渲染。通过试样的3D渲染跟踪目标对象。所述方法包括以下步骤：从试样的块面切割薄的切片，以去除试样的第一截面表面并露出试样的第二截面表面。
在实施例中，在根据移动向量相对于试样移动显微镜的视野之后，捕获对应于试样的第三图像。第三图像展示试样的第二截面表面。这样，从第二截面表面捕获两个图像。出于识别目标对象和确定移动向量的目的捕获“第二图像”。在基于移动向量使目标对象居中之后捕获“第三图像”。因此，捕获准确地以目标对象为中心的图像。
在实施例中，获得对应于试样的第三图像。第三图像展示试样的第二截面表面。在根据移动向量相对于试样移动显微镜的视野之后，通过显微镜捕获第三图像。编译跟踪目标对象的一组图像。所述组图像包含第三图像但不包含第二图像。这样，从第二截面表面捕获两个图像。出于识别目标对象和确定移动向量的目的捕获“第二图像”。在基于移动向量使目标对象居中之后捕获“第三图像”。在编译跟踪目标对象的一组图像时，仅包含以目标对象为中心的图像；不包含出于确定移动向量的目的而拍摄（且不一定以目标对象为中心）的图像。因此，跟踪目标对象的所述组图像仅包含以目标对象为中心的图像。
在实施例中，在根据移动向量相对于试样移动显微镜的视野之后，捕获对应于试样的第三图像。第三图像展示试样的第三截面表面。这样，从第二截面表面捕获仅一个图像。接受第二图像中所示的目标对象与中心的任何偏差。假定目标对象从一个截面表面到下一个截面表面的位置变化不显著或足够小，使得其可方便地在图像后处理步骤中校正。因此，基于使第二图像中所示的目标对象的位置居中而移动用于捕获第三截面表面的视野。在不针对相同截面表面重复图像采集的情况下，更高效地捕获试样上所有截面表面的图像采集。
在实施例中，获得对应于试样的第三图像。第三图像展示试样的第三截面表面。在根据移动向量相对于试样移动显微镜的视野之后，通过显微镜捕获第三图像。编译跟踪目标对象的一组图像。所述组图像包含第二图像和第三图像。因此，每个截面表面都被捕获一次。跟踪对象的一组图像包含捕获的每一图像。假定目标对象在截面表面上的位置变化不大，即使每个图像可能不一定以目标对象为中心，目标对象也应保持在视野中。在不针对相同截面表面重复图像采集的情况下，更高效地捕获试样上所有截面表面的图像采集。
在实施例中，对应于试样的第一图像展示在第一时间间隔的试样。对应于试样的第二图像展示在第一时间间隔之后的第二时间间隔的试样。这样，将所述方法应用于在不同时间间隔的试样，并且获得试样的连续图像。当试样可随时间变化时，通过试样的连续图像跟踪目标对象。
在实施例中，将分割图像中所示的感兴趣对象中与第一图像中所示的目标对象的最高相似性得分相关联的特定感兴趣对象确定为分割图像中所示的目标对象包括确定特定感兴趣对象最接近第一图像中的第一位置。另外或替代地，将分割图像中所示的感兴趣对象中与第一图像中所示的目标对象的最高相似性得分相关联的特定感兴趣对象确定为分割图像中所示的目标对象包括确定特定感兴趣对象的第一形状最相似于第一图像中所示的目标对象的第二形状。这样，可以基于例如对象位置和/或对象形状等一个或多个因子而确定分割图像中所示的感兴趣对象与另一图像中所示的目标对象之间的相似性得分。
应注意，可通过显微镜捕获第一图像。替代地，第一图像可以是通过显微镜捕获的另一图像的分割版本。还应注意，图像分割技术可使用人工神经网络（ANN）。
此外，为了实现上文所描述的目标，本发明提供根据技术方案12所述的方法。根据技术方案12所述的方法包含获得对应于试样的第一图像的步骤。识别连接第一图像中所示的多个目标对象的第一向量集。识别第一图像中对应于多个目标对象的第一位置。接着获得对应于试样的第二图像（通过显微镜捕获）。将图像分割技术应用于第二图像以获得分割图像。分割图像指示（a）对应于感兴趣对象的第一组片段和（b）不对应于任何感兴趣对象的第二组片段。识别分割图像中所示的感兴趣对象的子组。确定分别对应于分割图像中所示的感兴趣对象的子组的向量集。确定向量集中与第一向量集的最小差相关联的特定向量集。将由特定向量集连接的感兴趣对象的子组中的感兴趣对象的特定子组确定为多个目标对象。识别分割图像中对应于多个目标对象的第二位置。确定从第一图像中的第一位置到分割图像中的第二位置的移动向量。根据移动向量相对于试样移动显微镜的视野以捕获对应于试样的第三图像。在实施例中，所述方法可由包含硬件处理器的至少一个装置执行。利用上述方法，通过从试样的块面切割薄的切片，有可能通过试样的不同截面表面准确地识别和跟踪目标对象，如上文所描述。另外，利用上述方法，有可能通过随时间改变的试样准确地识别和跟踪目标对象。由于未从捕获的图像直接识别目标对象，所以增加了准确性；实际上从基于捕获的图像生成的分割图像中识别目标对象。分割图像用以筛选掉捕获的图像中所示的不感兴趣的对象。分割图像因此在识别目标对象的过程中涉及较少“噪声”。基于上述方法，目标对象保持在显微镜的视野中。
在实施例中，对应于试样的第一图像展示在第一时间间隔的试样。对应于试样的第二图像展示在第一时间间隔之后的第二时间间隔的试样。这样，将所述方法应用于在不同时间间隔的试样，并且获得试样的连续图像。当试样可随时间变化时，通过试样的连续图像跟踪目标对象。
在实施例中，在根据移动向量相对于试样移动显微镜的视野之后，捕获对应于试样的第三图像。第三图像展示在第二时间间隔之后的第三时间间隔的试样。因此，针对每个时间间隔获得对应于试样的图像。通过试样的连续图像跟踪目标对象。
在实施例中，获得对应于试样的第三图像。第三图像展示在第二时间间隔之后的第三时间间隔的试样。在根据移动向量相对于试样移动显微镜的视野之后，通过显微镜捕获第三图像。编译跟踪多个目标对象的一组图像。所述组图像包含第二图像和第三图像。因此，针对每个时间间隔获得对应于试样的图像。通过试样的连续图像跟踪目标对象。跟踪多个目标对象的一组图像包含在每个时间间隔捕获的每一图像。
根据本发明的一方面，提供根据技术方案15所述的非暂时性计算机可读介质。非暂时性计算机可读介质包括指令，所述指令在由一个或多个硬件处理器执行时，使得如上述实施例中的任一个中所述的操作得以执行。上文已经论述了优点。
根据本发明的另一方面，提供根据技术方案16所述的系统。系统包括包含硬件处理器的至少一个装置。系统被配置成执行如关于根据本发明的方法所述的操作，如上文所描述。在实施例中，系统可包括用于执行如上述描述所述的操作的一个或多个构件。
根据本发明的另一方面，提供根据技术方案17所述的系统。系统包括用于执行如上述描述所述的操作的一个或多个构件。
在这部分中描述的方法是可以采用的方法，但不一定是先前已经设想到或采用的方法。因此，除非另有说明，否则不应假定这部分中描述的任何方法仅凭其包含在本部分中就具备现有技术的资格。
附图说明
实施例在附图中以示例的方式而非以限制的方式示出。应当注意的是，在本公开中提到“一”或“一个”实施例不一定是指同一个实施例，并且其是指至少一个实施例。在附图中：
图1A示出根据一个或多个实施例的示例对象跟踪图像采集系统；
图1B示出根据一个或多个实施例的对象跟踪图像采集系统的示例处理流程；
图1C示出根据一个或多个实施例的示例试样；
图2A到2B示出根据一个或多个实施例的用于获得跟踪目标对象的3D试样渲染的一组示例操作；
图3A到3B示出根据一个或多个实施例的用于获得跟踪目标对象的连续试样图像的一组示例操作；
图4示出根据一个或多个实施例的试样的示例横截面；
图5A到5J示出根据一个或多个实施例的用于获得跟踪目标对象的3D试样渲染的实例；
图6示出根据一个或多个实施例的随时间变化的示例试样；
图7A到7H示出根据一个或多个实施例的用于获得跟踪目标对象的连续试样图像的实例；
图8A到8C示出根据一个或多个实施例的用于获得跟踪多个目标对象的3D试样渲染的一组示例操作；
图9A到9C示出根据一个或多个实施例的用于获得跟踪多个目标对象的连续试样图像的一组示例操作；
图10A到10N示出根据一个或多个实施例的用于获得跟踪多个目标对象的连续试样图像的实例；并且
图11示出说明根据一个或多个实施例的计算机系统的框图。
具体实施方式
在以下描述中，出于解释的目的，阐述了许多具体细节以便提供透彻理解。可以在没有这些具体细节的情况下实践一个或多个实施例。在一个实施例中描述的特征可以与在不同的实施例中描述的特征相组合。在一些实例中，参考框图形式描述了众所周知的结构和装置，以避免不必要地模糊本发明。
1. 概述
2. 对象跟踪图像采集系统架构
3. 基于与分割图像中的感兴趣对象相关联的比较距离的对象跟踪
4. 示例实施例
5. 基于与分割图像中的感兴趣对象相关联的比较连接向量的对象跟踪
6. 示例实施例
7. 硬件概述
8. 杂项；扩展。
1. 概述
通过一组试样图像跟踪一个或多个目标对象。所述组图像可包含穿过试样的截面表面的图像。替代地，所述组图像可包含随时间变化的试样的连续拍摄的图像。
一个或多个实施例包含基于与分割图像中的感兴趣对象相关联的比较距离而跟踪目标对象。获得对应于试样的第一图像。识别第一图像中对应于目标对象的第一位置。接着获得对应于试样的第二图像（通过显微镜捕获）。将图像分割技术应用于第二图像以获得分割图像。分割图像包含（a）对应于感兴趣对象的第一组片段和（b）不对应于任何感兴趣对象的第二组片段。将分割图像中所示的感兴趣对象中与第一图像中所示的目标对象的最高相似性得分相关联的特定感兴趣对象确定为分割图像中所示的目标对象。识别分割图像中对应于目标对象的第二位置。确定从第一图像中的第一位置到分割图像中的第二位置的移动向量。根据移动向量相对于试样移动显微镜的视野以捕获对应于试样的第三图像。
一个或多个实施例包含基于与分割图像中的感兴趣对象相关联的比较连接向量而跟踪目标对象。获得对应于试样的第一图像。识别连接第一图像中所示的多个目标对象的第一向量集。识别第一图像中对应于多个目标对象的第一位置。接着获得对应于试样的第二图像（通过显微镜捕获）。将图像分割技术应用于第二图像以获得分割图像。分割图像指示（a）对应于感兴趣对象的第一组片段和（b）不对应于任何感兴趣对象的第二组片段。识别分割图像中所示的感兴趣对象的子组。确定分别对应于分割图像中所示的感兴趣对象的子组的向量集。确定向量集中与第一向量集的最小差相关联的特定向量集。将由特定向量集连接的感兴趣对象的子组中的感兴趣对象的特定子组确定为多个目标对象。识别分割图像中对应于多个目标对象的第二位置。确定从第一图像中的第一位置到分割图像中的第二位置的移动向量。根据移动向量相对于试样移动显微镜的视野以捕获对应于试样的第三图像。
本说明书中描述的和/或权利要求中列举的一个或多个实施例可以不包含在本概述部分中。
2. 对象跟踪图像采集系统架构
图1A示出根据一个或多个实施例的示例对象跟踪图像采集系统。如图1A所示，系统100包含试样102、显微镜104、人工神经网络（ANN）108、显微镜定位管理器114和数据储存库116。在一个或多个实施例中，系统100可以包含比图1A所示的组件更多或更少的组件。图1A所示的组件可以是彼此本地的或彼此远离的。图1A所示的组件可以软件和/或硬件实现。每个组件可以分布在多个应用和/或机器上。多个组件可以组合在一个应用和/或机器内。相对于一个组件描述的操作可以替代地由另一组件执行。
在一个或多个实施例中，试样102是待研究和/或分析的对象（或对象的一部分）。在生命科学领域中，试样的实例包含组织、细胞、蛋白质结构和病毒。在自然资源领域中，试样的实例包含油、气体、有机材料和岩石。在半导体领域中，试样的实例包含晶体材料和半导体材料。可以使用额外和/或替代领域中的试样。
试样102可具有某一深度。参考图1C，试样的“深度”是指从顶表面120到底表面122的距离。截面表面124（也被称作“块面”）是试样102的平面，所述平面是通过从试样102的一侧到试样102的相对侧对试样102进行切分而产生。横截面126是试样102的平面，所述平面是通过从试样102的顶部到试样102的底部对试样102进行切分而产生。显微镜104可从试样的顶表面120开始到试样的底表面122开始捕获截面表面124的图像。
试样102可随时间变化。变化可能是由刺激引起的。作为实例，试样内部的各种对象可随时间改变大小、形状和/或位置。各种对象可随时间在试样中生成。各种对象可随时间从试样中消失。
试样102包含一个或多个感兴趣对象。感兴趣对象与正在研究的对象类型相关联。试样的其余部分提供感兴趣对象的上下文。作为实例，试样可以是脑部结构，其包含细胞膜和其它结构。细胞膜可以是正在研究的一类对象。因此，细胞膜可以被称作感兴趣对象。同时，其它结构不是感兴趣对象。感兴趣对象的其它实例包含线粒体、特定神经元结构、生物结构的其它部分、晶体结构内的缺陷、晶体结构的边界、纳米线内的结构和液体内的气泡。
试样102包含一个或多个目标对象。目标对象是特定的感兴趣对象。在正在生成试样的3D渲染的情况下，目标对象是将通过试样102的横截面观察的感兴趣对象。另外或替代地，在生成变化试样的连续图像的情况下，目标对象是将在特定时间段内观察的感兴趣对象。因此，目标对象可以是感兴趣对象的子集。作为实例，试样可包含十个细胞膜。细胞膜可以是正在研究的对象类型。因此，所有十个细胞膜都可以是感兴趣对象。然而，可能十个细胞膜中的仅一个需要通过试样的横截面进行跟踪。被跟踪的感兴趣对象被称为目标对象。
返回参考图1A，在一个或多个实施例中，显微镜104是用以更好地查看用肉眼难以看到的对象的光学仪器。显微镜的类型包含透射电子显微镜（TEM）、扫描电子显微镜（SEM）、扫描透射电子显微镜（STEM）、聚焦离子束显微镜（FIB显微镜）和扫描光学显微镜。如本文中所使用，术语“显微镜”还可涵盖检测系统，例如能量色散光谱（EDS）和/或电子背散射衍射（EBSD）、波长色散光谱（WDS）、微X射线荧光（微XRF）和/或X射线计量。
在一个或多个实施例中，显微镜104的视野是指试样102的可通过显微镜104的透镜查看的一部分。显微镜104与用以定位显微镜104的视野的一个或多个定位参数106相关联。显微镜104的视野可以各种方式相对于试样102移动。定位参数106可以是例如显微镜104内的电子束的位置。另外或替代地，定位参数106可以是试样台相对于显微镜104的位置。可移动上面安装有试样102的试样台。另外或替代地，定位参数106可以是试样102相对于试样台的位置。试样102可以安装在试样台上的不同位置。另外或替代地，定位参数106可以是显微镜的透镜相对于显微镜102的位置。还可以使用另外或替代的定位参数106。
在一个或多个实施例中，显微镜104与一个或多个显微镜参数相关联。显微镜参数是显微镜104的可配置属性。SEM的显微镜参数的实例包含：加速电压（在电子穿过电子光学柱时被加速的电压）；电子束的会聚角；束流；光斑大小（试样上的光束光斑的直径）；停留时间；和分辨率。
各种显微镜参数的不同值导致不同质量和属性的图像。例如，较高的放大率需要较小的光斑大小。较高的信噪比和对比度分辨率需要较大的束流。然而，减小光斑大小也会减小束流。
在一个或多个实施例中，数据储存库116是用于存储数据的任何类型的存储单元和/或装置（例如，文件系统、数据库、表格集合或任何其它存储机构）。另外，数据储存库116可以包含多个不同的存储单元和/或装置。多个不同的存储单元和/或装置可以是相同类型的或不是相同类型的，或者位于相同的物理部位处。此外，数据储存库116可以被实现或者可以在与显微镜104，ANN 108和/或合并模块114相同的计算系统上执行。替代地或另外，数据储存库104可以在与显微镜104，ANN 108和/或合并模块114分开的计算系统上实施或执行。数据储存库104可经由直接连接或经由网络以通信方式联接到显微镜104、ANN 108和/或合并模块114。
描述捕获的试样图像116和分割的试样图像118的信息可以在系统100内的任何组件上实现。然而，出于清楚和解释的目的，此信息在数据储存库116内示出。
在一个或多个实施例中，捕获的试样图像116（在本文中也被称作“试样图像”或“图像”）是通过显微镜104产生的试样102的图像。捕获的试样图像116展示试样102的在显微镜104的视野内的区域。捕获的试样图像116可以与特定级别的图像质量相关联。图像质量可由例如分辨率、放大率、试样图像中的像素数目、试样图像中的像素大小和/或其它属性限定。
在实施例中，获得对应于试样102的一组捕获的试样图像116。一组捕获的试样图像116可构成跟踪试样102内的一个或多个目标对象的3D渲染。另外或替代地，一组捕获的试样图像116可构成跟踪在试样102内变化和/或移动的一个或多个目标对象的连续图像。可编译一组捕获的试样图像116以生成动画和/或视频。
在一个或多个实施例中，分割的试样图像118（在本文中也被称作“分割图像”）是捕获的试样图像116的简化版本。分割的试样图像118将捕获的试样图像116划分成多个片段。分割的试样图像内的每一像素或位置属于多个片段中的一个。每个片段与一组限定标签中的一个相关联。任何数量的标签都可以包含在所述组定义的标签中。
作为实例，分割的试样图像可以包含两种类型的片段：示出感兴趣对象的片段，以及未示出任何感兴趣对象的片段。分割的试样图像内的每一像素或位置可属于片段中的一个。因此，分割的试样图像也可被称作二值图像，其中分割的试样图像的每个像素或位置用两个可能值中的一个标记。
在实施例中，分割的试样图像116包含多个片段，每个片段展示一个或多个感兴趣对象。如上文所描述，每个感兴趣对象与正在研究的对象类型相关联。然而，仅多个感兴趣对象的子集可被识别为目标对象。并非所有感兴趣对象都在试样的3D渲染中或在随时间拍摄的连续试样图像中被跟踪。仅目标对象在试样的3D渲染中或在随时间拍摄的连续试样图像中被跟踪。
在一个或多个实施例中，ANN 108（也称为深度学习系统）是机器学习计算系统。ANN 108包含被称为人工神经元的连接单元或节点的集合。每个连接将信号从一个人工神经元传输到另一个。人工神经元处理接收到的信号以将另一信号传输到另一个人工神经元。人工神经元可以聚集成层。不同的层可以对其输入执行不同种类的转换。
一种类型的ANN是卷积神经网络。卷积神经网络被设计用于处理以多个阵列形式出现的数据，如由含有三个彩色通道中的像素强度的三个二维阵列组成的彩色图像。传统神经网络的示例架构被构造为一系列阶段。前几个阶段由两种类型的层组成：卷积层和汇集层。卷积层对输入应用卷积运算，将结果传递给下一层。卷积模拟单独神经元对视觉刺激的反应。汇集层将一层处的神经元簇的输出组合到下一层中的单个神经元中。例如，最大汇 集使用前一层处的神经元簇中的每个神经元的最大值。常规神经网络的实例是u-net。u-net在Ronneberger等人的《U-Net：生物医学图像分割的卷积网络（U-Net: ConvolutionalNetworks for Biomedical Image Segmentation）》，医学图像计算和计算机辅助干预（Medical Image Computing and Computer-Assisted Intervention）- MICCAI 2015，在234-241 (2015)，其特此以引用的方式并入本文中。
在一个或多个实施例中，ANN 108被配置成检测和/或识别试样图像中所示的感兴趣对象。对于试样图像内的每个位置，ANN 108确定所述位置展示感兴趣对象的概率。所述概率也可被称作“预测值”。预测掩码110指示试样图像的每个位置的预测值。预测掩码110的每个位置映射到试样图像内的对应位置。
基于预测掩码110，可生成分割的试样图像118。作为实例，可以对预测掩码进行阈值处理。预测值高于阈值的位置可与一个标签（例如，对应于感兴趣对象的片段）相关联。预测值低于阈值的位置可与另一标签（例如，不对应于感兴趣对象的片段）相关联。因此，ANN108可被配置成对捕获的试样图像116执行图像分割以生成分割的试样图像118。
在一个或多个实施例中，可使用用于对捕获的试样图像116执行图像分割以生成分割的试样图像118的额外或替代方法。作为实例，可将阈值处理方法应用于灰度图像。可以将某一范围内的灰度图像中的值分类为与特定标签相关联。可将另一范围内的灰度图像中的值分类为与另一标签相关联。作为另一实例，可使用聚类方法。K均值算法是用以将图像分割为K个聚类的迭代技术。作为另一实例，可使用边缘检测方法。作为另一实例，可使用图形分割方法。作为另一实例，可使用分水岭变换方法。
在一个或多个实施例中，显微镜定位管理器112是指被配置成相对于试样102移动显微镜104的视野以跟踪试样102中的一个或多个目标对象的硬件和/或软件。可从分割的试样图像118中所示的多个感兴趣对象中识别目标对象。下文参考图2A到2B和图3A到3B描述用于跟踪目标对象的操作的实例。
在实施例中，显微镜定位管理器112在一个或多个数字装置上实现。术语“数字装置”通常指的是包含处理器的任何硬件装置。数字装置可以指的是执行应用程序或虚拟机器的物理装置。数字装置的实例包含计算机、平板电脑、笔记本电脑、台式机、上网本、服务器、网络服务器、网络策略服务器、代理服务器、通用机器、特定功能硬件装置、大型机、电视机、内容接收器、打印机、移动手机、智能手机和/或个人数字助理（PDA）。
图1B示出根据一个或多个实施例的对象跟踪图像采集系统的示例处理流程。在图1A至1B中用相同数字标记的组件指的是相似的组件。
如所示，显微镜104配置有一组一个或多个定位参数106的第一组值。显微镜104用以使用定位参数106的第一组值来观察试样102。显微镜104产生试样102的当前捕获的试样图像116a。
将当前捕获的试样图像116a输入到ANN 108。ANN 108识别当前捕获的试样图像116a内的感兴趣对象。基于当前捕获的试样图像116a生成分割的试样图像118。分割的试样图像118指示对应于感兴趣对象的当前捕获的试样图像116a的片段和不对应于任何感兴趣对象的当前捕获的试样图像116a的片段。
将分割的试样图像118输入到显微镜定位管理器112。显微镜定位管理器112从分割的试样图像118中指示的感兴趣对象中识别一个或多个目标对象。显微镜定位管理器112确定从（a）前一捕获的试样图像中的目标对象的位置到（b）分割的试样图像118中的目标对象的位置的移动向量。显微镜定位管理器112配置显微镜104的定位参数106的第二组值以根据移动向量移动视野。根据移动向量相对于试样102移动视野。
显微镜104用以使用定位参数106的第二组值来观察试样102。显微镜104产生试样102的下一个捕获的试样图像116b。
当前捕获的试样图像116a和下一个捕获的试样图像116b可属于试样102的不同截面表面。另外或替代地，当前捕获的试样图像116a和下一个捕获的试样图像116b可属于在不同时间间隔随时间102变化的试样。
任选地，重复捕获的试样图像（未示出）可在当前捕获的试样图像116a与下一个捕获的试样图像116b之间拍摄。重复捕获的试样图像和当前捕获的试样图像116a属于试样102的同一截面表面，以定位参数106的不同值拍摄。在根据移动向量移动视野之后，拍摄重复捕获的试样图像。在拍摄重复捕获的试样图像与下一个捕获的试样图像116b之间不移动视野。
在实施例中，相比于当前捕获的试样图像116a，可以例如缩减的分辨率或缩减的停留时间等缩减的质量参数拍摄重复捕获的试样图像。替代地，相比于重复捕获的试样图像，可以缩减的质量参数拍摄当前捕获的试样图像116a。使用缩减的质量参数可加速过程和/或减少样本损坏。
所述过程可用下一个捕获的试样图像116b重复。接着将下一个捕获的试样图像116b输入到ANN 108。ANN基于下一个捕获的试样图像116b生成分割的试样图像，如上文所描述。
将基于下一个捕获的试样图像116b的分割的试样图像输入到显微镜定位管理器112。显微镜定位管理器112从基于下一个捕获的试样图像116b的分割的试样图像中指示的感兴趣对象中识别一个或多个目标对象。显微镜定位管理器112确定从（a）当前捕获的试样图像116a中的目标对象的位置到（b）基于下一个捕获的试样图像116b的分割的试样图像中的目标对象的位置的移动向量。显微镜定位管理器112配置显微镜104的定位参数106的第三组值以根据移动向量移动视野。根据移动向量相对于试样102移动视野。
因此，通过显微镜104产生多个试样图像。将关于当前捕获的试样图像116a中的目标对象的位置的信息反馈到系统中以生成下一个捕获的试样图像116b。显微镜104的定位参数106被配置成跟踪目标对象。
3. 基于与分割图像中的感兴趣对象相关联的比较距离的对象跟踪
图2A到2B示出根据一个或多个实施例的用于获得跟踪目标对象的3D试样渲染的一组示例操作。图2A到2B中示出的一个或多个操作可以一起被修改、重新布置或省略。因此，图2A到2B中示出的特定操作顺序不应被解释为限制一个或多个实施例的范围。
一个或多个实施例包含获得试样的第一截面表面的捕获的图像（操作202）。使用一个或多个定位参数的第一组值配置显微镜。将试样安装到载物台以供在显微镜下观察。使用显微镜观察试样的第一截面表面。生成捕获的图像，其展示第一截面表面的在显微镜的视野内的特定区域。对象跟踪图像采集系统从显微镜获得第一截面表面的捕获的图像。
一个或多个实施例包含识别捕获的图像中的目标对象（操作204）。对象跟踪图像采集系统获得识别捕获的图像中的目标对象的信息。识别捕获的图像中的目标对象的信息可由用户键入。另外或替代地，识别捕获的图像中的目标对象的信息可由另一应用程序生成。
一个或多个实施例包含识别捕获的图像中的目标对象位置（操作206）。对象跟踪图像采集系统识别捕获图像中对应于目标对象的位置。图像中对应于目标对象的位置在本文中还可被称作“图像中的目标对象位置”。特定图像中的目标对象位置可表示为一对坐标。作为实例，目标对象位置(3, 2)可指示目标对象位置位于图像的左下角右侧3个单位和图像的左下角上方2个单位。
可基于各种规则而确定特定图像中的目标对象位置。作为实例，规则可指定图像中所示的目标对象的中心被视为图像中的目标对象位置。作为另一实例，规则可指定图像中所示的目标对象的右上点被视为图像中的目标对象位置。作为另一实例，如果存在多个目标对象，那么规则可指定图像中所示的多个目标对象的中心被视为图像中的目标对象位置。举例来说，特定图像可包含具有相同大小的两个目标对象。一个目标对象可以位置(2,4)为中心。另一目标对象可以位置(4, 4)为中心。接着，两个目标对象的中心可以位于(3,4)。因此，位置(3, 4)可被视为特定图像中的目标对象位置。
一个或多个实施例包含确定从捕获的图像的中心到捕获的图像中的目标对象位置的移动向量（操作208）。从捕获的图像的中心到捕获的图像中的目标对象位置绘制移动向量。移动向量可表示为量值和方向。另外或替代地，移动向量可表示为x轴中的单位数和y轴中的单位数。
一个或多个实施例包含根据移动向量相对于试样移动显微镜的视野（操作210）。对象跟踪图像采集系统使显微镜的视野根据移动向量移动。对象跟踪图像采集系统可将指令传输到显微镜，所述指令指示显微镜的视野根据移动向量移动。视野可以与移动向量相同的量值和方向移动。替代地，视野可在移动向量的量值的特定范围内且在移动向量的方向的特定范围内移动。基于所述指令，使用定位参数的另一组值重新配置显微镜。
在实施例中，通过改变透镜的偏转器设置和/或电磁设置来移动电子束的位置。为了根据移动向量相对于试样移动视野，电子束以与移动向量相同的量值和方向移动。可将新的值分配给定位参数，使得电子束以与移动向量相同的量值和方向移动。
在实施例中，移动上面安装有试样的载物台。为了根据移动向量相对于试样移动视野，载物台以与移动向量相同的量值但在移动向量的相反方向上移动。可将新的值分配给定位参数，使得载物台以与移动向量相同的量值但在移动向量的相反方向上移动。
在实施例中，移动试样并将其安装在载物台上的不同位置。为了根据移动向量相对于试样移动视野，试样在与移动向量相同的量值和方向上移动。可将新的值分配给定位参数，使得试样在与移动向量相同的量值和方向上移动。
在实施例中，移动显微镜的透镜。为了根据移动向量相对于试样移动视野，透镜在与移动向量相同的量值和方向上移动。可将新的值分配给定位参数，使得透镜在与移动向量相同的量值和方向上移动。
在实施例中，可以执行显微镜的不同组件的移动的组合。可各自移动电子束、载物台、试样和/或透镜。根据移动向量，移动的组合相对于试样移动视野。
一个或多个实施例包含以目标对象为中心获得试样的第一截面表面的另一捕获的图像（操作212）。在移动显微镜的视野之后，对应于目标对象的位置现在位于视野的中心。对象跟踪图像采集系统使显微镜拍摄第一截面表面的另一捕获的图像。在操作202和212处获得的两个捕获的图像都展示第一截面表面。然而，在操作202处获得的捕获的图像不一定以目标对象为中心。在操作212处获得的捕获的图像基本上以目标对象为中心。
在实施例中，不执行操作212。即使在操作202处获得的捕获的图像不一定以目标对象为中心，在操作202处获得的捕获的图像也被接受为用于试样的3D渲染的第一截面表面的图像。跳过操作212减少了获得试样的3D渲染所需的时间量和/或资源。在操作210处移动显微镜的视野不是为了获得以目标对象为中心的当前截面表面的捕获图像，而是为了获得跟踪目标对象的下一个截面表面的捕获图像。
一个或多个实施例包含将第二截面表面设置为当前截面表面以准备获得下一个捕获图像（操作214）。准备第二截面表面以供在显微镜下观察。
在实施例中，使用块面扫描电子显微法。过程开始于将试样安装在显微镜的载物台上。观察试样的块面。第一观察到的块面构成在操作202处捕获的第一截面表面。接着从试样的块面切下薄的切片。去除薄的切片去除了第一截面表面并暴露第二截面表面。由此，第二截面表面准备好在显微镜下观察。
在实施例中，使用连续截面扫描电子显微法。过程开始于将试样切成薄的切片。第一切片安装在显微镜的载物台上。观察第一切片。第一切片的表面构成在操作202处捕获的第一截面表面。接着从载物台去除第一切片。将第二切片安装到载物台上。由此，作为第二截面表面的第二切片的表面准备好在显微镜下观察。
如上文在操作226处所描述，可移动视野而不相对于载物台移动试样。在这种情况下，第一切片和第二切片安装在显微镜载物台的相同位置。作为实例，第一切片可安装成使得第一切片的中心位于载物台的中心。因此，可观察作为第一截面表面的第一切片的表面。接着可通过移动载物台和/或移动显微镜的透镜来移动视野。在准备用于观察的第二截面表面时，可以从载物台去除第一切片。第二切片可安装成使得第二切片的中心也位于载物台的中心。因此，第一切片和第二切片安装在显微镜载物台的相同位置。
同样如上文在操作226处所描述，可通过相对于载物台移动试样来移动视野。在此情况下，第一切片的位置与第二切片的位置之间的距离等于试样应相对于载物台移动的距离。作为实例，第一切片可安装成使得第一切片的中心位于载物台的中心。因此，可观察作为第一截面表面的第一切片的表面。移动向量可确定为(4, 2)。可以通过相对于载物台移动试样来移动视野，在x方向上移动4个单元并且在y方向上移动2个单元。在准备用于观察的第二截面表面时，可以从载物台去除第一切片。第二切片可安装成使得第二切片的中心在从第一切片的中心开始的x方向上为4个单位，并且在从第一切片的中心开始的y方向上为2个单位。因此，第一切片的位置与第二切片的位置之间的距离等于试样应相对于载物台移动的距离。
一个或多个实施例包含获得试样的当前截面表面的捕获的图像（操作216）。使用显微镜观察试样的当前截面表面。生成捕获的图像，其展示当前截面表面的在显微镜视野内的特定区域。对象跟踪图像采集系统从显微镜获得当前截面表面的捕获的图像。
一个或多个实施例包含基于捕获的图像生成分割图像（操作218）。分析在操作216处获得的捕获的图像以生成分割图像。
在实施例中，将ANN应用于捕获的图像以生成分割图像。ANN接收捕获的图像作为输入。ANN确定捕获的图像内的每个位置的预测值。作为实例，可将u-net卷积神经网络应用于捕获的图像以识别捕获的图像内的神经元结构。u-net卷积网络可确定捕获的图像内的每个位置展示特定神经元结构的至少一部分的可能性。捕获的图像内的位置的相应预测值构成预测掩码。
将阈值处理算法应用于预测掩码。对于预测掩码中的每个位置可存在固定阈值。替代地，阈值可以在预测掩码中的位置上变化。可基于例如对应于周围位置和/或其它因子的预测值而调整特定位置的阈值。
将每个位置的相应预测值与所述位置的阈值进行比较。如果预测值高于阈值，那么将捕获的图像中的对应位置确定为展示感兴趣对象。相反地，如果预测值低于阈值，那么将捕获的图像中的对应位置确定为不展示任何感兴趣对象。因此，捕获的图像中的每一位置被确定为展示感兴趣对象或不展示任何感兴趣对象。因此生成分割图像。分割图像展示两种类型的片段：（a）包含捕获图像中展示感兴趣对象的位置的片段和（b）包含捕获图像中不展示任何感兴趣对象的位置的片段。
在实施例中，如上文所描述，可使用用于对捕获的图像执行图像分割以生成分割图像的额外或替代方法。
一个或多个实施例包含识别分割图像中所示的感兴趣对象，所述感兴趣对象与前一截面表面的捕获图像中所示的目标对象的最高相似性得分相关联（操作220）。被标记为展示感兴趣对象的分割图像中的每个单独片段被确定为单独的感兴趣对象。可以各种方式确定分割图像中所示的感兴趣对象与前一截面表面的捕获图像中所示的目标对象之间的相似性得分。
在实施例中，基于对象位置确定相似性得分。最接近前一截面表面的捕获图像中的目标对象位置的感兴趣对象与最高相似性得分相关联。
识别对应于每个感兴趣对象的分割图像中的相应位置。上文参考操作206描述了用于识别对应于特定对象的特定图像中的位置的操作的实例。在操作206处使用以确定第一截面表面的捕获图像中的目标对象位置的同一组规则用于确定对应于感兴趣对象的分割图像中的相应位置。
作为实例，规则可指定图像中所示的对象的中心被视为图像中的目标对象位置。通过应用规则，第一截面表面的捕获图像中所示的目标对象的中心被视为捕获图像中的目标对象位置。通过应用同一规则，特定截面表面的分割图像中所示的感兴趣对象的中心被视为对应于感兴趣对象的分割图像中的位置。
对于每个感兴趣对象，对象跟踪图像采集系统确定（a）前一截面表面的捕获图像中的目标对象位置与（b）对应于感兴趣对象的当前截面表面的分割图像中的位置之间的距离。通过针对每个感兴趣对象重复计算，对象跟踪图像采集系统因此确定一组距离。对象跟踪图像采集系统识别所述组距离中的最小距离。对应于最小距离的特定感兴趣对象是最接近前一截面表面的捕获图像中的目标对象位置的感兴趣对象。对象跟踪图像采集系统将特定感兴趣对象识别为目标对象。
作为实例，前一截面表面的捕获图像中的目标对象位置可以是(3, 2)。当前截面表面的分割图像可包含两个感兴趣对象。对应于第一感兴趣对象的分割图像中的位置可以是(4, 5)。对应于第二感兴趣对象的分割图像中的位置可以是(6, 7)。（a）前一截面表面的捕获图像中的目标对象位置与（b）对应于第一感兴趣对象的当前截面表面的分割图像中的位置之间的距离是(4, 5) - (3, 2) =
= 3.16。（a）前一截面表面的捕获图像中的目标对象位置与（b）对应于第二感兴趣对象的当前截面表面的分割图像中的位置之间的距离是(6, 7) - (3, 2) = 
= 5.83。最小距离是3.16，其对应于第一感兴趣对象。因此，可将第一感兴趣对象识别为目标对象。
在实施例中，基于对象形状确定相似性得分。形状与前一截面表面的捕获图像中所示的目标对象最相似的感兴趣对象与最高相似性得分相关联。
作为实例，特定类型的感兴趣对象可与特定几何形状相关联。例如，线粒体可以被建模为椭圆。因此，可以确定在前一截面表面的捕获图像中所示的目标对象的椭圆参数（例如，偏心率、长轴方向、表面）。可确定分割图像中所示的每个感兴趣对象的椭圆参数。可比较目标对象和每个感兴趣对象的椭圆参数。与目标对象的最小椭圆参数差相关联的感兴趣对象可确定为在形状上最相似，且因此被确定为目标对象。
作为另一实例，可识别前一截面表面的捕获图像中所示的目标对象的形状。可识别分割图像中所示的每个感兴趣对象的形状。目标对象的形状可覆盖在每个感兴趣对象的形状的顶部上。针对每个感兴趣对象确定两个形状不重叠的面积。与最小不重叠面积相关联的感兴趣对象可确定为在形状上最相似，且因此被确定为目标对象。
作为另一实例，可以围绕前一截面表面的捕获图像中所示的目标对象绘制边界框（例如最接近对象的形状的矩形）。可在分割图像中所示的每个感兴趣对象周围绘制边界框。可计算（a）围绕目标对象的边界框的面积与（b）围绕每个感兴趣对象的边界框的面积之间的差。与边界框面积的最小差相关联的感兴趣对象可确定为在形状上最相似，且因此被确定为目标对象。
作为另一实例，可确定前一截面表面的捕获图像中所示的目标对象的面积和周长。可确定目标对象的面积-周长比。可确定分割图像中所示的每个感兴趣对象的面积和周长。可以确定每个感兴趣对象的面积-周长比。可计算（a）目标对象的面积-周长比与每个感兴趣对象的面积-周长比之间的差。与面积-周长比最小差相关联的感兴趣对象可确定为在形状上最相似，且因此被确定为目标对象。
作为另一实例，可基于上文所描述的因子的组合而确定前一截面表面的捕获图像中所示的目标对象与分割图像中所示的感兴趣对象之间的相似性得分，所述因子例如椭圆参数、不重叠面积、边界框面积、对象面积和/或周长。另外或替代地，可基于其它因子而确定前一截面表面的捕获图像中所示的目标对象与分割图像中所示的感兴趣对象之间的相似性得分。
在实施例中，基于对象位置、对象形状和/或其它因子的组合而确定相似性得分。每个因子可相同地加权或不同地加权。
在实施例中，对象跟踪图像分割系统可使用前一截面表面的分割图像而非前一截面表面的捕获图像来执行操作220。因此，对象跟踪图像分割系统识别当前截面表面的分割图像中所示的感兴趣对象，所述感兴趣对象与前一截面表面的分割图像中所示的目标对象的最高相似性得分相关联。
一个或多个实施例包含识别当前截面表面的分割图像中的目标对象位置（操作222）。如上文在操作220处所描述，当前截面表面的分割图像中所示的特定感兴趣对象被识别为目标对象。上文参考操作206描述了用于识别对应于特定对象的特定图像中的位置的操作的实例。在操作206处使用以确定第一截面表面的捕获图像中的目标对象位置的同一组规则用于确定分割图像中的目标对象位置。
一个或多个实施例包含确定从前一截面表面的捕获图像中的目标对象位置到当前截面表面的分割图像中的目标对象位置的移动向量（操作224）。上文参考操作208描述了用于确定从图像中的一个位置到图像中的另一位置的移动向量的操作的实例。
在实施例中，对象跟踪图像分割系统可使用前一截面表面的分割图像而非前一截面表面的捕获图像来执行操作224。因此，对象跟踪图像分割系统确定从前一截面表面的分割图像中的目标对象位置到当前截面表面的分割图像中的目标对象位置的移动向量。
一个或多个实施例包含根据移动向量移动显微镜的视野（操作226）。上文参考操作210描述了用于根据移动向量移动显微镜的视野的操作的实例。
一个或多个实施例包含获得试样的当前截面表面的另一捕获图像（操作228）。上文参考操作212描述了在将显微镜的视野移动成以特定截面表面中的目标对象为中心之后获得特定截面表面的另一捕获图像的操作的实例。
在实施例中，不执行操作228。即使在操作216处获得的当前截面表面的捕获的图像不一定以目标对象为中心，在操作216处获得的捕获的图像也被接受为用于试样的3D渲染的当前截面表面的图像。
一个或多个实施例包含确定是否存在待观察的任何额外截面表面（操作230）。
在实施例中，使用块面扫描电子显微法。对象跟踪图像采集系统确定是否执行试样的另一次切片。如果试样中仍存在足够的深度，那么可执行另一次切片。但如果试样中不存在足够的深度，那么不进行另一次切片。另外或替代地，如果观察到的截面表面的数目不足，那么可执行另一次切片。但如果观察到的截面表面的数目足够，那么不执行另一次切片。可使用额外或替代的准则来确定是否执行另一次切片以暴露用于在显微镜下观察的额外截面表面。
在实施例中，使用连续截面扫描电子显微法。试样最初切割成一组切片。对象跟踪图像采集系统确定是否存在尚未观察到的试样的任何切片。
如果存在待观察的额外截面表面，那么一个或多个实施例包含将下一个截面表面设置为当前截面表面以准备获得下一个捕获图像（操作232）。上文参考操作214描述了用于准备下一个截面表面以在显微镜下观察的操作的实例。
关于当前截面表面重复操作216到230。因此，对象跟踪图像采集系统穿过试样的每个截面表面。对象跟踪图像采集系统在获得特定截面表面的捕获图像之后移动显微镜的视野以准备获得下一个截面表面的捕获图像。对象跟踪图像采集系统因此穿过试样的多个截面表面跟踪目标对象。
在观察到所有截面表面之后，一个或多个实施例包含编译跟踪目标对象的试样的3D渲染（操作234）。
在实施例中，执行操作212和230。在操作212和230处，在显微镜的视野已经移动成以目标对象为中心之后获得捕获的图像。编译操作212和230处的捕获图像以生成试样的3D渲染。然而，在操作202和216处获得的捕获的图像不一定以目标对象为中心。在操作202和216处，相比于前一截面表面，获得捕获的图像是为了确定目标对象已移动了多少。因此，当生成试样的3D渲染时，不编译操作202和216处的捕获图像。
在实施例中，不执行操作212和230。即使在操作202和216处获得的捕获的图像不一定以目标对象为中心，在操作202和216处获得的捕获的图像也被接受为充分跟踪目标对象。假定目标对象不在截面表面间显著改变位置。基于所述假定，可基于前一截面表面的目标对象位置而定位用于捕获特定截面表面的图像的视野。因此，编译操作202和216处的捕获图像以生成试样的3D渲染。在实施例中，编译每一截面表面的每一捕获图像以生成试样的3D渲染。
在实施例中，使用选用于编译的捕获图像来生成动画。首先将与第一截面表面相关联的捕获图像放置在动画中。其次将与第二截面表面相关联的捕获图像放置在动画中。因此，所有捕获的图像都在动画中排序。用户可播放动画。用户界面可连续地呈现有序的捕获图像。动画表现为移动穿过试样的横截面，同时跟踪目标对象。
在实施例中，使用选用于编译的捕获图像来生成交互式3D模型。用户可旋转3D模型，或者放大或缩小3D模型。3D模型可穿过试样的横截面跟踪目标对象。
在实施例中，可生成额外或替代的3D渲染。
图3A到3B示出根据一个或多个实施例的用于获得跟踪目标对象的连续试样图像的一组示例操作。图3A到3B中示出的一个或多个操作可以一起被修改、重新布置或省略。因此，图3A到3B中示出的特定操作顺序不应被解释为限制一个或多个实施例的范围。
一个或多个实施例包含在第一时间间隔获得试样的捕获的图像（操作302）。使用一个或多个定位参数的第一组值配置显微镜。将试样安装到载物台以供在显微镜下观察。刺激可以刺激试样，从而使试样随时间变化。例如，试样内可能发生化学反应。试样内可能会生成气泡。试样中可能会生成各种元素和/或化合物。
使用显微镜观察试样的表面。生成捕获的图像，其展示试样的在显微镜的视野内的特定区域。对象跟踪图像采集系统从显微镜获得试样的捕获的图像。
一个或多个实施例包含识别捕获的图像中的目标对象（操作304）。上文参考操作204描述了用于识别捕获的图像中的目标对象的操作的实例。
一个或多个实施例包含识别捕获的图像中的目标对象位置（操作306）。上文参考操作206描述了用于识别捕获的图像中的目标对象位置的操作的实例。
一个或多个实施例包含确定从捕获的图像的中心到捕获的图像中的目标对象位置的移动向量（操作308）。参考操作208描述了用于确定从图像中的一个位置到图像中的另一位置的移动向量的操作的实例。
一个或多个实施例包含根据移动向量相对于试样移动显微镜的视野（操作310）。上文参考操作210描述了用于根据移动向量移动显微镜的视野的操作的实例。视野实时移动。当视野移动时，试样继续随时间变化。不可能在第一时间间隔获得试样的另一捕获图像，因为第一时间间隔已经过去，并且试样的外观已经改变。
一个或多个实施例包含在当前时间间隔获得试样的捕获的图像（操作312）。在获得试样的捕获的图像之间的时间间隔可由用户和/或另一应用程序指定。每个捕获的图像之间的时间间隔可相同或不同。作为实例，用户可指定将每0.1秒捕获试样图像。可以9:00:00.100捕获第一试样图像，其被称作“第一时间间隔”。用于捕获第二试样图像的第二时间间隔接着将为9:00:00.200。用于捕获第三试样图像的第三时间间隔接着将为9:00:00.300。作为另一实例，用户可指定显微镜将以不规则的时间间隔捕获连续试样图像。显微镜将在9:00:00.100捕获第一试样图像，在9:00:00.300捕获第二试样图像，且在9:00:00.400捕获第三试样图像。当发生用于捕获另一试样图像的时间间隔时，显微镜捕获另一试样图像。
使用显微镜观察试样的表面。生成捕获的图像，其展示试样的在显微镜的视野内的特定区域。对象跟踪图像采集系统从显微镜获得试样的捕获的图像。
一个或多个实施例包含基于捕获的图像生成分割图像（操作314）。上文参考操作218描述了用于基于捕获的图像生成分割图像的操作的实例。
一个或多个实施例包含识别分割图像中所示的感兴趣对象，所述感兴趣对象与前一时间间隔的捕获图像中所示的目标对象的最高相似性得分相关联（操作316）。上文参考操作220描述了用于识别分割图像中所示的感兴趣对象的操作的实例，所述感兴趣对象与另一图像中所示的目标对象的最高相似性得分相关联。
在实施例中，使用紧接在前的时间间隔的捕获图像。识别分割图像中所示的感兴趣对象，所述感兴趣对象与紧接在前的时间间隔的捕获图像中所示的目标对象的最高相似性得分相关联。在另一实施例中，使用早于紧接在前的时间间隔的前一时间间隔的捕获图像。由于处理速度不足，这可能是必要的。作为实例，可每0.1秒捕获图像，但处理时间可能需要1秒。在此情况下，可使用当前时间间隔之前的10个时间间隔的捕获图像。
一个或多个实施例包含识别当前时间间隔的分割图像中的目标对象位置（操作318）。上文参考操作222描述了用于识别分割图像中的目标对象位置的操作的实例。
一个或多个实施例包含确定从前一时间间隔的捕获图像中的目标对象位置到当前时间间隔的分割图像中的目标对象位置的移动向量（操作320）。上文参考操作208描述了用于确定从图像中的一个位置到图像中的另一位置的移动向量的操作的实例。
一个或多个实施例包含根据移动向量移动显微镜的视野（操作226）。上文参考操作210描述了用于根据移动向量移动显微镜的视野的操作的实例。
一个或多个实施例包含确定当前时间是否仍在感兴趣的时间段内（操作324）。感兴趣的时间段可由用户和/或另一应用程序指定。作为实例，用户可指定感兴趣的时间段是3分钟。用户可指定将每0.5秒捕获试样图像。基于用户输入，可在总计3分钟内每0.5秒捕获连续试样图像。在捕获第一试样图像之后的3分钟，感兴趣的时间段已经过去。作为另一实例，用户可指定感兴趣的时间段是捕获1000个试样图像所需的时间。用户可指定将每0.8秒捕获试样图像。可每0.8秒捕获连续试样图像，直到已经捕获1000个试样图像。在捕获第1000个试样图像之后，感兴趣的时间段已经过去。
如果感兴趣的时间段尚未过去，那么关于每个时间间隔重复操作312到322。因此，对象跟踪图像采集系统通过感兴趣的时间段获得捕获的试样图像。对象跟踪图像采集系统在每个时间间隔获得捕获的图像之后移动显微镜的视野，以准备在下一个时间间隔获得捕获的图像。对象跟踪图像采集系统因此通过在感兴趣的时间段内的时间间隔跟踪目标对象。
在感兴趣的时间段已经过去之后，一个或多个实施例包含编译随时间跟踪目标对象的连续试样图像（操作326）。将操作302和312处的捕获图像编译为跟踪目标对象的一组连续试样图像。在实施例中，将在每一时间间隔的每一捕获图像编译成所述组连续试样图像。
即使在操作302和312处获得的捕获的图像不一定以目标对象为中心，在操作302和312处获得的捕获的图像也被接受为充分跟踪目标对象。
在实施例中，编译捕获的图像以生成动画。基于生成捕获图像的时间而按时间顺序将捕获图像排序到动画中。用户可播放动画。用户界面可连续地呈现有序的捕获图像。动画展示试样随时间的变化，同时跟踪目标对象。
在实施例中，可生成连续图像的额外或替代编译。
4. 示例实施例
出于清楚的目的，下文描述了详细的实例。下文所描述的组件和/或操作应当被理解为可能不适用于某些实施例的特定实例。因此，下文描述的组件和/或操作不应被解释为限制任何权利要求的范围。
图4示出根据一个或多个实施例的试样的示例横截面。试样400包含延伸穿过试样400的横截面的目标对象410。试样400还包含其它对象（未绘制）。试样的各种截面表面402到404可在显微镜下观察。在截面表面402处，目标对象410位于位置X处。在截面表面404处，目标对象410位于位置Y处。
图5A到5J示出根据一个或多个实施例的用于获得跟踪目标对象的3D试样渲染的实例。
图5A展示试样的截面表面502。若干对象呈现在截面表面502上，包含感兴趣对象552和不感兴趣的对象554。作为实例，感兴趣对象可以是线粒体，而不感兴趣的对象是试样内的其它生物结构。显微镜的定位参数的第一组值产生相对于截面表面502的视野512。因此，截面表面502的在视野512内的区域可通过显微镜观察到，视野512之外的区域无法通过显微镜观察到。
图5B展示截面表面502的捕获的图像522。捕获的图像522展示截面表面502的在视野512内的区域。捕获的图像522展示感兴趣对象552和不感兴趣的对象554两者。
用户查看捕获的图像522。用户键入识别目标对象510的用户输入。在位置X处识别目标对象510的中心。位置X可与坐标(5, 5)相关联。位置X被视为捕获的图像522中的目标对象位置。
准备下一个截面表面504以供在显微镜下观察。图5C展示试样的截面表面504。呈现在截面表面502上的感兴趣对象552和不感兴趣的对象554也呈现在截面表面504上。然而，对象可以不同形状和/或不同位置呈现。定位参数的第一组值仍用于配置显微镜。定位参数的第一组值产生相对于截面表面504的视野514a。因此，截面表面504的在视野514a内的区域可通过显微镜观察到，视野514a之外的区域无法通过显微镜观察到。
图5D展示截面表面504的捕获的图像524a。捕获的图像524a展示截面表面504的在视野514a内的区域。捕获的图像524a展示感兴趣对象552和不感兴趣的对象554两者。应注意，目标对象510不一定位于捕获的图像524a的中心。
图5E展示基于截面表面504的捕获的图像524a而生成的分割图像534。分割图像534指示展示感兴趣对象552a到552b的特定片段。分割图像534指示在特定片段之外的任何区域不展示任何感兴趣对象。
在位置Z处识别感兴趣对象552a的中心。位置Z被视为对应于感兴趣对象552a的分割图像534中的位置。位置Z可与坐标(9, 9)相关联。捕获的图像522中的位置X（目标对象位置）与分割图像534中的位置Z之间的距离计算为
= 5.66。
在位置Y处识别感兴趣对象552b的中心。位置Y被视为对应于感兴趣对象552b的分割图像534中的位置。位置Y可与坐标(7, 6)相关联。捕获的图像522中的位置X（目标对象位置）与分割图像534中的位置Y之间的距离计算为
= 2.24。
因此，最小距离被确定为2.24。最小距离对应于感兴趣对象552b。感兴趣对象552b被识别为目标对象510。位置Y被视为分割图像534中的目标对象位置。
图5F展示从捕获的图像522中的目标对象位置（位置X）到分割图像534中的目标对象位置（位置Y）的移动向量556。移动向量可表示为(2, 1)。移动向量在x方向上为2个单位长，且在y方向上为1个单位长。
图5G展示试样的截面表面504。定位参数的第二组值被配置成用于显微镜。定位参数的第二组值根据移动向量556移动视野。确切地说，先前使用的视野514a与当前视野514b之间的距离等于移动向量556。因此，截面表面504的在视野514b内的区域可通过显微镜观察到，视野514b之外的区域无法通过显微镜观察到。如所示，目标对象510现在位于视野514b的中心。
图5H展示截面表面504的捕获的图像524b。捕获的图像524b展示截面表面504的在视野514b内的区域。捕获的图像524a和捕获的图像524b是相似的，不同之处在于捕获的图像524b以目标对象510为中心。
准备下一个截面表面506以供在显微镜下观察。对截面表面506重复所述过程。图5I展示试样的截面表面506。呈现在截面表面502和截面表面504上的感兴趣对象552和不感兴趣的对象554也呈现在截面表面506上。然而，对象可以不同形状和/或不同位置呈现。定位参数的第二组值仍用于配置显微镜。定位参数的第二组值产生相对于截面表面506的视野516a。因此，截面表面506的在视野516a内的区域可通过显微镜观察到，视野516a之外的区域无法通过显微镜观察到。
图5J展示截面表面506的捕获的图像526a。捕获的图像526a展示截面表面506的在视野516a内的区域。捕获的图像526a展示感兴趣对象552和不感兴趣的对象554两者。应注意，目标对象510不一定位于捕获的图像526a的中心。
因此，可对试样的每个截面表面继续重复所述过程。编译以目标对象510（例如捕获的图像524b，但并非捕获的图像524a和526a）为中心的捕获的图像以生成试样的3D渲染。
图6示出根据一个或多个实施例的随时间变化的示例试样。试样600包含随时间移动和变化的目标对象。试样600还包含其它对象（未绘制）。在时间T1，目标对象610a可位于位置X。在时间T2，相同的目标对象610b可位于位置Y。
图7A到7H示出根据一个或多个实施例的用于获得跟踪目标对象的连续试样图像的实例。
图7A展示在时间T1的试样700。若干对象呈现在试样700的表面上，包含感兴趣对象752和不感兴趣的对象754。显微镜的定位参数的第一组值产生相对于试样700的视野712。因此，试样700的在视野712内的区域可通过显微镜观察到，视野712之外的区域无法通过显微镜观察到。
图7B展示在时间T1的试样700的捕获的图像722。捕获的图像722展示试样700的在视野712内的区域。捕获的图像722展示感兴趣对象752和不感兴趣的对象754两者。
用户查看捕获的图像722。用户键入识别目标对象710的用户输入。在位置X处识别目标对象710的中心。位置X可与坐标(5, 5)相关联。位置X被视为捕获的图像722中的目标对象位置。
时间间隔已经过去，并且当前是时间T2。图5C展示在时间T2的试样700。在时间T1呈现在试样上的感兴趣对象752和不感兴趣的对象754也在时间T2呈现在试样上。然而，对象可以不同形状和/或不同位置呈现。定位参数的第一组值仍用于配置显微镜。定位参数的第一组值产生相对于试样700的视野714。因此，试样700的在视野714内的区域可通过显微镜观察到，视野714之外的区域无法通过显微镜观察到。
图7D展示在时间T2的试样700的捕获的图像724。捕获的图像724展示试样700的在视野714内的区域。捕获的图像724展示感兴趣对象752和不感兴趣的对象754两者。应注意，目标对象710不一定位于捕获的图像724的中心。
图7E展示基于试样700的捕获的图像724在时间T2生成的分割图像734。分割图像734指示展示感兴趣对象752a到752b的特定片段。分割图像734指示在特定片段之外的任何区域不展示任何感兴趣对象。
在位置Z处识别感兴趣对象752a的中心。位置Z被视为对应于感兴趣对象752a的分割图像734中的位置。位置Z可与坐标(9, 9)相关联。捕获的图像722中的位置X（目标对象位置）与分割图像734中的位置Z之间的距离计算为
= 5.66。
在位置Y处识别感兴趣对象752b的中心。位置Y被视为对应于感兴趣对象752b的分割图像734中的位置。位置Y可与坐标(7, 6)相关联。捕获的图像722中的位置X（目标对象位置）与分割图像734中的位置Y之间的距离计算为
= 2.24。
因此，最小距离被确定为2.24。最小距离对应于感兴趣对象752b。感兴趣对象752b被识别为目标对象710。位置Y被视为分割图像734中的目标对象位置。
图7F展示从捕获的图像722中的目标对象位置（位置X）到分割图像734中的目标对象位置（位置Y）的移动向量756。移动向量可表示为(2, 1)。移动向量在x方向上为2个单位长，且在y方向上为1个单位长。
时间间隔已经过去，并且当前是时间T3。在时间T3对试样700重复所述过程。图7G展示在时间T3的试样700。在时间T1和T2呈现在试样700上的感兴趣对象752和不感兴趣的对象754也在时间T3呈现在试样700上。然而，对象可以不同形状和/或不同位置呈现。
定位参数的第二组值被配置成用于显微镜。定位参数的第二组值根据移动向量756移动视野。确切地说，先前使用的视野714与当前视野716之间的距离等于移动向量756。因此，试样700的在视野716内的区域可通过显微镜观察到，视野716之外的区域无法通过显微镜观察到。
显微镜的视野实时移动。当显微镜的视野移动时，试样700继续变化。因此，从时间T2到时间T3，目标对象710的形状和/或位置已经改变。因此，即使视野已经根据移动向量756更新，目标对象510也不一定位于当前视野716的中心。
图7H展示在时间T3的试样700的捕获的图像726。捕获的图像726展示试样700的在视野716内的区域。捕获的图像726展示感兴趣对象752和不感兴趣的对象754两者。应注意，目标对象710不一定位于捕获的图像726的中心。
因此，可对感兴趣的时间段内的每个时间间隔继续重复所述过程。编译每个捕获的图像（例如捕获的图像722、724、726）以生成展示试样随时间的变化的动画。
5. 基于与分割图像中的感兴趣对象相关联的比较连接向量的对象跟踪
图8A到8C示出根据一个或多个实施例的用于获得跟踪多个目标对象的3D试样渲染的一组示例操作。图8A到8B中示出的一个或多个操作可以一起被修改、重新布置或省略。因此，图8A到8B中示出的特定操作顺序不应被解释为限制一个或多个实施例的范围。
一个或多个实施例包含获得试样的第一截面表面的捕获的图像（操作802）。上文参考操作202描述了用于获得试样的第一截面表面的捕获的图像的操作的实例。
一个或多个实施例包含识别捕获的图像中的一组目标对象（操作804）。上文参考操作204描述了用于识别捕获的图像中的目标对象的操作的实例。
一个或多个实施例包含识别连接捕获的图像中的目标对象的第一连接向量集（操作806）。对象跟踪图像采集系统识别对应于所述组内的每个目标对象的位置。对应于每个目标对象的位置可以是例如每个目标对象的中心。可在组内的每两个目标对象之间绘制向量。目标对象的连接向量集至少包含对于连接到每个目标对象至少一次足够的向量。
作为实例，一组目标对象可包含对象A、对象B和对象C。位置A (2, 2)可对应于对 象A。位置B (4, 2)可对应于对象B。位置C(2, 5)可对应于对象C。
目标对象的连接向量集可包含：（a）从位置A (2, 2)到位置B (4, 2)的向量；以及（b）从位置A (2, 2)到位置C (2, 5)的向量。每个向量连接两个目标对象。所述连接向量集连接到对象A、对象B和对象C中的每一个至少一次。
替代地，目标对象的连接向量集可包含：（a）从位置A (2, 2)到位置B (4, 2)的向量；（b）从位置A (2, 2)到位置C (2, 5)的向量。每个向量连接两个目标对象；以及（c）从位 置B (4, 2)到位置C (2, 5)的向量。
一个或多个实施例包含识别捕获的图像中的目标组位置（操作808）。对象跟踪图像采集系统识别捕获的图像中对应于目标对象组的位置。对应于一组目标对象的图像中的位置在本文中还可被称作“图像中的目标组位置”。特定图像中的目标组位置可表达为一对坐标。作为实例，目标组位置(3, 2)可指示目标组位置位于图像的左下角右侧3个单位和图像的左下角上方2个单位。
可基于各种规则而确定特定图像中的目标组位置。作为实例，规则可指定图像中所示的一组目标对象的中心被视为图像中的目标组位置。举例来说，特定图像可包含具有相同大小的两个目标对象。一个目标对象可以位置(2, 4)为中心。另一目标对象可以位置(4, 4)为中心。接着，两个目标对象的中心可以位于(3, 4)。因此，位置(3, 4)可被视为特定图像中的目标组位置。作为另一实例，规则可指定图像中所示的一组目标对象的右上点被视为图像中的目标组位置。作为另一实例，规则可指定组内每个目标对象的右上点的中心被视为图像中的目标组位置。举例来说，特定图像可包含两个目标对象。第一目标对象的右上点位于位置(2, 5)。第二目标对象的右上点位于位置(4, 5)。接着，两个右上点的中心位于(3, 5)。因此，位置(3, 5)可被视为特定图像中的目标组位置。
一个或多个实施例包含确定从捕获的图像的中心到捕获的图像中的目标组位置的移动向量（操作810）。从捕获的图像的中心到捕获的图像中的目标组位置绘制移动向量。移动向量可表示为量值和方向。另外或替代地，移动向量可表示为x轴中的单位数和y轴中的单位数。
一个或多个实施例包含根据移动向量相对于试样移动显微镜的视野（操作812）。上文参考操作210描述了用于根据移动向量移动显微镜的视野的操作的实例。
一个或多个实施例包含以目标对象为中心获得试样的第一截面表面的另一捕获的图像（操作814）。上文参考操作212描述了用于在将显微镜的视野移动成以特定截面表面中的一组目标对象为中心之后获得特定截面表面的另一捕获的图像的操作的实例。
在实施例中，不执行操作814。即使在操作802处获得的第一截面表面的捕获的图像不一定以目标对象为中心，在操作802处获得的捕获的图像也被接受为用于试样的3D渲染的第一截面表面的图像。
一个或多个实施例包含将第二截面表面设置为当前截面表面以准备获得下一个捕获的图像（操作816）。上文参考操作214描述了用于准备下一个截面表面以在显微镜下观察的操作的实例。
一个或多个实施例包含获得试样的当前截面表面的捕获的图像（操作818）。上文参考操作216描述了用于获得试样的当前截面表面的捕获的图像的操作的实例。
一个或多个实施例包含基于捕获的图像生成分割图像（操作820）。上文参考操作218描述了用于基于捕获的图像生成分割图像的操作的实例。
一个或多个实施例包含识别分割图像中所示的感兴趣对象的子组（操作822）。被标记为展示感兴趣对象的分割图像中的每个单独片段被确定为单独的感兴趣对象。对象跟踪图像采集系统识别分割图像中所示的感兴趣对象的子组。每个子组包含数目等于目标对象的数个感兴趣对象。
作为实例，由用户识别的一组目标对象可包含三个对象。分割图像可展示标注为展示感兴趣对象的五个片段。五个片段中的每一个被确定为单独的感兴趣对象，包含对象 A、对象B、对象C、对象D和对象E。对象跟踪图像采集系统可识别感兴趣对象的子组，每个子组包含三个感兴趣对象。举例来说，子组可包含对象A、对象B、对象C。另一子组可包含对象 B、对象C、对象D。另一子组可包含对象A、对象D、对象E。
一个或多个实施例包含识别分别对应于分割图像中的感兴趣对象的子组的连接向量集（操作824）。对于在操作822处识别的每个子组，对象跟踪图像采集系统绘制连接子组内的对象的向量。上文参考操作806描述了用于识别连接一组特定对象的连接向量集的操作的实例。在操作824处针对感兴趣对象的每个子组绘制的向量的数目与在操作806处针对目标对象组绘制的向量的数目相同。可针对感兴趣对象的每个子组绘制一个或多个连接向量集。
作为实例，由用户识别的一组目标对象可包含三个目标对象。对象跟踪图像采集系统可绘制连接三个目标对象的一组两个连接向量。
分割图像可展示标注为展示感兴趣对象的五个片段。五个片段中的每一个被确定为单独的感兴趣对象，包含对象A、对象B、对象C、对象D和对象E。位置A (2, 2)可对应于对 象A。位置B (4, 2)可对应于对象B。位置C (2, 5)可对应于对象C。位置D (5, 5)可对应于对象D。位置E (5, 4)可对应于对象E。
对象跟踪图像采集系统可识别感兴趣对象的子组，每个子组包含三个感兴趣对象。举例来说，第一子组可包含对象A、对象B、对象C。第二子组可包含对象B、对象C、对象D。第三子组可包含对象A、对象D、对象E。
对象跟踪图像采集系统可识别第一子组的连接向量集：对象A、对象B、对象C。连接向量包含：（a）从位置A (2, 2)到位置B (4, 2)的向量；以及（b）从位置A (2, 2)到位置C(2, 5)的向量。
对象跟踪图像采集系统可识别第一子组的另一连接向量集：对象A、对象B、对象C。连接向量包含：（a）从位置A (2, 2)到位置B (4, 2)的向量；以及（b）从位置B (4, 2)到位 置C (2, 5)的向量。
对象跟踪图像采集系统可识别第二子组的连接向量集：对象B、对象C、对象D。连接向量包含：（a）从位置B (4, 2)到位置C (2, 5)的向量；以及（b）从位置D (5, 5)到位置C (2, 5)的向量。
对象跟踪图像采集系统可识别第三子组的连接向量集：对象A、对象D、对象E。连接向量包含：（a）从位置D (5, 5)到位置A (2, 2)的向量；以及（b）从位置D (5, 5)到位置E(5, 4)的向量。
一个或多个实施例包含确定连接向量集中的特定连接向量集，所述特定连接向量集与连接前一截面表面的捕获图像中的目标对象的连接向量集的最小差相关联（操作826）。对象跟踪图像采集系统将在操作824处识别的每个连接向量集与连接前一截面表面的捕获图像中的目标对象的连接向量集进行比较。对于在操作824处识别的每个连接向量集，对象跟踪图像采集系统确定（a）连接前一截面表面的捕获图像中的目标对象的连接向量集与（b）在操作824处识别的连接向量集之间的差值。对在操作824处识别的每个连接向量集重复计算，对象跟踪图像采集系统因此确定一组差值。对象跟踪图像采集系统识别所述组差值中的最小差值。对象跟踪图像采集系统识别连接分割图像中所示的感兴趣对象的特定子组的特定连接向量集，所述特定连接向量集与连接前一截面表面的捕获图像中的目标对象的连接向量集的最小差相关联。
在实施例中，首先通过识别向量对以彼此比较来确定第一连接向量集与第二连接向量集之间的差值。每对向量包含（a）来自第一连接向量集的向量和（b）来自第二连接向量集的向量。第一连接向量集和第二连接向量集内的每个向量包含在单对向量中。每对向量之间的差的绝对值的总和构成第一连接向量集与第二连接向量集之间的差值。
作为实例，连接前一截面表面的捕获图像中所示的一组目标对象的连接向量集包含向量A (1, 1)和向量B (4, 3)。连接当前截面表面的分割图像中所示的感兴趣对象的第一子组的连接向量集包含向量C (1, 2)和向量D (3, 3)。连接当前截面表面的分割图像中所示的感兴趣对象的第二子组的连接向量集包含向量E (2, 2)和向量F (3, 3)。
首先，确定（a）目标对象的连接向量与（b）感兴趣对象的第一子组的连接向量之间的差值。用于计算差值的向量对是：
第一对向量：向量A (1, 1)和向量C (1, 2)；以及
第二对向量：向量B (4, 3)和向量D (3, 3)。
对于第一对向量，向量A (1, 1)与向量C (1, 2)之间的差计算为(0, -1)。(0, -1)的绝对值是1。
对于第二对向量，向量B (4, 3)与向量D (3, 3)之间的差计算为(1，0)。(1, 0)的绝对值是1。
每对向量之间的差的绝对值的总和计算为1 + 1 = 2。因此，（a）目标对象的连接向量与（b）感兴趣对象的第一子组的连接向量之间的差值是2。
第二，确定（a）目标对象的连接向量与（b）感兴趣对象的第二子组的连接向量之间的差值。用于计算差值的向量对是：
第一对向量：向量A (1, 1)和向量E (2, 2)；以及
第二对向量：向量B (4, 3)和向量F (3, 3)。
对于第一对向量，向量A (1, 1)与向量E (2, 2)之间的差计算为(-1, -1)。(-1,-1)的绝对值是1.41。
对于第二对向量，向量B (4, 3)与向量F (3, 3)之间的差计算为(1，0)。(1, 0)的绝对值是1。
每对向量之间的差的绝对值的总和计算为1.41 + 1 = 2.41。因此，（a）目标对象的连接向量与（b）感兴趣对象的第二子组的连接向量之间的差值是2.41。
比较差值，差值2小于差值2.41。因此，感兴趣对象的第一子组的连接向量集与前一截面表面的捕获图像中的目标对象的连接向量集的最小差相关联。
一个或多个实施例包含将对应于在操作826处识别的特定连接向量集的感兴趣对象的特定子组确定为目标对象组（操作828）。如上文所描述，对象跟踪图像采集系统识别与在操作826处连接前一截面表面的捕获图像中的目标对象的连接向量集的最小差相关联的特定连接向量集。对象跟踪图像采集系统识别对应于特定连接向量集的感兴趣对象的特定子组。感兴趣对象的特定子组被识别为目标对象组。
一个或多个实施例包含识别当前截面表面的分割图像中的目标组位置（操作830）。如上文在操作828处所描述，当前截面表面的分割图像中所示的感兴趣对象的特定子组被识别为目标对象组。识别当前截面表面的分割图像中对应于目标对象组的位置。上文参考操作808描述了用于识别特定图像中的目标组位置的操作的实例。
一个或多个实施例包含确定从前一截面表面的捕获图像中的目标组位置到当前截面表面的分割图像中的目标组位置的移动向量（操作832）。上文参考操作208描述了用于确定从图像中的一个位置到图像中的另一位置的移动向量的操作的实例。
一个或多个实施例包含根据移动向量移动显微镜的视野（操作834）。上文参考操作210描述了用于根据移动向量移动显微镜的视野的操作的实例。
一个或多个实施例包含获得试样的当前截面表面的另一捕获图像（操作836）。上文参考操作212描述了用于在将显微镜的视野移动成以特定截面表面中的一组目标对象为中心之后获得特定截面表面的另一捕获的图像的操作的实例。
在实施例中，不执行操作836。即使在操作818处获得的当前截面表面的捕获的图像不一定以目标对象为中心，在操作818处获得的捕获的图像也被接受为用于试样的3D渲染的当前截面表面的图像。
一个或多个实施例包含确定是否存在待观察的任何额外截面表面（操作838）。上文参考操作230描述了用于确定是否存在待观察的任何额外截面表面的操作的实例。
如果存在待观察的额外截面表面，那么一个或多个实施例包含将下一个截面表面设置为当前截面表面以准备获得下一个捕获图像（操作840）。上文参考操作214描述了用于准备下一个截面表面以在显微镜下观察的操作的实例。
关于当前截面表面重复操作818到836。因此，对象跟踪图像采集系统穿过试样的每个截面表面。对象跟踪图像采集系统在获得特定截面表面的捕获图像之后移动显微镜的视野以准备获得下一个截面表面的捕获图像。对象跟踪图像采集系统因此穿过试样的多个截面表面跟踪目标对象组。
在观察到所有截面表面之后，一个或多个实施例包含编译跟踪目标对象的试样的3D渲染（操作842）。
在实施例中，执行操作814和836。编译操作814和836处的捕获图像以生成试样的3D渲染。因此，当生成试样的3D渲染时，不编译操作802和818处的捕获图像。
在实施例中，不执行操作814和836。因此，编译操作802和818处的捕获图像以生成试样的3D渲染。
上文参考操作234描述了用于编译跟踪目标对象的试样的3D渲染的操作的实例。
图9A到9C示出根据一个或多个实施例的用于获得跟踪多个目标对象的连续试样图像的一组示例操作。图9A到9C中示出的一个或多个操作可以一起被修改、重新布置或省略。因此，图9A到9C中示出的特定操作顺序不应被解释为限制一个或多个实施例的范围。
一个或多个实施例包含在第一时间间隔获得试样的捕获的图像（操作902）。上文参考操作302描述了用于在第一时间间隔获得试样的捕获图像的操作的实例。
一个或多个实施例包含识别捕获的图像中的一组目标对象（操作904）。上文参考操作204描述了用于识别捕获的图像中的目标对象的操作的实例。
一个或多个实施例包含识别连接捕获的图像中的目标对象的第一连接向量集（操作906）。上文参考操作806描述了用于识别连接一组特定对象的连接向量集的操作的实例。
一个或多个实施例包含识别捕获的图像中的目标对象位置（操作908）。上文参考操作808描述了用于识别特定图像中的目标组位置的操作的实例。
一个或多个实施例包含确定从捕获的图像的中心到捕获的图像中的目标对象位置的移动向量（操作910）。参考操作208描述了用于确定从图像中的一个位置到图像中的另一位置的移动向量的操作的实例。
一个或多个实施例包含根据移动向量相对于试样移动显微镜的视野（操作912）。上文参考操作210描述了用于根据移动向量移动显微镜的视野的操作的实例。视野实时移动。当视野移动时，试样继续随时间变化。不可能在第一时间间隔获得试样的另一捕获图像，因为第一时间间隔已经过去，并且试样的外观已经改变。
一个或多个实施例包含在当前时间间隔获得试样的捕获的图像（操作914）。上文参考操作312描述了用于在当前时间间隔获得试样的捕获图像的操作的实例。
一个或多个实施例包含基于捕获的图像生成分割图像（操作916）。上文参考操作218描述了用于基于捕获的图像生成分割图像的操作的实例。
一个或多个实施例包含识别分割图像中所示的感兴趣对象的子组（操作918）。上文参考操作822描述了用于识别分割图像中所示的感兴趣对象的子组的操作的实例。
一个或多个实施例包含识别分别对应于分割图像中的感兴趣对象的子组的连接向量集（操作920）。上文参考操作824描述了用于识别分别对应于分割图像中的感兴趣对象的子组的连接向量集的操作的实例。
一个或多个实施例包含确定连接向量集中的特定连接向量集，所述特定连接向量集与连接前一时间间隔的捕获图像中的目标对象的连接向量集的最小差相关联（操作922）。上文参考操作826描述了用于确定与连接前一捕获图像中的目标对象的连接向量集的最小差相关联的特定连接向量集的操作的实例。
在实施例中，使用紧接在前的时间间隔的捕获图像。确定与连接紧接在前的时间间隔的捕获图像中的目标对象的连接向量集的最小差相关联的特定连接向量集。在另一实施例中，使用早于紧接在前的时间间隔的前一时间间隔的捕获图像。由于处理速度不足，这可能是必要的。作为实例，可每0.1秒捕获图像，但处理时间可能需要1秒。在此情况下，可使用当前时间间隔之前的10个时间间隔的捕获图像。
一个或多个实施例包含将对应于特定连接向量集的感兴趣对象的特定子组确定为目标对象（操作924）。上文参考操作828描述了用于将对应于特定连接向量集的感兴趣对象的特定子组确定为目标对象的操作的实例。
一个或多个实施例包含识别当前时间间隔的分割图像中的目标组位置（操作926）。上文参考操作830描述了用于识别特定图像中的目标组位置的操作的实例。
一个或多个实施例包含确定从前一时间间隔的捕获图像中的目标组位置到当前时间间隔的分割图像中的目标组位置的移动向量（操作928）。上文参考操作208描述了用于确定从图像中的一个位置到图像中的另一位置的移动向量的操作的实例。
一个或多个实施例包含根据移动向量移动显微镜的视野（操作930）。上文参考操作210描述了用于根据移动向量移动显微镜的视野的操作的实例。
一个或多个实施例包含确定当前时间是否仍在感兴趣的时间段内（操作932）。上文参考操作324描述了用于确定当前时间是否仍在感兴趣时间段内的操作的实例。
如果感兴趣的时间段尚未过去，那么关于每个时间间隔重复操作914到930。因此，对象跟踪图像采集系统通过感兴趣的时间段获得捕获的试样图像。对象跟踪图像采集系统在每个时间间隔获得捕获的图像之后移动显微镜的视野，以准备在下一个时间间隔获得捕获的图像。对象跟踪图像采集系统因此通过在感兴趣的时间段内的时间间隔跟踪目标对象。
在感兴趣的时间段已经过去之后，一个或多个实施例包含编译随时间跟踪目标对象的连续试样图像（操作934）。将操作902和914处的捕获图像编译为跟踪目标对象的一组连续试样图像。
上文参考操作326描述了用于编译随时间跟踪目标对象的连续试样图像的操作的实例。
6. 示例实施例
出于清楚的目的，下文描述了详细的实例。下文所描述的组件和/或操作应当被理解为可能不适用于某些实施例的特定实例。因此，下文描述的组件和/或操作不应被解释为限制任何权利要求的范围。
图10A到10N示出根据一个或多个实施例的用于获得跟踪多个目标对象的连续试样图像的实例。
图10A展示在时间T1的试样1000。若干对象呈现在试样1000的表面上，包含感兴趣对象1052和不感兴趣的对象1054。显微镜的定位参数的第一组值产生相对于试样1000的视野1012。因此，试样1000的在视野1012内的区域可通过显微镜观察到，视野1012之外的区域无法通过显微镜观察到。
图10B展示在时间T1的试样1000的捕获的图像1022。捕获的图像1022展示试样1000的在视野1012内的区域。捕获的图像1022展示感兴趣对象1052和不感兴趣的对象1054两者。
用户查看捕获的图像1022。用户键入识别一组三个目标对象1010的用户输入。对象跟踪图像采集系统识别连接目标对象1010的连接向量集1060。
图10C同样展示在时间T1的试样1000的捕获的图像1022。对象跟踪图像采集系统也确定目标对象1010的中心在位置X处。位置X可与坐标(5, 5)相关联。位置X被视为捕获的图像1022中的目标组位置。
时间间隔已经过去，并且当前是时间T2。图10D展示在时间T2的试样1000。在时间T1呈现在试样上的感兴趣对象1052和不感兴趣的对象1054也在时间T2呈现在试样上。然而，对象可以不同形状和/或不同位置呈现。定位参数的第一组值仍用于配置显微镜。定位参数的第一组值产生相对于试样1000的视野1014。因此，试样1000的在视野1014内的区域可通过显微镜观察到，视野1014之外的区域无法通过显微镜观察到。
图10E展示在时间T2的试样1000的捕获的图像1024。捕获的图像1024展示试样1000的在视野1014内的区域。捕获的图像1024展示感兴趣对象1052和不感兴趣的对象1054两者。应注意，目标对象1010的组不一定位于捕获的图像1024的中心。
图10F展示基于试样1000的捕获的图像1024在时间T2生成的分割图像1034。分割图像1034指示展示感兴趣对象1052的特定片段。分割图像734指示在特定片段之外的任何区域不展示任何感兴趣对象。
对象跟踪图像采集系统识别感兴趣对象1052的子组，其中每个子组具有数目与目标对象1010相同的感兴趣对象（数目是三）。对象跟踪图像采集系统针对感兴趣对象1010的每个子组绘制连接向量。
图10G同样展示基于试样1000的捕获的图像1024在时间T2生成的分割图像1034。针对感兴趣对象1010的第一子组绘制连接向量1062。
对象跟踪图像采集系统确定连接向量1060与连接向量1062之间的差值。差值可以是例如8.54。
图10H同样展示基于试样1000的捕获的图像1024在时间T2生成的分割图像1034。针对感兴趣对象1010的第二子组绘制连接向量1064。
对象跟踪图像采集系统确定连接向量1060与连接向量1064之间的差值。差值可以是例如2.43。
图10I同样展示基于试样1000的捕获的图像1024在时间T2生成的分割图像1034。针对感兴趣对象1010的第三子组绘制连接向量1066。
对象跟踪图像采集系统确定连接向量1060与连接向量1064之间的差值。差值可以是例如3.89。
图10J同样展示基于试样1000的捕获的图像1024在时间T2生成的分割图像1034。针对感兴趣对象1010的第四子组绘制连接向量1068。
对象跟踪图像采集系统确定连接向量1060与连接向量1068之间的差值。差值可以是例如1.72。
比较差值，对应于连接向量1068的差值1.72是最小的。因此，对应于连接向量1068的感兴趣对象的子组被识别为目标对象1050的组。
图10K同样展示基于试样1000的捕获的图像1024在时间T2生成的分割图像1034。对象跟踪图像采集系统确定目标对象1050的中心在位置Y处。位置Y可与坐标(4, 4.5)相关联。位置Y被视为分割图像1034中的目标组位置。
图10L展示从捕获的图像1022中的目标组位置（位置X）到分割图像1034中的目标组位置（位置Y）的移动向量1056。移动向量可表示为(-1, 0.5)。移动向量在x方向上为-1个单位长，且在y方向上为1个单位长。
时间间隔已经过去，并且当前是时间T3。在时间T3针对试样1000重复所述过程。图10M展示在时间T3的试样1000。在时间T1和T2呈现在试样700上的感兴趣对象1052和不感兴趣的对象1054也在时间T3呈现在试样700上。然而，对象可以不同形状和/或不同位置呈现。
定位参数的第二组值被配置成用于显微镜。定位参数的第二组值根据移动向量1056移动视野。确切地说，先前使用的视野1014与当前视野1016之间的距离等于移动向量1056。因此，试样1000的在视野1016内的区域可通过显微镜观察到，视野1016之外的区域无法通过显微镜观察到。
显微镜的视野实时移动。当显微镜的视野移动时，试样1000继续变化。因此，从时间T2到时间T3，目标对象1050的形状和/或位置已经改变。因此，即使视野已经根据移动向量1056更新，目标对象1050也不一定在当前视野1016的中心。
图10N展示在时间T3的试样1000的捕获的图像1026。捕获的图像1026展示试样1000的在视野1016内的区域。捕获的图像1026展示感兴趣对象1052和不感兴趣的对象1054两者。应注意，目标对象1050不一定位于捕获的图像1026的中心。
因此，可对感兴趣的时间段内的每个时间间隔继续重复所述过程。编译每个捕获的图像（例如捕获的图像1022、1024、1026）以生成展示试样随时间的变化的动画。
7. 硬件概述
根据一个实施例，本文中所描述的技术由一个或多个专用计算装置实现。专用计算装置可以是硬连线的以执行这些技术，或者可以包含数字电子装置，如一个或多个专用集成电路（ASIC）、现场可编程门阵列（FPGA）或网络处理单元（NPU），其被持久编程以执行这些技术，或者可以包含一个或多个通用硬件处理器，其被编程以依据固件、存储器、其它存储体或其组合中的程序指令来执行这些技术。此类专用计算装置还可以将定制的硬连线逻辑、ASIC、FPGA或NPU与定制编程组合来实现这些技术。专用计算装置可以是台式计算机系统、便携式计算机系统、手持装置、网络装置或结合硬连线和/或程序逻辑来实现这些技术的任何其它装置。
例如，图11是示出可以在其上实现本发明的实施例的计算机系统1100的框图。计算机系统1100包含总线1102或用于传送信息的其它通信机构，以及与总线1102联接的用于处理信息的硬件处理器1104。硬件处理器1104可以是例如通用微处理器。
计算机系统1100还包含联接到总线1102的主存储器1106，如随机存取存储器（RAM）或其它动态存储装置，其存储信息和将由处理器1104执行的指令。主存储器1106还可以用于在执行将由处理器1104执行的指令期间存储临时变量或其它中间信息。当此类指令存储在处理器1104可访问的非暂时性存储介质中时，将计算机系统1100呈现为被定制以执行指令中指定的操作的专用机器。
计算机系统1100进一步包含联接到总线1102的只读存储器（ROM）1108或其它静态存储装置，其用于为处理器1104存储静态信息和指令。如磁盘或光盘等存储装置1110被提供并联接到总线1102，以用于存储信息和指令。
计算机系统1100可以经由总线1102联接到显示器1112，如阴极射线管（CRT），以用于向计算机用户显示信息。包含字母数字键和其它键的输入装置1114联接到总线1102，以用于向处理器1104传送信息和命令选择。另一类型的用户输入装置为光标控制器1116，如鼠标、轨迹球或光标方向键，其用于传达方向信息和命令选择到处理器1104和控制显示器1112上的光标移动。此输入装置通常在两个轴（第一轴（例如，x）和第二轴（例如，y））上具有两个自由度，这允许装置指定平面中的位置。
计算机系统1100可以使用定制的硬连线逻辑、一个或多个ASIC或FPGA、固件和/或程序逻辑来实施本文描述的技术，它们与计算机系统相组合使得或编程计算机系统1100成为专用机器。根据一个实施例，本文的技术由计算机系统1100响应于处理器1104执行包含在主存储器1106中的一个或多个指令的一个或多个序列来执行。此类指令可以从如存储装置1110的另一存储介质读入主存储器1106。包含在主存储器1106中的指令序列的执行使得处理器1104执行本文描述的过程步骤。在替代实施例中，可以使用硬连线电路来代替软件指令或者与软件指令组合使用。
如本文使用的术语“存储介质”指的是存储使得机器以特定方式操作的数据和/或指令的任何非暂时性介质。此类存储介质可以包括非易失性介质和/或易失性介质。非易失性介质包含例如光盘或磁盘，如存储装置1110。易失性介质包含动态存储器，如主存储器1106。常见形式的存储介质包含例如软磁盘、软盘、硬盘、固态驱动器、磁带或任何其它磁性数据存储介质、CD-ROM、任何其它光学数据存储介质、任何具有孔图案的物理介质、RAM、PROM和EPROM、闪存-EPROM、NVRAM、任何其它存储器芯片或盒式磁带（cartridge）、内容可寻址存储器（CAM）和三态内容可寻址存储器（TCAM）。
存储介质不同于传输介质但可以与传输介质结合使用。传输介质参与存储介质之间的信息传递。例如，传输介质包含同轴电缆、铜线和光纤，包含包括总线1102的导线。传输介质还可以采用声波或光波的形式，如在无线电波和红外数据通信期间生成的声波或光波。
在将一个或多个指令的一个或多个序列携带到处理器1104以供执行时可以涉及各种形式的介质。例如，指令最初可以被携带在远程计算机的磁盘或固态驱动器上。远程计算机可以将指令加载到其动态存储器中并且使用调制解调器通过电话线发送指令。计算机系统1100本地的调制解调器可以在电话线上接收数据并且使用红外发射器将数据转换成红外信号。红外检测器可以接收红外信号中携带的数据，并且适当的电路可以将数据放置在总线1102上。总线1102将数据携带到主存储器1106，处理器1104从主存储器检索并且执行指令。主存储器1106接收的指令可以任选地在由处理器1104执行之前或之后存储在存储装置1110上。
计算机系统1100还包含联接到总线1102的通信接口1118。通信接口1118提供联接到网络链路1120的双向数据通信，所述网络链路连接到本地网络1122。例如，通信接口1118可以是综合业务数字网（ISDN）卡、电缆调制解调器、卫星调制解调器或调制解调器，以提供到相应类型电话线的数据通信连接。作为另一实例，通信接口1118可以是局域网（LAN）卡，以提供到兼容LAN的数据通信连接。还可以实现无线链路。在任何此类实施方案中，通信接口1118发送并接收携带代表各种类型信息的数字数据流的电、电磁或光信号。
网络链路1120通常通过一个或多个网络向其它数据装置提供数据通信。例如，网络链路1120可以通过本地网络1122提供到主计算机1124或到由互联网服务提供商（ISP）1126操作的数据装备的连接。ISP 1126又通过现在通常称为“因特网”1128的全球分组数据通信网络提供数据通信服务。本地网络1122和因特网1128都使用携带数字数据流的电信号、电磁信号或光信号。通过各种网络的信号以及网络链路1120上且通过通信接口1118的信号（它们将数字数据携带到计算机系统1100并从计算机系统1100将数字数据携带走）是传输介质的示例形式。
计算机系统1100可以通过网络、网络链路1120和通信接口1118发送消息和接收数据，包含程序代码。在因特网实例中，服务器1130可以通过因特网1128、ISP 1126、本地网络1122和通信接口1118传输应用程序的请求代码。
接收到的代码可以在其被接收时由处理器1104执行，和/或存储在存储装置1110或其它非易失性存储器中，以供稍后执行。
8. 杂项；扩展
实施例涉及具有一个或多个装置的系统，所述装置包含硬件处理器，并且被配置为执行本文描述的和/或所附权利要求中任一项所述的任何操作。
在实施例中，非暂时性计算机可读存储介质包括指令，所述指令当由一个或多个硬件处理器执行时，使得本文描述的和/或权利要求中任一项所述的任何操作得以执行。
根据一个或多个实施例，可以使用本文描述的特征和功能的任何组合。在前述说明书中，已经参考许多具体细节描述了实施例，这些细节可以根据实施方案而变化。因此，说明书和附图被认为是说明性的而不是限制性的。本发明范围的唯一和独有的指示，以及申请人意图作为本发明范围的指示，是从本申请中以这些权利要求发布的特定形式发布的所述组权利要求的字面和等同范围，包含任何后续的修正。
Claims (18)
1.一种方法，其包括：
获得对应于试样的第一图像，对应于所述试样的所述第一图像展示所述试样的第一截面表面；
识别所述第一图像中对应于目标对象的第一位置；
从所述试样的块面切下薄的切片；
获得对应于所述试样的第二图像，其中所述第二图像是通过显微镜捕获，对应于所述试样的所述第二图像展示所述试样的第二截面表面；
将图像分割技术应用于所述第二图像以获得分割图像，其中所述分割图像指示（a）对应于感兴趣对象的第一组片段和（b）不对应于任何感兴趣对象的第二组片段；
将所述分割图像中所示的所述感兴趣对象中与所述第一图像中所示的所述目标对象的最高相似性得分相关联的特定感兴趣对象确定为所述分割图像中所示的所述目标对象；
识别所述分割图像中对应于所述目标对象的第二位置；
确定从所述第一图像中的所述第一位置到所述分割图像中的所述第二位置的移动向量；
根据所述移动向量使所述显微镜的视野相对于所述试样移动以捕获对应于所述试样的第三图像；
其中所述方法是由包含硬件处理器的至少一个装置执行。
2.根据权利要求1所述的方法，其进一步包括：
在根据所述移动向量相对于所述试样移动所述显微镜的所述视野之后：捕获对应于所述试样的所述第三图像，所述第三图像展示所述试样的所述第二截面表面。
3.根据权利要求1所述的方法，其进一步包括：
获得对应于所述试样的所述第三图像，所述第三图像展示所述试样的所述第二截面表面；
其中在已经根据所述移动向量相对于所述试样移动所述显微镜的所述视野之后，通过所述显微镜捕获所述第三图像；
编译跟踪所述目标对象的一组图像，所述组图像包含所述第三图像但不包含所述第二图像。
4.根据权利要求1所述的方法，其进一步包括：
在根据所述移动向量相对于所述试样移动所述显微镜的所述视野之后：捕获对应于所述试样的所述第三图像，所述第三图像展示所述试样的第三截面表面。
5.根据权利要求1所述的方法，其进一步包括：
获得对应于所述试样的所述第三图像，所述第三图像展示所述试样的第三截面表面；
其中在已经根据所述移动向量相对于所述试样移动所述显微镜的所述视野之后，通过所述显微镜捕获所述第三图像；
编译跟踪所述目标对象的一组图像，所述组图像包含所述第二图像和所述第三图像。
6.根据权利要求1所述的方法，其中：
对应于所述试样的所述第一图像展示在第一时间间隔的所述试样；
对应于所述试样的所述第二图像展示在所述第一时间间隔之后的第二时间间隔的所述试样。
7.根据权利要求1所述的方法，其中将所述分割图像中所示的所述感兴趣对象中与所述第一图像中所示的所述目标对象的所述最高相似性得分相关联的所述特定感兴趣对象确定为所述分割图像中所示的所述目标对象包括：
确定所述特定感兴趣对象最接近所述第一图像中的所述第一位置。
8.根据权利要求1所述的方法，其中将所述分割图像中所示的所述感兴趣对象中与所述第一图像中所示的所述目标对象的所述最高相似性得分相关联的所述特定感兴趣对象确定为所述分割图像中所示的所述目标对象包括：
确定所述特定感兴趣对象的第一形状最相似于所述第一图像中所示的所述目标对象的第二形状。
9.根据权利要求1所述的方法，其中所述第一图像是通过所述显微镜捕获。
10.根据权利要求1所述的方法，其中所述第一图像是通过所述显微镜捕获的另一图像的分割版本。
11.根据权利要求1所述的方法，其中图像分割技术包括使用人工神经网络（ANN）。
12.一种方法，其包括：
获得对应于试样的第一图像，对应于所述试样的所述第一图像展示所述试样的第一截面表面；
识别连接所述第一图像中所示的多个目标对象的第一向量集；
识别所述第一图像中对应于所述多个目标对象的第一位置；
从所述试样的块面切下薄的切片；
获得对应于所述试样的第二图像，其中所述第二图像是通过显微镜捕获，对应于所述试样的所述第二图像展示所述试样的第二截面表面；
将图像分割技术应用于所述第二图像以获得分割图像，其中所述分割图像指示（a）对应于感兴趣对象的第一组片段和（b）不对应于任何感兴趣对象的第二组片段；
识别所述分割图像中所示的所述感兴趣对象的子组；
识别分别对应于所述分割图像中所示的所述感兴趣对象的所述子组的向量集；
确定所述向量集中与所述第一向量集的最小差相关联的特定向量集；
将由所述特定向量集连接的所述感兴趣对象的所述子组中的所述感兴趣对象的特定子组确定为所述多个目标对象；
识别所述分割图像中对应于所述多个目标对象的第二位置；
确定从所述第一图像中的所述第一位置到所述分割图像中的所述第二位置的移动向量；
根据所述移动向量使所述显微镜的视野相对于所述试样移动以捕获对应于所述试样的第三图像；
其中所述方法是由包含硬件处理器的至少一个装置执行。
13.根据权利要求12所述的方法，其中：
对应于所述目标对象的所述第一图像展示在第一时间间隔的所述试样；
对应于所述目标对象的所述第二图像展示在所述第一时间间隔之后的第二时间间隔的所述试样。
14.根据权利要求13所述的方法，其进一步包括：
在根据所述移动向量相对于所述试样移动所述显微镜的所述视野之后，捕获对应于所述试样的第三图像，所述第三图像展示在所述第二时间间隔之后的第三时间间隔的所述试样。
15.根据权利要求13所述的方法，其进一步包括：
获得对应于所述试样的第三图像，所述第三图像展示在所述第二时间间隔之后的第三时间间隔的所述试样；
其中在已经根据所述移动向量相对于所述试样移动所述显微镜的所述视野之后，通过所述显微镜捕获所述第三图像；
编译跟踪所述多个目标对象的一组图像，所述组图像包含所述第二图像和所述第三图像。
16.一种非暂时性计算机可读介质，其包括指令，所述指令当由一个或多个硬件处理器执行时使得根据权利要求1至15中任一项所述的操作得以执行。
17. 一种系统，其包括：
包含硬件处理器的至少一个装置；并且
所述系统被配置成执行根据权利要求1至15中任一项所述的操作。
18.一种系统，其包括用于执行根据权利要求1至15中任一项所述的操作的一个或多个构件。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP18198399.0 | 2018-10-03 | ||
| EP18198399.0A EP3633614A1 (en) | 2018-10-03 | 2018-10-03 | Object tracking using image segmentation |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110992394A true CN110992394A (zh) | 2020-04-10 |
Family
ID=63762257
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910923211.5A Pending CN110992394A (zh) | 2018-10-03 | 2019-09-27 | 使用图像分割的对象跟踪 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20200111219A1 (zh) |
| EP (1) | EP3633614A1 (zh) |
| JP (1) | JP7419007B2 (zh) |
| CN (1) | CN110992394A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112135048A (zh) * | 2020-09-23 | 2020-12-25 | 创新奇智(西安)科技有限公司 | 一种目标对象的自动对焦方法以及装置 |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11508079B2 (en) * | 2019-06-28 | 2022-11-22 | Intel Corporation | Parallelism in disparity map generation |
| GB2587248B (en) * | 2020-02-27 | 2021-12-08 | Imagination Tech Ltd | Analysing objects in a set of frames |
| JP7144487B2 (ja) * | 2020-07-28 | 2022-09-29 | 日本電子株式会社 | 荷電粒子線装置および試料ステージの制御方法 |
| CN111915602B (zh) * | 2020-08-14 | 2023-07-11 | 东北大学 | 一种结合ebsd与深度学习方法的钢铁材料组织定量化方法 |
| US11282670B1 (en) * | 2020-12-29 | 2022-03-22 | Fei Company | Slice depth reconstruction of charged particle images using model simulation for improved generation of 3D sample images |
| TWI800287B (zh) | 2022-03-03 | 2023-04-21 | 緯創資通股份有限公司 | 雷達偵測系統及雷達視界方向調整方法 |
| CN114596319B (zh) * | 2022-05-10 | 2022-07-26 | 华南师范大学 | 基于Boosting-Unet分割网络的医学影像分割方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140192178A1 (en) * | 2011-08-12 | 2014-07-10 | Agency For Science, Technology And Research | Method and system for tracking motion of microscopic objects within a three-dimensional volume |
| CN106101522A (zh) * | 2015-04-30 | 2016-11-09 | 汤姆逊许可公司 | 使用非光场成像设备获得光场数据的方法和设备 |
| US20160370349A1 (en) * | 2015-05-21 | 2016-12-22 | Invicro, Llc | Fluorescence histo-tomography (fht) systems and methods |
| CN108027981A (zh) * | 2015-05-21 | 2018-05-11 | 因维克罗有限责任公司 | 多光谱三维成像系统和方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101274088B1 (ko) * | 2005-06-13 | 2013-06-12 | 트리패스 이미징, 인코포레이티드 | 현미경 이미지 장치를 이용한 슬라이드상의 시료 내의 물체를 재배치하기 위한 시스템 및 방법 |
| WO2008153836A2 (en) * | 2007-05-31 | 2008-12-18 | President And Fellows Of Harvard College | Target-locking acquisition with real-time confocal (tarc) microscopy |
| EP2796917A1 (en) * | 2013-04-26 | 2014-10-29 | Baden-Württemberg Stiftung gGmbH | A method for automated platform and/or reference object independent acquisition of positional information and localization of objects of interest in a microscope |
| CN106570484B (zh) | 2016-11-07 | 2019-11-26 | 中国科学院自动化研究所 | 基于序列切片的显微镜图像采集方法 |
| US10643396B2 (en) | 2016-11-11 | 2020-05-05 | Microbrightfield, Inc. | Methods and software for creating a 3D image from images of multiple histological sections and for mapping anatomical information from a reference atlas to a histological image |
| CN107481224A (zh) | 2017-07-25 | 2017-12-15 | 中国科学院自动化研究所 | 基于线粒体结构的图像配准方法及装置、存储介质及设备 |
-
2018
- 2018-10-03 EP EP18198399.0A patent/EP3633614A1/en active Pending
-
2019
- 2019-09-27 CN CN201910923211.5A patent/CN110992394A/zh active Pending
- 2019-09-30 US US16/587,508 patent/US20200111219A1/en not_active Abandoned
- 2019-10-01 JP JP2019181130A patent/JP7419007B2/ja active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140192178A1 (en) * | 2011-08-12 | 2014-07-10 | Agency For Science, Technology And Research | Method and system for tracking motion of microscopic objects within a three-dimensional volume |
| CN106101522A (zh) * | 2015-04-30 | 2016-11-09 | 汤姆逊许可公司 | 使用非光场成像设备获得光场数据的方法和设备 |
| US20160370349A1 (en) * | 2015-05-21 | 2016-12-22 | Invicro, Llc | Fluorescence histo-tomography (fht) systems and methods |
| CN108027981A (zh) * | 2015-05-21 | 2018-05-11 | 因维克罗有限责任公司 | 多光谱三维成像系统和方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112135048A (zh) * | 2020-09-23 | 2020-12-25 | 创新奇智(西安)科技有限公司 | 一种目标对象的自动对焦方法以及装置 |
| CN112135048B (zh) * | 2020-09-23 | 2022-02-15 | 创新奇智(西安)科技有限公司 | 一种目标对象的自动对焦方法以及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7419007B2 (ja) | 2024-01-22 |
| EP3633614A1 (en) | 2020-04-08 |
| JP2020057391A (ja) | 2020-04-09 |
| US20200111219A1 (en) | 2020-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7419007B2 (ja) | 画像セグメント化を使用した物体追跡 | |
| US11982634B2 (en) | Adaptive specimen image acquisition | |
| Sulaiman et al. | Adaptive fuzzy-K-means clustering algorithm for image segmentation | |
| CN103854941B (zh) | 在带电粒子显微镜中执行样本的层析成像的方法 | |
| KR20200011870A (ko) | 시뮬레이션된 시료 이미지를 이용한 인공 신경망 훈련 | |
| de Teresa-Trueba et al. | Convolutional networks for supervised mining of molecular patterns within cellular context | |
| CN105321170A (zh) | 扫描类型显微镜中的数学图像组合 | |
| CN105280463A (zh) | 具有提高的分辨率的计算扫描显微术 | |
| EP3716215A1 (en) | Artificial intelligence enabled volume reconstruction | |
| US11151356B2 (en) | Using convolution neural networks for on-the-fly single particle reconstruction | |
| CN111915502B (zh) | 用于基于神经网络的图像恢复的方法和系统 | |
| US20230419695A1 (en) | Artificial intelligence (ai) assisted analysis of electron microscope data | |
| Rangan et al. | Deep reconstructing generative networks for visualizing dynamic biomolecules inside cells | |
| KR20230163340A (ko) | 인공 지능 기반 프로세스 종료 지시 | |
| JP2022058225A (ja) | 荷電粒子システムにおけるサンプルの３ｄ画像の深度再構成 | |
| Kudryavtsev | 3D Reconstruction in Scanning Electron Microscope: from image acquisition to dense point cloud | |
| Yosifov | Extraction and quantification of features in XCT datasets of fibre reinforced polymers using machine learning techniques | |
| de Teresa et al. | Convolutional networks for supervised mining of molecular patterns within cellular context | |
| Ito et al. | Super-resolution method for SEM images based on pixelwise weighted loss function | |
| KR20200050370A (ko) | 인공 지능 가능한 계측 | |
| US12002194B2 (en) | Training an artificial neural network using simulated specimen images | |
| EP3937070A1 (en) | Using convolution neural networks for on-the-fly single particle reconstruction | |
| US20230395351A1 (en) | Live-assisted image acquisition method and system with charged particle microscopy | |
| JP7181002B2 (ja) | 生物組織画像処理システム及び機械学習方法 | |
| Lee et al. | Fast and accurate marker-based projective registration method for uncalibrated transmission electron microscope tilt series |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |