CN104101294B - 分析装置、分析程序以及分析系统 - Google Patents
分析装置、分析程序以及分析系统 Download PDFInfo
- Publication number
- CN104101294B CN104101294B CN201410132589.0A CN201410132589A CN104101294B CN 104101294 B CN104101294 B CN 104101294B CN 201410132589 A CN201410132589 A CN 201410132589A CN 104101294 B CN104101294 B CN 104101294B
- Authority
- CN
- China
- Prior art keywords
- dimensional coordinate
- candidate
- analysis
- capture images
- feature amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/571—Depth or shape recovery from multiple images from focus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/693—Acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Analytical Chemistry (AREA)
- Optics & Photonics (AREA)
- Chemical & Material Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Microscoopes, Condenser (AREA)
- Image Analysis (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明涉及分析装置、分析程序以及分析系统,该分析装置包括:二维坐标检测单元和三维坐标确定单元。所述二维坐标检测单元被配置为对于通过在多个焦深捕获包括分析目标物的分析样本而获得的捕获图像组检测作为在每个捕获图像中的分析目标物的平面坐标候选的二维坐标候选。所述三维坐标确定单元被配置为基于捕获图像之间的平面坐标候选的位置关系来确定作为分析目标物的三维坐标候选的三维坐标候选。
Description
相关申请的交叉引用
本申请要求于2013年4月9日提交的日本在先专利申请JP2013-081475的权益,其全部内容通过引用结合于此。
技术领域
本发明涉及分析装置、分析程序以及分析系统,通过该分析装置、分析程序以及分析系统,从通过捕获分析样本获得的图像中检测出包括在分析样本中的分析目标物。
背景技术
当用显微镜观察分析诸如细胞的目标物,例如,如果所述细胞在培养中漂浮,观察者需要搜索它。然而,在显微镜的高放大倍数下视场小,因此,观察者需要搜索分析目标物同时很大程度上移动视场范围。同时,如果在显微镜的低放大倍数下分析目标物的尺寸小并且分析目标物迷失在气泡或类似物中,因此,所述搜索需要高的个人成本。
例如,即使执行分析目标物随时间成像的延时成像,在捕获图像期间分析目标物保持在相同位置的可能性低。因此,当每次捕获图像时观察者都需要搜索分析目标物。此外,担心由观察者搜索出的分析目标物不同于先前成像的对象。
考虑到上述问题,用于分析目标物的自动搜索的技术已经开发。例如,日本专利申请公开No.2010-169823(下文中称为专利文献1)描述通过运动预测模型预测先前发现的细胞或类似物的运动并在细胞追踪中利用它的技术。
发明内容
然而,在专利文献1中描述的技术是适用于先前发现的细胞或类似物的技术,而不是在细胞培养皿或类似物的整个视场中用尽一切地搜索具有几微米的尺寸的细胞的技术。观察者需要搜索的细胞或类似物的原始位置。
在上述情况下,希望提供分析装置、分析程序以及分析系统,通过该分析装置、分析程序以及分析系统可以自动地确定分析目标物的位置。
根据本公开的实施方式,提供一种分析装置,其包括二维坐标检测单元和三维坐标确定单元。
二维坐标检测单元,被配置为对于通过在多个焦深捕获包括分析目标物的分析样本而获得的捕获图像组,检测作为在每个捕获图像中的分析目标物的平面坐标候选的二维坐标候选;以及
三维坐标确定单元,被配置为基于捕获图像之间的平面坐标候选的位置关系来确定作为分析目标物的三维坐标的候选的三维坐标候选。
使用这种配置,分析装置能够通过对捕获图像组执行图像处理确定包括在分析样本中的分析目标物的三维坐标候选。因此,用户不需要搜索分析目标物同时移动显微镜光学系统的视场,因此,个人成本可以降低。
所述分析装置可以进一步包括估算单元,该估算单元被配置为通过估算函数估算分析目标物图像和位于三维坐标候选的物像之间的相似性。
使用这种配置,分析装置能够将位于三维坐标候选的物像和分析目标物图像之间的相似性呈现给用户。用户可以知道具有作为分析目标物的高度可能性的三维坐标候选。
三维坐标确定单元可以被配置为基于在焦深方向上二维坐标候选的连续数目来确定三维坐标候选。
使用这种配置,三维坐标确定单元能够确定具有在预定范围内的连续数目的一个作为分析目标物的三维坐标候选,并且从分析目标物的三维坐标候选中排除那些具有超出预定范围的连续数目。因此,三维坐标确定单元能够根据焦深方向上的物像的尺寸确定分析目标物的三维坐标候选。
二维坐标检测单元可以被配置为通过将捕获图像的特征量与指示分析目标物的特征量的模板相比较来检测二维坐标候选。
使用这种配置,二维坐标检测单元能够判断分析目标物图像存在于与模板的特征量具有最高相似性的捕获图像的图像的区域中,并且在此时检测模板的候选作为二维坐标候选。
二维坐标检测单元可以被配置为从捕获图像中提取第一特征量,基于所述第一特征量检测初始二维坐标候选,在所述初始二维坐标候选周围设置比较范围,从包括在所述比较范围中的捕获图像中提取第二特征量,并且将所述第二特征量与模板进行比较,从而检测二维坐标候选。
使用这种配置,二维坐标检测单元能够在使用所述第一特征量检测的初始二维坐标候选周围设置的比较范围中执行与模板的比较,并且检测二维坐标候选。因此,二维坐标检测单元不在全部捕获的图像中而只在比较范围内执行与模板的比较就足够了,因此,二维坐标检测单元能够以高速度执行比较。
所述第一特征量可以是第一像素数的像素之间的亮度差,并且所述第二特征量可以是比第一像素数更大的第二像素数的像素之间的亮度差。
使用这种配置,二维坐标检测单元从整个捕获图像中提取小像素数(第一像素数)的像素之间的亮度差作为第一特征量,因此所述二维坐标能够以高速度执行提取。另一方面,二维坐标检测单元从包括在比较范围中的捕获图像中提取大像素数(第二像素数)的像素之间的亮度差作为第二特征量,因此,二维坐标能够以高准确度提取第二特征量。当从其中提取亮度差异的像素数大时,花费很多时间来提取亮度差。然而,二维坐标检测单元仅从比较范围中提取第二特征量是足够的。因此,二维坐标检测单元能够通过使用第一特征量和第二特征量这两个特征量以高速度和高准确度检测二维坐标候选。
分析装置可以进一步包括估算单元,该估算单元被配置为当所述第二特征量最接近匹配模板时通过使用估算函数估算分析目标物图像和位于三维坐标候选的物像之间的相似性,其中,估算函数使用包括在比较范围中的捕获图像的第二特征量和模板的特征量之间的差。
使用这种配置,估算单元能够将位于三维坐标候选的物像和分析目标物图像之间的相似性呈现给用户。用户可以知道具有作为分析目标物的高度可能性的三维坐标候选。估算单元能够通过使用先前提取的捕获图像的第二特征量和用于估算函数的模板的特征量之间的差以高速度和高准确度执行相似性的估算。
二维坐标检测单元可以被配置为当第二特征量最接近匹配模板时,计算包括在比较范围中的捕获图像的中心部分和外围部分之间的亮度差,并通过使用所述亮度差验证所述二维坐标候选。
使用这种配置,所述二维坐标检测单元能够从位于检测到的二维坐标候选的物像中排除不满足分析目标物的图像的亮度条件的那些。
估算单元可以被配置为通过估算函数估算位于三维坐标候选的物像和分析目标物图像之间的相似性,其中所述估算函数使用第二特征量和模板之间的差和亮度差。
使用这种配置,估算单元能够通过使用估算函数执行相似性的估算,其中估算函数使用述特征量的差以及在二维坐标候选的检测中使用的亮度差。
根据本公开的另一实施方式,提供一种分析程序,该分析程序使信息处理装置用作二维坐标检测单元和三维坐标确定单元。
二维坐标确定单元被配置为对于通过在多个焦深捕获包括分析目标物的分析样本而获得的捕获图像组,检测作为在每个捕获的图像中的分析目标物的平面坐标候选的二维坐标候选。
三维坐标确定单元被配置为基于捕获图像之间的平面坐标候选的位置关系来确定作为分析目标物的三维坐标候选的三维坐标候选。
根据本公开的又一实施方式,提供一种分析系统,其包括显微镜成像装置、分析装置以及控制装置。
所述分析装置包括二维坐标检测单元,二维坐标检测单元被配置为对于通过在多个焦深捕获包括分析目标物的分析样本而获得的捕获图像组检测作为在每个捕获图像中的分析目标物的平面坐标候选的二维坐标候选,以及三维坐标确定单元,被配置为基于捕获图像之间的平面坐标候选的位置关系来确定作为分析目标物的三维坐标候选的三维坐标候选。
所述控制装置被配置为通过使用三维坐标候选来控制显微镜成像装置。
如上所述,根据本公开的实施方式,可提供分析装置、分析程序以及分析系统,通过该分析装置、分析程序以及分析系统可以自动地确定分析目标物的位置。
本公开的这些和其他对象、特征和优点根据其中以下最佳模式实施方式的详细描述将变得更明显,如在附图中示出的。
附图说明
图1是示出根据本公开实施方式的分析系统的配置的示意图;
图2是示出由分析系统的显微镜成像装置捕获的捕获图像组的示意图;
图3是示出分析系统的分析装置的配置的方框图;
图4是示出分析系统的分析装置的操作的流程图;
图5是由分析系统的分析装置使用的模板的实例;
图6是由分析系统的分析装置的二维坐标检测单元检测的初始二维坐标候选的示意图;
图7是由分析系统的分析装置的二维坐标检测单元设置的比较范围的示意图;
图8是示出由分析系统的分析装置的二维坐标检测单元的模板比较的示意图;
图9是由分析系统的分析装置的二维坐标检测单元检测的二维坐标候选的示意图;
图10是示出由分析系统的分析装置的二维坐标检测单元的二维坐标候选的验证的示意图;
图11是示出由分析系统的分析装置的三维坐标检测单元对三维坐标候选的确定的示意图;
图12是示出分析系统的操作的流程图;
图13A和图13B是示出由分析系统的控制装置设置的显微镜视场范围的示意图;
图14A和图14B是示出根据本公开的变型例的分析系统的分析装置的操作的示意图;
图15A,图15B和图15C示出根据本公开实例的捕获图像;以及
图16示出根据本公开实例的比较结果。
具体实施方式
在下文中,将要描述根据本公开的实施方式的分析系统。
[分析系统的配置]
图1是根据本实施方式示出分析系统100的配置的示意图。如该图所示,分析系统100包括显微镜成像装置110、分析装置120和控制装置130。进一步地,图1示出包含在容器W中的分析样本S。分析样本S包括分析目标物B。分析目标物B是,例如,飘浮细胞。分析样本S是,例如,细胞培养溶液。
显微镜成像装置110包括显微镜光学系统111、XYZ载物台112,以及成像机构113。显微镜光学系统111包括各种透镜,如物镜和调焦机构。分析样本S的显微镜放大后的图像产生。XYZ载物台112被配置为能够在X方向、Y方向和Z方向的每个方向移动显微镜光学系统111。应该注意,Z方向是显微镜光学系统111的焦深方向,并且X方向和Z方向都与Z轴方向正交并且彼此正交。成像机构113包括诸如CCD(电荷耦合器件)和CMOS(互补金属氧化物半导体)的成像元件。成像机构113捕获由显微镜光学系统111产生的分析样本S的显微镜放大的图像,并将显微镜放大图像供应给分析装置120。
显微镜成像装置110在多个焦深对分析样本S成像,并产生包括多个捕获图像G的捕获图像组。图2是捕获图像组的实例。当由调焦机构在Z方向移动焦深,显微镜成像装置110可以导致成像机构113在容器中在多个焦深(Z叠加成像)对分析样本S成像并产生捕获图像组(Z叠加图像)。进一步地,当由XYZ载物台112在Z方向移动显微镜光学系统时,显微镜成像装置110可以使成像机构113在多个焦深对分析样本S成像。
显微镜成像装置110的配置并不限定于此处所示的配置,并且只需要能够产生通过在多个焦深对分析样本成像而获得的捕获图像组。捕获图像也不限于亮场图像。捕获图像仅需要是可以光学地捕获的图像,例如,暗场图像、相衬图像、荧光图像,或者偏光显微镜图像。显微镜成像装置110可具有能够捕获这些图像的配置。
[分析装置的配置和操作]
分析装置120将捕获图像组呈交到图像处理。应该注意,由分析装置120处理的捕获图像组并不限于从成像装置113供应的图像组,也可以是单独制备的捕获图像组。图3是示出分析装置120的机械配置的方框图。图4是示出分析装置120操作的流程图。如图3所示,分析装置120包括二维坐标检测单元121、三维坐标确定单元122,以及估算单元123。它们的配置是通过用处理器或类似物的硬件和软件的合作实现的功能配置。每个配置将与分析装置120的操作一起描述。
预先,在分析装置120中对模板进行登记(St101)。图5是模板T的示意图。模板T表示分析目标物的特征量。在模板T中,假定为分析目标物的图像的图像的特征量根据分析目标物的形状和尺寸布置。特征量意味着表示图像的特征的量。特征量可以是每个像素的亮度,相邻像素之间的亮度差异,或最大值、最小值、平均值,或亮度或亮度差异的方差值。在图4中所示的模板表示灰阶中的特征量。
分析装置120可以能够根据由用户指定的分析目标物(例如,具有直径约为10μ的球形形状)上的信息选择适当的模板T。可替代地,用户可以直接指定模板T。如上所述,模板T的尺寸依据分析目标物而不同。在下面的描述中,假设模板T是带有每侧具有L像素的大小的侧的正方形。进一步地,分析装置120可以将分析目标物(将在后面描述)的分析得到的信息反馈给模板。
二维坐标检测单元121从包括在捕获图像组中的每个捕获图像中检测出分析目标物的坐标的候选(以下,简称为二维坐标候选)(St102)。具体地,二维坐标检测单元121可以以下面的方式检测所述二维坐标候选。
首先,二维坐标检测单元121从所捕获的图像G中提取第一特征量(St1021)。具体地,所述二维坐标检测单元121将每个捕获图像转换成八位灰阶,并且提取预定像素数的像素之间的亮度差(以下,简称为第一像素数)作为第一特征量。第一像素数可以是,例如,与每个像素相邻的一个像素。二维坐标检测单元121提取比后面将要描述的第二像素数小的第一像素数的像素之间的亮度差异,因此可以以高速度执行亮度差异的提取。应该注意,二维坐标检测单元121可提取亮度或亮度差的最大值、最小值、平均值、方差值等作为第一特征量。
随后,二维坐标检测单元121通过使用第一特征量检测初始坐标候选(St1022)。二维坐标检测单元能够通过使用所述第一特征量执行边缘检测,并获得其中边缘检测为初始坐标候选的坐标。各种算法可以用于边缘检测。如果噪声通过使用亮度的最大值、最小值、平均值、方差值或类似物的阈值去除,该算法能够以高速度执行。图6示意性地示出在捕获图像G中检测的初始坐标候选E。
随后,二维坐标检测单元121围绕捕获图像G中的每个初始坐标候选E设置比较范围(St1023)。二维坐标检测单元121能够围绕初始坐标候选E设置四个方框作为具有为一个方框的模板T的尺寸的比较范围。进一步地,二维坐标检测单元121可设置不同于此范围的范围作为比较范围。图7示出设置比较范围H。
随后,二维坐标检测单元121从包括在比较范围H中的捕获图像G中提取第二特征量(St1024)。具体地,二维坐标检测单元121将每个捕获的图像G转换成八位灰阶,并且提取预定像素数(以下,简称为第二像素数)的像素之间的每个亮度差作为第二特征量。应该注意,第二像素数大于第一像素数。例如,第二像素数可以是每个像素周围的八个像素。
二维坐标检测单元121提取大于第一像素数的第二像素数的像素之间的亮度差,因此可以以高准确度提取第二特征量。然而,二维坐标检测单元121需要很多时间用于提取每个像素,因为相对于每个像素,亮度差的提取目标的像素数大。然而,二维坐标检测单元121不提取全部捕获图像而只是提取比较范围H就足够了,并因此可以以高速度执行提取。应该注意,二维坐标检测单元121可提取亮度或亮度差的最大值、最小值、平均值、方差值,或类似物作为第二特征量。
随后,二维坐标检测单元121相对于每个比较范围H执行模板比较(St1025)。图8是示出模板比较的状态的示意图。如该图所示,当在比较范围H中移动模板T时,在与模板T重叠的范围中,二维坐标检测单元121将模板T的特征量与捕获图像G的第二特征量进行比较。二维坐标检测单元121搜索模板T的具有模板的特征量和捕获图像G的特征量之间的最高相似性的位置。具体地,二维坐标检测单元121能够计算模板T的每个像素和与模板T重叠的捕获图像G的每个像素之间的特征量的差,并通过添加这种差来计算比较结果P。
如果比较结果P是最小的,二维坐标检测单元121能够确定在模板T的特征量和捕获图像G的第二特征量之间的相似性是最高的。模板T的位置在这种情况下用来作为匹配位置。然后,二维坐标检测单元121能够设置位于所述匹配位置的模板T的中心的位置坐标作为二维坐标候选。图9示出由二维坐标检测单元121检测的二维坐标候选F。
当多个初始坐标候选E被检测,二维坐标检测单元121相对于每个初始坐标候选E设置比较范围H(St1023),提取第二特征量(St1024)并执行模板比较(St1025)。
随后,二维坐标检测单元121验证检测的二维坐标候选F(St1026)。图10是此验证的示意图。二维坐标检测单元121能够相对于捕获图像G从与位于匹配位置的模板T重叠的像素范围的外围部分(在图中阴影部分的内部部分)的亮度值中减去中心部分(图中阴影部分)的亮度值,从而获得比较结果Q。二维坐标检测单元121能够通过使用比较结果Q执行二维坐标候选F的验证。
具体地,在分析目标物具有近球形的形状的情况下,例如,细胞,该图像的中心部分的亮度为高(亮)并且外围部分的亮度低(暗)。然而,在第二特征量的提取步骤中,提取第二特征量(亮度差等)并且关于亮度值的信息丢失。因此,在中心部分的亮度低并且外围部分的亮度高的图像也可以与中心部分的亮度高并且外围部分的亮度低的图像一起检测。因此,二维坐标检测单元121能够通过使用比较结果Q从候选中排除具有反向亮度的图像的二维坐标候选F。
二维坐标检测单元121能够对包括在捕获图像组中的每个捕获图像G执行上述步骤(St1021到St1026)并且在各捕获图像G中检测二维坐标候选F。二维坐标检测单元121将检测到的二维坐标候选F供应到三维坐标确定单元122。此外,二维坐标检测单元121将在上述步骤计算出的比较结果P和比较结果Q供应给估算单元123。
三维坐标确定单元122基于二维坐标候选F的捕获图像G之间的位置关系确定分析目标物的三维坐标候选(St103)。图11是示出通过三维坐标确定单元122确定三维坐标候选的示意图。具体地,三维坐标确定单元122在Z方向上对各捕获图像G的二维坐标候选F的连续数目计数。在这时,即使捕获图像之间在X方向和Y方向二维坐标候选F不完全对应于彼此,只要这种位移落在容许范围内,三维坐标确定单元122能够确定二维坐标候选F是连续的。
如果在Z方向上一组二维坐标候选(以下,简称为二维坐标候选组)的连续数目落在预定范围内时,三维坐标确定单元122能够确定此二维坐标候选组是分析目标物的二维坐标候选组。例如,图11示出在Z方向上二维坐标候选组F1的连续数目太大和在Z方向上二维坐标候选组F3的连续数目太小的情况。
在这个实例中,三维坐标确定单元122能够确定二维坐标候选组F2是分析目标物的二维坐标候选组,因为二维坐标候选F2组的连续数目落入预定范围之内。在Z方向上连续数目的预定范围根据分析目标物的尺寸、显微镜光学系统111的物镜的NA(数值孔径)、捕获图像组的焦点间距等而不同。三维坐标确定单元122能够通过由用户指定或从模板T获得适当范围的连续数目。
如果连续数目落入预定范围内,三维坐标系确定单元122能够从包括二维坐标候选组的多个捕获图像的G中确定位于Z方向中心的捕获图像G(图11中的Gc)。三维坐标确定单元122能够确定三维坐标候选,其中该三维坐标候选具有捕获该捕获图像Gc的Z坐标的焦深和在二维坐标候选组F2的捕获图像Gc中为X坐标和Y坐标的二维坐标候选。
估算单元123通过估算函数估算分析目标物图像和位于三维坐标的物像之间的相似性(St104)。估算函数可以是使用上述的比较结果P和比较结果Q的一个,并且具体地,由以下[等式1]表达。
f=a×P+Q [等式1]
应该注意,“a”是任意的系数。
当比较结果P变小,物像和模板T之间的相似性变高。当物像的中心部分的亮度值大于外围部分的亮度值时,比较结果Q取负值。因此,当值f很小时,估算单元123能够估算到该物像类似于分析目标物图像。应该注意,估算单元123可以只使用用于估算函数的比较结果P,或使用不同于上述[等式1]的估算函数。
例如,在单一分析目标物(细胞等)放入到单一容器中的单一分类的情况下,这是有利的,分析目标物的单一的三维坐标候选从从单一容器获得的捕获图像组中确定。然而,即使确定多个三维坐标候选,估算单元123通过使用估算函数执行估算,因此,可以执行分析目标物图像和位于每个三维坐标候选的物像和之间的相似性的分级(参见实施方式)。
进一步地,除了所述单一分类的情况,例如,同样在分析样本包括多个分析目标物或分析样本包括各种形式的对象并且分析目标物从它们中确定的情况下,可以通过将阈值应用到使用估算函数而获得的结果来确定分析目标物的三维坐标候选。
如上所述,分析装置120能够通过对捕获图像组的图像处理确定分析目标物的三维坐标候选。由此,无需搜索分析目标物,用户可控制显微镜光学系统111的视场以覆盖分析目标物。进一步地,分析装置120能够在显示器上显示位于三维坐标候选的分析目标物候选,使得用户可以选择分析目标物。此外,如后面将要描述的那样,控制装置130能够追踪分析目标物并且通过使用所述三维坐标候选对分析目标物成像或进行分析。
[控制装置的配置和操作]
控制装置130控制显微镜成像装置110。具体地,控制装置130可以控制显微镜光学系统111、XYZ载物台112、成像机构113等,从而控制显微镜光学系统111的视场范围以覆盖分析样本S并且使成像机构113经由显微镜光学系统111使观察样本成像。
控制装置130能够使用分析装置120确定的分析目标物的三维坐标候选控制显微镜成像装置110。图12是示出分析系统100的操作的流程图。
首先,控制装置130使显微镜成像装置110以低放大倍数成像(St151)。具体地,控制装置130以低放大倍数控制显微镜光学系统111的视场范围以覆盖分析样本。控制装置130控制显微镜光学系统111和成像机构113以使分析样本在多个焦深成像,并产生捕获图像组。图13A和13B是示出此时的显微镜光学系统111的视场范围的示意图。
如果显微镜光学系统111的视场范围A不能覆盖分析样本S的整个区域,控制装置130可在分析样本S中设置多个视场范围A,如图13的部分(a)所示,并使成像机构113对每个视场范围A成像。进一步地,在预测分析目标物靠近分析样本S的中心的情况下,例如,在使用高精确度的单一分类器的情况下,控制装置130可以如图13的部分(b)所示仅在分析样本S的中心设置视场范围A,并且使成像机构113对视场范围A成像。
分析装置120对以上述的低放大倍数成像产生的捕获图像组执行上述图像处理,并且确定分析目标物的三维坐标候选(St152)。如果位于三维坐标候选的对象是分析目标物,控制装置130可以执行将在后面描述的分析(St155),或者可以增加显微镜光学系统111的放大倍数,并使成像机构113以高放大倍数成像(St153)。当以高放大倍数执行成像时,如果在图像处理步骤(St152)中确定三维坐标候选,控制装置130能够使成像机构113通过使用此三维坐标候选来以高放大倍数执行成像。应该注意,在以高放大倍数执行成像时,控制装置130也能够使显微镜光学系统111执行焦点检测并通过使用检测的焦点更新三维坐标候选。
分析装置120再次对通过以高放大倍数成像所产生的捕获图像组执行上述图像处理,并确定分析目标物的三维坐标候选(St154)。如果位于三维坐标候选的对象是分析目标物,控制装置130执行分析(St155)。当位于三维坐标候选的对象不是分析目标物时,控制装置130使成像装置113执行上述图像处理步骤(St152)。
当位于由图像处理步骤(St152和St154)的任何一个确定的三维坐标候选的对象是分析目标物时,控制装置130执行分析(St155)。具体地,在控制显微镜光学系统111的视场以覆盖所确定的三维坐标候选之后,控制装置130能够使成像机构113对分析目标物成像。例如,通过每当预定的一段时间过去时执行三维坐标候选的确定处理,每当预定的一段时间过去时控制装置130能够使成像机构113对分析目标物成像。因此,控制装置130能够使得=成像机构113执行延时成像。
进一步地,当相衬成像机构或光谱(红外光谱、拉曼光谱等)机构连接到显微镜成像装置110的显微镜光学系统111时,控制装置130也能够执行各种分析。在任何情况下,显微镜光学系统111的视场范围被控制为覆盖自动确定的三维坐标候选。因此,不需要搜索分析目标物,用户能够分析分析目标物。
[分析系统的变型例]
将描述上述实施方式的分析系统变型例。
分析装置120可通过不使用二维模板而使用三维模板或分析目标物的尺寸信息确定最佳匹配的三维坐标。图14A和图14B是示出分析装置120的操作的示意图。如图14A所示,分析装置120获取具有等于或大于阈值的亮度差的像素p1的坐标。此时,分析装置120能够将分离的像素P2作为噪声去除。
如图14B所示,分析装置120能够搜索像素P3作为关键并从每个具有围绕每个像素P3的预定范围的体素v中检测最类似于分析目标物的体素v。具有预定范围的体素可以是,例如,20体素。
[实例]
将要描述上述实施方式的实例。在这个实例中,由单一的分类器在每个细胞中种的造血干细胞20(分析目标物)用作分析样本。
图15A-图15C根据本实例示出图像。图15A示出在物镜以放大倍数4x且光量是固定的条件下由Z叠加成像产生的捕获图像组。成像的焦深是从0到420μm并且焦点间距为20μm。分析装置通过根据上述实施方式的图像处理确定分析目标物的三维坐标候选。图15A示出位于第一次序估算结果的三维坐标候选(x,y,z)的物像。
图15B示出在物镜以放大倍数60x且光量是用作为中心的第一次序估算结果的三维坐标候选(x,y,z)固定的条件下由亮场Z叠加成像捕获的捕获图像组。成像的焦深是从三维坐标候选的z坐标到±20μm。对捕获图像执行焦点检测并且更新z坐标。更新的三维坐标候选由(x,y,z')表示。
图15C示出在物镜以放大倍数60x且光量为最大的条件下由相衬成像在更新的三维坐标候选(x,y,z')捕获的捕获图像。光谱结构设置在捕获图像的中心部分。以这种方式,分析装置确定分析目标物的三维坐标候选。因此,可通过使用三维坐标候选执行分析目标物的分析(在此,以高放大倍数成像)。
进一步地,图16示出由估算单元产生的示例性估算结果。在造血干细胞种于每个细胞的单一细胞分类的情况下,结果是通过使用估算函数将位于从通过使分别的容器成像获取的捕获的图像组确定的三维坐标候选的物像归类而获取的。对于每个容器,在估算函数次序顶部的物像具有高的可能性作为种在所述容器中的分析目标物(造血干细胞)的图像。实际上可以确认在估算次序的顶部的物像是通过使用荧光图像观测的造血干细胞。因此,可以这样说,使用根据上述实施方式的分析装置,可确定分析目标物的三维坐标候选,并估算位于三维坐标候选的物像作为分析目标物的可能性。
应该注意,本公开也可以采取以下配置。
(1)一种分析装置,包括:
二维坐标检测单元,被配置为对于通过在多个焦深捕获包括分析目标物的分析样本而获得的捕获图像组检测作为在每个捕获图像中的分析目标物的平面坐标候选的二维坐标候选;以及
三维坐标确定单元,被配置为基于捕获图像之间的平面坐标候选的位置关系来确定作为分析目标物的三维坐标候选的三维坐标候选。
(2)根据(1)所述的分析装置,进一步包括
估算单元,被配置为通过估算函数估算分析目标物图像和位于三维坐标候选的物像之间的相似性。
(3)根据(1)或(2)所述的分析装置,其中
三维坐标确定单元被配置为基于在焦深方向上二维坐标候选的连续数目来确定三维坐标候选。
(4)根据(1)至(3)中的任何一项所述的分析装置,其中
所述二维坐标检测单元被配置为通过将捕获图像的特征量与指示分析目标物的特征量的模板相比较来检测二维坐标候选。
(5)根据(1)至(4)中的任何一项所述的分析装置,其中
所述二维坐标检测单元被配置为从捕获图像中提取第一特征量,基于所述第一特征量检测初始二维坐标候选,在所述初始二维坐标候选周围设置比较范围,从包括在所述比较范围中的捕获图像中提取第二特征量,并且将所述第二特征量与模板进行比较,从而检测二维坐标候选。
(6)根据(1)至(5)中的任何一项所述的分析装置,其中
所述第一特征量是第一像素数的像素之间的亮度差,并且
所述第二特征量是比第一像素数更大的第二像素数的像素之间的亮度差。
(7)根据(1)至(6)中的任何一项所述的分析装置,进一步包括
估算单元,被配置为当所述第二特征量最接近匹配模板时通过使用估算函数估算位于分析目标物图像和三维坐标候选的物像之间的相似性,其中,估算函数使用包括在比较范围中的捕获图像的第二特征量和模板的特征量之间的差。
(8)根据(1)至(7)中的任何一项所述的分析装置,其中
二维坐标检测单元被配置为当第二特征量最接近匹配模板时,计算包括在比较范围中的捕获图像的中心部分和外围部分之间的亮度差,并通过使用所述亮度差验证所述二维坐标候选。
(9)根据(1)至(8)中的任何一项所述的分析装置,其中
估算单元被配置为通过估算函数估算分析目标物图像和位于三维坐标候选的物像之间的相似性,其中,估算函数使用第二特征量和模板之间的差和亮度差。
(10)一种分析程序,该分析程序使信息处理装置用作:
二维坐标检测单元,被配置为对于通过在多个焦深捕获包括分析目标物的分析样本而获得的捕获图像组,检测作为在每个捕获的图像中的分析目标物的平面坐标候选的二维坐标候选;以及
三维坐标确定单元,被配置为基于所述捕获图像之间的所述平面坐标候选的位置关系来确定作为所述分析目标物的三维坐标的候选的三维坐标候选。
(11)一种分析系统,其包括:
显微镜成像装置;
分析装置,包括
二维坐标检测单元,被配置为对于通过所述显微镜成像装置在多个焦深捕获包括分析目标物的分析样本而获得的捕获的图像组检测作为在每个捕获的图像中的分析目标物的平面坐标候选的二维坐标候选,以及
三维坐标确定单元,被配置为基于捕获的图像之间的平面坐标候选的位置关系来确定作为分析目标物的三维坐标的候选的三维坐标候选;以及
控制装置,被配置为通过使用三维坐标候选来控制所述显微镜成像装置。
本领域技术人员应该理解,当其在所附权利要求或其中的等同物的范围内时,各种修改、组合、子组合和改变可根据设计要求和其他因素的情况发生。
Claims (9)
1.一种分析装置,包括:
二维坐标检测单元,被配置为对于通过在多个焦深捕获包括分析目标物的分析样本而获得的捕获图像组检测作为在每个捕获图像中的所述分析目标物的平面坐标候选的二维坐标候选;以及
三维坐标确定单元,被配置为基于所述捕获图像之间的所述平面坐标候选的位置关系来确定作为所述分析目标物的三维坐标的候选的三维坐标候选,
所述二维坐标检测单元被配置为从所述捕获图像中提取第一特征量,基于所述第一特征量检测初始二维坐标候选,在所述初始二维坐标候选周围设置比较范围,从包括在所述比较范围中的捕获图像中提取第二特征量,并且当在所述比较范围中移动模板时,在与所述模板重叠的范围中,将所述模板的特征量与所述捕获图像的所述第二特征量进行比较,从而检测所述二维坐标候选。
2.根据权利要求1所述的分析装置,进一步包括
估算单元,被配置为通过估算函数估算分析目标物图像与位于所述三维坐标候选的物像之间的相似性。
3.根据权利要求1所述的分析装置,其中
所述三维坐标确定单元被配置为基于在焦深方向上所述二维坐标候选的连续数目来确定所述三维坐标候选。
4.根据权利要求1所述的分析装置,其中
所述第一特征量是第一像素数的像素之间的亮度差,以及
所述第二特征量是比所述第一像素数更大的第二像素数的像素之间的亮度差。
5.根据权利要求4所述的分析装置,进一步包括
估算单元,被配置为当所述第二特征量最接近匹配所述模板时,通过使用估算函数估算分析目标物图像和位于所述三维坐标候选的物像之间的相似性,所述估算函数使用包括在所述比较范围中的捕获图像的所述第二特征量和所述模板的特征量之间的差。
6.根据权利要求5所述的分析装置,其中
所述二维坐标检测单元被配置为当所述第二特征量最接近匹配所述模板时,计算包括在所述比较范围中的捕获图像的中心部分和外围部分之间的亮度差,并通过使用所述亮度差验证所述二维坐标候选。
7.根据权利要求6所述的分析装置,其中
所述估算单元被配置为通过估算函数估算所述分析目标物图像和位于三维坐标候选的物像之间的相似性,其中,所述估算函数使用所述第二特征量和所述模板之间的差和所述亮度差。
8.一种非暂时性计算机可读存储介质,存储有分析程序,所述分析程序使信息处理装置用作:
二维坐标检测单元,被配置为对于通过在多个焦深捕获包括分析目标物的分析样本而获得的捕获图像组,检测作为在每个捕获的图像中的所述分析目标物的平面坐标候选的二维坐标候选;以及
三维坐标确定单元,被配置为基于所述捕获图像之间的所述平面坐标候选的位置关系来确定作为所述分析目标物的三维坐标的候选的三维坐标候选,
所述二维坐标检测单元被配置为从所述捕获图像中提取第一特征量,基于所述第一特征量检测初始二维坐标候选,在所述初始二维坐标候选周围设置比较范围,从包括在所述比较范围中的捕获图像中提取第二特征量,并且当在所述比较范围中移动模板时,在与所述模板重叠的范围中,将所述模板的特征量与所述捕获图像的所述第二特征量进行比较,从而检测所述二维坐标候选。
9.一种分析系统,包括:
显微镜成像装置;
分析装置,包括
二维坐标检测单元,被配置为对于通过所述显微镜成像装置在多个焦深捕获包括分析目标物的分析样本而获得的捕获图像组检测作为在每个捕获图像中的所述分析目标物的平面坐标候选的二维坐标候选,以及
三维坐标确定单元,被配置为基于所述捕获图像之间的平面坐标候选的位置关系来确定作为所述分析目标物的三维坐标的候选的三维坐标候选,
其中,所述二维坐标检测单元被配置为从所述捕获图像中提取第一特征量,基于所述第一特征量检测初始二维坐标候选,在所述初始二维坐标候选周围设置比较范围,从包括在所述比较范围中的捕获图像中提取第二特征量,并且当在所述比较范围中移动模板时,在与所述模板重叠的范围中,将所述模板的特征量与所述捕获图像的所述第二特征量进行比较,从而检测所述二维坐标候选;
以及
控制装置,被配置为通过使用所述三维坐标候选来控制所述显微镜成像装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013-081475 | 2013-04-09 | ||
JP2013081475A JP6160187B2 (ja) | 2013-04-09 | 2013-04-09 | 分析装置、分析プログラム及び分析システム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104101294A CN104101294A (zh) | 2014-10-15 |
CN104101294B true CN104101294B (zh) | 2018-06-05 |
Family
ID=51654143
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410132589.0A Active CN104101294B (zh) | 2013-04-09 | 2014-04-02 | 分析装置、分析程序以及分析系统 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9678325B2 (zh) |
JP (1) | JP6160187B2 (zh) |
CN (1) | CN104101294B (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10535137B2 (en) * | 2014-01-07 | 2020-01-14 | Sony Corporation | Analysis system and analysis method |
CN104537712B (zh) * | 2015-01-04 | 2017-04-19 | 成都思达特电器有限公司 | 一种建立待喷涂工件的三维喷涂节点的方法 |
US9928403B2 (en) * | 2016-02-09 | 2018-03-27 | Molecular Devices, Llc | System and method for image analysis of multi-dimensional data |
CN106954041A (zh) * | 2017-03-08 | 2017-07-14 | 阔地教育科技有限公司 | 一种跟踪控制方法及系统 |
DE102017214189A1 (de) * | 2017-08-15 | 2019-02-21 | Carl Zeiss Microscopy Gmbh | Verfahren zum Betrieb einer Mikroskopieranordnung und Mikroskopieranordnung mit einem ersten Mikroskop und mindestens einem weiteren Mikroskop |
EP3756166A4 (en) * | 2018-04-27 | 2021-10-27 | Hewlett-Packard Development Company, L.P. | IMAGING THREE-DIMENSIONAL VOLUMES |
US10885631B2 (en) * | 2019-02-01 | 2021-01-05 | Essen Instruments, Inc. | Label-free cell segmentation using phase contrast and brightfield imaging |
US11803963B2 (en) | 2019-02-01 | 2023-10-31 | Sartorius Bioanalytical Instruments, Inc. | Computational model for analyzing images of a biological specimen |
WO2020244779A1 (en) * | 2019-06-07 | 2020-12-10 | Leica Microsystems Cms Gmbh | A system and method for processing biology-related data, a system and method for controlling a microscope and a microscope |
JPWO2021124866A1 (zh) * | 2019-12-19 | 2021-06-24 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0792090A (ja) * | 1993-09-27 | 1995-04-07 | Suzuki Motor Corp | 蛍光抗体判定装置 |
US7338168B2 (en) * | 2001-07-06 | 2008-03-04 | Palantyr Research, Llc | Particle analyzing system and methodology |
KR100438212B1 (ko) * | 2002-08-09 | 2004-07-01 | 학교법인고려중앙학원 | 전자현미경을 사용해서 물체의 3차원 공간 데이터를추출하는 방법 및 그 장치 |
US7415148B2 (en) * | 2003-08-04 | 2008-08-19 | Raytheon Company | System and method for detecting anomalous targets including cancerous cells |
JP3882005B2 (ja) * | 2005-03-02 | 2007-02-14 | 松下電器産業株式会社 | 画像生成方法、物体検出方法、物体検出装置および画像生成プログラム |
US8345946B2 (en) * | 2006-04-14 | 2013-01-01 | The Regents Of The University Of California | Determining orientation of cilia in connective tissue |
WO2009107321A1 (ja) * | 2008-02-28 | 2009-09-03 | 株式会社ニコン | 顕微鏡装置および細胞培養装置 |
JP2010169823A (ja) | 2009-01-21 | 2010-08-05 | Nikon Corp | 細胞観察画像の画像処理方法、画像処理プログラム及び画像処理装置 |
JP2011017964A (ja) * | 2009-07-10 | 2011-01-27 | Nikon Corp | 培養観察装置 |
JP5530126B2 (ja) * | 2009-07-24 | 2014-06-25 | オリンパス株式会社 | 三次元細胞画像解析システム及びそれに用いる三次元細胞画像解析装置 |
-
2013
- 2013-04-09 JP JP2013081475A patent/JP6160187B2/ja not_active Expired - Fee Related
-
2014
- 2014-03-26 US US14/226,429 patent/US9678325B2/en active Active
- 2014-04-02 CN CN201410132589.0A patent/CN104101294B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
US20140300723A1 (en) | 2014-10-09 |
US9678325B2 (en) | 2017-06-13 |
JP6160187B2 (ja) | 2017-07-12 |
JP2014203038A (ja) | 2014-10-27 |
CN104101294A (zh) | 2014-10-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104101294B (zh) | 分析装置、分析程序以及分析系统 | |
JP5464244B2 (ja) | 画像処理装置、プログラム及び画像処理システム | |
JP6125188B2 (ja) | 映像処理方法及び装置 | |
JP2011188496A (ja) | 逆光検知装置及び逆光検知方法 | |
WO2014030380A1 (ja) | 画像処理装置、プログラム、画像処理方法及びコンピュータ読み取り媒体並びに画像処理システム | |
JP2012118698A (ja) | 画像処理装置 | |
JP2011198349A (ja) | 情報処理方法及びその装置 | |
JP4391527B2 (ja) | 関心のある複数の対象物を関心のあるフィールド内で組織化するシステム | |
US20220012884A1 (en) | Image analysis system and analysis method | |
JP2009259036A (ja) | 画像処理装置、画像処理方法、画像処理プログラム、記録媒体、及び画像処理システム | |
US8064679B2 (en) | Targeted edge detection method and apparatus for cytological image processing applications | |
JP2014203038A5 (zh) | ||
CN101930606A (zh) | 一种图像边缘检测的景深扩展方法 | |
JP5349622B2 (ja) | パターン識別装置 | |
JP2009211122A (ja) | 画像処理装置およびオブジェクト推定プログラム。 | |
JP6578950B2 (ja) | 分析システム、分析プログラム及び分析方法 | |
KR101696086B1 (ko) | 소나 이미지 내의 물체 부분 추출 방법 및 장치 | |
JP2015194700A (ja) | 合焦判定装置、合焦判定方法、及び撮像装置 | |
WO2017032096A1 (en) | Method for predicting stereoscopic depth and apparatus thereof | |
Saini et al. | A comparative study of different auto-focus methods for mycobacterium tuberculosis detection from brightfield microscopic images | |
Hadi et al. | Fusion of thermal and depth images for occlusion handling for human detection from mobile robot | |
WO2013025173A1 (en) | A method and system for tracking motion of microscopic objects within a three-dimensional volume | |
JP2009116686A (ja) | 撮像対象検出装置および方法 | |
CN110134222A (zh) | 一种vr头显定位瞄准系统及其定位瞄准方法 | |
US10690899B2 (en) | Image observation device and microscope system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |