CN114663446A - 三维显微镜图像的分割的系统和方法 - Google Patents

三维显微镜图像的分割的系统和方法 Download PDF

Info

Publication number
CN114663446A
CN114663446A CN202210282454.7A CN202210282454A CN114663446A CN 114663446 A CN114663446 A CN 114663446A CN 202210282454 A CN202210282454 A CN 202210282454A CN 114663446 A CN114663446 A CN 114663446A
Authority
CN
China
Prior art keywords
pixel
image
marker
pixels
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210282454.7A
Other languages
English (en)
Inventor
洪迪慧
阿夫鲁·科恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Molecular Devices LLC
Original Assignee
Molecular Devices LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Molecular Devices LLC filed Critical Molecular Devices LLC
Publication of CN114663446A publication Critical patent/CN114663446A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695Preprocessing, e.g. image segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • G06T2207/10061Microscopic image from scanning electron microscope
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker

Abstract

一种分割从高内涵成像系统的图像捕获装置捕获的图像的系统和方法,包括:图像获取模块,其接收由所述图像捕获装置捕获的图像。粗对象检测模块生成粗分割的图像,其中,所述粗分割的图像的每个像素与在所述捕获的图像中的对应像素相关联并被识别为对象像素和背景像素中的一个。标记识别模块从所述粗分割的图像的像素中选择至少一个标记像素,其中,每个标记像素是所述粗分割的图像中的连续的一组对象像素中的一个对象像素,该对象像素相对于该组对象像素的相邻像素距离背景像素最远。对象拆分模块,其包括并行操作的多个处理器,以将粗分割图像的每个对象像素与标记像素相关联,其中,在所述粗分割的图像中,在所述对象像素与所述标记像素之间的基于距离的度量小于在所述对象像素与任何其他标记像素之间的基于距离的度量。

Description

三维显微镜图像的分割的系统和方法
本申请是申请号为2017800076479、申请日为2017年1月17日、发明名称为“三维显微镜图像的分割的系统和方法”的专利申请的分案申请。
相关申请交叉引用
本申请要求于2016年1月21日提交的美国申请号15/003,302的优先权,其内容通过引用整体并入本文。
技术领域
本主题涉及高内涵图像系统,且更具体地,涉及用于自动分析和分割使用这种系统获得的图像的系统和方法。
背景技术
高内涵成像系统(HCIS)可用来获得生物样本的显微镜图像。这种图像可包括针对背景场的多个细胞。进一步的,HCIS可用来获得生物样本的一系列显微镜图像,其中,例如,使用不同焦点获得每个图像。这种系列的显微镜图像可被组合以生成生物样本的三维视图。这种系列的显微镜图像还可被分析以分割和识别每个这种图像中的与特定细胞相关联的一部分。然后,这种部分可被组合以形成特定细胞的三维视图,进一步被分析以识别三维细胞体内的细胞器(organelle),和/或生成三维细胞体和/或其中的细胞器的三维统计。
研究人员可以想要获得在显微镜图像或一系列显微镜图像中呈现的细胞的统计。这种统计可包括有多少特定细胞类型的细胞呈现在图像中的计数,这种细胞的大小(如,尺寸、体积和表面积)的范围,这种细胞的大小的平均数、中数和众数(mode),细胞在多大程度上符合特定形状(如,球形)等。进一步的,图像可被分析以识别在这种图像中识别的细胞内的细胞器,且还可生成这种细胞器的统计。在能够计算任何这种统计之前,显微镜图像中的细胞必须与背景分割且还从显微镜图像中呈现的任何碎片分割。此外,图像可被分析以计算球体的统计(细胞的收集)以及在这种球体内的细胞。
手动识别图像中的所有细胞的中心和边界是耗时的且可导致研究人员疲劳和出错。如果研究人员必须分析一系列图像以手动识别与特定细胞相关联的每个这种图像的一部分,则疲劳和错误的风险进一步加重。
基于阈值化、分界线、可变形的模型和基于图的公式化是最常用的显微镜图像的分割技术的基础。由于相对低的信噪比和密集打包的对象(packed object),直接的方法(如,自动阈值化方法)可产生差的分割结果。更复杂的算法(如,基于分界线、水平集或基于图的图像分割)可产生合理的结果,但由于这种算法的复杂度和对计算资源的高要求,该算法可以不具有可用于三维分析的吞吐量。
发明内容
根据一个方面,一种分割图像的系统,包括:高内涵成像系统,图像获取模块、粗对象检测模块、标记识别模块和对象拆分模块。图像获取模块接收所述高内涵成像系统的图像捕获装置捕获的图像。粗对象检测模块生成粗分割图像,其中,所述粗分割图像中的每个像素与在捕获图像中的对应像素相关联并被识别为对象像素和背景像素中的一个。标记识别模块,其选择在所述粗分割图像中的每个对象的至少一个标记像素,其中,每个标记像素是所述粗分割图像中的连续的一组对象像素之一,该对象像素相对于该组的相邻像素距离背景像素最远。对象拆分模块,其包括并行操作的多个处理器,以将与对象像素相对应的分割的图像的像素与标记像素相关联,其中,在所述粗分割图像中,在所述对象像素与所述标记像素之间的基于距离的度量小于在所述对象像素与任何其他标记像素之间的基于距离的度量。
根据另一个方面,一种分割图像的方法包括利用显微镜和高内涵成像系统中的一个的图像捕获装置捕获所述图像和生成粗分割图像的步骤。所述粗分割图像中的每个像素与在捕获图像中的对应像素相关联并被识别为对象像素和背景像素中的一个。方法包括额外的步骤:从所述粗分割图像的每个对象的像素中选择至少一个标记像素,其中,每个标记像素是所述粗分割图像中的连续的一组对象像素之一,该对象像素相对于该组的相邻像素离背景像素最远。此外,方法包括步骤:并行操作多个处理器,以将与对象像素相对应的分割的图像的每个像素与标记像素相关联,其中,在所述粗分割图像中,在所述对象像素与所述标记像素之间的基于距离的度量小于在所述对象像素与任何其他标记像素之间的基于距离的度量。
在考虑以下具体实施方式和附图时,其他方面和优点将变得明显,其中,相同附图标记在整个说明书中表示相同结构。
附图说明
图1是根据本公开的高内涵筛选系统的框图;
图2是图像分割系统的框图,该图像分割系统分割使用图1的高内涵筛选系统所获得的图像;
图3是图2的系统的粗对象检测模块执行的步骤的流程图;
图4是图2的系统的标记识别模块执行的步骤的流程图;
图5是图2的系统的对象拆分模块执行的步骤的流程图;
图6是图2的系统的用户界面模块执行的用来遮蔽使用图1的高内涵图像系统所检索的图像的步骤的流程图
图7是图2的标记识别模块的并行处理器实施方式的框图;
图8是图2的系统的对象拆分模块的并行处理器实施方式的框图;
图9A示出使用图1的高内涵成像系统捕获的图像的示例;
图9B示出图2的系统的粗对象检测模块创建的阈值化图像;
图9C说明图2的标记识别模块创建的距离映射图像;和
图9D说明从图9C的距离映射图像识别的分类的标记像素。
具体实施方式
参考图1,如将对本领域技术人员显而易见的,HCIS 100可包括X-Y平台102,一个或多个物镜104,一个或多个照明源106,一个或多个滤光器108,图像捕获装置110和控制器112。HCIS 100还可包括一个或多个反射镜114,其将光从照明源106引导至样本托盘116,该样本托盘116可设置在X-Y平台102上,且将光从这种样本托盘116引导至图像捕获装置110。通常,样本托盘116包括多个孔118,且待由HCIS 100成像的样本(例如,生物细胞)可设置在每个这种孔118中。
虽然图1示出来自照明源106的光从样本托盘116反射到达图像捕获装置110,但应当理解,可使用附加的反射镜(未示出),使得来自照明源106的光透射通过样本托盘116并朝向图像捕获装置110引导。进一步的,应当理解,在一些情况下,来自照明源106的照明可以对成像样本托盘116中的样本不是必要的(例如,如果样本发光或如果样本包括放射性组分)。在一些实施例中,来自照明源的光可透射通过样本托盘中的样本,且样本折射和/或吸收透射光以产生被成像的光。
在操作期间,可手动或用机器人将样本托盘116放置在X-Y平台102上。此外,控制器112可将HCIS 100配置为使用特定物镜104、由照明源106生成的照明和/或滤光器108的组合。例如,控制器112可操作定位装置(未示出)以将选择的物镜104和可选地将选择的滤光器108放置在样本托盘116与图像捕获装置110之间的光学路径中。控制器112还可引导照明源106利用特定波长的光照射样本托盘116。样本托盘116中的样本可包含发荧光的分子,或者是自然发生的分子或者是由于处理而在样本中产生或呈现的分子。照射样本的波长可以是与这种荧光分子相关联的激发波长,且成像捕获装置将仅捕获这种荧光材料的发射光谱。一个或多个波长可顺序地或同时地用来照射相同样本并产生图像。
为了获得在不同焦点位置处的一系列图像,控制器112操作焦点机制120,使得图像捕获装置110可获得设置在样本托盘116中的样本在每个这种焦点位置处的对焦图像。
此后,控制器112可操作X-Y平台102,使得孔118或其一部分处于图像捕获装置110的视场中,并且控制器112可驱动图像捕获装置110捕获孔118或其一部分的图像。控制器112可以此方式重复操作X-Y平台102和图像捕获装置110,直到已经捕获到感兴趣的样本托盘116的所有孔118的图像。进一步的,控制器112可捕获相同孔118或其一部分的若干图像,其中,使用物镜104之一、滤光器108中的一个或多个和由照明源106生成的照明的不同组合来捕获每个这种图像。
参考图2,图像分割系统200包括图像获取模块202,其与图像捕获装置112通信。图像获取模块202引导控制器112捕获生物样本在各种焦点位置处的多个图像。在一个实施例中,图像获取模块202可引导控制器112操作焦点机制120和图像捕获装置112,以捕获在样本的10和150个连续图像之间的一系列图像。为了获得样本的低分辨率的三维表示,图像获取模块202可引导控制器112将连续图像之间的焦点位置调节约50微米。为了获得样本的高分辨率的三维表示,图像获取模块202可引导控制器112将连续图像之间的焦点位置调节约3微米和5微米之间。为了获得样本的更高分辨率的三维表示,图像获取模块202可引导控制器112将连续图像之间的焦点位置调节约0.5微米和1微米之间。
图像获取模块202从图像捕获装置112接收一系列连续图像并将这种图像存储在原始图像数据存储204中。
一旦至少一个图像被存储在原始图像数据存储204中,粗对象检测模块206就检索图像并分析这种图像以识别与对象相关联的这种图像的像素。
图3示出通过粗对象检测模块206的一个实施例执行的过程的流程图。在步骤302处,粗对象检测模块206根据检索的图像生成平滑的图像。具体地,粗对象检测模块利用统计算符(如,平均数或高斯滤波器)对检索的图像进行卷积。算符内核大小可基于预定期望的对象最小和最大的大小。在一些实施例中,对象最小和最大的大小由用户提供。
在步骤304处,粗对象检测模块204从检索的图像减掉平滑的图像(即,从检索的图像中的相应像素的强度值减去平滑的图像中的每个像素的强度值)。在步骤306处,粗对象检测模块204对从步骤304处的减法操作得到的图像施加阈值以生成粗分割图像。具体地,减法之后的图像中的每个像素的强度与预定阈值进行比较,且如果这种强度大于阈值,则粗分割图像中的相应像素的强度被设置为表示“接通(on)”像素的强度值(如,像素的所有位被设置为一)。否则,对应像素的强度被设置为表示“关闭(off)”像素的强度值(如,零)。具有与“接通”像素相关联的强度值的粗分割图像中的那些像素是与检索的图像中的对象相对应的像素。具有与“关闭”像素相关联的强度值的粗分割图像中的那些像素是与检索的图像的非对象部分或背景部分的像素。理想的,这种边界像素构成连续闭合形状。然而,在一些实施例中,在步骤308处,粗对象检测模块206可分析粗分割图像中的这种连续闭合形状的任何孔(由“关闭”像素表示),并将与这种缝隙相关联的像素的强度设置为与“接通”像素相关联的值。在一些实施例中,粗对象模块206可使用形态学算符(如,例如,填充孔算符)来填充这种缝隙。
再一次参考图2,检索的图像和从其生成的粗分割图像被提供给标记识别模块208。标记识别模块218识别与检索的图像中的每个对象相关联的标记(或种子)像素。
图4示出标记识别模块218执行的步骤的流程图320。在步骤322处,标记识别模块208创建距离映射图像,其尺寸等于检索的图像的尺寸。标记识别模块208还将新的距离映射图像的每个像素的值初始化为零。在步骤324处,标记识别模块208计算距离映射图像的每个像素的坐标与粗分割图像中的最近的“关闭”像素之间的Euclidean(欧几里得)距离(即,至背景像素的最短距离)。存储该计算的距离作为距离映射图像中的像素在这种坐标下的值。即,距离映射图像中的每个像素的值被设置为表示边界像素的粗分割图像中的这种像素的坐标和另一像素的坐标之间的最短欧几里得距离。在一些实施例中,标记识别模块208可根据粗分割图像创建边界像素的坐标的列表,并计算距离映射图像的每个像素与在这种列表中的每个坐标之间的距离。在一些实施例中,标记识别模块208根据粗分割图像生成Vornoi(泰森多边形)映射。在一个实施例中,这种距离映射图像根据在Felzenwalb等人的“Distance Transforms of Sampled Functions(采样的函数的距离变换)”,计算理论期刊(第8卷,2012年)中公开的方法来计算。这种文章的全部内容通过引用并入本文。进一步的,通过这种文章描述的算法可适当地修改以改善其性能。
在创建距离映射图像之后,在步骤326处,分析距离映射图像的像素值以识别距离映射图像中的峰值或局部极大值(即,具有比周围像素大的强度值的像素)。这种峰值是由边界像素围绕的那些像素且还离边界像素最远。在一些实施例中,在步骤326处,标记识别模块208还可对局部峰值应用附加滤波器以避免过分割,如果所有峰值用作标记像素,则可发生过分割。
在步骤328处,距离映射中的特定峰值像素被分类为标记(或种子)像素。在一些实施例中,在步骤328处,标记识别模块对识别的峰值像素进行滤波以移除外来的峰值像素以避免过分割。例如,具有小于预定阈值的强度值的峰值像素可不认为是候选标记像素。即,考虑到作为候选标记像素,可以去除处于离最近边界的距离小于预定距离的峰值像素。不邻近另一峰值像素或在距离另一峰值像素在预定Euclidean距离内的每个峰值像素被分类为标记像素。如果相邻像素被识别为峰值像素,则仅一个这种峰值像素可被分类为标记像素。在一些实施例中,如果识别出在彼此相距预定Euclidean距离内的多个峰值像素(如,三个像素),则这些峰值像素中的仅一个被分类为标记像素。如果在检索的图像的由边界像素围绕的部分内发现多于一个局部峰值像素且这种局部峰值像素彼此离得比预定Euclidean距离更远,则所有这种局部峰值像素被分类为标记像素。应当理解,与每个标记像素相关联的距离值表示与这种标记像素相关联的对象(或细胞)的近似半径。
在步骤330处,标记识别模块208生成标记像素在距离映射图像中的坐标的列表。应当理解,这种坐标还将相应的标记像素定位在检索的图像和粗分割图像中。
再一次参考图2,对象拆分模块212将粗分割图像中的每个接通像素或对象像素与标记像素之一相关联。
图5示出对象拆分模块212执行的步骤的流程图340。在步骤342处,对象拆分模块212创建大小与检索的图像相同的分割图像。此外,还在步骤342处,对象拆分模块212将独特的颜色值与每个标记像素相关联。
在步骤343处,对象拆分模块212选择粗分割的图像中的对象(即,接通像素的连续收集)。在步骤344处,对象拆分模块212选择在选择的对象的坐标(i,j)处的像素。在步骤346处,对象拆分模块212将变量MIN的值设置为最大整数值。在步骤348处,对象拆分模块212选择粗分割模块中的与选择的对象相关联的具有坐标(x1,x2)的标记像素进行考虑。在步骤350处,对象拆分模块212根据如下的这种度量计算分数,其表示根据选择的标记像素的用于选择的像素的基于距离的度量:
Figure BDA0003558349220000081
具有坐标(i,j)的像素至具有坐标(x1,x2)的标记的向量dij被计算为:
dij=(x1-i,x2-j,)T
值γij是指在具有坐标(i,j)的每个像素处,每个范数nij与相应标准化的梯度向量的点积。该范数根据向量dij被计算为:
Figure BDA0003558349220000082
值γij被计算为:
Figure BDA0003558349220000083
与坐标(i,j)处的像素相关联的梯度g(i,j)的值指示朝向局部中心的信头(heading)。在一些实施例中,可在检索的图像的坐标(i,j)处计算这种梯度。在其他实施例中,可在距离映射图像的坐标(i,j)处计算这种梯度。从特定坐标(i,j)至坐标(x1,x2)处的标记像素的向量的梯度和范数的点积指示信头有多接近指向标记像素。值α是调整系数,其大于或等于零。如果调整系数的值为零,则距离仅贡献于分数γij的值,且随着调整系数的值增加,梯度的贡献也增加。在一个实施例中,调整系数的值被设置为零。在其他实施例中,根据被捕获的生物样本的特征或检索的图像的特征,可将这种值设置为其他预定值。
在步骤352处,对象拆分模块212比较在步骤350处计算的scorei,j的值与变量MIN的值。如果scorei,j的值小于或等于变量MIN的值,则在步骤354处,对象拆分模块212将变量MIN的值设置为分数scorei,j的值。
此外,还在步骤354处,通过将分割的图像中的选择的像素的颜色值设置为与选择的标记像素相关联的颜色值,对象拆分模块212将分割的图像中的选择的像素与选择的标记像素相关联。
在一些实施例中,如果变量scorei,j的值等于变量MIN的值,这可发生在两个标记像素在距离粗分割图像中的选择的像素相同距离处且这种选择的像素已经与之前选择的标记像素相关联的情况下。在这种情况下,只要距离选择的标记像素的边界的距离大于距离之前选择的标记像素的边界的距离,对象拆分模块212就将分割的图像中的选择的像素与选择的标记像素相关联。因此,如果多个标记像素在距离分割的图像的选择的像素相同距离处,则检索的图像的选择的像素与和最大对象相关联的标记像素相关联。注意,标记像素距离边界像素的距离与利用标记像素和边界像素规定的对象的大小有关。在步骤354之后,对象拆分模块212进行到步骤356。
如果在步骤352处,对象拆分模块212确定变量scorei,j的值不小于或等于变量MIN的值,则在步骤356处,对象拆分模块212检查由粗分割图像规定的选择的对象的选择的像素是否已经针对与这种对象相关联的所有标记像素进行了检查。如果是,则对象拆分模块212进行到步骤358。否则,对象拆分模块212返回到步骤348以选择另一标记像素。
在步骤358处,对象拆分模块212确定与粗分割图像的选择的对象相关联的所有像素是否已经与标记像素相关联。如果存在待关联的像素,则对象拆分模块212进行到步骤344以选择分割的图像的另一像素以进行分配。否则,对象拆分模块212进行到步骤359。在步骤359处,对象拆分模块212确定是否已经检查粗分割图像的所有对象,且如果是,则步骤360处,对象拆分模块将分割的图像存储在分割的图像数据存储214中(图2)。否则,对象拆分模块进行到步骤343以选择另一对象。
再一次参考图2,在分割的图像存储在数据存储214中之后,用户界面模块216可检索这种图像并将图像显示在用户计算机218上。例如,用户界面模块216可为操作用户计算机218的用户显示可用图像的列表,且用户可选择来自这种列表的图像以进行显示。此外,用户可请求从一个或多个分割的图像计算的上述测量或统计。作为响应,测量模块220检索这种分割的图像,计算用户请求的统计,并将这种统计提供给用户界面模块216以显示在用户计算机218上。用户还可经由用户界面模块216请求计算一个或多个分割的图像的统计,并将其存储在用户计算机218上,和/或发送到另一系统(未示出)以进行进一步的分析。
在一些实施例中,用户界面模块216可使用分割的图像作为遮蔽以隔离检索的图像中的与相同大小的细胞相关联的特定部分。图6示出用户界面模块216执行的以创建特定细胞大小的细胞的图像的步骤的流程图380,其中,细胞大小与和标记像素相关联的颜色相关联。在步骤382处,用户界面模块216创建被遮蔽图像,其尺寸与检索图像的尺寸相同,并将被遮蔽图像的每个像素的值初始化为预定背景颜色。在步骤384处,用户界面模块216选择被遮蔽图像中的像素。在步骤386处,用户界面模块216选择分割的图像中的像素,其坐标与被遮蔽图像的选择的像素的坐标相同。在步骤388处,用户界面模块确定被遮蔽图像的选择的像素的颜色值是否与和特定细胞大小相关联的颜色值相同。如果这种颜色值相同,则用户界面模块进行到步骤390。否则,用户界面模块216进行到步骤392。
在步骤390处,用户界面模块216将被遮蔽图像的选择的像素的颜色值设置为检索的图像中的与被遮蔽图像的选择像素相对应(即,具有相同坐标)的像素的颜色值。随后,用户界面模块216进行到步骤392。
在步骤392处,用户界面模块216确定是否已经考虑被遮蔽图像的所有像素。如果留有任何像素,则用户界面模块216进行到步骤384以选择被遮蔽图像的另一像素。否则,在步骤394处,用户界面模块218存储被遮蔽图像和/或将其显示在用户计算机上。
上述在二维图像中分割细胞的过程还能够用来在包括生物样本的三维表示的一系列图像中分割细胞。具体地,粗对象检测模块206如上所述对一系列检索的图像的每个图像操作以创建一系列粗分割图像。
随后,标记识别模块208检索一系列粗分割图像并创建标记像素的列表,其中,这种列表中的每个元素是这种标记像素的三维坐标。再次参考图4,在步骤322处,标记像素识别模块初始化一系列粗分割图像中的每个图像的距离映射图像。在步骤324处,标记像素识别模块208确定一系列距离映射图像中的每个图像的每个像素与一系列边缘检测的图像中的边界像素(或“接通像素”)之间的Euclidean距离。具体地,在三维中而非二维中计算Euclidean距离。针对距离映射计算的Euclidean距离考虑X方向,Y方向和Z方向上的分辨率的任何差,并适当缩放三维像素之间的差。
类似地,在步骤326处,标记识别模块208识别和比较三维的一系列距离映射图像中的相邻像素以识别峰值或标记像素。除了用三维代替二维以外,在步骤328处的标记像素的分类和在步骤330处的标记像素坐标的生成如上述进行。
在生成三维标记像素坐标的列表之后,对象拆分模块212使用这种坐标创建一系列分割图像。参考图5,在步骤342处,针对一系列检索的图像中的每个图像,对象拆分模块212创建一系列分割的图像。在步骤343处,对象拆分模块212选择在一系列粗分割图像中识别的三维对象(即,具有接通值并在三维上连续的一组像素)。在步骤344处,例如,通过每次考虑一系列图像中的每个图像,对象拆分模块212选择选择的对象的具有坐标(i,j,k)的像素。步骤346和步骤348如上所述进行。在步骤350处,在三维中而非二维中计算选择的像素和选择的标记像素之间的分数。具体地,针对具有坐标(x1,x2,x3)的每个标记像素,计算具有坐标(i,j,k)的像素的分数。具体地,分数可计算为:
Figure BDA0003558349220000111
其中,向量dijk是:
dijk=(x1-i,x2-j,x3-k)T
范数nijk计算为:
Figure BDA0003558349220000112
值γijk是每个像素的每个范数与对应的标准化梯度矢量的点积的结果:
Figure BDA0003558349220000121
注意,与坐标(i,j,k)处的像素相关联的梯度g(i,j,k)的值指示朝向局部中心的信头(heading)。在一些实施例中,可在检索图像的坐标(i,j,k)处计算这种梯度。在其他实施例中,可在距离映射图像的坐标(i,j,k)处计算这种梯度。从特定的坐标(i,j,k)至坐标(x1,x2,x3)处的标记的向量的梯度和范数的点积指示信头有多接近指向标记像素。值α是调整系数,其大于或等于零。如果调整系数的值为零,则仅距离贡献于分数γijk的值,且随着调整系数的值增加,梯度的贡献也增加。在一个实施例中,调整系数的值被设置为零。在其他实施例中,根据被捕获的生物样本的特征或检索的图像的特征,可将这种值设置为其他预定值。
在步骤350处生成分数时进行的距离计算可考虑X维度,Y维度和Z维度中的一系列图像的分辨率。例如,在一些实施例中,Z-维度中的分辨率(即,一系列图像的平面之间的分辨率)可与X维度,Y维度中的分辨率不同。步骤352至步骤359如上所述进行,且在步骤360处,对象拆分模块212将一系列分割的图像存储在分割图像数据存储214中。
测量模块220还适于根据表示三维主体的一系列分割的图像计算统计(如,体积等)。一系列分割的图像中的每一个可如上所述用作一系列检索的图像的对应一个的遮蔽以如关于图6在上面描述的那样隔离特定尺寸的细胞。
参考图7,标记识别模块208的实施例使用多个并行处理器和/或处理器的并行操作的多个核心。主处理器402从粗对象检测模块206接收粗分割图像、一系列粗分割图像或边界像素的列表。主处理器402供应粗分割图像并将距离映射图像(或一系列距离映射图像)的一部分分配至多个处理器404-1,404-2,…,404-N中的每个。在一些实施例中,分配给每个处理器404的距离映射图像的一部分是其子图像,且可通过这种子图像的起点坐标和结束坐标呈现。在其他实施例中,如果一系列距离图像被创建,则主处理器402为每个处理器404分配一系列距离图像之一或甚至这种距离图像的子图像。每个处理器404基于分配给其的(一个或多个)距离图像的一部分进行流程图320(图4)的步骤322至步骤330,并将由此生成的标记像素坐标的列表发送至输出组合处理器406。输出组合处理器406接收标记像素坐标,并将这种坐标组合进标记像素坐标的主列表。在通过分析整个距离映射图像或一系列距离映射图像已经创建了标记像素坐标之后,标记像素坐标的主列表被提供至对象拆分模块212。在一些实施例中,处理器402可将距离映射的一部分分配给处理器404,从处理器402接收由此生成的标记像素坐标,并将这种标记像素坐标组合进标记像素坐标的主列表。在这种实施例中,可以不需要输出组合处理器406。
参考图8,标记识别模块212的实施例使用多个并行处理器和/或处理器的并行操作的多个核心。分布处理器422供应标记像素坐标的列表(或标记像素坐标的主列表)给多个处理器424-1,424-2,…,424-N中的一个。分布处理器422还将分割的图像的一部分(或一系列分割的图像)分配给每个处理器以用于生成。每个处理器执行流程图340(图5)的步骤342至步骤360的处理以生成该分割的图像的一部分(或一系列分割的图像)。然而,代替存储在步骤360处由此生成的分割的图像的一部分(或一系列分割的图像),每个处理器提供这种生成的部分给输出组合处理器426。所述输出组合处理器426将这种生成的部分组合成分割的图像(或一系列分割的图像),并将分割的图像(或一系列分割的图像)存储在分割图像存储214中。
图9A说明检索图像的示例。图9B示出在步骤306处的粗对象检测模块206创建的阈值化图像。这种阈值化图像可以由粗对象检测模块206进一步处理以识别位于接通像素和关闭像素之间的边界上的那些像素。图9C说明在步骤324处的标记识别模块208创建的距离映射图像,其中,较亮像素与距离边界像素较大距离相关联。图9D说明从图9C的距离映射图像识别出的分类的标记像素。
上述图像分割系统200可用来分割和识别3D介质中生长的包括一组细胞(特别是癌细胞)的生物样本的图像中的球体。图像分割系统200还可用来分割和识别“细胞器”,如,一小组特定组织类型的细胞。可在不使用这种技术来识别单个细胞的情况下识别这种细胞器。还可连续使用该系统200,例如,首先识别球体,然后识别属于每个球体的细胞以获得包括每个球体测量值的细胞群的测量值。还可以这样方式生成与包括球体的每个细胞相关联的测量值。
对于本领域技术人员显而易见的是,硬件和/或软件的任何组合可以用于实现本文描述的图像分割系统。可以理解和领会的是,结合图1到图8中描述的处理、子处理和处理步骤的一个或者多个可以由一个或者多个电子或者数字控制装置上的硬件、软件或者硬件和软件的组合执行。软件可以驻留在合适的电子处理元件或者系统(例如,在图1到图8中示意性描绘的功能性系统、控制器、装置、元件、模块或者子模块的一个或多个)中的软件存储器(未示出)中。软件存储器可以包括用于实现逻辑功能的可执行指令的有序列表(即,可以以例如数字电路系统或者源代码的数字形式或者以例如模拟源(例如模拟电气、声音或者视频信号)的模拟形式实现“逻辑”)。指令可以在处理模块或者控制器(例如,图3的图像获取模块202,粗对象检测模块206,标记识别模块208,对象拆分模块212,测量模块220和用户界面模块216)中执行,其包括例如微处理器、通用处理器、处理器组合、数字信号处理器(DSP)、现场可编程门阵列(FPGA)或者专用集成电路(ASIC)中的一个或多个。此外,示意框图描述了具有不受功能的架构或者物理布局限制的物理(硬件和/或软件)实现的功能的逻辑划分。在该应用系统中描述的示例系统可以以各种构造来实现并且在单个的硬件/软件单元或者在单独的硬件/软件单元作为硬件/软件元件运行。
可执行指令可以被实现为具有存储在其中的指令的计算机程序产物,当由电子系统的处理模块执行时,该指令指示电子系统执行指令。计算机程序产物可以选择性地体现在任何非暂时的计算机可读存储介质中,以供指令执行系统、设备或装置(诸如基于电子计算机的系统、包含处理器的系统或可以选择性地获取来自指令执行系统、设备或装置获取指令并执行指令的其他系统)使用或与指令执行系统、设备或装置结合使用。在本文档的上下文中,计算机可读存储介质是可以存储由指令执行系统、装置或设备使用或与指令执行系统、设备或装置结合使用的程序的任何非暂时性的构件。非暂时性计算机可读存储介质可以选择性地例如是电子、磁性、光学、电磁、红外或半导体系统、设备或装置。非暂时性计算机可读介质的更具体示例的非详尽列表包括:具有一个或多个导线的电连接(电子);便携式电脑磁盘(磁性);随机访问,即易失性存储器(电子);只读存储器(电子);可擦除可编程只读存储器,例如闪存(电子);诸如CD-ROM,CD-R,CD-RW(光学)的光盘存储器;和数字通用光盘存储器,即DVD(光学)。
还将理解,在本文档中使用的信号或数据的接收和发送意味着两个或多个系统、装置、元件,模块或子模块能够经由某种类型的信号路径传输的彼此通信的。信号可以是通信、功率、数据或能量信号,其可以将信息、功率或能量从第一系统、装置、元件、模块或子模块沿着第一系统、装置、元件、模块或子模块和第二系统、装置、元件、模块或子模块之间的信号路径传送到第二系统、装置、元件、模块或子模块。信号路径可以包括物理、电、磁、电磁、电化学、光学、有线或无线连接。信号路径还可以包括在第一系统、装置、元件、模块或子模块和第二系统、装置、元件、模块或子模块或子模块之间的附加系统、装置、元件、模块或子模块或子模块。
工业实用性
本文引用的所有参考文献,包括出版物、专利申请和专利在此通过引用并入本文,如同每个参考文献被单独地和具体地指出通过引用并入本文并且在本文全部阐述。
在描述本发明的上下文中(特别是在所附权利要求的上下文中)使用的术语“一”、“一个”和“该”以及类似的参考应被解释为包括单数和复数,除非本文另有说明或者明显与上下文相矛盾。除非本文另有说明,本文中值的范围的描述仅旨在用作单独提及落在该范围内的每个单独值的速记方法,并且每个单独的值并入本说明书中,如图在本文中单独列举一样。本文所述的所有方法可以以任何合适的顺序进行,除非本文另有说明或者以其他方式明确地与上下文相矛盾。本文中提供的任何和所有示例的使用或者示例性语言(例如,“例如”)仅旨在更好地说明本公开内容,并且不对本公开的范围构成限制,除非另有说明。说明书中的任何语言不应被解释为表示任何未被要求保护的元素对于本公开的实践是必须的。
鉴于前面的描述,对于本公开的许多变型对于本领域技术人员将是显而易见的。应当理解,所示示例仅是示例性的,并且不应被认为是限制本公开的范围。

Claims (10)

1.一种分割图像的系统,包括:
高内涵成像系统,其中,所述高内涵成像系统包括图像捕获装置;
图像获取模块,其接收由所述图像捕获装置捕获的图像;
粗对象检测模块,其生成粗分割图像,其中,所述粗分割图像的每个像素与在所述捕获的图像中的对应像素相关联并被识别为对象像素和背景像素中的一个;
标记识别模块,其从所述粗分割图像的像素中选择至少一个标记像素,其中,每个标记像素是所述粗分割图像中的连续的一组对象像素中的一个对象像素,该对象像素相对于该组对象像素中的相邻像素距离背景像素最远;和
对象拆分模块,其包括并行操作的多个处理器,以将与对象像素相对应的分割的图像的像素与标记像素相关联,其中,在所述粗分割图像中,在所述对象像素与所述标记像素之间的基于距离的度量小于在所述对象像素与任何其他标记像素之间的基于距离的度量。
2.根据权利要求1所述的系统,还包括人机界面模块,其根据所述捕获的图像生成被遮蔽图像,其中,如果在所述分割的图像中的对应像素与所述标记像素相关联,则所述被遮蔽图像的像素的颜色值与所述捕获的图像的对应像素的颜色值相同。
3.根据权利要求1所述的系统,还包括测量模块,其根据所述分割的图像中的与所述标记像素相关联的像素来计算统计。
4.根据权利要求1所述的系统,其中,所述标记识别模块包括并行操作的多个处理器,以计算距离映射图像,其中,与所述距离映射图像中的每个像素相关联的值表示在该像素与背景像素之间的距离。
5.根据权利要求4所述的系统,其中,所述捕获的图像是一系列捕获的图像之一,其中,在所述高内涵成像系统中的焦距在一系列连续图像之间改变。
6.根据权利要求5所述的系统,其中,所述距离映射的每个像素的值表示沿着由所述一系列捕获的图像表示的三维中的任意一维的在该像素与背景像素之间的距离。
7.根据权利要求6所述的系统,其中,在所述一系列捕获的图像之间的像素分辨率不同于每个捕获的图像的像素分辨率,且根据这种分辨率的差异计算所述距离。
8.根据权利要求4所述的系统,其中,所述标记识别模块将所述距离映射的一部分分配至所述多个处理器中的每个以进行生成。
9.根据权利要求1所述的系统,其中,所述对象拆分模块包括处理器,该处理器将所述分割的图像的一部分分配至每个处理器以进行生成。
10.根据权利要求1所述的系统,其中,所述标记识别模块选择与连续的一组对象像素相关联的多个候选标记像素,并选择所述候选标记像素中的一个作为标记像素。
CN202210282454.7A 2016-01-21 2017-01-17 三维显微镜图像的分割的系统和方法 Pending CN114663446A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US15/003,302 2016-01-21
US15/003,302 US9754378B2 (en) 2016-01-21 2016-01-21 System and method for segmentation of three-dimensional microscope images
PCT/US2017/013715 WO2017127345A1 (en) 2016-01-21 2017-01-17 System and method for segmentation of three-dimensional microscope images
CN201780007647.9A CN108475429B (zh) 2016-01-21 2017-01-17 三维显微镜图像的分割的系统和方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201780007647.9A Division CN108475429B (zh) 2016-01-21 2017-01-17 三维显微镜图像的分割的系统和方法

Publications (1)

Publication Number Publication Date
CN114663446A true CN114663446A (zh) 2022-06-24

Family

ID=59359572

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202210282454.7A Pending CN114663446A (zh) 2016-01-21 2017-01-17 三维显微镜图像的分割的系统和方法
CN201780007647.9A Active CN108475429B (zh) 2016-01-21 2017-01-17 三维显微镜图像的分割的系统和方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201780007647.9A Active CN108475429B (zh) 2016-01-21 2017-01-17 三维显微镜图像的分割的系统和方法

Country Status (5)

Country Link
US (3) US9754378B2 (zh)
EP (1) EP3411743B1 (zh)
JP (1) JP6859355B2 (zh)
CN (2) CN114663446A (zh)
WO (1) WO2017127345A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9754378B2 (en) * 2016-01-21 2017-09-05 Molecular Devices, Llc System and method for segmentation of three-dimensional microscope images
US9928403B2 (en) * 2016-02-09 2018-03-27 Molecular Devices, Llc System and method for image analysis of multi-dimensional data
EP3205254B1 (en) * 2016-02-15 2020-11-18 Leica Instruments (Singapore) Pte. Ltd. Medical inspection apparatus, such as a microscope or endoscope, using pseudocolors
US10869644B2 (en) * 2016-07-30 2020-12-22 Shanghai United Imaging Healthcare Co., Ltd. Method and system for extracting lower limb vasculature
EP4068203A1 (en) * 2017-05-09 2022-10-05 HeartFlow, Inc. Systems and methods for anatomic structure segmentation in image analysis
US11443426B2 (en) * 2018-01-18 2022-09-13 Nantomics, Llc Real-time whole slide pathology image cell counting
JP7239936B2 (ja) 2018-01-30 2023-03-15 国立研究開発法人理化学研究所 マスク構造最適化装置、マスク構造最適化方法およびプログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7580556B2 (en) * 2004-01-26 2009-08-25 Drvision Technologies Llc Image region partitioning using pre-labeled regions
US7697755B2 (en) * 2004-09-29 2010-04-13 Drvision Technologies Llc Method for robust analysis of biological activity in microscopy images
US20060127881A1 (en) 2004-10-25 2006-06-15 Brigham And Women's Hospital Automated segmentation, classification, and tracking of cell nuclei in time-lapse microscopy
US7689038B2 (en) * 2005-01-10 2010-03-30 Cytyc Corporation Method for improved image segmentation
US7796815B2 (en) * 2005-06-10 2010-09-14 The Cleveland Clinic Foundation Image analysis of biological objects
US7466872B2 (en) * 2005-06-20 2008-12-16 Drvision Technologies Llc Object based boundary refinement method
US7936922B2 (en) 2006-11-22 2011-05-03 Adobe Systems Incorporated Method and apparatus for segmenting images
US8107711B2 (en) * 2008-05-12 2012-01-31 Vala Sciences, Inc. User interface method and system for management and control of automated image processing in high content screening or high throughput screening
US8488863B2 (en) * 2008-11-06 2013-07-16 Los Alamos National Security, Llc Combinational pixel-by-pixel and object-level classifying, segmenting, and agglomerating in performing quantitative image analysis that distinguishes between healthy non-cancerous and cancerous cell nuclei and delineates nuclear, cytoplasm, and stromal material objects from stained biological tissue materials
US8885926B2 (en) * 2009-04-15 2014-11-11 Massachusetts Institute Of Technology Image and data segmentation
CN101847263B (zh) * 2010-06-04 2012-02-08 西安电子科技大学 基于多目标免疫聚类集成的无监督图像分割方法
US8472718B2 (en) 2011-04-27 2013-06-25 Sony Corporation Superpixel segmentation methods and systems
CN103136722B (zh) * 2011-11-25 2016-06-29 北京大学 一种基于色域分析的图像分割方法及系统
CA2884167C (en) 2012-09-13 2020-05-12 The Regents Of The University Of California System and method for automated detection of lung nodules in medical images
TWI496112B (zh) 2013-09-13 2015-08-11 Univ Nat Cheng Kung 細胞影像分割方法以及核質比評估方法
CN104266955A (zh) * 2014-09-02 2015-01-07 上海凯度机电科技有限公司 高内涵图像流式生物显微分析系统
US9754378B2 (en) * 2016-01-21 2017-09-05 Molecular Devices, Llc System and method for segmentation of three-dimensional microscope images

Also Published As

Publication number Publication date
WO2017127345A1 (en) 2017-07-27
US9754378B2 (en) 2017-09-05
US10007997B2 (en) 2018-06-26
JP2019503012A (ja) 2019-01-31
EP3411743A4 (en) 2019-09-11
US10169878B2 (en) 2019-01-01
US20170213344A1 (en) 2017-07-27
EP3411743B1 (en) 2023-08-16
US20180012362A1 (en) 2018-01-11
US20180276827A1 (en) 2018-09-27
JP6859355B2 (ja) 2021-04-14
CN108475429A (zh) 2018-08-31
EP3411743A1 (en) 2018-12-12
CN108475429B (zh) 2022-04-12

Similar Documents

Publication Publication Date Title
CN108475429B (zh) 三维显微镜图像的分割的系统和方法
US9704017B2 (en) Image processing device, program, image processing method, computer-readable medium, and image processing system
AU2003270687B2 (en) Interactive and automated tissue image analysis with global training database and variable-abstraction processing in cytological specimen classification and laser capture microdissection applications
US11334743B2 (en) System and method for image analysis of multi-dimensional data
WO2017150194A1 (ja) 画像処理装置、画像処理方法及びプログラム
GB2498331A (en) Method of classifying images of animals based on their taxonomic group
CN112689756A (zh) 用于生物样品的无标记识别和分类的系统和方法
US20120249770A1 (en) Method for automatically focusing a microscope on a predetermined object and microscope for automatic focusing
US20230061402A1 (en) Automated spermatozoa candidate identification
JP2014529757A (ja) 並行処理のために顕微鏡画像を区画化するシステムおよび方法
EP3385882B1 (en) Automatically identifying regions of interest on images of biological cells
CN113939759A (zh) 用于校正显微镜物镜视场中对焦平面变化的系统和方法
JP7085909B2 (ja) 画像処理装置、細胞認識装置、細胞認識方法および細胞認識プログラム
US20230345115A1 (en) Method and system of developing an imaging configuration to optimize performance of a microscopy system
JPH0886736A (ja) 粒子画像の解析方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination