CN109643453A - 用于基于模板的图像分析的系统和方法 - Google Patents

用于基于模板的图像分析的系统和方法 Download PDF

Info

Publication number
CN109643453A
CN109643453A CN201780052795.2A CN201780052795A CN109643453A CN 109643453 A CN109643453 A CN 109643453A CN 201780052795 A CN201780052795 A CN 201780052795A CN 109643453 A CN109643453 A CN 109643453A
Authority
CN
China
Prior art keywords
image
template
glass slide
bianry
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780052795.2A
Other languages
English (en)
Other versions
CN109643453B (zh
Inventor
保拉·卡伦·格德雷蒂斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Molecular Devices LLC
Original Assignee
Molecular Devices LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Molecular Devices LLC filed Critical Molecular Devices LLC
Publication of CN109643453A publication Critical patent/CN109643453A/zh
Application granted granted Critical
Publication of CN109643453B publication Critical patent/CN109643453B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/34—Microscope slides, e.g. mounting specimens on microscope slides
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/32—Fiducial marks and measuring scales within the optical system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B01—PHYSICAL OR CHEMICAL PROCESSES OR APPARATUS IN GENERAL
    • B01J—CHEMICAL OR PHYSICAL PROCESSES, e.g. CATALYSIS OR COLLOID CHEMISTRY; THEIR RELEVANT APPARATUS
    • B01J2219/00—Chemical, physical or physico-chemical processes in general; Their relevant apparatus
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N2021/6417—Spectrofluorimetric devices
    • G01N2021/6419—Excitation at two or more wavelengths
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/6428—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
    • G01N2021/6439—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes" with indicators, stains, dyes, tags, labels, marks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/251—Colorimeters; Construction thereof
    • G01N21/253—Colorimeters; Construction thereof for batch operation, i.e. multisample apparatus
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6452—Individual samples arranged in a regular 2D-array, e.g. multiwell plates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458—Fluorescence microscopy
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/6486—Measuring fluorescence of biological material, e.g. DNA, RNA, cells
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30072—Microarray; Biochip, DNA array; Well plate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

公开了一种基于模板的图像分析系统和方法。载玻片被装载在高内涵成像系统(HCIS)中，其中，载玻片包括多个参考标志和多个样本位置。获取图像数据存储中存储有先前获取的图像。图像获取模块从高内涵成像系统获取载玻片的图像。特征识别模块产生获取图像的二值图像，其中二值图像识别与参考标志相关联的区域。模板生成模块根据先前获取的图像产生模板，并且模板对齐模块将所产生的模板与二值图像对齐。偏移计算模块确定模板与二值图像之间的偏移，并且图像分割模块根据计算的偏移确定获取图像的与样本位置相关联的像素的坐标。

Description

用于基于模板的图像分析的系统和方法
相关申请的交叉引用
本申请要求于2016年8月31日提交的美国临时专利申请No.62/381974的优先权，其全部内容通过引用合并于此。
技术领域
当前主题涉及高内涵成像系统，更具体地，涉及使用模板来对齐由这种系统捕获的图像的系统和方法。
背景技术
高内涵成像系统(High-Content Imaging System，HCIS)可以用于获得诸如DNA、蛋白质、细胞等生物样本的显微镜图像。多个这样的生物样本可以布置在载玻片上。这样的生物样本可以以二维阵列图案布置在载玻片上，其中相邻的可以沉积生物样本的位置之间的距离是预定的。然而，聚合阵列的位置和旋转可因载玻片而异。
可以通过在载玻片上印刷用作基准或参考标志的标记来制备其上布置生物样本阵列的载玻片。然后，将生物样本阵列相对这种标记来沉积在载玻片上。每个生物样本的位置可以相对这种基准或参考标志定位。然而，可能难以在其上布置有标志的载玻片的图像中识别一个或多个参考标志。这种困难可由于例如以下因素导致：参考标志与载玻片材料之间缺乏对比度；在将参考标志布置在载玻片上的印刷过程中的缺陷；以及/或者参考标志与阵列之间的距离过大，从而无法适应HCIS的视场。
发明内容
一种用于分析图像的基于模板的系统，包括高内涵成像系统(HCIS)和装载在HCIS中的载玻片。载玻片包括多个参考标志和多个样本位置。基于模板的系统还包括：具有先前获取的图像存储于其中的获取图像数据存储、图像获取模块、特征识别模块、模板生成模块、模板对齐模块、偏移计算模块和图像分割模块。图像获取模块从高内涵成像系统中获取载玻片的图像，并且特征识别模块产生获取图像的二值图像，其中二值图像识别与参考标志相关联的区域。模板生成模块根据先前获取的图像产生模板，模板对齐模块将所产生的模板与二值图像对齐，并且偏移计算模块确定模板与二值图像之间的偏移。图像分割模块根据计算的偏移确定获取图像的与样本位置相关联的像素的坐标。
用于分析图像的基于模板的方法包括将参考标志和多个样本布置在载玻片上，并将载玻片装载在高内涵成像系统(HCIS)中。所述多个样本中的每一个的位置是根据参考标志的位置的。所述方法还包括：将预先获取的图像存储在获取图像数据存储中；利用HCIS获取装载在HCIS中的载玻片的图像；以及产生获取图像的二值图像。二值图像识别与参考标志相关联的区域。所述方法还包括以下附加步骤：根据先前获取的图像产生模板；将模板与二值图像对齐；以及计算模板与二值图像之间的偏移。所述方法还包括步骤：根据计算的偏移确定获取图像的与样本位置相关联的像素的坐标。
考虑到以下详细描述和附图，其他方面和优点将变得显而易见，其中在整个说明书中相同的数字表示相同的结构。
附图说明
图1是根据本发明的高内涵成像系统(HCIS)的框图；
图2是可利用图1的HCIS成像的载玻片的顶视图；
图3A至图3C示出了使用图1的HCIS产生的载玻片的图像；
图4示出了根据图3A至图3C的图像产生的模板；
图5是可用于分析由图1的HCIS捕获的图像的基于模板的分析系统的框图；
图6是图5的基于模板的分析系统执行的用于分析图像的处理的流程图；以及
图7是图5的基于模板的分析系统执行的用于产生模板的处理的流程图。
具体实施方式
参照图1，对于本领域技术人员来说显而易见的是，HCIS 100可以包括X-Y平台102、一个或多个物镜104、一个或多个照明源106、一个或多个滤波器108、图像捕获装置110和控制器112。HCIS 100还可以包括一个或多个镜114，其将来自照明源106的光引导至可布置在X-Y平台102上的载玻片116，并且将光从该载玻片116引导至图像捕获装置110。通常，载玻片116包括均匀隔开的位置118，并且待由HCIS 100成像的样本(例如，生物细胞)可以布置在每个这样的位置118处。
尽管图1示出了来自照明源106的光从载玻片116反射到达图像捕获装置110，但是应当显而易见的是，可以使用额外的镜(未示出)以使得来自照明源106的光透过载玻片116并且朝向图像捕获装置110引导。此外，应当显而易见的是，在一些情况下，照明源106不进行照明可能是对载玻片116中的样本进行成像所需要的(例如，样本发光的情况或样本包括放射性成分的情况)。在一些实施例中，来自照明源的光可以透过载玻片116中的样本，并且样本使透射光折射和/或吸收透射光，以产生被成像的光。
在操作期间，可以将载玻片116手动地或自动地放置在X-Y平台102上。此外，控制器112可以配置HCIS 100，以使用特定物镜104、由照明源106产生的照明、和/或滤波器108的组合。例如，控制器112可以操作定位装置120以将选定的物镜104(可选的，以及选定的滤波器108)放置在载玻片116与图像捕获装置110之间的光路上。这种定位装置120可以包括一个或多个电机，其与物镜102、选定的滤波器108和/或图像捕获装置110耦接。控制器112还可以控制照明源106，从而以特定波长的光照亮载玻片116。载玻片116中的样本可以包含发荧光的分子，该分子是天然存在的分子或由于处理而在样本内产生或存在的分子。照亮样本的波长可以是与这种荧光分子相关联的激发波长，并且图像捕获装置将仅捕获这种荧光材料的发射光谱。可顺序地或同时地使用一个或多个波长来照亮相同的样本并产生图像。
参照图2，载玻片116包括均匀分布的位置118，样本可以布置在均匀分布的位置118处。位置118可以排列成具有预定数量的水平位置118和竖直位置118的二维阵列120，并且相邻对的位置118之间的距离实质上相同。载玻片116还包括参考标志152和154。一些参考标志152布置在载玻片上以与阵列120的特定位置118重合。
其它参考标志154分别置于阵列120的范围之外、距离与阵列120相关联的特定位置160预定的水平距离156和竖直距离158处。尽管在图2中从参考标志154的中心分别测得水平距离156和竖直距离158，但是应当显而易见的是，这样的位置156和158可以从参考标志152的任意其他部位测得。此外，同特定参考标志154相关联的水平距离156和竖直距离158无需与同不相同的参考标志相关联的水平距离和竖直距离相同。例如，同参考标志154a相关联的水平距离156a无需与分别同参考标志154b和154c相关联的水平距离156b和156c之一或两者相同。类似地，同参考标志154a相关联的竖直距离158a无需与分别同参考标志154b和154c相关联的竖直距离158b和158c之一或两者相同。
阵列150可以相对于载玻片旋转。在这种情况下，相对于阵列150的水平轴和竖直轴分别测量水平距离154和竖直距离156。
虽然参考标志152和154示出为圆形，但是应当显而易见的是，这些参考标志152和154可以具有任意预定形状。此外，载玻片116上布置的全部参考标志152和154无需具有相同的形状和/或尺寸。可以通过以下方式在载玻片116上布置参考标志152和154：将其压印在载玻片116上；将其附接至载玻片116；将其从载玻片116上凸起；或者将其蚀刻至载玻片116中。此外，可以使用不同技术来布置载玻片116上布置的全部参考标志152和154。例如，一些参考标志152和154可以印刷，而其它的参考标志可以蚀刻。
应当显而易见的是，在载玻片116的图像中，如果可以确定参考标志152和154之一在这种图像中的像素的坐标，则可以根据其来计算与阵列150相关联的位置160的像素的坐标。额外参考标志152和154的像素坐标可改善对位置160的像素坐标进行计算的精确度。与参考点152、154相关联的像素的坐标可以是与这种参考标志的中心相关联的像素的坐标或者这种参考标志的任意其它预定特征的坐标。
此外，在确定了与位置160相关联的像素的坐标之后，也就可以确定载玻片116的图像中的与全部位置118相关联的像素的坐标。
图3A至图3C示出了三个不同载玻片的图像200a、200b和200c，每个载玻片包括图2所示的样本位置阵列和相对彼此相同地定位至载玻片116的参考标志。应当显而易见的是，图像200a、200b和200c示出了仅在每个载玻片的一些样本位置沉积了生物样本。
图像200a包括识别载玻片(该图像根据该载玻片产生)的全部参考标志152的像素202a、以及分别识别该载玻片的参考标志154a、154b和154c的像素204a、206a和208a。类似地，图像200b包括识别载玻片(该图像根据该载玻片产生)的参考标志152的像素202b、以及分别识别该载玻片的参考标志154a、154b和154c的像素204b、206b和208b。然而，图像200a包括仅识别载玻片(该图像根据该载玻片产生)的参考标志152中的三个的像素202a(没有示出位于阵列118的右上处的参考标志152的像素)、以及仅识别载玻片(该图像根据该载玻片产生)的参考标志154b和154c的像素206c和208c。
图3A至3C中的每一个包括与根据其分别产生图像200a、200b和200c的各载玻片中的点160的位置相关联的像素210a、210b和210c。注意，像素210a、210b和210c可能分别与图像200a、200b和200c的背景不可区分。然而，一旦确定了像素210a、210b和210c的坐标，则也就可以分别确定图像200a、200b和200c中的与这些图像相关联的载玻片中的样本位置118所关联的像素的坐标。
参照图4，为了便于准确识别像素210a、210b和210c的坐标，根据图像200a、200b和200c产生模板图像250。模板图像250示出了用于产生模板图像的图像200a、200b和200c的共有特征。模板图像250包括用于产生模板图像250的全部图像200所共有的特征。这种共有特征包括与用于产生图像200的载玻片116上的参考标志152相关联的图像部分，但是也可以包括任何其它图像元素。例如，这种图像元素可以包括沉积在载玻片116的一个或多个位置118中的、在全部图像中显现的样本。
样本图像250中的与在全部图像200a、200b和200c中显现的参考标志152相关联的像素252被设置为预定非背景强度值。此外，分别与参考标志154b和154c相关联的像素254和像素256也被设置为非背景强度值，因为这些参考标志在全部图像200a、200b和200c中显现。与未在全部图像200c中示出的那些参考标志(例如，右上参考标志152和参考标志154a)的位置相对应的坐标处的像素被设置为背景强度值。
为了创建模板图像，使用图像分割和图像特征识别技术在每个图像200a、200b和200c中识别参考标志。对每个图像200应用阈值，以将图像中强度值低于参考标志预期强度值的任何像素的强度值设置为背景强度值。在一些实施例中，图像中强度值高于参考标志预期强度值的任何像素的强度值被设置为背景强度值。此后，分析图像200中的具有非背景强度值的每个相邻像素组。如果构成该组的像素的数量不同于针对参考标志所期望的或者如果该组的尺寸和/或形状不同于针对参考标志所期望的，则将构成该组的像素的强度值设置为背景强度。否则，像素组的强度值设置为非背景强度。结果得到与每个图像200a、200b和200c相关联的二值图像，并且每个这种二值图像包括具有非背景强度值并与候选参考标志相关联的像素。在根据图像200a、200b和200c产生的整个二值图像上，对二值图像中的与候选参考标志相关联的像素进行分析，从而产生模板图像。
在一些实施例中，对于本领域技术人员而言显而易见的边缘检测技术可被用于识别二值图像中的图像特征的实质上连续的边界。由这种连续边界所限定的像素可以设置为非背景强度，并且可以如前所述那样地分析这种像素的形状和/或尺寸以确定这种像素是否与参考标志相关联。
根据从不同图像200产生的二值图像来创建模板图像252。模板图像252的全部像素被初始设置为背景强度值。随后，将二值图像彼此套合(register)，并且在套合之后，识别具有非背景强度值、存在于全部二值图像中且重合的每个相应像素组。模板图像252中的与这样识别的像素组中的像素相对应的像素的强度值被设置为非背景强度值。
如上所述产生的模板图像250随后用于识别图像200以及由HCIS 100从另外的载玻片116捕获的其他图像中的套合的标志，所述另外的载玻片116具有相同的参考标志152中的一个或多个与样本位置118的阵列150之间的关系。
具体地，将模板图像250与根据图像200a产生的二值图像对齐，以使得模板图像的非背景像素252、254和256与二值图像的相应非背景像素套合。随后，可以确定为了对齐这两个图像，模板图像250必须水平地移动的像素数量(x偏移)和模板图像250必须竖直地移动的像素数量(y偏移)。可以将这种偏移(x偏移、y偏移)加至像素258(图4)的坐标(xt，yt)，从而确定图像200a的像素210a(图3A)分别相对于左边界212a和底边界214a的坐标(xa，ya)。
参照图1、图2和图3A，如上所述，可以根据位置160确定阵列150的位置以及由此确定可沉积样本的位置118中的每一个的位置。应当显而易见的是，一旦如上所述地确定了图像200a的像素210a的坐标，则也就可以确定图像200a中的与位置118中的每一个相关联的像素的位置。可以分析图像200a的与每个位置118相关联的子图像，从而确定沉积在这种位置118中的生物样本的特征。也可以将这种子图像显示给用户以进行视觉分析或发送至另一系统(未示出)以进行进一步分析。
在一些实施例中，可以以低分辨率获取图像200a。可以如上所述地计算图像200a中的像素210a的偏移(x偏移、y偏移)并将其提供至控制器112。控制器112根据载玻片将被重新成像的更高目标分辨率来缩放偏移，计算样本位置118在载玻片上的位置，并且根据计算出的位置操作定位装置120以用更高分辨率扫描载玻片的每个位置118。
参照图3A至图3C以及图4，可以用与上述计算坐标(xa，ya)的方式相类似的方式来计算像素210b的坐标(xb，yb)和像素210c的坐标(xc，yc)。
应当显而易见的是，图像200a、200b和200c中的一个或多个可以包括相对其他阵列旋转的阵列118的图像。在这些情况下，当将模板图像250与图像200a、200b或200c套合时，可以确定旋转角度以及位置偏移。对于本领域技术人员而言，一种或多种图像分析技术可以用于确定这种旋转角度，包括互相关、频率分析和搜索各种旋转角度。
参照图5，使用模板来分析来自HCIS的图像的基于模板的图像分析系统300包括与HCIS 100耦接的图像获取模块302。图像获取模块302使用HCIS 100来获得装载在HCIS 100中的多个载玻片116的图像，并将这种图像存储在获取图像数据存储304中。所述多个载玻片中的每一个各自具有在其上以二维阵列图案分布的样本位置118的阵列150。特征识别模块306分析每个获取图像以产生二值图像。如上所述，特征识别模块306将二值图像中的预计与载玻片116上的参考标志相关联的像素的强度值设置为非背景强度值。特征识别模块306将二值图像存储在获取图像数据存储304中，并将二值图像提供至模板生成模块308。
模板生成模块308分析根据所述多个载玻片的图像产生的二值图像，并且识别与全部二值图像共有的参考标志相关联的像素。然后，模板生成模块308产生模板图像，其中，仅与这种共有的参考标志相关联的那些像素具有非背景强度值。剩余像素具有背景强度值。模板生成模块308将模板存储在模板数据存储310中。
模板对齐模块312从图像数据存储304中取回待分析的图像以及根据其产生的二值图像，并且从模板数据存储310中取回与待分析的图像相关联的模板。随后，模板对齐模块314将模板图像的像素与取回的二值图像对齐，以使得每个图像中的与参考标志相关联的相应像素重叠。偏移计算模块316产生图像中所表示的阵列150相对于图像的边界的水平偏移和垂直偏移以及旋转。图像分割模块318使用这些偏移来将待分析的图像分割成子图像，其中每个子图像与载玻片116上的可沉积样本的位置118相关联。用户可以操作用户计算机320来选择并进一步分析这些子图像。此外，这种子图像可以被发送至另外的系统以进行分析。在一些实施例中，可以将被分析的图像以及与这种子图像有关的像素坐标信息发送至另外的系统，并且该另外的系统可以使用这种像素坐标信息来从被分析的图像提取子图像。例如，每个子图像的这种像素坐标信息可以包括被分析的图像中子图像所位于的矩形区域的相对角的像素坐标。
图6示出了基于模板的图像分析系统的实施例所执行的用于分析图像的步骤的流程图400。参照图1、图5和图6，在步骤402处，图像获取模块302使用HCIS 100获取载玻片116的图像，并将这种图像存储在获取图像数据存储304中。随后，在步骤404处，基于模板的图像分析系统300确定是否已存在用于分析获取图像的模板。例如，基于模板的图像分析系统300可以经由用户计算机320来询问用户以识别模板数据存储310中存储的先前创建的模板，例如，呈现这种存储的模板的列表并让用户从该列表中选择模板。替代性地，基于模板的分析系统300可以询问用户以选择或输入与被扫描的载玻片相关联的标识符，其中已经针对所述被扫描的载玻片创建了模板并且将其存储在模板数据存储310中。随后，基于模板的图像分析系统300可以根据这种标识符从模板数据存储310中识别模板。在步骤404处，如果用户指示模板不存在，则处理进行至步骤406，否则，处理进行至步骤408。
在步骤406处，基于模板的图像分析系统300产生可用于分析步骤402处获取的图像的模板并将所产生的模板存储在模板数据存储310中。随后，处理进行至步骤408。
在步骤408处，基于模板的图像分析系统300从模板数据存储310中取回模板。
在步骤410处，特征识别模块306分析获取图像以产生识别获取图像的预计与参考标志相关联的像素的二值图像。特征识别模块306将这种图像存储在获取图像数据库304中。
在步骤412处，模板生成模块314将选定的模板中的与参考标志相关联的像素与由特征识别模块306创建的二值图像中的对应参考标志所关联的像素对齐。
在步骤414处，偏移计算模块316确定步骤412处的将模板与二值图像对齐所需的偏移和旋转。
在步骤416处，基于模板的图像分析系统300经由用户计算机320询问用户是否应当以高分辨率重新扫描载玻片116的样本位置118。如果用户要求重新扫描，则图像获取模块302在步骤418处使用计算出的偏移来确定与载玻片116上的样本位置118相关联的位置信息，并且在步骤420处控制控制器112根据这种位置信息来定位定位装置120并操作相机104以根据每个这种位置118获取载玻片116的高分辨率子图像。同样在步骤420处，图像获取模块302将这些子图像存储在获取图像数据库302中。
在步骤416处，如果用户指示无需扫描载玻片116，则在步骤422处，图像分割模块318使用计算出的偏移来确定与载玻片116的每个样本位置118相关联的像素在获取图像中的坐标。在步骤424处，基于模板的图像分析系统300将位置信息或扫描的子图像提供至用户计算机或提供至另一系统以进行进一步分析。
图7示出了基于模板的图像分析系统300的实施例在步骤406(图4)处所执行的用于产生模板的步骤的流程图450。参照图5至图7，在步骤452处，基于模板的图像分析系统300经由用户计算机320要求用户识别获取图像数据存储304中的应当被用于产生模板的先前获取图像。可以要求用户从可用图像的列表中选择一个或多个获取的图像。替代性地，用户可以输入或选择与在步骤402处从其获取图像的载玻片116相关联的标识符，并且系统300从获取图像数据存储304中选择与这种标识符相关联的全部图像。
在步骤454处，特征识别模块306向每个选定图像应用阈值以产生与其对应的二值图像。在步骤456处，特征识别模块306分析每个二值图像以识别这种图像中的与参考标志对应的像素。特征识别模块还在步骤456处将这种识别出的像素设置为非背景强度值并且将所有其它像素设置为背景强度值。
在步骤458处，模板生成模块308将全部二值图像套合，如上所述，并且在步骤460处，识别与全部二值图像所共有的特征相关联的像素。在步骤462处，模板生成模块创建模板图像，其中与二值图像中的全部二值图像所共有的特征所关联的像素相对应的像素被设置为非背景强度值并且其余像素被设置为背景强度值。此外，在步骤462处，模板生成模块308将模板图像存储在模板数据存储310中。
对于本领域技术人员而言显而易见的是，硬件和/或软件的任意组合可以用于实现本文所述的基于模板的图像分析。将理解并认识到的是，结合图1至图7所描述的处理、子处理和处理步骤中的一个或多个可以由硬件、软件或硬件和软件的组合来在一个或多个电子或数控装置上执行。软件可以贮存在适当电子处理部件或系统的软件存储器(未示出)中，例如，所述适当电子处理部件或系统诸如为图1至图7中示意性地示出的功能系统、控制器、装置、部件、模块或子模块中的一个或多个。软件存储器可以包括用于实现逻辑功能(即，可以以诸如数字电路或源代码之类的数字形式实现或者以诸如模拟源(比如模拟电信号、声音信号或视频信号)之类的模拟形式实现的“逻辑”)的可执行指令的有序列表。指令可以在处理模块或控制器(例如，图5的图像获取模块302、特征识别模块306、模板生成模块308、模板对齐模块314、偏移计算模块316和图像分割模块318)中执行，其包括例如一个或多个微处理器、通用处理器、处理器的组合、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、或专用集成电路(ASIC)。此外，示意图描述了具有物理(硬件和/或软件)实现的功能的逻辑划分，其不受架构或功能的物理布局的限制。本申请中描述的示例系统可以以各种配置实现并且操作为单个硬件/软件单元或分离的硬件/软件单元中的硬件/软件部件。
可执行指令可以实现为具有指令存储于其中的计算机程序产品，当其由电子系统的处理模块执行时，指示电子系统执行指令。计算机程序产品可以选择性地体现在任何非暂时性计算机可读存储介质中，以供指令执行系统、设备或装置(例如，基于电子计算机的系统、包含处理器的系统、或者可以选择性地从指令执行系统、设备或装置获取指令并执行指令的其他系统)使用或与其结合使用。在本文档的上下文中，计算机可读存储介质是任意非暂时性装置，其可以存储供指令执行系统、设备或装置使用或与其结合使用的程序。非暂时性计算机可读存储介质可以选择性地是例如电子、磁性、光学、电磁、红外或半导体的系统、设备或装置。非暂时性计算机可读介质的更具体示例的非详尽列表包括：具有一条或多条线(电子)的电连接；便携式计算机盘(磁性)；随机存取(即，易失性)存储器(电子)；只读存储器(电子)；可擦除可编程只读存储器，例如闪速存储器等(电子)；光盘存储器，例如CD-ROM、CD-R、CD-RW等(电子)；以及数字多功能光盘存储器(即，DVD)(光学)。
还应该理解，本文档中使用的信号或数据的接收和发送意味着两个或更多个系统、装置、组件、模块或子模块能够通过在某种类型的信号路径上传播的信号彼此通信。信号可以是通信、电力、数据或能量信号，其可以沿着第一和第二系统、装置、组件、模块或子模块之间的信号路径将信息、电力或能量从第一系统、装置、组件、模块或子模块传送到第二系统、装置、组件、模块或子模块。信号路径可以包括物理、电、磁、电磁、电化学、光学、有线或无线连接。信号路径还可以包括第一和第二系统、装置、组件、模块或子模块之间的附加系统、装置、组件、模块或子模块。
工业应用性
本文引用的所有参考文献(包括出版物、专利申请和专利)均通过引用结合到本文中，其程度如同每个参考文献被单独且具体地指出通过引用并入并且在本文中完整地阐述。
除非本文另有说明或与上下文明显矛盾，否则在描述本发明的上下文中(特别是在随附权利要求的上下文中)术语“一”和“一个”和“该”以及类似的参考的使用应被解释为涵盖单数和复数。除非本文另有说明，否则本文中对数值范围的描述仅旨在用作单独提及落入该范围内的每个单独值的简写方法，并且每个单独的值如同其在本文中单独引用一样地并入本说明书中。除非本文另有说明或与上下文明显矛盾，否则本文描述的所有方法可以按任意适当顺序执行。除非另外声明，否则本文提供的任何和所有示例或示例性语言(例如，“诸如”)的使用仅旨在更好地说明本公开，并且不对本公开的范围构成限制。说明书中的任何语言都不应被解释为表明任何未声明的元素对于本公开的实践是必不可少的。
鉴于前面的描述，对本领域技术人员来说，对本公开的许多修改是显而易见的。应当理解，所示实施例仅是示例性的，不应视为限制本公开的范围。

Claims (18)

1.一种基于模板的图像分析系统，包括：
高内涵成像系统；
装载在所述高内涵成像系统中的载玻片，其中，所述载玻片包括多个参考标志和多个样本位置；
获取图像数据存储，其中存储有先前获取的图像；
图像获取模块，其从所述高内涵成像系统获取所述载玻片的图像；
特征识别模块，其产生获取图像的二值图像，其中所述二值图像识别与参考标志相关联的区域；
模板生成模块，其根据所述先前获取的图像产生模板；
模板对齐模块，其将所产生的模板与所述二值图像对齐；
偏移计算模块，其确定所述模板与所述二值图像之间的偏移；以及
图像分割模块，其根据计算的偏移确定所述获取图像的与所述样本位置相关联的像素的坐标。
2.根据权利要求1所述的系统，其中，所述高内涵成像系统包括定位装置，并且所述图像获取模块控制所述高内涵成像系统以根据所述坐标定位所述定位装置，并且控制所述高内涵成像系统获取与所述坐标相关联的所述样本位置的图像。
3.根据权利要求1所述的系统，其中，所述图像分割模块根据坐标产生所述获取图像的子图像。
4.根据权利要求1所述的系统，其中，所产生的模板是二值图像。
5.根据权利要求1所述的系统，其中，所述模板生成模块还使用所述获取图像来产生所述模板。
6.根据权利要求1所述的系统，其中，所述特征识别模块产生与所述先前获取的图像中的每一个相关联的二值图像。
7.根据权利要求6所述的系统，其中，所述特征识别模块识别相连像素组以与特征相关联，并且将由所识别的像素限定的像素的强度值设置为非背景强度值。
8.根据权利要求6所述的系统，其中，所述模板生成模块将所述先前获取的图像的所述二值图像套合。
9.根据权利要求8所述的系统，其中，所述模板生成模块识别所述先前获取的图像的所述二值图像所共有的特征，以产生所述模板。
10.一种用于分析图像的基于模板的方法，包括：
在载玻片上布置参考标志和多个样本，其中，所述多个样本中的每一个的位置是根据所述参考标志的位置的；
将所述载玻片装载在高内涵成像系统中；
将先前获取的图像存储在获取图像数据存储中；
利用所述高内涵成像系统获取装载在所述高内涵成像系统中的所述载玻片的图像；
产生获取图像的二值图像，其中所述二值图像识别与参考标志相关联的区域；
根据所述先前获取的图像产生模板；
将所述模板与所述二值图像对齐；
计算所述模板与所述二值图像之间的偏移；以及
根据计算的偏移确定所述获取图像的与样本位置相关联的像素的坐标。
11.根据权利要求10所述的方法，还包括根据所述坐标操作所述高内涵成像系统的定位装置，并且控制所述高内涵成像系统获取与所述坐标相关联的所述样本位置的图像。
12.根据权利要求10所述的方法，还包括根据坐标产生所述获取图像的子图像。
13.根据权利要求10所述的方法，其中，所产生的模板是二值图像。
14.根据权利要求10所述的方法，其中，产生所述模板包括分析所述获取图像。
15.根据权利要求10所述的方法，还包括产生与所述先前获取的图像中的每一个相关联的二值图像。
16.根据权利要求15所述的方法，其中，产生所述二值图像包括识别相连像素组以与特征相关联，并且将由所识别的像素限定的像素的强度值设置为非背景强度值。
17.根据权利要求15所述的方法，其中，产生所述模板包括将与先前获取的图像相关联的二值图像套合。
18.根据权利要求17所述的方法，其中，产生所述模板包括识别所述先前获取的图像的所述二值图像所共有的特征。
CN201780052795.2A 2016-08-31 2017-08-24 用于基于模板的图像分析的系统和方法 Active CN109643453B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662381974P 2016-08-31 2016-08-31
US62/381,974 2016-08-31
PCT/US2017/048426 WO2018044683A1 (en) 2016-08-31 2017-08-24 System and method for template-based image analysis

Publications (2)

Publication Number Publication Date
CN109643453A true CN109643453A (zh) 2019-04-16
CN109643453B CN109643453B (zh) 2023-06-27

Family

ID=61301547

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780052795.2A Active CN109643453B (zh) 2016-08-31 2017-08-24 用于基于模板的图像分析的系统和方法

Country Status (5)

Country Link
US (2) US11409094B2 (zh)
EP (1) EP3507768B1 (zh)
JP (1) JP7068307B2 (zh)
CN (1) CN109643453B (zh)
WO (1) WO2018044683A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024000268A1 (zh) * 2022-06-29 2024-01-04 深圳华大生命科学研究院 一种图像处理方法、装置、设备及介质
EP4103325A4 (en) * 2020-02-15 2024-03-06 Heska Corp SAMPLE CARTRIDGES

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10929716B2 (en) * 2018-09-12 2021-02-23 Molecular Devices, Llc System and method for label-free identification and classification of biological samples
WO2021081056A1 (en) * 2019-10-24 2021-04-29 Molecular Devices, Llc A high-content imaging system to generate enhanced images and method of operating the same
EP3905108A1 (en) * 2020-04-29 2021-11-03 Onfido Ltd Scalable, flexible and robust template-based data extraction pipeline
WO2022061150A2 (en) * 2020-09-18 2022-03-24 10X Geonomics, Inc. Sample handling apparatus and image registration methods
CN112884797B (zh) * 2021-02-02 2023-12-08 武汉钢铁有限公司 一种图像的背景去除方法、装置及电子设备
US20230400781A1 (en) * 2022-06-14 2023-12-14 Bruker Nano, Inc. Method of Analyzing Metrology Data

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070031993A1 (en) * 2002-05-17 2007-02-08 Gsi Lumonics Corporation Method and system for machine vision-based feature detection and mark verification in a workpiece or wafer marking system
CN103430077A (zh) * 2011-01-18 2013-12-04 体质医学股份有限公司 显微镜载玻片坐标系对齐
EP2796917A1 (en) * 2013-04-26 2014-10-29 Baden-Württemberg Stiftung gGmbH A method for automated platform and/or reference object independent acquisition of positional information and localization of objects of interest in a microscope
US20150278625A1 (en) * 2012-12-14 2015-10-01 The J. David Gladstone Institutes Automated robotic microscopy systems
CN205139012U (zh) * 2014-05-12 2016-04-06 赛洛米克斯股份有限公司 执行自动高内涵细胞成像的系统
CN107111874A (zh) * 2014-12-30 2017-08-29 文塔纳医疗系统公司 用于免疫分数计算中的共表达分析的系统和方法
CN108140240A (zh) * 2015-08-12 2018-06-08 分子装置有限公司 用于自动分析细胞的表型反应的系统和方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2468861C (en) 2001-12-05 2012-06-12 The Regents Of The University Of California Robotic microscopy systems
US20080144899A1 (en) * 2006-11-30 2008-06-19 Manoj Varma Process for extracting periodic features from images by template matching
WO2009126495A2 (en) 2008-04-09 2009-10-15 Vidar Systems Corporation Method and system for processing microarray images
US8644581B2 (en) * 2008-11-04 2014-02-04 Beckman Coulter, Inc. Systems and methods for cellular analysis data pattern global positioning
US9523680B2 (en) * 2010-06-30 2016-12-20 Ambergen, Inc. Global Proteomic screening of random bead arrays using mass spectrometry imaging
US9390327B2 (en) * 2013-09-16 2016-07-12 Eyeverify, Llc Feature extraction and matching for biometric authentication
EP3250957A4 (en) * 2015-01-30 2018-11-14 Molecular Devices, LLC A high content imaging system and a method of operating the high content imaging system
CN104820439B (zh) * 2015-04-16 2017-10-20 华南理工大学 一种视觉设备作为传感器的并联平台跟踪控制装置与方法
US10061972B2 (en) * 2015-05-28 2018-08-28 Tokitae Llc Image analysis systems and related methods
WO2017153848A1 (en) * 2016-03-10 2017-09-14 Genomic Vision Method of curvilinear signal detection and analysis and associated platform

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070031993A1 (en) * 2002-05-17 2007-02-08 Gsi Lumonics Corporation Method and system for machine vision-based feature detection and mark verification in a workpiece or wafer marking system
CN103430077A (zh) * 2011-01-18 2013-12-04 体质医学股份有限公司 显微镜载玻片坐标系对齐
US20150278625A1 (en) * 2012-12-14 2015-10-01 The J. David Gladstone Institutes Automated robotic microscopy systems
EP2796917A1 (en) * 2013-04-26 2014-10-29 Baden-Württemberg Stiftung gGmbH A method for automated platform and/or reference object independent acquisition of positional information and localization of objects of interest in a microscope
CN205139012U (zh) * 2014-05-12 2016-04-06 赛洛米克斯股份有限公司 执行自动高内涵细胞成像的系统
CN107111874A (zh) * 2014-12-30 2017-08-29 文塔纳医疗系统公司 用于免疫分数计算中的共表达分析的系统和方法
CN108140240A (zh) * 2015-08-12 2018-06-08 分子装置有限公司 用于自动分析细胞的表型反应的系统和方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4103325A4 (en) * 2020-02-15 2024-03-06 Heska Corp SAMPLE CARTRIDGES
WO2024000268A1 (zh) * 2022-06-29 2024-01-04 深圳华大生命科学研究院 一种图像处理方法、装置、设备及介质

Also Published As

Publication number Publication date
US11960073B2 (en) 2024-04-16
US20220350130A1 (en) 2022-11-03
EP3507768A1 (en) 2019-07-10
JP7068307B2 (ja) 2022-05-16
JP2019526870A (ja) 2019-09-19
US11409094B2 (en) 2022-08-09
EP3507768A4 (en) 2020-02-26
US20210278654A1 (en) 2021-09-09
CN109643453B (zh) 2023-06-27
WO2018044683A1 (en) 2018-03-08
EP3507768B1 (en) 2020-09-30

Similar Documents

Publication Publication Date Title
CN109643453A (zh) 用于基于模板的图像分析的系统和方法
US11307398B2 (en) Method for generating and analyzing an overview contrast image
US11079585B2 (en) System and method for performing automated analysis of air samples
KR101513602B1 (ko) 바이오칩 스캐닝 방법
MX2007016046A (es) Sistema y metodo para re-ubicar un objeto en una muestra en un portaobjetos con un dispositivo de imagen de microscopio.
JP2024038396A (ja) 画像解析方法、画像解析装置、およびプログラム
CN102483802B (zh) 用于生物/化学样本的成像设备的校准
CN110140129B (zh) 使用双光学路径和单成像传感器的低分辨率载片成像和载片标签成像以及高分辨率载片成像
US9253449B2 (en) Mosaic picture generation
CN111602136A (zh) 使用载玻片重新染色创建组织病理学基准真值掩膜的方法
CN108140104B (zh) 病理学明场像中的自动化染色查找
KR20140006891A (ko) 현미경 슬라이드 좌표 시스템 등록
JP6843121B2 (ja) 組織マイクロアレイ分析
CN109073454A (zh) 数字病理学色彩校准和验证
JP2019503012A (ja) ３次元顕微鏡画像の区分化のためのシステムおよび方法
CN105391931A (zh) 图像处理装置和图像处理方法
KR20200100062A (ko) 조직학적 이미지 분석
JP4938428B2 (ja) 標本画像作成方法及び装置
WO2005055145A1 (en) Method and system for automatic vision inspection and classification of microarray slides
RU2540254C2 (ru) Способ и устройство для планирования сканирования с использованием ультрафиолетового излучения
AU2018101327B4 (en) System and method for performing automated analysis of air samples
JP2012514758A (ja) 顕微鏡法
RU2019105286A (ru) Сканирование препаратов с оптимизированным рабочим процессом
JP2009074937A (ja) 画像処理装置および画像処理プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant