CN105190690A - 显微图像的图像质量评估 - Google Patents
显微图像的图像质量评估 Download PDFInfo
- Publication number
- CN105190690A CN105190690A CN201480016594.3A CN201480016594A CN105190690A CN 105190690 A CN105190690 A CN 105190690A CN 201480016594 A CN201480016594 A CN 201480016594A CN 105190690 A CN105190690 A CN 105190690A
- Authority
- CN
- China
- Prior art keywords
- image
- pixel
- fourier transform
- computer implemented
- rotation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/693—Acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/37—Determination of transform parameters for the alignment of images, i.e. image registration using transform domain methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
- G06V10/993—Evaluation of the quality of the acquired pattern
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30072—Microarray; Biochip, DNA array; Well plate
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Microscoopes, Condenser (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
公开一种顺序获取图像、例如由数字显微镜所获取的图像中的配准质量、聚焦和区域缺陷的自动化评估。在一个实施例中,配准所获取图像,并且基于配准过程所生成的品质因数自动检测全图像缺陷。在相关实现中,区域缺陷可通过计算在不同成像回合中获取的图像的定域图像区域中的相关来自动检测。
Description
背景技术
本文所公开的主题涉及评估显微图像的质量。
对于诸如癌、传染病、生理障碍等的各种生理条件,检测和监测可部分基于来自患者的生物标本的分析。例如,可分析样本,以检测可指示疾病或障碍的细胞和/或有机体的异常数量或类型的存在。各种类型的显微术可用于这种分析。此外,各种染色剂和染色协议可用作这个分析的组成部分,以允许不同结构、化学品或环境的可视化,这可帮助疾病或障碍的检测或诊断。
为了促进这种病理或组织样本的分析,研制了自动化显微系统,其使图像获取过程的各个方面自动化。具体来说,数字光学显微镜可用于这类自动化系统中,并且提供各获取的数字图像输出。某些这类系统采用扫描显微镜,其中位移图像序列被获取并且关联在一起(例如“平铺”或“绑结”在一起),以形成感兴趣样本区的合成。例如,在病理和组织成像操作的上下文中,组织样本载玻片可经历成像,以便以高放大率和/或分辨率来获取小的相邻或重叠区域的数字图像。相邻或重叠图像然后可接合或关联,以形成可在数字显示装置上浏览的较大图像。这样,样本的合成或镶嵌图像可由审阅者来生成、显示和浏览。
在某些情况下,一系列图像(例如免疫组织化学图像)可使用每轮成像的组织的组织样本上的不同生物标记从相同样本来获取。例如,一种这样的技术基于系列染色的原理进行工作,其中将直接标记荧光抗体施加到组织,在若干荧光通道中获取图像,并且抗体上的荧光标记然后通过化学漂白过程来消除。染色、成像和漂白的过程能够重复进行数十次,从而在相同组织样本中产生也许50或100个生物标志的图像。
但是,获取大量生物标记的成像的能力引起大量图像被获取。例如,对来自100位患者的样本所获取的30个视场的20个生物标记的研究将产生6万个图像。如将会理解,这些图像的一部分将具有技术错误或其他缺陷,以及共同错误的图像的视觉检查会是极艰巨的过程。
发明内容
在一个实施例中,提供一种用于评估图像质量的计算机实现方法。该方法包括获取第一图像和第二图像的动作。第一图像和第二图像的至少一部分重叠。旋转和缩放联系第一图像和第二图像来确定。旋转和缩放第一图像的相应傅立叶变换,以对应于第二图像的相应傅立叶变换。相应第一图像和第二图像的平移基于第一图像和第二图像的旋转和缩放的傅立叶变换来确定。确定量化第一图像和第二图像的配准质量的得分。
在另一实施例中,提供一种图像分析系统。该图像分析系统包括:存储器,存储一个或多个例程;以及处理组件,配置成运行存储器中存储的一个或多个例程。一个或多个例程在由处理组件运行时使包括下列步骤的动作被执行:获取或访问第一图像和第二图像,其中第一图像和第二图像的至少一部分重叠;联系第一图像和第二图像来确定旋转和缩放;旋转和缩放第一图像的相应傅立叶变换,以对应于第二图像的相应傅立叶变换;基于第一图像和第二图像的旋转和缩放的傅立叶变换来确定相应第一图像和第二图像的平移;以及确定量化第一图像和第二图像的配准质量的得分。
在一附加实施例中,提供一种用于检测区域缺陷的计算机实现方法。该方法包括对第一图像中的各像素确定比较区域的动作。执行各比较区域与第二图像的对应区域之间的相关。基于与各像素关联的相应比较区域与第二图像的对应区域之间的相应相关,对第一图像中的各像素生成得分。各像素的得分对应于在相应像素的第一图像中的缺陷的可能性。
在另一个实施例中,提供一种图像分析系统。该图像分析系统包括:存储器,存储一个或多个例程;以及处理组件,配置成运行存储器中存储的一个或多个例程。一个或多个例程在由处理组件运行时使包括下列步骤的动作被执行:对于第一图像中的各像素,确定比较区域;执行各比较区域与第二图像的对应区域之间的相关;以及基于与各像素关联的相应比较区域与第二图像的对应区域之间的相应相关来生成第一像素中的各像素的得分。各像素的得分对应于在相应像素的第一图像中的缺陷的可能性。
附图说明
通过参照附图阅读以下详细描述,将会更好地了解本发明的这些及其他特征、方面和优点,附图中,相似标号在附图中通篇表示相似部件,附图包括:
图1是按照本公开的方面的成像系统、例如数字光学显微镜系统的框图;
图2是按照本公开的方面、具有可获取分别的重叠视场图像的重叠图像区域、其上设置样本的载玻片的平面图;
图3示出与按照本公开的方面、与成像协议中的载玻片操控关联的、具有多个图像获取回合的步骤的流程图;
图4示出按照本公开的方面、用于配准步骤和平移推导及品质因数的流程图;
图5示出按照本公开的方面、用于配准和聚焦检测的接收器操作特性(ROC)曲线;
图6示出按照本公开的方面、用于区域检测的ROC曲线;以及
图7示出按照本公开的方面、作为所分析的像素阵列的大小的函数、图6的ROC曲线下面积。
具体实施方式
由自动化复用扫描装置所产生的大量图像(例如可用于免疫组织化学研究中)使成像失败——焦点和位置两者的总失败以及诸如被损坏组织和异物之类的部分图像伪影——的人工检测比较困难(即使不是不可行的)。因此,可期望使成像失败的检测自动化。有鉴于此,本方式描述一种接收器流水线,其在一个实施例中,使用傅立叶域中的刚体变换来配准图像,基于来自配准操作的品质因数来检测全图像缺陷,以及通过计算图像的局部区域中的相关来检测部分图像缺陷。如本文所述,按照本方式,图像的最常见问题能够通过自动检查来识别。有缺陷图像(或者图像部分)则能够从统计分析中排除,以避免由奇异值污染数据。还进行了接收器操作特性(ROC)研究,其证明所公开算法是充分健壮的,以考虑将它作为无监督分类符用来在量化之前丢弃不良数据。
有鉴于以上所述,图1示出可按照本公开的方面来使用的成像系统10、例如数字光学显微镜的一实施例。所示成像系统10包括物镜12、图像传感器16、控制器20和扫描台架22。在所示实施例中,样本24设置在盖玻片26与载玻片28之间。样本24、盖玻片26和载玻片28定位在扫描台架22上。盖玻片26和载玻片28可由透明材料、例如玻璃来制成。在某些实施例中,成像系统10可以是自动化载玻片扫描系统的组成部分,并且可包括自动载玻片馈送器,其能够每次一个从片盒馈送和装载用于成像的载玻片。
在某些实施例中,样本24可以是供使用病理或组织技术进行分析的生物样本、例如组织样本。在其他情况下,样本24可以是工业对象,例如集成电路芯片或微机电系统(MEMS)。作为举例,这类样本可具有厚度,其平均从大约5微米至大约7微米,并且可有数微米的变化。这类样本的示例还可具有大约15mm×15mm的横向表面积。
实际上,物镜12沿z(垂直)方向的光轴与样本24分隔,并且在与载玻片28共面的X-Y平面中具有焦平面。物镜12在特定视场收集由样本24所透射或反射的光30,并且将光30导向图像传感器16。如本文所使用的术语“光”包含成像操作的感兴趣的任何所指定波长或波长范围(即,光谱),无论是否是肉眼可见的。在一个实施例中,图像传感器16在图像被获取时基于主光路32来生成与相应视场对应的样本24的一个或多个图像。在某些实施例中,图像传感器16可以是任何适当的数字成像装置,例如市场销售的基于电荷耦合装置(CCD)的图像传感器。
系统10中采用的物镜12的放大能力可基于诸如待成像样本特征的应用和大小等的考虑因素来改变。在一个实施例中,物镜12可以是提供20×或以上放大率并且具有0.5或大于0.5的数值孔径(小景深)的高功率物镜。将会理解,在其他实施例中,物镜12可提供不同程度的放大率,和/或可具有更大或更小的数值孔径。作为举例,在一个实施例中,物镜12可沿Z方向与样本24间隔从大约200微米至大约几毫米的范围的距离,并且可从焦平面的750μ×750μ的视场收集光30。如将会理解,取决于应用,工作距离、视场和焦平面可根据系统10的配置和待成像样本24的特性而改变。此外,如本文所述,在使成像过程的方面自动化、例如允许关于样本24的多个图像的顺序获取的实施例中,系统10可包括位置控制器14、例如压电致动器,以提供对物镜12的细微电动机控制和快速小视场调整,和/或调整载玻片28或者其上定位载玻片28的扫描台架22的位置。
取决于成像协议或应用,成像系统10可使用大量成像模式的一个或多个来照射样本24,包括亮场、相位衬(phasecontrast)、差分干涉相衬和荧光。因此,光30可在亮场、相位衬或差分干涉相衬应用中从样本24来透射或反射,或者光30可在(荧光标记或本征)荧光成像应用从样本24来发射。此外,光30可使用贯穿照明(trans-illumination,其中光源和物镜12处于样本24的相对侧)或上方照明(epi-illumination,其中光源和物镜处于样本24的同一侧)来提供。因此,如将会理解,在某些实施例中,成像系统10可包括光源(例如高强度LED或者贡或氙弧或金属卤化物灯)。
如上所述,在一个实施例中,成像系统10可配置为高速成像系统。这种高速系统可配置成快速捕获样本24的大量数字图像,各图像对应于样本24的特定视场。在某些应用中,与图像关联的特定视场可以仅表示整个样本24的有限部分。此外,与图像序列关联的相应视场可彼此相邻,或者可相互重叠。在这种实施例的示例中,载玻片28在相邻或重叠区域中反复成像,或者在扫过成像获取区域、即视场的扫描中传递。在一个这种实施例中,获取图像,台架22沿X和Y方向前进到相邻或重叠区域移入视场中的位置,以及获取另一个图像。
此外,如本文所述,与特定获取序列关联的一组数字图像(例如在采用给定染色剂对样本24染色时获取的一系列图像)可按照数字方式来组合或绑结在一起,以形成整个样本24的数字表示、即合成或镶嵌图像或画布(canvas)。在一个实施例中,成像系统10可将多个所获取图像以及使用所获取图像所生成的任何合成或镶嵌图像存储在数据库资料库34和/或存储器38中。
如本实施例所示,成像系统10还可包括示范处理子系统36,其可促进自动化成像协议的执行和/或成像系统10所获取的图像数据的处理。例如,处理子系统36可配置成基于一系列所获取图像来合成合成图像,并且相对在采用不同化合物对样本24染色之后对同一样本24所生成的其他图像或合成图像来执行定位或配准操作。处理子系统36还可与显示装置(即,屏幕或监视器)进行通信,以引起所获取图像或者使用所获取图像所生成的合成图像的显示。虽然存储器38在所示示例中示为与处理子系统36分离,但是在某些实施例中,处理子系统36和存储器38可共同地、即作为单一或同延(coextensive)组件来提供。另外,虽然本示例将处理子系统36示为与控制器20分别的组件,但是在其他实施例中,处理子系统36可与控制器20相组合或者可用作控制器20。
此外,还应当理解,在某些实施例中,成像系统10可用来确定相对在不同时间或成像回合所捕获的样本24的多个所获取图像或者不同图像中的定量特性。在某些上下文中,如本文所述的这种品质因数可用作配准或聚焦质量的指示,并且因而可用来确定是否应当再获取视场图像(例如使用不同自动聚焦算法)或者是否需要附加视场图像以取得可接受配准。
有鉴于以上所述,图2示出载玻片28上的样本24经历使用如针对图1所述的成像系统10进行的图像获取。在这个示例中,对一组重叠视场获取图像42的网格或阵列,其中各图像42对应于在特定一组载玻片坐标的分立图像获取。在各图像获取之间,移动载玻片28或成像物镜的一个或两者,以允许在下一载玻片位置的图像获取。在图2所示的示例中,相应图像42在一个或多个边缘40相互重叠。在图像42的边缘40的重叠允许如本文所述的图像42的配准,以生成合成或镶嵌图像。
如本文所述,问题可在某些成像上下文中发生,其中载玻片28周期地从扫描台架22移开并且作为多图像获取协议的一部分被放回。作为举例,这类问题可在组织或病理上下文中发生,其中给定样本24经历多个染色操作,其中在新染色剂或一组染色剂的各施加之后从样本24获取图像。例如,在对生物样本中的生物标记的空间分布绘制轮廓的应用中,可采用多步过程,如图3的流程图48所示。在这种示例中,具有样本24的载玻片28最初采用一个或多个试剂(例如标记特定生物标记的荧光标记试剂)来染色(框50)。
载玻片28然后放置(框52)在成像系统10的台架22上,以及在多个不同位置获取(框54)图像42。在一个实施例中,所获取图像42对应于重叠视场,使得所获取图像重叠5%、10%或者另外某个适当重叠区域,如本文所述。在这个示例中,一旦对与图像获取的当前回合关联的一个或多个染色剂获取图像40,从台架22移开(框56)载玻片28,从载玻片28移开盖玻片26(若存在的话),以及例如通过从样本漂白荧光标记,去除(框58)样本24上存在的染色剂的一个或多个。在某些实现中,染色剂或试剂甚至在步骤58去除其他染色剂之后也可余留。在这类实现中,余留的染色剂或试剂可以是所有图像获取回合共同的,并且可用作成像回合之间的公共或参考染色剂。此外,在某些实现中,盖玻片26可在去除染色剂(例如在漂白样本上)之后放回载玻片28上,并且经过再成像,以得到自动荧光去除的图像。
如果不存在更多图像获取要执行(框60),则图像获取过程结束(框62)。但是,如果将要获取标记样本24的附加图像40,则下一成像回合(框64)中将要使用的一个或多个染色剂(例如一组不同的荧光标记试剂)被得到并且施加(框50)到样本24。新标记的载玻片28然后放回(框52)台架28上,并且成像过程重复进行。这个图像获取过程可重复进行所需次数(例如5、10、12、15或20次或者所需次数),以得到生物标记的预期轮廓。
如上所述,使作为这种系列染色过程的所获取图像的审阅和/或分析自动化可以是有用的。有鉴于此,一开始描述可导致所获取图像不适合的成像失败的各种原因可以是有用的。作为举例,成像缺陷的原因可编组为四个主要区域:不当定位(显微镜没有获取正确视场或者自动化图像未能将图像与其他染色回合中的图像对齐);聚焦(焦点未对准地获取图像的全部或部分);曝光(图像曝光不足或饱和),以及组织的有缺陷区域(丢失或者被破坏组织、安装介质中的气泡和视场中的异物)。在这四个原因中,本方式在检测产生于不当定位、不良聚焦和组织的有缺陷区域的图像缺陷方面特别有用。
有鉴于以上说明,在某些实施例中,提供一种用于评估图像质量的自动化方式。另外,如本文所述,论述本方式的测试示例,以便于本方式的说明。针对这些测试中采用的材料,数百个视场图像可用于其中成像完全失败(例如因不当定位或不良聚焦)或者其中存在区域缺陷(例如因归因于冲洗和再染色过程的组织损坏)的分析。在某些实验中,各视场包括呈现永久染色剂——在很大程度上不受漂白过程影响的染色剂——的各染色回合中的一个图像。这个图像提供逐个回合看来基本上相同的视图。这个视图提供用于配准的参考。从不同颜色的两个不同染色回合覆盖这个视图提供图像质量和配准的极快速目视检查。
另外,相对样本材料,对于全图像缺陷,从已知有问题的研究的大约6千个图像的子集经过目视检查,并且分为两栏:“良好”(表示图像焦点对准并且正确定位)和“不良”(表示图像焦点未对准或者不当定位)。图像在来自两个不同制造商的显微镜上来得到,并且包含显示极为不同的视觉纹理的两种不同类型的组织(人体前列腺和人脑胶质母细胞瘤)。这些图像用作用于位置和焦点检测的测试集合,如本文所述。
对于区域缺陷,从遭遇高缺陷率的两个染色回合来提取图像的较小子集。这些图像也在不同仪器上获取,并且包含不同组织类型。将它们随机地划分为12个图像的训练集合和60个图像的验证集合。通过将全部72个图像加载到染色程序中,并且在人类观察者判断为“有缺陷”的区域中采用红色而在人类观察者判断为“背景”的区域中采用黑色来覆盖它们,来针对区域缺陷进行评分。
如本文所公开,提供一种系统以量化所获取图像的配准、聚焦和区域质量。在所述示例中,上述训练集合用来提供真实数据(groundtruth),以验证系统的性能。
来看评估配准和聚焦中使用的算法,将会理解,使用显微镜所获取的未配准图像(例如样本的顺序获取的偏移图像)通常经过配准(即,对齐),以允许后续分析。例如,在上述系列染色上下文中,从台架移开包含样本的载玻片,以进行成像回合之间的漂白和再染色。通常,载玻片对各成像回合没有以完全相同的位置和取向放回台架上。算法配准来自不同成像回合的相应视场图像和相应图像。图4给出所考虑配准过程的一个实现的概述80。
来看图4,第一图像82和第二图像84均经过傅立叶变换(框86)。对于每个所产生2维空间频率库(spatialfrequencybin),提取空间频率分量的模量(框88)。所产生图像是原始图像82、84的平移不变特征(translation-invariantsignature,即,平移影响频率分量的相位但不影响幅度)。此外,原始图像的旋转在傅立叶域中保持旋转,以及对原始图像的缩放操作成为通过傅立叶域中的缩放因子的互逆(reciprocal)的缩放操作。
又来看图4,执行对数极变换(LPT)(框92),以将特征变换为对数极坐标。在对数极空间中,原始图像的旋转变成θ轴上的平移,以及缩放某个常数因子变成r轴上的平移。在所示示例中,执行傅立叶域相关操作:由对两种图像进行傅立叶变换(框96)并且将一个与另一个的复共轭相乘(框98)来组成。进行傅立叶逆变换(框100),从而产生r-θ平面中的相关函数。定位最大数(框102)给出最佳匹配两个图像82、84的旋转和缩放因子104。
通过求解的旋转和缩放104并且回到原始傅立叶变换图像,第二图像的傅立叶变换被旋转和缩放(框106)所确定旋转和缩放因子104,并且对傅立叶变换参考图像以及第二图像的旋转和缩放的傅立叶变换执行相位相关(phasecorrelation),以求解平移(框108)。可执行傅立叶逆变换(框110),以返回到像素域。像素域中的相关峰值的定位(框112)是必须平移一个图像以将另一图像覆盖它的量114,以及峰值的高度116(zero-meannormalizedcross-powercorrelationcoefficient:零平均归一化互功率相关系数)是一个图像与另一图像配准的良好程度的品质因数120。
有鉴于适当配准方式的以上一般论述,提供描述现实世界实现和结果的测试结果的示例。例如,执行测试,以确认相关是配准质量的有效量度。为了测试这类假设,图像(一个示例中的6千个图像)的样本按照图4的算法来处理。通过小于品质因数阈值的相关所识别的未配准和不良聚焦的图像的部分(即,正确肯定率(TruePositiverate:TPR))以及作为相关系数的阈值所计算的对完全配准图像所产生的误报警的部分(即,错误肯定率(FalsePositiverate:FPR))从零到一改变。
所产生的接收器操作特性(ROC)曲线130在图5中绘制。如图5中表明,在这个示例中,曲线下面积(area-undercurve:AUC)优于98%。因此,如这个示例中所述,本文所述的算法能够识别超过当今的98%的散焦和未配准,这取决于所应用的品质因数阈值132(通过曲线130下的数字所示)。如将会理解,基于这些结果,这种分析可适合于作为采用固定阈值的配准质量的无监督(即,自动或者没有使用监督或干预)检查的运行。此外,响应这个分析的结果而进行的动作也可自动化。例如,如这个自动化步骤所确定的配准的失败可引起使用不同参数或方式和/或所述图像的一个或多个的再获取(若被认为是可取的)对配准的其他尝试。
虽然以上解决与配准质量和聚焦检测的评估的自动化相关的问题,但是还可期望使顺序获取视场图像中的区域缺陷的检测自动化。例如,在一个实施例中,如本文所述,算法用来在图像配准之后识别区域缺陷。这种区域缺陷检测算法的一个实现可基于如下前提:单一染色回合中(或者基准回合中)的任何缺陷将引起永久核染剂(即,各成像回合共同的、允许在不同回合所获取的图像的比较的染色剂)中的图像,其在当前染色回合与基准之间在局部是不同的。如将会理解,存在能够出现的其他差异、例如永久染色剂的褪色以及照明中的局部差异,但是这些其他差异通常全部仅影响图像的亮度或对比度,从而使局部特征保持不变。
相应地,区域缺陷检测算法的一个实施例是基于相关的。在这个示例中,该算法采用一个参数N来调谐,参数N是查找局部相似性的长度标尺的量度。也就是说,对于图像中的各像素,区域缺陷检测算法考虑具有长度为2N-1的边并且集中于给定像素的像素的方阵列。在一个实现中,该算法对经历比较的像素的各阵列来计算基准回合与染色回合之间的皮尔森积矩相关(Pearsonproductmomentcorrelation)。这个相关成为中心像素的品质因数,以及阈值操作则将像素分类为“良好”和“不良”或者“可接受”和“不可接受”分类。
有鉴于适当区域缺陷检测方式的以上一般论述,提供描述现实世界实现和结果的测试结果的示例。例如,执行测试,以评估该算法。在这个示例中,训练和验证数据由人类观察者(其对经历分析的图像的有缺陷区域进行了染色)来生成。矩形像素阵列的半宽从3到60像素改变,以及计算在各像素位置的相关。
绘制接收器操作特性(ROC)曲线140、142(图6),从而改变关于品质因数的阈值144。在人类观察者和算法均将图像标记为“有缺陷”的情况下,评分“正确肯定”,以及在观察者和算法均将图像标记为既不是“有缺陷”也不是“背景”的情况下评分“正确否定”。为了便于计算ROC,忽略“背景”像素。来看图7,ROC曲线下面积作为阵列的半宽的函数来制表和绘制。在这些示例中,供区域缺陷的分析的像素阵列的最佳大小被确定成大约40个像素(例如41个像素),但是对于其他数据集和分析,这个确定可改变。另外,在本文再现的示例中,可观察到,当半宽改变超过3倍时,AUC下降小于1%。应当注意,图6再现的ROC曲线140、142使用确定为适合于测试数据的41个像素宽度来生成,如图7所确定。又来看图6,比较两个ROC曲线140、142揭示品质因数阈值114看来似乎主要影响特异性。也就是说,具有相同阈值144的两个曲线140、142上的点主要在其灵敏度(即,正确肯定率)方面有所不同。
本发明的技术效果包括使用品质因数的配准质量和聚焦的自动化评估。其他技术效果包括区域缺陷的自动化检测。作为举例,在具体实施例中,图像的配准可使用傅立叶域中的刚体变换来执行,以及配准和聚焦误差可使用用于配准的品质因数自动确定。此外,区域缺陷可在图像中自动检测。
本书面描述使用包括最佳模式的示例来公开本发明,并且还使本领域的技术人员能够实施本发明,包括制作和使用任何装置或系统,以及执行任何结合方法。本发明的专利范围由权利要求书来定义,并且可包括本领域的技术人员想到的其他示例。如果这类其他示例具有与权利要求书的文字语言完全相同的结构元件,或者如果它们包括具有与权利要求书的文字语言的非实质差异的等效结构元件,则它们意在落入权利要求书的范围之内。
Claims (22)
1.一种用于评估图像质量的计算机实现方法,包括:
获取第一图像和第二图像,其中所述第一图像和所述第二图像的至少一部分重叠;
联系所述第一图像和所述第二图像来确定旋转和缩放;
旋转和缩放所述第一图像的相应傅立叶变换,以对应于所述第二图像的相应傅立叶变换;
基于所述第一图像和所述第二图像的所述旋转和缩放的傅立叶变换来确定相应所述第一图像和所述第二图像的平移;以及
确定量化所述第一图像和第二图像的所述配准的质量的得分。
2.如权利要求1所述的计算机实现方法,其中,所述第一图像和所述第二图像使用显微镜来获取。
3.如权利要求1所述的计算机实现方法,其中,所述第一图像和所述第二图像在顺序染色成像协议的不同成像回合中获取。
4.如权利要求1所述的计算机实现方法,其中,确定所述旋转和所述缩放包括:
对所述第一图像和所述第二图像进行傅立叶变换,以生成相应第一空间频率库和第二空间频率库;
从所述第一空间频率库来提取第一模量以及从所述第二空间频率库来提取第二模量,以生成第一平移不变特征和第二平移不变特征;
执行所述第一平移不变特征和所述第二平移不变特征的对数极变换;
在对数极空间中,执行傅立叶域相关操作;以及
基于所述傅立叶域相关操作的结果来确定所述旋转和所述缩放。
4.如权利要求1所述的计算机实现方法,其中,确定所述平移包括:
对所述第一图像和所述第二图像的所述旋转和缩放的傅立叶变换执行相位相关,以得到所述平移。
5.如权利要求4所述的计算机实现方法,其中,执行所述相位相关包括:
执行傅立叶逆变换,以使所述第一图像和所述第二图像的所述旋转和缩放的傅立叶变换返回到像素域;以及
定位所述像素域中的相关峰值,其中所述相关峰值的所述位置对应于所述平移。
6.如权利要求5所述的计算机实现方法,其中,确定所述得分包括:
确定所述相关峰值的高度,其中所述相关峰值的高度对应于所述得分。
7.如权利要求6所述的计算机实现方法,其中,所述相关峰值的高度包括所述的配准第一图像和第二图像的零平均归一化互功率相关系数。
8.一种图像分析系统,包括:
存储器,存储一个或多个例程;以及
处理组件,配置成运行所述存储器中存储的所述一个或多个例程,其中所述一个或多个例程在由所述处理组件运行时使包括下列步骤的动作被执行:
获取或访问第一图像和第二图像,其中所述第一图像和所述第二图像的至少一部分重叠;
联系所述第一图像和所述第二图像来确定旋转和缩放;
旋转和缩放所述第一图像的相应傅立叶变换,以对应于所述第二图像的相应傅立叶变换;
基于所述第一图像和所述第二图像的所述旋转和缩放的傅立叶变换来确定相应所述第一图像和所述第二图像的平移;以及
确定量化所述第一图像和第二图像的所述配准的质量的得分。
9.如权利要求8所述的图像分析系统,其中,确定所述旋转和所述缩放包括:
对所述第一图像和所述第二图像进行傅立叶变换,以生成相应第一空间频率库和第二空间频率库;
从所述第一空间频率库来提取第一模量以及从所述第二空间频率库来提取第二模量,以生成第一平移不变特征和第二平移不变特征;
执行所述第一平移不变特征和所述第二平移不变特征的对数极变换;
在对数极空间中,执行傅立叶域相关操作;以及
基于所述傅立叶域相关操作的结果来确定所述旋转和所述缩放。
10.如权利要求8所述的图像分析系统,其中,确定所述平移包括:
对所述第一图像和所述第二图像的所述旋转和缩放的傅立叶变换执行相位相关,以得到所述平移。
11.如权利要求10所述的图像分析系统,其中,执行所述相位相关包括:
执行傅立叶逆变换,以使所述第一图像和所述第二图像的所述旋转和缩放的傅立叶变换返回到像素域;以及
定位所述像素域中的相关峰值,其中所述相关峰值的所述位置对应于所述平移。
12.如权利要求11所述的图像分析系统,其中,确定所述得分包括:
确定所述相关峰值的高度,其中所述相关峰值的高度对应于所述得分。
13.一种用于检测区域缺陷的计算机实现方法,包括:
对于第一图像中的各像素,确定比较区域;
执行各比较区域与第二图像的对应区域之间的相关;以及
基于与各像素关联的相应所述比较区域与所述第二图像的所述对应区域之间的相应所述相关来生成所述第一图像中的各像素的得分,其中各像素的所述得分对应于在相应所述像素的所述第一图像中的缺陷的可能性。
14.如权利要求13所述的计算机实现方法,其中,各比较区域包括以相应像素为中心的像素的方阵列。
15.如权利要求14所述的计算机实现方法,其中,所述方阵列的每边的半宽等于或者处于3个像素与60个像素之间。
16.如权利要求13所述的计算机实现方法,其中,所述相关是皮尔森积矩相关。
17.如权利要求13所述的计算机实现方法,包括:
基于各像素的相应所述得分将阈值应用于所述第一图像的各像素;以及
基于所述阈值的应用,将各像素分类为可接受或者不可接受。
18.一种图像分析系统,包括:
存储器,存储一个或多个例程;以及
处理组件,配置成运行所述存储器中存储的所述一个或多个例程,其中所述一个或多个例程在由所述处理组件运行时使包括下列步骤的动作被执行:
对于第一图像中的各像素,确定比较区域;
执行各比较区域与第二图像的对应区域之间的相关;以及
基于与各像素关联的相应所述比较区域与所述第二图像的所述对应区域之间的相应所述相关来生成所述第一图像中的各像素的得分,其中各像素的所述得分对应于在相应所述像素的所述第一图像中的缺陷的可能性。
19.如权利要求18所述的图像分析系统,其中,各比较区域包括以相应像素为中心的像素的方阵列。
20.如权利要求18所述的图像分析系统,其中,所述相关是皮尔森积矩相关。
21.如权利要求18所述的计算机实现方法,其中,所述一个或多个例程在由所述处理组件运行时还使包括下列步骤的动作被执行:
基于各像素的相应所述得分将阈值应用于所述第一图像的各像素;以及
基于所述阈值的应用,将各像素分类为可接受或者不可接受。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/846447 | 2013-03-18 | ||
US13/846,447 US9064304B2 (en) | 2013-03-18 | 2013-03-18 | Image quality assessment of microscopy images |
PCT/US2014/030972 WO2014153322A2 (en) | 2013-03-18 | 2014-03-18 | Image quality assessment of microscopy images |
Publications (1)
Publication Number | Publication Date |
---|---|
CN105190690A true CN105190690A (zh) | 2015-12-23 |
Family
ID=50549481
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201480016594.3A Pending CN105190690A (zh) | 2013-03-18 | 2014-03-18 | 显微图像的图像质量评估 |
Country Status (10)
Country | Link |
---|---|
US (1) | US9064304B2 (zh) |
EP (1) | EP2976747B1 (zh) |
JP (1) | JP6594294B2 (zh) |
KR (1) | KR20150131046A (zh) |
CN (1) | CN105190690A (zh) |
AU (1) | AU2014236057B2 (zh) |
CA (1) | CA2900544A1 (zh) |
RU (1) | RU2015137587A (zh) |
SG (1) | SG11201507736PA (zh) |
WO (1) | WO2014153322A2 (zh) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9064304B2 (en) * | 2013-03-18 | 2015-06-23 | General Electric Company | Image quality assessment of microscopy images |
JP2015219282A (ja) * | 2014-05-14 | 2015-12-07 | ソニー株式会社 | 画像処理装置、画像処理プログラム、画像処理方法及び顕微鏡システム |
AU2016211981A1 (en) | 2015-01-31 | 2017-07-27 | F. Hoffmann-La Roche Ag | Quality control of automated whole-slide analysis |
US9767387B2 (en) * | 2015-09-09 | 2017-09-19 | Accenture Global Services Limited | Predicting accuracy of object recognition in a stitched image |
EP3859425B1 (en) | 2015-09-17 | 2024-04-17 | S.D. Sight Diagnostics Ltd. | Methods and apparatus for detecting an entity in a bodily sample |
US9779492B1 (en) | 2016-03-15 | 2017-10-03 | International Business Machines Corporation | Retinal image quality assessment, error identification and automatic quality correction |
EP3436864B1 (en) | 2016-03-30 | 2021-04-28 | S.D. Sight Diagnostics Ltd. | Image processing device for identifying blood parasites |
US10674953B2 (en) * | 2016-04-20 | 2020-06-09 | Welch Allyn, Inc. | Skin feature imaging system |
WO2017195205A1 (en) | 2016-05-11 | 2017-11-16 | S.D. Sight Diagnostics Ltd | Sample carrier for optical measurements |
CA3023614C (en) * | 2016-05-16 | 2023-08-01 | The Governing Council Of The University Of Toronto | Methods and systems for image alignment of at least one image to a model |
JP7214729B2 (ja) | 2017-11-14 | 2023-01-30 | エス.ディー.サイト ダイアグノスティクス リミテッド | 光学測定用試料収容器 |
JP7420950B2 (ja) * | 2019-12-17 | 2024-01-23 | アプライド マテリアルズ インコーポレイテッド | 多重蛍光インシトゥハイブリダイゼーション画像を獲得し、処理するためのシステム及び方法 |
US11250568B2 (en) * | 2020-03-06 | 2022-02-15 | Bostongene Corporation | Techniques for determining tissue characteristics using multiplexed immunofluorescence imaging |
US20230136456A1 (en) * | 2021-10-28 | 2023-05-04 | Mectron Engineering Company, Inc. | Method of optical quality inspection of workpieces |
Family Cites Families (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5753130A (en) | 1992-05-15 | 1998-05-19 | Micron Technology, Inc. | Method for forming a substantially uniform array of sharp tips |
CA2236268A1 (en) | 1995-11-30 | 1997-06-05 | Chromavision Medical Systems, Inc. | Method and apparatus for automated image analysis of biological specimens |
JP4206192B2 (ja) | 2000-11-09 | 2009-01-07 | 株式会社日立製作所 | パターン検査方法及び装置 |
US6266452B1 (en) | 1999-03-18 | 2001-07-24 | Nec Research Institute, Inc. | Image registration method |
US7219016B2 (en) | 2001-04-20 | 2007-05-15 | Yale University | Systems and methods for automated analysis of cells and tissues |
US20040122787A1 (en) | 2002-12-18 | 2004-06-24 | Avinash Gopal B. | Enhanced computer-assisted medical data processing system and method |
US7490085B2 (en) | 2002-12-18 | 2009-02-10 | Ge Medical Systems Global Technology Company, Llc | Computer-assisted data processing system and method incorporating automated learning |
JP2004240931A (ja) | 2003-02-05 | 2004-08-26 | Sony Corp | 画像照合装置、画像照合方法、およびプログラム |
JP4327485B2 (ja) | 2003-03-20 | 2009-09-09 | 株式会社日立国際電気 | 欠陥検査装置 |
US8014625B2 (en) * | 2004-11-10 | 2011-09-06 | Agfa Healthcare | Method of performing measurements on digital images |
JP4541213B2 (ja) * | 2005-04-01 | 2010-09-08 | 共同印刷株式会社 | 電子透かし挿入方法及び電子透かし検出方法並びに電子透かし挿入装置及び電子透かし検出装置 |
US7709222B2 (en) | 2006-07-13 | 2010-05-04 | Yale University | Methods for making cancer prognoses based on subcellular localization of biomarkers |
US8131476B2 (en) | 2006-08-07 | 2012-03-06 | General Electric Company | System and method for co-registering multi-channel images of a tissue micro array |
CN101542527A (zh) * | 2006-11-16 | 2009-09-23 | 维斯欧法姆有限公司 | 可组合图像的基于特征的配准 |
US20100149183A1 (en) | 2006-12-15 | 2010-06-17 | Loewke Kevin E | Image mosaicing systems and methods |
JP2008282338A (ja) * | 2007-05-14 | 2008-11-20 | Toshiba Corp | 画像処理装置、画像処理プログラム及び方法 |
US8369600B2 (en) | 2008-03-25 | 2013-02-05 | General Electric Company | Method and apparatus for detecting irregularities in tissue microarrays |
US8880351B2 (en) * | 2008-03-25 | 2014-11-04 | General Electric Company | Method and apparatus for analysis of tissue microarrays |
JP4513906B2 (ja) * | 2008-06-27 | 2010-07-28 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム及び記録媒体 |
JP2010141572A (ja) * | 2008-12-11 | 2010-06-24 | Kyodo Printing Co Ltd | データ点検出方法、データ点検出装置及びデータ点検出プログラム |
US20110115896A1 (en) | 2009-11-19 | 2011-05-19 | Drexel University | High-speed and large-scale microscope imaging |
US8396269B2 (en) | 2010-04-08 | 2013-03-12 | Digital Pathco LLC | Image quality assessment including comparison of overlapped margins |
JP2012147180A (ja) * | 2011-01-11 | 2012-08-02 | Mitsubishi Electric Corp | 画像位置特定装置及び方法、位置合わせ信号埋込装置及び方法 |
US9247133B2 (en) * | 2011-06-01 | 2016-01-26 | Apple Inc. | Image registration using sliding registration windows |
US9064304B2 (en) * | 2013-03-18 | 2015-06-23 | General Electric Company | Image quality assessment of microscopy images |
-
2013
- 2013-03-18 US US13/846,447 patent/US9064304B2/en active Active
-
2014
- 2014-03-18 RU RU2015137587A patent/RU2015137587A/ru not_active Application Discontinuation
- 2014-03-18 CA CA2900544A patent/CA2900544A1/en not_active Abandoned
- 2014-03-18 CN CN201480016594.3A patent/CN105190690A/zh active Pending
- 2014-03-18 AU AU2014236057A patent/AU2014236057B2/en active Active
- 2014-03-18 JP JP2016504328A patent/JP6594294B2/ja active Active
- 2014-03-18 WO PCT/US2014/030972 patent/WO2014153322A2/en active Application Filing
- 2014-03-18 SG SG11201507736PA patent/SG11201507736PA/en unknown
- 2014-03-18 EP EP14719487.2A patent/EP2976747B1/en active Active
- 2014-03-18 KR KR1020157025280A patent/KR20150131046A/ko not_active Application Discontinuation
Also Published As
Publication number | Publication date |
---|---|
AU2014236057B2 (en) | 2019-08-01 |
JP6594294B2 (ja) | 2019-10-23 |
RU2015137587A (ru) | 2017-04-24 |
US9064304B2 (en) | 2015-06-23 |
EP2976747A2 (en) | 2016-01-27 |
JP2016514868A (ja) | 2016-05-23 |
KR20150131046A (ko) | 2015-11-24 |
CA2900544A1 (en) | 2014-09-25 |
SG11201507736PA (en) | 2015-10-29 |
US20140270425A1 (en) | 2014-09-18 |
AU2014236057A1 (en) | 2015-09-03 |
WO2014153322A2 (en) | 2014-09-25 |
WO2014153322A3 (en) | 2014-11-27 |
EP2976747B1 (en) | 2020-01-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105190690A (zh) | 显微图像的图像质量评估 | |
JP6496708B2 (ja) | コンピュータ実装方法、画像解析システム及びデジタル顕微鏡撮像システム | |
US7495827B2 (en) | Sample tube handling apparatus | |
TWI647452B (zh) | 具有放大功能的測試設備 | |
US11921101B2 (en) | Calibration in automated testing apparatus | |
US10324022B2 (en) | Analysis accuracy improvement in automated testing apparatus | |
JP2010151830A (ja) | 画像生成システム内のサンプル中の対象領域の位置を検証する装置および方法 | |
CN105278090B (zh) | 用于粘附于微量滴定板的流体填充井的底部上的样品的显微镜成像的方法 | |
US20130162803A1 (en) | Mosaic picture generation | |
US10921252B2 (en) | Image processing apparatus and method of operating image processing apparatus | |
US20080267469A1 (en) | Specimen analysis and acicular region analyzer | |
JP2022518233A (ja) | 光学顕微鏡の基準焦点面を識別するための印刷カバースリップ及びスライド | |
RU2540254C2 (ru) | Способ и устройство для планирования сканирования с использованием ультрафиолетового излучения | |
WO2021148465A1 (en) | Method for outputting a focused image through a microscope | |
CN112730449B (zh) | 自动对焦液晶模组微观三维立体检测光学方法 | |
TWI755755B (zh) | 用於測試生物樣本的裝置 | |
TWI699532B (zh) | 用於測試生物樣本的裝置 | |
JP2004108902A (ja) | カラー表示画面の欠陥分類方法およびその装置 | |
CN104865195A (zh) | 光学投影断层成像的检测方法 | |
CN115598822B (zh) | 智能多维度显微图像采集与处理方法 | |
Meyer et al. | Reducing the cost and complexity of imaging for digital protein detection in point-of-care diagnostics | |
Wang et al. | Objective evaluation of integrated structural defects of low-light-level image intensifier based on local image patch extreme and frequency fast Fourier transform | |
Sheikhzadeh et al. | CI Slide: calibration slide for quantitative microscopy imaging in absorbance | |
CN115267046A (zh) | 手机平板电脑联用的动态光调控生物比色检测方法及系统 | |
TW202221314A (zh) | 多視角晶圓分析 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20151223 |
|
WD01 | Invention patent application deemed withdrawn after publication |