CN105378538B - 用于多频谱成像的自动聚焦方法和系统 - Google Patents
用于多频谱成像的自动聚焦方法和系统 Download PDFInfo
- Publication number
- CN105378538B CN105378538B CN201480040328.4A CN201480040328A CN105378538B CN 105378538 B CN105378538 B CN 105378538B CN 201480040328 A CN201480040328 A CN 201480040328A CN 105378538 B CN105378538 B CN 105378538B
- Authority
- CN
- China
- Prior art keywords
- image
- offset
- color
- plane
- color channel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 238000003384 imaging method Methods 0.000 title description 37
- 238000001228 spectrum Methods 0.000 title description 5
- 239000011521 glass Substances 0.000 claims description 113
- 238000004458 analytical method Methods 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 18
- 238000005259 measurement Methods 0.000 claims description 17
- 238000003860 storage Methods 0.000 claims description 17
- 238000000429 assembly Methods 0.000 claims description 16
- 230000000712 assembly Effects 0.000 claims description 16
- 230000000007 visual effect Effects 0.000 claims description 13
- 230000003287 optical effect Effects 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 7
- 230000000694 effects Effects 0.000 claims description 2
- 238000012512 characterization method Methods 0.000 claims 3
- 239000003086 colorant Substances 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 30
- 230000015572 biosynthetic process Effects 0.000 abstract 2
- 238000003786 synthesis reaction Methods 0.000 abstract 2
- 210000001519 tissue Anatomy 0.000 description 19
- 238000004422 calculation algorithm Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 12
- 230000002708 enhancing effect Effects 0.000 description 7
- 238000012360 testing method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 239000000571 coke Substances 0.000 description 4
- 241000894006 Bacteria Species 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 210000004027 cell Anatomy 0.000 description 3
- 238000004040 coloring Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000007901 in situ hybridization Methods 0.000 description 3
- 238000003909 pattern recognition Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 108091028043 Nucleic acid sequence Proteins 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 210000000481 breast Anatomy 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 239000006071 cream Substances 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000000762 glandular Effects 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000007170 pathology Effects 0.000 description 2
- 108020004635 Complementary DNA Proteins 0.000 description 1
- 108020004394 Complementary RNA Proteins 0.000 description 1
- 241001269238 Data Species 0.000 description 1
- 230000005526 G1 to G0 transition Effects 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 241000251539 Vertebrata <Metazoa> Species 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 239000012620 biological material Substances 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 238000010804 cDNA synthesis Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 210000001726 chromosome structure Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002299 complementary DNA Substances 0.000 description 1
- 239000003184 complementary RNA Substances 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000004043 dyeing Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000000799 fluorescence microscopy Methods 0.000 description 1
- 238000003706 image smoothing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000006651 lactation Effects 0.000 description 1
- 210000005075 mammary gland Anatomy 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000000386 microscopy Methods 0.000 description 1
- 238000011369 optimal treatment Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000006116 polymerization reaction Methods 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 230000000699 topical effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 210000004881 tumor cell Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/24—Base structure
- G02B21/241—Devices for focusing
- G02B21/244—Devices for focusing using image analysis techniques
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0052—Optical details of the image generation
- G02B21/006—Optical details of the image generation focusing arrangements; selection of the plane to be imaged
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0052—Optical details of the image generation
- G02B21/0072—Optical details of the image generation details concerning resolution or correction, including general design of CSOM objectives
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/008—Details of detection or image processing, including general computer control
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
Abstract
公开了用于获取显微镜载玻片的聚焦图像的技术。在校准阶段期间，使用非合成和/或合成自动聚焦技术确定“基本”焦平面。另外，偏移平面针对彩色通道（或滤波器波段）而确定且被用于生成自动聚焦模型。在后续扫描期间，自动聚焦模型可以用于快速估计针对每一个彩色通道（或滤波器波段）所感兴趣的焦平面而不是重新采用非合成和/或合成自动聚焦技术。
Description
技术领域
本文所公开的技术涉及用于对显微镜载玻片进行成像的基于计算机的系统以及自动聚焦技术。
背景技术
数字病理学装备通常用于产生显微镜载玻片的数字图像。病理学家和血液化验设备操作员通常在视觉上检查数字图像以获得关于组织样本的信息并识别最适当的治疗以改进临床结果。为了产生彩色图像，自动化载玻片扫描仪通常在红色、绿色和蓝色（RGB）通道中的每一个中获取图像并组合图像以产生RGB图像。扫描仪还获取具有不同频谱特性的多个图像通道，像例如具有多节或可调谐滤波器的台架（bench）的荧光成像器，以获取图像数据。为了得到合适的图像数据，自动化载玻片扫描通常包括：在大数目的不同Z平面处自动扫描组织样本。许多所捕获的图像提供极少价值或不提供价值，因为图像数据通常在大部分Z平面中失焦。该问题同样影响使用滤波器台架的荧光成像。
此外，针对蓝色或绿色通道中的最佳聚焦的Z平面可能不是针对红色通道中的最佳聚焦的Z平面，尤其是如果被成像的特征是小的（例如，小于光的波长的20倍）。一个彩色通道中的图像模糊可能削弱总体彩色图像质量，造成针对解释、诊断和/或自动化图像分析的严重问题。为了减少模糊，彩色载玻片扫描仪可以获取图像的完整Z堆叠（例如，针对每一个彩色通道的图像的Z堆叠的集合）并使用复杂的自动聚焦算法来从Z堆叠创建单个图像。不幸的是，这要求显著的Z堆叠获取时间、存储大量Z堆叠数据的存储器、和分析Z堆叠数据并生成彩色图像的显著处理时间。可替换地，常规彩色载玻片扫描仪可以选择针对一个通道的聚焦平面（或焦平面）且然后在所选聚焦平面处扫描其它通道。例如，聚焦平面可以针对绿色通道的最佳聚焦而选择。载玻片扫描仪在该聚焦平面处获取红色和蓝色通道中的图像以产生彩色或多频谱图像。不幸的是，用于所有通道的公共聚焦平面可能不是针对每一个通道的最佳聚焦平面，造成针对由颜色主导的特征而不是主导了聚焦过程的特征的复合图像中的不希望的图像模糊。
发明内容
所公开的技术的至少一些实施例是成像系统，其通过在被选择以改进光学锐利度、颜色可分离性和人类可读性之间的平衡的焦平面处捕获图像来增强复合图像的聚焦。数字成像器设备的每一个通道（例如，彩色通道）或滤波器波段可以具有不同的焦平面。“对焦的”焦平面可以被选择以捕获有限数目的图像（例如，每通道或滤波器波段一个图像）以产生针对所有彩色通道最优地聚焦的复合图像而同时限制成像时间、数据存储等等。成像系统可以通过组合在相应焦平面处获得的不同彩色通道中的各个图像来产生例如试样的高度聚焦的彩色图像。
焦平面或“对焦的”Z切片可以对应于具有最少量的模糊、最锐利的图像等的通道（或滤波器波段）中的所捕获的图像。每一个彩色通道（或滤波器波段）是使用针对该彩色通道（或滤波器波段）的最优焦平面或Z切片来捕获的以限制或相当大地减少在复合图像中观察到的模糊和/或失真（例如色差）的量。成像系统可以对指示例如来自患者的组织样本的组织特性的一个或多个校准显微镜载玻片（例如幻影载玻片、组织特定训练载玻片等）进行成像。成像系统可以分析校准载玻片的所获取的图像以评估例如失真、色差或其它不希望的问题。在一些校准过程中，确定针对所有彩色通道的单个自动聚焦平面与针对每一个彩色通道的最佳单独焦平面之间的色差或失真的影响。
成像系统可以使用模型拟合技术来处理相同组织样本或不同组织样本的后续视场。模型拟合可以是涉及例如作为变量的试样定位和通道或波段焦平面的多项式拟合或其它合适拟合的偏移或拟合技术。在一些校准过程中，可以获得一个或多个校准载玻片的图像的Z堆叠。成像系统可以确定针对每一个通道或滤波器波段的焦平面并将焦平面与从自动聚焦算法预测的焦平面进行比较。向在对像组织、细胞等那样的物体进行成像时应用的聚焦方法提供该信息。信息以及因此自动聚焦算法可以基于比较而连续或周期性地更新以提高自动聚焦算法的精确度。在一些实施例中，基于所预测的焦平面和实际对焦焦平面处的图像的比较来更新自动聚焦算法。一个通道中的图像的比较可以用于选择其它通道中的焦平面。因此，单个通道中的两个图像可以用于确定附加通道中的最优焦平面。此外，一个通道的自动对焦算法可以基于另一通道的调节（例如聚焦）而调节。这可以减少总体处理时间并增强图像质量。
在一些实施例中，多频谱的基于计算机的系统获取显微镜载玻片的聚焦彩色图像。在校准步骤中，系统确定相对于针对彩色数字成像器的一个或多个彩色通道的参考聚焦平面的Z偏移。一个或多个参考聚焦平面可以是例如针对最终图像中的彩色通道的子集中的每一个彩色通道单独选择的最佳聚焦平面。在扫描步骤中，系统可以确定针对彩色数字成像器的视场的最佳聚焦平面。彩色数字成像器可以依照在校准步骤中确定的Z偏移来在红色、绿色和蓝色通道中的一个或多个中的视场中获得图像数据。而且，可以执行不同例程以单独自动聚焦每一个彩色通道，并且可以基于应用和手边的所成像的组织来选择用于自动聚焦的方法。
在一些实施例中，用于获取显微镜载玻片的聚焦图像的方法可以使用具有光学系统和数字彩色相机的显微镜而执行。该方法包括：将存在于光学系统中的色差表征为相对于数字彩色相机的红色、绿色和蓝色通道中的每一个中的最佳聚焦平面的Z偏移。显微镜载玻片可以以通过依照Z偏移从红色、绿色和蓝色通道获得图像数据来减小所表征的色差的效应的方式成像。多频谱系统可以包括存储可被执行以自动聚焦光学系统的指令的存储器。
附图说明
图1图示了依照所公开的技术的实施例的用于执行自动聚焦技术的基于计算机的系统和环境。
图2是图示了依照所公开的技术的实施例的用于增强自动聚焦例程的设施的框图。
图3是图示了依照所公开的技术的实施例的校准组件的处理的流程图。
图4是图示了依照所公开的技术的实施例的Z校准组件的处理的流程图。
图5是图示了依照所公开的技术的实施例的扫描组件的处理的流程图。
图6是图示了依照所公开的技术的实施例的Z扫描组件的处理的流程图。
图7是图示了依照所公开的技术的实施例的测试组件的处理的框图。
图8A-8E是依照所公开的技术的实施例的针对特定载玻片生成的各种Z切片或焦平面处的显示图像。
具体实施方式
所公开的技术的至少一些实施例是包括被配置成通过捕获针对不同彩色通道或滤波器波段的不同焦平面和/或Z切片（例如，通过Z堆叠或焦平面合并过程而生成的Z平面）处的图像改进所捕获的图像的“锐利度”的设施的成像系统。对于每一个彩色通道或滤波器波段，该设施识别具有最少量的模糊的焦平面或Z切片（即，“最为对焦的”焦平面或Z切片）并使用这些焦平面或Z切片以例如捕获聚焦图像。聚焦图像可以被组合以产生聚焦复合图像。例如，聚焦红色通道图像、聚焦绿色通道图像和聚焦蓝色通道图像可以被组合以产生聚焦彩色图像。由于该设施使用针对每一个彩色通道（或滤波器波段）的最优焦平面或Z切片，因此可以减少在最终复合图像中观察到的色差的量。
应当指出的是，尽管对于显微术和数字成像的领域的技术人员而言，说到图像的“锐利度”或聚焦的锐利度是典型的，但是我们想要在本专利中强调的是，“最佳聚焦”不一定是“最锐利的”。通常更好的是与光学或焦点锐利度形成某种组合地优化颜色可分离性或人类可读性。因此，通过“更锐利”和“最锐利”，发明人意指在平衡光学锐利度、颜色可分离性和人类可读性的意义上的“更优”或“最优”。“人类可读性”被包括，这是因为如果试样的某个精细结构（与诊断不相关的组织结构）并不如此明显则通常图像更容易解释，并且这可以被包括在本专利中所标识的模型中。
本文所描述的技术可以用于增强已知自动聚焦和Z切片技术，诸如包括但不限于相位检测自动聚焦技术、对比度检测自动聚焦技术等等的被动或主动式自动聚焦技术。附加的自动聚焦、Z切片和载玻片成像技术由Bradley和Bamform描述在“A One-passExtended Depth of Field Algorithm Based on the Over-complete Discrete WaveletTransform”；Image and Vision Computing '04 New Zealand (IVCNZ'04), Akaroa, NewZealand, pp. 279-284（2004年11月）；2011年5月4日提交的题为“Autofocus Imaging”的美国非临时专利申请No. 13/697,681；2010年7月23日提交的题为“On-the-Fly FocusingSensor”的美国临时申请No. 61/367,341；2010年1月28日提交的题为“Slide Caching ina Slide Scanning Microscope”的美国临时申请No. 61/299,231；2009年11月13日提交的题为“Scanning Microscope Slide Stage”的美国临时申请No. 61/261,251；2009年10月29日提交的题为“High Speed Slide Scanning System for Digital Pathology”的美国临时申请No. 61/256,228；2009年10月19日提交的题为“On-the-Fly Focusing Systemsand Techniques for Scanning Microscopes”的美国临时申请No. 61/252,995；以及2012年10月28日提交的题为“Color Space Transformations for Use in IdentifyingObjects of Interest in Biological Specimens”的美国专利No. 7,200,252中。
在一些实施例中，设施在校准阶段或步骤期间生成自动聚焦模型并在后续的载玻片扫描和/或视场扫描期间使用所生成的自动聚焦模型以减少扫描时间且减小数据大小而同时提供针对每一个单独彩色通道（或滤波器波段）的改进的聚焦。在校准步骤期间，设施确定针对一个图像的“基本”自动聚焦平面或Z切片且然后确定针对各种彩色通道（或滤波器波段）的自动聚焦平面“偏移”。校准步骤包括：分析表示试样（例如细菌、生物材料等等）、组织（例如乳腺组织、肿瘤组织等等）或其它要扫描的试样的一个或多个“幻影”或“训练载玻片”。通过经由分析在不同焦平面处捕获的（一个或多个）载玻片的图像向（一个或多个）训练载玻片应用自动聚焦技术来确定“基本”值。本领域技术人员将认识到，可以采用许多不同自动聚焦算法，包括以上提到的那些自动聚焦算法和其它自动聚焦技术。在一些实施例中，使用（一个或多个）载玻片的灰阶版本来生成“基本”值。在其它实施例中，使用单个彩色通道、彩色通道的组合（例如，可由诸如绿色之类的单个彩色通道主导的彩色通道的组合）、单个滤波器波段、光度值等来生成“基本”值。校准步骤还可以包括：确定对应于焦平面的针对每一个彩色通道（或滤波器波段）的Z中的“偏移”值，该“偏移”值提供针对彩色通道（或滤波器波段）的最高锐利度程度。设施可以通过经由分析在不同焦平面（或不同Z切片）处捕获的（一个或多个）载玻片的彩色通道或滤波器波段特定图像以识别最锐利的焦平面（或Z切片）向第一载玻片应用自动聚焦技术来确定每一个“偏移”值。每一个“偏移”值可以被计算为与“基本值”的差异。例如，如果“基本”值在23μm（微米）的Z处，并且针对红色通道的最锐利的焦平面在24μm的Z处，则红色通道偏移是+1μm。作为另一示例，如果“基本”值为25μm并且针对红色通道的最锐利的焦平面是24μm，则红色通道偏移是-1μm。作为另一示例，如果“基本”Z切片具有索引7并且针对红色通道的最锐利的Z切片具有索引9，则红色通道偏移是+2。在一些实施例中，基本值可以对应于透镜相对于其总体移动范围的度量。例如，如果透镜具有50μm的总体移动范围，基本值可以表示沿总体移动范围的0μm与50μm之间的度量。当使用多个训练载玻片时，可以通过例如计算针对每一个载玻片定位/彩色通道（或滤波器波段）的平均基本和偏移值、使用最常见的基本和偏移值、或其它合适的聚合技术来将所得到的基本和偏移值组合成单个复合模型。
在一些实施例中，设施将载玻片数据划分成网格（例如1x1、3x3、9x9、12x24、100x1000等）并针对网格的每一个区段执行校准步骤。例如，如果设施将载玻片数据划分成3x3网格，设施生成针对9个区段中的每一个的一个“基本”值并生成针对9个区段中的每一个的针对每一个彩色通道或滤波器波段的一个偏移值。以此方式，可以针对网格的每一个区段优化模型。可以使用例如所捕获的图像数据的灰阶版本、针对所捕获的图像数据的光度值、所捕获的图像数据的单个彩色通道（例如红色、绿色、蓝色）、特定滤波器波段等来计算“基本”值。
在一些实施例中，设施通过在针对例如反映针对独立彩色通道（或滤波器波段）的组织结构可变性的合适幻影载玻片或组织特定训练载玻片（即，校准载玻片）集合的校准阶段期间调用现有自动对焦算法来创建校准数据。设施还可以调用现有单个通道自动聚焦方法并将结果与增强的自动聚焦方法进行比较以确定作为单个平面自动聚焦与每一个单独最佳聚焦平面之间的差异的色差的影响。可以采用模型拟合（例如，使用载玻片定位和彩色通道（或滤波器波段）作为变量的偏移或多项式拟合）而同时在校准之后扫描载玻片。
在某些实施例中，设施从合适幻影载玻片的Z切片扫描创建校准数据并单独针对每一个彩色通道（或滤波器波段）确定具有最佳聚焦的Z切片并将这与被应用于相同载玻片的自动聚焦算法的结果进行比较以生成可被应用于后续扫描的载玻片的偏移值。在一些实施例中，设施将该校准技术应用于后续扫描的载玻片并将校准信息与之前生成的模型进行比较以确定是否需要更新模型。
可以在没有偏移的情况下针对载玻片确定的“基本”自动聚焦平面或Z切片处获取至少一个彩色通道。因此，在标准聚焦平面处且利用通过应用如以上讨论的偏移修改的聚焦平面对至少一个彩色通道进行成像。对于每一个彩色通道，可以针对所获取的两个焦平面或Z切片计算聚焦锐利度量度并且可以针对输出而选择最优平面（即，最锐利）。适当的聚焦锐利度优化量度可以基于从图像的x方向和y方向上的图像强度的梯度导出或者与其相关的某种计算。在一个实施例中，这样的量度的计算可以通过在x方向和/或y方向上将图像平移几个像素并对绝对差进行求和而执行。更复杂的聚焦优化量度算法（包括例如聚焦锐利度的应用特定度量）被频繁用于相比于其它特征而增强来自一种类型的特征（诸如点、角、线、脊、稳定期或对考虑中的图像来说共有的其它形状）对该计算的贡献。聚焦锐利度（传统“锐利度”）量度的综述可以在S. Pertuz, D. Puig, M. Angel Garcia, "Analysisof focus measure operators for shape-from-focus," Pattern Recognition, 第46卷, 第5期, 2013年5月, 第1415-1432页中找到，其中它们被称为“聚焦度量运算符”。用于计算一般化聚焦锐利度量度的另一方法是：实施表示图像的一个彩色通道或在图像中可用的彩色通道的组合的单色图像上的中值滤波器操作或其它类型的图像平滑。在这样的滤波器之后，经平滑的图像可以被减去或以其它方式与原始图像组合以产生当图像对焦时具有较高绝对值且在其失焦时具有较低绝对值的标量、矢量或矩阵。对两个图像的绝对差进行求和是这样的组合方法的一个示例。对此扩展，中值滤波器可以被并行地实施多次，从而将滤波器的局部应用从3x3像素增加到5x5像素到7x7像素等。对应于所得到的图像中的最大值（或强度的任何其它度量）的值（有时包括原始值）可以被拟合成直线或以表征值序列的某种其它方式组合。对于处于锐利聚焦中的图像，这样的线的斜率大于针对未处于锐利聚焦中的图像的斜率。因此，利用扫描获取过程，针对所成像的载玻片获取不多于两个图像，而聚焦性能将不示出相比于标准自动聚焦技术的损失。该附加自动质量保证技术可以例如在实验指示对于一些经修改的获取而言的图像质量降级的风险时使用。在一些实施例中，如果以上提到的自动质量保证技术失效，设施自动更新模型参数以用于校正自动聚焦算法的色差。如果需要或期望的话，可以采用鲁棒的更新方案（例如，针对最后N个Z切片扫描的最优设置的之前和当前观察或搜索的加权匹配）。
图1图示了依照所公开的技术的实施例的用于分析组织试样的基于计算机的系统和环境。分析系统100包括成像装置110和客户端计算机系统120。可以将试样承载显微镜载玻片装载到成像装置110中。成像装置110可以执行自动聚焦技术并产生多个彩色通道中的试样的图像。在一些实施例中，成像装置包括用于明场和/或试样承载显微镜载玻片的荧光成像的显微镜。成像装置110还可以是全载玻片扫描仪。一个示例全载玻片扫描仪是受让人Ventana Medical Systems, Inc. (Tucson, AZ)的VENTANA iScan HT产品。可以通过直接连接（未示出）或经由网络130将图像发送到客户端计算机系统120。客户端计算机系统120向诸如病理学家、血液化验设备操作员等之类的用户显示图像。
成像装置110可以包括而不限于一个或多个图像捕获设备111和设施200。成像装置110的内部组件以假想线示出。图像捕获设备111可以包括而不限于具有光学系统（例如一个或多个透镜115、传感器聚焦透镜组、显微镜物镜等）、成像传感器（例如电荷耦合器件（CCD）、互补金属氧化物半导体（CMOS）图像传感器等）等的数字成像器113（例如数字相机）。在数字实施例中，数字成像器113可以包括协作以提供聚焦（例如自动聚焦）的多个透镜。CCD传感器可以捕获试样载玻片117的数字图像。在一些实施例中，数字成像器113具有用于产生彩色图像的红色、绿色和蓝色通道并可操作成在不同焦平面或Z切片处捕获图像。在其它实施例中，数字成像器113是单色或彩色传感器，光学系统包括多节和/或可调谐滤波器，并且，通过从具有不同滤波器和/或滤波器设置的成像器113获取多个图像来创建多频谱或彩色图像通道。产生彩色图像的一个方法包括：确定包括包含试样的至少部分的显微镜载玻片的区或载玻片定位的一个或多个扫描区域。扫描区域可以被划分成多个快照。可以通过组合快照来产生图像。整个试样或载玻片的组合图像可以具有带有相同或不同焦平面处的RGB通道中的图像的快照。成像装置100还可以包括入口门121和控制器123。可以经由入口门121将载玻片装载到成像装置110中，并且控制器123可以用于控制成像装置110的操作。
成像装置110和客户端计算机系统120可以包括台式计算机、膝上型计算机、平板电脑等并可以包括数字电子电路、固件、硬件、存储器、计算机存储介质、计算机程序、处理器（包括编程处理器）等并可以以二进制形式存储数字图像。图像还可以被划分成像素的矩阵。像素可以包括由位深度定义的一个或多个位的数字值。数字值可以表示例如能量、亮度、颜色、强度、密度、海拔或通过图像处理而导出的经分类的值。非限制性示例性数字图像格式包括但不限于位映射的联合图片专家组（JPEG）、标签图像文件格式（TIFF）和图形互换格式（GIF）以及其它数字数据格式。
网络130或直接连接将成像装置110和客户端计算机系统120互连。网络130可以包括而不限于一个或多个网关、路由器、桥接器、其组合等。网络130可以包括一个或多个服务器和对用户来说可访问且可以用于发送和接收客户端计算机系统120可利用的信息的一个或多个网站。服务器可以包括而不限于用于存储信息（例如数字图像、算法、染色协议等）的一个或多个关联的数据库。网络130可以包括但不限于使用传输控制协议（TCP）、用户数据报协议（UDP）、互联网协议（IP）和其它数据协议的数据网络。客户端计算机系统120可以执行本文讨论的方法和技术。客户端计算机系统120的组件和特征可以与所公开的技术的其它组件和特征混合和匹配。
图2是图示了在一些实施例中用于增强自动聚焦例程的设施200的框图。设施200包括校准组件210、Z校准组件220、扫描组件230、240、测试组件250、载玻片数据储存器260和模型储存器270。设施可以选择性地调用校准组件210、Z校准组件220、扫描组件230、240和/或测试组件250。校准组件210校准和生成可被应用于后续扫描的载玻片的基于焦平面的自动聚焦模型。Z校准组件220校准和生成可被应用于后续扫描的载玻片的基于Z切片的自动聚焦模型。扫描组件230可以使用由校准组件210生成的基于焦平面的自动聚焦模型来扫描和生成图像。Z扫描组件240可以使用由Z校准组件210生成的基于Z切片的自动聚焦模型来扫描和生成图像。测试组件250确定之前生成的模型是否需要被更新，且如果需要则更新模型。载玻片数据储存器260存储所捕获的载玻片数据（例如图像，诸如Z切片、元数据等）。模型储存器270存储模型信息，诸如针对不同载玻片定位和不同载玻片数据类型的基本值和偏移值。例如，模型储存器270可以包括针对不同类型的组织或其它成像数据的不同模型。
图3是图示了依照一些实施例的图2的校准组件210的处理的流程图。校准组件210可以针对单个训练载玻片或一系列训练载玻片而调用以生成自动聚焦模型。在块305中，组件确定针对载玻片的一个或多个载玻片定位。例如，如果组件被配置成生成针对特定网格配置的值，组件识别对应于网格区段的载玻片的一个或多个区域。在一些实施例中，组件可以提示用户识别载玻片定位。
在块310-345中，组件循环通过每一个所确定的载玻片定位以生成针对每一个载玻片定位的基本和偏移值。在块315中，组件调用自动聚焦技术来识别针对当前载玻片的对焦的焦点“基本”平面并存储焦平面的指示（例如，从成像装置的透镜或其它部分到焦平面的距离）和载玻片定位。在一些实施例中，基本平面可以通过分析载玻片的灰阶图像而确定。在其它实施例中，基本平面可以通过分析特定彩色通道（或滤波器波段）而确定。在块320-340中，组件循环通过每一个彩色通道（或滤波器波段）以确定针对每一个彩色通道（或滤波器波段）的偏移值。在块325中，组件调用自动聚焦技术来识别针对当前所选彩色通道（或滤波器波段）和载玻片定位的对焦焦平面。例如，对焦平面可以基于从成像装置的透镜或其它部分到焦平面的距离而确定。在块330中，基于在块325和315中识别的焦平面之间的距离来确定针对当前所选彩色通道（或滤波器波段）的偏移。在块335中，组件存储所确定的偏移。在块340中，选择下一彩色通道（或滤波器波段），如果存在的话，并且，组件然后循环回来以处理下一彩色通道（或滤波器波段）。在块345中，组件选择下一载玻片定位，如果存在的话，且然后循环回来以处理下一载玻片定位。
在块350中，使用针对每一个载玻片定位确定的基本和偏移值来生成自动聚焦模型。自动聚焦模型存储例如载玻片定位的数目和位置的指示、所扫描的材料的类型（例如乳腺组织、细菌等）的指示、针对对应于基本焦平面的每一个载玻片定位的基本值、以及对于每一个彩色通道或滤波器波段而言针对每一个载玻片定位的一个偏移值。表1提供了可被存储在使用3x3网格布局针对组织生成的模型中的数据的类型的示例。
在该示例中，模型包括九个红色通道偏移（offsetred）、九个绿色通道偏移（offsetgreen）和九个蓝色通道偏移（offsetblue），针对每一个载玻片定位有每一种中的一个。在一些实施例中，模型还可以存储被用于确定基本焦平面的图像的类型的指示（例如，灰阶图像、特定滤波器波段、特定彩色通道）。尽管表1中存储的数据以人类容易解释的格式示出，但是本领域技术人员将认识到，数据可以以任何方式或数据结构存储。
图4是图示了依照一些实施例的校准和生成基于Z切片的自动聚焦模型的Z校准组件220的处理的流程图。组件220可以由设施200针对单个训练载玻片或一系列训练载玻片而调用以生成自动聚焦模型。在块405中，组件使用任何聚焦堆叠技术来生成针对载玻片的Z切片。在一些实施例中，组件可以检索从之前捕获的载玻片数据生成的所存储的Z切片。以此方式，所公开的技术可以用于增强之前捕获的载玻片的自动聚焦。在块410中，可以确定针对载玻片的一个或多个载玻片定位。例如，如果组件被配置成生成针对特定网格配置的值，组件识别对应于网格区段的载玻片的区域。在一些实施例中，提示用户识别载玻片定位。在块415-450中，组件循环通过每一个所确定的载玻片定位以生成针对每一个载玻片定位的基本和偏移值。在块420中，分析Z切片以通过例如使用已知的聚焦堆叠技术来识别具有最锐利图像的Z切片。在一些实施例中，基本Z切片可以通过分析每一个Z切片的灰阶版本而确定。在其它实施例中，基本Z切片可以通过分析特定彩色通道或滤波器波段而确定。在块425-445中，组件循环通过每一个彩色通道（或滤波器波段）以确定针对每一个彩色通道（或滤波器波段）的偏移值。在块430中，识别针对当前彩色通道的具有最锐利图像的Z切片。在块435中，基于在块420和430中识别的Z切片之间的差异确定针对当前所选彩色通道（或滤波器波段）的偏移。在块440中，组件存储所确定的偏移。在块445中，选择下一彩色通道（或滤波器波段），如果存在的话，并且，组件然后循环回来以处理下一彩色通道（或滤波器波段）。在块450中，组件选择下一载玻片定位，如果存在的话，且然后循环回来以处理下一载玻片定位。在块455中，使用针对每一个载玻片定位确定的基本和偏移值生成自动聚焦模型。自动聚焦模型存储例如载玻片定位的数目和位置的指示、所扫描的材料的类型（例如乳腺组织、细菌）的指示、针对对应于基本Z切片的每一个载玻片定位的基本值、以及对于每一个彩色通道或滤波器波段而言针对每一个载玻片定位的一个偏移值。表2提供了可被存储在使用3x3网格布局针对组织生成的模型中的数据的类型的示例。
在该示例中，生成了16个Z切片并且每一个Z切片由从0到15的索引标识。另外，模型包括九个红色通道偏移（offsetred）、九个绿色通道偏移（offsetgreen）和九个蓝色通道偏移（offsetblue），针对每一个载玻片定位有每一种中的一个。在一些实施例中，模型还可以存储被用于确定基本焦平面的图像的类型的指示（例如灰阶图像、特定滤波器波段、特定彩色通道）。尽管表2中存储的数据以人类容易解释的格式示出，但是本领域技术人员将认识到，数据可以以任何方式或数据结构存储。
图5是图示了依照一些实施例的用于基于自动聚焦模型捕获载玻片的图像的图2的扫描组件230的处理的流程图。在块505中，组件基于模型来确定载玻片定位。使用表1的模型作为示例，组件可以通过将载玻片分割成对应于3x3网格的9个部分来识别对应于3x3网格中的每一个定位的载玻片部分。在一些实施例中，模型可以包括关于每一个部分的位置的附加信息，如果例如这些部分不是相同大小的话；扫描组件可以使用该信息来确定载玻片定位。在块510-550中，组件循环通过每一个所确定的载玻片定位以捕获针对每一个载玻片定位的一个或多个图像。在块515中，使用自动聚焦技术来识别针对当前载玻片的对焦的焦点“基本”平面。基本平面是通过分析以生成了用于识别模型中的基本平面的图像的相同方式生成的图像来识别的。例如，如果模型中的基本平面是通过分析灰阶图像来识别的，则扫描组件分析当前载玻片的灰阶图像以确定针对当前载玻片的基本平面。在块520-545中，组件循环通过每一个彩色通道（或滤波器波段）以捕获针对每一个的对应图像。在块525中，确定由模型存储的针对当前彩色通道（或滤波器波段）的偏移。在块530中，组件基于在块515中确定的“基本”平面以及偏移来调节焦平面。例如，如果所确定的“基本”平面在3.2μm处并且偏移为-1.1μm，则组件将把焦平面调节至2.1μm。在块535中，组件使用经调节的焦平面和当前彩色通道（或滤波器波段）来捕获载玻片的图像。在块540中，存储所捕获的图像。在块545中，选择下一彩色通道（或滤波器波段），如果存在的话，并且，组件然后循环回来以处理下一彩色通道（或滤波器波段）。在块550中，组件选择下一载玻片定位，如果存在的话，且然后循环回来以处理下一载玻片定位。组件然后返回所捕获的图像数据以用于进一步处理和分析。
图6是图示了用于基于诸如由Z校准生成的自动聚焦模型之类的之前生成的自动聚焦模型生成针对载玻片的图像的Z扫描组件240的处理的流程图。在块605中，组件生成针对当前载玻片的Z切片。在块610中，基于模型来确定载玻片定位。使用表2的模型作为示例，组件可以通过将载玻片分割成对应于3x3网格的9个部分来识别对应于3x3网格中的每一个定位的载玻片部分。在一些实施例中，模型可以包括关于每一个部分的位置的附加信息，如果例如这些部分不是相同大小的话；Z扫描组件可以使用该信息来确定载玻片定位。在块615-675中，组件循环通过每一个所确定的载玻片定位以捕获针对每一个载玻片定位的一个或多个图像。在块620中，分析所生成的Z切片以识别具有最锐利图像的Z切片。通过分析以生成了用于识别模型中的基本Z切片的图像的相同方式生成的图像来识别基本Z切片。例如，如果通过分析灰阶图像识别了模型中的基本Z切片，则Z扫描组件分析当前载玻片的灰阶图像以确定针对当前载玻片的基本Z切片。作为另一示例，如果通过分析红色通道图像识别了模型中的基本Z切片，则Z扫描组件分析当前载玻片的红色通道图像以确定针对当前载玻片的基本Z切片。在块625-670中，组件循环通过每一个彩色通道（或滤波器波段）以捕获针对每一个的对应图像。在块630中，组件确定模型所存储的针对当前彩色通道（或滤波器波段）的偏移。在块635中，组件基于在块620中确定的基本Z切片以及所确定的偏移来确定偏移Z切片。例如，如果所确定的“基本”Z切片具有索引7并且偏移为-2，则组件将识别对应于索引5的Z切片。在块640中，组件使用聚焦锐利度度量来确定基本Z切片的锐利度，该聚焦锐利度度量诸如是图像和经漂移（例如，在一个方向上漂移几个像素）的相同图像之间的绝对差之和、图像和利用平滑操作对成像进行滤波的结果之间的绝对差之和、在利用不同滤波尺度处的多个平滑操作对图像进行滤波之后提取的聚焦锐利度度量、或其任何组合。在块645中，组件确定偏移Z切片的锐利度。在判决块650中，如果基本Z切片的锐利度大于偏移Z切片的锐利度，则组件在块655处继续，否则组件在块665处继续。在块655中，将基本Z切片选择为针对当前载玻片定位和彩色通道（或滤波器波段）的图像数据。以此方式，如果偏移Z切片的锐利度小于基本Z切片的锐利度，则将选择较锐利的Z切片。在块660中，组件可选地更新模型以调节针对当前载玻片定位和彩色通道（或滤波器波段）的偏移。例如，每当特定模型用于分析载玻片时，组件可以记录针对每一个载玻片定位和彩色通道（或滤波器波段）对而选择的Z切片的索引并在更新模型时使用该信息来计算平均。例如，之前的5、10、15或100个Z切片索引的平均（例如，加权平均）可以用于更新模型。在块665中，组件将偏移Z切片选择为针对当前载玻片定位和彩色通道（或滤波器波段）的图像数据。在块670中，选择下一彩色通道（或滤波器波段），如果存在的话，并且，组件然后循环回来以处理下一彩色通道（或滤波器波段）。在块675中，选择下一载玻片定位，如果存在的话，并且，组件然后循环回来以处理下一载玻片定位。组件然后返回所选图像数据以用于进一步处理和分析。
图7是图示了依照一些实施例的用于确定是否需要更新之前生成的模型且如果需要则更新模型的测试组件250的处理的框图。在块705中，组件调用Z校准组件以基于所接收到的载玻片生成新模型。在块710中，组件存储新模型。在块715中，由组件确定载玻片定位。在块720-740中，组件循环通过每一个载玻片定位以确定新模型与之前生成的模型之间的偏移差。在块725-735中，组件循环通过每一个彩色通道（或滤波器波段）。在块730中，确定针对新模型中的当前定位和彩色通道（或滤波器波段）的偏移之间的差，并且组件确定针对之前生成的模型中的当前定位和彩色通道（或滤波器波段）的偏移。在块735中，组件选择下一彩色通道（或滤波器波段），如果存在的话，并然后循环回来以处理下一彩色通道（或滤波器波段）。在块740中，选择下一载玻片定位，如果存在的话，并且，组件然后循环回来以处理下一载玻片定位。在块745中，组件计算对应于两个模型之间的距离的模型差值。例如，通过计算在块730中确定的偏移差的平均来确定差值。作为另一示例，每一个模型可以是偏移矢量并基于偏移差平方和的平方根来计算二者之间的距离（例如，
其中，N表示载玻片定位和彩色通道（或滤波器波段）对的数目，并且偏移差表示在块730中针对特定载玻片定位和彩色通道（或滤波器波段）对而计算的偏移确定。在判决块750中，如果所确定的模型差值大于预定的阈值，则组件在块755处继续，否则组件结束。在块755中，通过例如利用新模型替代之前生成的模型、取得针对对应于模型的日期的之前计算的偏移的平均（例如，加权平均）等等来更新模型。
图8A-8E是在一些实施例中针对特定载玻片生成的各种Z切片或焦平面处的图像。该示例中的试样利用双色ISH（原位杂交）方法而染色，并且目标是对点进行检测和分类，该点是通过细胞核内的特定基因的显色标记的肿瘤细胞内的特定基因表达的指示符。在ISH中，加标签的互补DNA或RNA链用于定位DNA/RNA序列，其进而充当染色体结构的指示符。可能合期望的是，使用考虑点的锐利度且被适配于试样和染色方法的聚焦量度，其中点检测是图像分析的相关部分。对于该图像数据，图像中的相关结构是较大的蓝色团块（blob）和小黑色和红色点。在一些实施例中，可以采用针对显微镜载玻片上的试样和在成像之前被应用于试样的染色方法而专门化的聚焦锐利度度量。对于该图像数据，可以选择聚焦以找到针对蓝色团块、红色点和黑色点的最锐利的表示，并且可以应用相应聚焦锐利度度量。用于增强从（一个或多个）图像中的稍圆的特征（例如，点状或盘状形状）对聚焦锐利度量度的贡献的方法是使量度的计算基于在图像处理文献中称为使用径向对称运算符或定向梯度浓度滤波器的方法的响应。检测已知目标大小范围的圆点的示例方法被公开在Q. Yang和B. Parvin, "Perceptual organization of radial symmetries," in Proceedings of:Computer Vision and Pattern Recognition, Volume 1, (2004); G. Loy和A.Zelinsky, "Fast radial symmetry for detecting points of interest," IEEETransactions on Pattern Analysis and Machine Intelligence, 第25卷, 第8期, 第959-973页 (2003); 以及O. Schmitt和M. Hasse, "Radial symmetries baseddecomposition of cell clusters in binary and gray level images," PatternRecognition, 第41卷, 第1905-1923页 (2008)中。一旦点被识别，就可以从所有单独识别的点的锐利度计算聚焦锐利度度量。点边界之上的图像梯度可以指示一个点的锐利度。检测图像中的点的方法典型地要求参数（诸如最小半径和最大半径）的选择，并可以被适配于不同组织类型和显微镜载玻片上的试样的染色方法。聚焦锐利度量度可以基于应用滤波器一次的响应或者在不同参数的情况下应用它多次并组合结果的响应。图8A-8E图示了在不同焦平面处捕获的图像或载玻片的不同Z切片可以如何具有遍及整个图像和在特定区中的变化的锐利度程度。例如，团块810从图8A到图8B且然后到图8C变得更加锐利但然后在图8D中损失锐利度且在图8E中再次损失锐利度。作为另一示例，团块820从图8A到图8B到图8C和到图8D变得更加锐利但然后在图8E中损失锐利度。本文所公开的技术可以用于产生图8C的聚焦彩色图像。
本文所公开的成像技术可以用于产生不同类型的样本的高度聚焦的图像。样本可以是诸如在穿刺活检、乳房肿瘤切除术或乳房切除术期间获得的乳腺组织之类的乳腺组织。样本还可以从活体多细胞脊椎动物有机体获得，该有机体是包括人类和非人类哺乳动物（诸如兽医学科）的类别。所公开的技术可以实现不同类型的成像系统，包括而不限于中央处理单元、存储器、输入设备（例如键盘和定点设备）、输出设备（例如显示设备）和存储器和/或储存设备（例如盘驱动器）。例如，图1的成像装置110可以包括一个或多个处理单元、存储器等。存储器和储存设备可以是可利用实现技术的计算机可执行指令而编码的计算机可读介质，例如，包含指令的计算机可读介质。指令可以被存储和执行以执行校准过程、扫描过程、重校准过程。在校准过程中，指令可以被执行以确定相比于提供每一个通道中的最佳聚焦平面的通道的最佳聚焦平面的Z偏移。该确定可以被存储在存储器中。在扫描过程中，可以执行指令以确定针对图1的数字成像器111的视场的最佳聚焦平面。最佳聚焦平面信息可以被存储在图1的存储器112中。可以执行指令以命令图1的成像器111依照在校准过程中确定的Z偏移在每一个通道中的其视场中获得图像数据。此外，指令、校准信息、数据结构和消息结构可以经由数据传输介质而传输（诸如通信链路上的信号）且可以被加密。因此，计算机可读介质包括数据可被存储在其上的计算机可读存储介质112和数据可在其上传输的计算机可读传输介质。数据可以包括而不限于自动聚焦例程或技术、校准载玻片数据（或其它类型的参考数据）、参考图像、扫描技术、校准技术等。
本文所描述的技术的许多实施例可以采取计算机可执行指令的形式，包括由可编程计算机执行的例程。例如，图1的分析系统100可以具有用于执行图3和4的校准过程的计算机可执行指令。图1的存储器112可以存储可执行指令。相关领域技术人员将领会到，技术的各方面可以在除本文示出和描述的那些计算机系统外的计算机系统上实践。技术的实施例可以被实现在包括个人计算机、服务器计算机、手持或膝上型设备、多处理器系统、基于微处理器的系统、可编程消费电子产品、数码相机、网络PC、小型计算机、大型计算机、包括任何以上系统或设备的计算环境等的各种操作环境中且与它们一起使用。而且，技术可以被体现在被具体编程、配置或构造成执行本文所描述的一个或多个计算机可执行指令的专用计算机或数据处理器中。因此，如本文一般使用的术语“计算机”或“系统”是指任何数据处理器并可以包括互联网电器和手持设备（包括掌上计算机、可穿戴计算机、蜂窝或移动电话、多处理器系统、基于处理器的或可编程的消费电子产品、网络计算机、小型计算机等）。由这些计算机处置的信息可以被呈现在任何合适的显示介质处，该显示介质包括CRT显示器或LCD。用户可以在这样的显示器上查看图像和得分。
从前文将领会到，已经出于说明的目的在本文中描述了技术的具体实施例，但是可以在不脱离于本公开的情况下做出各种修改。设施可以包括附加组件或特征，和/或本文所描述的组件或特征的不同组合。而且，虽然以上描述的技术一般在载玻片分析的上下文中描述，但是这些技术可以被采用以增强不同类型的扫描仪、成像器、相机等中的自动聚焦技术。此外，虽然与新技术的某些实施例相关联的优点已经在那些实施例的上下文中描述，但是其它实施例也可以展现出这样的优点，并且并非所有实施例都需要必然展现出这样的优点以落入技术的范围内。因此，本公开和关联的技术可以涵盖本文未明确示出或描述的其它实施例。以下示例描述本文所公开的技术的附加实施例。
Claims (18)
1.一种用于获取显微镜载玻片的聚焦图像的方法，所述方法包括：
在校准步骤中，确定相对于针对彩色数字成像器的彩色通道的基本自动聚焦平面的Z偏移，该Z偏移提供每一个彩色通道中的最锐利聚焦平面；
在扫描步骤中，在使显微镜载玻片的位置发生变化时，确定针对彩色数字成像器的视场的彩色通道的基本自动聚焦平面和最锐利聚焦平面，其中基本自动聚焦平面是通过分析灰阶图像来确定的；以及
使用在校准步骤中确定的Z偏移、视场中的基本自动聚焦平面和视场中的彩色通道的最锐利聚焦平面，来在每一个彩色通道中利用彩色数字成像器获得视场中的图像数据。
2.权利要求1的方法，其中Z偏移取决于由彩色数字成像器成像的载玻片区的位置而变化。
3.权利要求1或2的方法，其中Z偏移是在校准步骤中从一个或多个训练载玻片获得的。
4.权利要求1或2的方法，其中扫描步骤还包括：
在最锐利聚焦平面处获得彩色通道中的图像；
计算针对在最锐利聚焦平面处和在相对于最锐利聚焦平面的Z偏移处获取的图像的锐利度量度；以及
选择具有最优锐利度量度的图像以从彩色数字成像器输出。
5.权利要求1或2的方法，其中校准步骤还包括：
执行训练载玻片的Z切片扫描。
6.权利要求5的方法，其中扫描步骤还包括：
执行载玻片的Z切片扫描。
7.一种用于使用具有光学系统和数字彩色相机的显微镜获取显微镜载玻片的聚焦图像的方法，所述方法包括：
将存在于光学系统中的色差表征为相对于数字彩色相机的彩色通道中的基本自动聚焦平面的Z偏移，该Z偏移提供每一个彩色通道中的最锐利聚焦平面，其中基本自动聚焦平面是通过分析灰阶图像来确定的；以及
以通过从多个彩色通道获得图像数据来减小所表征的色差的效应的方式对显微镜载玻片进行扫描，其中获得图像数据是使用Z偏移、视场中的基本自动聚焦平面和视场中的彩色通道的最锐利聚焦平面来进行的。
8.权利要求7的方法，其中表征是从一个或多个训练载玻片获得的。
9.权利要求8的方法，其中表征是通过训练载玻片从Z切片获得的。
10.权利要求9的方法，还包括：
在扫描步骤期间调节色差的表征。
11.权利要求10的方法，还包括：
在最锐利聚焦平面处从显微镜载玻片获取多个彩色通道中的图像；以及
将最锐利聚焦平面处多个彩色通道图像的聚焦量度与通过扫描而获得的多个彩色通道图像进行比较。
12.权利要求11的方法，还包括：
取决于比较的结果而更新Z偏移。
13.一种用于获取显微镜载玻片的聚焦图像的系统，具有存储器和处理器，所述系统包括：
校准组件，被配置成确定相对于针对彩色通道或滤波器波段中的至少一个的基本自动聚焦平面的Z偏移；
基本组件，被配置成针对载玻片确定针对载玻片的视场的彩色通道的基本自动聚焦平面和最锐利聚焦平面，其中基本自动聚焦平面是通过分析灰阶图像来确定的；以及
捕获组件，被配置成检索Z偏移并至少部分地基于视场中的基本自动聚焦平面、视场中的彩色通道的最锐利聚焦平面和所检索的Z偏移来获得载玻片的图像；
其中组件中的至少一个包括存储在存储器中以供处理器执行的计算机可执行指令。
14.权利要求13的系统，其中校准组件被配置成针对多个滤波器波段中的每一个确定相对于基本自动聚焦平面的Z偏移，该Z偏移提供针对该滤波器波段的最锐利聚焦平面。
15.权利要求14的系统，其中捕获组件被配置成针对多个滤波器波段中的每一个检索针对该滤波器波段而确定的Z偏移。
16.权利要求15的系统，其中捕获组件被配置成针对多个滤波器波段中的每一个至少部分地基于针对该滤波器波段而确定的Z偏移和基本聚焦平面来获得图像。
17.权利要求16的系统，其中每一个所获得的图像是之前捕获的z切片。
18.权利要求13的系统，其中校准组件被配置成针对多个彩色通道中的每一个确定相对于基本自动聚焦平面的Z偏移，该Z偏移提供针对该彩色通道的最锐利聚焦平面。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201361847978P | 2013-07-18 | 2013-07-18 | |
| US61/847978 | 2013-07-18 | ||
| PCT/EP2014/065064 WO2015007697A1 (en) | 2013-07-18 | 2014-07-15 | Auto-focus methods and systems for multi-spectral imaging |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105378538A CN105378538A (zh) | 2016-03-02 |
| CN105378538B true CN105378538B (zh) | 2019-05-31 |
Family
ID=51177076
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201480040328.4A Active CN105378538B (zh) | 2013-07-18 | 2014-07-15 | 用于多频谱成像的自动聚焦方法和系统 |
Country Status (7)
| Country | Link |
|---|---|
| US (4) | US20160370565A1 (zh) |
| EP (1) | EP2989499A1 (zh) |
| JP (1) | JP6576921B2 (zh) |
| CN (1) | CN105378538B (zh) |
| AU (1) | AU2014292179B2 (zh) |
| CA (1) | CA2914475C (zh) |
| WO (1) | WO2015007697A1 (zh) |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104536961A (zh) * | 2014-11-04 | 2015-04-22 | 深圳创维数字技术有限公司 | 一种本地媒体文件的扫描方法及系统 |
| WO2016120440A1 (en) * | 2015-01-29 | 2016-08-04 | Ventana Medical Systems, Inc. | Dot detection, color classification of dots and counting of color classified dots |
| WO2016120441A2 (en) * | 2015-01-30 | 2016-08-04 | Ventana Medical Systems, Inc. | Quality metrics for automatic evaluation of dual ish images |
| US10061972B2 (en) | 2015-05-28 | 2018-08-28 | Tokitae Llc | Image analysis systems and related methods |
| US9836839B2 (en) * | 2015-05-28 | 2017-12-05 | Tokitae Llc | Image analysis systems and related methods |
| JP7146635B2 (ja) * | 2015-12-16 | 2022-10-04 | ヴェンタナ メディカル システムズ， インク． | マルチスペクトル軌跡を使用するデジタル撮像のための自動合焦の方法およびシステム |
| US10838190B2 (en) * | 2016-06-21 | 2020-11-17 | Sri International | Hyperspectral imaging methods and apparatuses |
| GB201704770D0 (en) * | 2017-01-05 | 2017-05-10 | Illumina Inc | Predictive focus tracking apparatus and methods |
| TWI756365B (zh) * | 2017-02-15 | 2022-03-01 | 美商脫其泰有限責任公司 | 圖像分析系統及相關方法 |
| US10438322B2 (en) | 2017-05-26 | 2019-10-08 | Microsoft Technology Licensing, Llc | Image resolution enhancement |
| EP3794548A1 (en) * | 2018-05-15 | 2021-03-24 | Ventana Medical Systems, Inc. | Quantitation of signal in stain aggregates |
| US11368614B2 (en) * | 2018-07-23 | 2022-06-21 | Genemind Biosciences Company Limited | Imaging method, device and system |
| CN110411946B (zh) * | 2019-08-05 | 2021-08-24 | 山东志盈医学科技有限公司 | 一种数字切片扫描仪中相机图像的聚焦方法 |
| KR20210056217A (ko) | 2019-11-08 | 2021-05-18 | 한국전기연구원 | 포토메트릭 스테레오 기반 광학 영상 정보 획득 방법 및 장치 |
| CN111275016B (zh) * | 2020-03-03 | 2023-05-16 | 湖南国科智瞳科技有限公司 | 一种玻片扫描影像采集与分析方法及装置 |
| US11393182B2 (en) | 2020-05-29 | 2022-07-19 | X Development Llc | Data band selection using machine learning |
| EP3951472A1 (en) * | 2020-08-05 | 2022-02-09 | Leica Microsystems CMS GmbH | Autofocusing means for a microscope |
| US11606507B1 (en) | 2020-08-28 | 2023-03-14 | X Development Llc | Automated lens adjustment for hyperspectral imaging |
| US11651602B1 (en) | 2020-09-30 | 2023-05-16 | X Development Llc | Machine learning classification based on separate processing of multiple views |
| CN112995517B (zh) * | 2021-03-12 | 2022-04-15 | 湖南国科智瞳科技有限公司 | 一种高精准显微图像自动聚焦方法及系统、计算机设备 |
| WO2023111200A1 (en) | 2021-12-16 | 2023-06-22 | Enaiblers Ab | Systems and methods of compensating for backlash in an imaging system |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6172349B1 (en) * | 1997-03-31 | 2001-01-09 | Kla-Tencor Corporation | Autofocusing apparatus and method for high resolution microscope system |
| DE102005040827A1 (de) * | 2005-08-25 | 2007-06-21 | Carl Zeiss Jena Gmbh | Verfahren zur Kompensation des Farblängsfehlers der Abbildungsoptik eines Mikroskops |
| CN101558430A (zh) * | 2006-12-11 | 2009-10-14 | 西泰克公司 | 评价图像聚焦质量的方法 |
| CN102053355A (zh) * | 2009-10-15 | 2011-05-11 | 通用电气公司 | 用于具有增强景深的成像的系统和方法 |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5790710A (en) | 1991-07-12 | 1998-08-04 | Jeffrey H. Price | Autofocus system for scanning microscopy |
| US7738688B2 (en) * | 2000-05-03 | 2010-06-15 | Aperio Technologies, Inc. | System and method for viewing virtual slides |
| US7518652B2 (en) * | 2000-05-03 | 2009-04-14 | Aperio Technologies, Inc. | Method and apparatus for pre-focus in a linear array based slide scanner |
| JP2005284136A (ja) | 2004-03-30 | 2005-10-13 | Olympus Corp | 観察装置および観察装置の焦点合わせ方法 |
| US7394943B2 (en) | 2004-06-30 | 2008-07-01 | Applera Corporation | Methods, software, and apparatus for focusing an optical system using computer image analysis |
| WO2006097123A1 (en) | 2005-03-16 | 2006-09-21 | European Molecular Biology Laboratory | Autofocussing system for microscope systems |
| US7417213B2 (en) * | 2005-06-22 | 2008-08-26 | Tripath Imaging, Inc. | Apparatus and method for rapid microscopic image focusing having a movable objective |
| JP2007193030A (ja) * | 2006-01-18 | 2007-08-02 | Olympus Corp | 合焦装置、顕微鏡および合焦処理プログラム |
| US7865031B2 (en) * | 2006-04-18 | 2011-01-04 | Tandent Vision Science, Inc. | Method and system for automatic correction of chromatic aberration |
| WO2010044870A1 (en) | 2008-10-14 | 2010-04-22 | The Burnham Institute For Medical Research | Automated scanning cytometry using chromatic aberration for multiplanar image acquisition |
| GB0907600D0 (en) * | 2009-05-01 | 2009-06-10 | Isis Innovation | Inelastic scanning confocal electron microscopy |
| TWI456254B (zh) | 2010-05-19 | 2014-10-11 | Ind Tech Res Inst | 螢光顯微影像系統 |
| US8787651B2 (en) * | 2010-09-28 | 2014-07-22 | Flagship Biosciences, LLC | Methods for feature analysis on consecutive tissue sections |
| JP5589799B2 (ja) * | 2010-11-26 | 2014-09-17 | 株式会社ニコン | 撮像装置 |
| US9041791B2 (en) * | 2011-02-01 | 2015-05-26 | Roche Diagnostics Hematology, Inc. | Fast auto-focus in imaging |
| US10001622B2 (en) * | 2011-10-25 | 2018-06-19 | Sanford Burnham Medical Research Institute | Multifunction autofocus system and method for automated microscopy |
| DE102011055294B4 (de) | 2011-11-11 | 2013-11-07 | Leica Microsystems Cms Gmbh | Mikroskopische Einrichtung und Verfahren zur dreidimensionalen Lokalisierung von punktförmigen Objekten in einer Probe |
| WO2014070235A1 (en) * | 2012-10-29 | 2014-05-08 | Mbio Diagnostics, Inc. | Biological particle identification system, cartridge and associated methods |
-
2014
- 2014-07-15 AU AU2014292179A patent/AU2014292179B2/en not_active Ceased
- 2014-07-15 CN CN201480040328.4A patent/CN105378538B/zh active Active
- 2014-07-15 US US14/901,700 patent/US20160370565A1/en not_active Abandoned
- 2014-07-15 WO PCT/EP2014/065064 patent/WO2015007697A1/en active Application Filing
- 2014-07-15 EP EP14738847.4A patent/EP2989499A1/en active Pending
- 2014-07-15 CA CA2914475A patent/CA2914475C/en active Active
- 2014-07-15 JP JP2016526567A patent/JP6576921B2/ja active Active
-
2018
- 2018-11-26 US US16/199,286 patent/US10768403B2/en active Active
-
2020
- 2020-07-16 US US16/931,319 patent/US11467390B2/en active Active
-
2022
- 2022-08-31 US US17/900,127 patent/US11914130B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6172349B1 (en) * | 1997-03-31 | 2001-01-09 | Kla-Tencor Corporation | Autofocusing apparatus and method for high resolution microscope system |
| DE102005040827A1 (de) * | 2005-08-25 | 2007-06-21 | Carl Zeiss Jena Gmbh | Verfahren zur Kompensation des Farblängsfehlers der Abbildungsoptik eines Mikroskops |
| CN101558430A (zh) * | 2006-12-11 | 2009-10-14 | 西泰克公司 | 评价图像聚焦质量的方法 |
| CN102053355A (zh) * | 2009-10-15 | 2011-05-11 | 通用电气公司 | 用于具有增强景深的成像的系统和方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| AU2014292179A1 (en) | 2015-12-17 |
| AU2014292179B2 (en) | 2017-12-07 |
| CA2914475A1 (en) | 2015-01-22 |
| CA2914475C (en) | 2020-08-25 |
| WO2015007697A1 (en) | 2015-01-22 |
| US20160370565A1 (en) | 2016-12-22 |
| JP6576921B2 (ja) | 2019-09-18 |
| JP2016527549A (ja) | 2016-09-08 |
| CN105378538A (zh) | 2016-03-02 |
| US11467390B2 (en) | 2022-10-11 |
| US10768403B2 (en) | 2020-09-08 |
| US11914130B2 (en) | 2024-02-27 |
| EP2989499A1 (en) | 2016-03-02 |
| US20200348501A1 (en) | 2020-11-05 |
| US20230114003A1 (en) | 2023-04-13 |
| US20190129157A1 (en) | 2019-05-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105378538B (zh) | 用于多频谱成像的自动聚焦方法和系统 | |
| JP7422825B2 (ja) | 顕微鏡スライド画像のための焦点重み付き機械学習分類器誤り予測 | |
| KR20200140301A (ko) | 딥 러닝을 이용한 무-표지 형광 영상들의 디지털 염색을 위한 방법 및 시스템 | |
| JP2018180635A (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
| Li et al. | AOTF based molecular hyperspectral imaging system and its applications on nerve morphometry | |
| KR20220012214A (ko) | 디지털 병리학을 위한 인공 지능 처리 시스템 및 자동화된 사전-진단 워크플로우 | |
| Marée | The need for careful data collection for pattern recognition in digital pathology | |
| CN110637224A (zh) | 信息搜索系统及程序 | |
| JP2012173391A (ja) | 画像生成装置、及び、画像生成方法 | |
| CN115032196B (zh) | 一种全划片高通量彩色病理成像分析仪器及方法 | |
| JP4383352B2 (ja) | 核多形性の組織学的評価 | |
| JP2014533857A (ja) | 画像処理 | |
| Estrada et al. | Enhanced video indirect ophthalmoscopy (VIO) via robust mosaicing | |
| JP2010169467A (ja) | 画像処理装置、データセット生成装置、画像処理プログラムおよびデータセット生成プログラム | |
| JP2005331394A (ja) | 画像処理装置 | |
| Wang et al. | A novel low rank smooth flat-field correction algorithm for hyperspectral microscopy imaging | |
| Zhang et al. | Evaluation of a new dataset for visual detection of cervical precancerous lesions | |
| US20200074628A1 (en) | Image processing apparatus, imaging system, image processing method and computer readable recoding medium | |
| JP2010169592A (ja) | 画像処理装置および画像処理プログラム | |
| JP7090171B2 (ja) | 画像処理装置の作動方法、画像処理装置、及び画像処理装置の作動プログラム | |
| ALOUPOGIANNI et al. | Binary malignancy classification of skin tissue using reflectance and texture features from macropathology multi-spectral images | |
| Tran et al. | An automatic whole-slide hyperspectral imaging microscope | |
| Sharma et al. | Digital image transformation using outer totality cellular automata | |
| Kaza et al. | Deep learning-based virtual staining of label-free ultraviolet (UV) microscopy images for hematological analysis | |
| WO2022259648A1 (ja) | 情報処理プログラム、情報処理装置、情報処理方法、及び顕微鏡システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |