CN110168425B - 检测基底放置精度的方法和系统 - Google Patents
检测基底放置精度的方法和系统 Download PDFInfo
- Publication number
- CN110168425B CN110168425B CN201780083163.2A CN201780083163A CN110168425B CN 110168425 B CN110168425 B CN 110168425B CN 201780083163 A CN201780083163 A CN 201780083163A CN 110168425 B CN110168425 B CN 110168425B
- Authority
- CN
- China
- Prior art keywords
- platform
- slide
- pixels
- line segment
- microscope slide
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/34—Microscope slides, e.g. mounting specimens on microscope slides
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B01—PHYSICAL OR CHEMICAL PROCESSES OR APPARATUS IN GENERAL
- B01L—CHEMICAL OR PHYSICAL LABORATORY APPARATUS FOR GENERAL USE
- B01L9/00—Supporting devices; Holding devices
- B01L9/52—Supports specially adapted for flat sample carriers, e.g. for plates, slides, chips
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/24—Base structure
- G02B21/26—Stages; Adjusting means therefor
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B01—PHYSICAL OR CHEMICAL PROCESSES OR APPARATUS IN GENERAL
- B01L—CHEMICAL OR PHYSICAL LABORATORY APPARATUS FOR GENERAL USE
- B01L2200/00—Solutions for specific problems relating to chemical or physical laboratory apparatus
- B01L2200/02—Adapting objects or devices to another
- B01L2200/025—Align devices or objects to ensure defined positions relative to each other
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B01—PHYSICAL OR CHEMICAL PROCESSES OR APPARATUS IN GENERAL
- B01L—CHEMICAL OR PHYSICAL LABORATORY APPARATUS FOR GENERAL USE
- B01L2200/00—Solutions for specific problems relating to chemical or physical laboratory apparatus
- B01L2200/14—Process control and prevention of errors
- B01L2200/143—Quality control, feedback systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B01—PHYSICAL OR CHEMICAL PROCESSES OR APPARATUS IN GENERAL
- B01L—CHEMICAL OR PHYSICAL LABORATORY APPARATUS FOR GENERAL USE
- B01L2300/00—Additional constructional details
- B01L2300/08—Geometry, shape and general structure
- B01L2300/0809—Geometry, shape and general structure rectangular shaped
- B01L2300/0822—Slides
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B01—PHYSICAL OR CHEMICAL PROCESSES OR APPARATUS IN GENERAL
- B01L—CHEMICAL OR PHYSICAL LABORATORY APPARATUS FOR GENERAL USE
- B01L2300/00—Additional constructional details
- B01L2300/18—Means for temperature control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Chemical & Material Sciences (AREA)
- Theoretical Computer Science (AREA)
- Analytical Chemistry (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Clinical Laboratory Science (AREA)
- Chemical Kinetics & Catalysis (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Microscoopes, Condenser (AREA)
Abstract
本文描述了一种通过使用图像处理算法来测量基底(102)与该基底设置于其上的平台(104)之间的对准的方法和系统。这些算法自动检测数字图像(100)中显微镜载玻片和该平台(106和108)的边缘(112和114)。该平台的图像中的基准线图案(110)可用于基于该图像中的基准线图案的计算位置来检测平台边缘(106和108)。
Description
相关申请的交叉引用
本公开要求2016年11月18日提交的美国临时专利申请第62/423,859号的权益和优先权,其内容通过引用结合于此。
技术领域
公开了一种用于检测基底放置精度的方法和系统,特别是用于检测自动载玻片染色仪器和载玻片成像仪器中显微镜载玻片的放置精度的方法和系统。
背景技术
将基底不一致地放置在用于自动化处理的平台上会导致基底的不一致处理,特别是当试剂施加到基底上取决于基底位置,以确保试剂被施加到正确的一个或多个位置,并且试剂保持在那里或者被适当地传送走。例如,当承载生物样品的显微镜载玻片被处理用于显微镜分析时,显微镜载玻片在载玻片染色平台(例如加热元件或处理室)上或载玻片染色平台中的不正确定位可能导致流体分配和移除错误,或者流体从样品中流出(例如通过芯吸)。如果在染色方案的步骤之间没有正确地移除试剂,或者在特定步骤中试剂没有与样品接触,则整个染色方案可能会被改变,使得病理学家无法读取载玻片。基底放置很重要的另一种情况是显微镜载玻片被放置在平台(例如载物台)上,用于对其上放置的经染色的生物样品成像。无论哪种情况,不正确的定位都可能导致不一致或无效的分析结果。
发明内容
公开了一种用于测量基底和该基底放置于其上的平台之间的对准的自动化方法和系统。在一个实施方案中,承载生物样品的透明玻璃显微镜载玻片被放置在用于一个或多个载玻片处理操作的处理平台上。
例如,基于载玻片的成像特征和支撑该载玻片的载玻片处理平台的特征的图像,通过将从该图像中提取的特征与预定截断值进行比较,可以检测载玻片未对准状况。如果该状况超过或低于该截断值,则视情况而定,检测到错误。检测到的错误可以传送给用户和/或该载玻片可以自动重新定位和重新测量以进行对准。对准检测和载玻片重新定位和重新测量过程可以重复一次或多次,例如,在指示故障并且过程/系统暂停以进行检查和/或修复之前,重复预定次数。
在一个更具体的实施方案中,载玻片处理平台的图像的至少一部分是透过诸如玻璃或塑料显微镜载玻片的透明基底获得的。在一个甚至更具体的实施方案中,该载玻片处理平台包括至少一个已知长度和/或取向的特征,该特征可以透过该基底成像,并且可以根据该特征计算载玻片对准状况。
本文所述的任何特征或特征组合都包括在用于检测医疗器械载玻片放置精度的方法的范围内,只要包括在任何这种组合中的特征不相互矛盾,这从上下文、本说明书和本领域普通技术人员的知识中是显而易见的。在以下具体实施方案部分和权利要求书中,所述用于检测医疗器械载玻片放置精度的方法的其他优点和方面是显而易见的。
在一些实施方案中,平台由水平边缘和竖直边缘组成,显微镜载玻片由连接形成直角拐角的载玻片水平边缘和载玻片竖直边缘组成。平台进一步包括基准线图案,该基准线图案连接平台的竖直和水平边缘,使得显微镜载玻片的直角拐角延伸超过该基准线图案。从图像分析的角度来看,平台图像中潜在的照明变化可能导致强度变化。一种简单的基于阈值的方法不能定位前述的边缘对。所公开的基于图像分析的解决方案在捕获载玻片边缘的同时正确识别基准线图案。检测基准线图案有助于图像分析解决方案的其余部分,其中代表平台边缘的水平线和竖直线可以随后基于基准线段的初始计算位置被精确地确定。如果检测到未对准,则通知用户。实验结果表明,检测到的水平和竖直边缘与视觉检测得到的线条非常接近。
还公开了一种用于检测放置在平台(如加热或冷却平台)上的基底(如显微镜载玻片)的未对准的系统和用于自动将载玻片放置在该平台上的载玻片放置机构。
附图说明
通过结合附图考虑以下具体实施方式部分,用于检测医疗器械载玻片放置精度的方法的特征和优点将变得显而易见,其中:
图1A显示了载玻片放置图像。
图1B显示了放大的载玻片放置图像,以显示基准线图案与图像的x-y坐标平面的正x轴形成的角度θ。
图2是反转灰度图像的图像,其中斜角线段和其他显著的水平和竖直线显示为白色,即对应的像素幅度(强度)高,而它们在原始RGB图像中显示为黑色(即灰度值接近零)。
图3示出了根据本文描述的案例1的斜角线段的检测(A)。
图4示出了如本文所述的案例1的斜角线段(A)的裁剪图像,其中算法对图像进行裁剪以验证斜角线段被正确选择。
图5示出了示例性成本函数矩阵的图像,其中行指示斜角线段的最左侧位置的最佳行索引的不同起始位置,而列指示最左侧位置的最佳列索引的不同位置。该图在MATLAB中以“colormap jet”表示,其中蓝色表示较低的像素幅度,红色表示较高的值。
图6示出了根据公开实施方案的竖直线段的转置图像,其中在面板(A)中示出了转置线段的原始图像,在面板(B)中候选线被示出叠加在转置线段图像上。
图7示出了根据公开实施方案的倾斜竖直线段的转置图像,其中在面板(A)中示出了转置线段的原始图像,在面板(B)中候选线被示出叠加在转置线段图像上。
图8示出了平台(B)的水平线段和显微镜载玻片(B)的水平线段的检测和高亮显示,其中线段之间的最短距离可以从线段终止处的图像的左边缘确定。
图9A示出了载玻片检测系统的实施方案。
图9B示出了载玻片检测和对准系统的实施方案。
具体实施方式
在随后的示例性实施方案中描述了所公开的系统和方法的其他特征和方面。
现在参考图1A和图1B,在一个方面,公开了一种检测显微镜载玻片(102)和该显微镜载玻片(102)放置于其上的平台(104)之间的未对准状况的方法。在一个实施方案中,该方法包括在包括该显微镜载玻片(102)的至少一部分和该平台(104)的至少一部分的图像中识别平台特征(110);(b)在该图像中识别该平台的第一边缘(106)和该显微镜载玻片的第一边缘(112),其中通过识别该平台特征(110)的第一基准点(118)来辅助识别该图像中的该平台的第一边缘(106);(c)计算该图像中该平台的第一边缘(106)和该显微镜载玻片的第一边缘(112)之间的第一距离的值,其中如果该第一距离的值位于第一预定值范围之外,则检测到该显微镜载玻片(102)和该平台(104)之间的未对准状况。
在具体实施方案中,该方法进一步包括(a)在该图像中识别该平台(104)的第二边缘(108)和该显微镜载玻片(102)的第二边缘(114),其中通过识别该平台特征(110)的第二基准点(120)来辅助识别该图像中的该平台的第二边缘(108);以及,(b)计算作为该平台(104)的第二边缘(108)和该显微镜载玻片的第二边缘(114)之间最短距离的第二距离的值,其中如果该第一距离的值位于该第一预定值范围之外,或者如果该第二距离的值位于第二预定值范围之外,则检测到该显微镜载玻片(102)和该平台(104)之间的未对准状况。
在另一具体实施方案中,该方法进一步包括将图像转换成灰度图像(例如,参见图2至图4以及图6至图8),以辅助检测平台特征(110)、平台的第一边缘(106)、平台的第二边缘(108)、显微镜载玻片的第一边缘(112)和显微镜载玻片的第二边缘(114)中的一个或多个。
在又一具体实施方案中,该平台特征(110)位于图像帧中,使得其与该图像的x-y坐标平面的x轴形成已知的角度(参见图1B)。在其他具体实施方案中,该平台特征(110)具有已知的长度。在又其他的具体实施方案中,该平台特征(110)透过该显微镜载玻片成像。
在更具体的实施方案中,识别该平台特征(110)、该平台的第一边缘(106)、该平台的第二边缘(108)、该显微镜载玻片的第一边缘(112)、和该显微镜载玻片的第二边缘(114)中的一个或多个包括从潜在的一组线段中选择线段来表示该平台特征(110)、该平台的第一边缘(106)、该平台的第二边缘(108)、该显微镜载玻片的第一边缘(112)和该显微镜载玻片的第二边缘(114)中的一个或多个。在甚至更具体的实施方案中,选择包括基于成本函数来选择潜在线段(例如,参见图5)。
在其他更具体的实施方案中,该平台的第一边缘(106)、该平台的第二边缘(108)、该显微镜载片的第一边缘(112)和该显微镜载片的第二边缘(114)中的至少一个在图像中呈现为竖直线,并且识别进一步包括,在选择线段来表示该平台特征(110)(参见图6和图7)、该平台的第一边缘(106)、该平台的第二边缘(108)、该显微镜载玻片的第一边缘(112)和该显微镜载玻片的第二边缘(114)中的一个或多个之前,转置该图像的至少一部分。
在另一个实施方案中,所公开的方法进一步包括响应于检测到未对准状况,在该平台上重新定位该显微镜载玻片。此外,在重新定位动作之后重复所公开的方法,以检测未对准状况是否得到解决。
另一方面,参照图9A和图9B,公开了一种用于确定显微镜载玻片(102)和平台(104)之间的载玻片未对准状况的系统。在一个实施方案中,该系统包括(a)摄像头(200),其设置在该显微镜载玻片(102)和该平台(104)上方,使得该显微镜载玻片(102)的至少一部分和该平台(104)的至少一部分位于该摄像头的视野中;和(b)处理器(202),其中该处理器被配置为根据存储在存储器(201)中的指令进行操作,以控制该摄像头获得图像,并执行所公开的方法的任何实施方案来检测载玻片未对准状况。
在一个实施方案中,该系统进一步包括载玻片对准装置(204),其中该存储器(201)进一步存储指令,这些指令使得该处理器(202)控制该载玻片对准装置在该平台(104)上分别初始定位或响应于检测到的未对准情况而重新定位该显微镜载玻片(102)。存储在该存储器中的指令还可以使该处理器在指示故障状况之前重复地重新定位显微镜载玻片一次或多次,例如达到预定次数。
在具体实施方案中,该平台(104)可以是自动载玻片染色设备的加热和/或冷却平台。在其他具体实施方案中,该平台(104)包括在该摄像头(202)的视野中能够检测到的平台特征(110),并且该平台特征(110)可以具有已知的长度和/或以已知的取向出现在由该摄像头获得的该图像中。
在其他具体实施方案中,该显微镜载玻片是透明的,并且该平台特征(110)能够透过该显微镜载玻片成像。
在另一个实施方案中,该载玻片对准装置(204)由该处理器(202)根据存储在该存储器(201)中的指令来控制,该指令使得该载玻片对准装置将该载玻片放置在该平台(104)上,使得该显微镜载玻片(102)的直角拐角(116)在该平台特征(110)上延伸。
实施例
在一个实施方案中,使用3×3中值滤波器和5×5高斯核来平滑原始RGB图像,以辅助去除图像中可能对检测未对准有影响的小的局部伪影和不连续性。然后,该算法创建原始RGB图像的反转灰度,以产生该算法使用的数字图像(其中反转灰度图像可以定义为(1-双倍(灰度)/255))。此数字图像分为四个象限:左上象限、右上象限、左下象限和右下象限。考虑数字图像的右上象限,平台(104)具有水平边缘(106)和竖直边缘(108),显微镜载玻片(102)具有载玻片水平边缘(112)和载玻片竖直边缘(114),它们连接形成直角拐角(116)。在原始图像的灰度版本中,一对水平边缘(106、112)和竖直边缘(108、114)相对于它们紧邻的背景显得更暗。如前所述,数字图像是反转灰度图像,其中这对水平边缘(106、112)和竖直边缘(108、114)显示为接近白色。这些接近白色的像素的幅度明显高于周围像素(构成紧邻的背景的像素)。
前述数字图像中的水平和竖直线对可能不是完全水平的或彼此完全垂直的。在某些情况下,这些竖直线和水平线可能非常模糊,因此,如果重点是检测这两对线,就会出现鲁棒性问题。相反,所公开的方法着重检测所有载玻片放置图像共有的基准线图案(110)。该基准线图案(110)位于数字图像的右上象限,并将平台(104)的竖直边缘(108)连接到水平边缘(106),使得显微镜载玻片(102)的直角拐角(116)延伸超过基准线图案(110)。考虑三种情况:(i)基准线图案是与x-y坐标平面的正x轴形成135°角的斜角线段的情况,(ii)基准线图案是与正x轴的角度仅近似已知的斜角线的情况,以及(iii)只要线图案的长度和参数形式已知,基准线图案可以表示任何图案(例如,相对于x轴的任何角度的线段、或者曲线)的情况。
为了说明该方法,在MATLAB中实现了图像处理算法。然而,本领域普通技术人员应该清楚,算法的执行不限于MATLAB,而是可以在诸如C++等其他编程环境中实现。
案例1:基准线图案是相对于正x轴形成135°角的斜角线段。
如前所述,该算法识别连接平台(104)的水平边缘(106)和竖直边缘(108)的斜角线段(110)的位置,其中斜角线段(110)的长度是已知的。此外,斜角线段(110)和(x-y坐标平面的)正x轴之间的角度θ测量值为135度。在一个实施方案中,为了识别斜角线段(110)的位置,生成第一组潜在线段。潜在线段是反映斜角线段(110)的已知特征的线段,即每个潜在线段和正x轴之间的角度测量值为135度,并且每个潜在线段的长度是斜角线段(110)的已知长度。这组潜在线段位于数字图像(100)的右上象限。
为了识别最有可能是斜角线段(110)的位置的潜在线段,为每个线段计算第一成本函数。此外,每个潜在线段包括一组像素(该组像素中的每个像素具有一个幅度)。在示例性实施方案中,(r,c)可以表示潜在线段的位置,其中r是数字图像右上象限中的行索引,c是数字图像右上象限中的列索引。假设斜角线段(110)的长度L是已知的。因此,在左上角位置为(r,c)的情况下,从行=r到行=r+L以及从列=c到列=c+L创建搜索窗口。肯定位于该窗口内的斜角线段(110)将包含所有高值像素,而标准偏差将是低的(相对于窗口中其余像素的相应值是高的或低的)。对于每个潜在的线段,考虑到反转灰度图像,第一成本函数表示为:
成本=(构成斜角线段的像素和紧邻的非斜角线像素的幅度的平均值)/(构成斜角线段的像素和紧邻的非斜角线像素的标准偏差+0.001)。
紧邻的非斜角线像素(即,在构成潜在线段的每个像素之上或之下一个像素的像素)也被考虑,因为在某些情况下斜角线段(110)可能是模糊的。考虑更多像素使得基于平均/标准偏差的运算更加鲁棒。此外,分母中的0.001确保即使运算中包括的所有像素具有相同的幅度,也不会发生除以零的情况。斜角线段(110)由幅度大致相等并且幅度高于周围像素的像素组成。因此,构成最优潜在线段的像素组具有高于周围像素的幅度的平均幅度以及接近零的标准偏差。因此,选择产生第一成本函数的最高值的潜在线段识别斜角线段(110)的位置。
识别斜角线段(110)的位置在数字图像中提供了两个基准点,用于有效地定位平台(104)的竖直边缘(108)和载玻片竖直边缘(114)(以及随后平台(104)的水平边缘(106)和载玻片水平边缘(112))。这两个基准点是斜角线段(110)的最左侧位置(118)和最右侧位置(120)。
在另一个实施方案中,算法的下一步是定位平台(104)的竖直边缘(108)。获得数字图像(100)的右上象限的转置版本,并且生成第二组潜在线段,使得每个潜在线段具有-0.1至0.1之间的斜率。第二组潜在线段位于数字图像右上象限的转置版本的第一窗口内。实验上,平台(104)的竖直边缘(108)被发现通常位于斜角线段(110)最右边位置右侧30个像素内。因此,第一窗口包括从斜角线段(110)的最右侧位置(120)开始并向上延伸的三十个像素的列,以及从斜角线段(110)的最右侧位置(120)开始并(向右)延伸到数字图像(100)的右上象限的转置版本的末端的像素行。其他实施方案的特征在于为每个潜在线段计算的第二成本函数。每个潜在线段包括一组像素,其中该组像素中的每个像素的幅度大于截断幅度。第二成本函数计算如下:
成本=(潜在线段中每个像素幅度的平均值)/(构成潜在线段的像素的标准偏差+0.0001)。
产生第二成本函数的最高值的潜在线段识别平台(104)的竖直边缘(108)的位置。
另一个实施方案接下来识别载玻片竖直边缘的位置(114)。定位载玻片竖直边缘(114)可以包括生成斜率在-0.2至0.2范围内的第三组潜在线段(因为载玻片竖直边缘(114)通常比平台(104)的竖直边缘(108)更加倾斜)。这组潜在线段也位于数字图像(100)的右上象限的转置版本内。更具体地,第三组潜在线段位于第二窗口内,该第二窗口包括从斜角线段(110)的最右侧位置(120)上方10个像素开始并延伸到斜角线段(110)的最右侧位置(120)上方250个像素的像素列以及数字图像的右上象限的转置版本中的所有像素行。然后可以为每个潜在线段计算第三成本函数,其中每个潜在线段包括一组像素,每个像素的幅度大于截断幅度。第三成本函数计算如下:
成本=(潜在线段中每个像素幅度的平均值)/(构成潜在线段的像素的标准偏差+0.0001)。
产生第三成本函数的最高值的潜在线段识别载玻片竖直边缘的位置(114)。
当定位平台(104)的竖直边缘(108)和载玻片竖直边缘(114)时,获得图像的转置版本,因为竖直边缘在转置图像中变成水平线,所以该算法寻找斜率在[0.1,-0.1]范围内的线。当搜索斜率接近零的线条时,在定义预期斜率左右0.1的窗口会更容易。如果搜索斜率接近无穷大的线条(竖直线),则窗口很难定义。
在一些实施方案中,接下来将平台(104)的水平边缘(106)定位在原始(非转置、反转灰度)数字图像中。可以生成第四组潜在线段,每个线段具有在[-0.1,0.1]范围内的斜率。这组潜在线段位于第三窗口内。第三窗口可以包括斜角线段(110)的最左侧位置(118)上方30个像素内的像素行、以及原始数字图像(100)的右上象限中的所有像素列。然后可以为每个潜在线段计算第四成本函数,其中每个潜在线段包括幅度大于截断幅度的一组像素。类似于第二和第三成本函数,第四成本函数的计算如下:
成本=(潜在线段中每个像素幅度的平均值)/(构成潜在线段的像素的标准偏差+0.0001)。
产生第四成本函数的最高值的潜在线段识别平台(104)的水平边缘(106)的位置。
随后,在原始(非转置、反转灰度)数字图像中进一步定位载玻片水平边缘(112)。可以生成第五组潜在线段,每个线段的斜率在[-0.2,0.2]的范围内(因为载玻片水平边缘(114)通常比平台(104)的水平边缘(106)更倾斜)。第五组潜在线段位于第四窗口内。第四窗口可以包括斜角线段(110)的最左侧位置(118)上方33个像素至250个像素内的行以及原始数字图像(100)的右上象限中的所有列。然后可以为每个潜在线段计算第五成本函数。每个潜在线段包括一组像素,其中该组像素中的每个像素的幅度大于截断幅度。第五成本函数计算如下:
成本=(潜在线段中每个像素幅度的平均值)/(构成潜在线段的像素的标准偏差+0.0001)。
选择产生第五成本函数的最高值的潜在线段,从而识别载玻片水平边缘(112)。
在识别出平台(104)和显微镜载玻片(102)的一对水平边缘(106、112)和一对竖直边缘(108、114)的位置之后,计算第一和第二距离。第一距离的值是平台(104)的竖直边缘(108)和载玻片竖直边缘(114)之间的最短水平距离。第二距离的值是平台(104)的水平边缘(106)和载玻片水平边缘(112)之间的最短竖直距离。如果第一距离的值大于第一阈值最大值或小于第一阈值最小值,则检测到显微镜载玻片(102)和平台(104)之间未对准。如果第二距离的值大于第二阈值最大值或小于第二阈值最小值,也检测到未对准。
在一个实施方案中,该算法将每个数字图像的像素数据导出到预先填充的电子表格中,在该电子表格中进行合格/不合格标准的计算,如下面表1所示。
表1:载玻片放置测试结果的非限制性实施例
计算:
加热器宽度=22.5mm(1275像素)
水平伸出量阈值:>=0.60mm且<=1.90mm
竖直伸出量阈值:>=0.30mm且<=1.00mm
以下是对表1的电子表格中每一列计算内容的描述:
(b)以像素为单位的载玻片伸出量值:这些是直接从算法程序(例如,本例中的MATLAB测试脚本)导入的载玻片伸出量值(以像素为单位)。
(c)像素到毫米的转换:将(b)中的像素测量值转换为毫米的计算。
(d)载玻片伸出量状况计算:根据要求计算载玻片伸出量。
(e)合格/不合格标准:根据状况计算来计算并输出合格/不合格指示。
在一些实施方案中,当定位斜角线段(110)时,表示斜角线段(110)的潜在位置的潜在线段位于第五窗口内。在第五窗口中,斜角线段(110)的最左侧位置(118)位于距数字图像顶行25%至50%的行内,以及距数字图像(100)右上象限的最左侧列55%至83%的列内。
此外,截断幅度的一个或多个预定值用于缩小潜在线段的集合。出于鲁棒性的目的,当考虑重要像素(那些对潜在线段有贡献的像素)时,该算法可以测试不同的截断值。测试的截断值在[0.8、0.6、0.5、0.4、0.2]的范围内。对于每个截断值,构成潜在线段的像素必须大于给定截断值,对于满足该约束的像素,计算成本函数(这适用于五个成本函数中的每一个)。在其他实施方案中,该算法考虑产生10个最高成本函数(对于五个成本函数中的每一个)的潜在线段,并按递减顺序对它们进行排序。如果包含潜在线段的像素的平均值小于截断值的0.8倍,则算法将其丢弃。然后选择产生最高值的成本函数。
例如,当定位平台(104)的竖直边缘(108)时,使用截断值0.6,找到了前10个潜在线段的成本、相对于x轴的斜率和y轴截距(见表2)。
表2
成本 | 斜率 | Y轴截距 |
24.4503 | -0.0045 | 38.6222 |
24.1824 | -0.0012 | 36.2973 |
24.1295 | 0.0000 | 35.0000 |
23.9320 | -0.0050 | 38.4523 |
23.7867 | -0.0011 | 35.2555 |
23.2985 | -0.0056 | 39.3322 |
22.6123 | 0.0029 | 32.5234 |
22.2790 | -0.0051 | 40.0169 |
21.4830 | 0.0023 | 31.9241 |
20.9726 | 0.0027 | 31.6578 |
斜率为-0.0045、y轴截距为38.622的潜在线段被选为斜角线段(110)。类似地,载玻片竖直边缘(114)的前两个潜在线段的成本、斜率和y轴截距是使用0.8的截断值找到的,即:
成本 | 斜率 | Y轴截距 |
8.0503 | 0.0296 | 18.3964 |
7.9779 | 0.0299 | 18.0351 |
产生最高成本函数的潜在线段被选择为载玻片竖直边缘(114)。一旦两个竖直边缘被识别,考虑斜角线段(110)的最底部位置下方的图像部分,计算这两条线之间的最短水平距离。如表1所示,两条最突出的竖直线之间的距离为40.16(34)。
在平台(104)的水平边缘(106)的检测中也发现了前10个潜在线段的成本、相对于x轴的斜率和y轴截距(如表3所示)。基于这些结果,选择了斜率=0.0030且y轴截距=28.6870的潜在线段。在对上述截断值进行实验后,截断值0.6获得了最高的成本函数,所选择的潜在线段的成本为4.7281,斜率为-0.0313,y轴截距为168.2500。参考表1,对于这些水平线,发现最小竖直距离为80.47(12)。
表3
成本 | 斜率 | Y轴截距 |
17.3246 | 0.0030 | 28.6870 |
17.2981 | 0.0033 | 27.5299 |
17.1581 | 0.0019 | 28.3270 |
17.1325 | 0.0016 | 29.9822 |
17.0916 | 0.0025 | 29.4887 |
17.0587 | 0.0036 | 28.7925 |
17.0020 | 0.0037 | 29.2829 |
16.9065 | 0.0000 | 31.0000 |
16.8707 | 0.0056 | 28.5778 |
16,7518 | 0.0086 | 24.6658 |
案例2:基准线图案是相对于正x轴形成大致已知角度的斜角线段。
在一个实施方案中,检测显微镜载玻片(102)和显微镜载玻片(102)放置于其上的平台之间的未对准包括首先定位连接平台(104)的水平边缘(106)和竖直边缘(108)的斜角线段(110)。这里,斜角线段(110)具有长度L和基准角度θ,其中θ是斜角线段(110)和正x轴之间的角度。该算法首先生成多个潜在线段,每个线段的长度等于L,基准角度等于θ。每个潜在线段由一个中心像素定义。接下来,每个潜在线段的中心像素可以叠加在构成反转灰度数字图像的右上象限的多个像素的每个像素上。为数字图像(100)的右上象限中的每个像素的每个潜在线段计算第一成本函数。每个潜在线段由一组像素组成,其中该组像素中的每个像素具有一定幅度。在一些实施方案中,第一成本函数可以定义如下:
成本=(构成斜角线段的像素和紧邻的非斜角线像素的幅度的平均值)/(斜角线和紧邻的非斜角线像素的标准偏差+0.001)。
紧邻的非斜角线像素是每个潜在线段上方一个像素或下方一个像素的像素,并且也被考虑,因为在某些情况下斜角线段(110)可能是模糊的。考虑更多像素使得基于平均/标准偏差的运算更加鲁棒。此外,分母中的0.001确保即使运算中包括的所有像素具有相同的幅度,也不会发生除以零的情况。斜角线段(110)由幅度大致相等并且幅度高于周围像素的像素组成。因此构成最优潜在线段的像素组具有高于周围像素的幅度的平均幅度以及接近零的标准偏差。因此,选择产生第一成本函数的最高值的潜在线段识别斜角线段(110)的位置。
识别斜角线段(110)的位置在数字图像中提供了两个基准点,用于有效地定位平台(104)的竖直边缘(108)和载玻片竖直边缘(114)(以及随后平台(104)的水平边缘(106)和载玻片水平边缘(112))。这两个基准点是斜角线段(110)的最左侧位置(118)和最右侧位置(120)。
在另一个实施方案中,算法的下一步是定位平台(104)的竖直边缘(108)。获得数字图像(100)的右上象限的转置版本,并且生成第一组潜在线段,使得每个潜在线段具有-0.1至0.1之间的斜率。这组潜在线段位于数字图像右上象限的转置版本的第一窗口内。第一窗口可以包括从斜角线段(110)的最右侧位置(120)开始并向上延伸到右上象限的转置版本的顶部的像素列以及右上象限的转置版本中的所有像素行。在进一步的实施方案中,然后为每个潜在线段计算第二成本函数。每个潜在线段包括一组像素,其中该组像素中的每个像素的幅度大于截断幅度。与案例1一样,第二成本函数计算如下:
成本=(潜在线段中每个像素幅度的平均值)/(构成潜在线段的像素的标准偏差+0.0001)。
产生第二成本函数的最高值的潜在线段识别平台(104)的竖直边缘(108)的位置。
另一个实施方案接下来识别载玻片竖直边缘的位置(114)。定位载玻片竖直边缘(114)可以包括在数字图像(100)的右上象限的转置版本内生成第二组潜在线段,每个潜在线段具有在-0.2至0.2范围内的斜率(因为载玻片竖直边缘(114)通常比平台(104)的竖直边缘(108)更倾斜)。这组潜在线段位于数字图像右上象限的转置版本内的第二窗口内。该第二窗口可以包括从斜角线段(110)的最右侧位置(120)上方十个像素开始向上延伸到右上象限的转置版本的顶部的转置数字图像的像素列以及右上象限的转置版本中的所有像素行。随后可以为每个潜在线段计算第三成本函数。每个潜在线段可以包括一组像素,其中该组像素中的每个像素的幅度大于截断幅度。
第三成本函数计算如下:
成本=(潜在线段中每个像素幅度的平均值)/(构成潜在线段的像素的标准偏差+0.0001)。
产生第三成本函数的最高值的潜在线段识别载玻片竖直边缘的位置(114)。
如在案例1中,当定位平台(104)的竖直边缘(108)和载玻片竖直边缘(114)时,获得数字图像的转置版本,使得竖直边缘成为转置图像中的水平线,因此,该算法寻找斜率在[0.1,-0.1]范围内的线。当搜索斜率接近零的线条时,在定义预期斜率左右0.1的窗口会更容易。如果搜索斜率接近无穷大的线条(竖直线),则窗口很难定义。
在一些实施方案中,将平台(104)的水平边缘(106)定位在原始(非转置、反转灰度)数字图像中包括生成第三组潜在线段,每个潜在线段具有在-0.1至0.1范围内的斜率。这组潜在线段位于第三窗口内,第三窗口包括从斜角线段(110)的最左侧位置(118)开始并向上延伸到原始数字图像的第一行的像素列、以及原始数字图像(100)的右上象限中的所有像素行。
然后可以为每个潜在线段计算第四成本函数,其中每个潜在线段包括幅度大于截断幅度的一组像素。第四成本函数计算如下:
成本=(潜在线段中每个像素幅度的平均值)/(构成潜在线段的像素的标准偏差+0.0001)。
产生第四成本函数的最高值的潜在线段识别平台(104)的水平边缘(106)的位置。
随后,在原始(非转置、反转灰度)数字图像中进一步定位载玻片水平边缘(112)。可以生成第四组潜在线段,每个潜在线段的斜率在-0.2至0.2的范围内。第四组潜在线段位于第四窗口内。第四窗口可以包括从斜角线段(110)的最左侧位置(118)上方十个像素开始并向上延伸到原始数字图像的第一行的像素列、以及原始数字图像(100)的右上象限中的所有像素行。
然后可以为每个潜在线段计算第五成本函数。每个潜在线段包括一组像素,其中该组像素中的每个像素的幅度大于截断幅度。第五成本计算如下:
成本=(潜在线段中每个像素幅度的平均值)/(构成潜在线段的像素的标准偏差+0.0001)。
选择产生第五成本函数的最高值的潜在线段,从而识别载玻片水平边缘(112)。
在识别出平台(104)和显微镜载玻片(102)的一对水平边缘(106、112)和一对竖直边缘(108、114)的位置之后,计算第一和第二距离。第一距离的值是平台(104)的竖直边缘(108)和载玻片竖直边缘(114)之间的最短水平距离。第二距离的值是平台(104)的水平边缘(106)和载玻片水平边缘(112)之间的最短竖直距离。如果第一距离的值大于第一阈值最大值或小于第一阈值最小值,则检测到显微镜载玻片(102)和平台(104)之间未对准。如果第二距离的值大于第二阈值最大值或小于第二阈值最小值,也检测到未对准。
在进一步的实施方案中,斜角线段的长度L在预定范围内,例如在200到400像素之间。另外,θ的值可以在预定范围内,例如在-90o到90o之间。
在其他实施方案中,截断幅度可以包括一个或多个预定值。例如,截断幅度范围可以是[0.8、0.6、0.5、0.4、0.2]。对于每个截断点,构成潜在线段的像素必须大于给定的截断点。仅针对满足该约束的潜在线段计算成本函数(五个成本函数中的每一个或任何一个)。
案例3:基准线图案被概化使得其可以为斜角线或曲线。
在另一个实施方案中,检测显微镜载玻片(102)和显微镜载玻片(102)放置于其上的平台之间的未对准包括首先定位连接平台(104)的水平边缘(106)和竖直边缘(108)的基准线图案(110)。这里,基准线图案(110)具有预定长度和参数形式。参数形式是具有一个或多个未知系数的方程,这些未知系数定义基准线图案的形状。在进一步的实施方案中,识别基准线图案(110)的位置包括通过在确定的范围内改变一个或多个未知系数来生成一组潜在的基准线图案。每个潜在基准线图案具有基准线图案(110)的长度和参数形式并且由中心像素定义。
此外,每个潜在基准线图案的中心像素可以叠加在构成(反转灰度)数字图像的右上象限的多个像素的每个像素上。为每个潜在基准线图案计算第一成本函数,其中每个潜在基准线图案由一组像素组成。这组像素中的每个像素都具有一定幅度。在一些实施方案中,第一成本函数可以定义如下:
成本=(构成潜在基准线图案的像素和紧邻的非斜角线像素幅度的平均值)/(基准线图案和紧邻的非斜角线像素的标准偏差+0.001)。
紧邻的非斜角线像素是潜在基准线图案中每个像素上方一个像素或下方一个像素的像素。这些非斜角线像素被考虑,因为在某些情况下潜在的基准线图案(110)可能是模糊的。考虑更多像素使得基于平均/标准偏差的运算更加鲁棒。此外,分母中的0.001确保即使运算中包括的所有像素具有相同的幅度,也不会发生除以零的情况。此外,基准线图案(110)由幅度大致相等并且幅度高于周围像素的像素组成。因此,构成最优基准线图案的像素组具有高于周围像素幅度的平均幅度和接近零的标准偏差。因此,选择产生第一成本函数的最高值的潜在线段识别基准线图案的位置(110)。
识别基准线图案(110)的位置在数字图像中提供了两个基准点,用于有效地定位平台(104)的竖直边缘(108)和载玻片竖直边缘(114)(以及随后平台(104)的水平边缘(106)和载玻片水平边缘(112))。这两个基准点是基准线图案(110)的最左侧位置(118)和最右侧位置(120)。
在另一个实施方案中,算法的下一步是定位平台(104)的竖直边缘(108)。获得数字图像(100)的右上象限的转置版本,并且生成第一组潜在线段,使得每个潜在线段具有-0.1至0.1之间的斜率。这组潜在线段位于数字图像右上象限的转置版本的第一窗口内。第一窗口可以包括从基准线图案(110)的最右侧位置(120)开始并向上延伸到右上象限的转置版本的顶部的像素列以及右上象限的转置版本中的所有像素行。在进一步的实施方案中,然后为每个潜在线段计算第二成本函数。每个潜在线段包括一组像素,其中该组像素中的每个像素的幅度大于截断幅度。第二成本函数定义为:
成本=(潜在线段中每个像素幅度的平均值)/(构成潜在线段的像素的标准偏差+0.0001)。
同样,分母中的0.0001确保即使运算中包括的所有像素具有相同的幅度,也不会发生除以零的情况。产生第二成本函数的最高值的潜在线段识别平台(104)的竖直边缘(108)的位置。
另一个实施方案接下来识别载玻片竖直边缘(114)的位置。定位载玻片竖直边缘(114)可以包括在数字图像(100)的右上象限的转置版本内生成第二组潜在线段,每个潜在线段具有在-0.2到0.2范围内的斜率(因为载玻片竖直边缘(114)通常比平台(104)的竖直边缘(108)更倾斜)。这组潜在线段位于数字图像右上象限的转置版本内的第二窗口内。该第二窗口可以包括从基准线图案(110)的最右侧位置(120)上方的十个像素开始向上延伸到右上象限的转置版本的顶部的转置数字图像的像素列以及右上象限的转置版本中的所有像素行。随后可以为每个潜在线段计算第三成本函数。每个潜在线段可以包括一组像素,其中该组像素中的每个像素的幅度大于截断幅度。第三成本函数类似地定义为:
成本=(潜在线段中每个像素幅度的平均值)/(构成潜在线段的像素的标准偏差+0.0001)。
产生第三成本函数的最高值的潜在线段识别载玻片竖直边缘的位置(114)。
如在案例1中,当定位平台(104)的竖直边缘(108)和载玻片竖直边缘(114)时,获得数字图像的转置版本,使得竖直边缘成为转置图像中的水平线,因此,该算法寻找斜率在[0.1,-0.1]范围内的线。当搜索斜率接近零的线条时,在定义预期斜率左右0.1的窗口会更容易。如果搜索斜率接近无穷大的线条(竖直线),则窗口很难定义。
在一些实施方案中,将平台(104)的水平边缘(106)定位在原始(非转置、反转灰度)数字图像中包括生成第三组潜在线段,每个潜在线段具有在-0.1至0.1范围内的斜率。这组潜在线段位于第三窗口内,第三窗口包括从参考线图案(110)的最左侧位置(118)开始并向上延伸到原始数字图像的第一行的像素列、以及原始数字图像(100)的右上象限中的所有像素行。
然后可以为每个潜在线段计算第四成本函数,其中每个潜在线段包括幅度大于截断幅度的一组像素。第四成本函数可以定义为:
成本=(潜在线段中每个像素幅度的平均值)/(构成潜在线段的像素的标准偏差+0.0001)。
产生第四成本函数的最高值的潜在线段识别平台(104)的水平边缘(106)的位置。
随后,在原始(非转置、反转灰度)数字图像中进一步定位载玻片水平边缘(112)。可以生成第四组潜在线段,每个潜在线段的斜率在-0.2至0.2的范围内。第四组潜在线段位于第四窗口内。第四窗口可以包括从基准线图案(110)的最左侧位置(118)上方十个像素开始并向上延伸到原始数字图像的第一行的像素列以及原始数字图像(100)的右上象限中的所有像素行。
然后可以为每个潜在线段计算第五成本函数。每个潜在线段包括一组像素,其中该组像素中的每个像素的幅度大于截断幅度。第五成本函数定义为:
成本=(潜在线段中每个像素幅度的平均值)/(构成潜在线段的像素的标准偏差+0.0001)。
选择产生第五成本函数的最高值的潜在线段,从而识别载玻片水平边缘(112)。
在识别出平台(104)和显微镜载玻片(102)的一对水平边缘(106、112)和一对竖直边缘(108、114)的位置之后,计算第一和第二距离。第一距离的值是平台(104)的竖直边缘(108)和载玻片竖直边缘(114)之间的最短水平距离。第二距离的值是平台(104)的水平边缘(106)和载玻片水平边缘(112)之间的最短竖直距离。如果第一距离的值大于第一阈值最大值或小于第一阈值最小值,则检测到显微镜载玻片(102)和平台(104)之间未对准。如果第二距离的值大于第二阈值最大值或小于第二阈值最小值,也检测到未对准。
在进一步的实施方案中,截断幅度可以包括一个或多个预定值。例如,截断幅度范围可以是[0.8、0.6、0.5、0.4、0.2]。对于每个截断点,构成潜在基准线图案的像素的幅度必须大于给定的截断点。仅针对满足该约束的潜在线段计算成本函数(五个成本函数中的每一个或任何一个)。
在一些实施方案中,基准线图案(110)是直线段。其他实施方案以曲线作为基准线图案(110)。对于直线的基准线图案,参数形式可以是y=ax+b的形式,其中系数a和b是变化的(例如,在-20到20之间)。知道系数的范围能够生成给定参数范围的所有行(具有相同的长度,L)。然后,在改变每条线的中心c的同时,为所有生成的线运算第一成本函数。产生最大第一成本函数的潜在基准线图案是具有最优参数a、b和c的潜在基准线图案。
曲线基准线图案的参数形式可以是y=ax2+bx+c的形式,并且未知系数(a、b和c)可以在预定范围内变化(例如-20和20)。类似于直线情况,知道系数的范围能够生成给定参数范围的所有参数曲线(具有相同的长度,L)。并且选择产生最高第一成本函数的最优基准线图案,其中a、b、c和d被优化(d是基准线图案的中心像素)。
案例1的变体
如果运行时间是一个约束,那么可以调整寻找斜角线段(110)的位置的过程。如果斜角线段的长度L是已知的,那么在考虑该窗口中的斜角线元素的同时,找到每个L×L窗口的平均值和标准偏差。为了实现这一点,可以创建大小为L×L的滤波器,其中构成潜在斜角线的元素和紧邻的非斜角线元素是1,并且窗口中的每个其他像素被赋予值0。(如前所述,紧邻的非斜角线元素是在潜在斜角线之上一个像素或者在潜在斜角线之下一个像素。)为确保此滤波器(或窗口)中所有像素的总和为1,每个像素将除以滤波器窗口中的ON像素(值>0的像素)的总数。
让X表示反转数字图像的整个右上象限。如果右上象限与L×L滤波器卷积,则在滤波后的数字图像中的每个像素处,获得(潜在斜角线+紧邻的非斜角线的)像素的平均值。让F表示L×L滤波器。则EX(第一矩)=imfilter(X2,F),其中imfilter表示用滤波器F对图像X进行滤波的滤波操作。EX2(第二矩)=imfilter(X2,F),其中X2表示在图像中,图像的每个像素是图像X中相应像素的平方。现在,方差被定义为(第二矩–(EX的平方))。因此,图像X的每个L×L窗口中(斜角线和非斜角线)像素的方差运算如下:VARX=(EX2–EX*EX)。运算(每个L×L窗口中斜角线和非斜角线像素的平均值)/(0.001+每个L×L窗口中斜角线和非斜角线像素的标准偏差)的特征可以表示为:EX./(0.001+sqrt(VARX))。这里./表示两个矩阵EX和(0.001+sqrt(VARX))之间的元素除法,其中sqrt表示元素平方根运算。还考虑了非斜角线像素,因为更多的像素使得基于平均/标准偏差的运算更加鲁棒。
斜角线段最左侧位置的快速运算可通过EX和EX2找到。对于给定的窗口,阈值显示要考虑哪些重要点。允许的线条模型的斜率范围是已知的。在右上象限中,像素值在[0,1]的范围内,并且潜在线像素值更高。最佳截断幅度值未知,因此使用不同的截断幅度,例如[0.8、0.6、0.5、0.4、0.2]。对于给定的窗口,在选定的截断幅度下,找到重要像素(即幅度超过截断值的像素)。假设有N个这样的点。现在,可以随机选择成对的两点,并且可以识别连接它们的线。如果拟合线模型的斜率在斜率值的允许范围内,则可以进一步考虑这条线。否则,算法转移到下一对随机选择的点。
现在必须确定在连接这两个点的最佳拟合线上有多少个重要的点。假设M个像素在拟合线的<2个像素内。然后运算这M个像素的平均幅度,如果平均幅度>=(0.8*截断值),则拟合线可能是潜在的良好拟合。与潜在良好拟合相关联的成本函数是:(<拟合线的2个像素的M个像素幅度的平均值)/(0.0001+这些M个像素幅度的标准偏差)。现在,假设对于给定的截断,存在满足(拟合线的<2个像素内的像素的平均幅度,>=0.8*截断值)约束的K个拟合线模型。然后,在K个模型中,产生最大值((<拟合线2个像素的M个像素幅度的平均值)/(0.0001+这M个像素幅度的标准偏差))的线模型被视为最佳拟合线模型。对于给定的截断值,可能无法获得解决方案,如果出现这种情况,则测试下一个较小的截断值,并重复该过程。
参考图14A,在一些实施方案中,公开了一种成像分析系统,其可以用于在数字图像中检测显微镜载玻片(102)和显微镜载玻片(102)放置于其上的平台(104)之间的未对准。在一些实施方案中,该图像分析系统可以包括:包括平台(104)的载玻片处理工位;摄像头(200),其设置在显微镜载玻片(102)和平台(104)上方,使得显微镜载玻片(102)和平台(104)位于摄像头的视野中;处理器(202),其可操作地联接到摄像头(200);和存储器(201)。存储器(201)可以可操作地联接到处理器(202),并且被配置为存储数字编码的指令,该指令在由处理器(202)执行时使得处理器(202)执行包括案例1、2或3中任一案例中详述的步骤的操作。
参考图14B,在其他实施方案中,图像分析系统可用于在数字图像中检测显微镜载玻片(102)和显微镜载玻片(102)放置于其上的平台(104)之间的未对准、并将载玻片重新定位在平台上。在一些实施方案中,该图像分析系统可以包括被配置为接收显微载玻片(102)的平台(104)和被配置为在一个或多个接触点处接合显微载玻片(102)以在平台(104)上移动显微载玻片(102)的载玻片对准装置(204)。进一步的实施方案可以具有设置在显微镜载玻片(102)和平台(104)上方的摄像头(200)(使得显微镜载玻片(102)和平台(104)位于摄像头的视野中)、可操作地联接到摄像头(200)和载玻片对准装置(204)的处理器(202)、以及可操作地联接到处理器(202)的存储器(201)。在一些实施方案中,摄像头被配置为捕获显微镜载玻片(102)和平台(104)的图像,以产生捕获的图像。捕获的图像被处理以产生反转灰度版本(“数字图像”)。
存储器(201)可以可操作地联接到处理器(202),并且被配置为存储数字编码的指令,该指令在由处理器(202)执行时使得处理器(202)执行包括案例1、2或3中任一案例中详述的步骤的操作。在进一步的实施方案中,如果检测到未对准,则处理器(202)可以命令载玻片对准装置(204)在一个或多个接触点处接合显微镜载玻片(102)、移动载玻片、并将载玻片释放在平台(104)上的另一位置。
如果检测到显微镜载玻片(102)和平台(104)之间未对准,系统可以重复这些步骤。例如,系统可以重复以下操作,包括捕获图像、获取反转灰度版本(“数字图像”)、执行案例1、2或3中任一案例中详述的步骤、以及移动载玻片直到系统检测到显微镜载玻片(102)和平台(104)对准。
包括载玻片对准装置(204)的载玻片处理系统可以包括多种工位(平台),其平移可以通过传输机构简化,例如在题为“用于保持载玻片的样本处理系统和方法”的美国专利申请公开号2015/0323776中描述的那些,其说明书通过引用结合于此。在一些实施方案中,传输机构可以包括但不限于一个或多个机器人操纵器或臂、X-Y-Z传输系统、输送机或能够在各个位置之间运送物品的其他自动化机构。在其他实施方案中,传送机构包括一个或多个末端执行器、夹具、吸附装置、支架、夹具或其他适于夹持载玻片托架的部件。
在其他实施方案中,载玻片对准装置(204)可以包括机械操纵器或臂。载玻片对准装置(204)可以进一步包括用于在一个或多个接触点处接合显微镜载玻片(102)的夹持部件,其中夹持部件可以包括但不限于一个或多个吸附装置(例如,吸盘、泵、真空泵等)、机械夹持件(例如,卡爪、夹具、钳子、磁铁等)、或者例如防止载玻片掉落的其他保持特征。例如,夹持部件可以包括真空端口,真空源可以通过供应管线在真空端口为其提供吸力,使其能够拾取载玻片并在进一步运输期间保持载玻片。传感器(例如,压力传感器、空气压力传感器、光传感器等)可以被提供来检测由夹持部件固持的载玻片的存在。
在进一步的实施方案中,传输机构可以通过单个运动点操作,例如连接到马达(或载玻片机构)的丝杠,其在第一和第二位置之间平移以提供显微镜载玻片的精确放置。一些实施方式涉及一种传输系统,该传输系统包括:平移构件;两个或更多个样品载体固持装置,以相邻样品载体装置之间的固定相等间距附接到平移构件;以及与平移构件连接的移动机构,以在第一和第二位置之间来回移动平移构件和附接的样品载体固持装置。
至少一些实施方案包括样本处理系统,该样本处理系统包括用于从载玻片托架移除载玻片的载玻片弹出器组件。载玻片弹出器组件包括载玻片装载装置和致动器组件。载玻片装载装置包括平台和载玻片对准装置。致动器组件包括载玻片弹出器,该载玻片弹出器定位成相对于载玻片托架移动,以将单个载玻片件从载玻片托架传送到平台。因此,载玻片可以被转移到平台上,而不需要使用例如将载玻片从一个位置拉到另一个位置的机械夹持件或吸盘装置。
样品传输系统的实现可以单独地或组合地包括以下任何一个或多个特征。样品载体可以包括金属玻璃、陶瓷或塑料中的一种或多种(例如玻璃显微镜载玻片)。样品载体固持装置中的至少一个可以由平移构件移动和控制,以将样品载体以适当的取向传输到特定的工位,以将样品载体固持或释放到工位的特定位置,在该位置,当样品载体固持装置朝向特定的工位移动时,通过旋转至少固持器部分可以实现样品载体的正确取向,并且其中样品载体的正确取向可以通过将至少样品固持器部分水平旋转90至180度的特定角度来实现。固持器部分可以包括真空吸盘、粘合材料、电磁体或被配置为保持样品载体的机械装置。
可以在此使用的所述载玻片处理系统的其他非限制性实施例在标题为“样品传输系统和方法”的WO 2013016035和标题为“用于生物样品处理的设备和方法”并于2014年11月11日授予的美国专利No.8,883,509中描述,它们的说明书通过引用结合于此。
进一步的具体实施方案:
进一步的实施方案1-公开了一种用于在数字图像中检测显微镜载玻片(102)和显微镜载玻片(102)放置于其上的平台(104)之间的未对准的方法,其中数字图像被分成四个象限,其中四个象限是左上象限、右上象限、左下象限和右下象限,其中平台(104)具有水平边缘(106)和竖直边缘(108),其中显微镜载玻片(102)具有连接形成直角拐角(116)的载玻片水平边缘(112)和载玻片竖直边缘(114),其中该方法包括:通过获取显微镜载玻片(102)和平台(104)的RGB图像的反转灰度版本来获得数字图像;(b)识别连接平台(104)的水平边缘(106)和竖直边缘(108)的斜角线段(110)的位置,其中斜角线段(110)的长度是已知的,其中斜角线段(110)和x-y坐标平面的正x轴之间的角度θ测量值为135度,其中识别斜角线段(110)的位置包括:生成第一组潜在线段,其中每个潜在线段和正x轴之间的角度测量值为135度,其中每个潜在线段的长度是斜角线段(110)的长度,其中该组潜在线段位于数字图像(100)的右上象限;以及为每个潜在线段计算第一成本函数,其中每个潜在线段包括一组像素,其中该组像素中的每个像素具有一定幅度;其中第一成本函数是潜在线段像素和紧邻的非斜角线像素的平均幅度除以潜在线段像素和紧邻的非斜角线像素的标准偏差与0.0001的和,其中紧邻的非斜角线像素是每个潜在线段上方一个像素或下方一个像素的像素,其中斜角线段由一组像素组成,该组像素的幅度的值近似相等并且高于周围像素的幅度,其中构成最优潜在线段的像素组具有高于周围像素的幅度的平均幅度以及接近零的标准偏差;以及选择产生第一成本函数的最高值的潜在线段,从而识别斜角线段(110)的位置,其中识别斜角线段(110)的位置在数字图像中提供了两个基准点,用于有效地定位平台(104)的水平边缘(106)、平台(104)的竖直边缘(108)、载玻片水平边缘(112)和载玻片竖直边缘(114),其中两个基准点是斜角线段(110)的最左侧位置(118)和最右侧位置(120);(c)定位平台(104)的竖直边缘(108),包括:(i)获得数字图像(100)的右上象限的转置版本;(ii)生成第二组潜在线段,每个潜在线段的斜率在-0.1至0.1的范围内,其中这组潜在线段位于数字图像右上象限的转置版本的第一窗口内,第一窗口包括从斜角线段(110)的最右侧位置(120)开始并向上延伸的三十个像素的列、以及从斜角线段(110)的最右侧位置(120)开始并(向右)延伸到数字图像(100)的右上象限的转置版本的末端的像素行;(iii)为每个潜在线段计算第二成本函数,其中每个潜在线段包括一组像素,其中该组像素中的每个像素的幅度大于截断幅度,其中第二成本函数是每个像素的幅度的平均值除以该组像素的标准偏差与0.0001的和;以及(iv)选择产生第二成本函数的最高值的潜在线段,从而识别平台(104)的竖直边缘(108)的位置;(d)定位载玻片竖直边缘(114),其中显微镜载玻片(102)的拐角(116)延伸超出平台的斜角线段(110),其中定位载玻片竖直边缘(114)包括:(i)在数字图像(100)的右上象限的转置版本内生成第三组潜在线段,其中每个潜在线段具有-0.2至0.2范围内的斜率,其中这组潜在线段位于数字图像右上象限的转置版本内的第二窗口内,该第二窗口包括从斜角线段(110)的最右侧位置(120)上方10个像素开始并延伸到斜角线段(110)的最右侧位置(120)上方250个像素的像素列以及数字图像的右上象限的转置版本中的所有像素行;(ii)为每个潜在线段计算第三成本函数,其中每个潜在线段包括一组像素,其中该组像素中的每个像素的幅度大于截断幅度,其中第三成本函数是每个像素的幅度的平均值除以该组像素的标准偏差与0.0001的和;以及(iii)选择产生第三成本函数的最高值的潜在线段,从而识别载玻片竖直边缘的位置(114);(e)在原始数字图像中定位平台(104)的水平边缘(106),包括:(i)生成第四组潜在线段,每个潜在线段的斜率在-0.1至0.1的范围内,其中该组潜在线段位于第三窗口内,第三窗口包括斜角线段(110)的最左侧位置(118)上方30个像素内的像素行、以及原始数字图像(100)的右上象限中的所有像素列;(ii)为每个潜在线段计算第四成本函数,其中每个潜在线段包括一组像素,其中该组像素中的每个像素的幅度大于截断幅度,其中第四成本函数是每个像素的幅度的平均值除以该组像素的标准偏差与0.0001的和;以及(iii)选择产生第四成本函数的最高值的潜在线段,从而识别平台(104)的水平边缘(106)的位置;(f)在原始数字图像中定位载玻片水平边缘(112),包括:(i)生成第五组潜在线段,每个潜在线段的斜率在-0.2至0.2的范围内,其中第五组潜在线段位于第四窗口内,第四窗口包括斜角线段(110)的最左侧位置(118)上方33个像素至250个像素内的行以及原始数字图像(100)的右上象限中的所有列;(ii)为每个潜在线段计算第五成本函数,其中每个潜在线段包括一组像素,其中该组像素中的每个像素的幅度大于截断幅度,其中第五成本函数是每个像素的幅度的平均值除以该组像素的标准偏差与0.0001的和;以及(iii)选择产生第五成本函数的最高值的潜在线段,从而识别载玻片水平边缘(112);(g)计算第一距离的值,其中第一距离的值是平台(104)的竖直边缘(108)和载玻片竖直边缘(114)之间的最短水平距离;以及(h)计算第二距离的值,其中第二距离的值是平台(104)的水平边缘(106)和载玻片水平边缘(112)之间的最短竖直距离;其中如果第一距离的值大于第一阈值最大值或小于第一阈值最小值,则检测到显微镜载玻片(102)和平台(104)之间未对准,其中如果第二距离的值大于第二阈值最大值或小于第二阈值最小值,则检测到显微镜载玻片(102)和平台(104)之间未对准。
进一步的实施方案2-进一步的实施方案1的方法,其中斜角线段的最左侧位置(118)位于距数字图像顶行25%至50%的行内,以及距数字图像(100)右上象限的最左侧列55%至83%的列内。
进一步的实施方案3-进一步的实施方案1和进一步的实施方案2中任一个的方法,其中截断幅度的一个或多个预定值用于确定潜在线段的集合。
进一步的实施方案4-公开了一种用于在数字图像中检测显微镜载玻片(102)和显微镜载玻片(102)放置于其上的平台之间的未对准的方法,其中数字图像被分成四个象限,其中四个象限是左上象限、右上象限、左下象限和右下象限,其中平台(104)具有水平边缘(106)和竖直边缘(108),其中显微镜载玻片(102)具有连接形成直角拐角(116)的载玻片水平边缘(112)和载玻片竖直边缘(114),其中该方法包括:(a)通过获取显微镜载玻片(102)和平台(104)的RGB图像的反转灰度版本来获得数字图像;(b)识别连接平台(104)的水平边缘(106)和竖直边缘(108)的斜角线段(110)的位置,其中斜角线段(110)具有长度L,其中在斜角线段(110)和x-y坐标平面的正x轴之间测量基准角度θ,其中识别斜角线段的位置包括:(i)生成多个潜在线段,每个线段的长度等于L,基准角度等于θ,其中每个潜在线段由一个中心像素定义;(ii)将每个潜在线段的中心像素叠加在构成数字图像的右上象限的多个像素的每个像素上;(iii)为数字图像(100)的右上象限中的每个像素的每个潜在线段计算第一成本函数,其中每个潜在线段由一组像素组成,其中该组像素中的每个像素具有一定幅度,其中第一成本函数是潜在线段像素和紧邻的非斜角线像素的平均幅度除以潜在线段像素和紧邻的非斜角线像素的标准偏差与0.0001的和,其中紧邻的非斜角线像素是每个潜在线段上方一个像素或下方一个像素的像素,其中斜角线段由一组像素组成,该组像素的幅度的值近似相等并且高于周围像素的幅度,其中构成最优潜在线段的像素组具有高于周围像素的幅度的平均幅度以及接近零的标准偏差;以及(iv)选择产生第一成本函数的最高值的潜在线段,从而识别斜角线段(110)的位置,其中识别斜角线段(110)的位置在数字图像中提供了两个基准点,用于有效地定位平台(104)的水平边缘(106)、平台(104)的竖直边缘(108)、载玻片水平边缘(112)和载玻片竖直边缘(114),其中两个基准点是斜角线段的最左侧位置(118)和最右侧位置(120);(c)定位平台(104)的竖直边缘(108),包括:(i)获得数字图像(100)的右上象限的转置版本;(ii)生成第一组潜在线段,每个潜在线段的斜率在-0.1至0.1的范围内,其中该组潜在线段位于第一窗口内,第一窗口包括从斜角线段(110)的最右侧位置(120)开始并向上延伸到右上象限的转置版本的顶部的像素列以及右上象限的转置版本中的所有像素行;以及(iii)为每个潜在线段计算第二成本函数,其中每个潜在线段包括一组像素,其中该组像素中的每个像素的幅度大于截断幅度,其中第二成本函数是每个像素的幅度的平均值除以该组像素的标准偏差与0.0001的和;以及(iv)选择产生第二成本函数的最高值的潜在线段,从而识别平台(104)的竖直边缘(108)的位置;(d)定位载玻片竖直边缘(114),其中显微镜载玻片(102)的拐角(116)延伸超出平台的斜角线段(110),其中定位载玻片竖直边缘(114)包括:(i)在数字图像(100)的右上象限的转置版本内生成第二组潜在线段,其中每个潜在线段具有-0.2至0.2范围内的斜率,其中该组潜在线段位于第二窗口内,该第二窗口包括从斜角线段(110)的最右侧位置(120)上方十个像素开始向上延伸到右上象限的转置版本的顶部的转置数字图像的像素列以及右上象限的转置版本中的所有像素行;以及(ii)为每个潜在线段计算第三成本函数,其中每个潜在线段包括一组像素,其中该组像素中的每个像素的幅度大于截断幅度,其中第三成本函数是每个像素的幅度的平均值除以该组像素的标准偏差与0.0001的和;(iii)选择产生第三成本函数的最高值的潜在线段,从而识别载玻片竖直边缘的位置(114);(e)在原始数字图像中定位平台(104)的水平边缘(106),包括:(i)生成第三组潜在线段,每个潜在线段的斜率在-0.1至0.1的范围内,其中该组潜在线段位于第三窗口内,第三窗口包括从斜角线段(110)的最左侧位置(118)开始并向上延伸到原始数字图像的第一行的像素列、以及原始数字图像(100)的右上象限中的所有像素行;(ii)为每个潜在线段计算第四成本函数,其中每个潜在线段包括一组像素,其中该组像素中的每个像素的幅度大于截断幅度,其中第四成本函数是每个像素的幅度的平均值除以该组像素的标准偏差与0.0001的和;以及(iii)选择产生第四成本函数的最高值的潜在线段,从而识别平台(104)的水平边缘(106)的位置;(f)在原始数字图像中定位载玻片水平边缘(112),包括:(i)生成第四组潜在线段,每个潜在线段的斜率在-0.2至0.2的范围内,其中该组潜在线段位于第四窗口内,第四窗口包括从斜角线段(110)的最左侧位置(118)上方十个像素开始并向上延伸到原始数字图像的第一行的像素列、以及原始数字图像(100)的右上象限中的所有像素行;(ii)为每个潜在线段计算第五成本函数,其中每个潜在线段包括一组像素,其中该组像素中的每个像素的幅度大于截断幅度,其中第五成本函数是每个像素的幅度的平均值除以该组像素的标准偏差与0.0001的和;以及(iii)选择产生第五成本函数的最高值的潜在线段,从而识别载玻片水平边缘(112);(g)计算第一距离的值,其中第一距离的值是平台(104)的竖直边缘(108)和载玻片竖直边缘(114)之间的最短水平距离;以及(h)计算第二距离的值,其中第二距离的值是平台(104)的水平边缘(106)和载玻片水平边缘(112)之间的最短竖直距离;其中如果第一距离的值大于第一阈值最大值或小于第一阈值最小值,则检测到显微镜载玻片(102)和平台(104)之间未对准,其中如果第二距离的值大于第二阈值最大值或小于第一阈值最小值,则检测到显微镜载玻片(102)和平台(104)之间未对准。
进一步的实施方案5-进一步的实施方案4的方法,其中L的值在预定范围内。
进一步的实施方案6-进一步的实施方案5或进一步的实施方案6的方法,其中θ的值在预定范围内。
进一步的实施方案7-进一步的实施方案4、5或6中任一个的方法,其中截断幅度包括一个或多个预定值。
进一步的实施方案8-公开了一种用于在数字图像中检测显微镜载玻片(102)和显微镜载玻片(102)放置于其上的平台之间的未对准的方法,其中数字图像被分成四个象限,其中四个象限是左上象限、右上象限、左下象限和右下象限,其中平台(104)具有水平边缘(106)和竖直边缘(108),其中显微镜载玻片(102)具有连接形成直角拐角(116)的载玻片水平边缘(112)和载玻片竖直边缘(114),该方法包括:(a)通过获取显微镜载玻片(102)和平台(104)的RGB图像的反转灰度版本来获得数字图像;(b)识别连接平台(104)的水平边缘(106)和竖直边缘(108)的基准线图案(110)的位置,其中基准线图案具有预定长度和参数形式,其中参数形式是具有一个或多个未知系数的方程,这些未知系数定义基准线图案的形状,其中识别基准线图案(110)的位置包括:(i)通过在确定的范围内改变一个或多个未知系数来生成一组潜在基准线图案,每个潜在基准线图案具有基准线图案(110)的长度和参数形式,其中每个潜在基准线图案由中心像素定义;(ii)将每个潜在基准线图案的中心像素叠加在构成数字图像(100)的右上象限的多个像素的每个像素上;(iii)为数字图像(100)的右上象限中的每个像素的每个潜在基准线图案计算第一成本函数,其中每个潜在基准线图案由一组像素组成,其中该组像素中的每个像素具有一定幅度,其中第一成本函数是基准线图案像素和紧邻的非斜角线像素的平均幅度除以基准线图案像素和紧邻的非斜角线像素的标准偏差与0.0001的和,其中紧邻的非斜角线像素是每个基准线图案上方一个像素或下方一个像素的像素,其中基准线图案由一组像素组成,该组像素的幅度的值近似相等并且高于周围像素的幅度,其中构成最优潜在基准线图案的像素组具有高于周围像素的幅度的平均幅度以及接近零的标准偏差;以及(iv)选择产生第一成本函数的最高值的潜在基准线图案,从而识别基准线图案(110)的位置,其中识别基准线图案(110)的位置在数字图像中提供了两个基准点,用于有效地定位平台(104)的水平边缘(106)、平台(104)的竖直边缘(108)、载玻片水平边缘(112)和载玻片竖直边缘(114),其中两个基准点是基准线图案的最左侧位置(118)和最右侧位置(120);(c)定位平台(104)的竖直边缘(108),包括:(i)获得数字图像(100)的右上象限的转置版本;(ii)生成第一组潜在线段,每个潜在线段的斜率在-0.1至0.1的范围内,其中该组潜在线段位于第一窗口内,第一窗口包括从基准线图案(110)的最右侧位置(120)开始并向上延伸到右上象限的转置版本的顶部的像素列以及右上象限的转置版本中的所有像素行;(iii)为每个潜在线段计算第二成本函数,其中每个潜在线段包括一组像素,其中该组像素中的每个像素的幅度大于截断幅度,其中第二成本函数是每个像素的幅度的平均值和该组像素的标准偏差的函数;以及(iv)选择产生第二成本函数的最高值的潜在线段,从而识别平台(104)的竖直边缘(108)的位置;(d)识别载玻片竖直边缘(114)的位置,其中显微镜载玻片(102)的拐角(116)延伸超出平台(104)的基准线图案(110),其中定位载玻片竖直边缘(114)包括:(i)在数字图像(100)的右上象限的转置版本内生成第二组潜在线段,其中每个潜在线段具有-0.2至0.2范围内的斜率,其中该组潜在线段位于第二窗口内,该第二窗口包括从基准线图案(110)的最右侧位置(120)上方十个像素开始向上延伸到右上象限的转置版本的顶部的转置数字图像的像素列以及右上象限的转置版本中的所有像素行;以及(ii)为每个潜在线段计算第三成本函数,其中每个潜在线段包括一组像素,其中该组像素中的每个像素的幅度大于截断幅度,其中第三成本函数是每个像素的幅度的平均值和该组像素的标准偏差的函数;(iii)选择产生第三成本函数的最高值的潜在线段,从而识别载玻片竖直边缘的位置(114);(e)在原始数字图像中定位平台(104)的水平边缘(106),包括:(i)生成第三组潜在线段,每个潜在线段的斜率在-0.1至0.1的范围内,其中该组潜在线段位于第三窗口内,第三窗口包括从参考线图案(110)的最左侧位置(118)开始并向上延伸到原始数字图像的第一行的像素列、以及原始数字图像(100)的右上象限中的所有像素行;(ii)为每个潜在线段计算第四成本函数,其中每个潜在线段包括一组像素,其中该组像素中的每个像素的幅度大于截断幅度,其中第四成本函数是每个像素的幅度的平均值和该组像素的标准偏差的函数;以及(iii)选择产生第四成本函数的最高值的潜在线段,从而识别平台(104)的水平边缘(106)的位置;(f)在原始数字图像中定位载玻片水平边缘(112),包括:(i)生成第四组潜在线段,每个潜在线段的斜率在-0.2至0.2的范围内,其中该组潜在线段位于第四窗口内,第四窗口包括从基准线图案(110)的最左侧位置(118)上方十个像素开始并向上延伸到原始数字图像的第一行的像素列以及原始数字图像(100)的右上象限中的所有像素行;(ii)为每个潜在线段计算第五成本函数,其中每个潜在线段包括一组像素,其中该组像素中的每个像素的幅度大于截断幅度,其中第五成本函数是每个像素的幅度的平均值和该组像素的标准偏差的函数;以及(iii)选择产生第五成本函数的最高值的潜在线段,从而识别载玻片水平边缘(112);(g)计算第一距离的值,其中第一距离的值是平台(104)的竖直边缘(108)和载玻片竖直边缘(114)之间的最短水平距离;以及(h)计算第二距离的值,其中第二距离的值是平台(104)的水平边缘(106)和载玻片水平边缘(112)之间的最短竖直距离;其中如果第一距离的值大于第一阈值最大值或小于第一阈值最小值,则检测到显微镜载玻片(102)和平台(104)之间未对准,其中如果第二距离的值大于第二阈值最大值或小于第一阈值最小值,则检测到显微镜载玻片(102)和平台(104)之间未对准。
进一步的实施方案9-进一步的实施方案8的方法,其中基准线图案(110)是直线的,具有参数形式:y=ax+b。
进一步的实施方案10-进一步的实施方案8或进一步的实施方案9的方法,其中基准线图案(110)是具有参数形式的曲线:y=ax2+bx+c。
进一步的实施方案11-公开了一种成像分析系统,用于在数字图像中检测显微镜载玻片(102)和显微镜载玻片(102)放置于其上的平台(104)之间的未对准,所述系统包括:包括平台(104)的载玻片处理工位;摄像头(200),其设置在显微镜载玻片(102)和平台(104)上方,使得显微镜载玻片(102)和平台(104)位于摄像头的视野中;处理器(202),其可操作地联接到摄像头(200);和存储器(201),其可操作地联接到处理器(202),被配置为存储数字编码的指令,该指令在由处理器(202)执行时使得处理器(202)执行包括以下内容的操作:(i)用摄像头(200)捕获显微镜载玻片(102)和显微镜载玻片(102)放置于其上的平台(104)的图像,以产生捕获的图像,其中平台(104)具有水平边缘(106)和竖直边缘(108),其中显微镜载玻片(102)具有连接形成直角拐角(116)的载玻片水平边缘(112)和载玻片竖直边缘(114);(ii)获取所捕获图像的反转灰度版本(“数字图像”);(iii)识别连接平台(104)的水平边缘(106)和竖直边缘(108)的基准线图案(110)的位置,其中基准线图案具有预定长度和参数形式,其中参数形式是具有一个或多个未知系数的方程,这些未知系数定义基准线图案的形状,其中识别基准线图案(110)的位置包括:(A)通过在确定的范围内改变一个或多个未知系数来生成一组潜在基准线图案,每个潜在基准线图案具有基准线图案(110)的长度和参数形式,其中每个潜在基准线图案由中心像素定义;(B)将每个潜在基准线图案的中心像素叠加在构成数字图像(100)的右上象限的多个像素的每个像素上;(C)为数字图像(100)的右上象限中的每个像素的每个潜在基准线图案计算第一成本函数,其中每个潜在基准线图案由一组像素组成,其中该组像素中的每个像素具有一定幅度,其中第一成本函数是基准线图案像素和紧邻的非斜角线像素的平均幅度除以基准线图案像素和紧邻的非斜角线像素的标准偏差与0.0001的和,其中紧邻的非斜角线像素是每个基准线图案上方一个像素或下方一个像素的像素,其中基准线图案由一组像素组成,该组像素的幅度的值近似相等并且高于周围像素的幅度,其中构成最优潜在基准线图案的像素组具有高于周围像素的幅度的平均幅度以及接近零的标准偏差;以及(D)选择产生第一成本函数的最高值的潜在基准线图案,从而识别基准线图案(110)的位置,其中识别基准线图案(110)的位置在数字图像中提供了两个基准点,用于有效地定位平台(104)的水平边缘(106)、平台(104)的竖直边缘(108)、载玻片水平边缘(112)和载玻片竖直边缘(114),其中两个基准点是基准线图案的最左侧位置(118)和最右侧位置(120);(iv)定位平台(104)的竖直边缘(108),包括:(A)获得数字图像(100)的右上象限的转置版本;(B)生成第一组潜在线段,每个潜在线段的斜率在-0.1至0.1的范围内,其中该组潜在线段位于第一窗口内,第一窗口包括从基准线图案(110)的最右侧位置(120)开始并向上延伸到右上象限的转置版本的顶部的像素列以及右上象限的转置版本中的所有像素行;(C)为每个潜在线段计算第二成本函数,其中每个潜在线段包括一组像素,其中该组像素中的每个像素的幅度大于截断幅度,其中第二成本函数是每个像素的幅度的平均值和该组像素的标准偏差的函数;以及(D)选择产生第二成本函数的最高值的潜在线段,从而识别平台(104)的竖直边缘(108)的位置;(v)识别载玻片竖直边缘(114)的位置,其中显微镜载玻片(102)的拐角(116)延伸超出平台(104)的基准线图案(110),其中定位载玻片竖直边缘(114)包括:(A)在数字图像(100)的右上象限的转置版本内生成第二组潜在线段;其中每个潜在线段具有-0.2至0.2范围内的斜率,其中该组潜在线段位于第二窗口内,该第二窗口包括从基准线图案(110)的最右侧位置(120)上方十个像素开始向上延伸到右上象限的转置版本的顶部的转置数字图像的像素列以及右上象限的转置版本中的所有像素行;以及(B)为每个潜在线段计算第三成本函数,其中每个潜在线段包括一组像素,其中该组像素中的每个像素的幅度大于截断幅度,其中第三成本函数是每个像素的幅度的平均值和该组像素的标准偏差的函数;以及(C)选择产生第三成本函数的最高值的潜在线段,从而识别载玻片竖直边缘的位置(114);(vi)在原始数字图像中定位平台(104)的水平边缘(106),包括:(A)生成第三组潜在线段,每个潜在线段的斜率在-0.1至0.1的范围内,其中该组潜在线段位于第三窗口内,第三窗口包括从参考线图案(110)的最左侧位置(118)开始并向上延伸到原始数字图像的第一行的像素列、以及原始数字图像(100)的右上象限中的所有像素行;(B)为每个潜在线段计算第四成本函数,其中每个潜在线段包括一组像素,其中该组像素中的每个像素的幅度大于截断幅度,其中第四成本函数是每个像素的幅度的平均值和该组像素的标准偏差的函数;以及(C)选择产生第四成本函数的最高值的潜在线段,从而识别平台(104)的水平边缘(106)的位置;(vii)在原始数字图像中定位载玻片水平边缘(112),包括:(A)生成第四组潜在线段,每个潜在线段的斜率在-0.2至0.2的范围内,其中该组潜在线段位于第四窗口内,第四窗口包括从基准线图案(110)的最左侧位置(118)上方十个像素开始并向上延伸到原始数字图像的第一行的像素列以及原始数字图像(100)的右上象限中的所有像素行;(B)为每个潜在线段计算第五成本函数,其中每个潜在线段包括一组像素,其中该组像素中的每个像素的幅度大于截断幅度,其中第五成本函数是每个像素的幅度的平均值和该组像素的标准偏差的函数;(C)选择产生第五成本函数的最高值的潜在线段,从而识别载玻片水平边缘(112);以及(D)计算第一距离的值,其中第一距离的值是平台(104)的竖直边缘(108)和载玻片竖直边缘(114)之间的最短水平距离;以及(viii)计算第二距离的值,其中第二距离的值是平台(104)的水平边缘(106)和载玻片水平边缘(112)之间的最短竖直距离;其中如果第一距离的值大于第一阈值最大值或小于第一阈值最小值,则检测到显微镜载玻片(102)和平台(104)之间未对准,其中如果第二距离的值大于第二阈值最大值或小于第一阈值最小值,则检测到显微镜载玻片(102)和平台(104)之间未对准。
进一步的实施方案12-公开了一种成像分析系统,用于在数字图像中检测显微镜载玻片(102)和显微镜载玻片(102)放置于其上的平台(104)之间的未对准,所述系统包括:平台(104),其被配置成接收显微载玻片(102);载玻片对准装置(204),其被配置为在一个或多个接触点处接合显微镜载玻片(102),用于在平台(104)上移动显微镜载玻片(102);摄像头(200),其设置在显微镜载玻片(102)和平台(104)上方,使得显微镜载玻片(102)和平台(104)位于摄像头的视野中;可操作地联接到摄像头(200)和载玻片对准装置(204)的处理器(202);和存储器(201),其可操作地联接到处理器(202),被配置为存储数字编码的指令,该指令在由处理器(202)执行时使得处理器(202)执行包括以下内容的操作:(i)用摄像头(200)捕获显微镜载玻片(102)和显微镜载玻片(102)放置于其上的平台(104)的图像,以产生捕获的图像,其中平台(104)具有水平边缘(106)和竖直边缘(108),其中显微镜载玻片(102)具有连接形成直角拐角(116)的载玻片水平边缘(112)和载玻片竖直边缘(114);(ii)获取所捕获图像的反转灰度版本(“数字图像”);(iii)识别连接平台(104)的水平边缘(106)和竖直边缘(108)的基准线图案(110)的位置,其中基准线图案具有预定长度和参数形式,其中参数形式是具有一个或多个未知系数的方程,这些未知系数定义基准线图案的形状,其中识别基准线图案(110)的位置包括:(A)通过在确定的范围内改变一个或多个未知系数来生成一组潜在基准线图案,每个潜在基准线图案具有基准线图案(110)的长度和参数形式,其中每个潜在基准线图案由中心像素定义;(B)将每个潜在基准线图案的中心像素叠加在构成数字图像(100)的右上象限的多个像素的每个像素上;(C)为数字图像(100)的右上象限中的每个像素的每个潜在基准线图案计算第一成本函数,其中每个潜在基准线图案由一组像素组成,其中该组像素中的每个像素具有一定幅度,其中第一成本函数是基准线图案像素和紧邻的非斜角线像素的平均幅度除以基准线图案像素和紧邻的非斜角线像素的标准偏差与0.0001的和,其中紧邻的非斜角线像素是每个基准线图案上方一个像素或下方一个像素的像素,其中基准线图案由一组像素组成,该组像素的幅度的值近似相等并且高于周围像素的幅度,其中构成最优潜在基准线图案的像素组具有高于周围像素的幅度的平均幅度以及接近零的标准偏差;以及(D)选择产生第一成本函数的最高值的潜在基准线图案,从而识别基准线图案(110)的位置,其中识别基准线图案(110)的位置在数字图像中提供了两个基准点,用于有效地定位平台(104)的水平边缘(106)、平台(104)的竖直边缘(108)、载玻片水平边缘(112)和载玻片竖直边缘(114),其中两个基准点是基准线图案的最左侧位置(118)和最右侧位置(120);(iv)定位平台(104)的竖直边缘(108),包括:(A)获得数字图像(100)的右上象限的转置版本;(B)生成第一组潜在线段,每个潜在线段的斜率在-0.1至0.1的范围内,其中该组潜在线段位于第一窗口内,第一窗口包括从基准线图案(110)的最右侧位置(120)开始并向上延伸到右上象限的转置版本的顶部的像素列以及右上象限的转置版本中的所有像素行;(C)为每个潜在线段计算第二成本函数,其中每个潜在线段包括一组像素,其中该组像素中的每个像素的幅度大于截断幅度,其中第二成本函数是每个像素的幅度的平均值和该组像素的标准偏差的函数;以及(D)选择产生第二成本函数的最高值的潜在线段,从而识别平台(104)的竖直边缘(108)的位置;(v)识别载玻片竖直边缘(114)的位置,其中显微镜载玻片(102)的拐角(116)延伸超出平台(104)的基准线图案(110),其中定位载玻片竖直边缘(114)包括:(A)在数字图像(100)的右上象限的转置版本内生成第二组潜在线段;其中每个潜在线段具有-0.2至0.2范围内的斜率,其中该组潜在线段位于第二窗口内,该第二窗口包括从基准线图案(110)的最右侧位置(120)上方十个像素开始向上延伸到右上象限的转置版本的顶部的转置数字图像的像素列以及右上象限的转置版本中的所有像素行;以及(B)为每个潜在线段计算第三成本函数,其中每个潜在线段包括一组像素,其中该组像素中的每个像素的幅度大于截断幅度,其中第三成本函数是每个像素的幅度的平均值和该组像素的标准偏差的函数;以及(C)选择产生第三成本函数的最高值的潜在线段,从而识别载玻片竖直边缘的位置(114);(vi)在原始数字图像中定位平台(104)的水平边缘(106),包括:(A)生成第三组潜在线段,每个潜在线段的斜率在-0.1至0.1的范围内,其中该组潜在线段位于第三窗口内,第三窗口包括从参考线图案(110)的最左侧位置(118)开始并向上延伸到原始数字图像的第一行的像素列、以及原始数字图像(100)的右上象限中的所有像素行;(B)为每个潜在线段计算第四成本函数,其中每个潜在线段包括一组像素,其中该组像素中的每个像素的幅度大于截断幅度,其中第四成本函数是每个像素的幅度的平均值和该组像素的标准偏差的函数;以及(C)选择产生第四成本函数的最高值的潜在线段,从而识别平台(104)的水平边缘(106)的位置;(vii)在原始数字图像中定位载玻片水平边缘(112),包括:(A)生成第四组潜在线段,每个潜在线段的斜率在-0.2至0.2的范围内,其中该组潜在线段位于第四窗口内,第四窗口包括从基准线图案(110)的最左侧位置(118)上方十个像素开始并向上延伸到原始数字图像的第一行的像素列以及原始数字图像(100)的右上象限中的所有像素行;(B)为每个潜在线段计算第五成本函数,其中每个潜在线段包括一组像素,其中该组像素中的每个像素的幅度大于截断幅度,其中第五成本函数是每个像素的幅度的平均值和该组像素的标准偏差的函数;(C)选择产生第五成本函数的最高值的潜在线段,从而识别载玻片水平边缘(112);以及(D)计算第一距离的值,其中第一距离的值是平台(104)的竖直边缘(108)和载玻片竖直边缘(114)之间的最短水平距离;(viii)计算第二距离的值,其中第二距离的值是平台(104)的水平边缘(106)和载玻片水平边缘(112)之间的最短竖直距离,其中如果第一距离的值大于第一阈值最大值或小于第一阈值最小值,则检测到显微镜载玻片(102)和平台(104)之间未对准,其中如果第二距离的值大于第二阈值最大值或小于第一阈值最小值,则检测到显微镜载玻片(102)和平台(104)之间未对准;如果检测到显微镜载玻片(102)和平台(104)之间未对准,则命令载玻片对准装置(204)在一个或多个接触点处接合显微镜载玻片(102)并移动载玻片;命令载玻片对准装置(204)将显微镜载玻片(102)释放在平台(104)上;以及如果检测到显微镜载玻片(102)和平台(104)之间未对准,则重复(i)至(v)。
进一步的实施方案13-进一步的实施方案12的系统,其中载玻片对准装置(204)包括机械臂。
进一步的实施方案14-进一步的实施方案12的系统,其中载玻片对准装置(204)进一步包括用于在一个或多个接触点接合显微载玻片(102)的夹持部件。
进一步的实施方案15-进一步的实施方案14的系统,其中夹持部件包括一个或多个吸盘或机械夹持件。
如本文所用,术语“约”指的是基准数字的正负10%。
除非另有明确说明,否则这里使用的“一”、“一个”和“该”同时指代单数和复数。因此,例如,“一”可以指一个或多个、两个或更多个、三个或更多个。
如本文所使用的,术语“竖直”和“水平”指的是对应于图像帧的x轴和y轴的方向,并且仅仅是给定图像内参考帧的指示。因此,例如,如果从不同的视点获得图像,那么图像中相对于外部参照系的“竖直”和“水平”可以互换。
根据前面的描述,除了在本文中描述的修改之外,本发明的各种修改对于本领域技术人员来说将是显而易见的。例如,虽然该方法和系统在显微镜载玻片的情况中示出,但是该方法和系统也可以用于确保其他基底的对准。此外,尽管这些示例示出了下面的基底支架小于显微镜载玻片的情况,但是在基底小于基底支架的情况下也可以使用该方法和系统。这种修改也旨在落入所附权利要求书的范围内。本申请中引用的每个参考文献通过引用整体结合于此。
尽管已经示出和描述了所公开方法的说明性实施方案,但是很明显,对于本领域技术人员来说,可以对其进行不超出所附权利要求书范围的修改是很明显的。因此,本发明的范围仅由以下权利要求书来限定。在一些实施方案中,本专利申请中呈现的附图按比例绘制,包括角度、尺寸比等。在一些实施方案中,附图仅是代表性的,权利要求书不受附图尺寸的限制。在一些实施方案中,在本文使用短语“包括”描述的发明的描述包括可以被描述为“由……组成”的实施方案,因此,使用短语“由……组成”来要求保护的检测医疗器械载玻片放置准确性的方法的一个或多个实施方案的书面描述要求得到满足。
在下面的权利要求书中引用的附图标记仅仅是为了便于审查本专利申请,并且是示例性的,并不意图以任何方式将权利要求书的范围限制到附图中具有相应附图标记的特定特征。
Claims (17)
1.一种检测显微镜载玻片(102)与该显微镜载玻片(102)放置于其上的平台(104)之间的未对准状况的方法,其中所述平台(104)由水平边缘(106)和竖直边缘(108)组成,以及所述显微镜载玻片(102)由连接形成直角拐角(116)的载玻片水平边缘(112)和载玻片竖直边缘(114)组成,该方法包括:
(a) 在包括该显微镜载玻片(102)的至少一部分和该平台(104)的至少一部分的图像中识别平台特征(110),其中所述平台特征为基准线图案,该基准线图案连接所述平台(104)的竖直和水平边缘(106,108),使得显微镜载玻片(102)的直角拐角(116)延伸超过所述基准线图案;
(b) 在该图像中识别该平台的水平边缘(106)和该显微镜载玻片的载玻片水平边缘(112),其中通过识别该平台特征(110)的第一基准点(118)来实现识别该图像中的该平台的水平边缘(106),其中所述第一基准点是所述基准线图案的最左侧位置或最右侧位置;以及,
(c) 计算该图像中该平台的水平边缘(106)和该显微镜载玻片的载玻片水平边缘(112)之间的第一距离的值,其中如果该第一距离的值位于第一预定值范围之外,则检测到该显微镜载玻片(102)与该平台(104)之间的未对准状况。
2.权利要求1的方法,其进一步包括:
(a) 在该图像中识别该平台(104)的竖直边缘(108)和该显微镜载玻片(102)的载玻片竖直边缘(114),其中通过识别该平台特征(110)的第二基准点(120)来实现识别该图像中的该平台的竖直边缘(108),其中所述第二基准点是所述基准线图案的最左侧位置或最右侧位置,其中所述第二基准点的位置与所述第一基准点的位置不同;以及,
(b) 计算作为该平台(104)的竖直边缘(108)与该显微镜载玻片的载玻片竖直边缘(114)之间最短距离的第二距离的值,其中如果该第一距离的值位于该第一预定值范围之外,或者如果该第二距离的值位于第二预定值范围之外,则检测到该显微镜载玻片(102)与该平台(104)之间的未对准状况。
3.权利要求1和2中任一项的方法,其中该图像包括灰度图像。
4.权利要求1至3中任一项的方法,其中该平台特征(110)位于图像帧中,使得其与该图像的x-y坐标平面的x轴形成已知的角度。
5.权利要求1至4中任一项的方法,其中该平台特征(110)具有已知的长度。
6.权利要求1至5中任一项的方法,其中该平台特征(110)透过该显微镜载玻片成像。
7.权利要求1至6中任一项的方法,其中识别该平台特征(110)、该平台的水平边缘(106)、该平台的竖直边缘(108)、该显微镜载玻片的载玻片水平边缘(112)、和该显微镜载玻片的载玻片竖直边缘(114)中的一个或多个包括从潜在的一组线段中选择线段来表示该平台特征(110)、该平台的水平边缘(106)、该平台的竖直边缘(108)、该显微镜载玻片的载玻片水平边缘(112)和该显微镜载玻片的载玻片竖直边缘(114)中的一个或多个。
8.权利要求7的方法,其中选择包括基于成本函数来选择潜在线段。
9.权利要求7或8中任一项的方法,其中该平台的水平边缘(106)、该平台的竖直边缘(108)、该显微镜载片的载玻片水平边缘(112)和该显微镜载片的载玻片竖直边缘(114)中的至少一个在图像中呈现为竖直线,并且识别进一步包括:在选择线段来表示该平台特征(110)、该平台的水平边缘(106)、该平台的竖直边缘(108)、该显微镜载玻片的载玻片水平边缘(112)和该显微镜载玻片的载玻片竖直边缘(114)中的一个或多个之前,转置该图像的至少一部分。
10.权利要求1至9中任一项的方法,其进一步包括:响应于检测到未对准状况,在该平台上重新定位该显微镜载玻片,并且重复权利要求1至9中任一项的方法以检测该未对准状况是否得到解决。
11.一种用于确定显微镜载玻片(102)与平台(104)之间载玻片未对准状况的系统,其包括:
(a) 摄像头(200),其设置在该显微镜载玻片(102)和该平台(104)上方,使得该显微镜载玻片(102)的至少一部分和该平台(104)的至少一部分位于该摄像头的视野中;和
(b) 处理器(202),其中该处理器被配置为根据存储在存储器(201)中的指令进行操作,以控制该摄像头获得图像并且对该图像执行权利要求1-9中任一项的方法以检测该未对准状况。
12.权利要求11的系统,其进一步包括载玻片对准装置(204),其中该存储器(201)进一步存储使得该处理器(202)控制该载玻片对准装置在该平台(104)上重新定位该显微镜载玻片(102)的指令。
13.权利要求11或12的系统,其中该平台(104)包括自动载玻片染色装置的加热和/或冷却平台。
14.权利要求11至13中任一项的系统,其中该平台(104)包括在该摄像头的视野中能够检测到的平台特征(110)。
15.权利要求14的系统,其中该平台特征(110)具有已知的长度和/或以已知的取向出现在由该摄像头获得的该图像中。
16.权利要求11至15中任一项的系统,其中该显微镜载玻片是透明的,并且该平台特征(110)能够透过该显微镜载玻片成像。
17.权利要求12至16中任一项的系统,其中该载玻片对准装置(204)由该处理器(202)根据存储在该存储器(201)中的指令来控制,该指令使得该载玻片对准装置将该载玻片放置在该平台(104)上,使得该显微镜载玻片(102)的直角拐角(116)在该平台特征(110)上延伸。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662423859P | 2016-11-18 | 2016-11-18 | |
US62/423,859 | 2016-11-18 | ||
PCT/EP2017/079447 WO2018091586A1 (en) | 2016-11-18 | 2017-11-16 | Method and system to detect substrate placement accuracy |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110168425A CN110168425A (zh) | 2019-08-23 |
CN110168425B true CN110168425B (zh) | 2021-07-30 |
Family
ID=60515348
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201780083163.2A Active CN110168425B (zh) | 2016-11-18 | 2017-11-16 | 检测基底放置精度的方法和系统 |
Country Status (5)
Country | Link |
---|---|
US (3) | US10957071B2 (zh) |
EP (1) | EP3542204B1 (zh) |
JP (1) | JP2020504320A (zh) |
CN (1) | CN110168425B (zh) |
WO (1) | WO2018091586A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115722286A (zh) * | 2017-07-18 | 2023-03-03 | 分子装置有限公司 | 具有基于成像的移液管吸头定位的对象挑取设备 |
CN110298339A (zh) * | 2019-06-27 | 2019-10-01 | 北京史河科技有限公司 | 一种仪表表盘识别方法、装置及计算机存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1534273A (zh) * | 2003-03-27 | 2004-10-06 | 北京大学 | 对准键合精度检测系统 |
CN202771098U (zh) * | 2012-09-25 | 2013-03-06 | 山东理工大学 | Pc界面操控式成像显微镜 |
Family Cites Families (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02128283A (ja) * | 1988-11-09 | 1990-05-16 | Fujitsu Ltd | 回転図形描画方式 |
US5638459A (en) * | 1994-09-20 | 1997-06-10 | Neopath, Inc. | Method and apparatus for detecting a microscope slide coverslip |
US7769513B2 (en) * | 2002-09-03 | 2010-08-03 | Automotive Technologies International, Inc. | Image processing for vehicular applications applying edge detection technique |
FR2823314B1 (fr) * | 2001-04-09 | 2003-08-15 | Univ Joseph Fourier | Microscope numerique |
JP2004118786A (ja) * | 2002-09-30 | 2004-04-15 | Sony Corp | 画像処理装置および方法、記録媒体、並びにプログラム |
JP4056934B2 (ja) * | 2003-06-03 | 2008-03-05 | 日本特殊陶業株式会社 | スパークプラグの製造方法及びスパークプラグの製造装置 |
US20050111093A1 (en) * | 2003-11-25 | 2005-05-26 | Leica Microsystems Wetzlar Gmbh | Shielded-ergonomic microscope stages |
US7580560B2 (en) * | 2005-07-18 | 2009-08-25 | Mitutoyo Corporation | System and method for fast template matching by adaptive template decomposition |
US8104752B2 (en) * | 2006-03-20 | 2012-01-31 | Boaz Eidelberg | Integrated large XY rotary positioning table with virtual center of rotation |
EP2362228B1 (en) | 2007-07-10 | 2013-09-18 | Ventana Medical Systems, Inc. | Apparatus and method for biological sample processing |
US8175452B1 (en) * | 2010-10-26 | 2012-05-08 | Complete Genomics, Inc. | Method and system for imaging high density biochemical arrays with sub-pixel alignment |
CA2842683A1 (en) | 2011-07-22 | 2013-01-31 | Roche Diagnostics Hematology, Inc. | Sample transport systems and methods |
WO2013049597A1 (en) * | 2011-09-29 | 2013-04-04 | Allpoint Systems, Llc | Method and system for three dimensional mapping of an environment |
AU2013370575B2 (en) * | 2012-12-26 | 2016-05-26 | Ventana Medical Systems, Inc. | Automated specimen processing systems and methods of aligning and transporting specimen-bearing microscope slides |
US9989448B2 (en) | 2012-12-26 | 2018-06-05 | Ventana Medical Systems, Inc. | Specimen processing systems and methods for holding slides |
JP2014174288A (ja) * | 2013-03-07 | 2014-09-22 | Toshiba Corp | 集積回路装置及びマスクレイアウトの作成方法 |
US8995749B2 (en) * | 2013-03-28 | 2015-03-31 | Mitutoyo Corporation | Enhanced edge detection tool for edges of irregular surfaces |
DE102014106509B4 (de) * | 2014-05-08 | 2016-12-29 | Wipotec Wiege- Und Positioniersysteme Gmbh | Verfahren zur Ermittlung des Nettogewichts eines in einem einzelnen Produktbereich befindlichen Produkts |
US9581800B2 (en) * | 2014-11-21 | 2017-02-28 | General Electric Company | Slide holder for detection of slide placement on microscope |
JP6478605B2 (ja) | 2014-12-10 | 2019-03-06 | キヤノン株式会社 | 顕微鏡システムおよびその制御方法 |
CN107923823A (zh) * | 2015-07-29 | 2018-04-17 | 奥林巴斯株式会社 | 标本染色系统 |
KR20180089543A (ko) * | 2015-12-30 | 2018-08-08 | 루돌프 테크놀로지스 인코퍼레이티드 | 웨이퍼 싱귤레이션 공정 제어 |
US9946945B2 (en) * | 2016-04-08 | 2018-04-17 | Intelligent Security Systems Corporation | Systems and methods for recognizing symbols in images |
NL2016800B1 (en) * | 2016-05-19 | 2017-12-05 | Umc Utrecht Holding Bv | Method of positioning an interventional device. |
-
2017
- 2017-11-16 JP JP2019526517A patent/JP2020504320A/ja active Pending
- 2017-11-16 EP EP17807764.0A patent/EP3542204B1/en active Active
- 2017-11-16 WO PCT/EP2017/079447 patent/WO2018091586A1/en unknown
- 2017-11-16 CN CN201780083163.2A patent/CN110168425B/zh active Active
-
2019
- 2019-05-17 US US16/415,226 patent/US10957071B2/en active Active
-
2021
- 2021-02-16 US US17/176,515 patent/US11600016B2/en active Active
-
2023
- 2023-02-01 US US18/104,363 patent/US20230176354A1/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1534273A (zh) * | 2003-03-27 | 2004-10-06 | 北京大学 | 对准键合精度检测系统 |
CN202771098U (zh) * | 2012-09-25 | 2013-03-06 | 山东理工大学 | Pc界面操控式成像显微镜 |
Also Published As
Publication number | Publication date |
---|---|
JP2020504320A (ja) | 2020-02-06 |
US20210166420A1 (en) | 2021-06-03 |
WO2018091586A1 (en) | 2018-05-24 |
US10957071B2 (en) | 2021-03-23 |
EP3542204A1 (en) | 2019-09-25 |
US20230176354A1 (en) | 2023-06-08 |
US11600016B2 (en) | 2023-03-07 |
CN110168425A (zh) | 2019-08-23 |
EP3542204B1 (en) | 2021-02-17 |
US20200020125A1 (en) | 2020-01-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230176354A1 (en) | Method and system to detect substrate placement accuracy | |
US5825913A (en) | System for finding the orientation of a wafer | |
CN110497187B (zh) | 基于视觉引导的太阳花模组装配系统 | |
US10290118B2 (en) | System and method for tying together machine vision coordinate spaces in a guided assembly environment | |
CN107431788B (zh) | 视觉系统中的基于图像的托盘对准和管槽定位的方法和系统 | |
CN107516624B (zh) | 一种样品位置校准方法和装置 | |
KR101968807B1 (ko) | 얼라인먼트 방법 및 얼라인먼트 장치 | |
US9665946B2 (en) | Article conveyor system | |
CN107548518B (zh) | 用于由机器人进行晶片置放的光学校准的设备及方法 | |
KR20100065073A (ko) | 기판검사방법, 기판검사장치 및 기억매체 | |
US20150043805A1 (en) | Image processing system, image processing method, and computer-readable recording medium | |
TWI390660B (zh) | 用於半導體晶圓對準之方法與設備 | |
US20190080468A1 (en) | Positioning and measuring system based on image scale | |
CN113538583A (zh) | 一种工件在机床上位置的精准定位方法及视觉系统 | |
JP2006276454A (ja) | 画像補正方法、およびこれを用いたパターン欠陥検査方法 | |
CN112348768A (zh) | 将导线接触件与连接器的插入孔对准的方法和系统 | |
US20110280469A1 (en) | Run-Time Correction Of Defect Locations During Defect Review | |
KR20120015043A (ko) | 정렬계를 이용한 계측 시스템과 정렬계의 시스템 변수 결정 방법 | |
US5870187A (en) | Method for aligning semiconductor wafer surface scans and identifying added and removed particles resulting from wafer handling or processing | |
CN111507949A (zh) | 一种基于视觉的芯片识别方法 | |
CN115661256A (zh) | 相机和载台之间偏转角的计算方法、标定板及检测装置 | |
CN209182254U (zh) | 光学检测设备 | |
JP2006261501A (ja) | ウエハid読取装置及びウエハid読取方法 | |
KR20150049799A (ko) | 기판의 표면 검사 방법 및 이를 수행하기 위한 장치 | |
CN113109354B (zh) | 一种标定块、缺陷检测装置及缺陷检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |