CN116438291A - 使用具有远心镜头的成像装置获得板形培养皿图像的系统 - Google Patents
使用具有远心镜头的成像装置获得板形培养皿图像的系统 Download PDFInfo
- Publication number
- CN116438291A CN116438291A CN202180067297.1A CN202180067297A CN116438291A CN 116438291 A CN116438291 A CN 116438291A CN 202180067297 A CN202180067297 A CN 202180067297A CN 116438291 A CN116438291 A CN 116438291A
- Authority
- CN
- China
- Prior art keywords
- plate
- culture dish
- shaped culture
- shaped
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 80
- 238000005286 illumination Methods 0.000 claims abstract description 14
- 238000000034 method Methods 0.000 claims description 25
- 230000007246 mechanism Effects 0.000 claims description 13
- 230000032258 transport Effects 0.000 claims 1
- 239000011521 glass Substances 0.000 description 53
- 238000001514 detection method Methods 0.000 description 15
- 230000000813 microbial effect Effects 0.000 description 12
- 244000005700 microbiome Species 0.000 description 6
- 230000007704 transition Effects 0.000 description 6
- 238000012360 testing method Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 239000002609 medium Substances 0.000 description 4
- 238000011534 incubation Methods 0.000 description 3
- 229920005372 Plexiglas® Polymers 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000004113 cell culture Methods 0.000 description 2
- 238000011109 contamination Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000001963 growth medium Substances 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 210000000006 pectoral fin Anatomy 0.000 description 2
- 239000004926 polymethyl methacrylate Substances 0.000 description 2
- VVQNEPGJFQJSBK-UHFFFAOYSA-N Methyl methacrylate Chemical compound COC(=O)C(C)=C VVQNEPGJFQJSBK-UHFFFAOYSA-N 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000003115 biocidal effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000005757 colony formation Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 210000004349 growth plate Anatomy 0.000 description 1
- 238000007373 indentation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000002906 microbiologic effect Effects 0.000 description 1
- 238000009629 microbiological culture Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000007747 plating Methods 0.000 description 1
- 229920003229 poly(methyl methacrylate) Polymers 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 239000012780 transparent material Substances 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Images
Classifications
-
- C—CHEMISTRY; METALLURGY
- C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
- C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
- C12M41/00—Means for regulation, monitoring, measurement or control, e.g. flow regulation
- C12M41/30—Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration
- C12M41/36—Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration of biomass, e.g. colony counters or by turbidity measurements
-
- C—CHEMISTRY; METALLURGY
- C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
- C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
- C12M23/00—Constructional details, e.g. recesses, hinges
- C12M23/02—Form or structure of the vessel
- C12M23/10—Petri dish
-
- C—CHEMISTRY; METALLURGY
- C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
- C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
- C12M23/00—Constructional details, e.g. recesses, hinges
- C12M23/22—Transparent or translucent parts
-
- C—CHEMISTRY; METALLURGY
- C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
- C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
- C12M23/00—Constructional details, e.g. recesses, hinges
- C12M23/50—Means for positioning or orientating the apparatus
-
- C—CHEMISTRY; METALLURGY
- C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
- C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
- C12M41/00—Means for regulation, monitoring, measurement or control, e.g. flow regulation
- C12M41/48—Automatic or computerized control
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N35/00—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
- G01N35/00584—Control arrangements for automatic analysers
- G01N35/00722—Communications; Identification
- G01N35/00732—Identification of carriers, materials or components in automatic analysers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N35/00—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
- G01N35/02—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor using a plurality of sample containers moved by a conveyor system past one or more treatment or analysis stations
- G01N35/04—Details of the conveyor system
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N35/00—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
- G01N35/02—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor using a plurality of sample containers moved by a conveyor system past one or more treatment or analysis stations
- G01N35/04—Details of the conveyor system
- G01N2035/0401—Sample carriers, cuvettes or reaction vessels
Landscapes
- Chemical & Material Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Zoology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Organic Chemistry (AREA)
- Wood Science & Technology (AREA)
- General Health & Medical Sciences (AREA)
- Biochemistry (AREA)
- Analytical Chemistry (AREA)
- Biomedical Technology (AREA)
- Sustainable Development (AREA)
- General Engineering & Computer Science (AREA)
- Microbiology (AREA)
- Genetics & Genomics (AREA)
- Biotechnology (AREA)
- Clinical Laboratory Science (AREA)
- Immunology (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Pathology (AREA)
- Computer Hardware Design (AREA)
- Apparatus Associated With Microorganisms And Enzymes (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Lenses (AREA)
- Electroplating Methods And Accessories (AREA)
Abstract
用于捕获板形培养皿的图像的系统。该系统包括:成像装置,其具有带远心镜头的相机,该远心镜头适于捕获板形培养皿的图像;镜子,其适于确保板形培养皿侧面的标签被捕获到由成像装置捕获的板形培养皿的图像中。该系统还包括至少一个照明系统,用于照亮板形培养皿以进行图像捕获。镜子被放置为与贴有标签的板形培养皿的侧面相邻,并且镜子的至少一部分在板形培养皿的该侧面处在板形培养皿的底部下方延伸。
Description
相关申请的交叉引用
本申请要求于2019年10月7日提交的美国临时申请No.63/088,695的优先权权益,该申请通过引用并入本文。
技术领域
本文描述了一种用于使用具有远心镜头的成像装置获得板形培养皿的图像的系统。
背景技术
板形培养(plated culture)是评估和测试用于微生物污染证据的样本的常用技术。各种类型的板形培养皿很受欢迎地用于从这些样本中制备微生物和细胞培养物,以便许多领域的研究和分析。用于接种培养基的器皿的示例包括皮氏皿、微量滴定板或多孔板以及高密度格式板,例如384-、864-和1536-孔板。
板形培养皿通常包含支持微生物在板形培养皿上生长的培养基。在用样本接种板形培养皿后,板形培养皿经培养(incubated)以允许在样本中形成任何微生物污染的菌落。一些培养基是有选择性的,使得只有某些类型或菌株的微生物在板形培养皿中的培养基上生长。
检查经培养的板以确定是否发生微生物生长。当观察到菌落时,会拾取一部分感兴趣的菌落并进行进一步分析,以了解有关微生物的更多信息。手动检查和拾取感兴趣的菌落非常耗时,并且需要微生物学家来完成这项高技能的工作。自动化越来越多地被应用于检查板形培养皿,以确定是否有菌落形成和/或微生物生长的证据。这种自动化通常包括获得板形培养皿的电子图像并将该图像显示给微生物学家,微生物学家可以识别感兴趣的菌落并控制系统拾取这样的菌落的一部分进行测试。可替换地,可以根据一组规则对图像数据进行评估和处理,以自动识别一个或多个感兴趣的菌落。
捕获样本培养物的电子图像以检测微生物生长通常需要与相机耦合的标准50-55mm f1.4摄影镜头。然而,这样的系统即使与高效的相机结合使用时也具有较差的灵敏度,因此许多培养物仍然需要数十分钟或更长时间的成像时间,并遭遇其他问题,例如渐晕(不希望的变暗)和横向失真效应,这可能会导致图像不是完全真实的样本培养物的图像。但是,此类系统中的这种失真效果确实提供了一些从板侧面获取图像信息的能力。使用具有远心镜头的成像系统已经克服了这些缺点,该远心镜头提供培养板的真实俯视图。远心镜头也是此类系统中其他镜头的经济替代品。然而,在具有远心镜头的系统中,入射在板形培养皿上的光线的方向使得它缺乏提供板形培养皿的侧面的有用图像的失真。因此,要在获得板形培养皿的图像时有效地部署远心镜头,还需要进一步的改进。
发明内容
本文描述的系统和方法通过提供具有远心镜头的智能成像系统来解决上述问题,该远心镜头提供自动的、高分辨率数字成像。此外,本文所述的成像系统可以与培养箱(incubator)结合以无缝地适配在自动化实验室环境中或成为与实验室操作员一起工作的独立单元。
如上所述,当使用远心镜头对诸如板形培养皿之类的对象成像时,入射到板形培养皿上的光线的方向使得它不能提供该板形培养皿的侧面的清晰图像。板形培养皿的侧面可包含有用的信息,例如可以用作基准标记的标签,该标签用于在成像设备中对准板形培养皿。标签还可以携带条形码信息,该条形码信息识别板形培养皿以及诸如培养基类型、样本类型、样本日期等其他信息。
基准标记是有用的,因为通常将板形培养皿带到成像设备以在培养周期(incubation cycle)期间多次获得板形培养皿的图像。为了自动评定板形培养皿所携带的培养样本中是否发生微生物生长以及达到何种程度,必须逐像素评估板形培养皿,以确定从较早图像到较晚图像的像素中是否发生了变化,该变化指示微生物生长。为了进行成功的逐像素比较,较早图像中的像素必须与较晚图像中的像素对准。
在用于评估板形培养皿以指示微生物生长迹象的自动化系统和方法中需要像素对准是已知的。例如,在本文所述的成像设备中,根据以下描述的方法对板上的菌落进行成像:1)2016年4月22日题目为“Colony Contrast Gathering”的PCT/US2016/028913,其公开为WO/2016172527;以及2)题目为“A System and Method for Image Acquisition UsingSupervised High Quality Imaging”的PCT/EP2015/052017,其于2015年1月30日提交,并且公开为WO2015/114121,这些申请以引用方式并入本文。如这些引文中所述,培养接种有样本的板形培养皿。一段时间后,获得经接种的培养皿的图像。然后将板形培养皿放回培养箱进行额外的培养。再过一段时间后,重新取出板形培养皿并再次成像。然后在逐个像素的基础上将较早的图像与较晚的图像进行比较。如上所述,为了做到这一点,成像设备必须将第一图像中的像素与第二图像中的像素对准,以识别可能指示微生物生长的像素的变化。
不同菌落针对培养基的对比提供了区分菌落以促进自动化菌落拾取的能力。在这方面,条形码基准信息不仅可以用于将时间tx处的板形培养皿的图像中的像素与较晚图像(时间tx+1处获得的图像)中的像素对准,而且还可以参考由标签提供的基准信息来确定设备中感兴趣的菌落的位置,该设备用于拾取感兴趣的菌落进行下游测试,例如微生物鉴定和抗生素敏感性。
如上所述,在获得板形培养皿的初始图像后,将板形培养皿培养一段时间以允许板上的微生物(如果存在的话)生长。在本文描述的系统的另一个示例中,系统执行以下自动化步骤:i)将板形培养皿定位在用于培养皿的台上;ii)获得定位在所述台中的板形培养皿的图像;iii)获得培养皿的标识;iv)将成像装置获得的图像与所存储的板形培养皿的初始图像进行比较,以获得关于所选微生物菌落的位置的信息(以通知拾取工具装置关于要拾取的菌落的位置);以及,可选地,vi)获得关于对所选微生物菌落进行的处理的处理指令。通过将培养皿在放置在拾取工具装置中时的图像与初始图像进行比较,可以自动获得所选菌落的位置,例如通过计算机图像比较。
标签,或者更具体地标签的侧面,被用作在成像设备中定位板形培养皿的参考,以促进在第一较早时间获得的板形培养皿的图像与第二较晚时间的板形培养皿的图像的逐像素对准。如上所述,如果标签用于促进这种对准,则成像装置必须能够在图像信息中定位标签。
仅标签侧面不足以对准在不同时间获得的图像中的像素和识别感兴趣的菌落随时间的坐标两者。使用机器视觉设备,检测另一个参考点,例如皿的中心,从中可以确定皿的坐标。可以参考它们距中心的相对距离和相对于标签零偏移的角度偏移来确定皿上菌落的位置。一旦确定了感兴趣的菌落的相对位置,就可以将板形培养皿移动到另一个系统,在另一个系统中执行以下两个步骤。例如,通过机械方式将皿居中。检测条形码零偏移,例如通过旋转皿同时使固定传感器检测条形码标签的存在并用条形码扫描仪扫描条形码。在这一点上,皿的中心是已知的,并且条形码零偏移是已知的,并且因此可以轻松计算先前参考的菌落的位置,因为它们被存储为距皿中心的距离和相对于条形码标签的角度偏移。如本文所述的自动化系统在第二系统(在该示例中为菌落拾取系统)或需要菌落位置信息的任何其他系统中不需要相机或计算机视觉系统。本示例中使用的角度偏移参考条形码标签,但它可以参考皿的任何独特基准特征或应用于皿的任何独特基准特征,如上所述。
为了使用标签进行像素对准,标签的横向端部中的至少一个必须由使用远心镜头的成像设备清楚地捕获。由于标签长度和皿曲率已知,系统可以计算另一个标签端部的位置,并且进而计算标签中心。板上任何对象的坐标都可以通过了解板中心和标签中心来确定。如上所述,本领域需要改进的成像系统,其部署远心镜头,该镜头提供对板形培养皿的监测能力,尤其是在几乎没有操作员干预的情况下。为了在将培养皿侧面上的标签用作对准基准的系统中部署远心镜头,使用镜子对于使远心镜头获得标签的图像是至关重要的。
在一个方面,本文描述的系统提供了一种用于捕获板形培养皿的图像的系统。该系统具有:i)成像装置,其具有带远心镜头的相机,该远心镜头适用于捕获板形培养皿的图像;ii)镜子,其适于确保在由成像装置捕获的图像中可以清楚地看到板形培养皿的侧面上的标签;以及iii)至少一个照明系统,用于照亮板形培养皿以进行成像捕获。可选地,相对于其上放置有标签的板形培养皿放置镜子,使得在竖直方向上,镜子位于板形培养皿的底部之下。然而,横向地,镜子的至少一部分在板形培养皿的底部下方延伸(即,一部分延伸到由位于镜子上方的板形培养皿限定的周边中)。随后,镜子的至少一部分横向延伸超出位于镜子上方的板形培养皿的周边。
可选地,本文描述的图像捕获系统可以具有远心镜头模块,其将成像装置的远心镜头和相机的位置相对于板形培养皿对准并固定。远心镜头模块包括一个或多个托架和一个或多个板。
可选地,本文描述的图像捕获系统可以是集成的培养箱和图像捕获模块的一部分,该集成的培养箱和图像捕获模块调节培养箱空气(atmosphere)并获得样本标本的高分辨率数字图像。可选地,图像捕获模块配备有接收从图像捕获模块传送来的板形培养皿的台。台配有扫描仪,扫描仪将扫描板形培养皿的侧面上的标签。该台还配备有板防撞器(bumper),其中一个是铰接的,并且从板形培养皿被接收在台中时的打开位置移动到扫描仪确定标签在相对于台的预定定向内时的关闭位置。该台的目的是确保接收到培养箱中的板形培养皿上的标签的定向在板与板之间基本一致。通过将板形培养皿上的标签保持在可接受定向的预定范围内,更容易在成像设备中定位板形培养皿,使得标签与镜子对准。这也提供了板内成像条件更好的均匀性。具体地,成像设备不提供板表面的完全均匀的照明。通过在每次获得图像时将板放置在相对于成像设备的相同位置,板表面的每个区域或面积随时间经受相同的成像条件(即,对于区域“x”,成像条件“y”对于tx、tx+1、tx+2等时刻的图像是相同的)。
如果在没有某些预定定向的情况下将板形培养皿接收到成像设备中,则该定向基本上是随机的,并且成像设备将不得不花费时间和处理资源来将板形培养皿放置在标签将与镜子对准的定向上。由于在这种情况下标签的位置可以在板圆周上的任何位置,因此可能需要将板形培养皿旋转180度或更多,以便标签将与镜子对准。如果在相对于将在将板形培养皿接收到成像设备中时读取标签的传感器的预定范围内的标签定向将板形培养皿递送到成像设备中,则成像设备将花费更少的时间来在成像之前重新定向其上带有标签的板形培养皿。
进一步的优点将通过在此描述的系统和方法的各个方面来实现,并且将从以下详细描述中变得明显。本文所述系统的优点之一是与用于板接种的自动化平台集成,提供端到端自动化以将样本接种到板形培养基上、将样本划线(streak)到培养基上以及培养经接种的培养基以促进目标微生物的生长。本系统是灵活的,并且还可以处理已经手动接种的板形培养基。
附图说明
从具体实施方式和附图将更好地理解本文描述的系统和方法,这些附图旨在图示而不是限制所描述的内容。
图1是使用具有板形培养皿的非远心镜头的相机获得的图像,所述板形培养皿在其侧面上具有条形码标签;
图2是使用具有板形培养皿的远心镜头的相机获得的图像,所述板形培养皿在其侧面上具有条形码标签;
图3是光束在本文描述的图像捕获系统中使用的凸面镜子上的反射的示例性示意图;
图4是示出光束在本文描述的系统的凸面镜子上的反射的示例性示意图,其中该镜子放置在相邻的侧面和不同大小的底板形培养皿上;
图5是沿板形培养皿的侧面具有条形码标签的板形培养皿的示例性图像,该图像是使用本文描述的系统获得的,该系统具有带远心镜头的相机和放置成与板形培养皿的侧面相邻的弧形镜子,标签被放置在板形培养皿的侧面上并且镜子的至少一部分在板形培养皿的底部下方延伸;
图6是可与培养箱集成的本文所述系统的图像捕获模块的内部部分的透视图;
图7是本文描述的系统的图像捕获模块的后透视图;
图8是图7的图像捕获模块的板形培养皿入口的详细视图;
图9是本文描述的系统的图像捕获模块的侧透视图;
图10是图9所图示的图像捕获模块的缓冲位置的详细视图;
图11是图9所图示的图像捕获模块的扫描站的详细视图;
图12是图9中的图像捕获模块的分度站的详细视图;
图13是图9中的图像捕获模块的盖操纵器的详细视图;
图14图示了被推进到分度站中的板形培养皿;
图15图示了玻璃板,在该玻璃板上通过分度盘放置了板形培养盘;
图16图示了分度盘;
图17图示了根据本文描述的系统的一个方面的分度盘机构;
图18是图6所图示的系统的一个方面的图像捕获系统的横截面图,其中截面18-18平分远心镜头;
图19是图18所图示的图像捕获系统的成像室的详细视图;
图20是图19的一部分的放大图,其图示了成像站中的分度站;
图21是图像捕获系统的俯视图,图像捕获系统示出了板形培养皿和至少部分在板形培养皿下方的镜子;
图22图示了图6的成像设备的成像盘退出位置。
图23图示了根据一方面的离开本文所述的成像设备的板形培养皿;
图24图示了用于在此描述的方法的流程图,该方法用于在玻璃皿支架上定位板形培养皿和相对于皿中心定位标签中心以将坐标分配给培养皿的图像中的对象;
图25A和图25B图示了根据标签的图像创建的极坐标图像;
图26A图示了标签相对于用于确定板形培养皿的坐标系的板形培养皿中心的角度位置;
图26B将图26A中的几何分析投影到玻璃板上的板形培养皿的图像上。
图27图示了代表板形培养皿和板形培养皿的玻璃皿支架的掩蔽区域;
图28图示了板形培养皿边缘的极坐标图像;并且
图29A和图29B分别图示了板形培养皿升降机和板形培养皿扫描升降机。
具体实施方式
图1是在板形培养皿的外侧具有标签12的板形培养皿11的图像。可选地,标签12上具有条形码120。图像中没有明显的微生物生长。该图像是使用具有非远心镜头的相机获得的。这种镜头的一个非限制性示例包括例如标准50-55mm f1.4摄影镜头。带有条形码120的标签12在图像上清晰可见。然而,参考图2,当使用带远心镜头的相机获得同一板形培养皿11的图像时,具有条形码120的标签12在图像中不是很明显。
如上所述,标签用作基准以促进在不同时间拍摄的板形培养皿的图像之间的像素对准。标签可选地具有条形码信息。条形码可以包含识别板形培养皿、培养基类型、样本等的信息。标签的端部121、122必须在图像上清晰可见,以实现不同时间获得的图像之间的像素对准。
为了使成像设备获得将促进对准的关于标签的信息,镜子相对于板形培养皿定位以反射板形培养皿的侧面上的标签。在某些方面,镜子被放置在板形培养皿的底部之下。镜子的至少一部分在板形培养皿下方横向延伸,使得镜子的该部分在由保持在镜子上方的板形培养皿限定的周边内。镜子的一部分延伸到超出由保持在镜子上方的板形培养皿限定的周边。可选地,镜子是凸面镜子。
图3示出了光束在凸面镜子13(例如本文所述的凸面镜子)上反射的示例性示意图。光线14基本上竖直14向下引导到凸面镜子13上。当光线14撞击到镜子13的球面上时,根据众所周知的原理,它们被反射15,对于反射面,入射角等于反射角。
如上所述,对于图像对准,检测标签的边缘中的至少一个。此边缘检测用于相对于板形培养皿的中心放置标签中心。标签中心是基于一些先验知识(即标签长度、镜面曲率和皿曲率)确定的。然后使用此信息来了解对象在板形培养皿中的相对放置。下次将板形培养皿带入成像设备时,再次确定标签的至少一个边缘。基于关于标签中心相对于皿中心的信息,软件可以计算较早图像和较晚图像之间的偏移。使用该偏移,成像设备将第一图像中的像素与第二图像中的像素对准。
因为标签的中心用于对准,并且标签中心是通过检测标签边缘(或至少一个标签边缘)在镜子上的位置来确定的,所以需要标签边缘的高质量图像。因为来自高度抛光的镜面的反射可能会使标签边缘的图像失真或模糊,所以未被高度抛光的镜面减轻了一些失真和模糊。然而,如果寻找标签信息的图像,例如由标签携带的条形码信息或其他信息,则可以优选具有提供镜面反射的抛光镜面的高度抛光镜子。基于所寻找的标签信息,本领域技术人员可以选择所需类型的反射(即镜面反射或漫反射)。
板形培养皿可以有不同的大小,并且感兴趣的标签可以放置在板形培养皿上的不同位置。本领域的普通技术人员能够确定镜子的尺寸、镜子的弯曲度以及镜子在每个这些板形培养皿的附近和下方的放置,这些放置是可接受的以针对给定大小的板形培养皿以及感兴趣的标签在板形培养皿上的位置和大小提供标签的反射。
图4图示了示出光束在凸面镜子23上的反射的示例性示意图,其中该镜子位于不同大小的板形培养皿21A-21D下方(图4中仅图示了每个板形培养皿的一部分)。如图4所图示,镜子23的一部分横向延伸到由覆盖镜子23的板形培养皿21A-21D限定的周边28中。镜子23的另一部分横向位于该周边之外。从示意图中可以看出,镜子23的放置和大小被配置为配合不同直径和不同高度的板形培养皿以提供板形培养皿上的标签的反射(不同的皿配置为21A-21D)。镜子23放置在透明(例如,玻璃、有机玻璃)培养皿窗口26上方,该窗口由板保持器27保持就位。尽管此处将培养皿窗口26描述为玻璃,但本领域技术人员将理解,也可以使用其他透明材料(例如,丙烯酸玻璃、有机玻璃等),前提是此类材料足够透明并且不反射。板形培养皿21A-21D通过分度盘(稍后详细描述)保持在玻璃板26上方。玻璃板26允许板形培养皿21A-21D从板形培养皿21A-D下方被照亮。如所图示的,玻璃板26延伸超过板形培养皿21A-21D的横向界限。玻璃板由不透明的板保持器27支撑,该板保持器围绕玻璃板26的周边。取决于板形培养皿的尺寸,这种差异由不同的皿轮廓21A、21B、21C和21D来图示,镜子23的位置可以被配置为反射具有不同直径的板形培养皿的侧面上的标签的图像,或者可选地被调整以反射具有不同直径的板形培养皿21A-21D上的这种标签的图像。无论哪种方式,板形培养皿的侧面的反射都会被远心镜头捕获,远心镜头基本上竖直地接收来自被成像对象的光。具体地,板形培养皿21A具有第一高度和第一直径,板形培养皿21B具有比21A更大的直径但具有大致相同的高度,并且板形培养皿21C和21D具有更大的高度但直径大于21A的直径但是小于21B的直径。由镜子23反射的板形培养皿21A、21B和21C的侧面的图像分别由25A、25B和25C表示。由24A、24B和24C表示的各个标签反射被导向远心镜头并由远心镜头接收,从而允许远心镜头捕获在板形培养皿21A、21B和21C的侧面上的标签(未示出)的图像。如上所述,使用该标签信息来影响随着中间培养步骤在不同时间拍摄的板形培养皿的两个图像之间的板形培养皿的逐像素图像对准。
图5是具有沿着板形培养皿11的侧面的标签12的板形培养皿11的示例性图像。标签12在其上具有条形码120。然而,如上所述,如果标签12用于图像对准,则不需要条形码120位于标签12上。标签12可以放置在板形培养皿11的内表面上或板形培养皿11的外表面上。
根据本文所述的一个方面,使用具有带远心镜头的相机和弧形镜子13的系统获得图像,弧形镜子13放置在板形培养皿下方及其侧面。成像设备定向板形培养皿11,使得标签12与镜子13对准。如从图5中的图像可见,带有条形码120的标签12清晰可见,其在镜子13中的反射也是如此。这确保了标签12的图像可以被具有远心镜头的成像设备捕获并用于随着中间培养步骤逐像素对准板形培养皿11的第一图像与在稍后时间点拍摄的板形培养皿的第二图像。
板形培养皿放置在玻璃板126上方。板形培养皿11的获取图像的坐标空间通过标签检测确定。具体地,确定标签12的两个横向端部128、129(图26A中也是312、314)沿着皿外形的精确位置。由此确定标签中心。使用培养皿11的中心作为原点将这些位置捕获为角坐标。这些标签角坐标和培养皿中心应允许在参考板上精确定位图像上标记的菌落,并且稍后由IdentifA或任何其他手动或自动系统拾取。IdentifA是由BD KiestraTM实验室自动化解决方案(Becton Dickinson and Company)(BD)提供的系统。皿外形和皿中心在皿检测之前是未知的。
图6是本文描述的与培养箱集成的图像捕获模块200的一个方面的内部部分的透视图。特别地,图6图示了从培养系统通过成像单元并返回到培养箱的传送器240。如图6所图示的,板形培养皿242沿传送器系统240行进。当板形培养皿242到达指定位置时,盖操纵器250将从板形培养皿242移除盖子。标签然后由读取器(即,条形码扫描仪或RFID读取器)249读取,同时通过扫描升降机旋转板。然后将板形培养皿242移动到分度盘251上。通过分度盘251的旋转将板形培养皿242推进到成像站253(图19)中。分度盘251将板形培养皿移动到图像捕获单元下方的位置,这在美国申请公开号2015/0299639A1中有详细描述。成像后,板形培养皿被旋转到位置260,在此将盖子放回培养皿上。然后将板形培养皿242卸载回到传送器240,在那里它被传送回卸载站270。卸载站270位于安装有图像捕获模块200的培养箱柜(未示出)中。卸载站270具有扫描仪259和分度盘(未示出)。扫描仪259确定标签在板形培养皿上的位置,并且另一个扫描升降机244'(图23)旋转板形培养皿242,使得标签相对于机器人(未示出)在预定定向内,机器人将板形培养皿从卸载站卸载。
在标签相对于卸载和装载机器人在板形培养皿242上的定向大致相同的情况下,板形培养皿242在该板形培养皿242被置于分度盘251中时将潜在地需要被扫描升降机244’旋转以确保标签将与成像站253(图20)中的镜子33对准的旋转程度被减小。一旦传感器确定标签的位置,软件就会控制板形培养皿的旋转,以相对于机器人将标签放置在所需的定向。上面描述了这种方法提供的效率。
图7是图6所图示的图像捕获模块的后透视图。图7图示了进口子系统275,在此处板形培养皿242进入276和离开277图像捕获模块。用于培养皿入口276的设备在图8中详细图示。设备确认已将板形培养皿242递送到培养皿升降机244的吸盘243上。吸盘243由固定平台248支撑。将板形培养皿242放置在培养皿升降机244上由传感器245确认。此处描述的升降机244与扫描升降机244'/244”的区别在于升降机244上下移动板形培养皿,而扫描升降机244'/244”上下移动板形培养皿242并且还旋转板形培养皿。升降机244在图29A中图示,并且扫描升降机244'/244”在图29B中图示。图29A中的升降机具有非旋转平台248,并且因此没有旋转机构,只有升降机构。图29B中的扫描升降机构被图示为具有由扫描升降机248'的旋转和升降机构控制的旋转平台248”。
图9是图6所图示的图像捕获模块的侧透视图。图9图示了缓冲位置246,培养皿(未图示以便可以看到缓冲位置)在分度之前被保持在缓冲位置246。缓冲位置246保持板形培养皿,直到图像捕获模块准备好接收下一个培养皿用于成像。图9还图示了放置在扫描升降机244'和分度盘251上的壳体247。
图10是具有扫描仪249的扫描站239的详细视图,其中培养皿在从图9中的缓冲位置246释放之后被移动。图9中的壳体247在图10中被移除。在这个位置还有培养皿扫描升降机244'。培养皿扫描升降机具有吸盘243'和传感器245。吸盘243'位于旋转平台248'上。扫描站239也是盖操纵器250所在的位置。图10所图示的板形培养皿242具有从其移除的盖子255。图11图示了盖操纵器250,其具有臂278,臂278上带有吸盘252,该吸盘252将从板形培养皿242提起培养皿盖子255。
参考图12,培养皿盖子255已经从板形培养皿242上提起。扫描升降机244'旋转板形培养皿,使得扫描仪249可以读取板形培养皿242的侧面上的标签。由于培养皿当被引入图像捕获系统30(图18)时已经被预先定向,因此板形培养皿242仅旋转约90度以便在扫描仪249的视野内。当读取条形码时,扫描仪向系统控制器发送信号,该信号启动偏移计时器。在计时器持续时间期间,条形码将与成像位置中的镜子对准放置(如下所述)。当计时器的时间到达时,培养皿升降机将培养皿降低回到传送器240上并且允许将板形培养皿242推进到下一个位置。
在获得板的图像的同时,培养皿盖子255保持离开板形培养皿242。参考图13,盖操纵器250将盖子移动到具有吸盘252'的第二盖操纵器250',在已经获得培养皿的图像后,当培养皿移动到位以接收培养皿盖子255时,该吸盘252'接受培养皿盖子255以便放置回到板形培养皿242上。一方面,盖操纵器250'是具有三个不同竖直位置的圆柱体。圆柱体具有附接到其上的吸盘252'。圆柱体从其上部位置开始。当培养皿盖子255被盖操纵器250推进到位时,圆柱体下降到吸盘252'接触培养皿盖子255的第二位置。圆柱体盖子然后推进到第三下降位置,在那里它释放回到板形培养皿242上。
参考图14,在扫描仪249扫描板形培养皿242之后,板形培养皿242被传送器240推进到分度盘251。分度盘在x-y-z坐标空间中固定板形培养皿242的位置。这样,每次对板进行成像时,板都具有相似的位置和定向。该板由三个防撞器280'280”和280”'倾斜。防撞器280'是完全固定的,防撞器280”固定在轴承(未显示)上,这将允许板安放在三个防撞器之间以获得最大的抓握力。较小的防撞器280”'附接到铰接臂(鳍状件)281,该铰接臂在培养板242上闭合以将其固定到位。还参照图15描述了该结构。
图16图示了整个分度盘251。当板对准并且成像位置准备好接收板形培养皿时,分度盘251将旋转90°以将板移动到成像位置。一方面,分度盘具有用于提供间歇旋转运动的内部机构(例如,日内瓦机构)。图16所图示的机构有两个轨道。一个轨道283用于推进分度盘251。第二轨道284用于在其将板形培养皿推进90°之后锁定机构。
参照图17,图16中所图示的分度盘251被固定到步进电机287的臂286中的轴承285驱动。分度盘251具有四个分度位置并且这些位置通过锁288固定。在一方面,步进旋转与分度站旋转的比率为4比1(即,步进电机每转一整圈,分度站推进90°。
图18是本文描述的系统的一个方面的图像捕获系统30的横截面图,其中该横截面沿图6中的线18-18将远心镜头/相机组件40平分。该系统包括成像室42和支撑区域38,在成像室42中接收板形培养皿,支撑区域38在成像期间支撑板形培养皿。
图19是图18所图示的设备的成像室42的放大图。在所图示的方面中,存在三个光源:顶部光源(50a)、掠光(grazing)光源(50b)和底部光源(50c)。如所图示的每个光源具有呈圆形配置的十二个LED灯条(图19的剖面图中仅图示了该圆的一部分)。在顶部和掠光灯(50a、50b)的情况下,黑色背景位于板形培养皿(未显示)下方。为了使底部光源照亮板形培养皿,该背景被移出成像室42。为每个照明源安装了三个光漫射器:顶部(51a)、掠光(51b)和底部(51c)。
用于掠光光源灯条的漫射器51b附接到升降机构。如所图示的,通过分度盘251的升降机构51d,掠光漫射器51b被提升离开路线以将板形培养皿移入和移出成像位置。
参考图20,镜子33放置在透明壳体45上方,其允许来自位于透明壳体45下方的光源50c的照明。可移动黑色背景46放置在透明壳体45下方。
图20是在图像捕获系统30的成像站253中接收板形培养皿(未示出)的结构的俯视透视图。图20还图示了与分度盘279放置板形培养皿的位置相邻的镜子33。如所图示的,镜子33被放置为使得整个镜子33位于板形培养皿的底部下方。横向地,镜子的至少一部分延伸到由板形培养皿限定的周边中。然而,如图4所图示的,大部分镜子都在由板形培养皿限定的周边之外。
参考图21,板形培养皿242由分度盘279承载。分度盘279提供有板防撞器280'、280”和280”'。防撞器280”'安装在铰接臂281上,当分度盘279从传送器240接收板形培养皿242时,该铰接臂处于打开位置。在扫描升降机244'定向板形培养皿242使得标签32在预定范围内并将标签释放到分度盘之后,铰接臂281移动到关闭位置以将板形培养皿242保持在适当位置,以便当分度盘279将板形培养皿242推进到成像站253时,标签与镜子33对准。掠光漫射器51b也在图21中图示。
图22图示了板形培养皿242如何推进到分度盘退出位置。如上所述,分度盘的上游凹槽包含下一个板形培养皿,使得下一个板的成像的开始几乎可以与前一个板形培养皿从成像站的退出无缝衔接。在分度盘251的退出位置,指状机构87打开鳍状件(flipper)281,从而将板形培养皿242传送到挡块88,在那里保持板形培养皿,使得用于板形培养皿242的盖子255可以使用盖操纵器250'被放置在板形培养皿上。当真空传感器(未示出)确认盖子从吸盘252'上释放时,挡块88下降并且板形培养皿被释放。
图23图示了板形培养皿242返回到进口子系统275,在此处板形培养皿242进入276并且离开277图像捕获模块200。该板被挡块90停止。吸盘243'将板固定到扫描升降机244”。确认真空后,扫描升降机244”升起。旋转板形培养皿242并且通过扫描仪259扫描条形码以确认正确的板。此外,使用条形码和偏移设置来定向板形培养皿242。这样,如果板形培养皿242被称为新的周期,则定向被预定义以获得最佳吞吐量。
可选地,标签检测使用由系统存储的某些信息(在本文中称为先验(机械)知识)。此类信息包括但不限于从系统校准获得的信息或系统部件的已知机械常数。系统和方法存储的该信息包括图15所图示的玻璃板300的表面积。当从底部照亮玻璃板时,玻璃板区域的可见部分近似于圆形319。
存储的信息还包括镜子弧描述。图15图示了通过底部照明(透射光)看到的其上没有板形培养皿的玻璃板区域300。在校准期间,玻璃板区域300由具有中心310的圆形319近似和限定。圆形的中心和半径也是近似的。在校准期间识别弧形镜子313。相对于玻璃板区域300识别弧形镜子313的两端位置332、334。弧形镜子313的内径略小于玻璃板319的直径,而弧形镜子313的外径大于支撑板319的直径。玻璃板300和弧形镜子313具有共同的中心。角度θ是弧形镜子313对着的角度。
如上所述,分度盘251使用防撞器280'、280”和280”'以及鳍状件281固定培养皿相对于成像设备的位置。
镜子弧由在上述中心310处相交的线331和332界定。角度θ用于定位镜子的端部相对于支撑中心310的角度。支架319的周边根据支架中心310和支架的半径计算。
为了捕获标签的图像,将标签和镜子对准。板形培养皿的定向是通过检测标签的边缘并旋转板形培养皿来确定的,使得标签放置与镜子放置对准,确保标签被镜子反射。参考图6,通过传送器系统240将板形培养皿11传送到成像设备中。随着板形培养皿11被运送经过扫描仪249,板形培养皿11上的标签(未示出)被扫描。感测标签放置允许分度盘251在某位置接收带有标签的板形培养皿,当板形培养皿11被推进到成像位置时,该位置将允许标签与镜子13对准。成像位置在图19中图示。
如前所述,标签可用于将板形培养皿的当前图像与板形培养皿的先前图像定向和对准。首先通过将第一图像中的皿中心与第二图像中的皿中心对准来平移这两个图像。然后使用由标签边缘和皿中心定义的角度来相对于一图像旋转另一图像。使用标签的图像作为基准信息促进随着时间的推移拍摄的同一板形培养皿的多个图像之间的像素数据的对准。
如本文中详细描述的,系统必须检测皿以获得理解板形培养皿的定向所需的信息,不仅针对当前图像,而且针对过去和未来的图像,使得在不同时间拍摄的图像可以被对准。通过这种方式,可以检测到从图像到图像变化的像素。确定板和标签中心的方法在图24中描述。
一旦从皿检测中确定了皿中心,就可以将图像与相同板形培养皿的先前图像进行比较,并且确定相对于板形培养皿的先前定向的成像设备中板形培养皿的定向。一旦两个图像使用平移相对于它们的皿中心被对准,则使用相对于各自标签中心的旋转来对准图像(即,通过将第一图像中的标签中心与第二图像中的皿中心对准)。
可选地,本文描述的图像捕获系统可以具有远心镜头模块,该远心镜头模块将远心镜头和成像装置的相机的位置相对于板形培养皿对准并固定。远心镜头模块包括一个或多个托架和一个或多个板。可选地,可以使用球窝接头来倾斜远心镜头与相机。这允许远心镜头和相机视图的轴线被设置为垂直于板表面(或如果需要,可以设置为某个其他角度)。
可选地,本文描述的图像捕获系统可以是与培养箱集成的模块。美国申请公开No.2015/0299639A1(其全部内容通过引用并入本文)公开了这样一种集成的培养箱和图像捕获模块,其调节培养箱空气并获得样本标本的高分辨率数字图像。在这种情况下,图像捕获系统可以具有模块的形式,该模块是紧邻用于生长和维持微生物和细胞培养物的样本培养箱的封闭单元。这使得样本能够从培养箱直接运送到图像捕获模块的环境中,而无需通过一个或多个中间环境进行运送。样本容器(例如包含板形培养物的皿)通过端口或端口的入口门被传送到图像捕获模块中。此后,可以移除样本容器的盖子,使得图像捕获单元可以对样本容器进行电子成像(例如,数字拍照)。在样本容器已经被成像之后可以更换盖子,并且样本容器可以通过相同的门(或者可替代地通过端口的出口门)被传送回来,以便放置回到受控培养箱环境中以继续培养。如美国申请公开No.2015/0299639A1所述,将图像捕获模块直接与培养箱相邻减少了在样本容器被成像时样本容器暴露于外部环境(伴随着其对精确控制的温度和空气的缺乏以及潜在的污染物)的时间量。由于图像捕获模块是封闭的,因此它充当实验室空气和培养箱空气之间的屏障,从而减少了实验室空气进入培养箱和样本容器从培养箱进入并通过门返回到培养箱的程度。
如上所述,如现有技术中所述获得板形培养物的图像。这些图像是使用不同曝光时间获得的。确定曝光时间以在图像的感兴趣的区域中提供目标强度范围。在操作本文描述的系统的一个实例中,仅使用侧面照明生成彩色图像。控制图像的曝光时间,使得从镜子弧获得的图像的强度范围在目标强度范围内。一旦获得目标强度范围的镜子的图像,就通过保持使用图像的单色通道获得的图像来得到灰度图像。通常,最强烈的颜色通道用于生成灰度图像。
参考图25A,其图示了具有标签410的反射的镜子400的线性图像。为了获得沿镜子的角度轮廓,使用限定玻璃板的周边的圆形的中心310来限定极坐标系的原点。如图26A所图示的,中心310也是镜子313的弧的中心。这里,感兴趣的区域是镜子313(图26A)。使用上述关于镜子弧的先验知识,创建了镜子的极坐标图像和标签在镜子中的位置。
图25B是图25A中的二维图像的一维信号。可以以本领域技术人员熟知的多种方式获得该一维图像。例如,在图25A图像中所有像素列的归约运算(例如求和、最大值或最小值)中可以使用图25A的极坐标图像中的列的平均值。如图25B所图示的,镜子的二维极坐标图像沿径向尺寸归约(reduced)到镜子以及标签相对于镜子的端部的位置的一维角度轮廓。通常,使用极坐标图像的所有列的平均值来生成角度轮廓。
一旦知道镜子的角度轮廓,就检测标签在镜子上的反射或图像。如上面参照图10所描述的,标签在镜子上的反射由其横向端部定界。在角度方面,标签位于θstart和θend之间,如图25B所图示的,作为沿着角度轮廓的开始角度301和结束角度302。
为了检测镜子上的标签,Ω被用作镜子弧上所有可能的角度对(θstart,θend)的集合。该集合是基于一个(或多个)预期标签的物理长度填充的,并规定了标签长度的变化。虽然这允许标签略长于指定长度,但它主要允许标签略短于指定长度。当从标签长度中减去公差时,系统可以识别皿壁上弯曲标签的坐标(即端部),该弯曲标签使得镜子上的标签投影比镜子的实际长度短。为了识别仅在镜子弧上部分反射的标签的端部,该集合Ω还可以包括间隔小于等价标签长度(最多比标签长度小25%)的角度对。在这种情况下,角度之一对应于两个镜子端部之一,因为在这些示例中,标签的一端延伸超出镜子的边缘。
沿着所述轮廓检测标签端部在于使得分函数最大化:
得分函数是如下基于边缘的项和基于区域的项的组合:
Slabel=αSedge+βSregion, (2)
其中α和β是权重。通过使用角度强度轮廓上的强度梯度(αSedge),第一项偏袒于强度的局部强变化(图25B中所图示的标签端部301、302)。第二(βSregion)使用区域统计信息来识别图像信息中的标签区域(即共享相对于轮廓的其余部分较大的平均强度的区域)。第一项使用已知的标签长度并提供测量的准确性,因为它清楚地指示了标签端部。第一项对θstart和θend处的两个强度梯度求和,因此这两者由已知标签长度隔开,这是上述先验知识的一部分。然而,第一项对噪声更敏感,(例如,由于条形码本身导致的标签反射内的强峰,这可以通过图25B中沿标签长度的强度变化看出)。因此,第二项通过验证标签跨越两个标签端部(或一个标签端部和镜子的端部)之间的距离来增加稳健性。换句话说,第二项确保沿标签长度的强度变化不会被解释为标签的端部。
基于区域的贡献是在标签内部和外部的镜子弧的区域之间的强度I的“迈克尔逊”对比度。这由以下定义:
基于边缘的项是在两个标签端部处的沿轮廓的梯度幅值的贡献。这由以下关系定义:
其中表示强度I在角度点θ处的梯度,而M是用于生成上述图像的最大强度值。例如,对于8位,最大强度M为255。然而,如果角度点θ的梯度幅度太靠近轮廓边界(即,靠近镜子端部),则不考虑这些角度点。当角度对描述的标签在镜子弧内仅部分可见(即在镜子中没有标签的完整图像)时,这种情况最常发生(但并非总是如此)。这也可能发生在标签被完全反射但具有非常靠近镜子的端部的一个横向边缘时。因此,最大的贡献来自于在θstart从暗到亮的转变和在θend反向转变(即从亮到暗)。请注意,Sedge和Sregion期望最小目标以将之间的发现区域视为真实标签。
参照图26A,最终从推导出皿外形309上的标签端部位置312、314(图5中的128,129)作为板形培养皿圆形309和穿过镜子上的标签端部位置301、302和玻璃板区域中心310的线之间的交点。例如,在皿检测之后,当确定皿中心时,皿中心317和沿着皿外形309的标签中心316的角度位置(相对于皿中心317)用于定义参考坐标系以精确识别图像对象(例如菌落)的位置。如图26A所图示的,使用标签作为基准,可以相对于基准分配对象的坐标(r,θ)。下次将板接收到成像设备中时,设备将使用新图像中的标签和板中心来识别对象。图像捕获在WO2015/114121中有详细描述,其通过引用并入本文。
图26B是通过底部照明获得的培养皿的实际图像。覆盖在该图像上的是镜子端部332、334、标签端部312、314、标签中心316、玻璃板中心310和板形培养皿中心317。中心310和317未完全对准的事实是很明显的。如本文别处所述,必须执行皿检测过程以确定皿中心317、皿外形309等。
此处的系统和方法部署了一种用于在具有远心镜头的成像装置的图像场中检测皿本身的方法。皿检测导致确定皿中心317和皿外形309。皿外形和皿中心然后用于定位标签的端部。然后将皿中心用作用于图像对准和对象检测的坐标系的原点。坐标系也是由标签中心确定的(其由标签在镜子中的反射确定)。如上所述,板形培养皿(或被成像的其他接受器)放置在更大的玻璃板300上,玻璃板保持器(图5中的127)沿板形培养皿的圆周将其保持在该更大的玻璃板300上。当获取本文所述的板形培养皿的图像时,必须尽可能精确地定义最外部的皿边缘,因为上述整个坐标系的完整性取决于将坐标系中的准确坐标分配给盘中心。如上所述,尽管可能因处理培养皿而导致皿变形(例如,推动皿壁可能导致轻微压痕),但皿的外周边近似为圆形。
板的所有后续自动检查(例如生长检测、菌落计数或识别)都限于该限定的圆形区域。如上所述,该区域的中心是参考板的原点(即上述坐标系的原点)。坐标系用于精确对准在不同时间拍摄的图像的像素,并用于定位在图像上标记并用于稍后被拾取(通过诸如上述IdentifA的系统)的菌落。
与上述镜子上的标签检测一样,皿周边的定义需要特定的先验(机械)知识。具体地,需要了解被描述为圆形的玻璃板区域300。玻璃板具有不透明的玻璃板保持器(127),但仅玻璃板的被照亮的部分(图15)被使用并近似为圆形。底部照明用于定义玻璃板区域的可见部分的界限,该界限近似为图15中的319。
参考图27,330和340分别表示培养皿下方(330)和延伸超出培养皿(340)的玻璃板区域的罩。内罩330是与玻璃板区域319的中心共享其中心的盘(图15)。使用底部照明获得培养皿的图像。感兴趣的区域330被设计尺寸以适合于限定系统可接受的任何直径的培养皿的圆形内。感兴趣的区域340是一个环,该环将总是在由系统接受的任何板形培养皿的直径之外。外部感兴趣的区域340用于测量白色统计量,白色统计量描述仅通过玻璃板区域(而不是既通过玻璃板区域又通过板)透射的底部照明的强度。相反,在玻璃板区域圆形340之外(超出)测量黑色统计量。这是支撑板保持器127的不透明部分。
外罩340是环340,其也与玻璃板区域319的中心共享其中心。外罩的外径等于玻璃板区域319的外径。外罩340的内径被设计尺寸以在圆形之外,该圆形定义了系统可接受的任何直径的板形培养皿。
如上所述,使用根据本文先前描述的图像采集方法,使用常规图像捕获来获得板形培养皿的彩色图像。获得图像,该图像提供在由玻璃板限定的圆形319内的大强度范围。保留罩区域330和340之间具有最高对比度的颜色通道并将该颜色通道用于生成灰度图像。如果罩区域330和罩区域340之间的对比度低于使用吸收最少的皿(例如,没有任何培养基的空皿)凭经验调整的阈值,则这指示系统中没有皿。
图24是使用板中心检测和标签中心检测两者来定义坐标系的流程图,该坐标系可用于对准在不同时间获得的相同板形培养皿的图像。如上所述,通过构造得知先验知识(步骤410)或在包括玻璃板区域圆形的校准期间发现先验知识(步骤410)并且使用镜子的界限(步骤415)。在步骤420中,应用皿检测来确定在系统中界定皿的圆形(309)的外周边。在步骤430中,根据步骤420中的皿检测确定板外圆形。
在步骤416中,获得镜子的图像并且从该图像检测镜子上的标签端部位置301、302。因此,步骤417中的标签端部位置在步骤416中确定。在步骤418中,镜子上的标签端部位置(图26A中的301、302)然后被投影回皿外周边上(步骤430),得到板周边上的标签端部位置(步骤419中的数据,它们是图26A中的312、314)。步骤430确定图26A中的309。由此,如前所述,从128、129获得沿着皿外周边圆形309的标签316的中心。
极坐标的参考系是使用在步骤440中确定的皿周边中心和标签中心位置来定义的。这在图26A和图26B中图示。该参考系用于对准在不同时间拍摄的图像的像素,并用于定位图像上标记的并且稍后被拾取的菌落。
皿周边圆形309定义了感兴趣的区域(ROI),所有随后的板的自动成像和检测(例如,生长检测、菌落计数或识别)都被限制到该区域。
计算罩区域340内的中值强度值(对应于严格不透明区域的340的零值不被包括在中值计算中)。如上所述,罩区域340是感兴趣的板区域之外的区域,其包括玻璃板未被板覆盖的那些部分。获得白色统计量,该白色统计量是该罩区域内大于中值强度值的所有强度值的众数。此白色统计量可用于确定板形培养皿的周边,因为玻璃板中的强度在皿边缘和支架之间的交界面处转变为不同的强度。
参考图28,图示了从玻璃皿支架的不透明外部延伸到板形培养皿内部的极坐标图像。极坐标系的原点是定义玻璃板周边的圆形的中心310。图27中罩区域330的内部外界限小于系统接受的最小板形培养皿,并且玻璃板周边319是图27中罩区域340的外部外界限。因此,图28是从图27中的图像获得的极坐标图像,即通过底部照明。半径的范围是从玻璃板319的外周边到板周边309内部的半径,并且基于系统接受的最小板形培养皿的半径,以确保将达到部署在系统中的任何板形培养皿的内部。极坐标图像的半径范围被近似为包括围绕用于玻璃板圆形319外部的不透明区域和板形培养皿周边309内部的区域的板/支架的整个圆周的半径。因为图28为极坐标图像,所以从玻璃板区域圆形外部到板内部的径向尺寸是针对图像中的每一列像素的。当板形培养皿和玻璃皿支架的中心没有完全对准时,极坐标图像反映了板形培养皿的周边和玻璃板支架的周边之间的距离变化。如上所述,板半径由系统接受的板半径范围确定。白色统计量是针对区域340的。黑色统计量321是超出玻璃板区域的强度平均值(即,半径严格大于玻璃板区域圆形1)。
为了检测板形培养皿,首先确定基于黑白统计量的从黑色(321)到白色(323)强度的强烈转变。如上所述,白色统计量是在罩区域340内计算的并且被设计为总是在玻璃板的周边之内但在板形培养皿的周边之外。这些像素指示玻璃皿支撑周边322。该强度转变需要大于白色统计量与黑色统计量(它们是平均值)的差的预定阈值百分比(例如70%)。
然后通过识别列中的像素来确定区域323的宽度,该像素的强度保持严格大于白色统计量的百分比(与最小板边缘吸收有关并且凭经验调整为70%)。从玻璃板区域到板形培养皿周边的这种转变最终被细化为从白色到黑色的梯度最大的地方324。从所有这些转变324中,皿外周边近似为圆形309。
虽然本文描述的系统和方法已经参考特定示例进行了描述,但是应当理解,这些示例仅仅是对所描述和要求保护的内容的原理和应用的说明。因此应当理解,在不脱离所附权利要求的精神和范围的情况下,可以对说明性示例进行这些和各种其他省略、添加和许多修改,并且可以设计其他布置。
Claims (28)
1.一种用于捕获板形培养皿的图像的系统,所述系统包括:
成像装置,其具有带远心镜头的相机,所述远心镜头适于捕获板形培养皿的图像;
分度盘,其接收所述板形培养皿,所述分度盘从传送器接收板形培养皿并将所述板形培养皿旋转到所述远心镜头的视野中;
镜子,其与用于所述板形培养皿的支架相邻定位,所述镜子适于在所述远心镜头的所述视野内提供所述板形培养皿的侧面上的标签的反射;以及
至少一个照明系统,其用于照亮所述板形培养皿以进行图像捕获。
2.根据权利要求1所述的系统,其中所述镜子与所述板形培养皿的所述侧面相邻,所述板形培养皿具有底部,其中所述镜子的至少一部分被放置成使得所述镜子的至少一部分在所述板形培养皿的所述侧面处至少部分地在所述板形培养皿的所述底部下方延伸,或者所述镜子的任何部分均不在所述板形培养皿的所述侧面处至少部分地在所述板形培养皿的所述底部下方延伸。
3.根据权利要求2所述的系统,其中所述镜子的至少一部分向外延伸超过所述板形培养皿的周边。
4.根据权利要求1至3中任一项所述的系统,其中所述板形培养皿具有直径并且其中所述系统接收不同直径的板形培养皿。
5.根据权利要求1所述的系统,还包括远心镜头模块,所述远心镜头模块适于将所述成像装置的所述远心镜头和所述相机的位置相对于所述板形培养皿对准并固定。
6.根据权利要求1所述的系统,其中所述至少一个照明系统包括发光二极管即LED。
7.根据权利要求6所述的系统,其中所述照明系统包括三个光源。
8.根据权利要求7所述的系统,其中所述光源是尖端光源、侧光源和底部光源,并且其中可选地,每个光源包括以圆形配置布置的多个LED。
9.根据权利要求8所述的系统,还包括用于每个光源的漫射器。
10.根据权利要求9所述的系统,其中用于所述侧光源的所述漫射器包括升降机构,所述升降机构竖直移动所述漫射器,从而允许将所述板形培养皿移动到所述远心镜头的所述视野中。
11.根据权利要求1至8中任一项所述的系统,其中所述镜子位于透明壳体上方。
12.根据权利要求11所述的系统,其中可移动的不透明背景位于所述透明壳体下方。
13.根据权利要求12所述的系统,其中所述分度盘包括多个防撞器,当所述板形培养皿被所述分度盘接收时,所述防撞器接触所述板形培养皿,所述分度盘可选地包括处于打开位置以将所述板形培养皿接收到分度盘接受器中的铰接臂,其中所述铰接臂在所述接受器接收到所述板形培养皿时移动到关闭位置。
14.根据权利要求1所述的系统,还包括传送器,所述传送器将所述板形培养皿从入口位置运送到所述分度盘并且从所述分度盘运送到出口位置。
15.根据权利要求14所述的系统,其中所述入口位置包括培养皿升降机,所述培养皿升降机包括平台,所述平台上升到放置在所述入口位置处的板形培养皿的下方,其中所述培养皿升降机可选地包括检测所述板形培养皿存在于所述平台上的传感器,并且还可选地包括用于所述平台上的所述板形培养皿的固定件,其中所述固定件可选地是吸盘。
16.根据权利要求14所述的系统,其中所述传送器还包括缓冲位置,所述缓冲位置阻止所述板形培养皿推进到所述分度盘中,并且可选地还包括位于所述缓冲位置下游的扫描站,其中所述扫描站处的扫描仪读取在所述板形培养皿上的所述标签,并且其中所述扫描站可选地包括扫描升降机,所述扫描升降机包括平台,所述平台上升到放置在所述扫描站的板形培养皿的下方并且旋转所述板形培养皿以将所述标签放置成将由所述扫描仪读取,其中所述扫描升降机还包括用于所述平台上的所述板形培养皿的固定件,其中所述固定件可选地是吸盘。
17.根据权利要求1所述的系统,还包括盖操纵器,其在将所述板形培养皿接收到所述分度盘中之前从所述板形培养皿移除盖子,其中所述盖操纵器可选地包括附接到所述板形培养皿上的盖子以从所述板形培养皿移除所述盖子的固定件,并且可选地其中所述系统包括第二盖操纵器,所述第二盖操纵器从所述盖操纵器接收所述盖子,并且其中所述第二盖操纵器将所述盖子放回到所述板形培养皿上。
18.根据权利要求14所述的系统,其中所述出口位置包括培养皿扫描升降机,所述培养皿扫描升降机包括平台,所述平台上升到放置在所述出口位置处的板形培养皿下方并且旋转所述板形培养皿以将所述标签放置于被所述出口位置处的扫描仪读取的位置,其中所述扫描升降机还包括用于所述平台上的所述板形培养皿的固定件,其中所述固定件可选地是吸盘。
19.根据权利要求1所述的系统,其中所述系统具有与培养箱集成的图像捕获模块的形式。
20.根据权利要求19所述的系统,其中所述图像捕获模块与在受控柜环境外部的所述培养箱相邻。
21.根据前述权利要求中任一项所述的系统,其中所述分度盘具有多个接受器,每个接受器用于接收所述板形培养皿;并且其中所述分度盘将所述板形培养皿从所述板形培养皿被所述分度盘接收的位置移动到所述成像装置,并且从所述成像装置移动到从所述分度盘的退出位置。
22.一种用于获得板形培养皿的图像的方法,所述方法包括:
提供成像系统,所述成像系统包括相机、远心镜头、接收用于成像的板形培养皿的支架以及与所述支架相邻的镜子;
为所述板形培养皿提供标签,所述标签位于所述板形培养皿的侧面并且附接到所述侧面;
将所述板形培养皿定位在所述成像系统中的成像位置,使得所述标签在所述镜子中被反射;以及
捕获所述板形培养皿的图像以及所述标签在所述镜子中的反射。
23.根据权利要求22所述的方法,还包括通过识别所述板形培养皿的图像的中心和所述标签的中心来确定所述板形培养皿在所述成像位置中的定向,由此确定相对于所述板形培养皿的所述图像的中心的所述标签的端部的位置和所述镜子的端部的位置。
24.根据权利要求22和23中任一项所述的方法,还包括使用在第一时间获得的所述板形培养皿的第一图像中识别的所述板形培养皿的所述图像的中心和在第二时间获得的所述板形培养皿的第二图像中识别的所述板形培养皿的中心、在所述第一图像中确定的所述标签的端部的位置和在所述第二图像中确定的所述标签端部的位置,将所述第一图像中的像素与所述第二图像中的像素对准。
25.根据权利要求24所述的方法,其中所述镜子的角度轮廓是根据所述标签在所述镜子中的反射的二维图像的一维图像来确定的。
26.根据权利要求22至25中任一项所述的方法,其中所述镜子的至少一部分被放置为使得所述镜子的至少一部分在所述板形培养皿的所述侧面处至少部分地在所述板形培养皿的底部下方延伸,或者所述镜子的任何部分均不在所述板形培养皿的所述侧面处至少部分地在所述板形培养皿的所述底部下方延伸。
27.根据权利要求25所述的方法,还包括根据所述角度轮廓确定所述标签的所述端部。
28.根据权利要求27所述的方法,还包括相对于所述标签和所述板形培养皿的所述中心向所述板形培养皿上的对象分配坐标。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202063088695P | 2020-10-07 | 2020-10-07 | |
US63/088,695 | 2020-10-07 | ||
PCT/EP2021/076969 WO2022073847A1 (en) | 2020-10-07 | 2021-09-30 | System for obtaining image of a plated culture dish using an imaging device having a telecentric lens |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116438291A true CN116438291A (zh) | 2023-07-14 |
Family
ID=78085637
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202180067297.1A Pending CN116438291A (zh) | 2020-10-07 | 2021-09-30 | 使用具有远心镜头的成像装置获得板形培养皿图像的系统 |
CN202122393015.7U Active CN216670465U (zh) | 2020-10-07 | 2021-09-30 | 用于捕获平板培养皿的图像的系统 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202122393015.7U Active CN216670465U (zh) | 2020-10-07 | 2021-09-30 | 用于捕获平板培养皿的图像的系统 |
Country Status (8)
Country | Link |
---|---|
US (1) | US20230374438A1 (zh) |
EP (1) | EP4225888A1 (zh) |
JP (1) | JP2023544848A (zh) |
CN (2) | CN116438291A (zh) |
AU (1) | AU2021356027A1 (zh) |
BR (1) | BR112023005461A2 (zh) |
CA (1) | CA3193299A1 (zh) |
WO (1) | WO2022073847A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2019410266A1 (en) * | 2018-12-20 | 2021-07-15 | Bd Kiestra B.V. | A system and method for monitoring bacterial growth of bacterial colonies and predicting colony biomass |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011055791A1 (ja) * | 2009-11-05 | 2011-05-12 | 株式会社日立ハイテクノロジーズ | 細菌コロニー釣菌装置及びその方法 |
ITMI20130692A1 (it) * | 2013-04-26 | 2014-10-27 | Copan Italia Spa | Dispositivo e procedimento per il processamento automatico di piastre di coltura per campioni microbiologici |
WO2015114121A1 (en) | 2014-01-30 | 2015-08-06 | Bd Kiestra B.V | A system and method for image acquisition using supervised high quality imaging |
US11041871B2 (en) | 2014-04-16 | 2021-06-22 | Bd Kiestra B.V. | System and method for incubation and reading of biological cultures |
CN107771212B (zh) | 2015-04-23 | 2021-09-10 | Bd科斯特公司 | 菌落对比度收集 |
JP6692660B2 (ja) * | 2016-03-01 | 2020-05-13 | 株式会社Screenホールディングス | 撮像装置 |
-
2021
- 2021-09-30 EP EP21787330.6A patent/EP4225888A1/en active Pending
- 2021-09-30 CN CN202180067297.1A patent/CN116438291A/zh active Pending
- 2021-09-30 AU AU2021356027A patent/AU2021356027A1/en active Pending
- 2021-09-30 US US18/030,123 patent/US20230374438A1/en active Pending
- 2021-09-30 BR BR112023005461A patent/BR112023005461A2/pt unknown
- 2021-09-30 CA CA3193299A patent/CA3193299A1/en active Pending
- 2021-09-30 JP JP2023521570A patent/JP2023544848A/ja active Pending
- 2021-09-30 WO PCT/EP2021/076969 patent/WO2022073847A1/en unknown
- 2021-09-30 CN CN202122393015.7U patent/CN216670465U/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN216670465U (zh) | 2022-06-03 |
WO2022073847A1 (en) | 2022-04-14 |
AU2021356027A1 (en) | 2023-05-04 |
JP2023544848A (ja) | 2023-10-25 |
US20230374438A1 (en) | 2023-11-23 |
EP4225888A1 (en) | 2023-08-16 |
CA3193299A1 (en) | 2022-04-14 |
BR112023005461A2 (pt) | 2023-05-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1052066C (zh) | 容器口部尺寸参数的光学检测设备和方法 | |
EP0864082B1 (en) | Method for automated image analysis of biological specimens | |
US9109194B2 (en) | Device for harvesting bacterial colony and method therefor | |
US7428325B2 (en) | Method and apparatus for automated image analysis of biological specimens | |
US6432800B2 (en) | Inspection of defects on the circumference of semiconductor wafers | |
US11519863B2 (en) | Apparatus for checking the coverslipping quality of samples for microscopic examination | |
JP2002513463A (ja) | 成形容器内の応力検出システムおよび方法 | |
US20090161094A1 (en) | Wafer bevel inspection mechanism | |
JPH07318498A (ja) | 非接触表面傷検出方法および非接触表面傷検出装置 | |
US7477370B2 (en) | Method of detecting incomplete edge bead removal from a disk-like object | |
US6606150B2 (en) | Inspection module for inspecting optical parts for faults | |
CN216670465U (zh) | 用于捕获平板培养皿的图像的系统 | |
CN109219654B (zh) | 用于使培养皿居中的装置 | |
TW201903395A (zh) | 用於檢測容器的方法及檢測系統 | |
EP2858597A2 (en) | Automated stent inspection system | |
JP3963572B2 (ja) | 基板搬入搬出装置 | |
CN213537929U (zh) | 用于定位培养平板上的细菌菌落的系统 | |
KR19990063557A (ko) | 음극선관의 형광면 검사방법 및 그 장치 | |
WO2023180916A1 (en) | Device and method for acquiring images of biological sample | |
WO2023180917A1 (en) | Device and method for acquiring images of biological samples | |
CN115222658A (zh) | 一种多工位并行镜片缺陷检测方法和装置 | |
CN214953053U (zh) | 灰熔融性测试设备 | |
JP2005201880A (ja) | 表面欠陥検査装置 | |
CN115112677A (zh) | 光纤传像元件表面疵病的检测方法及检测装置 | |
JP3023005B2 (ja) | 照度検査装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |