CN104428678A - 用于生物样本的冷冻等分器的机器视觉系统 - Google Patents
用于生物样本的冷冻等分器的机器视觉系统 Download PDFInfo
- Publication number
- CN104428678A CN104428678A CN201380022571.9A CN201380022571A CN104428678A CN 104428678 A CN104428678 A CN 104428678A CN 201380022571 A CN201380022571 A CN 201380022571A CN 104428678 A CN104428678 A CN 104428678A
- Authority
- CN
- China
- Prior art keywords
- container
- freezing sample
- image
- sample
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N1/00—Sampling; Preparing specimens for investigation
- G01N1/28—Preparing specimens for investigation including physical details of (bio-)chemical methods covered elsewhere, e.g. G01N33/50, C12Q
- G01N1/286—Preparing specimens for investigation including physical details of (bio-)chemical methods covered elsewhere, e.g. G01N33/50, C12Q involving mechanical work, e.g. chopping, disintegrating, compacting, homogenising
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N35/00—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
- G01N35/00584—Control arrangements for automatic analysers
- G01N35/00722—Communications; Identification
- G01N35/00732—Identification of carriers, materials or components in automatic analysers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N35/00—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
- G01N35/0099—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor comprising robots or similar manipulators
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N35/00—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
- G01N35/00584—Control arrangements for automatic analysers
- G01N35/00722—Communications; Identification
- G01N2035/00891—Displaying information to the operator
- G01N2035/0091—GUI [graphical user interfaces]
Landscapes
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Pathology (AREA)
- Chemical & Material Sciences (AREA)
- Biochemistry (AREA)
- Analytical Chemistry (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Robotics (AREA)
- Engineering & Computer Science (AREA)
- Sampling And Sample Adjustment (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Image Analysis (AREA)
- Manipulator (AREA)
Abstract
一种用于与从容器中的样本取出冷冻样本芯的系统一同使用的机器视觉系统包括摄像头。处理器被配置成从所述摄像头接收图像数据以确定已取出冷冻样本芯的位置。一种确定已从冷冻样本取出冷冻样本芯的一个或多个位置的方法包括操作机器人系统以在从所述容器中含有的所述冷冻样本提取出冷冻样本芯的同时在用于容纳所述容器的站的平台上定位所述容器中的一个。所述摄像头被用于撷取所述冷冻样本的图像。评估所述撷取图像中的对比度以识别一个或多个候选孔。所述处理器使用所述图像以确定所述候选孔是否为真正的孔或伪像。
Description
技术领域
本发明大体涉及机器视觉系统和方法,且更特别地涉及用于便于控制机器人系统的机器视觉系统,且该机器人系统用于从冷冻样本取出多个冷冻样本芯而不解冻冷冻样本。
背景技术
通常保存生物样本以支持各种各样的生物医学和生物学研究,其包括但不限于转化型研究、分子医学和生物标志物的发现。生物样本包括任何动物(包括人类)、植物、原生动物、真菌、细菌、病毒或其他生物来源的样本。例如,生物样本包括,但不限于生物体和/或从生物体分离的或分泌的生物流体,如血浆、血清、尿、全血、脐带血、其他基于血液的衍生物、脑脊液、粘液(从呼吸道、宫颈获取出的)、腹水、唾液、羊水、精液、眼泪、汗水、任何植物源性液体(包括汁液);细胞(例如:动物、植物、原生动物、真菌或细菌细胞,包括软层细胞;细胞裂解物、匀浆或悬浮液;微粒体;细胞器(例如:线粒体);核酸(例如:RNA、DNA),包括染色体DNA、线粒体DNA和质粒(例如:种子质粒);悬浮液或溶液中的小分子化合物(例如:DMSO中的小分子化合物);以及其他流体基生物样本。生物样本还可包括植物、植物部分(例如:种子)和组织(例如:肌肉、脂肪、皮肤等)。
生物样本库通常在容器中存储这些有价值的样本(例如,孔板或阵列、管、小瓶或类似物)并将其冷冻保存。管、小瓶和类似的容器可按阵列进行组织且可被存储在孔板、架子、分开的容器等中。尽管一些样本被存储在相对较高的温度上(例如,约-20摄氏度),但其他样本均被存储在低得多的温度上。例如,一些样本使用液氮或液氮以上的气相在冰箱中于-80摄氏度或更低的温度上)进行存储以尽可能地接近其在体内状态的方式保存冷冻样本的生物化学成分和完整性,从而便于对样本进行准确和可再生性分析。
有时可能需要对已冷冻的样本进行一个或多个测试。例如,研究员可能想要对一组具有特定特征的样本进行测试。特定样本可能包含足以支持进行多个不同测试的材料。为了节约资源,通常从较大的冷冻保存的样本(其有时被称之为母样本)取出称之为等分试样的较小样本以用于一个或多个测试,从而可在一个或多个不同的未来测试中使用母样本的剩余部分。
生物样本库已采用不同的方式以解决提供样本等分试样的需要。一种选择是大体积冷冻样本,在需要等分试样时将样本解冻,且接着重新冷冻母样本的任何剩余部分以冷冻保存的状态保存直至未来需要等分试样时。该选择可有效地使用冻藏空间;但是这种有效性却会导致样本质量的成本。重复将样本暴露于冷冻/解冻循环可降解样本的关键生物分子(例如:RNA)并损坏生物标志物,且任一情况都会危及任何使用从受损样本获取出的数据而进行的研究结果。
另一种选择是大体积冷冻样本,在需要等分试样时将母样本的剩余部分细分成小体积以制得用于未来测试的额外等分试样,然后重新冷冻这些较小体积的等分试样以单独地冷冻保存每个等分试样直到未来需要使用等分试样以进行测试。该方法将冷冻/解冻循环的数量限制为暴露样本的情况,但这会增加与冻藏空间的较大体积、劳动和需要维持冷冻保存的等分试样的样本容器(例如,管、小瓶或类似物)的较大库存相关的支出。此外,即使有限数量的冷冻/解冻循环也会降解或损坏等分试样。
另一种方法是在第一次冷冻前将大体积样本分成较小体积的等分试样。该方法能将冷冻解冻循环的数量限制为样本可能仅经受其中一个的情况;然而,该方法还具有与劳动力成本、冻藏空间和样本容器库存相关联的缺点。
美国核准前公开号20090019877公开了一种用于从冷冻生物样本提取出冷冻样本芯而无需解冻原始(母)样本的系统,其内容以引用方式并入本文。该系统使用钻机,其包括用于从原始母样本取出冷冻芯样本而无需解冻母样本的中空取芯钻头。经钻机获取出的冷冻样本芯可用作等分试样以进行测试。在移除冷冻芯后,可将样本的剩余部分返回至其原始容器中冻藏直到需要从母样本获取出另一个等分试样以用于未来的测试。
本发明人已开发出下面将进行描述的系统和方法,其便于自动识别冷冻样本是否含有之前从一个或多个冷冻样本芯提取出的任何孔以及用于执行从样本自动提取出进一步的冷冻样本芯的任何这种孔的位置。
发明内容
本发明的一个方面为一种机器视觉系统,其用于与从每一个均被包含在各容器中的冷冻样本取出多个冷冻样本芯的机器人系统一起使用。机器视觉系统包括用于支撑容器中的一个或多个的平台。平台具有用于接受容器中的至少一个的站以及在平台上位于相对于站的固定位置上的一对校准标记。该系统具有用于在容器被容纳在站上的同时撷取容器的图像的摄像头。处理器被配置成从摄像头接收指示容器的图像的图像数据。处理器被配置成通过进行下列操作确定已从在容器中含有的冷冻样本取出冷冻样本芯的一个或多个位置:(a)评估图像中的对比度以识别一个或多个候选孔;以及(b)使用有关校准标记相对于候选孔的位置的信息以确定一个或多个候选物是否可能是伪像而不是样本中的真正的孔。
本发明的另一个方面是一种从被包含在容器中的冷冻样本取出冷冻样本芯的方法。该方法包括将容器定位在用于在平台上容纳容器的站上。平台具有位于相对于站的固定位置上的一对校准标记。在容器被容纳在站上的同时撷取容器的图像。通过进行下列操作确定已从在容器中含有的冷冻样本取出冷冻样本芯的一个或多个位置:(a)评估图像中的对比度以识别一个或多个候选孔;以及(b)使用有关校准标记相对于候选孔的位置的信息以确定一个或多个候选物是否可能是伪像而不是冷冻样本中的真正的孔。从尚未取出冷冻样本芯的位置上的样本取出冷冻样本芯,如在确定步骤中所确定的。
本发明的另一个方面为一种机器视觉系统,其用于与从每一个均被包含在各容器中的冷冻样本取出多个冷冻样本芯的机器人系统一起使用。机器视觉系统包括平台和用于当其位于平台上时撷取容器中的一个的图像的摄像头。处理器被配置成从摄像头接收指示通过摄像头撷取的图像的图像数据。处理器被配置成通过进行下列操作确定已从在容器中含有的冷冻样本取出冷冻样本芯的一个或多个位置:(a)评估图像中的对比度以识别一个或多个候选孔;以及(b)确定一个或多个候选物是否可能是伪像而不是样本中的真正的孔。处理器被配置成使用下列各项中的至少一个确定一个或多个候选孔是否可能是伪像:(i)候选孔的大小;(ii)候选孔和容器的中心轴线之间的距离;(iii)在第一线和第二线之间形成的角度,第一线在孔和容器的中心轴线之间延伸且第二线在容器的中心轴线和另一个候选孔之间延伸;(iv)在一个或多个候选孔的位置和样本中的孔的预期图案之间的关系;(v)一个或多个候选孔相对于容器的外周边缘的位置;(vi)所识别的候选孔的数量;(vii)在候选孔和围绕候选孔的区域之间的对比量;以及(viii)其组合。
本发明的另一个方面是一种从被包含在容器中的冷冻样本取出冷冻样本芯的方法。该方法包括撷取容器的图像。处理器用于通过进行下列操作确定已从在容器中含有的冷冻样本取出冷冻样本芯的一个或多个位置:(a)评估图像中的对比度以识别一个或多个候选孔;以及(b)确定一个或多个候选物是否可能是伪像而不是冷冻样本中的真正的孔。下列信息中的至少一个用于确定一个或多个候选孔是否可能是伪像而不是真正的孔:(i)候选孔的大小;(ii)候选孔和容器的中心轴线之间的距离;(iii)在第一线和第二线之间形成的角度,第一线在孔和容器的中心轴线之间延伸且第二线在容器的中心轴线和另一个候选孔之间延伸;(iv)在一个或多个候选孔的位置和冷冻样本中的孔的预期图案之间的关系;(v)一个或多个候选孔相对于容器的外周边缘的位置;(vi)所识别的候选孔的数量;(vii)在候选孔和周边区域之间的对比量;以及(viii)其组合。从尚未取出冷冻样本芯的位置上的样本取出冷冻样本芯,如在确定步骤中所确定的。
本发明的另一个方面为一种校准系统,其被配置成校准用于从每一个均被包含在各容器中的冷冻样本取出多个冷冻样本芯的机器人系统。校准系统包括用于支撑容器的平台。平台具有位于其上的一个或多个固定目标。摄像头被安装在机器人系统上以用于当容器被平台支撑的同时撷取一个或多个容器的图像并撷取位于平台上的一个或多个固定目标的图像。处理器被配置成从摄像头接收指示通过摄像头形成的图像的图像数据。处理器被配置成使用在平台上的一个或多个固定目标的图像校准机器人系统。
本发明的另一个方面为一种校准用于从每一个均被包含在各容器中的冷冻样本取出多个冷冻样本芯的机器人系统的方法。该方法包括在容器被机器人系统的平台支撑的同时使用摄像头撷取一个或多个容器的图像以确定是否已从冷冻样本取出一个或多个冷冻样本芯,从而撷取在平台上的一个或多个固定目标的图像。使用一个或多个目标的图像校准机器人系统。
本发明的另一个方面为一种机器视觉系统,其用于与适于从每一个均被包含在容器中的冷冻样本取出多个冷冻样本芯的机器人系统一起使用。机器视觉系统包括用于在容器被平台支撑的同时撷取容器的图像的摄像头。摄像头具有光轴。该系统具有用于照亮在平台上的容器的环形灯。环形灯包括以环形图案布置的多个光源。摄像头的光轴延伸通过环形图案的中心部分。处理器适于从摄像头接收指示通过摄像头撷取的图像的图像数据并通过评估图像中的对比度确定已从在容器中含有的样本取出冷冻样本芯的一个或多个位置。
本发明的另一个方面为一种确定已从冷冻样本取出冷冻样本芯的一个或多个位置的方法,其中冷冻样本中的每一个均被包含在各容器中。该方法包括操作机器人系统以相对于容器中的第一个移动摄像头,从而使摄像头指向在第一容器中的冷冻样本。使用环形灯照亮冷冻样本。环形灯具有以环形图案布置的多个光源。摄像头具有延伸通过环形图案的中心部分的光轴。摄像头被用于撷取所照亮冷冻样本的图像。评估在所撷取的图像中的对比度并处理图像以识别在所撷取的图像中的一个或多个候选孔并确定候选孔是否可能是冷冻样本中的伪像或真正的孔。操作机器人系统以相对于容器中的第二个移动摄像头,从而使摄像头指向在第二容器中的冷冻样本。对在第二容器中的冷冻样本重复进行成像。
本发明的另一个方面为一种机器视觉系统,其用于与从每一个均被包含在容器中的冷冻样本取出多个冷冻样本芯的机器人系统一起使用。该系统包括摄像头,其被配置成当容器通过平台进行支撑的同时撷取容器的黑白图像。对灯进行定位以当容器位于平台上的同时照亮容器和其中含有的样本。处理器适于从摄像头接收指示通过摄像头形成的图像的灰度图像数据并通过评估在图像中的对比度确定已从样本取出冷冻样本芯的位置。该灯发出具有除白色以外的颜色的光。
本发明的另一个方面为一种确定已从冷冻样本取出冷冻样本芯的一个或多个位置的方法。冷冻样本中的每一个均被包含在各容器中。该方法包括操作机器人系统以相对于容器中的第一个移动摄像头,从而使摄像头指向在第一容器中的冷冻样本。使用有颜色的灯照亮冷冻样本。摄像头被用于撷取所照亮冷冻样本的灰度图像。评估在所撷取的图像中的对比度并处理图像以识别在所撷取的图像中的一个或多个候选孔并确定候选孔是否可能是冷冻样本中的伪像或真正的孔。操作机器人系统以相对于容器中的第二个移动摄像头,从而使摄像头指向在该第二容器中的冷冻样本。对在第二容器中的冷冻样本重复进行成像。
本发明的另一个方面为一种机器视觉系统,其用于与从每一个均被包含在容器中的冷冻样本取出多个冷冻样本芯的机器人系统一起使用。该系统包括用于当容器通过平台进行支撑的同时撷取容器的图像的摄像头。对灯进行定位以当容器位于平台上的同时照亮容器和其中含有的样本。该灯具有红色发光元件、蓝色发光元件和绿色发光元件。从红色、蓝色和绿色发光元件发出的光的强度可选择性地进行调整以允许将光的多种不同颜色中的任一颜色选为待灯发出的光的颜色。处理器适于从摄像头接收指示通过摄像头形成的图像的图像数据并通过评估在图像中的对比度确定已从样本取出冷冻样本芯的位置。处理器适于接收有关容器中的样本的颜色的输入并调整通过灯发出的光的颜色以减少在样本的颜色和通过灯发出的光的颜色之间的差异。
本发明的另一个方面为一种确定已从冷冻样本取出冷冻样本芯的一个或多个位置的方法。冷冻样本中的每一个均被包含在各容器中。该方法包括操作机器人系统以相对于容器中的第一个移动摄像头,从而使摄像头指向在第一容器中的冷冻样本。使用有颜色的光照亮冷冻样本。选择光的颜色以匹配冷冻样本的颜色。摄像头被用于撷取所照亮冷冻样本的图像。评估在所撷取的图像中的对比度并处理图像以识别在所撷取的图像中的一个或多个候选孔并确定候选孔是否可能是冷冻样本中的伪像或真正的孔。操作机器人系统以相对于容器中的第二个移动摄像头,从而使摄像头指向在该第二容器中的冷冻样本。对在第二容器中的冷冻样本重复进行成像过程。
本发明的另一个方面为一种机器视觉系统,其用于与从每一个均被包含在容器中的冷冻样本取出多个冷冻样本芯的机器人系统一起使用。机器视觉系统包括用于支撑容器的平台。平台具有当从容器中含有的冷冻样本提取出冷冻样本芯的同时用于容纳容器中的一个的站。该系统具有用于当在平台上的站上容纳容器的同时撷取容器的图像的摄像头。对灯进行定位以从提供背面照明和侧面照明中的至少一个的位置照亮容器。
本发明的另一个方面为一种确定已从冷冻样本取出冷冻样本芯的一个或多个位置的方法。冷冻样本中的每一个均被包含在各容器中。该方法包括操作机器人系统以当从容器中含有的冷冻样本提取出冷冻样本芯的同时在用于容纳容器的站的平台上定位容器中的一个。使用灯以提供用于容器的背面照明和侧面照明中的至少一个。摄像头用于在被该灯照亮的同时撷取冷冻样本的图像。评估在所撷取的图像中的对比度并处理图像以识别在所撷取的图像中的一个或多个候选孔。
另一个发明方面为一种机器视觉系统,其用于与适于从每一个均被包含在容器中的冷冻样本取出多个冷冻样本芯的机器人系统一起使用。机器视觉系统包括摄像头,其用于在从其中含有的冷冻样本提取出冷冻样本芯的同时当容器在用于容纳容器的站上被平台支撑时撷取容器的图像。该系统具有红灯,其用于当其位于站的平台上用基本上为单色的红光从上面照亮容器。处理器适于从摄像头接收指示通过摄像头撷取的图像的图像数据并通过评估图像中的对比度确定已从在容器中含有的样本取出冷冻样本芯的一个或多个位置。
本发明的另一个方面为一种确定已从冷冻样本取出冷冻样本芯的一个或多个位置的方法。冷冻样本中的每一个均被包含在各容器中。该方法包括操作机器人系统以当从容器中含有的冷冻样本提取出冷冻样本芯的同时在用于容纳容器的站的平台上定位容器中的一个。当其位于站的平台上用基本上为单色的红光从上面照亮容器。摄像头用于在被该灯照亮的同时撷取冷冻样本的图像。评估在所撷取的图像中的对比度并处理图像以识别在所撷取的图像中的一个或多个候选孔。
本发明的另一个方面为一种机器视觉系统,其用于与从每一个均被包含在各容器中的冷冻样本取出多个冷冻样本芯的机器人系统一起使用。机器视觉系统包括用于支撑容器中的一个或多个的平台。平台具有用于容纳容器中的至少一个的站。该系统具有用于在容器被容纳在站上的同时撷取容器的图像的摄像头。处理器被配置成从摄像头接收指示容器的图像的图像数据。处理器被配置成通过评估图像中的对比度以识别一个或多个候选孔并识别容器的边缘并使用有关边缘相对于候选孔的位置的信息以确定一个或多个候选物是否可能是伪像而不是样本中的真正的孔而确定已从容器中含有的冷冻样本取出冷冻样本芯的一个或多个位置。
本发明的另一个方面为一种确定已从冷冻样本取出冷冻样本芯的一个或多个位置的方法。冷冻样本中的每一个均被包含在各容器中。该方法包括操作机器人系统以当从容器中含有的冷冻样本提取出冷冻样本芯的同时在用于容纳容器的站的平台上定位容器中的一个。摄像头被用于撷取冷冻样本的图像。评估在所撷取的图像中的对比度以识别一个或多个候选孔并识别容器的边缘。使用有关边缘相对于候选孔的位置的信息以确定一个或多个候选物是否可能是伪像而不是样本中的真正的孔。
本发明的一个方面为一种机器视觉系统,其用于与从每一个均被包含在各容器中的冷冻样本取出多个冷冻样本芯的机器人系统一起使用。机器视觉系统包括用于支撑容器中的一个或多个的平台。平台具有用于容纳容器中的至少一个的站。该系统具有用于在容器被容纳在站上的同时撷取容器的图像的摄像头。该系统包括填充水平检测系统,其适于检测冷冻样本的表面的位置。处理器被配置成从填充水平检测系统接收信号并使用信号确定在何处定位摄像头以获得冷冻样本的图像。
本发明的另一个方面为一种确定已从冷冻样本取出冷冻样本芯的一个或多个位置的方法,其中冷冻样本中的每一个均被包含在各容器中。该方法包括使用填充水平检测系统以确定与容器底部相间隔的冷冻样本的表面的位置。使用源自填充水平检测系统的信息以确定在何处定位摄像头,从而使摄像头具有相对于样本表面的预定位置并将摄像头移至该位置。从该位置撷取容器中冷冻样本的图像。使用图像识别样本中的一个或多个孔的位置。
本发明的另一个方面为一种机器视觉系统,其用于与从每一个均被包含在各容器中的冷冻样本取出多个冷冻样本芯的机器人系统一起使用。机器视觉系统包括用于支撑容器中的一个或多个的平台。平台具有用于容纳容器中的至少一个的站。该系统包括用于从冷冻样本取出冷冻样本芯的取芯探头。该系统具有用于在容器被容纳在站上的同时撷取容器的图像的摄像头。处理器被配置成从摄像头接收指示容器的图像的图像数据并确定已从在容器中含有的冷冻样本取出冷冻样本芯的一个或多个位置。处理器被配置成将取芯探头移到至少一个孔的开放端中以清除该孔的开放端上的碎屑。
本发明的另一个方面是一种从被包含在容器中的冷冻样本取出冷冻样本芯的方法。该方法包括将容器定位在用于在平台上容纳容器的站上。在容器被容纳在站上的同时撷取容器的图像。确定已从在容器中含有的冷冻样本取出冷冻样本芯的一个或多个位置。从尚未取出冷冻样本芯的位置上的冷冻样本取出冷冻样本芯,如在确定步骤中所确定的。在从所述冷冻样本取出所述冷冻样本芯后,将取芯探头插入已取出冷冻样本芯的所述一个或多个位置以清除已取出冷冻样本芯的所述一个或多个位置上的碎屑。
本发明的另一个方面为一种机器视觉系统,其用于与适于从每一个均被包含在容器中的冷冻样本取出多个冷冻样本芯的机器人系统一起使用。机器视觉系统包括用于在容器被平台支撑的同时撷取容器的图像的摄像头。该系统包括用于照亮在平台上的容器的灯。通过灯发出的光能中的大部分是选自由波长在620nm至750nm范围中的红光和波长在495nm至570nm范围中的绿光所组成的群组。处理器适于从摄像头接收指示通过摄像头撷取的图像的图像数据并通过评估图像确定已从在容器中含有的样本取出冷冻样本芯的一个或多个位置。
本发明的另一个方面为一种确定已从冷冻样本取出冷冻样本芯的一个或多个位置的方法,其中冷冻样本中的每一个均被包含在各容器中。该方法包括操作机器人系统以相对于容器中的第一个移动摄像头,从而使摄像头指向在第一容器中的冷冻样本。使用灯照亮冷冻样本,其中通过灯发出的光能中的大部分是选自由波长在620nm至750nm范围中的红光和波长在495nm至570nm范围中的绿光所组成的群组。摄像头被用于撷取所照亮冷冻样本的图像。使用图像以识别在所撷取的图像中的一个或多个候选孔并确定候选孔是否可能是冷冻样本中的伪像或真正的孔。操作机器人系统以相对于容器中的第二个移动摄像头,从而使摄像头指向在该第二容器中的冷冻样本。对在该第二容器中的冷冻样本重复进行成像。
下文将部分地指出本发明的其他目的和特性。
附图说明
图1为包括本发明的一种机器视觉系统的一个实施例的冷冻等分器的一个实例的立体图;
图2为冷冻等分器的俯视图;
图3为除移部分以避免阻碍查看其平台的一个实施例的冷冻等分器的俯视图;
图4为在包括图4所示线4--4的平面上取出的平台的放大立体图;
图5为从包括图2所示线5--5的平面上所取出的横截面所示的冷冻等分器的片断的立体图;
图6为与冷冻等分器一起使用的机器人末端执行器的一个实施例的立体图;
图7为图6所示的机器人末端执行器的仰视图;
图8为示出冷冻等分器的组件中的一些的示意图;
图9为示出具有不同大小的候选孔的示意图;
图10为示出所根据的从冷冻样本提取出冷冻样本芯的几何图案的一个实施例的示意图;
图11为示出与容器中心相隔不同距离的候选孔的示意图;
图12为彼此位于与容器的中心成各种不同角度的候选孔的示意图;
图13为未遵照计划用于从冷冻样本提取出冷冻样本芯的预期序列的候选孔的示意图;
图14为示出使用边缘找寻算法以根据图像数据识别容器的边缘的位置的容器的照片;
图15为示出使用固定校准标记以识别图像数据中特性位置的一个实施例的示意图;
图16为示出在位于相对于容器的固定位置的一对校准标记的照片;
图17为密度梯级目标的一个实施例的照片;
图18为位于冷冻样本中孔上方的取芯探头的示意图;以及
图19为插入孔中的如图18所示的取芯探头的示意图。
在所有附图中,相应的参照符号表示相应的部件。
具体实施方式
现在参照附图,首先特别地参照图1-3,用于从容器中含有的冷冻样本取出冷冻样本芯的机器人系统的一个实施例总体上被指定为101。系统101包括用于支撑多个容器105的平台103以及可相对于平台通过经处理器114(图8)控制的马达驱动系统113移动的机器人末端执行器111。在所示的实施例中,机器人系统101为笛卡尔龙门式机器人,但这不是必需的,且在本发明的范围中可使用其他类型的机器人系统。在美国核准前公开号20090019877、于2011年11月17日提交的PCT申请号PCT/US2011/61214和于2012年1月26日提交的美国申请号13/359,301中阐明了有关从冷冻样本取出冷冻样本芯的机器人系统的额外细节,且其中的每一个均以引用方式并入本文。
在所示的实施例中,平台103包括凹陷区域115,其具有一定的大小和形状以容纳用于保持容器105的一个或多个可移动托盘117。例如,托盘117a中的一个或多个为保持多个源容器105的适当的源托盘,其中的每一个均含有待取出的冷冻样本芯,且一个或多个其他托盘117b为保持多个目的容器的适当的目的托盘,其中的每一个均用于保持从在源托盘上的容器所取出的一个或多个冷冻样本芯。
如图3和4所示,平台103还包括源容器站107,其适于在从其中的冷冻样本容器提取出冷冻样本芯的同时容纳源容器中的一个以及目的容器站109,其适于容纳其中沉积有一个或多个冷冻样本芯的空容器。如图4所示,源容器站107包括用于容纳容器105的贮藏处106以及在贮藏处顶部的相对侧上的一对夹紧爪108和110。爪108中的至少一个可选择性地移动,如通过气动致动器(未示出)移向另一个爪110和远离另一个爪110以选择性地将容器105夹紧在站107上的合适的位置上以在提取出冷冻样本的期间将其保持在位并释放容器,从而使其可从站移除并随后放回至托盘117中。如果需要的话,可使用类似的爪以将容器105保持在样本容纳站109上。
在附图中所示的系统101适于与被存储在各容器105中的冷冻样本一起使用。然而,要理解的是系统也可适于与其中的多个不同的冷冻样本被存储在单个容器中的孔板和阵列一起使用。例如,可提供合适的组件(例如:在末端执行器上)以移动孔板或阵列而不是各容器且用于容纳容器的站107和109在不脱离本发明的范围的情况下可适于容纳孔板或阵列。同样地,在本发明的范围中夹紧系统可适于保持孔板和阵列。
用于清洗用于从冷冻样本提取出冷冻样本芯的样本取芯探头121的清洗站119也位于平台上。在2011年11月17日提交的PCT申请号PCT/US2011/61214中提供了有关合适的清洗站的构造和操作的细节,但其在本文无需再进行重复。
在所示的实施例中,用于将冷冻样本和从其提取出的冷冻样本芯保持在冷冻状态中的冷却系统131位于平台103下方,然而在不脱离本发明的范围的情况下冷却系统也可位于其他地方和/或使用其他冷却系统。如图5-7所示,机器人系统101的末端执行器111包括样本取芯探头121和可操作用于将样本取芯探头移至在容器105中的一个中含有的冷冻样本中的一个中并随后从冷冻样本取出回取芯探头以从冷冻样本获得冷冻样本芯的样本芯提取出系统123。在所示的实施例中,例如,样本芯提取出系统123包括适于随机器人驱动系统113将样本取芯探头降低至容器中并随后将其抬升出容器而旋转样本取芯探头123的马达125。在美国核准前公开号20090019877、于2011年11月17日提交的PCT申请号PCT/US2011/61214和于2012年1月26日提交的美国申请号13/359,301中阐明了有关从冷冻样本取出冷冻样本芯的取芯探头的操作的额外细节,且其无需在本文进行重复。要理解的是在本发明的范围之中可使用任何样本取芯探头和样本提取出系统,只要其可操作用于从冷冻样本提取出冷冻样本芯,而其导致的结果仅限于不解冻冷冻样本材料和从其提取出的冷冻样本芯。
末端执行器111还包括夹持系统127,其可操作用于选择性地保持和释放容器105以在用于取出冷冻样本芯和冷冻样本芯沉积至其中的容器的平台上的托盘117和站107和109之间向后和向前移动容器的过程中通过机器人系统101进行使用。本领域的技术人员将熟悉可使用的各种市售夹持系统。在图示的实施例中,例如,夹持系统包括多个可在处理器114的控制下通过一个或多个气动致动器(未示出)移动的可移动手指129。要理解的是在本发明的范围中也可使用其他夹持系统。例如,如果需要的话,可修改夹持系统以便使用夹持系统以移动含有多个冷冻样本的孔板或阵列。
如图8示意性地说明,机器人系统101与被配置成自动识别已从容器105(如果有的话)中的冷冻样本取出冷冻样本芯的位置的机器视觉系统141相配合,从而便于从已取芯的冷冻样本取出额外的冷冻样本芯。在这些位置上,将在冷冻样本中有孔或洞。在一些情况下,孔可能是空的,但在其他的情况下,孔可能含有已在样本上生长的霜晶(例如,当样本处于冻藏状态中时)或被其所遮蔽,被碎屑和/或因其他原因而被遮蔽。机器视觉系统141还被配置成识别尚未具有从其提取出的任何冷冻样本芯的冷冻样本中的任何孔的缺乏。机器视觉系统141便于使用机器人系统101以从冷冻样本取出冷冻样本芯,该冷冻样本之前进行取出样以获得等分试样并随后在从样本请求额外的冷冻样本芯以在稍后的测试中提供额外的等分试样前返回至冷藏状态一段时间。
机器视觉系统141包括所安装的在容器通过平台103进行支撑的同时用于撷取容器105和其中含有的冷冻样本的图像的摄像头143。在所示的实施例中,机器视觉系统141包括被联接至处理器114以显示所撷取和/或处理的图像数据的显示器146。摄像头143被适当地安装在机器人系统101上以相对于容器105通过机器人系统进行移动。例如,在所示的实施例中,摄像头143被安装在末端执行器111上以与末端执行器111一起移动。要认识到,在本发明的范围中,摄像头可被安装在相对于平台的固定位置上。
摄像头143和处理器114被配置成彼此相连通,从而使处理器能指导摄像头在合适的时间撷取图像并从摄像头接收指示通过摄像头撷取的图像的图像数据。适宜地,用于视觉系统141的处理器114可以是与控制机器人系统101的操作的相同的处理器,然而在本发明的范围中也可使用单独的处理器。在本发明的广泛范围之内可以使用各种摄像头。例如,摄像头143可以是含有将所撷取的图像转换成电信号的CCD阵列(未示出)的数字摄像头。在所示的实施例中,由于后面将更详细地讨论的原因,摄像头143被配置成撷取单色(例如,灰度)图像而非彩色图像,但摄像头也可被配置成在本发明的广泛范围中撷取彩色图像。
机器视觉系统141还包括用于照亮通过摄像头143进行成像的容器105的灯145。在本发明的广泛范围中可使用具有各种不同的配置、布置和颜色的一个或多个灯。在本发明的范围中,该灯可以是可移动的(例如:被安装在末端执行器111上)或是固定的(例如:被固定至或在平台103内)。可对一个或多个灯进行定位以提供亮场照明、暗场照明、间接照明(例如,侧面照明)、背面照明、直接照明(即,其指向垂直于被照亮表面的照明)及其任何组合。图4示出三个可选的灯181、183和185,其可定位在相对于用于容纳保持冷冻样本的容器105的站的固定位置上。例如,光纤电缆可通过平台进行路由或被设置在平台上以在被指定为181、183和/或185的位置上提供光。其他类型的灯也可被固定在这些位置的平台上或位于这些位置的平台中。
容器105通常是透明的或至少是半透明的,以便光能通过容器的侧面或底部并与其中的冷冻样本进行交互。位于用于容纳容器105的贮藏处106的底部的灯181提供了背面照明的选项。在容器顶部的灯183被合适地固定在爪108和110中的一个内以向样本的表面提供侧面照明和/或暗场照明的选项。在贮藏处106侧面中的灯185在冷冻样本的表面的下方或在其上合适地提供侧面照明。当使用侧面照明和/或背面照明选项时,通常,在冷冻样本中的孔将具有比在相应图像中的冷冻样本更亮的外表。侧面照明和/或背面照明在检测填充有霜或其他碎屑或完全被其遮蔽的真正的孔中可能是有用的。机器视觉系统141可包括多个不同的灯且处理器114可被配置成,如果需要的话,相继操作灯以在不同的照明状况下利用冷冻样本的图像数据。
如图6和7所示,在所示实施例中的灯145为环形灯。环形灯145具有以环形图案(例如:圆形)布置的多个光源147(例如,LED)。例如,环形灯145适当地具有中空圆柱形壳体151,其具有在一端上的凹槽153。光源147位于在凹陷位置上的凹槽153中,从而使壳体阻挡源自与其成广角的光源的光的直接路径。盖子149,如透明窗口、透明或半透明的扩散器或透镜可被安装在凹槽中,从而在需要时围绕光源147。
在图6-7所示的实施例中,对摄像头143进行定位,从而使摄像头143的光轴155延伸通过环形灯151的环形图案的中心部分。例如,环状环形灯145适当地具有与摄像头155的光轴共线的中轴线。环形灯145和摄像头143适当地进行布置,从而不具有从环形灯的光源147至摄像头的直接路径。在图5中,例如,摄像头143具有用于接收源自被成像的物体的光的前端157和对环形灯145适当地进行定位以向前延伸至比摄像头更远,从而使环形灯发出的光从位于摄像头前方的位置发出。还如图5所示,环形灯145的壳体151的边缘适当地在光源147和摄像头143之间延伸以阻挡直接从光源至摄像头的光的路径。
处理器114被配置成从摄像头143接收指示容器105和其中的冷冻样本的图像的图像数据并使用源自摄像头的图像数据以确定已从容器中含有的冷冻样本取出冷冻样本芯的一个或多个位置。处理器114可以被配置成使用各种方法以进行该确定。例如,处理器114可适当地被配置成评估图像中的对比度以识别一个或多个候选孔并随后使用源自图像的信息确定一个或多个候选孔是否可能是伪像而不是样本中的真正的孔。
处理器114在容器105被灯145照亮的同时适当地以各种方式处理所撷取的图像以便进行该确定。例如,在一个实施例中,处理器114被配置成对原始图像数据应用阈值滤波器,对阈值化图像应用一个或多个形态滤波器(例如,腐蚀、膨胀、打开和/或关闭)且随后应用粒子分析以识别一个或多个候选孔。
要理解的是,通过处理器识别的候选孔可包括其为伪像而不是真正的孔的一些特性。例如,样本表面可以是有斑点的或随时间而变成有斑点的(例如,由于在冷冻样本上形成不需要的霜晶、在因样本冷冻速度引起的冷冻样本的表面轮廓中的不规则、可在冷冻样本的上表面上累积的如通过从容器的帽子或侧面掉落的冰片和其他碎屑等)。进一步地,尽管因提取出冷冻样本芯而产生的真正的孔通常最初在其外表中是非常均匀的(例如,圆形),但在冷冻样本被返回至冷藏后可能在冷冻样本上生成的霜晶可延伸至孔中或在孔顶部的开口上方延伸并改变孔的外表。因此,已发现查找漂亮完美成形的孔并排除候选孔清单中的一切的机器视觉系统导致无法识别存在于样本中实际的孔的显著风险,特别是在从冷冻样本请求额外的冷冻样本芯前当将冷冻样本放回至冷藏状态中一段很长的时间时。
因此,处理器114被适当地配置成使用多种类型的信息以确定候选孔是否可能是真正的候选孔或伪像。例如,处理器114被适当地配置成使用选自由下列各项所组成的群组的信息:
候选孔的大小;
候选孔和容器的中心轴线之间的距离;
在第一线和第二线之间形成的角度,第一线在孔和容器的中心轴线之间延伸且第二线在容器的中心轴线和另一个候选孔之间延伸;
在一个或多个候选孔的位置和样本中的孔的预期图案之间的关系;
一个或多个候选孔相对于容器的外周边缘的位置;
与特定容器相关联的候选孔的总数;
在候选孔和围绕候选孔的区域之间的对比量;以及
其组合,从而帮助确定候选孔是否可能是伪像或真正的孔。
在许多情况下,通过从冷冻样本提取出冷冻样本芯而形成的孔将具有预期的大小范围(例如,直径)。然而,一些候选孔可大致上大于或大致上小于预期的,如图9所示。因此,处理器114可能具有基于太大(例如,具有图9中的直径D1)或太小(例如,具有图9中的直径D2)的尺寸而确定某些候选孔可能是伪像的能力。
在许多情况下,将根据预定的几何图案或可根据通过处理器114识别的源自所撷取的图像数据的几何图案而从冷冻样本提取出冷冻样本芯。几何图案可根据要实现什么目标而发生变化,如使可从冷冻样本提取出的冷冻样本芯的数量最大化或在源自中心的特定径向位置上取出尽可能多的冷冻样本芯。图10示出其中从冷冻样本取出五个冷冻样本芯的一个几何图案的实例。由该图案产生的孔均与容器的中心间隔开大约相同的距离D3且在相邻的孔中的相应点(例如,中心)之间延伸的线之间的角度θ1都大致相等。在本发明的范围中,在几何图案中的孔的数量可发生变化。尽管图10中的图案为规则的图案,其表示孔都具有相同的大小、与中心间隔开相同的距离且均以相等的角度而间隔开,但要理解的是,在本发明的范围中,图案可以是不规则的。
如图11所示,一些候选孔与中心的间隔可以非常近(例如,见图11中的距离D4)或距容器的中心非常远(例如,见图11中的距离D5),或相反地,如果能够检测到容器的边缘,一些候选孔则间隔开以远离或接近容器的边缘以落在该几何图案中。同样地,如图12所示,在候选孔中的一个或多个之间的角间距可不同于预期的角间距(非常高θ2或非常低θ3)。因此,处理器114可根据候选孔和容器的中轴线(或容器的边缘)之间的距离不在预期的限制内和/或在两个候选孔中的相应点(例如,如图所示,中心或边缘)和容器的中轴线之间延伸的线之间形成的角度不在预期的限制内而确定某些候选孔可能是伪像。
在许多情况下,将根据具体的有序序列从冷冻样本提取出冷冻样本芯。如图10所示,例如,从顶部位置开始提取出冷冻样本芯,随后围绕几何图案顺时针移动直到已取出最后一个样本芯为止。如图13所示,在一些情况下,尽管候选孔中的一个或多个可位于几何图案中的正确位置上,但其仍可能发生乱序。例如,在候选孔305中的一个和其他候选孔301和303之间的图案中可能具有空的缺口307,这表示如果候选孔中的全部为真正的孔,其结果将是不遵循预期的序列。在这种情况下,处理器114可基于用根据预期从冷冻样本提取出冷冻样本芯的序列判断出候选孔发生乱序的情况,特别是当多个候选孔301和303遵循预期的序列且只有一个候选孔305发生乱序时,确定候选孔为伪像。
在一些情况下,候选孔的数量可大于预期的。处理器114被适当地配置成将该情况识别为指明候选孔中的一个或多个是伪像的可能性更高。处理器114可应用更严格的标准以当候选孔的数量非常高时帮助排除可能的伪像。
有时,候选孔和其周边区域之间的对比量能帮助区别真正的孔和伪像。例如,大的对比度可指示其为真正的孔的非常好的候选物,而较小的对比度可指示一组候选孔中的因其他原因而可疑的一个(例如,具有非常多的候选孔,仅有两个候选孔且其不遵循预期的几何图案等)比其他的更可能是伪像。
处理器能评估候选孔的位置的一种方式是参照保持冷冻样本的容器105的中心轴的位置或可替代地,相对于容器的外周边缘。在本发明的范围中,处理器114可被配置成以各种方式识别容器105的边缘和/或中心。例如,一个选择是使用边缘找寻算法以识别容器105的内周边缘或外周边缘且随后计算该边缘的几何中心以识别容器的中心。例如,图14示出容器105的图像,其具有包括一对同心圆163和165以及在圆之间延伸的多个径向延伸的扫描线167的覆盖物。该圆163和165限定出待扫描的以试图识别容器105的边缘的区域。处理器114被适当地配置成评估图像数据以确定沿具有鲜明对比的每条线的点169。每个点169可能表示在容器105的边缘和各扫描线167之间的交叉点。在成功地尝试识别容器的边缘的情况下,点169的显著数量将取出决于相同的圆(或如果容器不具有圆形的形状则为其他形状),在这种情况下,处理器114推断置于其上的点169限定出容器105的边缘。如本文所使用的,在边缘找寻技术和使用有关容器的边缘的信息以识别和/或评估候选孔的背景下,要理解的是,容器的边缘可指其中将一个冷冻样本存储在孔板或其他适于保持多个不同样本的容器上的孔或其他离散区域的边缘。
尽管边缘检测技术在某些情况下可以很好地工作,但当在容器的边缘和背景之间具有低对比度时,边缘检测可被削弱。当在使用用于冷冻等分器的机器视觉系统的背景下仅取出决于边缘检测时,这可能会出现问题,这是因为用于容器的最常见颜色中的一个为白色或半透明的,且白霜能形成在与容器相邻的表面上,其导致潜在的问题是,在图像中的容器边缘和周边之间可能具有低对比度。紫外或红外照明可以帮助提高图像中容器的边缘和周边之间的对比度。该增强的对比度提高了容器边缘的检测和识别。在一个实施例中,可对单独的UV或IR光源进行定位以照亮容器。在本发明的范围中,该UV或IR光源可以是可移动的(例如:被安装在末端执行器111上)或是固定的(例如:被固定至或在平台103内)。在一个实施例中,单独的UV或IR光源可位于平台中以提供至容器的间接照明(例如,背面照明或侧面照明)以协助边缘检测。在另一个实施例中,灯145、181、183和185中的任一个或其组合可包括UV或IR光源。
如图15和16所示,一对校准标记161被适当地设置于平台103上相对于源容器站107的固定位置上。校准标记161可采用任何结构或标出其具有充分的对比度以允许处理器114可靠地从图像数据中识别出校准标记。例如,校准标记161可适当地为暗开口、暗的彩色标记(例如,点)或其他结构。校准标记161可适当地为或包括加热器(例如,小的低功率电阻加热器)以限制可能遮蔽校准标记的在校准标记上的霜累积。
处理器114被适当地配置成使用校准标记161(例如,与边缘检测相组合或不与边缘检测相组合)以确定一个或多个候选孔是否可能是伪像而不是冷冻样本中的真正的孔。设计校准标记161以确保即使形成霜或具有使图像数据中容器105的边缘和其周边之间的对比度最小化的其他状况的情况下,在图像中的校准标记和周围物体之间具有强色彩对比度。由于校准标记161位于相对于用于容纳源容器105的站107的固定位置上,处理器114可通过将其位置与校准标记的位置进行比较而确定候选孔的位置。
例如,对校准标记161进行适当地定位以与容器的中心形成三角形。在视觉系统141检查冷冻样本前,在连接校准标记的线和将校准标记连接至中心的各线之间形成的角度α和β可以是已知的。因此,处理器114可被配置成通过从校准标记对中心进行三角划分而识别容器的中轴线。包括被配置成使用校准标记161以识别容器中心的处理器114的机器视觉系统141对摄像头旋转中的错误或摄像头平移中的错误不敏感。在使用边缘检测确定容器中心为不切实的情况下(例如,由于低对比度),处理器114可被配置成根据校准标记的位置识别容器105的边缘和/或容器的中轴线,而无需检测容器的任何边缘。可替代地,处理器114可被配置成使用校准标记和外周边缘检测以识别容器的中心。处理器114可被配置成将候选孔的位置直接与校准标记161的位置进行比较以在不计算容器的中心和/或不计算容器的边缘的情况下不计算在候选孔和容器的中心或容器的边缘之间的相对距离而确定哪些候选孔可能是伪像。
处理器114被配置成,一旦处理器已根据图像数据确定在特定冷冻样本和任何这种孔的位置中是否具有任何孔,则从机器人系统101能从其取出另一冷冻样本芯的冷冻样本中自动选择合适的位置(或在尚未从冷冻样本取出冷冻样本芯的情况下,其被配置成自动选择将从其提取出初始冷冻样本的位置)。这便于从可能之前已提取出冷冻样本芯的样本取出冷冻样本芯而无需要求处理器114访问任何有关可能之前已从样本或从其已取出任何这种样本芯的在冷冻样本中的位置提取出的冷冻样本芯的数量的信息。这消除了进行人工干预以对容器105进行定向的需要,其为特别的方式且大大减少了需要被跟踪的以当从冷冻样本提取出冷冻样本芯以满足用于样本等分试样的订单时成功管理和处理样本。其也便于在之前已使用一种或多个不同的方法以提取出样本芯的生物样本库中安装机器人系统101的能力(例如,使用使能获得的样本的数量最大化的样本芯的几何图案与使用产生从冷冻样本的部分所取出的样本中的一些或全部的样本芯的几何图案,其中该冷冻样本与中心相距特定的径向距离,即使这会减少能提取出的样本芯的最大数量)。因此,如果生物样本库之前已采用一种策略或特定组的操作程序以提取出冷冻样本芯,且如果已根据系统101的协议而非之前使用的其他什么协议提取出之前提取出的冷冻样本芯,即使孔并不在其预期的位置上,系统101仍能识别冷冻样本中的孔。
例如,如果处理器114在冷冻样本中检测到一个或多个预先存在的孔,处理器可被配置成选择一个位置以用于下一个继续已开始的几何图案的冷冻样本芯。另一个选择是,如果需要从冷冻样本中的特定径向位置取出下一个样本芯,处理器114则可被配置成选择一个位置,其与容器的中心相距所需的径向距离且与冷冻样本中现有的孔充分地间隔开来。处理器114能进行配置,从而使用户能确定选择使用这些选择中的哪一个以用于任何特定容器或特定组的容器。
处理器114还可被配置成,如果确定在冷冻样本中没有现有孔,则为将从其提取出多个冷冻样本芯的位置选择合适的初始几何图案。处理器114能被配置成选择使能从冷冻样本取出的冷冻样本芯的数量最大化的几何图案和/或处理器能被配置成选择产生从与容器的中心相距特定所需的径向距离处取出的一个或多个冷冻样本芯(例如,所有的冷冻样本芯)的几何图案。处理器114能被配置成允许用户选择将使用几个不同策略上的哪一个以计划将从其提取出冷冻样本芯以用于不同容器或不同组容器的位置的几何图案。如果需要的话,处理器114能被配置成显示通过处理器选择的几何图案和/或处理器选为用于冷冻样本提取出的位点的位置以便通过人工操作员进行确认和/或干预。
已确定通过灯145发出的光的颜色可以是很重要的。通常,当用于照亮冷冻样本的光与冷冻样本的颜色相配时,可获得较好的结果。例如,用于照亮冷冻样本的光的颜色适当地与样本的颜色相同或除了在RGB色轮上的两个相邻颜色中的一个外与样本的颜色没有更多不同,其中RGB色轮具有在该轮周围延伸的以下列顺序布置的六种颜色:红、黄、绿、青、蓝、洋红且随后又是红。例如,红灯对于红色样本、橙色样本和黄色样本的效果很好。由于大量的血液(红色)和尿液(黄色或橙色)样本已进行冷冻以进行研究,因此可预料到需要灯145以发出红光照亮冷冻样本。还可以预料到在一些情况下,将需要灯以发出绿光或蓝光。然而,在本发明的范围中,灯也可发出任何颜色的光。
在一个实施例中,灯145包括红色发光元件、蓝色发光元件和绿色发光元件,且从红色、蓝色和绿色发光元件发出的光的强度可选择性地进行调整以允许将光的多种不同颜色中的任一颜色选为用于照亮样本的光的颜色。在一个实施例中,灯145包括红色发光元件,其发出波长在约620nm至约750nm(约400THz至约484THz)范围中的红光。例如,通过灯发出的光能中的大部分(例如,基本上为所有光能)适当地位于约620nm至750nm的范围之中。光源可包括发出波长集中于约620nm至约750nm范围中的光的LED。在另一个实施例中,灯145包括绿色发光元件,其发出波长在约495nm至570nm(约526THz至约606THz)范围中的绿光。例如,通过灯发出的光能中的大部分(例如,基本上为所有光能)适当地位于约495nm至570nm的范围之中。光源可包括发出波长集中于约495nm至约570nm范围中的光的LED。光源147可包括一些仅发出红光的光源、仅发出绿光的其他光源和仅发出蓝光的其他光源。另一种可能性是光源包括多色LED,其每一个均可进行操作以发出红光、蓝光及其组合。
在可调整光的颜色的情况下,处理器114可适当地被配置成接收有关容器中样本颜色的输入并调整通过灯发出的光的颜色以减少样本的颜色和通过灯发出的光的颜色之间的差异。例如,视觉系统141可包括用户界面,其被配置成允许用户输入有关样本颜色的信息且处理器114可被配置成调整光的颜色以匹配用户输入的颜色。另一个选择是摄像头143可适于撷取样本(或一组样本的各样本)的彩色图像且处理器114可被配置成调整光的颜色以匹配在撷取的彩色图像中的样本颜色。当撷取将用于确定样本的颜色以便进行准确的颜色检测时处理器适当地将用于照亮样本的光的颜色调整为白色且随后调整光的颜色以匹配样本的颜色。在一些情况下,可能已知整个一组样本将具有类似的颜色,在这种情况下,处理器可被配置成撷取样本中的一个的彩色图像以评定在该组中所有样本的颜色并进行一次颜色调整以匹配该组中所有样本的颜色。
在本发明的范围中,尽管视觉系统可被进行配置以使摄像头撷取冷冻样本的彩色图像且处理器使用源自彩色图像的信息以识别已取出冷冻样本芯的地方,但当视觉系统被进行配置以使摄像头撷取冷冻样本的单色(例如,灰度)图像(即使当照亮样本的光不同于白色,例如,是为了匹配样本的颜色而进行选择的)且处理器使用灰度图像以确定是否已从冷冻样本取出冷冻样本芯,且如果是这样的话,从而识别已从其取出冷冻样本芯的位置时,则可获得出乎意料得好的结果。能撷取灰度图像和彩色图像的数字摄像头是可用的,因此摄像头可撷取一个或多个彩色图像(例如,以识别样本的颜色,从而可调整用于照亮样本的光以匹配样本的颜色)且还可撷取处理器用于识别在冷冻样本中孔存在的地方的灰度图像。
适当地,机器视觉系统141为被配置成校准机器人系统101的校准系统的组件。如图1-3所示,平台103具有位于其上的一个或多个固定目标171。摄像头143被安装在机器人系统101上,从而使其可移动以撷取固定目标171中每一个的图像。处理器被适当地配置成从摄像头接收指示通过摄像头形成的目标的图像的图像数据并使用平台103上的一个或多个固定目标171的图像校准机器人系统101。如图1所示,目标173中的至少一个具有图像(例如,十字准线),其具有用于在x和y方向进行校准的点或线的交叉点以及形状(例如,圆形),其具有用于在z方向进行校准的已知大小。校准系统适当地具有用户界面(未示出),其被配置成允许用户将摄像头从不与目标中的一个相配准的位置(例如,从而使覆盖所撷取图像的标线不与十字准线相对齐)引向与该目标相配准的位置(例如,从而使标线与十字准线相对齐)。
此外,如图1-3所示,目标171中的一个(例如,具有十字准线和圆形的目标173)被固定至在用于容纳托盘的凹陷区域115外的工作台的上表面。进一步地,目标175中的一个被适当地固定至用于容纳容器105的凹陷区域的底部(例如,在托盘117和相邻的站107和109之间,如图3所示)。在所示的实施例中,在凹陷区域115中的目标175还包括十字准线。
在所示的实施例中,适当地,目标中的另一个为密度梯级目标177(见图17),其具有包括从较亮的色度到较暗的色度布置的一个或多个系列方框以使用用于摄像头143的校准亮/暗设置的图像。
处理器114被适当地配置成使用平台103上的多个额外的特性作为目标,从而帮助校准机器人系统101。例如,处理器114被适当地配置成使用从由下列各项所组成的群组选择的平台103上的多个特性的图像校准机器人系统101:
用于容纳从其取出冷冻样本芯的容器105的站107;
用于容纳其中的冷冻样本芯将发生沉积的容器105的站109;
用于清洗机器人系统101的取芯探头121的站119;
在平台103上用于保持容器105的一个或多个样本托盘117;以及
其组合。
例如,图3示出可根据校准系统的一个特定实施例使用的13个校准点,其中每个校准点是连续地从201至213加以标记。点201与凹陷区域115中的平台103上的目标175相对应。点201、202和203与用于容纳容器105的站107、109以及用于清洗取芯探头121的站119相对应。点204-208与托盘117a中的一个的各个点(例如,在角落的点)相对应,且点209-212与托盘117b中的另一个的各个点(例如,在角落的点)相对应。点213与平台103上的台面上的目标173相对应。包括在校准中的点可适当地进行选择,从而使其共同地在操作环境的至少相当一部分的上方延伸,但在本发明的范围中,在校准过程中使用的具体点可发生变化。
校准系统被适当地配置成在(i)末端执行器111或可与末端执行器移动的任何组件和(ii)平台103或平台上的组件之间不具有任何物理接触的情况下完成机器人系统101的校准。
校准系统还被适当地配置成确定摄像头143、取芯探头143和夹持器127相对于彼此的位置,从而补偿在与摄像头、探头和夹持器相关联的位置偏移中的变化。例如,校准系统被适当地进行配置,从而用户能直接移动末端执行器111以使摄像头143、取芯探头121和夹持系统127中的每一个与目标171或其他参考点相配准并当每次其中的一个与其相配准时将指示提供至处理器114。这允许处理器114计算在这些组件之间的偏移,这些组件对可能在机器人系统101的装配过程中或因任何其他原因而产生的位置偏移负有责任。这有利于机器人系统101的组件的更准确的位置。
在机器人系统101的初始安装过程中以及之后偶尔可能需要的,机器视觉系统141被适当地用于校准机器人系统。机器人驱动系统113将摄像头143移至经处理器估计将与目标171中的一个相配准的位置。然后,(通过处理器或用户)使用源于摄像头143的图像数据以指导机器人驱动系统113调整摄像头的位置直到其与目标相配准为止。如果目标171包括具有用于在z轴进行校准的已知大小的圆形或其他形状,使用源自摄像头143的图像数据以(通过处理器或用户)指导机器人驱动系统抬升或降低摄像头直到通过摄像头撷取的图像中的形状大小指示摄像头在z方向与目标相距合适的距离。通过使用用于具有已知焦距的摄像头143的镜头设置并随后调整摄像头的高度直到图像处于焦点中也可实现Z方向上的校准。当摄像头143与目标171相配准且与目标相距正确的距离时,处理器记录源自机器人系统101的位置信息(例如,源自编码器和提供有关机器人系统的各组件的位置的位置反馈的其他装置的数据)并指定该信息为对应于与各目标相应的设置点。对目标171中的每一个重复该过程。例如,在图3中所示的实施例中,为校准点201-213中的每一个重复该过程。
尽管目标171和/或校准点可位于平台103上的各位置上,但在所示的实施例中,目标适当地包括位于平台台面的上表面上的一个目标173以及位于平台的凹陷区域中的另一个目标175。目标171/校准点适当地包括多个目标,其包括下面中的至少一个:
用于容纳从其取出冷冻样本芯的容器105的站107;
用于容纳其中的冷冻样本芯将发生沉积的容器105的站109;
用于清洗取芯探头121的站119;
在平台103上用于保持容器105的一个或多个样本托盘117a和117b;以及
其组合。
例如,在一个实施例中,校准目标171和校准点包括图3上的点201-213中的每一个。
在校准过程中,也使用密度梯级目标177以调整摄像头的设置和光强以提供标准图像撷取条件。在摄像头撷取密度梯级目标177的图像的同时打开灯145并调整摄像头143的光圈和/或被供给至灯的电流的强度直到摄像头143读取出密度梯级目标上的特定阴影块以作为某个灰阶。例如,当调整灯145和摄像头143从而通过摄像头读取出标准密度梯级目标上的第三个较亮的色块以作为200灰阶时,可获得良好的结果。
机器人系统101还进行校准以针对摄像头143、取芯探头121和夹持系统127的位置之间的偏移中的任何变化进行调整。例如,首先定位摄像头143以使其与平台103上的目标171中的一个或其他参考点相配准,在该点上,用户将摄像头与其相配准的指示提供至处理器114。接着,用户调整末端执行器111的位置直到取芯探头121与目标171或参考点相配准并将取芯探头与其相配准的指示提供至处理器114。最后,用户调整末端执行器的位置直到夹持系统127与目标171或其他参考点相配准并将夹持系统与其相配准的指示提供至处理器。该方法中步骤的顺序是不重要的。处理器114使用在该过程中提供的信息确定在摄像头143、取芯探头121和夹持总成127之间的位置偏移。在不要求在末端执行器111或可与末端执行器移动的任何组件和平台103或在平台上的任何组件之间具有任何接触的情况下,适当地完成整个校准过程。
为了从冷冻样本提取出冷冻样本芯,将含有冷冻样本的一组容器105置于平台103上。例如,一个或多个托盘117a可加载有样本容器105并随后置于平台103上(例如,在凹陷区域115中)。用于在提取出后容纳冷冻样本芯的一组空的容器105被载入一个或多个额外的托盘117b中并置于平台103上。机器人系统101使用夹持系统127以将含有冷冻样本的容器105中的一个移到用于容纳从其提取出冷冻样本芯的容器的站107并将空的容器中的一个移至用于容纳冷冻样本芯将沉积至的目的容器的站109。
然后,在从冷冻样本提取出冷冻样本芯的同时,机器人系统将摄像头143移至用于保持含有冷冻样本的容器105的站的107上方的位置。机器人系统适当地包括用于检测冷冻样本的上表面水平的填充水平检测系统。在题为用于冷冻等分器的机器人末端执行器的美国申请号13/359,301和2012年1月26日提交的从生物样本取出冷冻等分试样的方法中提供了关于合适的填充水平检测系统的构造和操作的详情,其通过引用而并入本文。填充水平检测系统提供有关冷冻样本上表面的位置的信息。填充水平检测系统可用于将摄像头143定位在冷冻样本上的所需水平上,从而改善摄像头的聚焦。例如,处理器114使用源自填充水平检测系统的有关冷冻样本上表面的位置的信息以确定用于定位摄像头以当摄像头位于与样本的上表面的距离的最佳范围中的同时获得冷冻样本的图像的标高。灯145用于照亮站107上的容器105和其中含有的冷冻样本。如果机器视觉系统141包括调整灯145的颜色的选项,则可确定冷冻样本的颜色(例如,使用源自摄像头的图像数据和/或用户输出)并调整光的颜色以匹配冷冻样本的颜色,如上所述。例如,如果冷冻样本为红色、橙色或黄色,灯145可被调整至发出红光。同样地,如果使用额外的照明选项,用提供照明的灯181、183和185中的一个或多个撷取容器105的额外图像。
摄像头143撷取所照亮容器105和冷冻样本的一个或多个原始图像。原始图像被适当地进行处理以便识别候选孔。例如,对用灯145照明而获得的原始图像适当地应用阈值滤波器。还对图像应用形态滤波器。在图像已进行滤波后,执行粒子分析成像算法以识别任何候选孔。处理器随后使用图像数据以评估任何候选孔是否为实际的孔或仅为伪像,从而确定是否已从冷冻样本取出任何冷冻样本芯,且如果这样的话,从而识别从其取出冷冻样本芯的位置。
如果使用了使用校准标记161以评估候选孔的位置的选项,该方法适当地包括使用低功率电阻加热器加热校准标记以确定校准标记未被霜所遮蔽。
一旦处理器114已识别候选孔并确定哪些候选孔可能是伪像以及哪些可能是真正的孔,处理器自动选择将从其提取出冷冻样本芯的位置,其占用冷冻样本中预先存在的孔的位置(如果有的话)。接着,处理器114指导机器人系统101将取芯探头121移至在所选位置上方的位置并指导样本提取出系统以从该位置提取出冷冻样本芯。因此,取芯探头121被延伸至冷冻样本中(例如,如果样本提取出系统123使用钻探行为,则在旋转的同时进行)并随后从具有被包含在其中的冷冻样本芯的冷冻样本撤回。机器人系统101将取芯探头121移至在用于保持目的窗口的站109上的容器105顶部上方的位置并将冷冻样本芯从取芯探头喷射至目的容器中。如果需要一个以上的冷冻样本以对已订下的等分试样提供足够的材料,在冷冻样本中另一个适当的位置重复进行冷冻样本芯的提取出过程,如处理器自动确定的一样,直到在目的容器105中已沉积足够数量的样本材料为止。
在目的容器105中已沉积足够数量的样本材料后,进一步地处理冷冻母样本以清除在冷冻样本的孔的每一个中的任何霜晶或其他碎屑以确保当之后从冷藏再次取出回样本以获得额外的冷冻样本芯时在机器视觉系统141中获得更好的准确性和可靠性。如上所述,孔可能含有已在样本上生长的霜晶(例如,当样本处于冷藏中)或被其所遮蔽,被碎屑(例如,源自之前钻探的冷冻样本芯)和/或因其他原因而被遮蔽。为了改善识别下次从冷藏取出回的冷冻母样本中的孔的能力,处理器114适当地使用在提取出最新的冷冻样本芯前从样本获得的图像数据(即,用于评估候选孔、确定是否已从冷冻样本取出任何冷冻样本芯且如果已取出冷冻样本芯,确定取出冷冻样本芯的位置的图像数据)。处理器114适当地还使用在提取出最新的冷冻样本芯的过程中获得的数据(例如,用于获得最新的冷冻样本芯和有关从其取出最新的冷冻样本芯的位置的信息的几何取出样图案)。通过在最近的提取出前使用有关任何孔的位置的该图像数据以及在最近的提取出过程上产生的任何孔的位置的数据,处理器114确定冷冻样本中每个孔和可疑孔的位置。一旦处理器114已识别冷冻样本中所有的孔,处理器指导机器人系统将取芯探头121移至在每个孔上方的位置中并依次进行再处理或清除孔中的任何碎屑。处理器114可能或可能不具有关于孔是否具有任何阻挡其或含在其中的碎屑的信息,且因此指导机器人系统将取芯探头121移至在每个孔上方的位置中且依次降低至孔中,而不论在孔中是否识别出任何碎屑。在一个实施例中,处理器114适当地使用在提取出最新的冷冻样本芯前获得的图像数据指导机器人系统进行再处理或清洗任何所识别的孔,且随后指导机器人系统在最近的冷冻样本芯的提取出过程中进行再处理或清洗任何所产生的孔。在另一个实施例中,处理器114指导机器人系统在最近的冷冻样本芯的提取出过程中进行再处理或清洗任何所产生的孔,且随后指导机器人使用在提取出最新的冷冻样本芯前获得的图像数据指导机器人系统进行再处理或清洗任何所识别的孔。在另一个实施例中,处理器114指导机器人系统使用在提取出最新的冷冻样本芯之前获得的图像数据进行再处理或清洗仅识别的任何孔。在另一个实施例中,处理器114指导机器人系统进行再处理或清洗仅在最近的冷冻样本芯的提取出过程中产生的任何孔。在另一个实施例中,处理器114使用提取出最新的冷冻样本芯前获得的图像数据指导机器人系统进行再处理或清洗任何所识别的孔,且随后指导机器人系统提取出最新的冷冻样本芯。
清洗过程的任何顺序或组合均位于本发明的广泛的范围之中。如图18和19所示,例如,处理器114可指示末端执行器111的顶针190移至延伸位置,其中顶针从取芯探头121的远端延伸。取芯探头121位于所识别的孔192的上方(图18)且随后被降低至该孔中以清除该孔的任何碎屑(图19)。无论孔中是否有碎屑,均将取芯探头121降低至所识别的孔192中。如果顶针190遭遇阻力(例如,所识别的孔实际上为伪像且不是真正的孔),检测该阻力(例如,使用填充水平检测系统的组件)且停止取芯探头121和顶针的向下运动以防损坏冷冻样本和机器人系统。机器视觉系统141可包括如2012年1月26日提交的美国申请号13/359,301中所描述的传感器,从而确定是否将顶针190降低至孔中而非降低至与冷冻样本相接触。随着顶针190进入该孔的开放端,可从孔的开放端敲掉可能阻挡孔的视野的任何霜、碎屑或其他类似的物体,这可通过敲至该孔的底部或通过在旁边推动而实现。清除孔的碎屑和霜可使机器视觉系统141更易于正确地识别当需要额外的冷冻样本芯时从冻藏取出回的冷冻样本中的孔。由于取芯探头和顶针190已被要求与样本相接触以完成该过程的其他部分,因此通过使用取芯探头和顶针以从孔的开放端清除碎屑实质上不会增加污染样品的风险。
下面的讨论旨在提供对其中可实施本发明的各方面的合适的处理环境的简要概述。虽然不是必需的,但将在计算机可执行指令的一般上下文中描述本发明的各方面,如通过网络环境中的计算机或处理器执行的程序模块。一般而言,程序模块包括例程、程序、对象、组件、数据结构等,其执行特定任务或实施特定抽象数据类型。计算机可执行指令、相关联的数据结构以及程序模块代表用于执行本文所公开的方法的步骤的程序代码工具的实例。这种可执行指令或相关联的数据结构的特定序列代表用于实施在这些步骤中所述功能的相应行为的实例。
本领域的技术人员将理解,可在具有多种类型的计算机系统配置的网络计算环境,包括个人计算机、手持装置、多处理器系统、基于微处理器或可编程的消费电子产品、网络PC、微型计算机、大型计算机等中实行本发明的各方面。也可在经通过通信网络链接的(通过硬接线链路、无线链路或硬接线或无线链路的组合而实现)本地和远程处理装置执行任务的分布式计算环境中实行本发明的各方面。在分布式计算或处理环境中,程序模块可位于本地和远程存储器存储装置中。
用于执行本发明各方面的一种示例性系统包括采用传统计算机形式的通用计算装置,其包括处理单元、系统存储器以及链接各种系统组件,包括系统存储器至处理单元的系统总线。系统总线可以是几个类型的总线结构中的任一种,其包括存储器总线或存储器控制器、外围总线和使用多种总线架构中的任一种的本地总线。系统存储器包括只读存储器(ROM)和随机存取出存储器(RAM)。可在ROM中存储基本输入/输出系统(BIOS),其包含有助于在计算机的元件之间,如在启动期间传送信息的基本例程。
计算机还可包括用于从磁性硬盘读取出或写入其中的磁性硬盘驱动器、用于从可移动磁盘读取出或写入其中的磁盘驱动器和从可移动光盘,如CD-ROM或其它光学介质读取出或写入其中的光盘驱动器。磁性硬盘驱动器、磁盘驱动器和光盘驱动器分别通过硬盘驱动器接口、磁盘驱动器接口和光盘接口被连接至系统总线。驱动器和其相关联的计算机可读介质提供计算机可执行指令、数据结构、程序模块和用于计算机的其他数据的非易失性存储。虽然本文所述的示例性环境采用磁性硬盘、可移动磁盘和可移动光盘,但也可使用用于存储数据的其他类型的计算机可读介质,包括磁带盒、闪存卡、数字视频盘、伯努利墨盒、RAM、ROM等。
包括一个或多个程序模块的程序代码工具可被存储在硬盘、磁盘、光盘、ROM和/或RAM上,其包括操作系统、一个或多个应用程序、其他程序模块和程序数据。用户可通过键盘、指点装置或其他输入装置,如麦克风、操纵杆、游戏垫、碟形卫星天线、扫描仪或类似物将命令和信息输入计算机中。这些和其它输入装置通常通过经联接至系统总线的串行端口接口而被连接至处理单元。可替代地,输入装置可通过其他接口,如并行端口、游戏端口或通用串行总线(USB)而进行连接。监视器或另一个显示装置也以接口,如视频适配器而被连接至系统总线。除了监视器外,个人计算机通常包括其他外围输出装置(未示出),如扬声器和打印机。
计算机可在使用至一个或多个远程计算机,如远程计算机的逻辑连接的联网环境中进行操作。远程计算机中的每一个可以是另一个个人计算机、服务器、路由器、网络PC、对等装置或其他常见的网络节点,且通常包括相对于计算机的上述元件中的许多或全部。逻辑连接包括在这里以举例说明而非限制的方式提出的局域网(LAN)和广域网(WAN)。这样的联网环境常见于办公室范围或企业范围的计算机网络、内联网和因特网中。
当用在LAN联网环境中时,计算机通过网络接口或适配器而被连接至本地网络。当用在WAN联网环境中时,计算机可包括调制解调器、无线链路或用于通过广域网,如因特网建立通信的其他工具。可以是内置或外置的调制解调器经串行端口接口而被连接至系统总线。在联网环境中,相对于计算机或其部分而描述的程序模块可被存储在远程存储器存储装置中。将理解的是,所示的网络连接是示例性的且可使用通过广域网建立通信的其他工具。
在本发明范围中的实施例还包括用于进行或具有被存储在其上的计算机可执行指令或数据结构的计算机可读介质。这种计算机可读介质可以是能通过通用或专用计算机访问的任何可用介质。举例说明而非限制,这种计算机可读介质可包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储器、磁盘存储器或其他磁存储装置或可用于进行或存储以计算机可执行指令或数据结构为形式的所需程序代码工具且可通过通用或专用计算机进行访问的任何其他介质。当通过网络或另外的通信连接(通过硬连线、无线或硬连线或无线的组合而实现)将信息传送或提供至计算机时,计算机适当地将连接视为计算机可读介质。因此,任何这样的连接被适当地称为计算机可读介质。上述内容的组合也应被包含在计算机可读介质的范围之中。例如,计算机可读指令包括使通用计算机、专用计算机或专用处理装置进行某一功能或某一组功能的指令和数据。
在一种操作模式中,被包含在容器105中的冷冻样本位于(例如,通过机器人系统而实现)平台103上的站107处,其中平台103具有在相对于站的固定位置上的校准标记161。摄像头143在容器105被容纳在站107处的同时撷取容器105和其中样本的图像。处理器114通过进行下列操作确定已从在容器105中含有的冷冻样本取出冷冻样本芯的一个或多个位置:(a)评估图像中的对比度以识别冷冻样本中的一个或多个候选孔;以及(b)使用有关校准标记相对于候选孔的位置的信息以确定一个或多个候选物是否可能是伪像而不是冷冻样本中的真正的孔。从尚未取出冷冻样本芯的位置上的样本取出冷冻样本芯,如处理器所确定的。
在另一种操作模式中,摄像头撷取含有冷冻样本的容器105的图像。处理器114通过进行下列操作使用撷取的图像确定已从在容器中含有的冷冻样本取出冷冻样本芯的一个或多个位置:(a)评估图像中的对比度以识别一个或多个候选孔;以及(b)确定一个或多个候选物是否可能是伪像而不是冷冻样本中的真正的孔。为了做出该确定,处理器114使用包括下列各项中的至少一个的信息:
候选孔的大小;
候选孔和容器105的中心轴线之间的距离;
在第一线路和第二线路之间形成的角度,第一线路在孔和容器的中心轴线之间延伸且第二线路在容器的中心轴线和另一个候选孔之间延伸;
在一个或多个候选孔的位置和样本中的孔的预期图案之间的关系;
一个或多个候选孔相对于容器的外周边缘的位置;
所识别的候选孔的数量;
在候选孔和周边区域之间的对比量;以及
其组合。
系统从尚未取出冷冻样本芯的位置上的样本取出冷冻样本芯,如处理器所确定的。
在另一种操作模式中,通过使用摄像头143校准机器人系统101以撷取在平台103上的一个或多个固定目标171的图像。处理器114使用一个或多个目标171的图像以校准机器人系统。随后,在容器通过平台支撑的同时使用同样的摄像头143以撷取一个或多个容器105的图像,从而确定是否已从冷冻样本取出一个或多个冷冻样本芯。
在另一种操作模式中,操作机器人系统101以相对于容器105中的第一个移动摄像头143,从而使摄像头指向第一容器中的冷冻样本。使用环形灯145照亮容器105中的冷冻样本。使用摄像头143以撷取所照亮的冷冻样本的图像。处理器114评估在所撷取的图像中的对比度并处理图像以识别在所撷取的图像中的一个或多个候选孔。处理器114确定候选孔是否可能是冷冻样本中的伪像或真正的孔。机器人系统101相对于容器105中的第二个移动摄像头,从而使摄像头指向在第二容器中的冷冻样本并重复该过程。
在另一种操作模式中,机器人系统101相对于容器105中的第一个移动摄像头143,从而使摄像头指向第一容器中的冷冻样本。使用有颜色的灯照亮容器105中的冷冻样本。摄像头143撷取所照亮冷冻样本的灰度图像。处理器114评估在所撷取的图像中的对比度并处理图像以识别在所撷取的图像中的一个或多个候选孔。处理器113确定候选孔是否可能是冷冻样本中的伪像或真正的孔。机器人系统101相对于容器105中的第二个移动摄像头143,从而使摄像头指向在第二容器中的冷冻样本。重复该过程。
在另一种操作模式中,机器人系统101相对于容器105中的第一个移动摄像头143,从而使摄像头指向第一容器中的冷冻样本。用灯145照亮容器105中的冷冻样本,该灯145具有所选的与冷冻样本的颜色相配的颜色。摄像头143撷取所照亮冷冻样本的图像。处理器114评估在所撷取的图像中的对比度并处理图像以识别在所撷取的图像中的一个或多个候选孔。处理器114确定候选孔是否可能是冷冻样本中的伪像或真正的孔。机器人系统相对于容器105中的第二个移动摄像头143,从而使摄像头指向在第二容器中的冷冻样本并重复该过程。
在另一个操作模式中,当从容器中含有的冷冻样本提取出冷冻样本芯的同时机器人系统101定位在用于容纳容器的站107处的平台103上的容器105中的一个。灯181、183和185中的一个或多个提供用于容器105的背面照明和侧面照明中的至少一个。在另一个实施例中,一个或多个灯能提供至容器105的直接照明。摄像头143在冷冻样本被直接或间接照亮(例如:通过侧面照明和/或背面照明而实现)的同时撷取冷冻样本的图像。处理器114评估在所撷取的图像中的对比度并处理图像以识别在所撷取的图像中的一个或多个候选孔。
在本发明的范围中,上述操作模式可组合使用或可单独使用。
当介绍本发明的要素或其优选实施例时,冠词“一个”、“所述”和“该”是指具有一个或多个要素。术语“包括”、“包含”和“具有”意为包括性的,且指除所列要素外可能还具有额外的要素。
鉴于上述情况,可以看出实现了本发明的几个目的且达到了其他的有利的结果。
在不脱离本发明范围的情况下,可对上述构造进行各种变化,且上面说明中所包含的以及附图中所示的所有事物均应被解释为说明性的而非限制性的。
Claims (120)
1.一种机器视觉系统,其用于与从每一个均被包含在各容器中的冷冻样本取出多个冷冻样本芯的机器人系统一起使用,所述机器视觉系统包括:
用于支撑所述容器中的一个或多个的平台,所述平台具有用于容纳所述容器中的至少一个的站以及在所述平台上位于相对于所述站的固定位置上的一对校准标记;
用于在所述容器被容纳在所述站上的同时撷取所述容器的图像的摄像头;
处理器,其被配置成从所述摄像头接收指示所述容器的所述图像的图像数据并通过进行下列操作确定已从在所述容器中含有的冷冻样本取出冷冻样本芯的一个或多个位置:(a)评估所述图像中的对比度以识别一个或多个候选孔;以及(b)使用有关所述校准标记相对于所述候选孔的位置的信息以确定所述一个或多个候选物是否可能是伪像而不是所述样本中的真正的孔。
2.根据权利要求1所述的机器视觉系统,其中使用有关所述校准标记相对于所述候选孔的所述位置的信息包括使用所述校准标记以识别所述容器的中心轴线以及进行(i)使用有关所述一个或多个校准标记相对于所述容器的所述中心轴线的所述位置的信息和(ii)使用与所述候选孔中的一个相对于所述容器的所述中心轴线的角位置相比的有关所述候选孔中的另一个相对于所述容器的所述中心轴线的角位置的信息中的至少一个。
3.根据权利要求1或2所述的机器视觉系统,其中所述确定还包括使用有关所述一个或多个候选孔的大小的信息以确定所述一个或多个候选物是否可能是伪像而不是所述样本中的真正的孔。
4.根据权利要求2-3中任一项所述的机器视觉系统,其中所述处理器被配置成在不检测所述容器的任何边缘的情况下根据所述校准标记的所述位置识别所述容器的所述中心轴线。
5.根据权利要求1-3中任一项所述的机器视觉系统,其中所述处理器被配置成识别所述容器的边缘,且其中所述确定包括使用有关所述一个或多个候选孔相对于所述容器的所述边缘的所述位置的信息以确定所述一个或多个候选物是否可能是伪像而不是所述样本中的真正的孔。
6.根据权利要求1-5中任一项所述的机器视觉系统,其中所述校准标记包括用于限制在所述校准标记上的霜累积的低功率电阻的加热器。
7.根据权利要求1-6中任一项所述的机器视觉系统,其中所述处理器被进一步配置成控制所述摄像头相对于所述站的位置的位置。
8.根据权利要求1-7中任一项所述的机器视觉系统,其中所述处理器被配置成使用有关所述一个或多个候选孔相对于所述容器的中心轴线的所述位置的信息确定所述一个或多个候选孔是否可能是伪像而不是所述样本中的真正的孔。
9.根据权利要求1-8中任一项所述的机器视觉系统,其中所述处理器被配置成使用与所述候选孔中的一个相对于所述容器的所述中心轴线的角位置相比的有关所述候选孔中的另一个相对于所述容器的所述中心轴线的角位置的信息确定所述一个或多个候选孔是否可能是伪像而不是所述样本中的真正的孔。
10.根据权利要求1-9中的一项所述的机器视觉系统,其中所述处理器被配置成通过从所述校准标记对所述中心进行三角划分以识别所述容器的所述中心轴线。
11.一种从被包含在容器中的冷冻样本取出冷冻样本芯的方法,所述方法包括:
在平台上的用于容纳容器的站上定位所述容器,所述平台具有位于相对于所述站的固定位置上的在所述平台上的一对校准标记;
用于在所述容器被容纳在所述站上的同时撷取所述容器的图像;
通过进行下列操作确定已从在所述容器中含有的所述冷冻样本取出冷冻样本芯的一个或多个位置:(a)评估所述图像中的对比度以识别一个或多个候选孔;以及(b)使用有关所述校准标记相对于所述候选孔的所述位置的信息以确定所述一个或多个候选物是否可能是伪像而不是所述冷冻样本中的真正的孔;以及
从所述尚未取出冷冻样本芯的位置上的所述样本取出所述冷冻样本芯,如在所述确定步骤中所确定的。
12.根据权利要求11所述的方法,其中所述确定还包括使用有关所述一个或多个候选孔的大小的信息以帮助确定所述一个或多个候选物是否可能是伪像而不是所述冷冻样本中的真正的孔。
13.根据权利要求11-12中任一项所述的方法,其还包括在所述撷取的图像中检测所述容器的外周边缘,其中所述确定还包括使用有关所述一个或多个候选孔相对于所述容器的所述边缘的所述位置的信息以帮助确定所述一个或多个候选物是否可能是伪像而不是所述冷冻样本中的真正的孔。
14.根据权利要求11-13中任一项所述的方法,其还包括加热所述校准标记以限制在所述校准标记上的霜累积。
15.根据权利要求11或14所述的方法,其中使用有关所述校准标记相对于所述一个或多个候选孔的所述位置的信息包括识别所述容器的中心轴线并评估所述候选孔相对于所述容器的所述中心轴线的所述位置以确定所述一个或多个候选物是否可能是伪像而不是所述冷冻样本中的真正的孔。
16.根据权利要求15所述的方法,其中评估所述候选孔相对于所述容器的所述中心轴线的所述位置包括使用与所述候选孔中的一个相对于所述容器的所述中心轴线的角位置相比的有关所述候选孔中的另一个相对于所述容器的所述中心轴线的角位置的信息以确定所述一个或多个候选物是否可能是伪像而不是所述冷冻样本中的真正的孔。
17.根据权利要求15-16中任一项所述的方法,其中识别所述容器的所述中心轴线包括使用三角划分。
18.根据权利要求11-17中任一项所述的方法,其中评估所述图像中的对比度以识别一个或多个候选孔包括对所述图像应用阈值滤波器。
19.根据权利要求11-18中任一项所述的方法,其中评估所述图像中的对比度以识别一个或多个候选孔包括对所述图像应用形态滤波器。
20.根据权利要求18所述的方法,其中评估所述图像中的对比度以识别一个或多个候选孔还包括在对所述图像应用所述阈值滤波器后对所述图像应用形态滤波器。
21.根据权利要求18-20中任一项所述的方法,其中评估所述图像中的对比度以识别一个或多个候选孔包括在所述滤波后应用粒子分析成像算法。
22.一种机器视觉系统,其用于与从每一个均被包含在各容器中的冷冻样本取出多个冷冻样本芯的机器人系统一起使用,所述机器视觉系统包括:
平台;
用于当其位于所述平台上时撷取所述容器中的一个的图像的摄像头;以及
处理器,其被配置成从所述摄像头接收指示通过所述摄像头撷取的所述图像的图像数据并通过进行下列操作确定已从在所述容器中含有的所述冷冻样本取出冷冻样本芯的一个或多个位置:(a)评估所述图像中的对比度以识别一个或多个候选孔;以及(b)使用下列各项中的至少一个确定所述一个或多个候选物是否可能是伪像而不是所述样本中的真正的孔:
(i)所述候选孔的大小;
(ii)所述候选孔和所述容器的中心轴线之间的距离;
(iii)在第一线和第二线之间形成的角度,所述第一线在所述孔和所述容器的所述中心轴线之间延伸且所述第二线在所述容器的所述中心轴线和另一个候选孔之间延伸;
(iv)在所述一个或多个候选孔的位置和所述样本中的孔的预期图案之间的关系;
(v)所述一个或多个候选孔相对于所述容器的外周边缘的位置;
(vi)所识别的候选孔的数量;
(vii)在所述候选孔和围绕所述候选孔的区域之间的对比量;以及
(viii)其组合。
23.根据权利要求22所述的机器视觉系统,其中所述处理器被配置成使用有关所述一个或多个候选孔相对于所述容器的外周边缘的位置的信息确定所述一个或多个候选孔是否可能是伪像而不是所述冷冻样本中的真正的孔。
24.根据权利要求22-23中任一项所述的机器视觉系统,其中所述处理器被配置成使用有关所述一个或多个候选孔的大小的信息确定所述一个或多个候选孔是否可能是伪像而不是所述冷冻样本中的真正的孔。
25.根据权利要求22-24中任一项所述的机器视觉系统,其中所述处理器被配置成使用有关所述候选孔和所述容器的中心轴线之间的距离的信息确定所述一个或多个候选孔是否可能是伪像而不是所述冷冻样本中的真正的孔。
26.根据权利要求22-25中任一项所述的机器视觉系统,其中所述处理器被配置成通过使用有关在第一线和第二线之间形成的角度的信息确定所述一个或多个候选孔是否可能是伪像而不是所述样本中的真正的孔,所述第一线在所述孔和所述容器的所述中心轴线之间延伸且所述第二线在所述容器的所述中心轴线和另一个候选孔之间延伸。
27.根据权利要求22-26中任一项所述的机器视觉系统,其中所述处理器被配置成通过使用有关所述一个或多个候选孔的所述位置和在所述冷冻样本中的孔的预期图案之间的关系的信息确定所述一个或多个候选孔是否可能是伪像而不是所述冷冻样本中的真正的孔。
28.根据权利要求22-27中任一项所述的机器视觉系统,其中所述处理器被配置成通过使用有关所识别的候选孔的数量确定所述一个或多个候选孔是否可能是伪像而不是所述冷冻样本中的真正的孔。
29.根据权利要求28所述的机器视觉系统,其中所述处理器被配置成通过使用有关在所述候选孔和围绕所述候选孔的区域之间的对比量的信息确定所述一个或多个候选孔是否可能是伪像而不是所述冷冻样本中的真正的孔。
30.一种从被包含在容器中的冷冻样本取出冷冻样本芯的方法,所述方法包括:
撷取所述容器的图像;
通过进行下列操作使用所述撷取的图像确定已从在所述容器中含有的所述冷冻样本取出冷冻样本芯的一个或多个位置:(a)评估所述图像中的对比度以识别一个或多个候选孔;以及(b)使用包括下列各项中的至少一个的信息确定所述一个或多个候选孔是否可能是伪像而不是所述冷冻样本中的真正的孔:
(i)所述候选孔的大小;
(ii)所述候选孔和所述容器的中心轴线之间的距离;
(iii)在第一线和第二线之间形成的角度,所述第一线在所述孔和所述容器的所述中心轴线之间延伸且所述第二线在所述容器的所述中心轴线和另一个候选孔之间延伸;
(iv)在所述一个或多个候选孔的位置和所述冷冻样本中的孔的预期图案之间的关系;
(v)所述一个或多个候选孔相对于所述容器的外周边缘的位置;
(vi)所识别的候选孔的数量;
(vii)在所述候选孔和所述周边区域之间的对比量;以及
(viii)其组合;以及
从所述尚未取出冷冻样本芯的位置上的所述样本取出所述冷冻样本芯,如在所述确定步骤中所确定的。
31.根据权利要求30所述的方法,其中所述确定包括使用有关所述一个或多个候选孔相对于所述容器的外周边缘的位置的信息。
32.根据权利要求30-31中任一项所述的方法,其中所述确定包括使用有关所述一个或多个候选孔的大小的信息。
33.根据权利要求30-32中任一项所述的方法,其中所述确定包括使用有关在所述候选孔和所述容器的中心轴线之间的距离的信息。
34.根据权利要求30-33中任一项所述的方法,其中所述确定包括使用有关在第一线和第二线之间形成的角度的信息,所述第一线在所述孔和所述容器的所述中心轴线之间延伸且所述第二线在所述容器的所述中心轴线和另一个候选孔之间延伸。
35.根据权利要求30-34中任一项所述的方法,其中所述确定包括使用有关所述一个或多个候选孔的所述位置和在所述冷冻样本中的孔的预期图案之间的关系的信息。
36.根据权利要求30-35中任一项所述的方法,其中所述确定包括使用有关所识别的候选孔的数量的信息。
37.根据权利要求30-36中任一项所述的方法,其中所述确定包括使用有关在所述候选孔和所述周边区域之间的对比量的信息。
38.一种校准系统,其被配置成校准用于从每一个均被包含在各容器中的冷冻样本取出多个冷冻样本芯的机器人系统,所述校准系统包括:
用于支撑所述容器的平台,所述平台具有位于其上的一个或多个固定目标;
被安装在所述机器人系统上用于当所述容器被所述平台支撑的同时撷取一个或多个容器的图像并撷取位于所述平台上的所述一个或多个固定目标的图像的摄像头;以及
处理器,其被配置成:
从所述摄像头接收指示通过所述摄像头形成的图像的图像数据;以及
使用在所述平台上的所述一个或多个固定目标的图像校准所述机器人系统。
39.根据权利要求38所述的校准系统,其中所述处理器被进一步配置成通过评估所述容器的图像中的对比度确定已从所述容器中的一个中的冷冻样本取出冷冻样本芯的一个或多个位置。
40.根据权利要求38-39中任一项所述的校准系统,其中所述一个或多个固定目标包括具有图像以在x和y方向进行校准以及具有已知大小的形状以在z方向进行校准的目标。
41.根据权利要求40所述的校准系统,其中所述平台包括工作台,其具有用于容纳所述容器的凹陷区域,所述具有所述图像以在所述x和y方向进行校准以及具有已知大小的形状以在所述z方向进行校准的目标被固定至在所述凹陷区域外的所述工作台的上表面。
42.根据权利要求41所述的校准系统,其中所述一个或多个固定目标包括被固定至所述凹陷区域底部的目标。
43.根据权利要求42所述的校准系统,其中被固定至所述凹陷区域的所述底部的所述目标具有用于在所述x和y方向进行校准的图像。
44.根据权利要求38-43中任一项所述的校准系统,其还包括在所述平台上的用于所述摄像头的亮/暗校准的密度梯级显示器。
45.根据权利要求38-44中任一项所述的校准系统,其中所述处理器被进一步配置成使用从由下列各项组成的群组选出的在所述平台上的具有多个特性的图像校准所述机器人系统
(i)用于容纳从其取出冷冻样本芯的容器的站;
(ii)用于容纳其中的冷冻样本芯将发生沉积的容器的站;
(iii)用于清洗所述机器人系统的取芯探头的站;
(iv)在所述平台上用于保持所述容器的一个或多个托盘;以及
(v)其组合。
46.根据权利要求38-45中任一项所述的校准系统,其还包括用户界面,其被配置成允许用户将所述摄像头从不与所述目标中的一个相配准的位置引向与所述目标相配准的位置。
47.根据权利要求38-46中任一项所述的校准系统,其中所述机器人系统包括末端执行器,所述摄像头被安装在所述末端执行器上以与所述末端执行器一起相对于所述平台移动,且所述校准系统被配置成在所述末端执行器或和可与所述末端执行器一起移动的任何组件与所述平台或所述平台上的组件之间不具有任何物理接触的情况下完成对所述机器人系统的校准。
48.根据权利要求38-46中任一项所述的校准系统,其中所述机器人系统包括末端执行器,所述摄像头被安装在所述末端执行器上以与所述末端执行器一起相对于所述平台移动,所述末端执行器还包括用于从所述冷冻样本取出冷冻样本芯的取芯探头以及适于选择性地保持和释放容器以相对于所述平台移动所述容器的夹持器,所述校准系统被进一步配置成确定所述摄像头、探头和夹持器相对于彼此的位置以补偿与所述摄像头、探头和夹持器相关联的位置偏移中的变化。
49.一种校准用于从每一个均被包含在各容器中的冷冻样本取出多个冷冻样本芯的机器人系统的方法,所述方法包括:
在所述容器被平台支撑的同时使用摄像头撷取一个或多个容器的图像以确定是否已从所述冷冻样本取出一个或多个冷冻样本芯,从而撷取在所述平台上的一个或多个固定目标的图像;以及
使用所述一个或多个目标的图像校准所述机器人系统。
50.根据权利要求49所述的方法,其中所述平台包括工作台,其具有用于容纳所述容器的凹陷区域,且所述一个或多个目标中的至少一个被固定至所述凹陷区域外的所述工作台的上表面。
51.根据权利要求50所述的方法,其中所述一个或多个固定目标还包括被固定至所述凹陷区域底部的至少一个目标。
52.根据权利要求49-51中任一项所述的方法,其还包括使用在所述平台上的密度梯级显示器以校准所述摄像头的亮/暗设置。
53.根据权利要求49-52中任一项所述的方法,其还包括使用在所述平台上的具有多个额外特性的图像以帮助校准所述机器人系统,所述多个额外特性包括下列各项中的至少一个:
(i)用于容纳从其取出冷冻样本芯的容器的站;
(ii)用于容纳其中的冷冻样本芯将发生沉积的容器的站;
(iii)用于清洗所述机器人系统的取芯探头的站;
(iv)在所述平台上用于保持所述容器的一个或多个托盘;以及
(v)其组合。
54.根据权利要求49-53所述的方法,其还包括使用所述摄像头撷取容器的图像并使用所述图像确定在所述样本中的一个或多个孔的位置。
55.一种机器视觉系统,其用于与适于从每一个均被包含在容器中的冷冻样本取出多个冷冻样本芯的机器人系统一起使用,所述机器视觉系统包括:
用于当所述容器被平台支撑的同时撷取容器的图像的摄像头,所述摄像头具有光轴;
用于照亮在所述平台上的所述容器的环形灯,所述环形灯包括以环形图案布置的多个光源,所述摄像头的所述光轴延伸通过所述环形图案的中心部分;以及
处理器,其适于从所述摄像头接收指示通过所述摄像头撷取的所述图像的图像数据并通过评估所述图像中的对比度确定已从在所述容器中含有的所述样本取出冷冻样本芯的一个或多个位置。
56.根据权利要求55所述的机器视觉系统,其中所述环形灯发出红光。
57.根据权利要求55所述的机器视觉系统,其中所述环形灯发出绿光。
58.根据权利要求55所述的机器视觉系统,其中所述环形灯包括红色发光元件、蓝色发光元件和绿色发光元件,从所述红色、蓝色和绿色发光元件发出的光的强度可选择性地进行调整以允许将光的多种不同颜色中的任一颜色选为待所述环形灯发出的光的颜色。
59.根据权利要求55所述的机器视觉系统,其中所述环形灯包括多色LED,可操作所述多色LED中的每一个以发出红光、绿光、蓝光及其组合。
60.与容器和在所述容器中含有的冷冻样本相组合的根据权利要求55-59中任一项所述的机器视觉系统,对所述摄像头进行定位以拍摄所述冷冻样本的图像,所述环形灯适于发出与所述冷冻样本的颜色相配的光。
61.根据权利要求60所述的机器视觉系统,其中通过所述环形灯发出的所述光具有第一颜色且所述冷冻样本的所述颜色具有第二颜色,且所述第一颜色是选自由下列各项所组成的群组:(i)与所述第二颜色相同的颜色以及(ii)除了在6色RGB色轮上两个相邻颜色中的一个外与所述第二颜色没有更多不同的颜色。
62.根据权利要求60和61所述的机器视觉系统,其中所述冷冻样本具有选自由黄色、橙色和红色所组成的群组的颜色且由所述环形灯发出的所述光为红色。
63.根据权利要求55-62中任一项所述的机器视觉系统,其中布置所述环形灯和所述摄像头,从而在所述环形灯中不具有从所述光源至所述摄像头的直接路径。
64.根据权利要求55-63中任一项所述的机器视觉系统,其中所述摄像头具有用于从物体接收光的前端,且所述环形灯向前延伸至比所述摄像头更远处,从而从在所述摄像头前的位置发出通过所述环形灯发出的所述光。
65.根据权利要求55-64中任一项所述的机器视觉系统,其中所述环形灯包括具有环形槽的壳体且所述光源在所述槽中凹陷。
66.一种确定已从冷冻样本取出冷冻样本芯的一个或多个位置的方法,所述冷冻样本中的每一个均被包含在各容器中,所述方法包括:
(a)操作机器人系统以相对于所述容器中的第一个移动摄像头,从而使所述摄像头指向在所述第一容器中的所述冷冻样本;
(b)使用环形灯照亮所述冷冻样本,所述环形灯包括以环形图案布置的多个光源,所述摄像头具有延伸通过所述环形图案的中心部分的光轴;
(c)使用所述摄像头撷取所照亮的冷冻样本的图像;
(d)评估在所撷取的图像中的对比度并处理所述图像以识别在所撷取的图像中的一个或多个候选孔并确定所述候选孔是否可能是所述冷冻样本中的伪像或真正的孔;
(e)操作机器人系统以相对于所述容器中的第二个移动所述摄像头,从而使所述摄像头指向在所述第二容器中的所述冷冻样本;以及
(f)对所述第二容器中的所述冷冻样本重复步骤(b)-(d)。
67.根据权利要求66所述的方法,其中步骤(b)包括用红光照亮所述冷冻样本。
68.根据权利要求66所述的方法,其中步骤(b)包括用绿光照亮所述冷冻样本。
69.根据权利要求66所述的方法,其中步骤(b)包括用具有与所述冷冻样本的所述颜色相配的颜色的光照亮所述冷冻样本。
70.根据权利要求66所述的方法,其中所述冷冻样本具有选自由黄色、橙色和红色所组成的群组的颜色且步骤(b)包括用红光照亮所述冷冻样本。
71.根据权利要求66-70中任一项所述的方法,其中步骤(c)包括撷取所照亮的冷冻样本的灰度图像。
72.一种机器视觉系统,其用于与从每一个均被包含在容器中的冷冻样本取出多个冷冻样本芯的机器人系统一起使用,所述机器视觉系统包括:
摄像头,其被配置成当所述容器通过平台进行支撑的同时撷取所述容器的黑白图像;
灯,其进行定位以当所述容器位于所述平台上的同时照亮所述容器和其中含有的所述样本;以及
处理器,其适于从所述摄像头接收指示通过所述摄像头形成的图像的灰度图像数据并通过评估在所述图像中的对比度确定已从所述样本取出冷冻样本芯的位置,
其中所述灯发出具有除白色以外的颜色的光。
73.根据权利要求72所述的机器视觉系统,其中所述摄像头被配置成撷取灰度图像。
74.根据权利要求72或73所述的机器视觉系统,其中所述灯发出红光。
75.根据权利要求72或73所述的机器视觉系统,其中所述灯发出绿光。
76.根据权利要求72或73所述的机器视觉系统,其中所述灯包括红色发光元件、蓝色发光元件和绿色发光元件,且从所述红色、蓝色和绿色发光元件发出的光的强度可选择性地进行调整以允许将光的多种不同颜色中的任一颜色选为待所述灯发出的光的颜色。
77.一种确定已从冷冻样本取出冷冻样本芯的一个或多个位置的方法,所述冷冻样本中的每一个均被包含在各容器中,所述方法包括:
(a)操作机器人系统以相对于所述容器中的第一个移动摄像头,从而使所述摄像头指向在所述第一容器中的所述冷冻样本;
(b)用有颜色的灯照亮所述冷冻样本;
(c)使用所述摄像头撷取所照亮的冷冻样本的灰度图像;
(d)评估在所撷取的图像中的对比度并处理所述图像以识别在所撷取的图像中的一个或多个候选孔并确定所述候选孔是否可能是所述冷冻样本中的伪像或真正的孔;
(e)操作所述机器人系统以相对于所述容器中的第二个移动所述摄像头,从而使所述摄像头指向在所述第二容器中的所述冷冻样本;以及
(f)对所述第二容器中的所述冷冻样本重复步骤(b)-(d)。
78.根据权利要求77所述的方法,其中步骤(b)包括用红光照亮所述冷冻样本。
79.根据权利要求77所述的方法,其中所述步骤(b)包括用绿光照亮所述冷冻样本。
80.根据权利要求77所述的方法,其中步骤(b)包括用具有与所述冷冻样本的所述颜色相配的颜色的光照亮所述冷冻样本。
81.根据权利要求77所述的方法,其中所述冷冻样本具有选自由黄色、橙色和红色所组成的群组的颜色且步骤(b)包括用红光照亮所述冷冻样本。
82.一种机器视觉系统,其用于与从每一个均被包含在容器中的冷冻样本取出多个冷冻样本芯的机器人系统一起使用,所述机器视觉系统包括:
摄像头,其用于当所述容器通过平台进行支撑的同时拍摄所述容器的图像;
灯,其进行定位以当所述容器位于所述平台上的同时照亮所述容器和其中含有的所述样本,其中所述灯包括红色发光元件、蓝色发光元件和绿色发光元件,从所述红色、蓝色和绿色发光元件发出的光的强度可选择性地进行调整以允许将光的多种不同颜色中的任一颜色选为待所述灯发出的光的颜色;以及
处理器,其适于从所述摄像头接收指示通过所述摄像头形成的图像的图像数据并通过评估在所述图像中的对比度确定已从所述样本取出冷冻样本芯的位置,
其中所述处理器适于接收有关所述容器中的所述样本的所述颜色的输入并调整通过所述灯发出的所述光的所述颜色以减少在所述样本的所述颜色和通过所述灯发出的所述光的所述颜色之间的差异。
83.根据权利要求81所述的机器视觉系统,其中所述系统还包括用户界面,其适于允许用户输入有关所述样本的所述颜色的信息。
84.根据权利要求81所述的机器视觉系统,其中所述摄像头为彩色摄像头且所述处理器适于使用在从所述摄像头接收的所述图像数据中的信息确定所述样本的所述颜色并自动调整所述光的所述颜色。
85.一种确定已从冷冻样本取出冷冻样本芯的一个或多个位置的方法,所述冷冻样本中的每一个均被包含在各容器中,所述方法包括:
(a)操作机器人系统以相对于所述容器中的第一个移动摄像头,从而使所述摄像头指向在所述第一容器中的所述冷冻样本;
(b)用有颜色的灯照亮所述冷冻样本,选择所述灯的所述颜色以匹配所述冷冻样本的颜色;
(c)使用所述摄像头撷取所照亮的冷冻样本的图像;
(d)评估在所撷取的图像中的对比度并处理所述图像以识别在所撷取的图像中的一个或多个候选孔并确定所述候选孔是否可能是所述冷冻样本中的伪像或真正的孔;
(e)操作机器人系统以相对于所述容器中的第二个移动所述摄像头,从而使所述摄像头指向在所述第二容器中的所述冷冻样本;以及
(f)对所述第二容器中的所述冷冻样本重复步骤(b)-(d)。
86.根据权利要求85所述的方法,其中步骤(b)包括用红光照亮所述冷冻样本。
87.根据权利要求85所述的方法,其中所述步骤(b)包括用绿光照亮所述冷冻样本。
88.根据权利要求85所述的方法,其中所述冷冻样本具有选自由黄色、橙色和红色所组成的群组的颜色且步骤(b)包括用红光照亮所述冷冻样本。
89.一种机器视觉系统,其用于与从每一个均被包含在容器中的冷冻样本取出多个冷冻样本芯的机器人系统一起使用,所述机器视觉系统包括:
用于支撑所述容器的平台,所述平台具有当从所述容器中含有的冷冻样本提取出冷冻样本芯的同时用于容纳所述容器中的一个的站;
用于当在所述平台上的所述站上容纳所述容器的同时撷取所述容器的图像的摄像头;
灯,其进行定位以从提供背面照明和侧面照明中的至少一个的位置照亮所述容器。
90.根据权利要求90所述的机器视觉系统,其还包括处理器,其适于从所述摄像头接收指示通过所述摄像头形成的图像的图像数据并通过评估有多少光通过如在所述图像中指出的各位置上的所述容器确定已从所述样本取出冷冻样本芯的位置。
91.根据权利要求89-90中任一项所述的机器视觉系统,其中所述灯进行定位以从提供背面照明的位置照亮所述容器。
92.根据权利要求89-90中任一项所述的机器视觉系统,其中所述灯进行定位以从提供侧面照明的位置照亮所述容器。
93.根据权利要求89-92中任一项所述的机器视觉系统,其中所述灯包括光纤电缆。
94.根据权利要求89-93中任一项所述的机器视觉系统,其还包括第二个灯,所述第二个灯进行定位以提供对所述容器的亮场照明。
95.根据权利要求94所述的机器视觉系统,其中所述第二个灯包括在与所述摄像头的轴线上的环形灯。
96.一种确定已从冷冻样本取出冷冻样本芯的一个或多个位置的方法,所述冷冻样本中的每一个均被包含在各容器中,所述方法包括:
(a)操作机器人系统以当从所述容器中含有的所述冷冻样本提取出冷冻样本芯的同时在用于容纳所述容器的站的平台上定位所述容器中的一个;
(b)使用灯以提供用于所述容器的背面照明和侧面照明中的至少一个;
(c)在所述冷冻样本被所述灯照亮的同时使用摄像头撷取所述冷冻样本的图像;
(d)评估在所撷取的图像中的对比度并处理所述图像以识别在所撷取的图像中的一个或多个候选孔。
97.一种机器视觉系统,其用于与适于从每一个均被包含在容器中的冷冻样本取出多个冷冻样本芯的机器人系统一起使用,所述机器视觉系统包括:
摄像头,其用于在从其中含有的所述冷冻样本提取出冷冻样本芯的同时当所述容器在用于容纳所述容器的站上被平台支撑时撷取所述容器的图像;
红灯,其用于当其位于所述站的所述平台上用基本上为单色的红光从上面照亮所述容器;以及
处理器,其适于从所述摄像头接收指示通过所述摄像头撷取的所述图像的图像数据并通过评估所述图像中的对比度确定已从在所述容器中含有的所述样本取出冷冻样本芯的一个或多个位置。
98.一种确定已从冷冻样本取出冷冻样本芯的一个或多个位置的方法,所述冷冻样本中的每一个均被包含在各容器中,所述方法包括:
(a)操作机器人系统以当从所述容器中含有的所述冷冻样本提取出冷冻样本芯的同时在用于容纳所述容器的站的平台上定位所述容器中的一个;
(b)当其位于所述站的所述平台上用基本上为单色的红光从上面照亮所述容器;
(c)在所述冷冻样本被所述红光照亮的同时使用摄像头撷取所述冷冻样本的图像;
(d)评估在所撷取的图像中的对比度并处理所述图像以识别在所撷取的图像中的一个或多个候选孔。
99.一种机器视觉系统,其用于与从每一个均被包含在各容器中的冷冻样本取出多个冷冻样本芯的机器人系统一起使用,所述机器视觉系统包括:
用于支撑所述容器中的一个或多个的平台,所述平台具有用于容纳所述容器中的至少一个的站;
用于在所述容器被容纳在所述站上的同时撷取所述容器的图像的摄像头;
处理器,其被配置成从所述摄像头接收指示所述容器的所述图像的图像数据并通过进行下列操作确定已从在所述容器中含有的冷冻样本取出冷冻样本芯的一个或多个位置:(a)评估所述图像中的对比度以识别一个或多个候选孔并识别所述容器的边缘;(b)使用有关所述边缘相对于所述候选孔的所述位置的信息以确定所述一个或多个候选物是否可能是伪像而不是所述样本中的真正的孔。
100.一种确定已从冷冻样本取出冷冻样本芯的一个或多个位置的方法,所述冷冻样本中的每一个均被包含在各容器中,所述方法包括:
(a)操作机器人系统以当从所述容器中含有的所述冷冻样本提取出冷冻样本芯的同时在用于容纳所述容器的站的平台上定位所述容器中的一个;
(b)使用摄像头撷取所述冷冻样本的图像;
(c)评估在所撷取的图像中的对比度以识别一个或多个候选孔并识别所述容器的边缘;以及
(d)使用有关所述边缘相对于所述候选孔的所述位置的信息以确定所述一个或多个候选物是否可能是伪像而不是所述样本中的真正的孔。
101.一种机器视觉系统,其用于与从每一个均被包含在各容器中的冷冻样本取出多个冷冻样本芯的机器人系统一起使用,所述机器视觉系统包括:
用于支撑所述容器中的一个或多个的平台,所述平台具有用于容纳所述容器中的至少一个的站;
用于在所述容器被容纳在所述站上的同时撷取所述容器的图像的摄像头;
填充水平检测系统,其适于检测所述冷冻样本的表面的位置;以及
处理器,其被配置成从所述填充水平检测系统接收信号并使用所述信号确定在何处定位所述摄像头以获得所述冷冻样本的图像。
102.一种确定已从冷冻样本取出冷冻样本芯的一个或多个位置的方法,所述冷冻样本中的每一个均被包含在各容器中,所述方法包括:
使用填充水平检测系统以确定与所述容器底部相间隔的所述冷冻样本的表面的位置;
使用源自所述填充水平检测系统的信息以确定在何处定位摄像头,从而使摄像头具有相对于所述样本表面的预定位置并将所述摄像头移至所述位置;
从所述位置撷取所述容器中的所述冷冻样本的图像;以及
使用所述图像识别所述样本中的一个或多个孔的位置。
103.一种机器视觉系统,其用于与从每一个均被包含在各容器中的冷冻样本取出多个冷冻样本芯的机器人系统一起使用,所述机器视觉系统包括:
用于支撑所述容器中的一个或多个的平台,所述平台具有用于容纳所述容器中的至少一个的站;
用于从所述冷冻样本取出冷冻样本芯的取芯探头;
用于在所述容器被容纳在所述站上的同时撷取所述容器的图像的摄像头;以及
处理器,其被配置成从所述摄像头接收指示所述容器的所述图像的图像数据并确定已从所述容器中的冷冻样本取出冷冻样本芯的一个或多个位置,所述处理器被配置成将所述取芯探头移到至少一个孔的开放端,从而清除所述孔的所述开放端上的碎屑。
104.一种从被包含在容器中的冷冻样本取出冷冻样本芯的方法,所述方法包括:
将所述容器定位在用于在平台上容纳容器的站处;
在所述容器被容纳在所述站上的同时撷取所述容器的图像;
确定已从在所述容器中含有的所述冷冻样本取出冷冻样本芯的一个或多个位置;
从所述尚未取出冷冻样本芯的位置上的所述冷冻样本取出所述冷冻样本芯,如在所述确定步骤中所确定的;以及
在从所述冷冻样本取出所述冷冻样本芯后,将取芯探头插入已取出冷冻样本芯的所述一个或多个位置以清除已取出冷冻样本芯的所述一个或多个位置上的碎屑。
105.一种机器视觉系统,其用于与适于从每一个均被包含在容器中的冷冻样本取出多个冷冻样本芯的机器人系统一起使用,所述机器视觉系统包括:
用于在所述容器被平台支撑的同时撷取容器的图像的摄像头;
用于照亮在所述平台上的所述容器的灯,其中通过所述灯发出的所述光能中的大部分是选自由波长在620nm至750nm范围中的红光和波长在495nm至570nm范围中的绿光所组成的群组;以及
处理器,其适于从所述摄像头接收指示通过所述摄像头撷取的所述图像的图像数据并通过评估所述图像确定已从在所述容器中含有的所述样本取出冷冻样本芯的一个或多个位置。
106.根据权利要求105所述的机器视觉系统,其中所述灯发出红光。
107.根据权利要求105所述的机器视觉系统,其中所述灯发出绿光。
108.根据权利要求105-107中任一项所述的机器视觉系统,其中所述灯为环形灯,其包括以环形图案布置的多个光源且所述摄像头具有延伸通过所述环形图案的中心部分的光轴。
109.根据权利要求105-108中任一项所述的机器视觉系统,其中所述处理器适于通过评估在所述图像中的对比度确定已从所述冷冻样本取出冷冻样本芯的位置。
110.根据权利要求105-109中任一项所述的机器视觉系统,其中所述处理器适于通过评估有多少光通过如在所述图像中指出的各位置上的所述容器确定已从所述冷冻样本取出冷冻样本芯的位置。
111.根据权利要求105-110中任一项所述的机器视觉系统,其中所述灯进行定位以从提供直接照明和间接照明中的至少一个的位置照亮所述容器。
112.根据权利要求105-111中任一项所述的机器视觉系统,其中所述摄像头被配置成当所述容器被所述平台支撑的同时撷取所述容器的黑白图像且所述处理器适于从所述摄像头接收指示通过所述摄像头形成的图像的灰度图像数据并通过评估所述图像中的对比度确定已从所述样本取出冷冻样本芯的一个或多个位置。
113.根据权利要求112所述的机器视觉系统,其中所述摄像头被配置成撷取灰度图像。
114.与容器和在所述容器中含有的冷冻样本相组合的根据权利要求105-113中任一项所述的机器视觉系统,对所述摄像头进行定位以拍摄所述冷冻样本的图像,所述灯适于发出与所述冷冻样本的颜色相配的光。
115.一种确定已从冷冻样本取出冷冻样本芯的一个或多个位置的方法,所述冷冻样本中的每一个均被包含在各容器中,所述方法包括:
(a)操作机器人系统以相对于所述容器中的第一个移动摄像头,从而使所述摄像头指向在所述第一容器中的所述冷冻样本;
(b)使用灯照亮所述冷冻样本,其中通过所述灯发出的所述光能中的大部分是选自由波长在620nm至750nm范围中的红光和波长在495nm至570nm范围中的绿光所组成的群组;
(c)使用所述摄像头撷取所照亮的冷冻样本的图像;
(d)使用所述图像以识别在所撷取的图像中的一个或多个候选孔并确定所述候选孔是否可能是所述冷冻样本中的伪像或真正的孔;
(e)操作机器人系统以相对于所述容器中的第二个移动所述摄像头,从而使所述摄像头指向在所述第二容器中的所述冷冻样本;以及
(f)对所述第二容器中的所述冷冻样本重复步骤(b)-(d)。
116.根据权利要求115所述的方法,其中步骤(b)包括用红光照亮所述冷冻样本。
117.根据权利要求15所述的方法,其中所述步骤(b)包括用绿光照亮所述冷冻样本。
118.根据权利要求115-117中任一项所述的方法,其中步骤(b)包括用具有与所述冷冻样本的所述颜色相配的颜色的光照亮所述冷冻样本。
119.根据权利要求115-118中任一项所述的方法,其中步骤(c)包括撷取所照亮的冷冻样本的灰度图像。
120.根据权利要求115-119中任一项所述的方法,其还包括用紫外和红外光中的至少一个照亮所述容器。
Applications Claiming Priority (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201261640662P | 2012-04-30 | 2012-04-30 | |
US61/640,662 | 2012-04-30 | ||
US13/489,234 | 2012-06-05 | ||
US13/489,234 US20130286192A1 (en) | 2012-04-30 | 2012-06-05 | Machine Vision System for Frozen Aliquotter for Biological Samples |
US13/844,156 | 2013-03-15 | ||
US13/844,156 US20140267713A1 (en) | 2013-03-15 | 2013-03-15 | Machine Vision System for Frozen Aliquotter for Biological Samples |
PCT/US2013/038880 WO2013166022A2 (en) | 2012-04-30 | 2013-04-30 | Machine vision system for frozen aliquotter for biological samples |
Publications (1)
Publication Number | Publication Date |
---|---|
CN104428678A true CN104428678A (zh) | 2015-03-18 |
Family
ID=49515022
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201380022571.9A Pending CN104428678A (zh) | 2012-04-30 | 2013-04-30 | 用于生物样本的冷冻等分器的机器视觉系统 |
Country Status (7)
Country | Link |
---|---|
EP (1) | EP2845013A2 (zh) |
JP (1) | JP6108572B2 (zh) |
CN (1) | CN104428678A (zh) |
AU (1) | AU2013256489A1 (zh) |
BR (1) | BR112014026936A2 (zh) |
CA (1) | CA2870505A1 (zh) |
WO (1) | WO2013166022A2 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022218394A1 (zh) * | 2021-04-16 | 2022-10-20 | 中国科学院上海药物研究所 | 一种冷冻电镜自动选孔方法及装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060015262A1 (en) * | 2003-09-08 | 2006-01-19 | Bioimagene, Inc., San Mateo, Ca | Method and system for automated quantitation of tissue micro-array (TMA) digital image analysis |
US20060199169A1 (en) * | 2005-03-02 | 2006-09-07 | Exb Technology, Inc. | Tissue punch and tissue sample labeling methods and devices for microarray preparation, archiving and documentation |
US20090019877A1 (en) * | 2006-01-13 | 2009-01-22 | Dale Larson | Systems, Methods and Devices for Frozen Sample Distribution |
WO2011100261A1 (en) * | 2010-02-09 | 2011-08-18 | International Genomics Consortium | System and method for laser dissection |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040085443A1 (en) * | 2000-12-13 | 2004-05-06 | Kallioniemi Olli P | Method and system for processing regions of interest for objects comprising biological material |
ES2371081T3 (es) * | 2004-06-18 | 2011-12-27 | Covance, Inc. | Micromatrices de tejido congelado. |
US9533418B2 (en) * | 2009-05-29 | 2017-01-03 | Cognex Corporation | Methods and apparatus for practical 3D vision system |
-
2013
- 2013-04-30 EP EP13724056.0A patent/EP2845013A2/en not_active Withdrawn
- 2013-04-30 CN CN201380022571.9A patent/CN104428678A/zh active Pending
- 2013-04-30 WO PCT/US2013/038880 patent/WO2013166022A2/en active Application Filing
- 2013-04-30 AU AU2013256489A patent/AU2013256489A1/en not_active Abandoned
- 2013-04-30 CA CA2870505A patent/CA2870505A1/en not_active Abandoned
- 2013-04-30 BR BR112014026936A patent/BR112014026936A2/pt not_active IP Right Cessation
- 2013-04-30 JP JP2015510387A patent/JP6108572B2/ja not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060015262A1 (en) * | 2003-09-08 | 2006-01-19 | Bioimagene, Inc., San Mateo, Ca | Method and system for automated quantitation of tissue micro-array (TMA) digital image analysis |
US20060199169A1 (en) * | 2005-03-02 | 2006-09-07 | Exb Technology, Inc. | Tissue punch and tissue sample labeling methods and devices for microarray preparation, archiving and documentation |
US20090019877A1 (en) * | 2006-01-13 | 2009-01-22 | Dale Larson | Systems, Methods and Devices for Frozen Sample Distribution |
WO2011100261A1 (en) * | 2010-02-09 | 2011-08-18 | International Genomics Consortium | System and method for laser dissection |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022218394A1 (zh) * | 2021-04-16 | 2022-10-20 | 中国科学院上海药物研究所 | 一种冷冻电镜自动选孔方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CA2870505A1 (en) | 2013-11-07 |
JP6108572B2 (ja) | 2017-04-05 |
JP2015516077A (ja) | 2015-06-04 |
EP2845013A2 (en) | 2015-03-11 |
BR112014026936A2 (pt) | 2017-06-27 |
AU2013256489A1 (en) | 2014-10-30 |
WO2013166022A3 (en) | 2014-03-13 |
WO2013166022A2 (en) | 2013-11-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11199532B2 (en) | System for imaging captured cells | |
CN105717115B (zh) | 基于光学成像技术的高通量植物表型分析装置和方法 | |
EP2497823B1 (en) | Device for harvesting bacterial colony and method therefor | |
EP2453005B1 (en) | Cell picking-assisting device | |
JP6007182B2 (ja) | 胚、卵母細胞および幹細胞の自動撮像および評価のための装置、手段およびシステム | |
JP4953092B2 (ja) | 細胞観察における生細胞の判別手法、細胞観察の画像処理プログラム及び画像処理装置 | |
EP2973229B1 (en) | Flow cell alignment methods and systems | |
EP1783204A2 (en) | Biological sample handling and imaging | |
JP5443950B2 (ja) | 細菌コロニー釣菌装置及びその方法 | |
CN101008590A (zh) | 自动切片设备 | |
US20130286192A1 (en) | Machine Vision System for Frozen Aliquotter for Biological Samples | |
JP2016513459A5 (zh) | ||
CN111279199B (zh) | 用于禁用转盘旋转的安全光幕 | |
JP2011017964A (ja) | 培養観察装置 | |
US20140267713A1 (en) | Machine Vision System for Frozen Aliquotter for Biological Samples | |
CN104428678A (zh) | 用于生物样本的冷冻等分器的机器视觉系统 | |
JPWO2018051804A1 (ja) | Pcr用チューブ、rfid検体管理システム、および、rfid検体管理方法 | |
US10284704B2 (en) | System and method for connecting mobile devices with machine vision systems | |
CN109945842B (zh) | 成捆圆钢端面标签漏贴检测及贴标误差分析方法 | |
Miyatake et al. | Development of a fully automated macromolecular crystallization/observation robotic system, HTS-80 | |
CN110327019A (zh) | 术中组织契伦科夫荧光成像系统及其图像处理方法 | |
JP2004323336A (ja) | 蛋白質結晶観察装置 | |
CN107523494A (zh) | 一种流体系统及具有该流体系统的核酸测序系统 | |
JP2011127972A (ja) | 観察装置及び培養観察装置 | |
WO2007115297A2 (en) | Assessing oocyte quality using birefringence imaging |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20150318 |