CN111699243A

CN111699243A - 摄像系统以及生物对象物移动装置

Info

Publication number: CN111699243A
Application number: CN201880088791.4A
Authority: CN
Inventors: 坂本大
Original assignee: Yamaha Motor Co Ltd
Current assignee: Yamaha Motor Co Ltd
Priority date: 2018-02-15
Filing date: 2018-12-17
Publication date: 2020-09-22
Also published as: JPWO2019159524A1; WO2019159524A1; JP6947905B2; EP3739036B1; US20200410681A1; EP3739036A1; EP3739036A4

Abstract

一种摄像系统，包括：可以执行对进行移动作业之前的细胞(C)进行摄像的第一摄像、对进行了移动作业后的细胞进行摄像的第二摄像的摄像单元(5)；基于选择基准判断是否从在所述第一摄像获取的图像选择细胞的第一判断和判断是否从在所述第二摄像获取的图像选择细胞的第二判断的判断部(781)；存储与所述选择基准有关的数据的存储部(75)；以及，在所述第一判断和所述第二判断为不同的判断结果的情况下，以使在之后的判断中对于该细胞的所述第一判断和所述第二判断达到一致的方式，更新存储在存储部(75)中的所述选择基准数据的校正部(782)。

Description

摄像系统以及生物对象物移动装置

技术领域

本发明涉及一种具备对例如细胞或者细胞块等生物对象物进行摄像的摄像装置的摄像系统以及使用该系统的生物对象物移动装置。

背景技术

例如，在医疗或者生物学研究领域有时需要进行用于分选细胞或者细胞块(生物对象物的例子，简称为“细胞”)的摄像。例如，用摄像装置对被收容在移动源的第一容器中的细胞进行摄像，基于得到的图像分选所期望的细胞，用尖端抽吸被分选出的细胞并将其移载到移动目的地即第二容器(例如，专利文献1)。

作为在上述第一容器侧执行的细胞分选的具体例子，可以例举有依赖于操作人员的手动选择的方法、预先设定与细胞的尺寸和形状等有关的选择基准值的方法等。前者是操作人员观察细胞的摄像图像，基于操作人员的经验进行好坏判断的依赖于个人的技能的方法。后者是对细胞的摄像图像进行图像处理等来求出与该细胞的尺寸和形状有关的参数，并基于该参数是否满足上述选择基准值自动进行好坏判断的方法。

如上所述，如果在移动源即第一容器侧选择了所期望的细胞，并在第二容器侧再次观察被移动到移动目的地即第二容器的细胞，有可能产生该细胞并非是所预期的细胞的情况。即，如果在介入了移动细胞这个“作业”之后再次观察细胞，存在该细胞不是实际上预期的细胞的情况。同样的情况，在介入各种作业的情况下也可能会发生。为此，存在在第二容器侧进行检查或者试验等作业效率降低的问题。

以往技术文献

专利文献

专利文献1:国际申请公开公报第2015/087371号

发明内容

发明所要解决的问题

本发明的目的在于提供一种能够对操作人员所期望的生物对象物进行准确的选择的摄像系统以及使用该系统的生物对象物移动装置。

本发明的一个方面涉及的摄像系统，包括：可以执行对进行规定的作业之前的生物对象物进行摄像的第一摄像、对进行了所述作业后的所述生物对象物进行摄像的第二摄像的摄像装置；基于规定的选择基准判断是否从在所述第一摄像获取的图像选择所述生物对象物的第一判断和判断是否从在所述第二摄像获取的图像选择所述生物对象物的第二判断的判断部；存储与所述选择基准有关的数据的存储部；以及，在所述第一判断和所述第二判断为不同的判断结果的情况下，以使在之后的判断中对于该生物对象物的所述第一判断和所述第二判断达到一致的方式，更新存储在所述存储部中的所述数据的校正部。

本发明的另一方面涉及的生物对象物移动装置，包括：上述的摄像系统；和，从收容多个生物对象物的第一容器拾取被选择作为移动对象的生物对象物，将向第二容器移动的移动作业作为所述规定的作业来执行的头装置。

附图说明

图1是概要性地表示适用于本发明的实施方式涉及的摄像系统的细胞移动装置的构成例的示意图。

图2(A)是具备在上述细胞移动装置所使用的分选容器的盘的俯视图，图2(B)是沿着图2(A)的IIB－IIB线的剖视图。

图3(A)是在上述细胞移动装置所使用的微孔板的立体图，图3(B)是图3(A)的纵向剖视图。

图4是用于说明本实施方式中的细胞选择的反馈的概念的示意图。

图5是第一实施方式表示作业为细胞的移动的情况下细胞选择的反馈例的示意图。

图6是第二实施方式表示作业为由操作人员进行细胞的选择的情况下细胞选择的反馈例的示意图。

图7是第三实施方式表示作业为摄像条件的变更的情况下的细胞选择的反馈例的示意图。

图8是第三实施方式的变形例子表示作业为摄像条件的变更的情况下细胞选择的反馈例的示意图。

图9是第四实施方式表示作业为试剂的分注的情况下细胞选择的反馈例的示意图。

图10是第五实施方式，是用于说明作业为等待试验时间的经过的情况下细胞选择的反馈例的示意图。

图11是本发明的实施方式涉及的细胞移动装置的方框图。

图12是使用摄像系统的细胞移动动作的流程图。

具体实施方式

以下，基于附图对本发明的实施方式进行详细的说明。本发明涉及的摄像系统可以将涉及多个方面的生物对象物作为摄像对象。在本发明，作为摄像对象的生物对象物可以例举源自生物体的细胞作为代表。这里的源自生物体的细胞例如是造血系细胞或单体化的细胞等的单细胞(细胞)、Histoculture或CTOS等的组织碎片、球体和类器官等的细胞凝集块、斑马鱼、线虫、受精卵等的单体、2D或3D的菌落等。此外，作为生物对象物也可以例举组织、微生物、小尺寸的种等。在以下说明的实施方式中，以生物对象物为细胞或者数个至数十万个细胞凝集而成的细胞凝集块(以下统称为“细胞C”)为例。

(细胞移动装置的整体构成)

图1是概要性地表示适用于本发明的实施方式涉及的摄像系统的细胞移动装置S的整体构成的示意图。在此，例示了使细胞C在两个容器(盘2和微孔板4)之间移动的细胞移动装置S。

细胞移动装置S包含具有作为水平的载置面的上面的透光性的基座1、配置在基座1的下方侧的相机单元5(摄像装置)、配置在基座1的上方侧的头单元6(头装置)。在基座1的第一载置位置P1载置有具备盘2(第一容器)的分选容器11，在第二载置位置P2载置有微孔板4(第二容器)。头单元6被安装有进行细胞C的抽吸以及吐出的尖端12，具备沿着Z方向(上下方向)可移动的头61。相机单元5以及头单元6可在X方向(水平方向)和与图1的纸面垂直的方向(Y方向)移动。盘2以及微孔板4，位于头单元6的可移动范围内，被载置在基座1的上面。

细胞移动装置S是用多个尖端12中的每一个尖端分别从保持多个细胞C的分选容器11的盘2抽吸细胞C，并将其移动到微孔板4，从多个尖端12同时向该微孔板4的孔(well)41吐出细胞C的装置。在抽吸细胞C之前，通过相机单元5摄像(第一摄像)被保持在盘2中的细胞C，进行选择作为向微孔板4的移动对象的优质细胞C的选择作业。在移动细胞C之后，通过相机单元5摄像(第二摄像)被收容在微孔板4中的细胞C，进行包含验证上述选择作业的妥当性为目的的细胞C的观察。

以下，对细胞移动装置S的各个部分进行说明。基座1是具有规定的刚性且其一部分或者全部由透光性材料形成的长方形的平板。基座1优选是玻璃板。通过用诸如玻璃板这样的透光性材料形成基座1，可以使配置在基座1的下方的相机单元5通过该基座1对配置在基座1的上面的分选容器11以及盘2和微孔板4进行摄像。

分选容器11是作为细胞C的移动源的容器，储留培养基L，以使细胞分选用的盘2浸泡在培养基L中的状态来保持盘2。盘2是保持细胞C的平面，在其上面具有多个可以分别收容并保持细胞C的保持凹部3。培养基L，只要不会使细胞C的性状劣化就没有特别地限定，可以根据细胞C的种类适当地进行选择。

分选容器11在其上面侧具备矩形的上部开口11H。上部开口11H是用于投入细胞C以及拾取被分选的细胞C的开口。盘2被配置在上部开口11H的下方。分选容器11以及盘2采用透光性树脂材料或者玻璃制作而成。这是为了让配置在分选容器11的下方的相机单元5可以观察被盘2担载的细胞C。

在分选容器11从图省略的分注尖端注入被分散在细胞培养液的状态的多个细胞C。上述分注尖端从储留包含大量细胞C的细胞培养液的容器抽吸细胞C和细胞培养液，并将它们保持在该分注尖端内。然后，上述分注尖端被移动到分选容器11的上空位置，通过上部开口11H接触盘2的上面。然后，在上述分注尖端的前端开口被浸泡在分选容器11的培养基L中的状态下，向盘2的上面吐出被保持在上述分注尖端内的细胞C和细胞培养液。

微孔板4是作为细胞C的移动目的地的容器，具有接纳被吐出的细胞C的多个孔41。孔41是在微孔板4的上面开口的有底的孔。在一个孔41中收容有培养基L和必要个数(通常为一个)的细胞C。微孔板4也采用透光性的树脂材料或者玻璃制作而成。这是为了使配置在微孔板4下方的相机单元5可以观察被孔41担载的细胞C。

相机单元5，从分选容器11或者微孔板4的下面侧摄像被分选容器11或者微孔板4保持的细胞C的图像，具备透镜部51以及相机本体52。透镜部51是在光学显微镜中使用的物镜，包含使规定倍率的光学图像成像的透镜群和收容该透镜群的透镜镜筒。相机本体52具备诸如CCD图像传感器这样的摄像元件。透镜部51使摄像对象物的光学图像成像在上述摄像元件的受光面上。相机单元5，沿着与基座1平行地在左右方向延伸的导轨5G，在基座1的下方可在X方向以及Y方向移动。而且，透镜部51为了聚焦动作可在Z方向移动。

头单元6包含多根头61和被安装有该多根头61的头主体62，其中，多根头61从作为收容多个细胞C的第一容器的盘2拾取作为移动对象而选择的细胞C，执行使细胞C移动到作为第二容器的微孔板4的移动作业(规定的作业)。在各个头61的前端安装有进行细胞C的抽吸(拾取)以及吐出的尖端12。头主体62沿着导轨6G可在+X以及－X方向移动，在+Z以及－Z方向可升降地保持头61。另外，头主体62也可以在Y方向移动。

(盘以及微孔板的详细情况)

首先，对作为移动源的容器的盘2的详细结构进行说明。图2A是盘2的俯视图，图2B是沿着图2A的IIB－IIB线的剖视图。盘2具备盘主体20和形成在该盘主体20的多个保持凹部3。盘主体20由具有规定的厚度的平板状的部件构成，具有上面21和下面22。保持凹部3在上面21侧具有成为细胞C的接收开口的开口部31。盘2被浸泡在分选容器11内的培养基L中。具体而言，盘主体20以其上面21被浸泡在分选容器11内的培养基L中、其下面22相对于分选容器11的底板隔开间隔的状态被保持在分选容器11内(参照图1)。

各保持凹部3包含开口部31、底部32、筒状的壁面33、孔部34以及边界部35。在本实施方式，示意了在俯视时以矩阵状排列的正方形的保持凹部3的例子。如图2B所示，多个保持凹部3以规定的凹部排列间距被矩阵排列。

开口部31是设置在上面21的正方形的开口，具有允许分选用尖端12的前端开口部t进入的尺寸。底部32是盘主体20的内部位于下面22的附近。底部32具有朝着中心(上述正方形的中心)逐渐向下倾斜的倾斜面。筒状的壁面33是从开口部31朝向底部32垂直下方延伸的壁面。孔部34是垂直地贯通于底部32的上述中心与下面22之间的贯通孔。边界部35，位于上面21，是构成各保持凹部3的开口边缘的部分，是用于划分保持凹部3彼此的棱线。

各保持凹部3的底部32以及筒状的壁面33划定了收容细胞C的收容空间3H。收容空间3H被计划成一般收容一个细胞C。孔部34是为了使所期望的尺寸以外的小细胞或者夹杂物从收容空间3H逃出而设置的。因此，孔部34的尺寸被选择成不能使所期望的尺寸的细胞C通过但可使所期望的尺寸以外的小细胞或者夹杂物通过的尺寸。由此，作为分选对象的细胞C被困在保持凹部3中，而夹杂物等从孔部34掉到分选容器11的底板上。

其次，对作为移动目的地的容器的微孔板4进行说明。图3A是微孔板4的立体图，图3B是微孔板4的纵向剖视图。微孔板4包含板主体40和以矩阵状排列在该板主体40上的多个孔41。因为在吐出细胞C时尖端12的前端开口部t进入孔41，所以各孔41具有能充分地允许尖端12进入的开口直径。

市场上销售的微孔板具有基准尺寸。基准微孔板具备规定的纵×横尺寸(纵向85.48mm×横向126mm)，具有规定数量的孔。一般情况下，孔数是24×16个(384孔)，这些孔以规定的间距被排列成矩阵。图3B表示384孔的微孔板4的剖视图。如图所示，在微孔板4的长边方向上24个孔41以均等的孔间距而排列(在短边方向上为16个)。

(细胞选择作业的概要)

图4是用于说明本实施方式的细胞选择作业的概要(步骤(A)至(C))的示意图。首先，在步骤(A)，相机单元5摄像(第一摄像)盘2，获取被该盘2的保持凹部3担载的细胞C的第一图像。在该第一图像，捕获了处于进行规定的作业、在本实施方式为细胞C的移动作业之前的状态的细胞C。然后，根据第一图像，基于规定的选择基准，执行判断是否将在该图像被捕获到的细胞C之中的某一个细胞C作为移动对象而选择的第一判断。

上述选择基准例如是执行细胞选择作业的各操作人员基于经验等内在地决定的手动选择基准、或者、是与预先决定的细胞的尺寸或形状等有关的选择基准的数据。在依赖于后者的情况下，通过图像处理求出在上述第一图像被捕获到的细胞C的特征量。在这种情况下，上述第一判断变成判断所求出的特征量是否满足上述选择基准的数据。

在步骤(B)，执行对细胞C的作业。在本实施方式，是使用尖端12从盘2的保持凹部3分别拾取在上述第一判断作为移动对象而选择的细胞C，并将其移动到微孔板4的一个孔41的作业。另外，对细胞C的作业，并不局限于上述移动作业。例如，除了将操作人员对细胞的选择作为上述作业(后述的第二实施方式)之外，还可以例举如变更相机单元5对细胞C的摄像条件的作业(第三实施方式)、对细胞C的试剂等的分注作业(第四实施方式)、等待对细胞C的试验时间的经过的作业(第五实施方式)等。

在步骤(C)，相机单元5摄像(第二摄像)通过步骤(B)的移动作业细胞C被移动的微孔板4，获取被孔41保持的细胞C的第二图像。在第二图像，处于进行了规定的作业后的状态的细胞C被捕获。在该第二图像，执行确认被移动到孔41的各细胞C的妥当性的第二判断。该第二判断例如是判断是否选择在该图像被捕获的细胞C之中的某一个细胞C作为下一阶段对细胞C的作业，例如，试剂的添加或检查、观察等作业的对象。

在上述第一判断以及上述第二判断的两个阶段进行对细胞C的选择判断主要基于以下的理由。首先，在第一、第二判断之间所执行的作业即移动作业期间有可能发生细胞C的变形、变质、崩溃等情况。例如，易变形性的细胞C在被尖端12抽吸之际会变形，看起来像一个细胞C的细胞有可能被分解为多个细胞。

其次，在上述第一判断有可能进行了错误的判断。上述第一判断基于被保持凹部3担载的细胞C的图像来进行。即，基于通过分选容器11的底面以及保持凹部3的底部32所获取的显示在上述第一图像中的细胞C的形状、色调等的特征量进行上述第一判断。为此，细胞C的透射光学图像中有可能存在误差因素的介入，而且，能观察到的是细胞C的下侧半面。因此，如果基于作业后获取的第二图像重新观察该细胞C，有可能发现原来是不良品的细胞C。而且，也存在用与上述第一摄像不同的摄像条件执行上述第二摄像才能识别出不良品的细胞C的情况。除此之外，也存在通过在对细胞C实施某种处理、放置一段时间的作业之后获取上述第二图像又判别为是不良品的细胞C的情况。由于这些原因，有希望执行上述第二判断的需求。

在步骤(C)的上述第二判断，在出现了与上述第一判断不同的判断结果的情况下，该不一致被反馈到下一次步骤(A)的第一判断。具体而言，如果产生了在第一判断、第二判断做出了不同的判断的不一致细胞C(error)，例如根据上述第二图像求出该细胞C(error)的特征量。然后，在以后的判断处理中，参照细胞C(error)的特征量更新依赖于上述第一判断的选择基准数据，从而使关于细胞C(error)的上述第一判断和上述第二判断达到一致。通过重复这样的更新(学习)，在上述第二判断被判断为“选择”的细胞C在上述第一判断也被选择，上述第一判断和上述第二判断逐渐趋于一致。最终，仅通过上述第一判断就可以选择真正需要的细胞C，可以省略上述第二判断从而实现高效率的作业。以下，具体地示意针对每个作业类别的细胞选择的反馈例。

(第一实施方式)

图5是第一实施方式，是概要性地表示在上述说明的作业为细胞的移动的情况下细胞选择的反馈的步骤(A)至(G)的示意图。在最初的步骤(A)，相机单元5执行摄像盘2的第一摄像。通过该第一摄像，获取被盘2的保持凹部3担载的细胞C的第一图像。相机单元5的透镜部51具备可以同时摄像多个细胞C的视角。在步骤(A)示意了通过一次摄像动作摄像3×3(m1至m3×n1至n3)的矩阵的保持凹部3的例子。在此，示意了在m1n3和m2n3的保持凹部3担载一个细胞C，在m2n2、m3n1以及m3n3的保持凹部3分别担载两个细胞C，在其它的保持凹部3没有担载细胞C的状态。

在下一个步骤(B)，基于在步骤(A)获取的第一图像，执行是否将某一个细胞C作为移动对象的第一判断。如上所述，在该第一判断中使用选择基准数据。通过解析第一图像提取被各保持凹部3保持的细胞C的特征量。上述特征量例如是根据细胞C的个数、面积、推测体积等求出的细胞C的量、细胞C的颜色或图案、使细胞C发出荧光时的光强度等。各保持凹部3的细胞C的解析结果被分别数值化。上述选择基准数据例如是决定所要选择的细胞C的范围的参数。在上述第一判断，判断各细胞C的特征量是否属于上述参数的范围，并将属于的细胞C作为移动对象来选择。在此，示意了m1n3的细胞C1和m2n3的细胞C2被作为移动对象而选择的例子(在图5中用黑色框强调。以下，相同。)

在下一个步骤(C)，作为规定的作业，被选择为移动对象的细胞C1、C2通过尖端12被移动到微孔板4的各孔41。一旦完成移动，如步骤D所示，相机单元5进行摄像保持被移动的细胞C1、C2的微孔板4的第二摄像。然后，基于在第二摄像获取的第二图像，执行是否选择细胞C1、C2用于后续作业的第二判断。该第二判断，可以通过操作人员的手动选择方式或者使用了特征量的自动选择方式的其中之一方式来执行。在此，示意了在第二判断选择(OK)细胞C1、不选择(NG)细胞C2的例子。另外，作为上述特征量，也可以使用被收容在孔41中的细胞C的个数、量、颜色、图案、光强度等信息。特别是细胞C的个数，包含0个细胞的情况在内，因为是最容易识别的信息，所以期望在上述特征量中最低限度地包含细胞C的个数。

在下一个步骤(E)，基于上述第二图像，提取在第二判断所选择的细胞C1或者没被选择的细胞C2的特征量。然后，如步骤(F)所示，所提取的特征量被反馈(更新)到在上述第一判断所使用的上述选择基准数据。由此，在基于以前的选择基准数据的第一判断中判断为“选择”细胞C2，而在之后的第一判断中判断为“不选择”细胞C2。

步骤(G)示意了反馈后的细胞选择的例子。即，在反馈后的第一判断选择细胞C1或者与其类似范畴的细胞C，但是不选择细胞C2或者与其类似范畴的细胞C。之后，前往步骤(C)将所选择的细胞C1移动到各孔41，同样地执行步骤(D)的第二判断。在这种情况下，因为只有细胞C1被移动到孔41，所以在第二判断选择这些细胞。即，在细胞C的选择过程中，不会发生第一判断以及第二判断的不一致。

(第二实施方式)

图6是第二实施方式，是表示在作业为操作人员对细胞进行选择的情况下细胞选择的反馈例的示意图。在此，以操作人员在盘2手动地再次选择在基于上述的选择基准数据的第一判断所选择的细胞C的妥当性为例。即，在第一实施方式说明的细胞C的移动作业之前，操作人员对基于选择基准数据而自动选择的细胞C执行兼第二判断的手动选择操作的作业。然后，将该手动选择操作所选择的细胞C的结果反馈到上述第一判断。

图6A表示对于通过第一摄像获取的第一图像基于在某个时刻的选择基准数据而进行的上述第一判断的结果。在此，示意了在上述第一判断选择了m1n3的细胞C1和m2n3的细胞C2的例子。这些细胞C1、C2作为应被选择的对象是否妥当的第二判断(再次选择操作)由操作人员通过手动选择操作来执行。另外，因为在第二判断参照的是盘2的图像，所以使用先前获取的第一图像。即，在本实施方式，没有重新获取第二图像，而是将上述第一图像作为第二图像来使用。本发明也包含这样的实施方式。

图6B是表示操作人员进行的上述第二判断的结果的示意图。在此，示意了在上述第二判断选择了细胞C1，但是没有选择细胞C2的例子。然后，与第一实施方式的步骤(E)、(F)相同，提取细胞C1或者细胞C2的特征量，将提取的特征量反馈到在上述第一判断所使用的上述选择基准数据。由此，在以后执行的第一判断中判断“不选择”细胞C2。

(第三实施方式)

图7是第三实施方式，是表示作业为摄像条件的变更的情况下细胞选择的反馈例的示意图。如上所述，本发明的实施方式基于细胞C的二维图像执行第一判断以及第二判断。在这种情况下，通过变更摄像条件，对于根据在同一摄像条件下的摄像图像难以进行好坏判断的细胞C，可以明确地进行好坏判断。鉴于这一点，在第三实施方式，以规定的摄像条件执行第一摄像并获取第一图像进行第一判断，其次，在第二摄像变更摄像条件获取第二图像并进行第二判断。即，第三实施方式的作业是变更在上述第一摄像的摄像条件的作业。然后，将基于该第二判断的细胞C的选择结果反馈到上述第一判断。

图7A是通过第一摄像获取的细胞C的第一图像，示意了通过明视野摄像获取的图像。即，是相机单元5在“明视野摄像”的条件下获取的图像。在该第一图像，基于该时刻的选择基准数据执行上述第一判断。然后，进行变更摄像条件的作业。作为可变更的摄像条件，例如是视角、摄像角度、倍率、曝光量、照明光的性质、光量、透镜种类等。当然，也包含变更所使用的相机单元5。

图7B是通过变更摄像条件之后的第二摄像获取的细胞C的第二图像，在此示意了通过荧光摄像获取的图像。即，是相机单元5在“荧光摄像”的条件下获取的图像。上述荧光摄像例如通过添加荧光剂、使用荧光性照明来执行。在该第二图像，例如进行操作人员通过手动选择操作选择某一个细胞C的第二判断。基于该第二判断的细胞C的选择结果被反馈到上述第一判断。

如果在荧光摄像的第二图像观察在明视野摄像的第一图像观察到的m1n3的细胞C1a以及m2n3的细胞C2a，会观察到不同的光学图像的细胞C1b、C2 b。在此，有时在明视野摄像被漏掉的细胞C的缺陷在荧光摄像下可以观察到。即，基于通过改变观察细胞C的方法而获取的图像，有时可以进行更高精度的选择判断。而且，该缺陷有时在明视野摄像的第一图像也作为特征量而表示。因此，通过将基于荧光摄像的第二图像的第二判断的结果反馈到上述选择基准数据，可以进行更准确的第一判断。

图8是表示第三实施方式的变形例的示意图。变更在该变形例的摄像条件的作业为变更相机单元5的透镜部51的摄像倍率的作业。图8A是通过第一摄像获取的细胞C的第一图像，例如是用倍率为四倍的透镜进行摄像的图像。另一方面，图8B是通过摄像倍率被变更后的第二摄像获取的细胞C的第二图像，例如是用倍率为十倍的透镜进行摄像的m2n3的细胞C2的图像。

基于图8B的被放大后的第二图像对细胞C2进行的是否选择的判断(第二判断)的精度比基于图8A的第一图像对细胞C2进行的是否选择的判断(第一判断)的精度高。例如，存在在四倍图像无法辨别的缺陷在十倍图像可以观察到的情况。因此，通过将基于高倍率化的第二图像的第二判断的结果反馈到上述选择基准数据，可以进行更准确的第一判断。

(第四实施方式)

图9是第四实施方式，表示作业为试剂的分注的情况下细胞选择的反馈例的示意图。对于所选择的细胞C，进行对试剂或成长剂等的反应性试验物质的感应试验的情况比较多。有时可能发生这样的情况，对于试验对象是作为合适的优质的细胞C而选择的然而却是不适合上述感应试验的细胞C。鉴于这种情况，在第四实施方式，在第一判断之后进行对所选择的细胞C添加反应性试验物质的作业，然后再对细胞C进行第二摄像获取第二图像并对该细胞C进行好坏判断(第二判断)。然后，将基于该第二判断的细胞C的选择结果反馈到上述第一判断。

图9(A)示意了对通过第一摄像获取的第一图像基于在某个时刻的选择基准数据而进行的上述第一判断的结果。在此，示意了在上述第一判断选择了m1n3的细胞C1和m2n3的细胞C2的例子。对于所选择的细胞C1、C2执行通过尖端12使其移动到微孔板4的各孔41的作业作为第一作业。到此为止与上述的第一实施方式相同。

接着，如图9(B)所示，对收容被移动的细胞C1、C2以及培养地L的孔41，分别使用尖端12执行分注试剂Q的作业作为第二作业。在完成试剂Q的分注并经过规定时间后，如图9(C)所示，让相机单元5进行摄像保持被移动的细胞C1、C2的微孔板4的第二摄像。由此，能够获取对试剂Q反应后的细胞C1、C2的图像作为上述第二图像。在该第二图像，例如，操作人员通过手动选择操作，进行选择细胞C1、C2是否为适合作为感应试验的对象的第二判断。在此，示意了在上述第二判断细胞C1被选择(OK)、细胞C2没有被选择(NG)的例子。

然后，如图9(D)所示，在上述第二判断对细胞C1、C2的选择结果被反馈到上述第一判断。即，提取细胞C1或者细胞C2的特征量，提取出的特征量被反馈(更新)在上述第一判断所使用的上述选择基准数据。由此，在以后实施的第一判断中会判断为“不选择”细胞C2。因此，在试剂Q的添加作业前进行的细胞C的选择也能与试剂Q的添加作业后的细胞C的选择结果一致。

(第五实施方式)

图10是第五实施方式，是用于说明作业为等待试验时间的经过的作业的情况下细胞选择的反馈例的示意图。细胞C，即使不特殊地添加试剂Q等，只要放置在培养基L中其形状、性质也会发生变化。例如为细胞C的成长、死亡、分裂、变色等。在图10中示意了随着时间的流逝细胞C的颜色逐渐变色的例子，即经过了5小时、24小时、36小时之后细胞C(t1)、C(t2)、C(t3)的状态。因此，对于细胞C只是等待预先规定的试验时间的经过也是对细胞C的“作业”。

第五实施方式，例如，可以通过将上述第四实施方式的图9(B)的试剂的分注作业替换为等待试验时间的经过的作业来实施。在这种情况下，图9(C)的第二摄像以及细胞分选(第二判断)在向孔41移动了细胞C1、C2起经过了规定的试验时间之后才执行。然后，第二判断的结果被反馈到第一判断。

(细胞移动装置的电气构成)

图11是表示细胞移动装置S的电气构成的方框图。细胞移动装置S具备控制头单元6的移动、头61以及尖端12的升降、细胞C的抽吸以及吐出动作、相机单元5的移动以及摄像动作等的控制部7。而且，细胞移动装置S具备作为使相机单元5水平移动的机构的相机轴驱动部53、作为使透镜部51上下移动的驱动源的伺服马达54、作为使头单元6水平移动的机构的头单元轴驱动部63、作为使头61升降的机构以及进行抽吸以及吐出动作的机构的头驱动部64。

相机轴驱动部53包含使相机单元5沿着导轨5G(图1)水平移动的驱动马达。相机轴驱动部53使相机单元5在盘2的正下方的第一载置位置P1与微孔板4的正下方的第二载置位置P2之间移动。

伺服马达54，通过正转或者反转，经由图省略的动力传递机构使透镜部51以规定的分辨率在上下方向移动。通过该移动，透镜部51的焦点位置对准被收容在盘2的保持凹部3或者微孔板4的孔41中的细胞C。另外，如图11中虚线所示，也可以不是透镜部51，而是通过伺服马达54使分选容器11或者微孔板4本身或者作为载置分选容器11和微孔板4的平台的基台1上下移动。

头单元轴驱动部63包含使头单元6(头主体62)沿着导轨6G移动的驱动马达。头驱动部64包含成为使头61相对于头主体62升降的动力源的马达和成为使尖端12的前端开口部t产生抽吸力以及吐出力的动力源的机构。

控制部7由微型计算机等构成，通过执行规定的程序从而作为轴控制部71、头控制部72、摄像控制部73、图像处理部74、存储部75以及主控制部78而发挥功能。此外，控制部7具备输入各种信息的输入部76、显示各种信息的显示部77。输入部76作为受理操作人员输入的有关细胞C的选择操作的终端而发挥功能。显示部77作为显示相机单元5摄像的上述第一图像以及第二图像等的监视器而发挥功能。

轴控制部71控制头单元轴驱动部63的动作。即，轴控制部71，通过控制头单元轴驱动部63，使头单元6向水平方向的规定的目标位置移动。头61(尖端12)在分选容器11和微孔板4之间的移动、相对于盘2的保持凹部3在垂直上空的定位以及相对于作为吐出对象的微孔板4的孔41在垂直上空的定位等，通过轴控制部71对头单元轴驱动部63的控制来实现。

头控制部72，通过控制头驱动部64，使作为控制对象的头61朝向规定的目标位置升降。而且，头控制部72，通过控制与作为控制对象的头61对应的抽吸机构，在规定的时刻在尖端12的前端开口部t产生抽吸力或者吐出力。

摄像控制部73，控制相机轴驱动部53，并控制使相机单元5沿着导轨5G移动的动作。而且，摄像控制部73控制通过相机单元5对盘2或者微孔板4的摄像动作，例如，曝光量和按快门时机等。并且，摄像控制部73，为了进行聚焦动作，向伺服马达54提供用于使透镜部51在上下方向以规定的间距(例如数十μm间距)移动的控制脉冲。

图像处理部74，对通过相机本体52获取的图像数据实施伴随边缘检测处理和特征量提取的图案识别处理等的图像处理。图像处理部74，基于细胞C被分注后的盘2的图像，执行在图像上识别在盘2的保持凹部3上的细胞C的存在及其个数的处理、获取各细胞C的XY坐标的处理、获取各个细胞C的外形轮廓、面积以及体积等的尺寸、形状、色调等的条件信息的处理等。同样，图像处理部74，基于细胞C被移动到孔41的图像，执行识别被收容在孔41中的细胞C的个数、合计面积以及合计体积等的量、荧光强度等的处理。

存储部75存储细胞移动装置S中的各种设定值和数据、程序等。此外，存储部75还存储与在上述第一判断中使用的细胞C的选择基准有关的数据。该选择基准数据，如上所述，根据在对细胞C执行了规定的作业后进行的第二判断的细胞选择结果而被更新。

主控制部78总体地控制相机单元5以及头单元6的动作。主控制部78，在载置有分选容器11的第一载置位置P1(图1)，通过轴控制部71、头控制部72以及摄像控制部73控制相机单元5以及头单元6，从而进行摄像被撒了细胞C的盘2、并进行将被选择为移动对象的细胞C抽吸到被安装在头61的尖端12的拾取、以及将这些细胞C移动到微孔板4。主控制部78，在进行这种总体控制之际，执行用于从盘2上自动选择作为移动对象的细胞C的第一判断和判断是否选择被移动到微孔板4后的细胞C的第二判断。

主控制部78具备用于上述第一、第二判断的判断部781、校正部782以及解析部783。判断部781执行从担载相机单元5摄像(第一摄像)的细胞C的盘2的第一图像选择作为向微孔板4的移动对象的细胞C的第一判断的处理。判断部781，参照存储在存储部75中的选择基准数据，并基于通过图像处理部74对上述第一图像的图像处理所获取的各细胞C的特征量是否与上述选择基准数据一致，来执行上述第一判断。

而且，判断部781执行从相机单元5摄像(第二摄像)的细胞C被移动作业后的微孔板4的第二图像选择在以后的作业中使用的细胞C的第二判断的处理。该第二判断可以依赖于被输入部76受理的操作人员对细胞C的选择操作。取而代之，也可以将上述第二判断用的选择基准数据存储到存储部75，判断部781进行自动判断。

校正部782，在对于某个细胞C上述第一判断和上述第二判断为不同的判断结果的情况下，以使在之后的判断中对于该细胞C上述第一判断和上述第二判断的判断结果成为一致的方式，进行更新存储在存储部75中的上述选择基准数据的处理。具体而言，校正部782将产生了不一致的细胞C的特征量反映到上述选择基准数据。即，在该细胞C在上述第二判断为“不选择”的情况下，以使该细胞C的特征量不被包含在上述选择基准数据中的方式，更新上述选择基准数据。另一方面，在第一判断为“不选择”的细胞C在上述第二判断为“选择”的情况下，相反地，以使该细胞C的特征量被包含在上述选择基准数据中的方式，更新上述选择基准数据。

解析部783，通过解析在上述第一图像或者第二图像通过图像处理部74而确定的细胞C的图像，进行对该细胞C提取特征量的处理。提取出的特征量例如是细胞C的形状、个数、面积、推测体积、颜色、图案、光强度等。解析部783对这些特征量进行数值化，判断部781以及校正部782使用这些数值进行规定的处理。例如，解析部783，对在第二判断被选择的细胞C或者没被选择的细胞C，基于在上述第二摄像获取的图像提取该细胞C的特征量。校正部782利用提取出的特征量的数值更新上述选择基准数据。

判断部781，在被判断为上述选择基准数据通过校正部782的上述更新处理其学习有了进展的阶段，可以执行将上述第一判断的结果引用到上述第二判断的自动判断模式。通过反复进行上述选择基准数据的更新(学习)，最终上述第一判断和上述第二判断逐渐地平均化，仅通过上述第一判断就能够选择出真正需要的细胞C。

(细胞移动动作的流程)

其次，基于图12所示的流程图说明使用了图11所示的本实施方式的摄像系统的细胞移动动作。如果开始处理，主控制部78让相机单元5摄像(第一摄像)盘2。在盘2中预先分注了细胞悬浊液，相机单元5摄像在盘2的保持凹部3收容了细胞C的状态(步骤S1)。

其次，图像处理部72，从相机本体52获取通过上述摄像获取的盘2的图像数据，并执行确定图像中包含的细胞C的图像处理。该图像处理数据被发送到主控制部78的解析部783，解析部783对所确定的细胞C执行求出该细胞C的形状、个数、面积、推测体积、颜色、图案、光强度等特征量的处理(步骤S2)。

其次，判断部781，从存储部75读取细胞C的选择基准数据(步骤S3)，参照该选择基准数据，执行判断是否将被盘2担载的细胞C之中的某一个细胞C作为移动对象来选择的第一判断(步骤S4)。

一旦决定了移动的细胞C，主控制部78就执行将该细胞C从作为第一容器的盘2第一容器向作为第二容器的微孔板4移动的细胞移动作业(步骤S5)。具体而言，头控制部72控制头驱动部64，使安装在头61的尖端12拾取被盘2的保持凹部3担载的细胞C。而且，轴控制部71控制头单元轴驱动部63，使头单元6向微孔板4的上空移动。并且，头控制部72控制头驱动部64，使被抽吸在尖端12的细胞C向规定的孔41吐出。

一旦完成细胞C向孔41的吐出，主控制部78就让相机单元5摄像(第二摄像)微孔板4(步骤S6)。通过该摄像获取的图像被显示在显示部77。操作人员，视觉识别显示部77，进行从被移动到微孔板4的各孔41的细胞C之中将哪一个细胞C选择为之后作业用的细胞的判断。该判断结果被输入部76受理。判断部781将输入到输入部76的指示信息当作在规定的作业后选择细胞C的第二判断来对待(步骤S7)。

当存在在步骤S4的第一判断和在步骤S7的第二判断做出不同的判断的细胞C的情况下，通过解析部783计算该细胞C的特征量(步骤S8)。然后，校正部782，基于通过解析部783提取的特征量，更新被存储在存储部75中的用于上述第一判断的选择基准数据(步骤S10)。另外，在上述第一判断和上述第二判断没有不一致的情况下，跳过步骤S8以及S9。

接着，主控制部78判断在细胞移动装置S设定的操作模式是否为手动操作模式(步骤S10)。手动操作模式是指在细胞C的移动作业后执行步骤S6的摄像以及步骤S7的输入受理的模式，是在存储部75中的上述选择基准数据还没有充分地学习的阶段所执行的模式。

在被设定为手动操作模式的情况下(在步骤S10为“是”)，主控制部78确认是否已经预定了下一次盘2的摄像(第一摄像)(步骤S11)。在已经预定了上述第一摄像的情况下(在步骤S11为“是”)，主控制部78使处理返回到步骤S1执行下一次的第一摄像。在下一个循环，在步骤S4使用之前在步骤S9被更新的选择基准数据。

另一方面，在步骤S10，如果不是手动操作模式而是被设定为自动判断模式的情况下(在步骤S10为“否”)，主控制部78执行省略了上述步骤S6至S9的动作。上述自动判断模式是被判断为通过校正部782的上述更新处理选择基准数据的学习已经有进展的阶段所执行的模式，是将第一判断的结果当作第二判断的结果来对待的模式。

在这种情况下，主控制部78让相机单元5摄像(第一摄像)担载细胞C的盘2(步骤S12)，通过解析部783计算所获取的图像内的细胞C的特征量(步骤S13)。接着，判断部781参照存储部75中的选择基准数据进行选择作为移动对象的细胞C的第一判断(步骤S14)。然后，主控制部78使被选择的细胞C从盘2移动到微孔板4(步骤S15)。如上所述，因为在自动判断模式下省略了第二判断，所以，对被移动的所有细胞C执行下一阶段的作业，例如，添加试剂等。

然后，确认是否继续细胞C的摄像(步骤S16)。在继续摄像的情况下(在步骤S16为“是”)，返回到步骤S13，通过相机单元5执行对盘2的下一个摄像动作。另一方面，在没有应摄像的细胞C的情况下(在步骤S16为“否”)，结束处理。

根据以上说明的本实施方式涉及的摄像系统，对于细胞C的选择，比较第一判断和第二判断的判断结果，其中，第一判断是判断部781在对细胞C进行规定的作业前执行的第一摄像获取的图像基于选择基准数据进行的选择，第二判断是判断部781基于在对细胞C进行了规定的作业后通过第二摄像获取的图像进行的选择。而且，在两者存在不一致的情况下，校正部782，以使上述第一判断和上述第二判断结果一致的方式，更新上述选择基准数据。为此，上述选择基准数据被逐渐地校正直到与在进行了规定的作业后的第二判断一致为止。因此，可以提高在上述第二判断被判断为“选择”的概率，可以提高之后对该细胞C进行检查和试验等的作业效率。

(上述实施方式所包含的发明)

另外，上述的具体实施方式主要包含具有以下构成的发明。

根据该摄像系统，对于生物对象物的选择，比较在所述第一摄像获取的图像基于规定的选择基准进行的第一判断和基于在进行了规定的作业后获取的在所述第二摄像获取的图像的第二判断。而且，在两者为不同的判断结果的情况下，以使所述第一判断和所述第二判断达到一致的方式更新与所述选择基准有关的数据。为此，所述选择基准数据被逐渐地校正直到与在进行了规定的作业后的第二判断一致为止。因此，可以提高在上述第二判断被判断为“选择”的概率，可以提高之后对该生物对象物进行检查和试验等的作业效率。

在所述的摄像系统，优选，还包括用于受理与操作人员对所述生物对象物的选择操作有关的输入的输入部，所述规定的作业是兼顾所述第二判断、由所述输入部受理的所述选择操作。

根据该摄像系统，所述第一判断所依赖的所述选择基准的数据被更新，以便接近兼顾了所述第二判断的操作人员的选择操作结果。即，操作人员的选择操作结果被反馈到所述第一判断。为此，所述第一判断的结果逐渐地接近操作人员的选择操作的倾向，从而可以简化所述第二判断(选择操作)。

在所述的摄像系统，优选，所述规定的作业是使被选择作为移动对象的生物对象物从收容多个生物对象物的第一容器移动到第二容器的作业，所述第一摄像是对收容在所述第一容器的生物对象物的摄像，所述第二摄像是对被移动到所述第二容器的生物对象物的摄像。

根据该摄像系统，在将生物对象物从第一容器移动到第二容器的作业之后执行的、基于所述第二摄像的图像的第二判断的结果被反馈到所述第一判断。因此，在移动作业之前进行的生物对象物的选择逐渐接近在移动作业之后进行的生物对象物的选择结果。

在这种情况下，优选，还包括对于在所述第二判断被选择的生物对象物或者没被选择的生物对象物，基于通过所述第二摄像获取的图像提取该生物对象物的特征量的解析部，其中，所述校正部，基于所述解析部提取的所述特征量更新与所述选择基准有关的数据。

根据该摄像系统，可以基于特征量客观地评价所述第二判断的结果，并将其反馈到所述选择基准的数据中。

而且，在所述的摄像系统，优选，所述第二容器具备多个收容所述生物对象物的孔，所述特征量包含被收容在每个所述孔的所述生物对象物的个数的信息。由此，可以将生物对象物的个数信息反映到所述选择基准的数据中。

在所述的摄像系统，优选，所述规定的作业是变更所述第一摄像的摄像条件的作业，所述第二摄像以所述变更后的摄像条件来执行。

根据该摄像系统，基于在摄像条件变更后获取的图像，即，改变对生物对象物的观察方法而获取的图像进行第二判断。而且，该第二判断的结果被反馈到所述第一判断。因此，在第一判断进行的生物对象物的选择逐渐接近改变对生物对象物的观察方法后的选择结果。

在所述的摄像系统，优选，所述规定的作业是添加对于所述生物对象物的反应性试验物质的作业。

根据该摄像系统，在添加了对于所述生物对象物的反应性试验物质的作业之后执行的、基于所述第二摄像的图像的第二判断的结果被反馈到所述第一判断。因此，在添加作业之前进行的生物对象物的选择逐渐接近在添加作业之后进行的生物对象物的选择结果。

在所述的摄像系统，优选，所述规定的作业是在所述第一摄像之后等待预先规定的试验时间的经过的作业。

根据该摄像系统，在等待预先规定的试验时间的经过的作业之后执行的、基于所述第二摄像的图像的第二判断的结果被反馈到所述第一判断。因此，在所述第一判断进行的生物对象物的选择逐渐接近在经过了试验时间之后进行的生物对象物的选择结果。

在所述的摄像系统，优选，作为所述规定的作业还包含使被选择作为移动对象的生物对象物从收容多个生物对象物的第一容器移动到第二容器的作业，所述第一摄像是对收容在所述第一容器的生物对象物的摄像，所述第二摄像是对被移动到所述第二容器的生物对象物的摄像，添加所述反应性试验物质的作业或者等待所述试验时间的经过的作业，对被移动到所述第二容器后的生物对象物来执行。

在所述的摄像系统，优选，所述判断部，在被判断为与所述选择基准有关的数据通过所述校正部的所述更新其学习有了进展的阶段，具有将所述第一判断的结果引用到所述第二判断的自动判断模式。

根据该摄像系统，在随着向所述第一判断的反馈的进展而判断已经充分学习的情况下，可以省略所述第二判断。因此能进一步提高作业效率。

根据本发明，可以提供一种能够对操作人员所期望的生物对象物进行准确的选择的摄像系统以及使用该系统的生物对象物移动装置。

Claims

1.一种摄像系统，其特征在于包括：

摄像装置，可以执行对进行规定的作业之前的生物对象物进行摄像的第一摄像、对进行了所述作业后的所述生物对象物进行摄像的第二摄像；

判断部，执行第一判断和第二判断，所述第一判断基于规定的选择基准判断是否从在所述第一摄像获取的图像选择所述生物对象物，所述第二判断判断是否从在所述第二摄像获取的图像选择所述生物对象物；

存储部，存储与所述选择基准有关的数据；以及，

校正部，在所述第一判断和所述第二判断为不同的判断结果的情况下，以使在之后的判断中对于该生物对象物的所述第一判断和所述第二判断达到一致的方式，更新存储在所述存储部中的所述数据。

2.根据权利要求1所述的摄像系统，其特征在于还包括：

输入部，用于受理与操作人员对所述生物对象物的选择操作有关的输入，其中，

所述规定的作业是兼顾所述第二判断、由所述输入部受理的所述选择操作。

3.根据权利要求1或2所述的摄像系统，其特征在于，

所述规定的作业是使被选择作为移动对象的生物对象物从收容多个生物对象物的第一容器移动到第二容器的作业，

所述第一摄像是对收容在所述第一容器的生物对象物的摄像，

所述第二摄像是对被移动到所述第二容器的生物对象物的摄像。

4.根据权利要求3所述的摄像系统，其特征在于还包括：

解析部，对于在所述第二判断被选择的生物对象物或者没被选择的生物对象物，基于通过所述第二摄像获取的图像提取该生物对象物的特征量，其中，

所述校正部，基于所述解析部提取的所述特征量更新与所述选择基准有关的数据。

5.根据权利要求4所述的摄像系统，其特征在于，

所述第二容器具备多个收容所述生物对象物的孔，

所述特征量包含被收容在每个所述孔的所述生物对象物的个数的信息。

6.根据权利要求1或2所述的摄像系统，其特征在于，

所述规定的作业是变更所述第一摄像的摄像条件的作业，

所述第二摄像以所述变更后的摄像条件来执行。

7.根据权利要求1或2所述的摄像系统，其特征在于，

所述规定的作业是添加对于所述生物对象物的反应性试验物质的作业。

8.根据权利要求1或2所述的摄像系统，其特征在于，

所述规定的作业是在所述第一摄像之后等待预先规定的试验时间的经过的作业。

9.根据权利要求7或8所述的摄像系统，其特征在于，

作为所述规定的作业还包含使被选择作为移动对象的生物对象物从收容多个生物对象物的第一容器移动到第二容器的作业，

所述第二摄像是对被移动到所述第二容器的生物对象物的摄像，

添加所述反应性试验物质的作业或者等待所述试验时间的经过的作业，是对被移动到所述第二容器后的生物对象物来执行。

10.根据权利要求1至9中任一项所述的摄像系统，其特征在于，

所述判断部，在被判断为与所述选择基准有关的数据通过所述校正部的所述更新其学习有了进展的阶段，具有将所述第一判断的结果引用到所述第二判断的自动判断模式。

11.一种生物对象物移动装置，其特征在于包括：

如权利要求1至10中任一项所述的摄像系统；和，

头装置，从收容多个生物对象物的第一容器拾取被选择作为移动对象的生物对象物，将向第二容器移动的移动作业作为所述规定的作业来执行。