CN103329027A - 观察程序和观察装置 - Google Patents

观察程序和观察装置 Download PDF

Info

Publication number
CN103329027A
CN103329027A CN2011800649882A CN201180064988A CN103329027A CN 103329027 A CN103329027 A CN 103329027A CN 2011800649882 A CN2011800649882 A CN 2011800649882A CN 201180064988 A CN201180064988 A CN 201180064988A CN 103329027 A CN103329027 A CN 103329027A
Authority
CN
China
Prior art keywords
mentioned
observation
sample block
image
cell
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011800649882A
Other languages
English (en)
Inventor
小田淳志
北条三木夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PHC Holdings Corp
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Publication of CN103329027A publication Critical patent/CN103329027A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429—Signal processing
    • G01N15/1433—Signal processing using image recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693—Acquisition
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/0088—Inverse microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N2015/1493—Particle size
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0056—Optical details of the image generation based on optical coherence, e.g. phase-contrast arrangements, interference arrangements

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Analytical Chemistry (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Dispersion Chemistry (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Molecular Biology (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Biomedical Technology (AREA)
  • Microscoopes, Condenser (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Image Input (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

自动地挑选适于持续观察的形状的样本块，降低不适合的形状的样本块的观察位次，或中止观察，由此能够更高效地进行适合的形状的样本块的观察。使计算机执行以下处理：整体拍摄处理，通过拍摄放入了样本和溶液的容器整体来拍摄上述样本的图像；样本块识别处理，从通过上述整体拍摄处理拍摄所得的上述图像中识别聚集了多个上述样本的样本块；以及样本块判断处理，提取通过上述样本块识别处理识别出的上述样本块的形状信息，根据上述形状信息判断上述样本块的状态。

Description

观察程序和观察装置
技术领域
本发明涉及观察程序和观察装置。
背景技术
如果在培养细胞时，能够在发现聚集了多个细胞的细胞块的同时开始观察并逐次按时间序列进行观察，则可以说是例如有望作为再生医疗的支持的技术。以前，这样的细胞的观察是在细胞的培养过程中在需要向培养容器补给、更换培养液时使用显微镜等进行的，根据需要拍摄图像。
但是，使用显微镜进行的细胞的观察有很多麻烦。例如为了确定在容器内发现的细胞块，首先需要通过目视、显微镜等观察容器整体，进而必须切换物镜等以放大地观察各个细胞块的成长状态。在放大观察中，视野狭窄，难以搜索目标的细胞块，进而，也难以使该细胞块与视野一致。另外，在观察细胞的情况下，理想的是进行延时(time lapse)观察，即从细胞块的发现到成长完成为止，每隔固定期间观察长期间的变化。在刚播种细胞之后，无法通过目视、低倍率的显微镜等观察细胞块，因此必须数日后再搜索而再设定观察位置。
另外，在以往通常一日～三日左右一次地向培养容器补给、更换培养液时进行的观察中，难以进行发现细胞块后的观察，迫切需求在发现后能够观察细胞块的技术。并且，在观察容器整体时以及将容器内的一部分放大来进行观察时分别进行的细胞的拍摄时，照明、镜头驱动系统等的发热对细胞的成长引起的影响成为问题。
关于这样的细胞的观察，提出了消除观察容器整体时和将容器内的一部分放大来进行观察时之间的切换的麻烦的装置，能够在专利文献1中看到其一个例子。专利文献1所记载的观察装置具备拍摄被观察物的倍率不同的至少两个摄像光学系统，计算出低倍率图像的基准值，使得通过高倍率的摄像光学系统拍摄所得的图像特征量与同时拍摄的低倍率的摄像光学系统的图像特征量大致相等。
专利文献1：日本特开2009-198709号公报
发明内容
发明要解决的问题
但是，在专利文献1所记载的观察装置中，高倍率的摄像光学系统和低倍率的摄像光学系统使用共同的光源进行拍摄，因此无法观察容器内的细胞的详细状况。这是因为，在高倍率的摄像光学系统中需要适于观察微小区域的大致透明的细胞的相位差光学系统所使用的点光源和环状狭缝(ring slit)等的照明，在低倍率的摄像光学系统中需要适于观察比较宽的视野的平面光源等的照明，需要不同的照明。即，即使能够观察容器内的细胞的分布，也有可能在确定在容器内发现的细胞块时失败，或错误地识别目标的细胞块。另外，也没有考虑到从细胞块的发现到成长完成为止持续进行观察的情况。
本发明就是鉴于以上的点而提出的，其目的在于提供一种观察装置，该观察装置在观察容器内的细胞等样本时，能够确定观察容器整体来发现的样本块，进而能够将所确定的该样本块放大来观察详细状况。另外，其目的在于提供一种能够从这样的确定的样本块的发现到成长完成为止持续进行观察的观察程序和观察系统。
用于解决问题的方案
解决上述问题的主要的本发明是一种观察程序，其特征在于，使计算机执行以下处理：整体拍摄处理，通过拍摄放入了样本和溶液的容器整体来拍摄上述样本的图像；样本块识别处理，从通过上述整体拍摄处理拍摄所得的上述图像中识别聚集了多个上述样本的样本块；以及样本块判断处理，提取通过上述样本块识别处理识别出的上述样本块的形状信息，根据上述形状信息判断上述样本块的状态。
通过附图和本说明书的记载能够了解本发明的其它特征。
发明的效果
根据本发明，能够自动地挑选适于持续观察的形状的样本块。因此，通过降低不适合的形状的样本块的观察位次，或中止观察，能够更高效地进行适合的形状的样本块的观察
附图说明
图1是本发明的第一实施方式涉及的观察系统的结构图。
图2是图1所示的观察系统的观察装置的垂直截面侧视图。
图3是图1所示的观察系统的观察装置的垂直截面主视图。
图4是与图2同样的观察装置的垂直截面侧视图，其表示使容器移动到与整体观察部对应的位置的状态。
图5是表示图1所示的观察系统的计算机的结构的框图。
图6是表示涉及图1的观察系统的操作的流程的说明图。
图7是表示涉及图1的观察系统的观察处理的动作的流程图。
图8是表示涉及本发明的第二实施方式所涉及的观察程序中的观察处理的动作的流程图。
图9是表示涉及本发明的第三实施方式所涉及的观察程序中的观察处理的动作的流程图。
图10是表示涉及图9所示的观察处理的动作的流程图的延续。
图11是表示涉及本发明的第四实施方式所涉及的观察程序中的观察处理的动作的流程图。
图12是作为适于持续观察的形状的细胞块的一个例子而示出未分化集落的图。
图13是作为不适于持续观察的形状的细胞块的一个例子而示出中央部发生分化的分化集落的图。
图14是表示针对未分化集落的图像进行二值化处理和收缩膨胀处理所得的结果的一个例子的图。
图15是表示针对中央部发生分化的分化集落的图像进行二值化处理和收缩膨胀处理所得的结果的一个例子的图。
图16是表示针对未分化集落的图像进一步进行轮廓提取、圆、椭圆检测以及圆、椭圆中心检测所得的结果的一个例子的图。
图17是表示针对中央部发生分化的分化集落的图像进一步进行轮廓提取、圆、椭圆检测以及圆、椭圆中心检测所得的结果的一个例子的图。
图18是作为不适合持续观察的形状的细胞块的一个例子而示出周边部发生分化的分化集落的图。
图19是表示在周边部发生分化的分化集落的图像中各像素的亮度的频数分布的一个例子的直方图。
图20是表示针对周边部发生分化的分化集落的图像进行三值化处理所得的结果的一个例子的图。
图21是表示针对周边部发生分化的分化集落的图像进一步进行轮廓提取、圆、椭圆检测以及圆、椭圆中心检测所得的结果的一个例子的图。
图22是表示涉及将分化集落作为放大观察的对象的观察程序中的观察处理的动作的流程图。
具体实施方式
通过本说明书和附图的记载，至少明确以下的事项。
在以下的说明中，“规定大小”是样本块的预先设定的大小，是能够判断出应该设为放大观察的对象的程度的大小，例如可以用图像上的像素数定义。例如对于作为样本块的规定大小的像素数的具体例子，在通过500万像素的照相机进行整体观察而拍摄了40mm×40mm的视野的情况下，1000像素左右作为所设定的规定大小是适当的。在后述的实施方式中，以像素数设定“规定大小”，将其设定为“1000像素”，但不应该限定于这样的大小。另外，对于在以下的方案中使用的“规定大小”也同样。
另外，“规定识别期间”(与样本块的识别有关的规定期间)是与执行放大观察对象样本块的识别的定时有关的预先设定的期间，是能够辨别出样本块的发现时的程度的期间，例如能够设为数小时到数日左右的期间，但能够根据需要适当地设定。因此，在后述的实施方式中，将“与样本块的识别有关的规定期间”设定为“一日”，但不应该限定于这样的期间。此外，在其它方案中使用的“规定期间”这样的用语不应该全部表示与执行放大观察对象样本块的识别的定时有关的期间，也不应该表示时间上相同的期间。
另外，“规定识别天数”(规定天数)是与结束放大观察对象样本块的识别的定时有关的预先设定的天数，例如可以任意设定为5日、7日、10日等这样的天数。在后述的实施方式中，将“规定天数”设定为“5日”，但不应该限定于这样的天数。
另外，“规定拍摄期间”(与放大图像的拍摄有关的规定期间)是与执行放大后的样本块的拍摄的定时有关的预先设定的期间，是能够辨别出样本块的成长过程的程度的期间，例如能够设为数小时到数日左右的期间，但能够根据需要适当地设定。因此，在后述的实施方式中，将“与放大图像的拍摄有关的规定期间”设定为“一日”，但不应该限定于这样的期间。另外，在其它方案中使用的“规定期间”这样的用语不应该全部表示与执行放大后的样本块的拍摄的定时有关的期间，也不应该表示时间上相同的期间。
另外，“规定观察期限”(规定期限)是与结束样本的观察的定时有关的预先设定的期限，例如可以任意设定为从样本的观察开始后10日、20日、30日等这样的期限。在后述的实施方式中，将“规定期限”设定为“10日”，但不应该限定于这样的期限。
另外，“规定形状”是样本块的预先设定的形状，是能够判断出适于观察地持续成长的可能性高的程度的形状，尽量接近圆形为宜，例如可以用椭圆度等的数值任意地设定。在后述的实施方式中，以“椭圆度”设定“规定形状”，将其设定为“1.1以下”，但不应该限定于这样的形状。
以下，根据图1～图21说明本发明的实施方式。此外，在此例如将细胞、细菌、微生物等样本中的细胞作为样本，例如将培养液作为溶液来进行说明。另外，将聚集了多个细胞的细胞块作为样本块来进行说明。
(第一实施方式)
首先，对本发明的第一实施方式所涉及的观察系统使用图1～图5说明其构造。图1是观察系统的结构图，图2是观察系统的观察装置的垂直截面侧视图，图3是观察装置的垂直截面主视图，图4是观察装置的垂直截面侧视图，表示使容器移动到与整体观察部对应的位置的状态，图5是表示观察系统的计算机的结构的框图。另外，在以下的说明中，将图2和图3的x轴方向设为左右方向，将y轴方向设为前后方向(+y方向为前方，-y方向为后方)，将z轴方向设为上下方向。
如图1所示，观察系统S具备观察装置1、控制装置100以及计算机200。
观察装置1是用于观察细胞等样本的装置，连接有控制装置100。控制装置100是用于控制观察装置1的装置，内置有用于驱动观察装置1的未图示的驱动器、控制器等。而且，控制装置100与计算机200连接。计算机200例如是所谓的个人计算机，执行用于观察细胞等样本的未图示的观察程序等。即，计算机200能够向控制装置100发送指令来控制观察装置1，或者执行在观察时拍摄所得的图像的获取、保存等。
观察装置1如图1～图4所示那样在作为其框体的主体2中具备整体观察部10、放大观察部20、输送部30以及驱动部40。
观察装置1能够使用整体观察部10和放大观察部20观察配置在其正面中央部的放入了细胞和细胞的培养液的容器C内的细胞。能够通过驱动部40使把持容器C的输送部30向前后、左右的希望的方向、位置移动。主体2相对于地面由被设置在四个位置的脚部3支承。此外，为了防止来自容器外部的污染、与其它容器之间的污染等，容器C上设置有盖。
整体观察部10被设置在主体2的密闭的框体内部的前侧部分，具备作为整体观察光学系统的镜头11、作为摄像部的CMOS照相机12以及作为整体观察照明的环状照明13。
镜头11被配置在把持容器C的输送部30的移动空间的上方，设置为能够向下方观察容器C内。CMOS照相机12被设置在镜头11的铅垂上方，将其摄像元件面配置为朝向下方的镜头11的方向。
环状照明13具有将以朝向斜上方的形式安装的多个LED排列为环状的构造，被配置在输送部30的移动空间的下方。另外，在环状照明13与输送部30的容器C之间具有离开规定距离的空隙D(参照图4)。由此，在环状照明13与容器C之间产生空气流通的空间，因此环状照明13发出的热难以传导到容器C。因此，能够抑制因环状照明13的发热产生的影响波及到细胞的成长。另外，环状照明13朝向斜上方且环形的中心照射光，照射位于环状照明13的上方的输送部30的作为观察对象的容器C内的细胞。此外，将CMOS照相机12和镜头11分别配置为相互的光轴一致，以其光轴通过环状照明13的中心的方式来配置环状照明13。
通过这样的结构，整体观察部10使用环状照明13向容器C照射光，从而经过镜头11得到的像成像于CMOS照相机12的摄像元件面上，拍摄容器C整体，由此拍摄容器C内的细胞的图像。而且，存储拍摄所得的图像，因此容易识别或确定容器C内的聚集了多个细胞的细胞块。
另外，整体观察部10从容器C的下方向斜上方对容器C照射光，因此通过了容器C的底面中的存在细胞的位置的光由于细胞而散射，散射的光的一部分入射到照相机，将细胞显示为白色，通过了没有细胞的位置的光不散射，光不入射到照相机而显示为黑色。通过这样，能够照射适于确定在容器C的内底面附近发现、成长的细胞的光。而且，能够得到能够将细胞的外形状识别为白色的块的对比度。此外，通过从下方照射光，能够得到如下效果：防止由于容器C的盖的反射光而细胞被涂白从而无法观察的情况。
放大观察部20是所谓的相位差显微镜，被设置在主体2的密闭的框体内部的比整体观察部10更靠后方的位置，具备物镜21、反射镜22、变焦镜头(zoom lens)23之类的放大观察光学系统、作为摄像部的CCD照相机24、以及作为放大观察照明的相位差照明部25。
物镜21被配置在输送部30的移动空间的正下方，被设置为能够向上方观察容器C内。此外，在最接近容器C的底面的作为镜头部的物镜21的周边，设置有用于防止在下部主体2内产生的热对容器C产生影响的作为罩构件的物镜罩26。另外，在物镜罩26的上部前端、且物镜21与容器C之间的位置设置有窗部27。
在此，热从密闭的框体内的电动机、照相机、照明产生并充满，还滞留在物镜21附近而欲向上方散发。如果不是面积小的物镜罩26、而是设为覆盖放大观察光学系统全部的罩，则放大观察光学系统与容器C底面的接近使得框体内的热容易传导，导致培养液温度容易上升。
与此相对，物镜罩26尽量减小接近容器C底面的位置的面积，从而抑制由于容器C底面与物镜罩26之间几乎没有间隙而空气不流通所造成的热影响。同时，物镜罩26只覆盖物镜21周边，从而能够增大物镜罩26的表面积，因此也能够向空气容易流通的物镜罩26的横方向进行热散发，能够抑制向容器C的热传导。
通过这样，在放大观察光学系统与容器C之间构成仅覆盖物镜21周边的、具备窗部27的物镜罩26，由此，放大观察光学系统发出的热难以传导到容器C。因此，能够抑制因镜头驱动系统的发热造成的影响波及到细胞的成长。
反射镜22被配置在物镜21的下方，被倾斜地设置使得大致水平地向后方反射光。反射镜22将从物镜21得到的像导向后方的变焦镜头23。变焦镜头23以在前后方向上延伸的形式被配置在反射镜22的后方，对从物镜21得到的像进行放大。CCD照相机24被设置在变焦镜头23的更后方，其摄像元件面被配置为朝向前方的变焦镜头23的方向。
相位差照明部25被设置在主体2的上部，具备LED25a和反射镜25b。LED25a照射光，该光对位于相位差照明部25的下方的输送部30的作为观察对象的容器C内的细胞进行照射。反射镜25b被配置在物镜21的铅垂上方，以使LED25a所照射的光经过容器C到达物镜21的方式使光反射。
通过这样的结构，放大观察部20在CCD照相机24的摄像元件面上对通过使用相位差照明部25向容器C照射光而经过物镜21、反射镜22以及变焦镜头23得到的像进行成像，对容器C内的一部分区域进行放大，将容器C内的细胞拍摄为图像。而且，存储所拍摄的图像，因此容易对容器C内的细胞块进行识别或确定、详细的观察。
另外，放大观察部20在下方配置有具有用于放大观察细胞的多个镜头及其变焦机构的重量比较重的放大观察光学系统，因此装置的重量平衡适当，能够进行稳定的放大观察。而且，能够使物镜21从容器C的下方接近在容器C的内底面附近发现、成长的细胞，因此能够缩短焦距而以比较大的放大率进行观察。并且，放大观察部20从容器C的下方进行观察，因此能够不受到容器C的盖的污染的影响地进行观察。
输送部30在主体2的正面中央部，以被下方的整体观察部10的环状照明13、放大观察部20的放大观察光学系统、以及上方的整体观察部10的整体观察光学系统、放大观察部20的相位差照明部25夹住的形式被设置。输送部30具备支架31，该支架31把持放入了作为观察对象的细胞和细胞的培养液的容器C。支架31相对于整体观察部10和放大观察部20进行定位，容器C相对于支架31进行定位。由此，即使将容器C和支架31一起卸下而更换培养液，或投入试剂，通过整体观察部10和放大观察部20也能够容易地观察同一位置。
驱动部40被设置在输送部30的后方和侧方，具备X轴驱动机构41、x轴电动机42、y轴驱动机构43、y轴电动机44、z轴电动机45以及变焦电动机46。此外，如图2和图3所示，相对于观察装置1，以左右方向为x轴，以前后方向为y轴，以上下方向为z轴，来进行说明。
x轴驱动机构41被配置在输送部30的正后方，并且直接支承输送部30。x轴驱动机构41具备未图示的带、滑轮、滑动导向构件、轴等，由x轴电动机42驱动，使输送部30在左右方向上移动。y轴驱动机构43被配置在输送部30和主体2的侧面的位置，支承x轴驱动机构41。y轴驱动机构43具备未图示的带、滑轮、滑动导向构件等，由y轴电动机44驱动，使输送部30与x轴驱动机构41一起在前后方向上移动(参照图4)。
通过使这样的驱动机构动作，输送部30从整体观察部10到放大观察部20输送容器C、或其反方向输送容器C。容器C移动，因此即使将整体观察部10和放大观察部20配置在相分离的位置，也能够确定观察容器C整体来发现的细胞块，进而能够放大所确定的该细胞块来观察详细状况。
另外，输送部30如上述那样向与整体观察部10和放大观察部20的光轴方向垂直的方向输送容器C，将输送方向的至少一个方向即前后方向设为共同，由此使整体观察部10的观察视野内的坐标与放大观察部20的观察视野内的坐标一致。由此，整体观察部10和放大观察部20彼此的观察视野内的坐标一致，因此能够容易地通过放大观察部20识别通过整体观察部10观察容器C整体来确定的细胞块。因此，能够防止错误地识别目标的细胞块，实现高精度的观察。
z轴电动机45和变焦电动机46被配置在输送部30后方的主体2内。z轴电动机45是用于使放大观察光学系统和CCD照相机24在上下方向上移动的电动机。变焦电动机46是用于变更变焦镜头23的放大倍率的电动机，能够对拍摄的图像进行倍率变更。
计算机200如图5所示那样至少具备运算部201。此外，也可以具备存储部210、计时部202、输入部203以及输出部204。
运算部201由普通的微型计算机、其它电子部件构成，根据存储、输入到该微型计算机内部、存储部210等中的观察程序220、其它数据等，控制涉及观察装置1的一系列观察动作。此外，也可以另外设置对通过整体观察部10或放大观察部20拍摄所得的图像进行处理的图像处理部。
通过运算部201执行的观察程序220如在图5中用功能框图以硬件方式表示的那样，具备细胞块识别部221、细胞块排序部222、坐标检测部223、坐标变换部224、细胞块提取部225、形状识别部226以及形状判断部227。此外，观察程序220除了这些各个处理模块以外，还执行以下处理：整体拍摄处理，通过向观察装置1的整体观察部10发送指令来拍摄容器C整体，从而拍摄细胞的图像；放大拍摄处理，向放大观察部20发送指令，使容器C内放大来拍摄细胞的图像。
在彩色图像的情况下，细胞块识别部221首先在将其变换为灰度图像的基础上，使用规定的阈值区分通过整体拍摄处理拍摄得到的图像中不是细胞块的部分和细胞块的部分。由此，将不是细胞块的部分二值化为黑色，将细胞块的部分二值化为白色。然后，计算出细胞、即白色的像素数。作为计算该白色的像素数的方式，例如能够列举计算白色的像素的连结区域的标记(labelling)方式、以任意位置的预定的小区域内的白色的像素数尽量多的方式计算区域的小区域方式等。
标记方式是根据单一的白色像素区域的大小、白色像素区域的密集程度来识别细胞块的方式，小区域方式是根据白色像素区域的个数、多少、密集程度来识别细胞块的方式。除此以外，也可以根据细胞块的分离程度(各个细胞块之间保持规定的距离而存在的程度)进行识别。另外，在此设采用标记方式。
标记处理是如下处理：针对进行了二值化处理后的图像，对相邻的白色像素(或黑色像素)分配相同的编号(标记)，由此对多个像素进行分组。在标记处理的相邻的判断中，使用4连结(4邻近)和8连结(8邻近)。在4连结中，如果与关注像素的上下左右连续则判断为相邻，在8连结中，进一步还加上斜向四个方向的连续来判断相邻。通过这样，细胞块识别部221从通过整体拍摄处理拍摄所得的图像中，识别二值化后的白色像素的块、即细胞块。
然后，细胞块识别部221将识别出的细胞块中的规定大小以上的细胞块识别为放大观察对象细胞块。“规定大小”是细胞块的预先设定的大小，是能够判断出应该设为放大观察的对象的程度的大小。在此，例如以像素数设定规定大小，将其设定为1000像素，并存储在存储部210等中。由此，1000像素以上的像素数的细胞块被识别为放大观察对象细胞块，因此能够辨别出细胞块的发现时。因此，能够从细胞块的发现时到成长完成为止持续地进行观察。
细胞块排序部222从通过细胞块识别部221识别出的细胞块、即白色像素块中，按照像素数从多到少的顺序执行排序。另外，例如从像素数多的细胞块起按顺序将预先设定的个数的细胞块选择为观察对象等。
坐标检测部223检测通过细胞块识别部221识别并通过细胞块排序部222排序后的细胞块、即白色像素块的中心坐标。
坐标变换部224首先计算通过整体拍摄处理拍摄所得的图像上的像素的坐标。然后，变换为以图像中心为原点的实际大小。在此，也可以对图像的失真像差等各种像差进行校正。进而，坐标变换部224将实际大小变换为观察装置1的驱动部40的x轴电动机42和y轴电动机44的电动机脉冲数，使得与用该实际大小表示的图像上位置匹配。通过这样，坐标变换部224形成通过放大拍摄处理拍摄的图像上的坐标与通过整体拍摄处理拍摄所得的图像上的坐标一致的共同坐标系。
细胞块提取部225从通过放大拍摄处理拍摄所得的图像中提取由坐标检测部223检测出的坐标的细胞块。
形状识别部226首先对通过放大拍摄处理拍摄所得的图像进行与预先准备的片(patch)图像的匹配。作为匹配结果，得到通过放大拍摄处理拍摄所得的图像与片图像之间的用浓淡表现的距离图像。然后，形状识别部226使用规定的阈值，对该距离图像执行二值化处理。作为匹配的方法，例如可以列举模板匹配、直方图匹配等，利用片图像对判断对象的图像、即通过放大拍摄处理拍摄所得的图像进行光栅扫描(raster scan)，计算双方的距离。在准备多个片图像的情况下，对匹配结果的距离图像进行累计。另外，在通过放大拍摄处理拍摄所得的图像内存在多个细胞块的情况下，形状识别部226也能够将各个细胞块识别为不同的块。
接着，形状识别部226在二值化处理后的图像中，例如执行利用边缘提取滤波器的轮廓提取、基于8连结搜索的轮廓跟踪来检测轮廓。作为轮廓提取时的边缘提取滤波器，例如能够使用微分滤波器、Prewitt滤波器、Sobel滤波器、Canny边缘检测器等。在轮廓跟踪中，通过从轮廓的跟踪开始点向一个方向依次跟踪轮廓点，能够提取轮廓线，也能够使用4连结搜索。
然后，形状识别部226根据轮廓检测结果检测圆、椭圆、矩形等规定形状。作为从轮廓、边缘检测圆的方法，能够使用霍夫变换等。作为从轮廓、边缘检测椭圆的方法，能够使用通过广义霍夫变换、最小二乘估计使椭圆与轮廓的点列拟合的方法等。作为从轮廓、边缘检测矩形的方法，能够使用以将轮廓的点列全部包含的方式拟合矩形的方法等。通过这样，形状识别部226从通过放大拍摄处理拍摄所得的图像中提取细胞块的轮廓，识别形状。
形状判断部227判断通过形状识别部226识别出的细胞块的形状是否为规定形状。“规定形状”是细胞块的预先设定的形状，是能够判断出适于观察地持续成长的可能性高的程度的形状，尽量接近圆形为宜。
作为细胞块的规定形状的判断条件，除了形状以外，例如也可以将大小、凹凸程度这样的条件也加以考虑。作为形状的判断条件，例如能够列举包围轮廓的椭圆的椭圆度、包围轮廓的圆的圆度等。作为大小的判断条件，例如能够列举白色像素块的大小、白色像素块的轮廓的长度、白色像素块的轮廓内部的面积、椭圆的长轴长度、椭圆的短轴长度、椭圆的圆周的长度、圆的直径、圆周的长度、包围轮廓的矩形的长度、包围轮廓的矩形的面积等。作为凹凸程度判断条件，例如能够列举轮廓的面积与周长之比、轮廓的面积与包围轮廓的矩形的面积之比、轮廓的长度与包围轮廓的矩形的长度之比、轮廓的角点(coner)数、轮廓的面积与包围轮廓的圆或椭圆的面积之比、轮廓的长度与包围轮廓的圆的圆周或椭圆的圆周的长度之比、包围轮廓的矩形的面积与包围轮廓的圆或椭圆的面积之比、包围轮廓的矩形的长度与包围轮廓的圆或椭圆的长度之比等。作为根据轮廓的角点数进行判断时的角点检测方法，例如能够使用哈里斯(Harris)的角点检测、SUSAN算子等。
在此，例如以椭圆度设定细胞块的规定形状的判断条件，将其设定为1.1以下，并存储在存储部210等中。此外，椭圆度是椭圆的长轴长度与短轴长度之比。由此，识别尽量接近圆形的细胞块，因此能够自动地挑选适于持续观察的形状的细胞块。因此，能够降低在成长过程中成长为变形的形状的细胞块的观察位次，或者中止观察，能够更高效地进行适当形状的细胞块的观察。
另外，不只是根据阈值(例如椭圆度1.1)明确地进行形状判断的方法，也可以是以下的方法，即根据判断结果的优劣将细胞块图像进行排序并显示在监视器204a上(如果是椭圆度，则按照椭圆度从小到大的顺序显示)，委托用户判断到哪个细胞块为止适合。
存储部210用于存储与细胞的观察、观察系统S的动作有关的各种数据，例如具备观察定时保存部211、观察位置保存部212、位置更新可否保存部213、阈值保存部214、形状保存部215以及观察图像保存部216。
观察定时保存部211保存涉及观察的期间、天数、期限等的与日期时间有关的各种数据。例如，是针对执行放大观察对象细胞块的识别的定时设定的与细胞块的识别有关的规定期间即“规定识别期间”、针对结束放大观察对象细胞块的识别的定时设定的规定天数即“规定识别天数”、针对执行放大后的细胞块的拍摄的定时设定的与放大图像的拍摄有关的规定期间即“规定拍摄期间”、针对结束细胞的观察的定时预先设定的规定期限即“规定观察期限”等数据。这些数据在观察程序220中适当地被用作判断条件，与通过计时部202测量的日期时间进行比较。
观察位置保存部212保存通过整体观察得到的细胞块的观察位置(坐标)、手动地设定的观察位置(坐标)之类的数据。
位置更新可否保存部213与存储在观察定时保存部211中的规定识别期间相应地，保存是否更新在上次整体观察时得到并存储在观察位置保存部212中的细胞块的观察位置的标志。
阈值保存部214保存与涉及观察的阈值有关的各种数据。例如是用于在二值化处理时判断是白色像素还是黑色像素的阈值、用于判断是否提取做标记的白色像素块作为细胞块的与像素数有关的阈值等数据。
另外，阈值保存部214保存用于在执行形状识别处理时识别能够适合地成长的细胞块的阈值。例如是用于根据白色像素块的大小进行判断的像素数的阈值、用于根据白色像素块的轮廓的长度进行判断的轮廓的长度的阈值、用于根据白色像素块的轮廓内部的面积进行判断的面积的阈值、用于根据包围轮廓的圆的圆度进行判断的圆度的阈值、用于根据包围轮廓的椭圆的椭圆度进行判断的椭圆长轴与椭圆短轴之比的阈值、用于根据圆的直径进行判断的直径的阈值、用于根据圆周的长度进行判断的圆周的阈值、用于根据椭圆的长轴长度进行判断的长轴的阈值、用于根据椭圆的短轴长度进行判断的短轴的阈值、用于根据椭圆的圆周的长度进行判断的椭圆圆周的阈值、用于根据包围轮廓的矩形的长度进行判断的矩形的长度的阈值、用于根据包围轮廓的矩形的面积进行判断的矩形的面积的阈值、用于根据轮廓的面积与周长之比进行判断的轮廓的面积与周长之比的阈值、用于根据轮廓的面积与包围轮廓的矩形的面积之比进行判断的面积比的阈值、用于根据轮廓的长度与包围轮廓的矩形的长度之比进行判断的长度比的阈值、用于根据轮廓的角点数进行判断的角点数的阈值、用于根据轮廓的面积与包围轮廓的圆或椭圆的面积之比进行判断的面积比的阈值、用于根据轮廓的长度与包围轮廓的圆或椭圆的长度之比进行判断的长度比的阈值、用于根据包围轮廓的矩形的面积与包围轮廓的圆或椭圆的面积之比进行判断的面积比的阈值、用于根据包围轮廓的矩形的长度与包围轮廓的圆或椭圆的长度之比进行判断的长度比的阈值等数据。
形状保存部215针对形状识别处理的全部方法，保存细胞块的形状识别处理结果。
观察图像保存部216保存放大观察图像、整体观察图像。
此外，观察定时保存部211、阈值保存部214还作为能够由用户适当地变更与观察程序220有关的各种设定的设定部发挥功能。作为能够使用观察定时保存部211设定的事项，例如是通过整体观察部10、放大观察部20拍摄图像的定时、涉及观察的期间、天数、期限等设定事项。作为能够使用阈值保存部214设定的事项，例如是作为放大观察对象细胞块的判断基准的细胞块的规定大小、作为判断细胞块是否为适于持续观察的形状的判断基准的细胞块的规定形状等设定事项。
计时部202用于测量从细胞的观察开始起的日期时间、与观察系统S的动作控制有关的时间，能够掌握各种时间。
输入部203例如由键盘203a、鼠标203b等指示设备构成。用户使用键盘203a输入字符、数值等。另外，用户使用鼠标203b在输出部204的监视器204a的画面上使光标向任意的方向移动，进行菜单、其它选择项的选择。运算部201根据从输入部203得到的信息，对存储、输入到运算部201、存储部210的程序、数据、文件执行各种处理，或对输出部204执行输出处理。
输出部204例如由液晶显示器、CRT等监视器204a、扬声器204b构成。运算部201根据所执行的程序的处理，使监视器204a显示窗口、图标、菜单等，或使扬声器204b发音。另外，运算部201根据来自输入部203的信息，使监视器204a显示由用户输入的字符、数值等，显示使用户移动的光标。
接着，按照图6所示的流程，对涉及容器C内的细胞的观察的用户对观察系统S的操作进行说明。图6是表示涉及观察系统S的操作的流程的说明图。
用户最初接通观察装置1、控制装置100以及计算机200的电源，来启动观察系统S(图6的步骤#101)。然后，用户将放入了细胞和细胞的培养液的容器C设置到输送部30的支架31(步骤#102)。接着，在用户在计算机200中启动观察程序220时(步骤#103)，在监视器204a上显示操作画面。
观察程序220与程序的启动连动地，自动地执行输送部30的原点复位动作(步骤#104)。然后，观察程序220开始利用照相机的拍摄(步骤#105)，使监视器204a显示来自照相机的实时图像。
接着，用户执行模式设定操作(步骤#106)。在该模式设定操作中，能够选择普通延时搜索操作(步骤#107)和整体观察操作(步骤#108)。延时观察是指每隔规定期间观察预先设定的位置的方法。
在普通延时搜索操作(步骤#107)中，用户一边在监视器204a上、或通过键盘203a的箭头键使容器C移动一边观察容器C内，确认目标的细胞。然后，执行捕捉图像的获取、显示、保存以及坐标设定、坐标保存等。
在整体观察操作(步骤#108)中，用户进行整体观察中的规定识别期间、规定识别天数的设定。根据设定自动地执行图像的获取、显示、保存以及观察位置显示等。
接着，在按目的的操作(步骤#109)中，能够选择结束(步骤#110)、目视继续(步骤#111)以及延时(步骤#112)的操作。
在选择了结束(步骤#110)时，停止照相机的拍摄，保存设定。在选择了目视继续(步骤#111)时，能够手动地对通过照相机拍摄的图像进行捕捉保存。
在选择了延时(步骤#112)时，进而能够进行延时观察开始、延时暂时停止、延时再开始的操作。在暂时停止了延时的情况下，能够进行卸下容器C、更换培养液之类的操作(步骤#113)。
在使用这样的观察程序220执行延时观察时，能够自动地进行以下的一系列的处理，即识别从通过整体拍摄处理拍摄所得的图像中发现的细胞块而确定其位置，进而从通过放大拍摄处理拍摄所得的图像中识别细胞块的形状，挑选适于持续观察的形状的细胞块。
接着，按照图7所示的流程，对涉及观察系统S中的观察处理的动作进行说明。图7是表示涉及观察系统S中的观察处理的动作的流程图。
在执行观察程序220时(图7的开始)，观察程序220首先判断是否符合规定识别期间(步骤#201)。此外，对此，观察程序220预先使计时部202测量在播种后例如细胞的观察开始起的日期时间以及从使用放大观察部20上次对放大观察对象细胞块进行识别起的期间。而且，规定识别期间是针对执行放大观察对象细胞块的识别的定时的预先设定的期间，例如设定为一日而存储在存储部210的观察定时保存部211中。能够适当地设定规定识别期间。
在步骤#201中不符合规定识别期间的情况下(步骤#201的“否”)，观察程序220使放大观察部20拍摄放大图像(步骤#202)，结束关于涉及观察处理的动作的一系列流程(图7的结束)。
另一方面，在步骤#201中符合规定识别期间的情况下(步骤#201的“是”)，观察程序220向观察装置1的整体观察部10发送指令而拍摄容器C整体，由此拍摄细胞的图像(步骤#203)。接着，观察程序220执行使用规定的阈值区分所拍摄的整体图像中不是细胞块的部分和细胞块的部分的二值化处理(步骤#204)。由此，不是细胞块的部分被二值化为黑色，细胞块的部分被二值化为白色。
进而，观察程序220执行收缩膨胀处理(步骤#205)。收缩膨胀处理由剥离与黑色像素相接的白色像素的处理即收缩处理、以及与之相反地追加与黑色像素相接的白色像素的处理即膨胀处理构成。在收缩处理中，能够将微小的白色像素的块反转为黑色像素，在膨胀处理中，能够将白色像素区域内存在的微小的黑色像素的块反转为白色像素，因此具有去除噪声的效果。
然后，观察程序220执行标记处理(步骤#206)，针对任意位置的预先确定的每个小区域计算白色的像素数，识别白色像素块、即细胞块。进而，观察程序220从识别出的细胞块即白色像素块中，按照像素数从多到少的顺序执行排序(步骤#207)。
接着，观察程序220判断最大的白色像素块(细胞块)的大小是否为阈值、即规定大小以上(步骤#208)。例如以像素数设定作为该阈值的规定大小，将其设定为1000像素，并存储在存储部210的阈值保存部214中。在最大的细胞块小于规定大小的情况下(步骤#208的“否”)，观察程序220检测整体观察部10拍摄所得的整体图像的任意的坐标而设置为放大观察位置(步骤#209)，使放大观察部20拍摄放大图像(步骤#202)。然后，观察程序220结束关于涉及观察处理的动作的一系列流程(图7的结束)。
另一方面，在步骤#208中最大的细胞块为规定大小以上的情况下(步骤#208的“是”)，观察程序220再次判断所选择出的细胞块是否为规定大小以上(步骤#210)。在细胞块为规定大小以上的情况下(步骤#210的“是”)，观察程序220将白色像素块(细胞块)识别为放大观察对象细胞块，来检测其中心坐标(步骤#211)。进而，观察程序220将该中心坐标变换为放大图像观察用坐标(步骤#212)。
接着，观察程序220将坐标变换后的细胞块的中心坐标设置为放大观察位置(步骤#213)，使放大观察部20拍摄放大图像(步骤#214)。然后，观察程序220将下一个白色像素块(细胞块)选择为判断是否为放大观察对象细胞块的判断对象(步骤#215)，返回到步骤#210，判断选择出的细胞块是否为规定大小以上。
直到在步骤#206中识别出的细胞块小于规定大小为止(步骤#210的“否”)，重复进行步骤#210～步骤#215的流程，持续进行被识别为放大观察对象的细胞块的放大观察位置的设置。在步骤#206中识别出的细胞块小于规定大小时(步骤#210的“否”)，观察程序220结束关于涉及观察处理的动作的一系列流程(图7的结束)。
而且，在延时观察中，由用户手动地设定成为放大观察对象的细胞块的位置，或根据整体观察结果进行细胞块的位置设定(位置确定)。对于确定了位置的细胞块，观察程序220每隔规定拍摄期间向放大观察部20发送指令，使容器C内放大来拍摄该细胞的图像，以达到规定观察期限为条件来中止拍摄。
此外，规定观察期限是针对结束细胞的观察的定时的预先设定的期限，例如设定为10日，并存储在观察定时保存部211中。能够适当地设定规定观察期限。
通过这样，从拍摄容器C整体所得的图像中识别细胞块而检测其坐标，以检测出的坐标为中心进行放大，从而能够观察该细胞块的详细状况。另外，每隔规定拍摄期间拍摄放大了的细胞的图像，达到观察期限而结束该拍摄，因此能够从细胞块的发现时到成长完成为止持续地进行延时观察。
根据本发明的实施方式的结构，能够提供观察装置1，该观察装置1在观察在容器C内正在培养的细胞时，能够确定观察容器C整体来发现的细胞块，进而能够放大所确定的该细胞块来观察详细状况。另外，能够提供能够从这样的确定的细胞块的发现时到成长完成为止持续地进行观察的观察程序220、观察方法以及观察系统S。
(第二实施方式)
接着，对于本发明的第二实施方式所涉及的观察程序，按照图8所示的流程说明涉及其观察处理的动作。图8是表示涉及观察程序中的观察处理的动作的流程图。此外，本实施方式的基本结构与使用图1～图7说明的上述第一实施方式相同，因此对于与第一实施方式共同的结构要素，省略附图的记载及其说明。
在执行第二实施方式所涉及的观察程序220时(图8的开始)，观察程序220首先判断是否符合规定识别期间(步骤#301)。在符合规定识别期间的情况下(步骤#301的“是”)，观察程序220向观察装置1的整体观察部10发送指令而拍摄容器C整体，由此拍摄细胞的图像(步骤#303)。
接着，观察程序220判断在向容器C播种细胞后是否经过了规定识别天数(步骤#304)。此外，对此，观察程序220预先使计时部202测量在播种后例如细胞的观察开始起的日期时间。而且，规定识别天数是针对结束放大观察对象细胞块的识别的定时的预先设定的天数，例如设定为5日，并存储在存储部210的观察定时保存部211中。
在步骤#304中，在播种后例如细胞的观察开始起的日期时间经过了作为规定识别天数的5日的情况下(步骤#304的“是”)，观察程序220使放大观察部20拍摄放大图像(步骤#302)，结束关于涉及观察处理的动作的一系列流程(图8的结束)。即，在从观察开始经过了5日时，中止成为放大观察对象的细胞块的识别，不更新其位置信息。
在步骤#304中，在播种后例如细胞的观察开始起的日期时间没有经过作为规定识别天数的5日的情况下(步骤#304的“否”)，观察程序220执行使用规定的阈值区分所拍摄的整体图像中不是细胞块的部分和细胞块的部分的二值化处理(步骤#305)。以下，步骤#305～步骤#316的动作流程与第一实施方式的步骤#204～步骤#215的动作流程相同，因此省略说明。
而且，在延时观察中，每隔规定识别期间重复进行上述放大观察对象细胞块的识别直到能够识别放大观察对象细胞块为止，并且以经过了规定识别天数(5日)为条件，中止放大观察对象细胞块的识别。规定识别期间是由计时部202测量的针对执行放大观察对象细胞块的识别的定时的预先设定的期间，例如设定为一日，并存储在存储部210的观察定时保存部211中。能够适当地设定规定识别期间和规定识别天数。
通过这样，直到识别出放大观察对象细胞块、即辨别出细胞块的发现时为止，每隔规定识别期间(一天)重复进行放大观察对象细胞块的识别，因此能够自动地辨别细胞块的发现时。而且，在从细胞的观察开始起经过规定识别天数(5日)后，中止放大观察对象细胞块的识别，因此只执行通过整体观察所确定的细胞块的放大观察，到成长完成为止能够高效地进行观察。
此外，对于是否继续进行放大观察对象细胞块的识别的判断，除了如步骤#304那样根据天数自动地执行的方法以外，也可以是以下的方法，即设置能够由用户自由地进行设定那样的窗口、用户界面，委托用户判断是否继续进行放大观察对象细胞块的识别。
(第三实施方式)
接着，对于本发明的第三实施方式所涉及的观察程序，按照图9和图10所示的流程说明涉及其观察处理的动作。图9是表示涉及观察程序中的观察处理的动作的流程图，图10是表示涉及图9所示的观察处理的动作的流程图的延续。此外，本实施方式的基本结构与上述第一实施方式和第二实施方式相同，因此对于与这些实施方式共同的结构要素，省略附图的记载及其说明。
在第三实施方式中，图9的动作流程的步骤#401～步骤#410以及图10的动作流程的步骤#411～步骤#413与图7和图8的动作流程相同，因此省略说明。
观察程序220将在图10的步骤#413中为了放大观察而进行坐标变换后的细胞块的中心坐标临时设置为放大观察位置(步骤#414)。然后，观察程序220向放大观察部20发送指令，针对容器C内的放大观察位置进行放大来拍摄细胞的图像(步骤#415)。
接着，观察程序220从通过放大拍摄处理拍摄所得的图像中提取细胞块的轮廓(步骤#416)，识别形状(步骤#417)。然后，观察程序220判断所识别出的细胞块的形状是否为规定形状、即椭圆度的阈值以下(步骤#418)。作为表示该规定形状的椭圆度的阈值，例如设定为1.1，并存储在存储部210的阈值保存部214中。能够适当地设定表示细胞块的规定形状的椭圆度的阈值。另外，也能够设定代替椭圆度的细胞块的规定形状的判断条件、例如圆度。
在步骤#418中细胞块的椭圆度为阈值以下的情况下(步骤#418的“是”)，观察程序220将细胞块的中心坐标正式地设置为放大观察位置(步骤#419)。另一方面，在细胞块的椭圆度超过阈值的情况下(步骤#418的“否”)，观察程序220删除临时设置的放大观察位置(步骤#420)。然后，观察程序220将下一个白色像素块(细胞块)选择为判断是否为放大观察对象细胞块的判断对象(步骤#421)，返回到步骤#411，判断所选择出的细胞块是否为规定大小以上。
通过这样，识别规定形状的细胞块，因此能够自动地挑选出适于持续观察的形状的细胞块。其结果，能够中止在成长过程中成长为变形的形状的细胞块的观察，能够更高效地进行适当形状的细胞块的观察。
此外，对于步骤#418的细胞块的形状判断，不只是根据阈值(例如椭圆度1.1)明确地进行的方法，也可以是以下的方法，即根据判断结果的优劣将细胞块图像进行排序并显示在监视204a上(如果是椭圆度，则按照椭圆度从小到大的顺序显示)，委托用户判断到哪个细胞块为止适合。
(第四实施方式)
接着，对于本发明的第四实施方式所涉及的观察程序，按照图11所示的流程，适当地参照图12～图21，说明涉及其观察处理的动作。此外，本实施方式的基本结构与上述第一～第三实施方式相同，因此对于与这些实施方式共同的结构要素，省略附图的记载及其说明。
在iPS细胞的维持培养中，除去在中央部、周边部细胞群的状态发生变化(分化)的分化集落，只继续培养未分化集落。例如，图12所示的未分化集落只由未分化区域构成，与此相对，在图13所示的分化集落(以下称为分化集落1)中，在集落的中央部产生了分化区域。因此，本实施方式的观察程序将未分化集落挑选为适于持续观察的形状的细胞块而作为放大观察的对象，针对分化集落，不进行放大观察。
图11是表示涉及观察程序中的观察处理的动作的流程图，是表示涉及图9所示的观察处理的动作的流程图的延续。因此，本实施方式的观察程序由图9的动作流程的步骤#401～步骤#410和图11的动作流程的步骤#511～步骤#522构成。此外，对于与第三实施方式共同的图9的动作流程的步骤#401～步骤#410省略说明。
在步骤#511中，与第一实施方式的步骤#210同样地，观察程序220判断所选择出的细胞块是否为规定大小以上。在细胞块为规定大小以上的情况下(步骤#511的“是”)，观察程序220例如执行上述的利用边缘提取滤波器的轮廓提取和基于8连结搜索的轮廓跟踪等，提取细胞块的轮廓(步骤#512)。另外，观察程序220例如使用上述的霍夫变换、广义霍夫变换等，从提取出的轮廓的图形中检测圆或椭圆(步骤#513)，进而检测其中心(步骤#514)。
在此，图14中示出针对图12所示的未分化集落的图像进行二值化处理和收缩膨胀处理(图9的步骤#405和步骤#406)的结果的一个例子。在图14中，白色像素块为椭圆形状。另一方面，图15中示出针对图13所示的分化集落1的图像进行二值化处理和收缩膨胀处理的结果的一个例子。在图15中，椭圆形状的白色像素块内含比其小的椭圆形状的黑色像素块。
另外，在图16和图17中，分别用实线表示针对这些白色像素块进行步骤#512的轮廓提取的结果的一个例子。并且，在图16和图17中，分别用虚线表示针对这些轮廓的图形进行步骤#513的圆、椭圆检测的结果的一个例子。而且，在图16和图17中，分别用记号“+”表示针对这些椭圆进行步骤#514的圆、椭圆中心检测的结果的一个例子。
步骤#513的圆、椭圆检测的结果，针对未分化集落如图16所示那样只检测出一个圆或椭圆。另一方面，针对分化集落1，如图17所示那样检测出两个圆或椭圆，但它们是一方内含另一方的所谓炸面圈(doughnut)形状。此外，所谓炸面圈形状也可以包括一方的圆或椭圆与另一方的圆或椭圆内接的情况。
接着，观察程序220根据在步骤#512～步骤#514中提取出的圆或椭圆的形状信息，判断细胞块的状态(步骤#515和步骤#516)。
具体地说，在检测出多个圆或椭圆的情况下，在它们中的两个的中心之间为规定的距离以下时(步骤#515的“是”)，判断为分化集落(规定状态)。此外，也有时由于双重地提取出轮廓线等，即使是未分化集落，也检测出以大致相同位置为中心的多个圆或椭圆。因此，在本实施方式中，在两个圆或椭圆的中心之间为规定的距离以下(步骤#515的“是”)，并且它们的半径的差为规定以上时(步骤#516的“是”)，判断为是分化集落。
在此，在使两个圆或椭圆的中心之间的距离的阈值Td与半径的差的阈值Tr相等时，在(中心之间的距离)≤Td=Tr≤(半径的差)的情况下，即在两个圆或椭圆是内含或内接的所谓炸面圈形状的情况下，判断为是分化集落。此外，也能够通过使Td比Tr小，来使所谓炸面圈形状的检测基准变得严格，只在两个圆或椭圆的一方内含另一方的情况下，判断为是分化集落。相反，也能够考虑使用通过整体拍摄处理拍摄所得的图像的情况而使Td比Tr稍大，由此放宽所谓炸面圈形状的检测基准，将两个圆或椭圆稍微相交的情况包括在内地判断为是分化集落。
另一方面，在只检测出一个圆或椭圆的情况(步骤#515的“否”)、或者中心之间全部比规定的距离大的情况(步骤#515的“否”)、或者半径的差全部小于规定值的情况(步骤#516的“否”)下，判断为是未分化集落。
然后，观察程序220在判断为是未分化集落的情况下，将该白色像素块(细胞块)选择为放大观察对象细胞块，以下是与第三实施方式的步骤#412～步骤#415、步骤#419、步骤#421相同的动作流程(步骤#517～步骤#522)。另一方面，在判断为是分化集落的情况下，不选择为放大观察对象细胞块，而将下一个白色像素块(细胞块)选择为判断是否为放大观察对象细胞块的判断对象(步骤#522)，返回到步骤#511，判断所选择出的细胞块是否为规定大小以上。
通过这样，分化集落以规定形状(所谓炸面圈形状)被检测出，因此能够自动地将未分化集落挑选为适于持续观察的形状的细胞块。其结果，针对分化集落，不进行放大观察，能够更高效地进行未分化集落的观察。
此外，例如在图18所示的分化集落(以下称为分化集落2)中，在集落的周边部产生了分化区域，在进行了二值化处理的情况下，导致成为只由中央部的未分化区域构成的白色像素块。为了将未分化集落2也不作为放大观察的对象，例如可以代替二值化处理，而进行三值化处理、四值化处理等。
作为一个例子，图20中示出针对图18所示的分化集落2的图像如图19所示那样求出各像素的亮度的频数分布而进行三值化处理的结果。另外，图21中示出在步骤#512中针对白色像素和灰色像素的块分别进行轮廓提取、进而进行步骤#513的圆、椭圆检测和步骤#514的圆、椭圆中心检测的结果的一个例子。然后，观察程序220能够根据这样提取出的圆或椭圆的形状信息，判断细胞块的状态(步骤#515和步骤#516)。
另外，在本实施方式中，将分化集落设为不进行放大观察的规定状态，但也可以如图22所示那样将规定状态(步骤#515的“是”并且步骤#516的“是”)作为放大观察的对象。在该情况下，针对未分化集落，不进行放大观察，能够高效地只观察分化集落(规定状态)。
如上述那样，在第四实施方式所涉及的观察程序中，提取从通过步骤#403的整体拍摄处理拍摄所得的图像中识别出的细胞块的形状信息，根据该形状信息判断细胞块的状态，从而能够自动地将未分化集落挑选为适于持续观察的形状的细胞块，降低分化集落的观察位次，或者中止观察。此外，也能够将分化集落挑选为适于持续观察的形状的细胞块。
另外，根据基于形状信息的细胞块的状态的判断结果来选择放大观察对象细胞块，从而针对分化集落不进行放大观察，能够更高效地进行未分化集落的观察。此外，也能够将分化集落作为放大观察的对象。
另外，从细胞块的轮廓的图形中检测圆或椭圆，在检测出多个圆或椭圆的情况下，在它们中的两个的中心之间为规定的距离以下时，判断为是分化集落，由此能够将分化集落检测为所谓炸面圈形状。
并且，在两个圆或椭圆的中心之间为规定的距离以下、并且它们的半径的差为规定以上时，判断为是分化集落，从而能够更高精度地将分化集落检测为所谓炸面圈形状。
另外，从规定大小以上的细胞块中选择放大观察对象细胞块，从而能够辨别出细胞块的发现时，并能够从细胞块的发现时到成长完成为止持续地进行观察。
另外，每隔规定拍摄期间进行观察处理，在达到规定观察期限时结束观察处理，从而能够从细胞块的发现时到成长完成为止持续地进行延时观察。
另外，如上述那样，通过整体观察部10的作为摄像部的CMOS照相机12拍摄容器C整体来拍摄容器C内的细胞的图像，由此，执行观察程序的计算机能够提取从通过整体拍摄处理拍摄所得的图像中识别出的细胞块的形状信息，并根据该形状信息判断细胞块的状态。
另外，根据基于形状信息的细胞块的状态的判断结果来选择放大观察对象细胞块，从而能够通过放大观察部20的作为摄像部的CCD照相机24放大容器C内的一部分区域来将放大观察对象细胞块拍摄为图像。
此外，上述实施方式用于容易理解本发明，并不是用于限定地解释本发明。本发明能够不脱离其宗旨地进行变更和改进，并且其等价物也包含在本发明中。
例如，在上述实施方式中，按照观察一个培养容器的内容进行了说明，但也可以使用能够载置多个培养容器的托盘来同时观察多个容器。
另外，在上述实施方式中，对整体观察部10的摄像部使用CMOS照相机12，对放大观察部20的摄像部使用CCD照相机24，但作为照相机的种类，也可以使用CMOS照相机、CCD照相机的任意一个。
另外，在上述第四实施方式中，也可以代替步骤#518，而通过设为第三实施方式的步骤#416～步骤#420，组合地使用第三和第四实施方式的形状判断。
附图标记说明
S：观察系统；1：观察装置；2：主体(框体)；10：整体观察部；11：镜头(整体观察光学系统)；12：CMOS照相机(摄像部)；13：环状照明(整体观察照明)；20：放大观察部；21：物镜(放大观察光学系统、镜头部)；22：反射镜(放大观察光学系统)；23：变焦镜头(放大观察光学系统)；24：CCD照相机(摄像部)；25：相位差照明部(放大观察照明)；26：物镜罩(罩构件)；27：窗部；30：输送部；100：控制装置；200：计算机；201：运算部；202：计时部；210：存储部；211：观察定时保存部(设定部)；214：阈值保存部(设定部)；220：观察程序；C：容器；D：空隙。

Claims (9)

1.一种观察程序，其特征在于，使计算机执行以下处理：
整体拍摄处理，通过拍摄放入了样本和溶液的容器整体来拍摄上述样本的图像；
样本块识别处理，从通过上述整体拍摄处理拍摄所得的上述图像中识别聚集了多个上述样本的样本块；以及
样本块判断处理，提取通过上述样本块识别处理识别出的上述样本块的形状信息，根据上述形状信息判断上述样本块的状态。
2.根据权利要求1所述的观察程序，其特征在于，还执行以下处理：
坐标检测处理，根据上述样本块判断处理的判断结果，从通过上述样本块识别处理识别出的上述样本块中选择放大观察对象样本块，检测上述放大观察对象样本块的中心的坐标；
放大拍摄处理，以通过上述坐标检测处理检测出的上述坐标为中心，放大地拍摄上述放大观察对象样本块的图像。
3.根据权利要求2所述的观察程序，其特征在于，
在上述样本块判断处理中，
提取通过上述样本块识别处理识别出的上述样本块的轮廓，从提取出的上述轮廓的图形中检测圆或椭圆，
在检测出多个上述圆或椭圆的情况下，在两个上述圆或椭圆的中心之间为规定的距离以下时，判断为上述样本块是规定状态，
上述坐标检测处理不将通过上述样本块判断处理判断为是上述规定状态的上述样本块选择为上述放大观察对象样本块。
4.根据权利要求2所述的观察程序，其特征在于，
在上述样本块判断处理中，
提取通过上述样本块识别处理识别出的上述样本块的轮廓，从提取出的上述轮廓的图形中检测圆或椭圆，
在检测出多个上述圆或椭圆的情况下，在两个上述圆或椭圆的中心之间为规定的距离以下时，判断为上述样本块是规定状态，
上述坐标检测处理将通过上述样本块判断处理判断为是上述规定状态的上述样本块选择为上述放大观察对象样本块。
5.根据权利要求3或4所述的观察程序，其特征在于，
上述样本块判断处理在检测出多个上述圆或椭圆的情况下，在两个上述圆或椭圆的中心之间为规定的距离以下、并且该两个上述圆或椭圆的半径的差为规定以上时，判断为上述样本块是上述规定状态。
6.根据权利要求2～5中的任意一项所述的观察程序，其特征在于，
上述坐标检测处理根据上述样本块判断处理的判断结果，从通过上述样本块识别处理识别出的上述样本块中的规定大小以上的上述样本块中，选择上述放大观察对象样本块。
7.根据权利要求6所述的观察程序，其特征在于，
还执行测量从上述样本的观察开始起的日期时间的计时处理，
上述样本块识别处理每隔通过上述计时处理计时的与样本块的识别有关的规定期间，重复进行上述样本块的识别，并且以经过了规定天数为条件，中止上述样本块的识别。
8.一种观察装置，其特征在于，具备：
执行根据权利要求1～7中的任意一项所述的观察程序的计算机；以及
摄像部，其通过拍摄上述容器整体，来将上述容器内的上述样本拍摄为图像。
9.一种观察装置，其特征在于，具备：
执行根据权利要求2～7中的任意一项所述的观察程序的计算机；
第一摄像部，其通过拍摄上述容器整体，来将上述容器内的上述样本拍摄为图像；以及
第二摄像部，其以通过上述坐标检测处理检测出的上述坐标为中心，将上述容器内的上述样本放大地拍摄为图像。
CN2011800649882A 2011-02-28 2011-12-22 观察程序和观察装置 Pending CN103329027A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011-042418 2011-02-28
JP2011042418 2011-02-28
PCT/JP2011/079763 WO2012117647A1 (ja) 2011-02-28 2011-12-22 観察プログラムおよび観察装置

Publications (1)

Publication Number Publication Date
CN103329027A true CN103329027A (zh) 2013-09-25

Family

ID=46757594

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011800649882A Pending CN103329027A (zh) 2011-02-28 2011-12-22 观察程序和观察装置

Country Status (4)

Country Link
US (1) US9189677B2 (zh)
JP (1) JP5145487B2 (zh)
CN (1) CN103329027A (zh)
WO (1) WO2012117647A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104390895A (zh) * 2014-11-25 2015-03-04 中国科学技术大学 基于显微成像的图像灰度测量颗粒粒径的方法
TWI579660B (zh) * 2014-09-29 2017-04-21 斯克林集團公司 圖像獲取裝置及圖像獲取方法
TWI625394B (zh) * 2014-09-30 2018-06-01 斯克林集團公司 圖像處理方法、控制程式、記錄媒體及圖像處理裝置
CN108693097A (zh) * 2017-12-13 2018-10-23 青岛汉朗智能医疗科技有限公司 红细胞聚集检测方法及系统

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5814709B2 (ja) * 2011-09-12 2015-11-17 オリンパス株式会社 タイムラプス観察方法、及び、それに用いられるタイムラプス観察装置
US20150132766A1 (en) * 2012-03-30 2015-05-14 On-Chip Cellomics Consortium Imaging cell sorter
EP2731051A1 (en) * 2012-11-07 2014-05-14 bioMérieux Bio-imaging method
JP6070172B2 (ja) * 2012-12-25 2017-02-01 大日本印刷株式会社 培地情報登録システム、プログラム及び衛生管理システム
JP5943314B2 (ja) * 2013-03-22 2016-07-05 大日本印刷株式会社 画像解析システム、培地情報登録システム、プログラム及び衛生管理システム
JP6595156B2 (ja) * 2014-03-04 2019-10-23 富士フイルム株式会社 細胞画像取得装置および方法並びにプログラム
JP6173950B2 (ja) * 2014-03-04 2017-08-02 富士フイルム株式会社 細胞撮像制御装置および方法並びにプログラム
US10656136B2 (en) * 2014-06-16 2020-05-19 Nikon Corporation Observation apparatus, observation method, observation system, program, and cell manufacturing method
JP6543954B2 (ja) * 2015-02-24 2019-07-17 シンフォニアテクノロジー株式会社 除去領域設定方法、除去領域設定装置およびプログラム
JP6811462B2 (ja) * 2015-11-25 2021-01-13 国立研究開発法人理化学研究所 細胞塊に関する領域検出方法及び領域検出装置
WO2020066043A1 (ja) 2018-09-28 2020-04-02 オリンパス株式会社 顕微鏡システム、投影ユニット、及び、画像投影方法
CN112714886B (zh) 2018-09-28 2023-03-21 仪景通株式会社 显微镜系统、投影单元以及图像投影方法
CN112714888B (zh) 2018-09-28 2023-02-17 仪景通株式会社 显微镜系统、投影单元以及图像投影方法
US10871640B2 (en) * 2019-02-15 2020-12-22 Perkinelmer Cellular Technologies Germany Gmbh Methods and systems for automated imaging of three-dimensional objects
JP6642751B2 (ja) * 2019-02-19 2020-02-12 株式会社ニコン 細胞の成熟度を判定する方法、観察装置、プログラム、制御装置、および細胞の製造方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006091506A (ja) * 2004-09-24 2006-04-06 Nikon Corp 光学顕微鏡
JP2006171183A (ja) * 2004-12-14 2006-06-29 Nikon Corp 顕微鏡用コンデンサレンズ
JP2008212017A (ja) * 2007-03-01 2008-09-18 Nikon Corp 細胞状態判定装置、および細胞状態判定方法
WO2008137912A1 (en) * 2007-05-07 2008-11-13 Ge Healthcare Bio-Sciences Corp. System and method for the automated analysis of cellular assays and tissues
JP2009195110A (ja) * 2008-02-19 2009-09-03 Nikon Corp 細胞処理装置および細胞処理方法
WO2011010449A1 (ja) * 2009-07-21 2011-01-27 国立大学法人京都大学 画像処理装置、培養観察装置、及び画像処理方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6330349B1 (en) * 1995-11-30 2001-12-11 Chromavision Medical Systems, Inc. Automated method for image analysis of residual protein
US7050620B2 (en) * 2001-03-30 2006-05-23 Heckman Carol A Method of assaying shape and structural features in cells
US7064318B2 (en) * 2003-08-26 2006-06-20 Thermo Finnigan Llc Methods and apparatus for aligning ion optics in a mass spectrometer
JP2006023644A (ja) * 2004-07-09 2006-01-26 Nikon Corp 顕微鏡観察用容器
JP4998473B2 (ja) * 2006-12-05 2012-08-15 株式会社島津製作所 質量分析装置
JP5446082B2 (ja) * 2007-10-05 2014-03-19 株式会社ニコン 細胞観察装置および細胞観察方法
DK200801722A (en) * 2008-12-05 2010-06-06 Unisensor As Optical sectioning of a sample and detection of particles in a sample

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006091506A (ja) * 2004-09-24 2006-04-06 Nikon Corp 光学顕微鏡
JP2006171183A (ja) * 2004-12-14 2006-06-29 Nikon Corp 顕微鏡用コンデンサレンズ
JP2008212017A (ja) * 2007-03-01 2008-09-18 Nikon Corp 細胞状態判定装置、および細胞状態判定方法
WO2008137912A1 (en) * 2007-05-07 2008-11-13 Ge Healthcare Bio-Sciences Corp. System and method for the automated analysis of cellular assays and tissues
JP2009195110A (ja) * 2008-02-19 2009-09-03 Nikon Corp 細胞処理装置および細胞処理方法
WO2011010449A1 (ja) * 2009-07-21 2011-01-27 国立大学法人京都大学 画像処理装置、培養観察装置、及び画像処理方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI579660B (zh) * 2014-09-29 2017-04-21 斯克林集團公司 圖像獲取裝置及圖像獲取方法
TWI625394B (zh) * 2014-09-30 2018-06-01 斯克林集團公司 圖像處理方法、控制程式、記錄媒體及圖像處理裝置
CN104390895A (zh) * 2014-11-25 2015-03-04 中国科学技术大学 基于显微成像的图像灰度测量颗粒粒径的方法
CN104390895B (zh) * 2014-11-25 2017-02-22 中国科学技术大学 基于显微成像的图像灰度测量颗粒粒径的方法
CN108693097A (zh) * 2017-12-13 2018-10-23 青岛汉朗智能医疗科技有限公司 红细胞聚集检测方法及系统

Also Published As

Publication number Publication date
JPWO2012117647A1 (ja) 2014-07-07
US9189677B2 (en) 2015-11-17
JP5145487B2 (ja) 2013-02-20
US20130188033A1 (en) 2013-07-25
WO2012117647A1 (ja) 2012-09-07

Similar Documents

Publication Publication Date Title
CN103329027A (zh) 观察程序和观察装置
CN103210338A (zh) 观察装置、观察程序及观察系统
CN104024913A (zh) 观察系统、观察系统的控制方法以及程序
US8831313B2 (en) Method for detecting microorganisms, device for detecting microorganisms and program
US10155926B2 (en) Microscope apparatus and cell culture apparatus
US10704072B2 (en) Cell culture evaluation system and method
US9206462B2 (en) Device for bacteria classification and pretreatment device for bacteria test
US8478017B2 (en) Method for distinguishing living cells during cell observation, image processing program for cell observation, and image processing device
WO2012115153A1 (ja) 細胞評価方法、細胞培養方法、細胞評価装置、インキュベータ、細胞評価プログラム、コロニー分類プログラム、幹細胞の培養方法、幹細胞評価装置および幹細胞評価プログラム
CN103760663A (zh) 自适应显微镜及其使用方法和自适应调焦方法
CN113166701A (zh) 用于细胞培养监测的紧凑型光学成像系统
JP5445499B2 (ja) 観察装置
JP2011115148A (ja) 細菌撮像装置および菌液調整装置
US11555995B2 (en) Microscope system, control method, and recording medium
US11611722B2 (en) Microscope system, control method, and recording medium
JP5440534B2 (ja) 観察システム及び観察プログラム
JP2020122894A (ja) マニピュレーションシステム
JP2014076000A (ja) 細胞の運動観察方法、画像処理プログラム及び画像処理装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: PANASONIC HEALTHCARE + MEDICAL EQUIPMENT CO., LTD.

Free format text: FORMER OWNER: SANYO ELECTRIC CO., LTD.

Effective date: 20140430

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20140430

Address after: Ehime Prefecture, Japan

Applicant after: Panasonic Healthcare Co., Ltd

Address before: Osaka Japan

Applicant before: Sanyo Electric Co., Ltd.

ASS Succession or assignment of patent right

Owner name: PANASONIC HEALTHCARE HOLDINGS CO., LTD.

Free format text: FORMER OWNER: PANASONIC HEALTHCARE + MEDICAL EQUIPMENT CO., LTD.

Effective date: 20150114

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20150114

Address after: Tokyo, Japan, Japan

Applicant after: Panasonic's health medical treatment is controlled interest Co., Ltd.

Address before: Ehime Prefecture, Japan

Applicant before: Panasonic Healthcare Co., Ltd

AD01 Patent right deemed abandoned

Effective date of abandoning: 20160323

C20 Patent right or utility model deemed to be abandoned or is abandoned