CN101903532A - 细胞观察的图像解析方法、图像处理程序和图像处理装置 - Google Patents

细胞观察的图像解析方法、图像处理程序和图像处理装置 Download PDF

Info

Publication number
CN101903532A
CN101903532A CN2009801014189A CN200980101418A CN101903532A CN 101903532 A CN101903532 A CN 101903532A CN 2009801014189 A CN2009801014189 A CN 2009801014189A CN 200980101418 A CN200980101418 A CN 200980101418A CN 101903532 A CN101903532 A CN 101903532A
Authority
CN
China
Prior art keywords
cell
image
observation
target cell
summation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2009801014189A
Other languages
English (en)
Inventor
三村正文
伊藤启
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2008075668A priority Critical patent/JP2009229274A/ja
Priority to JP2008075670A priority patent/JP2009229276A/ja
Priority to JP2008-075668 priority
Priority to JP2008-075670 priority
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to PCT/JP2009/054758 priority patent/WO2009119330A1/ja
Publication of CN101903532A publication Critical patent/CN101903532A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume, or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Electro-optical investigation, e.g. flow cytometers
    • G01N15/1468Electro-optical investigation, e.g. flow cytometers with spatial resolution of the texture or inner structure of the particle
    • G01N15/1475Electro-optical investigation, e.g. flow cytometers with spatial resolution of the texture or inner structure of the particle using image analysis for extracting features of the particle
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00127Acquiring and recognising microscopic objects, e.g. biological cells and cellular parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • G06T7/0016Biomedical image inspection using an image reference approach involving temporal comparison
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Abstract

本发明提供一种细胞观察的图像解析方法和图像处理程序,其目的在于能够定量观察细胞的运动状态。为此,细胞观察的图像处理程序具有:取得由摄像装置拍摄且在观察区域内包含多个细胞的第1图像、和由摄像装置在拍摄第1图像时的规定时间之前拍摄的观察区域的上述第2图像的步骤(S40、S45);从第1图像中包含的多个细胞中选择1个细胞作为目标细胞的步骤(S30);把位于目标细胞周边的细胞指定为周边细胞的步骤(S35);根据第1图像和第2图像中的目标细胞和周边细胞的相对移动量,计算出相对目标细胞的各个周边细胞的运动统计量的步骤(S50);把计算出的各个周边细胞的运动统计量向外部输出的步骤(S55)。

Description

细胞观察的图像解析方法、图像处理程序和图像处理装置
技术领域
[0001] 本发明涉及根据通过在每个规定时间进行细胞观察所取得的图像,解析细胞的运 动状态的细胞观察的图像处理技术。
背景技术
[0002] 作为细胞运动的基本信息有细胞分裂。一般认为,在细胞分裂与根基的形成之间 存在关联,相对单一存在的细胞,集群存在的细胞集团更能维持正常的增殖速度。另一方 面,有一种利用细胞分泌PDGF(血小板由来增殖因子)那样的成长因子,来控制其他集团的 增殖的技术(例如,参照专利文献1)。这样地对细胞增殖,利用社会性相互作用进行控制。
[0003] 以往,对于上述那样的细胞的增殖和抑制等的状况,是在每个一定时间进行显微 观察,拍摄显微观察像,通过观察所拍摄的多个显微观察图像进行判定。例如,在细胞观察 时,对细胞彼此相互结合的集群化状况,把其作为基于细胞的运动的从单细胞向集群的变 化,进行二值的观察。
[0004] 非专利文献1 :BruCeAlbert、等著,中村桂子监译、松原谦一监译,“细胞的分子生 物学(Molecular biology of the 细胞;美国)”、第 2 版、东京 NEWTONPRESS、1003 年 11 月、 P. 748 〜749、ρ· 1188 〜1189。
[0005] 如上所述,利用以往的观察方法所观察到的细胞的运动只局限在二值的变化,而 目前还没有对细胞集合成集群化时的时间系列变化、细胞的增殖被抑制而逐渐缩退时的时 间系列变化、以及细胞逐渐分散时的时间系列变化等进行“变化的定量化”的解析方法。
[0006] 另外,在基于每个一定时间的显微观察的判定中,需要根据所拍摄的放大显微观 察图像进行判定。因此,在逐步稍微改变多个参数,对每种组合观察细胞的活动的新药研究 的技术领域中,存在着对于举动解析需要大量时间的问题,甚至在确保研究者的健康卫生 方面也被提出了批评。并且,在药剂的作用中,存在导致特定的细胞的细胞死亡的作用、和 阻止增殖的作用。目前对于阻止细胞增殖的药剂的评价,一般是使用细胞分裂试剂进行,如 果不是在培养单一品种的环境下,则只能得出包含了其他品种的细胞的分裂的值。但是,实 际上还存在通过与其他品种细胞的社会作用被控制的细胞,在如何对这些细胞进行正确的 评价方面,尚有待于研究。
发明内容
[0007] 本发明就是鉴于上述问题而提出的,其目的是提供一种能够定量掌握细胞的运动 状态的技术。
[0008] 根据本发明的第1实施方式,提供一种细胞观察的图像解析方法,其特征在于,取 得由摄像装置拍摄且在观察区域内包含多个细胞的第1图像、和由摄像装置在拍摄第1图 像时的规定时间之前拍摄的观察区域的第2图像,从第1图像中包含的多个细胞中选择1 个细胞作为目标细胞,把位于目标细胞周围的细胞作为周边细胞,根据第1图像和第2图像 中的目标细胞和周边细胞的相对移动量,计算出相对目标细胞的各个周边细胞的运动统计量(例如,实施方式中的运动量pu、运动量的总和Pi等),能够判断与目标细胞相关的各个 周边细胞的相互作用的状态。
[0009] 根据本发明的第2实施方式,提供一种细胞观察的图像处理程序,其特征在于,包 括:取得由摄像装置拍摄且在观察区域内包含多个细胞的第1图像、和由摄像装置在拍摄 第1图像时的规定时间之前拍摄的观察区域的第2图像的步骤;从第1图像中包含的多个 细胞中选择1个细胞,作为目标细胞,把位于目标细胞周边的细胞指定为周边细胞的步骤; 根据第1图像和第2图像中的目标细胞和周边细胞的相对移动量,计算出相对目标细胞的 各个周边细胞的运动统计量(例如,实施方式中的运动量?。.、运动量的总等)的步骤; 把计算出的各个周边细胞的运动统计量向外部输出的步骤,能够判断与目标细胞相关的各 个周边细胞的相互作用的状态。
[0010] 根据本发明的第3实施方式,提供一种细胞观察的图像处理装置,其特征在于,具 有:对细胞进行拍摄的摄像装置;图像存储部,其保存由摄像装置拍摄的第1图像、和由摄 像装置在拍摄第1图像时的规定时间之前拍摄的第2图像;图像解析部,其根据第1图像和 第2图像,解析位于观察区域内的多个细胞之间的相互作用的状态;输出部,其输出基于图 像解析部的解析数据,在图像解析部中,对于从在第1图像的观察区域中包含的多个细胞 中选择的1个目标细胞和位于目标细胞周边的周边细胞,根据第1图像和第2图像中的目 标细胞于周边细胞的相对移动量,计算出相对目标细胞的各个周边细胞的运动统计量(例 如,实施方式中的运动量Pu、运动量的总和Pi等),把在图像解析部中计算出的运动统计量 从输出部输出。
[0011 ] 根据本发明的第4实施方式,提供一种细胞观察的图像解析方法,其特征在于,取 得由摄像装置拍摄且在观察区域内包含多个细胞的第1图像、和由上述摄像装置在拍摄上 述第1图像时的规定时间之前拍摄的上述观察区域的第2图像,从上述第1图像中包含的 多个细胞中选择1个细胞作为目标细胞,把位于上述目标细胞周围的细胞作为周边细胞, 根据上述第1图像和上述第2图像中的上述目标细胞和上述周边细胞的相对移动量,计算 出相对上述目标细胞的各个上述周边细胞的速度的统计量,能够判断与上述目标细胞相关 的各个上述周边细胞的相互作用的状态。
[0012] 根据本发明的第5实施方式,提供一种细胞观察的图像处理程序,其特征在于,包 括:取得由摄像装置拍摄且在观察区域内包含多个细胞的第1图像、和由上述摄像装置在 拍摄上述第1图像时的规定时间之前拍摄的上述观察区域的第2图像的步骤;从上述第1 图像中包含的多个细胞中选择1个细胞作为目标细胞的步骤;把位于上述目标细胞周边的 细胞指定为周边细胞的步骤;根据上述第1图像和上述第2图像中的上述目标细胞和上述 周边细胞的相对移动量,计算出相对上述目标细胞的各个上述周边细胞的速度的统计量的 步骤;把计算出的各个上述周边细胞的上述速度统计量向外部输出的步骤,能够判断与上 述目标细胞相关的各个上述周边细胞的相互作用的状态。
[0013] 根据本发明的第6实施方式,提供一种细胞观察的图像处理装置,其特征在于,具 有:对细胞进行拍摄的摄像装置;图像存储部,其保存由上述摄像装置拍摄的第1图像、和 由上述摄像装置在拍摄上述第1图像时的规定时间之前拍摄的第2图像;图像解析部,其根 据上述第1图像和上述第2图像,解析位于观察区域内的多个上述细胞之间的相互作用的 状态;和输出部,其输出基于上述图像解析部的解析数据,在上述图像解析部中,对于从在上述第1图像的上述观察区域中包含的多个细胞中选择的1个目标细胞和位于上述目标细 胞周边的周边细胞,根据上述第1图像和上述第2图像中的上述目标细胞于上述周边细胞 的相对移动量,计算出相对上述目标细胞的各个上述周边细胞的速度的统计量,把在上述 图像解析部中计算出的上述速度的统计量从上述输出部输出。
[0014] 根据上述的细胞观察的图像解析方法、图像处理程序、图像处理装置,可提供一种 能够定量掌握细胞的运动状态的技术。
附图说明
[0015] 图1是表示本发明的作为实施例的图像处理程序的流程图。
[0016] 图2是把目标细胞和周边细胞模型化表示的运动解析模型的概念图。
[0017] 图3是作为本发明的实施例所表示的培养观察系统的概要结构图。
[0018] 图4是上述培养观察系统的方框图。
[0019] 图5是模式表示在时刻t拍摄的细胞的显微观察图像的模式图。
[0020] 图6是把图5所示的时刻t的显微观察图像分区化的状态的模式图。
[0021] 图7是用于说明在时刻t拍摄的图像的细胞(实线所示的细胞)与在时刻t-Ι拍 摄的图像的细胞(虚线所示的细胞)的对应关联的说明图。
[0022] 图8是举例表示细胞群的时间系列变化状态的模式图,是表示(1)最初离散的细 胞如⑵那样向集群变化的状态的模式图。
[0023] 图9是在细胞群向集群化变化时,把每个规定时间计算出的总运动量的值描绘在 以横轴为时间轴的线图上时的引力斥力变化图。
[0024] 图10是用于说明成为观测对象的观测细胞的指定的模式图。
[0025] 图11是显示相对观测细胞的周边细胞的运动量(相对运动量)的画面的构成例。
[0026] 图12是显示了运动量的总和的画面的构成例。
[0027] 图13是表示图像处理装置的概要结构的方框图。
[0028] 图14是在执行图像解析程序时被显示在显示屏上的培养细胞运动解析界面的显 示图像的构成例。
[0029] 附图标记说明:BS_培养观察系统;GP-图像处理程序而-目标细胞Kj-周边 细胞;Cs-观测细胞(目标细胞);54宏观观察系统;54c-摄像装置;55-显微观察系统; 55c-摄像装置;100-图像处理装置;120-图像解析部;130-输出部。
具体实施方式
[0030] 下面,在对本发明的实施方式进行具体说明之前,对构成本实施方式的基本原理 进行说明。本实施方式通过把作为社会相互作用之一的细胞间的引力、斥力定量化,来提示 推定细胞状态的新的特征量。
[0031] 图2是把1个细胞(目标细胞)Q、和其周边的其他细胞(周边细胞)Cj模型化表 示的运动解析模型的概念图。通过对细胞的时间系列图像进行图像观测,检测出某个时刻t 的图像中的目标细胞Ci和周边细胞的面积和位置(相对细胞区域的重心和细胞核的位 置)、和此前的时刻t-Ι的图像中的相同细胞的面积和位置。然后,针对该目标细胞Ci计算 出时刻t-Ι时的周边细胞Cj的面积Sj、两细胞之间的距离dj、以连接相互细胞的线段L为基准,从目标细胞侧观察移动方向的角度θ ρ和从时刻t-Ι到时刻t的周边细胞的移动量 (相对目标细胞Ci的周边细胞的相对移动量)\。此时,目标细胞Ci持有的向周边细胞Cj 的引力运动量Pij成为式(1)。
[0032] Pij = SjVjCOS θ j ...⑴
[0033] 其中,在离开距离…的情况下,如果考虑可靠性而进行加权,并把该加权函数设为 W(dp,则考虑了距离的加权函数的引力运动量成为式(2)。
[0034] pij = ff(dj) SjVjCOS θ j ... (2)
[0035] 这里,如果周边细胞有m个,则运动量的总和用式(3)表示。
M
[0036] Pi = ^w {dJ )SjV J COS0J . · · (3)
/=1
[0037] 根据下式(4),计算出对该图像内的全部细胞按照目标细胞中的i = 1.....N的
顺次总和的统计量(权利要求书中的总和运动统计量,以下称为“总运动量”)Pall。
[0038] Pa^fjPi …(4)
/■=1
[0039] 在考虑了该运动量时,正负符号根据角度θ」而变化,对应引力和斥力,符号相反。 即,在细胞彼此产生大引力的情况下,总运动量Pall被表示为正的大的值,在细胞彼此产生 大斥力的情况下,总运动量Pall被表示为负的大的值。因此,在细胞的观察过程中,通过解析 时刻t-i和时刻t的图像,计算出观察区域内的细胞的总运动量,可定量地掌握细胞的运动 状态。另外,关于对应距离dj的加权W(Clj),例如,除了进行Ι/dj等的加权以外,还可以进行 2次加权或GAUSIAN等各种加权。希望在观察了细胞彼此的举动的基础上决定这些加权。
[0040] 另外,以上说明了运动量,但如果把其转换成运动能,则某个细胞的周边细胞的m 个的运动能的总和成为式(5),对于图像内的全部细胞,总能Eall成为式(6)。
M ι . 、
[0041] E1 =Yj-W [(Ij)SXvj COSdJ · · . (5)
7=1 2
N
[0042] Eall = Ei · · · ( 6 )
i=l
[0043] 根据该式(6),与总运动量同样,成为把细胞的运动状态(活性)定量化的值。如 果图像中的多个细胞的运动是随机的,则对其取小的值,在细胞彼此产生了引力或斥力的 情况下,被计算出大的值。
[0044] 并且,以上观察了图像整体的细胞的引力和斥力,但式(7)和⑶所表示的各个细 胞的平均值、最大值、最小值、以及直方图等,也是定量表示细胞的运动状态的简明易懂的 指标。[0047] 因此,通过根据这样的基本原理解析时间系列图像,在进行细胞观察的过程中,可 以观察细胞彼此相互作用引力或斥力的时间系列变化。
[0048] 在以上说明中,说明了根据细胞的运动量观察图2所示的运动解析模型的基本原 理,但也可以取代运动量而考虑细胞的引力斥力速度。下面对其基本原理进行说明。另外, 为了便于说明,把根据运动量观察的基本原理称为“运动量原理”,把根据引力斥力速度观 察的基本原理称为“引斥力原理”。
[0049] 在此情况下,也参照图2所示的运动解析模式的概念图进行说明。通过对细胞的 时间系列图像进行图像观测,检测出某个时刻t的图像中的目标细胞Ci和周边细胞的面 积和位置(相对细胞区域的重心和细胞核的位置)、和此前的时刻t-ι的图像中的相同细胞 的面积和位置。然后,对该目标细胞Ci计算出时刻t-i时的两细胞之间的距离dj、以连接相 互细胞的线段L为基准,从目标细胞侧观察移动方向的角度θ ”和从时刻t-ι到时刻t的 周边细胞的移动量(相对目标细胞Ci的周边细胞的相对移动量)\。此时,目标细胞Ci持 有的向周边细胞Cj的引力斥力速度VPij成为式(9)。
[0050] Vij = VjCOS θ j ... (9)
[0051] 其中,在离开距离…的情况下,如果考虑可靠性而进行加权,并把该加权函数设为 W(Clj),则考虑了距离的加权函数的引力斥力速度成为式(10)。
[0052] Vij = W(dj) VjCOS θ」 ...(10)
[0053] 这里,如果周边细胞有M个,则引力斥力速度的总和用式(11)表示。
M
[0054] Vi=^W(Cij)VjCosej · · · (11)
7=1
[0055] 根据下式(12),计算出对该图像内的全部细胞按照目标细胞中的i = 1.....N的
顺次总和的统计量(权利要求书中的总和速度统计量,以下称为“总引力斥力量”)Vall。
N
[0056] …(12) /=1
[0057] 该引力斥力速度,其正负符号根据角度Qj而变化,对应引力和斥力,符号相反。 即,在细胞彼此产生大引力的情况下,总引力斥力量Vall被表示为正的大的值,在细胞彼此 产生大斥力的情况下,总引力斥力量Vall被表示为负的大的值。因此,在细胞的观察过程中, 通过解析时刻t-i和时刻t的图像,计算出观察区域内的细胞的总引力斥力量,可定量地掌 握细胞的运动状态。另外,关于对应距离…的加权w(dp,例如,除了进行1/…等的加权以 外,还可以进行2次加权或GAUSIAN等各种加权。希望在观察了细胞彼此的举动的基础上 决定这些加权。
[0058] 以上观察了图像整体的细胞的引力和斥力,但式(13)所表示的各个细胞的平均 值、最大值、最小值、以及直方图等,也是定量表示细胞的运动状态的简明易懂的指标。
_ 1 N
[0059] γ = —Yv . · · (13)
Nti ‘
[0060] 因此,通过根据这样的基本原理(引斥力原理)解析时间系列图像,在进行细胞观 察的过程中,可以观察细胞彼此相互作用引力或斥力的时间系列变化。[0061] 下面,参照附图,对用于实施本发明的实施方式进行说明。作为应用本发明的细胞 观察的图像处理装置的系统的一例,在图3和图4中分别图示了培养观察系统的概要结构 图和方框图。
[0062] 该培养观察系统BS大体上由设在箱体1的上部的培养室2、收容保持多个培养容 器10的货架状的储料器3、观察培养容器10内的试验料的观察单元5、把培养容器10在储 料器3与观察单元5之间搬运的搬运单元4、控制系统的动作的控制单元6、和具备了图像 显示装置的操作盘7等构成。
[0063] 培养室2是形成并维持根据要培养的细胞的种类和目的等的培养环境的室,为了 防止环境变化和污染,在投入样品后保持密闭状态。作为培养室2的附带设备,设有使培养 室内的温度升温、降温的温度调整装置21、调整湿度的加湿器22、供给CO2和N2等气体的气 体供给装置23、用于使培养室2整体的环境均勻的循环风扇24、检测培养室2的温度和湿 度的环境传感器25等。由控制单元6控制各个设备的动作,把基于培养室2的温度、湿度、 二氧化碳浓度等的规定的培养环境维持在与在操作盘7中设定的培养条件一致的状态。
[0064] 储料器3形成为在图2中的与纸面正交的前后方向和上下方向分别被分隔为多个 的货架状。对各个货架分别设有固有地址,例如在把前后方向设为A〜C列、把上下方向设 为1〜7段的情况下,A列5段的货架被设定为A-5。
[0065] 培养容器10具有烧瓶、盘、井板等种类,并具有圆形、方形等形态和尺寸,可根据 要培养的细胞的种类和目的,选择使用适宜的容器。在本实施方式中,举例说明使用了盘的 结构。把细胞等的试验料、与添加了酚红等PH试剂的液体培养基一同注入培养容器10中。 对培养容器10付与代码编号,与储料器3的指定编号对应收容。另外,在培养容器10中, 根据容器的种类和形态等形成的搬送用容器托架,在被装入的状态下被收容保持在各个货 架中。
[0066] 搬送单元4由在培养室2内部可上下方向移动设置的,基于Z轴驱动机构升降的 Z台41、可前后方向移动地安装在Z台41上的基于Y轴驱动机构而前后移动的Y台42、和 可左右方向移动地安装在Y台42上的基于X轴驱动机构而向左右移动的X台43等构成, 在相对Y台左右移动的X台43的前端侧设有将培养容器10抬起支撑的支撑臂45。搬送单 元4构成为使支撑臂45在储料器3的全部货架与观察单元5的试验料台15之间具有可移 动的移动范围。X轴驱动机构、Y轴驱动机构、Z轴驱动机构例如由滚珠丝杠和带编码器的 伺服电机构成,由控制单元6控制其工作。
[0067] 观察单元50由第1照明部51、第2照明部52、第3照明部53、进行试验料的宏观 观察的宏观观察系统54、进行试验料的微观观察的微观观察系统55、和图像处理装置100 等构成。试验料台15由具有透光性的材质构成,并且在显微观察系统55的观察区域设有 透明窗部16。
[0068] 第1照明部51由设在下部框架Ib侧的面发光光源构成,从试验料台15的下侧对 培养容器10整体进行背光照明。第2照明部52具有LED等光源、和由相位环和聚光透镜 等构成的照明光学系统,并被设置在培养室2内,从试验料台15的上方沿着显微观察系统 5的光轴,对培养容器中的试验料进行照明。第3照明部53具有由可分别射出适合进行落 射照明观察和荧光观察的波长的光的多个LED和水银灯等光源、和把从各个光源射出的光 重叠在显微观察系统55的光轴上的分光镜和荧光滤镜等构成的照明光学系统,其被配置在培养室2下侧的下部框架Ib内,从试验料台15的下方沿着显微观察系统5的光轴,对培 养容器中的试验料进行照明。
[0069] 宏观观察系统54具有观察光学系统54a、和对由观察光学系统成像的试验料的像 进行拍摄的CXD照相机等摄像装置54c,其位于第1照明部51的上方,并被设在培养室2 内。宏观观察系统54拍摄由第1照明部51背光照明的培养容器10的从上方观察的整体 观察图像(宏观像)。
[0070] 微观观察系统55具有由物镜、中间变倍透镜、和荧光滤镜等构成的观察光学系统 55a、和拍摄由观察光学系统55a成像的试验料的像的,冷却CXD照相机等摄像装置55c,其 被设置在下部框架Ib的内部。物镜和中间变倍透镜被分别设置有多个,并且构成为使用省 略了详细图示的转换器和滑块等变位机构可设定多个倍率的结构,其根据初始选择的透镜 设定,能够在例如2倍〜80倍等的范围内变倍。显微观察系统55拍摄通过显微镜观察了 由第2照明部52照明的,透过了细胞的透过光、或由第3照明部53照明的,从细胞反射的 反射光、或由第3照明部53照明的,从细胞发出的荧光的显微观察像(微观像)。
[0071] 图像处理装置100对从宏观观察系统的摄像装置54c和显微观察系统的摄像装置 55c输入的信号进行A/D转换,并且实施各种图像处理,生成整体观察图像或显微观察图像 的图像数据。另外,图像处理装置100对这些观察图像的图像数据实施图像解析,进行隔时 图像的生成和细胞的移动量计算、细胞的运动状态的解析等。图像处理装置100具体是通 过执行在后述的控制装置6的ROM中保存的图像处理程序构筑而成。另外,关于图像处理 装置100,将在后面详细说明。
[0072] 控制单元6具有CPTO1、设定并保存了控制培养观察系统BS的动作的控制程序、和 用于保存控制各部的数据的R0M62、暂时保存图像数据等的RAM63等,并且构成为由数据总 线把这些连接的结构。控制单元6的输入输出口与培养室2中的温度调整装置21、加湿器 22、气体供给装置23、循环风扇24、环境传感器25、搬送装置4中的X、Y、Z台43、42、41的 各轴的驱动机构、观察单元5中的第1、第2、第3照明部51、52、53、宏观观察系统54、显微 观察系统55、操作盘7中的操作面板71、和显示屏72等连接。从上述各部向CPU61输入检 测信号,由CPU61根据预先设定的控制程序,控制上述各部。
[0073] 在操作盘7上设有:设置了键盘、片式开关、和对磁记录介质或光盘等进行信息的 读出和写入的读/写装置等输入输出装置的操作面板71、以及显示各种操作画面和图像数 据等的显示屏72,通过一边参照显示屏72,一边利用操作面板71输入观察程序(动作条 件)的设定和条件选择、和动作指令等,通过CPU61使培养观察系统BS的各部动作。艮口, CPU61根据来自操作面板71的输入,进行培养室2的环境调整、培养室2内的培养容器10 的搬送、基于观察单元5的试验料的观察、取得的图像数据的解析、和在显示屏72上的显示 等。在显示屏72上,除了显示动作指令和条件选择的输入画面以外,还显示培养室2的环 境条件的各个数值、被解析的图像数据、和发生异常时的警告等。另外,CPU61通过根据有 线或无线的通信规格构成的通信部65,能够在与外部连接的计算机等之间进行数据的发送 接收。
[0074] RAM63中记录有在操作面板71上设定的观察程序的动作条件、例如培养室2的温 度和湿度等环境条件、每个培养容器10的观察时间时间表、观察单元5中的观察种类、观察 位置、观察倍率等观察条件等。另外,还记录有被收容在培养室2中的各个培养容器10的代码编号、收容了各个代码编号的培养容器10的储料器3的收纳地址等培养容器10的管 理数据、和在图像解析中使用的各种数据。在RAM63中,设有记录由观察单元5拍摄的图像 数据的图像数据存储区域,在各个图像数据中,与其对应地记录有包括培养容器10的代码 编号和摄影时间的索引数据。
[0075] 这样概要构成的培养观察系统BS,根据在操作盘7上设定的观察程序的设定条 件,由CPTOl根据在R0M62中保存的控制程序控制各部的动作,同时自动地进行培养容器10 内的试验料的摄影。即,当通过对操作面板71的面板操作(或通过通信部65的远程操作) 开始了观察程序时,CPU61读取出在RAM64中保存的环境条件的各个条件值,同时检测出从 环境传感器25输入的培养室2的环境状态,根据条件值与实测值的差异,使温度调整装置 21、加湿器22、气体供给装置23、循环风扇24等动作,对培养室2的温度、湿度、二氧化碳浓 度等培养环境进行反馈控制。
[0076] 另外,CPU61读取出在RAM63中保存的观察条件,根据观察时间时间表,使搬送单 元4的X、Y、Z台43、42、41的各轴的驱动机构动作,把观察对象的培养容器10从储料器3 搬送到观察单元5的试验料台15,开始观察单元5的观察。例如,在观察程序中设定的观 察是宏观观察的情况下,把由搬送单元4从储料器3搬送来的培养容器10定位在宏观观察 系统54的光轴上,并载置在试验料台15上,使第1照明部51的光源点灯,从被背光照明的 培养容器10的上方,由摄像装置54c拍摄整体观察像。从摄像装置54c被输入到控制装置 6的信号由图像处理装置100进行处理,生成整体观察图像,其图像数据与拍摄时间等索引 数据等一同被记录在RAM63中。
[0077] 另外,在观察程序中设定的观察是对培养容器10内的特定位置的试验料的微观 观察的情况下,把由搬送单元4搬送来的培养容器10的特定位置定位在显微观察系统55 的光轴上,并把其载置在试验料台15上,使第2照明部52或第3照明部53的光源点灯,由 摄像装置55c拍摄基于透过照明、落射照明、荧光的显微观察像。由摄像装置55c拍摄的, 被输入到控制装置6的信号,由图像处理装置100进行处理,生成显微观察图像,该图像数 据与拍摄时间等索引数据等一同被保存在RAM63中。
[0078] CPU61对被收容在储料器3中的多个培养容器的试验料,按照基于观察程序的30 分钟〜2小时左右的时间间隔的观察时间时间表,顺次进行上述那样的观察,并顺次进行 整体观察像和显微观察像的摄影。另外,在本实施方式中,摄影的时间间隔可以固定,也可 以不同。摄影的整体观察像和显微观察像的图像数据,与培养容器10的代码编号一同被保 存在RAM63的图像数据存储区域(图像存储部110)中。被记录在RAM63中的图像数据,根 据从操作面板71输入的图像显示指令,被从RAM63中读出,在操作盘7的显示屏72上显示 指定时刻的整体观察图像和显微观察图像(单体图像)、或指定时间段的整体观察像和显 微观察像的隔时图像。
[0079] 而且,在如上述那样构成的培养观察系统BS中,图像处理装置100不仅具有上述 的隔时图像的生成等功能,而且还具有解析观察区域内的细胞的运动状态的图像解析功 能。以下,在说明图像处理装置100执行的图像解析的具体内容时,首先说明根据2个时间 系列图像定量计算出细胞的运动状态的方法。
[0080](前处理)
[0081] 图5是模式表示在某个时刻拍摄的细胞的显微观察图像的模式图。首先,对该图像进行抽出各个细胞的区域的分区。例如可以采用基于辉度值进行二值化、基于分散值的 二值化、和Snakes JPLevel Set等动态轮廓抽出方法等。由此,如图6所示那样,采用对被 分区化的细胞区域实施标定,对各个细胞标识测定周边细胞的标识的方法。
[0082] 然后,如图7所示,进行在时刻t拍摄的图像的细胞(实线表示的细胞)和在规定 时间之前拍摄的时刻t-i的图像中的细胞(虚线表示的细胞)的对应关联,即细胞的跟踪。 这里,对时刻t和时刻t-i的细胞区域标识,选择相互最接近、而且形状相似的细胞区域。由 此,计算出各个细胞从时刻t-Ι向t的移动矢量。
[0083](引力、斥力的计算)
[0084] 根据通过前处理所得到的各个细胞的移动矢量,对目标细胞Ci和周边细胞Cj计 算出引力或斥力的运动统计量(这是在基于运动量原理的情况,在基于引斥力原理的情况 下,是“速度的统计量”)。对于运动统计量,作为代表例,可列举出相对目标细胞Ci的周边 细胞Cj的运动量或运动能(这是在基于运动量原理的情况,在基于引斥力原理的情况下, 是“引力斥力速度或引力斥力量”)。如图2所示,相对目标细胞Ci,其周边细胞的1个Cj的 从时刻t-Ι到t的特征是:
[0085] 细胞面积〜..周边细胞&的轮廓内部面积
[0086] 移动量\ ..相对目标细胞Ci的周边细胞&的相对移动量
[0087] 距离Clj...目标细胞Ci与周边细胞Cj的距离
[0088] 角度θ”.以连接细胞的线段L为基准,观察移动方向时的角度。首先,细胞遇到 任意离子物质,如果根据其浓度而产生了引力或斥力作用,则产生与细胞之间的距离…成 反比的能量,在此情况下,加权函数W(Clj)用式(14)表示,如果其与面积相关,则用式(15) 表不。
[0089]
[0090]
[0091]或者,如果能够把加权范围确定为一定的范围内,则也可以是例如式(16)。另外,
在式(16)中,D表示细胞的相互作用的范围,其由用户指定。
[0092]
(1 6)
[0093] 并且,如果从概率方面考虑,则作为概率密度函数,也可以考虑例如由式(17)规 定的正态分布(其中,ο是标准偏差)的定义。
[0094]
Cl 7)
[0095] 此时,在基于运动量原理的情况下,目标细胞Ci与1个周边细胞Cj动相关的运动 量Pij成为式(18)。[0096] pij = ff(dj) SjVjCOS θ j ... (18)
[0097] 如果把其应用于所有的周边细胞(Μ个),则目标细胞Ci所持的引力斥力运动量的 总和Pi成为式(19)。
M
[0098] Pi = Ywi(Ij)SjVj COS θJ ... (19)
7=1
[0099] 关于该运动量的总和Pi,其正负符号根据角度θ J而变化,对应引力和斥力,其符 号相反。因此,可求出对各个目标细胞作用的是引力或斥力,以及力的大小。通过把其对图 像内的全部细胞,按照目标细胞Ci中的i = 1〜N的顺次置换目标细胞,则总运动量Pall可 根据式(20)求出。
N
[0100] P^=YiPi ... (20)
/=1
[0101] 如上述那样,在细胞彼此产生大的引力的情况下,总运动量Pall被表示为正的大 值,在产生小的斥力的情况下,总运动量被表示为负的小值。因此,通过在细胞的观察过程 中解析时刻t-Ι和时刻t的2个图像,计算出观察区域内的细胞的总运动量,能够定量掌握 包含是引力还是斥力的区别的细胞的运动状态。
[0102] 并且,对于产生图8(1)到(2)那样的状态变化的时间系列数据,按照时间系列,排 列显示每个规定时间计算出的总运动量的值,例如通过如图9所示那样在把横轴作为时间 轴的图上描绘,可得出将引力的变化状况可视化的变化曲线。其表示最初离散的细胞相互 靠拢,最终变成集群化的定量性,可定量且容易掌握细胞群的变化状况。
[0103] 另外,用式(21)〜(23)表示的各个细胞的平均值、最大值、最小值、以及直方图等 的统计量的时间系列变化,作为表示细胞的运动状态的指标,也具有重要意义。另外,也可 以只考虑正的值(引力)或只考虑负值(斥力),分别观察引力和斥力。
[0104]戶=丄爱乃...(2 1)
N /=I
[0105] Pmax = max P1 ... (22)
ι
ρ =ITiinP . · · (2 3)
[0106] mui / ‘
[0107] 另外,如果作为运动统计量而使用了运动能,则目标细胞的周边细胞的m个的运 动能的总和Ei,可用式(24)求出,对于图像内所有的细胞,总能Eall成为式(25)的值,成为 将细胞的运动状态(活性)定量化的值。
M 1 / 、
[0108] Ei AvjCos0J ... (24)
J=I 2
N
[0109] Em = Yd E1 · · · (2 5)
/=1
[0110] 如果图像中的多个细胞的运动是随机的,则对其取接近0的值,但在细胞彼此产 生了引力或斥力的情况下,被计算出大的值。因此,即使在作为运动统计量而使用了运动能 的情况下,细胞的观察过程中,通过解析时刻t-Ι和时刻t的图像,计算出观察区域内的细
15胞的总运动能,可定量掌握细胞的运动状态(活性状态)。关于各个细胞的平均值、最大值、 最小值、以及直方图,也是同样。
[0111] 另一方面,在基于引斥力原理的情况下,在式(17)的概率密度函数的定义之后, 对于目标细胞Ci涉及1个周边细胞Cj的引力斥力速度Vij,用式(26)表示。
[0112] Vij = W(dj) VjCOS θ j ... (26)
[0113] 如果把其应用于所有的周边细胞(Μ个),则目标细胞Ci所持的引力斥力量Vi用 式(27)表示。
M
[0114] Vi = W {d ^vj COS θ J ... (27)
[0115] 把其对图像内的所有细胞,以目标细胞Ci中的i = 1〜N的顺次置换目标细胞, 根据式(28)计算出总和的总引力斥力量。
N
[0116] Vall=YjVi · . · (2 8)
/=1
[0117] 如上述那样,在细胞彼此产生大的引力的情况下,总引力斥力量Vall被表示为正的 大值,在产生小的斥力的情况下,总引力斥力量Vall被表示为负的小值。因此,通过在细胞 的观察过程中解析时刻t-Ι和时刻t的2个图像,计算出观察区域内的细胞的总引力斥力 量Vall,能够定量掌握包含是引力还是斥力的区别的细胞的运动状态。
[0118] 并且,对于产生图8(1)到(2)那样的状态变化的时间系列数据,按照时间系列,排 列显示每个规定时间计算出的总引力斥力量的值,例如通过如图9所示那样在把横轴作为 时间轴的图上描绘,可得出将引力的变化状况可视化的变化曲线。其表示最初离散的细胞 相互靠拢,最终变成集群化的定量性,可定量且容易掌握细胞群的变化状况。
[0119] 另外,用式(29)〜(31)表示的各个细胞的平均值、最大值、最小值、以及直方图等
的统计量的时间系列变化,作为表示细胞的运动状态的指标,也具有重要意义。另外,也可
以只考虑正的值(引力)或只考虑负值(斥力),分别观察引力和斥力。 _ 1 N
[0120] V = -Yvi · · · (2 9)
Nti
[0121] Fmax = maxVi · · · (3 0)
i
[0122] Fmin =VnmVi · · · (31)
i
[0123] 关于通过图像解析,求出以上说明的运动统计量(这是在运动量原理的情况,在 引斥力原理的情况下,是“速度的统计量j”),进行细胞彼此的相互作用的观察,作为该观察 的应用程序,可列举出以下的例。
[0124] (A:观测细胞的指定)
[0125] 观察者指定1个或多个成为观测对象的细胞,进行关于所指定的观测细胞的引 力、斥力的运动量/能的总和计算(这是在运动量原理的情况,在引斥力原理的情况下,是“引力、斥力的速度”)。例如,如图10(1) (2)所示,从图像中包含的多个细胞中,把特定的细 胞指定为观测细胞Cs,设定引力、斥力的有效距离(范围),进行针对该指定的观测细胞Cs 的引力、斥力的运动量/能(这是在运动量原理的情况,在引斥力原理的情况下,是“引力、 斥力的速度”)的总和计算。而且,如图11所示那样分别显示向成为该观测对象的1个细 胞Cs的周边细胞运动的运动量(这是在运动量原理的情况,在引斥力原理的情况下,是“引 力斥力的速度”)。由此,可观测出向该观测对象细胞Cs的各个的运动状态、和最受引力或 斥力作用的细胞等。
[0126] (B :引力、斥力运动量或速度的统计量计算、以及时间系列变化)
[0127] 如图12所示,在把在A中指定的观测细胞Cs顺次置换为其他细胞,求出各个细胞 的运动量(这是在运动量原理的情况,在引斥力原理的情况下,是“引力斥力的速度”),针 对各个细胞,计算出所求出的运动量(或引力斥力速度)的总和,并对应各个细胞进行显示 时,可观测出从该最大值到在视野内最受影响的细胞。另外,通过作为各个细胞的运动量总 和(或速度总和)的统计量而显示其平均值、最大值、最小值、分散,可掌握整体的状况。并 且,通过把这些时间系列数据沿着时间轴进行曲线显示,可容易掌握在时间区域内的变化。 另外,也可以显示在A中指定观测细胞Cs本身的速度、大小(面积)、形状(包含圆形度和 复杂度等)等的时间系列变化量,由此可详细掌握细胞的运动状态。
[0128] 下面,对在图像处理装置100中执行的图像解析的具体应用程序,以解析生物细 胞的显微观察图像(相位差图像)的情况为例进行说明。图13表示在图像处理装置100 中进行细胞的运动状态的图像解析的图像解析部分的概要结构的方框图。
[0129] 图像处理装置100具有:图像存储部110,其保存由摄像装置(54c、55c)拍摄的 第1图像、和在第1图像的规定时间之前的时刻t-Ι拍摄的第2图像;图像解析部120,其 根据第1图像和第2图像,解析在位于观察区域内的多个细胞之间相互作用的相互作用状 态(引力或斥力的作用状态);和输出部130,其输出基于图像解析部120的解析数据,构成 为,在图像解析部120中,根据第1图像和第2图像中的目标细胞和周边细胞的相对位置和 相对移动量,计算出细胞间的引力或斥力的运动量,并且通过把其总和,而计算出目标细胞 的运动量(或引力斥力量)的总和,并且把通过顺次置换目标细胞而求出的运动量(或引 力斥力量)总和,计算出多个细胞全体的总运动量(或总引力斥力量),从输出部130输出, 例如在显示屏72上进行显示。
[0130] 另外,图像处理装置100构成为,由CPTOl读取被预先保存在R0M62中的图像处理 程序,由CPU61执行基于图像处理程序的处理。
[0131] 本实施方式的图像解析处理,不仅能够对已经根据观察程序在每个规定时间拍摄 的,被保存在图像存储部110中的时间系列图像执行,而且还能够解析观察时间点的细胞 的运动状态,进行实时观测。因此,在本实施例中,参照图1所示的图像处理程序GP的流程 图、和图14所示的在显示屏72中显示的培养细胞运动解析界面的显示图像,对该实时的图 像解析处理进行说明。
[0132] 在该界面中,在显示屏72上显示“盘选择”框721,并显示被收纳在储料器3中的 培养容器的代码编号,在步骤SlO中,进行观察对象的培养容器10的选择。在图14中,表 示利用设在操作面板71上的游标选择了代码编号细胞-0002的培养细胞盘(培养容器) 的状态。[0133] 在步骤SlO中,当选择了观察对象后,CPU61使搬送单元4的各个轴的驱动机构动 作,把观察对象的培养容器10从储料器3搬送到观察单元5。然后,使摄像装置(54c、55c) 拍摄基于宏观观察系统54的全体观察图像或基于显微观察系统55的显微观察像,并把该 图像显示在“观察位置”框722中。
[0134] 在步骤S20中,进行把哪个区域作为观察区域的观察位置设定。在图14中,表示 观察者利用设在操作面板71上的鼠标等,指定了中央靠右的网纹区域的状态。此时,设定 的观察区域的图像,在图像解析部120中被迅速实施分区处理,在“观察图像”框723中显 示在相位差图像上重叠了细胞轮廓的图像、或基于细胞轮廓的模式图(分区图像)。此时, 在显示屏72上,显示出包括“观测细胞的指定”724a、和“周边细胞的指定”724b的“运动解 析选项”框724。
[0135] 在步骤S30中,观察者利用鼠标,在被显示“观察图像”框723中的模式图上选择 希望了解运动量(或引力斥力速度)的观测对象细胞,并通过点击“观测细胞的指定”724a 的确定键,确定观测细胞Cs。然后,在步骤S35中,通过设在“周边细胞的指定”724b中的选 择键,选择是手动指定周边细胞C^还是根据与观测细胞Cs的距离(半径)指定周边细胞 C」。在手动选择的情况下,通过利用鼠标分别选择周边细胞ς.,并点击确定键,进行确定,在 选择了半径指定的情况下,通过数值(单位是像素或μ m等)输入或利用鼠标,进行该半径 值的输入。
[0136] 把其作为初始设定,按照每个在观察程序中设定的规定时间的观察时间表,读取 观察图像(步骤S40),执行观察图像的保存(步骤S45),并进行实时观察。在步骤S30和 步骤S35中指定的观察区域内的观测细胞Cs和周边细胞Cp每个在观察时间表中设定的规 定时间,在图像解析部120中进行细胞图像的分区和跟踪,在步骤S50中,计算各个细胞的 运动量(或引力斥力速度)。
[0137] 关于各个细胞的运动量(或引力斥力速度)计算(步骤S50的内容,已经进行了 具体说明,把其简洁综合在流程图中的是图1中右列的程序(步骤S51〜步骤S55)。S卩,图 像解析部120中的各个细胞的运动量计算(或引力斥力速度计算)是,对时刻t的观察图 像(第1图像)和规定时间之前的时刻t-Ι的观察图像(第2图像),进行图6所示的细 胞的最外壳轮廓抽出处理(分区处理:步骤S51)、在这2个图像之间,图7所示的观测细胞 Cs和周边细胞q的对应关联(步骤S52)、根据该对应关联求出的向观测细胞Cs移动的周 边细胞G的移动矢量的计算(S53)、采用结合图2的移动模型说明的方法,根据上述移动矢 量求出的向观测细胞Cs移动的各个周边细胞Cj的运动量(或引力斥力速度)的计算(步 骤S54)、各个细胞的引力斥力运动量(或引力斥力速度)的计算,即,对M个周边细胞计算 出与目标细胞Ci相关的运动量的总和PJ或引力斥力量Vi),并且计算出在置换了目标细胞 的情况下的各个细胞的运动量(引力斥力量)的总和,从输出部130输出各个细胞的引力 斥力的运动量(引力斥力量)计算结果(步骤S55)。
[0138] 然后,在步骤S60中,如图11所示,各个周边细胞Cj的运动量(或引力斥力速度) 和图12所示那样的关于各个细胞的运动量的总和(引力斥力量),在各个观察中被实时显 示在“观察图像”框723的显示画面上,并且计算出的各个细胞的运动量(或引力斥力速度) 的值被储存在RAM63中。另外,在步骤S70中,把观测细胞Cs作为目标细胞Ci,以Ci中的i =1〜N的顺次置换目标细胞,进行在观察区域中包含的全部细胞的运动量总和(总运动量)Pall(或总引力斥力量Vall)的计算,把该该计算结果储存在RAM63中,并且还能够如图 12所示那样显示全部细胞的运动量总和(引力斥力量)。在界面中,可以通过设在“观察图 像”框723中的选择键,选择图11的周边细胞的运动量(引力斥力速度)显示、或图12的 全部细胞的运动量总和(引力斥力量)的显示。
[0139] 在隔时观察的执行中,其以曲线的形式,被实时显示在“时间系列变化图”框725 中。该曲线除了如参照图12在前面说明的那样,显示各个细胞的运动量(或引力斥力量) 的最大值、最小值、平均值等在时间轴上的变化以外,还能够显示观测细胞Cs的速度、面 积、形状变化(圆形度和复杂度等)的经时变化,根据时间系列变化曲线的显示项目的选 择,可进行切换显示。并且,在输出部130中设有输出端子,其与通信部65连接,通过通信 部65,能够把计算结果输出到外部连接的计算机等。
[0140] 因此,根据这样的图像解析技术(图像解析方法、图像处理程序、图像处理装置), 在隔时观察的执行中,能够以具体的数值和曲线实时显示观察对象的细胞的每时每刻的运 动状态,从而可迅速且定量地掌握细胞的运动状态。
[0141] 另外,在上述实施例中,举例说明了在开始进行隔时观察时,指定观测细胞Cs和周 边细胞Cp在隔时观察的过程中并行执行图像解析,实时显示解析结果的结构,但也可以在 一定时间的隔时观察的执行中,或结束隔时观察时,对被保存在图像存储部110中的时间 系列图像实施本发明的图像解析。因此,下面,参照图14和图1,对这种情况下的图像解析 流程进行简洁说明。
[0142] 首先,在步骤SlO中,从在“盘选择”框721中显示的培养容器表中选择观察对象的 代码编号的培养容器(例如上述的代码编号细胞-0002的培养细胞盘)。这里所选择的观 察对象的时间系列图像已经被保存在图像存储部110中(S卩,图1所示的图像处理程序中 的步骤S40和步骤S45,在步骤SlO之前被执行)。因此,在步骤SlO中选择了观察对象时, 所选择的培养容器的在时刻t的观察图像(整体观察图像或显微观察像)被从图像存储部 110中读出,并被显示在“观察位置”框722中。另外,可以选择读出观察期间的任意时刻的 图像,例如,可以选择观察开始时(第2个数据)、或选择观察期间的中间时刻或结束时刻。
[0143] 在步骤S20中,对在“观察位置”框中显示的图像进行观察哪个区域的观察区域的 设定。所设定的观察区域的图像在图像解析部120中被立即实施分区处理,在相位差图像 上重叠了细胞轮廓的图像或基于细胞轮廓的模式图被显示在“观察图像”框中。对时刻t和 其规定时间之前的时刻t-Ι的2个图像进行分区处理,关于模式图的显示,可以按照时间系 列只显示时刻t的图像,或显示2个时刻的图像。
[0144] 然后,在步骤S30中,通过在被显示在“观察图像”框723中的模式图上选择观测对 象的细胞,并点击“观测细胞的指定”724a的决定键,来确定观测细胞Cs。另外,在步骤S35 中,对于周边细胞Cp通过手动或根据与观测细胞Cs的距离(半径)进行指定,并点击确定 键,来确定周边细胞。这些选择设定与上述同样。
[0145] 当在步骤S30和步骤S35中确定了观测细胞Cs和周边细胞Cj后,图像解析部120 首先对从图像存储部110中读出的时刻t和时刻t-Ι的图像进行步骤S50的各个细胞的运 动量以及运动量总和(引力斥力速度和引力斥力量)、步骤S70的全部细胞的总运动量(总 引力斥力量)的计算,并记录在RAM63中。而且,对于已经按照规定的观察时间表拍摄的并 被保存在图像存储部110中的观察图像(步骤S40、步骤S45),顺次移动时刻t进行读出,从读出的各个图像中剪取出在步骤S20中设定的观察区域的图像,进行分区和跟踪,并顺 次进行步骤S50和步骤S70的计算,然后记录在RAM63中。
[0146] 然后,对应对设在“观察图像”框723中的选择键的选择,显示图11的周边细胞的 运动量(引力斥力速度)、或图12的全部细胞的运动量总和以及总运动量(引力斥力量和 总引力斥力量)。另外,该显示可以显示任意选择的特定时刻的计算结果。另外,在隔时观 察的进行中的情况下,在“时间系列变化图”框725中,以曲线形式显示到当前时间点的运 动量(引力斥力量)(最大值、最小值、平均值等)的变化,在观察结束后的情况下,显示从 观察开始到结束的运动量(引力斥力量)的变化。
[0147] 如以上说明的那样,根据本发明的图像处理程序GP、和通过执行该图像处理程序 而实现的图像解析方法以及图像处理装置100,根据在规定时间拍摄的细胞观察像计算出 拍摄时的细胞全体的总运动统计量(总引力斥力量)。因此,可提供一种迅速且定量掌握细 胞的运动状态的技术。
[0148] 如上所述,在细胞的增殖中,社会性相互作用是重要的。在本发明中,通过计算出 引力、斥力,可定量地评价吸引其他细胞而形成根基的过程、向其他种类的细胞的侵袭过 程。即,可以在与其他细胞隔离,抑制正常的增殖的试剂的筛选、和抑制向其他细胞的侵袭 的试剂筛选的中使用。

Claims (34)

  1. 一种细胞观察的图像解析方法,其特征在于,取得由摄像装置拍摄且在观察区域内包含多个细胞的第1图像、和由所述摄像装置在拍摄所述第1图像的规定时间之前拍摄的所述观察区域的第2图像,从所述第1图像中包含的多个细胞中选择1个细胞作为目标细胞,把位于所述目标细胞周围的细胞作为周边细胞,根据所述第1图像和所述第2图像中的所述目标细胞和所述周边细胞的相对移动量,计算出各个所述周边细胞相对所述目标细胞的运动统计量,能够判断与所述目标细胞相关的各个所述周边细胞的相互作用的状态。
  2. 2.根据权利要求1所述的细胞观察的图像解析方法,其特征在于,对通过把所述选择的1个目标细胞顺次置换为位于所述观察区域内的其他细胞而求 出的所述运动统计量进行总和计算,计算出所述观察区域内的细胞全体的总和运动统计 量,根据所述总和运动统计量,能够判断所述观察区域内的细胞之间的相互作用的状态。
  3. 3.根据权利要求1或2所述的细胞观察的图像解析方法,其特征在于, 所述运动统计量是所述周边细胞相对所述目标细胞的运动量。
  4. 4.根据权利要求1或2所述的细胞观察的图像解析方法,其特征在于, 所述运动统计量是所述周边细胞相对所述目标细胞的运动能。
  5. 5.根据权利要求1至4中任意一项所述的细胞观察的图像解析方法,其特征在于, 对所述运动统计量进行基于所述目标细胞与所述周边细胞的距离的加权。
  6. 6.根据权利要求1至5中任意一项所述的细胞观察的图像解析方法,其特征在于, 所述相互作用的状态是引力或斥力的作用状态。
  7. 7. 一种细胞观察的图像处理程序,其特征在于,包括:取得由摄像装置拍摄且在观察区域内包含多个细胞的第1图像、和由所述摄像装置在 拍摄所述第1图像的规定时间之前拍摄的所述观察区域的第2图像的步骤; 从所述第1图像中包含的多个细胞中选择1个细胞作为目标细胞的步骤; 把位于所述目标细胞周边的细胞指定为周边细胞的步骤;根据所述第1图像和所述第2图像中的所述目标细胞和所述周边细胞的相对移动量, 计算出各个所述周边细胞相对所述目标细胞的运动统计量的步骤;把计算出的各个所述周边细胞的所述运动统计量向外部输出的步骤, 能够判断与所述目标细胞相关的各个所述周边细胞的相互作用的状态。
  8. 8.根据权利要求7所述的细胞观察的图像处理程序,其特征在于,包括:对通过把所述选择的1个目标细胞顺次置换为位于所述观察区域内的其他细胞而求 出的所述运动统计量进行总和计算,计算出所述观察区域内的细胞全体的总和运动统计量 的步骤;把计算出的所述总和运动统计量向外部输出的步骤,根据所述总和运动统计量,能够判断所述观察区域内的细胞之间的相互作用的状态。
  9. 9.根据权利要求7或8所述的细胞观察的图像处理程序,其特征在于, 所述运动统计量是所述周边细胞相对所述目标细胞的运动量。
  10. 10.根据权利要求7或8所述的细胞观察的图像处理程序,其特征在于,所述运动统计量是所述周边细胞相对所述目标细胞的运动能。
  11. 11.根据权利要求7至10中任意一项所述的细胞观察的图像处理程序,其特征在于, 对所述运动统计量进行基于所述目标细胞与所述周边细胞的距离的加权。
  12. 12.根据权利要求7至11中任意一项所述的细胞观察的图像处理程序,其特征在于, 所述相互作用的状态是引力或斥力的作用状态。
  13. 13.根据权利要求8至12中任意一项所述的细胞观察的图像处理程序,其特征在于,包括:对由所述摄像装置在每个所述规定时间拍摄的3个以上的图像,把拍摄到的图像顺次 作为所述第1图像,计算出每个所述规定时间的所述总和运动统计量,在图像显示装置中 按照时间系列排列显示的步骤,能够掌握所述总和运动统计量的时间性变化。
  14. 14. 一种细胞观察的图像处理装置,其特征在于,具有: 对细胞进行拍摄的摄像装置;图像存储部,其保存由所述摄像装置拍摄的第1图像、和由所述摄像装置在拍摄所述 第1图像的规定时间之前拍摄的第2图像;图像解析部,其根据所述第1图像和所述第2图像,解析位于观察区域内的多个所述细 胞之间的相互作用的状态;输出部,其输出基于所述图像解析部的解析数据,在所述图像解析部中,对于从在所述第1图像的所述观察区域中包含的多个细胞中选 择的1个目标细胞、和位于所述目标细胞周边的周边细胞,根据所述第1图像和所述第2图 像中的所述目标细胞于所述周边细胞的相对移动量,计算出各个所述周边细胞相对所述目 标细胞的运动统计量,把在所述图像解析部中计算出的所述运动统计量,从所述输出部输出。
  15. 15.根据权利要求14所述的细胞观察的图像处理装置,其特征在于,对通过把所述选择的1个目标细胞顺次置换为位于所述观察区域内的其他细胞而求 出的所述运动统计量进行总和计算,计算出所述观察区域内的细胞全体的总和运动统计 量,把在所述图像解析部中计算出的所述总和运动统计量,从所述输出部输出。
  16. 16.根据权利要求14或15所述的细胞观察的图像处理装置,其特征在于, 所述运动统计量是所述周边细胞相对所述目标细胞的运动量。
  17. 17.根据权利要求14或15所述的细胞观察的图像处理装置,其特征在于, 所述运动统计量是所述周边细胞相对所述目标细胞的运动能。
  18. 18.根据权利要求14至17中任意一项所述的细胞观察的图像处理装置,其特征在于, 对所述运动统计量进行基于所述目标细胞与所述周边细胞的距离的加权。
  19. 19.根据权利要求14至18中任意一项所述的细胞观察的图像处理装置,其特征在于, 所述相互作用的状态是引力或斥力的作用状态。
  20. 20.根据权利要求15至19中任意一项所述的细胞观察的图像处理装置,其特征在于, 具有显示图像的图像显示装置,在所述图像解析部中,对由所述摄像装置在每个所述规定时间拍摄的3个以上的图像,把拍摄到的图像顺次作为所述第1图像,计算出每个所述规定时间的所述总和运动统 计量,把每个所述规定时间的所述总和运动统计量,从所述输出部输出到所述图像显示装 置,在图像显示装置中按照时间系列排列显示,能够在视觉上掌握总和运动统计量的时间 性变化。
  21. 21. 一种细胞观察的图像解析方法,其特征在于,取得由摄像装置拍摄且在观察区域内包含多个细胞的第1图像、和由所述摄像装置在 拍摄所述第1图像的规定时间之前拍摄的所述观察区域的第2图像, 从所述第1图像中包含的多个细胞中选择1个细胞作为目标细胞, 把位于所述目标细胞周围的细胞作为周边细胞,根据所述第1图像和所述第2图像中的所述目标细胞和所述周边细胞的相对移动量, 计算出各个所述周边细胞相对所述目标细胞的速度的统计量,能够判断与所述目标细胞相关的各个所述周边细胞的相互作用的状态。
  22. 22.根据权利要求21所述的细胞观察的图像解析方法,其特征在于,对通过把所述选择的1个目标细胞顺次置换为位于所述观察区域内的其他细胞而求 出的所述速度的统计量进行总和计算,计算出所述观察区域内的细胞全体的总和速度统计 量,根据所述总和速度统计量,能够判断所述观察区域内的细胞之间的相互作用的状态。
  23. 23.根据权利要求21或22所述的细胞观察的图像解析方法,其特征在于, 对所述速度的统计量进行基于所述目标细胞与所述周边细胞的距离的加权。
  24. 24.根据权利要求21至23中任意一项所述的细胞观察的图像解析方法,其特征在于, 所述相互作用的状态是弓I力或斥力的作用状态。
  25. 25. 一种细胞观察的图像处理程序,其特征在于,包括:取得由摄像装置拍摄且在观察区域内包含多个细胞的第1图像、和由所述摄像装置在 拍摄所述第1图像的规定时间之前拍摄的所述观察区域的第2图像的步骤; 从所述第1图像中包含的多个细胞中选择1个细胞作为目标细胞的步骤; 把位于所述目标细胞周边的细胞指定为周边细胞的步骤;根据所述第1图像和所述第2图像中的所述目标细胞和所述周边细胞的相对移动量, 计算出各个所述周边细胞相对所述目标细胞的速度的统计量的步骤; 把计算出的各个所述周边细胞的所述速度统计量向外部输出的步骤, 能够判断与所述目标细胞相关的各个所述周边细胞的相互作用的状态。
  26. 26.根据权利要求25所述的细胞观察的图像处理程序,其特征在于,包括:对通过把所述选择的1个目标细胞顺次置换为位于所述观察区域内的其他细胞而求 出的所述速度的统计量进行总和计算,计算出所述观察区域内的细胞全体的总和速度统计 量的步骤;把计算出的所述总和速度统计量向外部输出的步骤,根据所述总和速度统计量,能够判断所述观察区域内的细胞之间的相互作用的状态。
  27. 27.根据权利要求25或26所述的细胞观察的图像处理程序,其特征在于, 对所述速度的统计量进行基于所述目标细胞与所述周边细胞的距离的加权。
  28. 28.根据权利要求25至27中任意一项所述的细胞观察的图像解析程序,其特征在于, 所述相互作用的状态是引力或斥力的作用状态。
  29. 29.根据权利要求26至28中任意一项所述的细胞观察的图像处理程序,其特征在于, 包括:对由所述摄像装置在每个所述规定时间拍摄的3个以上的图像,把拍摄到的图像顺次 作为所述第1图像,计算出每个所述规定时间的所述总和速度统计量,在图像显示装置中 按照时间系列排列显示的步骤,能够掌握所述总和速度统计量的时间性变化。
  30. 30. 一种细胞观察的图像处理装置,其特征在于,具有: 对细胞进行拍摄的摄像装置;图像存储部,其保存由所述摄像装置拍摄的第1图像、和由所述摄像装置在拍摄所述 第1图像的规定时间之前拍摄的第2图像;图像解析部,其根据所述第1图像和所述第2图像,解析位于观察区域内的多个所述细 胞之间的相互作用的状态;输出部,其输出基于所述图像解析部的解析数据,在所述图像解析部中,对于从在所述第1图像的所述观察区域中包含的多个细胞中选 择的1个目标细胞、和位于所述目标细胞周边的周边细胞,根据所述第1图像和所述第2图 像中的所述目标细胞于所述周边细胞的相对移动量,计算出各个所述周边细胞相对所述目 标细胞的速度的统计量,把在所述图像解析部中计算出的所述速度的统计量,从所述输出部输出。
  31. 31.根据权利要求30所述的细胞观察的图像处理装置,其特征在于,对通过把所述选择的1个目标细胞顺次置换为位于所述观察区域内的其他细胞而求 出的所述速度统计量进行总和计算,计算出所述观察区域内的细胞全体的总和速度统计 量,把在所述图像解析部中计算出的所述总和速度统计量,从所述输出部输出。
  32. 32.根据权利要求30或31所述的细胞观察的图像处理装置,其特征在于, 对所述速度的统计量进行基于所述目标细胞与所述周边细胞的距离的加权。
  33. 33.根据权利要求30至32中任意一项所述的细胞观察的图像处理装置,其特征在于, 所述相互作用的状态是引力或斥力的作用状态。
  34. 34.根据权利要求31至33中任意一项所述的细胞观察的图像处理装置,其特征在于, 具有显示图像的图像显示装置,在所述图像解析部中,对由所述摄像装置在每个所述规定时间拍摄的3个以上的图 像,把拍摄到的图像顺次作为所述第1图像,计算出每个所述规定时间的所述总和速度统 计量,把每个所述规定时间的所述总和速度统计量,从所述输出部输出到所述图像显示装 置,在图像显示装置中按照时间系列排列显示,能够在视觉上掌握总和速度统计量的时间 性变化。
CN2009801014189A 2008-03-24 2009-03-12 细胞观察的图像解析方法、图像处理程序和图像处理装置 Pending CN101903532A (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2008075668A JP2009229274A (ja) 2008-03-24 2008-03-24 細胞観察の画像解析方法、画像処理プログラム及び画像処理装置
JP2008075670A JP2009229276A (ja) 2008-03-24 2008-03-24 細胞観察の画像解析方法、画像処理プログラム及び画像処理装置
JP2008-075668 2008-03-24
JP2008-075670 2008-03-24
PCT/JP2009/054758 WO2009119330A1 (ja) 2008-03-24 2009-03-12 細胞観察の画像解析方法、画像処理プログラム及び画像処理装置

Publications (1)

Publication Number Publication Date
CN101903532A true CN101903532A (zh) 2010-12-01

Family

ID=41113528

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009801014189A Pending CN101903532A (zh) 2008-03-24 2009-03-12 细胞观察的图像解析方法、图像处理程序和图像处理装置

Country Status (4)

Country Link
US (1) US9080935B2 (zh)
EP (1) EP2270198A4 (zh)
CN (1) CN101903532A (zh)
WO (1) WO2009119330A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103926421A (zh) * 2014-05-07 2014-07-16 河北工业大学 一种用于细胞筛选的自相关速度探测装置
CN103996204A (zh) * 2013-02-14 2014-08-20 索尼公司 分析系统、分析程序和分析方法
CN105847633A (zh) * 2011-02-28 2016-08-10 索尼公司 图像处理设备及其图像处理方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5659158B2 (ja) * 2009-07-21 2015-01-28 国立大学法人京都大学 画像処理装置、培養観察装置、及び画像処理方法
JP6139403B2 (ja) 2011-03-24 2017-05-31 株式会社ニコン 培養装置、培養装置システム、培養操作管理方法およびプログラム
RU2466680C1 (ru) 2011-10-03 2012-11-20 Общество С Ограниченной Ответственностью "Витацел" Способ диагностики состояния кожи пациента (варианты)
US9389229B2 (en) 2012-07-18 2016-07-12 Theranos, Inc. Methods for detecting and measuring aggregation
JP6217968B2 (ja) * 2013-07-19 2017-10-25 ソニー株式会社 画像処理装置および方法、並びにプログラム
CN105793694A (zh) * 2013-12-12 2016-07-20 梅斯医疗电子系统有限公司 家庭测试设备
US10423819B2 (en) * 2017-10-31 2019-09-24 Chung Yuan Christian University Method and apparatus for image processing and visualization for analyzing cell kinematics in cell culture
WO2020229201A1 (en) * 2019-05-13 2020-11-19 Vrije Universiteit Brussel Methods and systems for particle characterisation

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3298355B2 (ja) * 1994-04-14 2002-07-02 三菱電機株式会社 目標物検出装置
EP1348124B1 (en) * 2000-12-22 2004-05-19 Cellomics, Inc. Identification of individual cells during kinetic assays
US7711174B2 (en) * 2004-05-13 2010-05-04 The Charles Stark Draper Laboratory, Inc. Methods and systems for imaging cells
JP2006006131A (ja) * 2004-06-22 2006-01-12 Kishu Hosokawa:Kk 抗菌力試験法および抗耐性ピロリ菌薬、ピロリ菌の発生を予防する方法ならびに梅抽出物の使用方法
JP4521572B2 (ja) * 2004-12-08 2010-08-11 国立大学法人大阪大学 細胞の評価方法、細胞測定用システム、及び細胞測定用プログラム
WO2006104201A1 (ja) * 2005-03-29 2006-10-05 Olympus Corporation 細胞画像解析方法、細胞画像解析プログラム、細胞画像解析装置、スクリーニング方法およびスクリーニング装置
US20120028288A1 (en) * 2005-12-07 2012-02-02 Nao Nitta Method for Measuring Cell Motility and System Therefor
JP2010525299A (ja) * 2007-02-09 2010-07-22 ジーイー・ヘルスケア・バイオサイエンス・コーポレイション 生体物質の動きを追跡するシステム及び方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10311581B2 (en) 2011-02-28 2019-06-04 Sony Corporation Display control and image processing of a cell image
US10650534B2 (en) 2011-02-28 2020-05-12 Sony Corporation Display control and image processing of a cell image
CN105847633A (zh) * 2011-02-28 2016-08-10 索尼公司 图像处理设备及其图像处理方法
CN105847633B (zh) * 2011-02-28 2019-05-28 索尼公司 图像处理设备及其图像处理方法
CN103996204B (zh) * 2013-02-14 2017-10-31 索尼公司 分析系统和分析方法
CN103996204A (zh) * 2013-02-14 2014-08-20 索尼公司 分析系统、分析程序和分析方法
CN103926421B (zh) * 2014-05-07 2017-02-08 河北工业大学 一种用于细胞筛选的自相关速度探测装置
CN103926421A (zh) * 2014-05-07 2014-07-16 河北工业大学 一种用于细胞筛选的自相关速度探测装置

Also Published As

Publication number Publication date
WO2009119330A1 (ja) 2009-10-01
EP2270198A1 (en) 2011-01-05
US20110013821A1 (en) 2011-01-20
US9080935B2 (en) 2015-07-14
EP2270198A4 (en) 2013-03-27

Similar Documents

Publication Publication Date Title
CN101903532A (zh) 细胞观察的图像解析方法、图像处理程序和图像处理装置
CN101868808B (zh) 隔时图像的图像处理方法和图像处理装置
JP5783043B2 (ja) 細胞塊の状態判別手法、この手法を用いた画像処理プログラム及び画像処理装置、並びに細胞塊の製造方法
CN102782561B (zh) 对生物有机体进行时间相关的显微镜检查的系统和方法
CN101970681A (zh) 细胞观察中的活细胞判别方法、细胞观察的图像处理程序和图像处理装置
CN105907634A (zh) 细胞图像捕捉和远程监控方法
Pennekamp et al. Implementing image analysis in laboratory‐based experimental systems for ecology and evolution: a hands‐on guide
Wells et al. Recovering the dynamics of root growth and development using novel image acquisition and analysis methods
US20120134571A1 (en) Cell classification method, image processing program and image processing device using the method, and method for producing cell aggregation
WO2011013319A1 (ja) 細胞塊の成熟判定手法、この手法を用いた画像処理プログラム及び画像処理装置、並びに細胞塊の製造方法
CN106133503B (zh) 球状体评价方法以及球状体评价装置
JPWO2010098105A1 (ja) 培養状態評価装置、培養状態評価方法、インキュベータおよびプログラム
CN103502422A (zh) 图像捕捉和照明设备
CN105247035A (zh) 分析细胞和监测细胞培养的系统和利用该系统分析细胞和监测细胞培养的方法
WO2010146802A1 (ja) 細胞塊の状態判別手法、この手法を用いた画像処理プログラム及び画像処理装置、並びに細胞塊の製造方法
Navarro et al. Development of a configurable growth chamber with a computer vision system to study circadian rhythm in plants
CN101351736A (zh) 发光测量装置及发光测量方法
CN101868553A (zh) 细胞观察图像的图像解析方法、图像处理程序和图像处理装置
CN105136665A (zh) 箱内活细胞培养网络型智能成像分析仪
US20190383730A1 (en) Multispectral image analysis system
Zaborowicz et al. Computer image analysis in obtaining characteristics of images: greenhouse tomatoes in the process of generating learning sets of artificial neural networks
JP2009229276A (ja) 細胞観察の画像解析方法、画像処理プログラム及び画像処理装置
Pollina et al. PlanktonScope: Affordable modular imaging platform for citizen oceanography
CN110447037A (zh) 胚胎发育分析系统、胚胎发育图像分析方法、非暂时性计算机可读介质和胚胎发育分析图像处理装置
Elsherbiny et al. Integration of Visible and Thermal Imagery with an Artificial Neural Network Approach for Robust Forecasting of Canopy Water Content in Rice

Legal Events

Date Code Title Description
PB01 Publication
C06 Publication
SE01 Entry into force of request for substantive examination
C10 Entry into substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20101201

C02 Deemed withdrawal of patent application after publication (patent law 2001)