CN102906789B - 数据处理装置、数据处理方法、图像处理装置和方法以及程序 - Google Patents

数据处理装置、数据处理方法、图像处理装置和方法以及程序 Download PDF

Info

Publication number
CN102906789B
CN102906789B CN201180025497.7A CN201180025497A CN102906789B CN 102906789 B CN102906789 B CN 102906789B CN 201180025497 A CN201180025497 A CN 201180025497A CN 102906789 B CN102906789 B CN 102906789B
Authority
CN
China
Prior art keywords
motion
unit
assessment
data
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201180025497.7A
Other languages
English (en)
Other versions
CN102906789A (zh
Inventor
国弘威
内田真史
松居惠理子
早川智广
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102906789A publication Critical patent/CN102906789A/zh
Application granted granted Critical
Publication of CN102906789B publication Critical patent/CN102906789B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/223Analysis of motion using block-matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • G06T7/0016Biomedical image inspection using an image reference approach involving temporal comparison
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30048Heart; Cardiac
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695Preprocessing, e.g. image segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition

Abstract

本公开涉及能生成用于对培养的心肌细胞进行精确地和详细地评估的评估指标数据的数据处理装置和数据处理方法。运动检测单元将帧图像数据划分成块并且获得每个帧周期的以块为单位的运动检测数据,所述帧图像数据是通过对培养的心肌细胞拍摄预定的时间而获得的。特征量计算单元使用运动检测数据计算帧图像中的同一位置处的每个块的特征量。分类处理单元使用所计算的特征量将每个块分类成多个分类类别中的任何一个分类类别。根据分类结果,生成了由个体分类结果数据组成的评估指标数据,所述个体分类结果数据表示块与分类类别之间的对应关系。

Description

数据处理装置、数据处理方法、图像处理装置和方法以及程序
技术领域
本公开涉及数据处理装置、数据处理方法、图像处理装置及方法和程序,更具体地讲,涉及当对进行具有周期性的运动的物体执行评估时生成变为指标(index)的数据的数据处理装置及其方法、图像处理装置和方法以及程序。
背景技术
在再生医学领域,已经实现了使用由培养细胞制备的所培养的细胞来对由于事故、疾病等而失去的身体的细胞、组织、器官等进行再生并进行功能恢复。可被制备成这样所培养细胞的细胞组织涵盖众多领域,这些领域之一中的心肌细胞被用于心脏治疗。所培养的心肌细胞自身具有与搏动(pulsation)相对应的运动。这里,在所培养的心肌细胞的制备阶段,例如,有必要对这种运动是否是良好的执行质量评估。
当对培养的心肌细胞执行这种质量评估时,例如,在当前情形下,执行目视观察。此外,通过将电极刺入培养的心肌细胞来测量电位。然而,目视观察十分依赖于观察者的观点,并且较难得到客观且精确的评估结果。此外,在测量电位的情况下,培养的心肌细胞与电极接触,并且因此存在着不是非侵害性的问题。此外,可以基于对电位的测量进行量化的信息仅仅局限于例如搏动时间。
这里,作为根据现有技术的一种技术,已知这样一种配置:测量点是根据对心肌细胞进行拍照而获得的成像画面而设置的,测量点的亮度被自动测量并且从所测得的值来测量心肌细胞的变形周期(例如,参考PTL1)。
引用列表
专利文献
PTL 1:日本未经实审的专利申请公报No.63-233392(图1)
发明内容
技术问题
然而,在根据以上描述的相关技术的该技术中,由于亮度的周期性变化是测量的对象,所以能被测量的对象局限于搏动周期的时间间隔。即,尽管该技术是非侵害性的,但是可以被量化的信息局限于搏动的周期的事实,使得存在与测量电位的情况中相同的问题,并且仍然难以获得精确的评估结果。
本公开已考虑了上述情形,并且其目的是与对由培养的心肌细胞等表示的、进行周期性运动的物体的运动执行的评估相比,以更高的精度来执行精确的评估。
问题的解决方案
作出本公开以解决这些问题。根据第一方面,一种数据处理装置包括:运动检测单元,其将多个帧图像数据划分成根据预定像素数的排列的块并且检测每个相应块的运动的时间序列数据,所述多个帧图像数据形成具有物体的图像内容的运动图像数据,所述物体执行周期性的运动;特征量计算单元,其根据所检测的每个块的运动的时间序列数据计算每个块的至少一种特征量;以及分类处理单元,其基于所述计算出的特征量来生成分类数据,所述分类数据表示将形成所述多个帧图像数据中的任何一个的每个块分类到预定数量的分类类别中的任何一个中的结果。因此,存在根据以特征量为基础设置的分类类别来对进行周期性运动的物体的图像进行分类的效果。
此外,在第一方面中,所述特征量计算单元可以对于每个块计算多种的所述特征量,并且所述分类单元可以根据计算的多种的所述特征量生成所述分类数据。因此,存在根据基于多个特征量的组合设置的分类类别来对进行周期性运动的物体的图像进行分类的效果。
此外,在第一方面中,所述特征量计算单元可以计算平均运动方向作为所述特征量的一种,所述平均运动方向是在预定的时间内每单位时间的运动方向的平均值。因此,存在根据基于至少所述平均运动方向设置的分类类别对进行周期性运动的对象的图像进行分类的效果。
此外,在第一方面中,所述特征量计算单元可以计算计算平均运动量作为所述特征量的一种,所述平均运动量是在预定的时间内每单位时间的运动量的平均值。因此,存在根据基于至少所述平均运动量设置的分类类别对进行周期性运动的对象的图像进行分类的效果。
此外,在第一方面中,所述特征量计算单元可以计算平均幅度作为所述特征量的一种,所述平均幅度是在预定的时间内获得的具有预定的或更高的运动量的幅度的平均值。因此,存在根据基于至少所述平均幅度设置的分类类别对进行周期性运动的对象的图像进行分类的效果。
此外,在第一方面中,所述特征量计算单元可以计算平均加速度作为所述特征量的一种,所述平均加速度是在预定的时间内每单位时间的运动加速度的平均值。因此,存在根据基于至少所述平均加速度设置的分类类别对进行周期性运动的对象的图像进行分类的效果。
此外,在第一方面中,所述特征量计算单元可以计算平均运动间隔作为所述特征量的一种,所述平均运动间隔是在预定的时间内在其中获得具有预定的或更高的运动量的幅度的时间间隔的平均值。因此,存在根据基于至少所述平均运动间隔设置的分类类别对进行周期性运动的对象的图像进行分类的效果。
此外,在第一方面中,所述特征量计算单元可以计算运动开始时间作为所述特征量的一种,所述运动开始时间是从预定的时刻到获得具有固定的或更高的运动量的幅度时的时刻为止的时间。因此,存在根据基于至少所述运动开始时间设置的分类类别对进行周期性运动的对象的图像进行分类的效果。
此外,在第一方面中,所述分类单元可以执行以下处理:与所述多个分类类别对应地计算具有不同的特征量的组合的多个模板中的每一个模板和所述块之间的距离,并且针对每一个块,根据所计算的距离来将所述块分类到所述多个分类类别中的任何一个分类类别。因此,存在基于所述多个模板的每个与所述块之间的距离来获得分类结果的效果。
所述分类单元可以通过基于与每个所述块相对应地计算出的特征量根据k平均法执行聚类,来将每个所述块分类到预定数量的分类类别中的任何一个分类类别。因此,存在通过k平均法获得分类结果的效果。
根据本公开的另一方面,一种图像处理装置包括:运动检测单元,其使用评估对象的图像来检测所述评估对象的运动;指标数据生成单元,其通过使用表示所述运动检测单元检测到的所述评估对象的运动的运动矢量来生成指标数据,所述指标数据表示所述评估对象的运动的特征并且被用作对所述评估对象进行评估的指标;以及评估值计算单元,其评估所述指标数据生成单元生成的指标数据并且计算评估值。
所述指标数据生成单元可以生成与所述评估对象的运动的幅度的大小有关的指标数据、和与所述评估对象的运动的峰值的单位时间频率有关的指标数据,并且所述评估值计算单元可以使用所述指标数据生成单元生成的与所述评估对象的运动的幅度的大小有关的指标数据来计算对所述评估对象的运动的幅度的大小进行评估的评估值,并且还可以使用所述指标数据生成单元生成的与所述评估对象的运动的峰值的单位时间频率有关的指标数据来计算对所述评估对象的运动的峰值的单位时间频率进行评估的评估值。
与所述评估对象的运动的幅度的大小有关的指标数据可以是在所述评估对象的整个图像上的归一化的所述幅度和归一化的所述幅度的离差的乘积的平均值。
与所述评估对象的运动的幅度的大小有关的指标数据可以是归一化的幅度和归一化的幅度的离差的乘积的值高于或等于预定阈值的区域相对于所述评估对象的整个图像的比例。
与所述评估对象的运动的峰值的单位时间频率有关的指标数据可以是在整个画面上归一化的单位时间的峰值数与归一化的单位时间的峰值数的离差的乘积的平均值。
与所述评估对象的运动的峰值的单位时间频率有关的指标数据可以是归一化的单位时间的峰值数与归一化的单位时间的峰值数的离差的乘积的值高于或等于预定阈值的区域相对于所述评估对象的整个图像的比例。
所述指标数据生成单元还可以根据所述评估对象的运动的特征量生成与将所述评估对象的图像的每个部分区域进行分类的分类结果有关的指标数据,
并且,所述评估值计算单元还可以使用所述指标数据生成单元生成的与分类结果有关的指标数据来计算对所述评估对象的运动的特征量的分类结果进行评估的评估值。
所述指标数据生成单元可以计算由所述运动检测单元检测的评估对象的运动量,并且所述评估值计算单元可以生成由所述指标数据生成单元计算的所述运动量相对于时间的变化的图像以便进行显示。
所述指标数据生成单元可以生成如下指标数据,所述指标数据表示在所计算的运动量相对于时间的变化中、表示作为所述评估对象的心肌细胞的舒张的波形峰值由于对心肌细胞施用药物而产生的变化,并且所述评估值计算单元可以评估由所述指标数据生成单元计算出的所述指标数据并且计算评估值。
可以进一步包括对评估对象进行成像并且获得评估对象的图像的成像单元,并且运动检测单元可以使用所述成像单元获得的评估对象的图像来检测所述评估对象的运动。
所述运动检测单元可以检测所述评估对象的图像中具有预定长度的评估期间中的各帧图像之间的所述评估对象的运动,所述评估对象的图像是运动图像。
所述运动检测单元可以将所述评估期间的所述评估对象的运动的检测重复进行预定的次数。
所述评估值计算单元可以评估由所述指标数据生成单元生成的多种指标数据中的每一种指标数据以计算所述评估值,并且对所计算的评估值进行整合,从而计算出对所述评估对象进行评估的评估值。
所述评估对象可以是自发运动的细胞。
所述评估对象可以是通过对从活体采集的细胞进行培养而产生的培养细胞。
根据本公开的另一方面,此外,一种图像处理方法包括:由图像处理装置的运动检测单元使用评估对象的图像来检测所述评估对象的运动;由图像处理装置的指标数据生成单元通过使用表示所检测到的所述评估对象的运动的运动矢量来生成指标数据,所述指标数据表示所述评估对象的运动的特征并且被用作对所述评估对象进行评估的指标;以及由所述图像处理装置的评估值计算单元对所生成的指标数据进行评估并且计算评估值。
根据本公开的另一方面,此外,一种程序使计算机具有如下功能:运动检测单元,其使用评估对象的图像来检测所述评估对象的运动;指标数据生成单元,其通过使用表示检测到的所述评估对象的运动的运动矢量来生成指标数据,所述指标数据表示所述评估对象的运动的特征并且被用作对所述评估对象进行评估的指标;以及评估值计算单元,其评估所生成的指标数据并且计算评估值。
根据本公开的另一方面,通过使用评估对象的图像来检测评估对象的运动,使用表示所检测的评估对象的运动的运动矢量,生成表示评估对象的运动的特征并且用作对评估对象进行评估的指标的指标数据,评估所生成的指标数据,并且计算评估值。
发明的有益效果
根据本公开,存在获得分类数据的良好效果,所述分类数据成为能以高精度对进行周期性运动的对象进行精确评估的指标。
附图说明
图1示出培养的心肌细胞评估系统100的配置示例。
图2是图示评估指标数据生成设备300的配置示例的框图。
图3是示意性地图示评估对象图像数据600的结构示例的示意图。
图4是示出运动检测单元310的配置示例的框图。
图5是示意性地示出将帧图像数据610划分成块611的处理的示意图。
图6是示意性地图示运动检测数据700的结构示例的示意图。
图7是图示所计算的特征量的示例的示意图。
图8是作为根据第一实施例计算的特征量之一的、与平均运动方向相对应地为各个模板设置的角度值的示例的示意图。
图9是示意性地图示评估指标数据800的结构示例的示意图。
图10是示出根据第一实施例的评估指标数据生成设备300执行的处理的序列的示例的流程图。
图11是示出根据第二实施例的评估指标数据生成设备300执行的处理的序列的示例的流程图。
图12是说明细胞的其他评估方法的概要的示意图。
图13是图示培养的心肌细胞评估装置的主要配置示例的框图。
图14是图示图13的评估指标数据生成单元的主要配置示例的框图。
图15是用于说明存储在运动特征量数据历史存储器中的数据的形态的示意图。
图16是图示图13的评估单元的主要配置示例的框图。
图17是用于说明幅度评估的示例的示意图。
图18是用于说明幅度评估的示例的示意图。
图19是用于说明搏动评估的示例的示意图。
图20是用于说明搏动评估的示例的示意图。
图21是用于说明评估处理的流程的示例的流程图。
图22是用于说明评估指标数据生成处理的流程的示例的流程图。
图23为用于说明运动评估处理的流程的示例的流程图。
图24是图示药物评估装置的主要配置示例的框图。
图25是用于说明由于搏动引起的运动量相对于时间的变化形态的示例的示意图。
图26是图示评估指标数据生成单元的主要配置示例的框图。
图27是图示评估单元的主要配置示例的框图。
图28是用于说明评估处理的流程的示例的流程图。
图29是用于说明评估指标数据生成处理的流程的示例的流程图。
图30是用于说明影响评估处理的流程的示例的流程图。
图31是图示由于施用药物而导致搏动节奏变化的形态的示例的示图。
图32是用于说明由于施用药物而导致的搏动行为变化的形态的示意图。
图33是图示个人计算机的主要配置示例的框图。
具体实施方式
以下将会描述用于实施本技术的实施例(以下称作实施例)。将按照以下顺序进行描述。
1.第一实施例(评估指标数据生成处理:使用模板执行分类处理的示例)
2.第二实施例(评估指标数据生成处理:使用k平均法执行分类处理的示例)
3.第三实施例(培养的心肌细胞评估装置)
4.第四实施例(药物评估装置)
5.第五实施例(个人计算机)
<1.第一实施例>
【培养的心肌细胞评估系统的配置示例】
图1图示了培养的心肌细胞评估系统100的配置示例。图中图示的培养的心肌细胞评估系统100用于对培养的心肌细胞500的质量进行评估。
在再生医学中,通过使用体外培养的细胞来治疗人体的各种组织、器官等。培养的心肌细胞500被培养作为治疗心脏病的细胞。目前,存在如下情形:已经开发了以低成本大批量生成这种培养细胞并且提供足够数量的细胞用于医疗实践的技术。在实现这样大批量生产所培养的细胞的情形的情况中,需要高效地并且精确地评估所培养的细胞。
培养的心肌细胞500自身进行与搏动相对应的运动。培养的心肌细胞500的质量可以通过评估与搏动相对应的运动是否是良好的来确定。根据这一点,培养的心肌细胞评估系统100记录具有被拍摄的培养的心肌细胞500的运动图像数据并且基于所记录的运动图像数据的运动检测结果来执行评估。因此,获得了比非侵害性的和视觉的评估结果更加详细且精确的结果。
作为用于此的配置,培养的心肌细胞评估系统100包括例如如图所示的成像设备110,评估对象图像数据生成及记录设备200,评估指标数据生成设备300和评估设备400。
成像设备110用于拍摄作为评估对象的培养的心肌细胞500。此外,在此图中,图示了成像设备110直接拍摄培养的心肌细胞500的状态。然而,在实践中,例如,在此配置中对培养的心肌细胞500的显微图像成像。此外,在成像期间,成像设备110的成像位置相对于培养的心肌细胞500处于固定状态。
评估对象图像数据生成及记录设备200是用于根据从成像设备110输入的图象信号生成评估对象图像数据并且在例如其中的记录介质中记录及保存所生成的评估对象图像数据的设备。
这里生成的评估对象图像数据成为例如从所成像的培养的心肌细胞500的图象信号产生的运动图像数据。
评估指标数据生成设备300例如是接收被保存为评估对象图像数据生成及记录设备200中的评估对象图像数据的运动图像数据并且生成用作对培养的心肌细胞500进行评估的指标的评估指标数据的设备。评估设备400是通过对评估指标数据生成设备300生成的评估指标数据进行处理而获得评估结果的设备。
【评估指标数据生成设备的配置示例】
图2图示了评估指标数据生成设备300的配置示例。该图中图示的评估指标数据生成设备300包括运动检测单元310、运动检测数据存储单元320、特征量计算单元330和分类处理单元340。此外,该图中图示的评估对象图像数据600是通过再现记录在评估对象图像数据生成及记录设备200中的数据获得的,并且是包括如上所述的帧图像数据的运动图像数据。
运动检测单元310是接收评估对象图像数据600并且执行运动检测处理的单元。此外,随后将会描述在此情况中运动检测单元310执行的运动检测处理的具体示例和运动检测数据的结构示例。此外,运动检测数据存储单元320是存储由运动检测单元310的运动检测处理获得的作为检测结果的运动检测数据的单元。
特征量计算单元330是通过使用存储在运动检测数据存储单元320中的运动检测数据而计算并且获取预定的特征量的单元。另外,后面将描述这里计算出的特征量的示例。
分类处理单元340是用于根据与特征量计算单元330获得的特征量有关的信息通过执行分类处理而获得评估指标数据800的单元。随后将会描述分类处理的具体示例。分类处理单元340获得的评估指标数据800是权利要求书中描述的分类数据的示例。
【评估对象图像数据的结构】
图3图示了输入到评估指标数据生成设备300的评估对象图像数据600的结构示例。如该图所示,评估对象图像数据600包括与预定的时间相对应的第一至第(T+1)帧图像数据610-1至610-(T+1)。
此外,评估对象图像数据生成及记录设备200中保存作为评估对象图像数据600的运动图像数据可以按原样地包括图3中图示的帧图像数据610-1至610-T。此外,也可以采用包括帧图像数据610-1至610-T的多个区间的运动图像数据。在后者的情况中,例如,被确定用于评估的最佳的图像区间是从评估对象图像数据生成及记录设备200中保存作为评估对象图像数据600的运动图像数据中提取出来的。此外,作为图像区间的运动图像数据可以被输入到评估指标数据生成设备300作为图3的评估对象图像数据600。
【运动检测单元的配置示例】
图4图示了运动检测单元310的配置示例。该图中图示的运动检测单元310包括帧存储器311和运动矢量计算单元312。帧存储器311是保存帧图像数据610的单元,该帧图像数据610对于每个帧期间被顺序地输入作为评估对象图像数据600。
运动矢量计算单元312是计算运动矢量的单元。因此,运动矢量计算单元312接收被输入作为当前时间的评估对象图像数据600的帧图像数据,和保存在帧存储器311中的先前时间的帧图像数据。此外,使用这两个帧图像数据来计算运动矢量。所计算的运动矢量保存在运动检测数据存储单元320中作为运动检测数据700。
接下来,将会描述包括图4中图示的单元的运动检测单元310执行的处理。以上描述的运动矢量计算单元312接收当前时间的帧图像数据610和先前时间的帧图像数据610。运动矢量计算单元312以块为单位来划分所接收的帧图像数据610。即,如图5中所图示的,由帧图像数据610形成的二维像素区域在水平方向上划分成M个块并且在垂直方向上划分成N个块。结果,帧图像数据610被划分成(M×N)个块611。每个块611例如包括(16×16)个像素。在这种情况中的运动矢量计算单元312以作为处理对象的块611为单位来计算运动矢量,作为运动检测处理。此外,使用第一至第(T+1)帧图像数据610来顺序地执行运动检测处理。
此外,图6中图示了在使用第T和第(T+1)帧图像数据610的最后运动检测处理被完成的阶段中获得的运动检测数据700。首先该图中图示的运动检测数据700包括T帧单位运动检测数据710-1至710-T。通过对作为对象的针对每个帧期间获得的当前时间的帧图像数据610和先前的帧图像数据610执行运动检测处理来获得帧单位运动检测数据710-1至710-T的每个。例如,通过输入第三帧图像数据610-4和第三帧图像数据610-3作为当前时间和先前时间的帧图像数据并且在其上执行运动检测来获得第三帧单位运动检测数据710-1。
帧对应运动检测数据710-1至710-T的每个是由(M×N)个块单位运动检测数据711形成的。每个块单位运动检测数据711对应于对应的单个块611并且成为表示针对对应块611检测到的运动矢量的数据。这样,运动检测数据700具有这样的结构,其中,每个帧对应运动检测数据710具有(M×N)个块单位运动检测数据711。这意味着获得了与形成帧图像数据610的每个块611相对应的运动矢量的时间序列数据。
【由特征量计算单元计算的特征量的示例】
特征量计算单元330使用存储在运动检测数据存储单元320中的运动检测数据700来计算多个特征量。首先,将会参照图7描述由特征量计算单元330计算并且获得的特征量的示例。
图7以时间序列图示了由与某单个块611相对应的块单位运动检测数据711表示的运动矢量。即,与单个块611相对应的块单位运动检测数据711的数目也是T以便与帧对应运动检测数据710的数目是如图6中描述的T的事实相对应。图7以时间序列顺序对由T个块单位运动检测数据711表示的运动矢量进行采样。
此外,块单位运动检测数据711具有水平方向分量的运动量和垂直方向分量的运动量作为运动矢量的信息,并且在图7中,图示了水平方向分量和垂直方向分量的任何一个的运动量。在图7中,垂直轴表示运动量,并且水平轴表示帧,即,时间。
此外,在以下描述中,如图7所图示的,与预定的时间相对应的、被获得作为在时间序列方向上展开的T个块单位运动检测数据711(即,运动量的数据)的区间被称作“评估区间”。
作为可以被计算的特征量的示例,这里,假定了平均运动量Vav、平均运动方向θav、平均幅度Aav、平均加速度Bav、平均搏动间隔Dav和搏动开始时间S。基于运动矢量来获得任何这种特征量,如通过以下描述可理解的。此外,针对每个块611来获得这种特征量。
首先,将会描述平均运动量Vav。如图7所示,依据T个块单位运动检测数据711图示了运动量相对于时间的变化。这是响应于培养的心肌细胞500中产生的搏动与培养的心肌细胞500运动的状态和培养的心肌细胞500停止的状态之间的周期性变化相对应地获得的。在这一点,例如,可以说运动量相对于时间的变化具有与搏动相对应的特征。这里,在本公开中,在评估区间中获得的T个运动量的平均值被当作特征量处理。可以通过以下表达式获得平均运动量Vav,假定从每个块单位运动检测数据711中的运动矢量获得水平方向分量和垂直方向分量的运动量是Vx和Vy并且与帧顺序相对应的变量是n。
【数学式1】
即,作为平均运动量Vav,首先通过将T个块单位运动检测数据711的每个的水平方向分量和垂直方向分量的运动量Vx和Vy进行合成来获得合成的运动量V。此外,通过计算T个合成的运动量V的平均值而获得平均运动量Vav。
否则,首先计算评估周期内水平方向分量的运动量Vx的平均值(水平平均运动量Vavx)和垂直方向分量的运动量Vy的平均值(垂直平均运动量Vavy)。接下来,也可以通过将水平平均运动量Vavx和垂直平均运动量Vavy进行合成而计算平均运动量Vav。
例如,平均运动量Vav的值越高,与块611相对应的培养的心肌细胞500的一部分的搏动所对应的运动可能被评估为越大。
接下来,平均运动方向θav是在评估区间中获得的T个运动方向θ的平均值。可以通过以下表达式获得平均运动方向θav。
【数学式2】
例如,通过对应块611的平均运动方向θav在整个帧图像中的分布,可以评估培养的心肌细胞500由于搏动而运动的方向的一致性。此外,也可以评估具有不一致运动方向的部分所处的分布状态等。
例如,根据存在实际运动来作为培养的心肌细胞500的搏动的运动的情况,如图7所示,高于或等于预定值的幅度周期性地发生。平均幅度Aav是在评估居间中按照如上所述描述那样获得的高于或等于预定值的幅度的平均值。平均幅度Aav例如可以按照以下方式获得。
首先,对作为评估区间中的K个运动矢量的合成运动量V进行峰值检测,并且对所检测的峰值求平均,从而获得平均幅度Aav。否则,首先,对水平方向分量的运动量执行峰值检测,并且对所检测的峰值求平均,从而获得水平方向分量的平均幅度(水平平均幅度)Aavx。以同样的方式获得垂直方向分量的平均幅度(垂直平均幅度)Aavy。接下来,可以考虑通过执行合成水平平均幅度Aavx和垂直平均幅度Aavy的操作来计算平均幅度Aav的操作。例如,平均幅度Aav越大,与块611相对应的培养心肌细胞500的该部分的搏动所对应的运动可能被评估为越大。
此外,如图7所示,可以说运动量在时间序列上的变化也表示加速度相对于由搏动而产生的运动的变化。平均加速度Bav是在评估区间中获得的加速度的平均值并且例如可以按照以下方式获得。
首先,对由在时间序列顺序上连续的预定数量的块单位运动检测数据711所表示的合成运动量B求微分。对第一至第T块单位运动检测数据711执行此操作,从而计算评估区间中每个预定时间内的加速度B。此外,平均加速度Bav被获得作为加速度B的平均值。否则,首先,依次对由在时间序列顺序上连续的预定数量的块单位运动检测数据711所表示的水平方向分量的运动量Vx求微分以计算每个预定时间中的水平加速度Bx,并且水平平均加速度Bavx被获得作为水平加速度Bx的平均值。以同样的方法计算垂直平均加速度Bavy。此外,也可以通过合成水平平均加速度Bavx和垂直平均加速度Bavy来获得平均加速度Bav。例如,当培养的心肌细胞500响应于搏动而从静止状态改变为运动状态时,平均加速度Bav成为迅速性的指标。当平均加速度Bav较高时,培养的心肌细胞500的对应部分响应于搏动的运动可以在一定程度上被评估为活跃的。
此外,同样如之前所述,幅度的峰值响应于搏动周期性地出现。在图7中,幅度的峰值出现的时间间隔被表示为搏动间隔。平均搏动间隔Dav是评估区间中获得的搏动间隔的平均值并且可以例如按照如下方式获得。
首先,按照与获得平均幅度Aav时相同的方式进行峰值检测。此外,获得检测到峰值时的帧定时,即,时间。接下来,从检测到单个峰值的时间到检测到下一个峰值的时间的时间宽度被计算为搏动间隔D。通过计算所计算出的搏动间隔D的平均值来获得平均搏动间隔Dav。例如,通过对应块611的平均平均搏动间隔Dav在整个帧中的分布,可以评估全部培养的心肌细胞500中搏动时间间隔的一致性。此外,在关注非一致分布的情况中,可以评估搏动时间间隔的位移所处的分布状态。平均搏动间隔Dav是权利要求书中描述的平均运动间隔的示例。
此外,通过测量直到与开始评估区间之后的初始搏动的运动相对应的运动量的幅度的峰值被获得为止的时间来获得搏动开始时间S。即使对于搏动开始时间S,例如,通过对应块611的搏动开始时间S在整个帧中的分布,可以评估全部培养的心肌细胞500中搏动开始时间的一致性。此外,在关注非一致分布的情况中,可以评估搏动开始时间的位移所处的分布状态。
以此方式,基于检测到的运动矢量(运动量)来计算任何特征量。即,在本公开中,可以从运动矢量的时间序列数据来量化各种项目。
特征量计算单元330能被配置成计算六个特征量中的任何一个,假定这六个特征量包括:平均运动量Vav、平均运动方向θav、平均幅度Aav、平均加速度Bav、平均搏动间隔Dav和搏动开始时间S。例如,在实践中,执行由分类处理单元340执行的分类处理需要的特征量可以从这些特征量来计算。
【分类处理的示例】
分类处理单元340使用由特征量计算单元330按照以上描述所计算的多种特征量来执行分类处理,并且获得分类处理结果作为评估指标数据800。数种方法可以被当作是这样的分类方法,并且在此,采用被称作聚类的方法。即,设置被称作聚类的多个分类类别,并且形成图5中图示的帧图像数据610的每个块611根据其特征量被分类到多个聚类的任何一个聚类中。
作为通过聚类进行的分类处理的具体示例,在第一实施例中采用模板方法。此外,作为所采用的特征量,存在两种特征量,包括来自预先假定的特征量中的平均运动量Vav和平均运动方向θav。因此,特征量计算单元330计算平均运动量Vav和平均运动方向θav。
在这种情况中的分类处理单元340具有例如结合平均运动量Vav和平均运动方向θav的以下第一至第五模板。此外,参照图8描述这些模板。图8图示了在以下描述的第一至第五模板中指定的平均运动方向θ的具体示例。
首先,由以下表达式示出第一温度。
(Vav,θav)=(0,0)
在以上表达式中,(Vav,θav)表示平均运动量Vav与平均运动方向θav的组合。此外,以上表达式中的平均运动量Vav是“0”,并且这意味着评估区间上的运动量是0。即,第一模板具有这样的状态,其中,与块611的位置相对应的图像部分停止在评估区间中作为模板。
此外,第二模板由以下表达式表示。
(Vav,θav)=(a,0)
在以上表达式中,a可以具有除0之外的任意值作为平均运动量Vav。即,第二模板具有与块611的位置相对应的图像部分的运动和图8中图示的作为平均运动方向θav的为“0”的方向的组合来作为模板。
此外,第三模板由以下表达式表示。
(Vav,θav)=(a,π/4)
即,第三模板具有与块611的位置相对应的图像部分的运动和作为平均运动方向θav的“π/4(45°)”方向的组合来作为模板。
此外,第四模板由以下表达式表示。
(Vav,θav)=(a,π/2)
即,第四模板具有与块611的位置相对应的图像部分的运动和图8中图示的作为平均运动方向θav的“π/2(90°)”方向的组合作为模板。
此外,第五模板由以下表达式表示。
(Vav,θav)=(a,3π/4)
即,第五模板具有运动状态作为模板,在该运动状态中,存在与块611的位置相对应的图像部分的运动并且平均运动方向θ是图8中示出的3π/4(135°)的方向。
由于准备了第一至第五模板,所以存在与各个模板相对应的5个聚类。这里,分别与第一至第五模板相对应的聚类被称作第一至第五聚类。
分类处理单元340计算针对单个块611获得的特征量的组合(Vav,θav)和第一至第五模板之间的距离。此外,块611被分类到与最靠近所计算出的距离的模板相对应的聚类中。例如,当所计算出的距离最靠近第三模板时,块611被分类到第三聚类。对每个块611执行分类处理。结果,获得了具有如下内容的数据:其中,形成帧图像数据610的每个块611被分类到第一至第五聚类的任何一个聚类中。其成为第一实施例中通过分类处理获得的评估指标数据800。
图9示意性地图示了第一实施例中通过分类处理获得的评估指标数据800。如此图中所图示的,评估指标数据800包括一组(M×N)个个体分类结果数据801。个体分类结果数据801通过一一对应的方式与形成帧图像数据610的块611相匹配,并且具有表示第一至第五聚类中的哪个是对应块611被归类到的聚类的信息。在此图中,与个体分类结果数据801相对应的块611被分类到第一至第五聚类中的哪一个聚类由个体分类结果数据801中的数字1至5示出。
此外,在图9中,作为评估指标数据800,个体分类结果数据801被布置成(M×N)矩阵的结构。以此方式布置的个体分类结果数据801的每个与布置在帧图像数据610中的同一位置处的块611相对应。
例如,可以说单个帧图像中的第一至第五聚类的分布被示出在具有图9中图示的结构的评估指标数据800中。确定的是,该信息指示了在所有被成像的培养的心肌细胞500中哪些部分是运动的或哪些部分是不运动的,以及运动部分在哪个方向运动。更具体地讲,有关培养的心肌细胞500的搏动的运动可以按照以下方式确定。
例如,首先,培养的心肌细胞500需要具有运动,并且其较大部分不具有运动的培养的心肌细胞500被评估为质量差。在图9中示出的评估指标数据800中,这可以由分类到第一聚类的个体分类结果数据801的数目来评估。
此外,尽管存在由于相同的搏动引起的运动,但是培养的心肌细胞500由于尽可能在同一个方向运动因而具有更高的质量。例如,关于图9中示出的评估指标数据800,对应聚类的占有率被绘制成直方图以评估由于整体的培养的心肌细胞500中的搏动而发生的运动的方向的比率。此外,在不同的运动方向的情况中,不仅运动方向的比率,而且这种部分所处的分布状态可以通过图9中示出的聚类的分布而被精确地了解到。
在图9的评估指标数据800的示例中,在与帧图像数据610相对应的个体分类结果数据801的布置中,被分类到第三聚类的个体分类结果数据801被分布在中央的较宽区域中。这表明作为评估对象的培养心肌细胞500具有在图8图示的(π/4(45°))方向上运动的趋势。例如,在评估者想检查运动方向的这种分布状态的情况中,由评估设备400生成并且显示根据如下聚类而别分类的图像,在上述分类中被分类有与基于图9的个体分类结果数据801相对应的块611。此外,通过检查该图像,评估者可以精确地了解到培养的心肌细胞500的运动方向所处的状态。
以此方式,在第一实施例中,基于包括平均运动量Vav和平均运动方向θav的两种特征量,可以按照如上所述那样来区别并且识别培养的心肌细胞500中具有运动的部分的存在和不具有运动的部分的存在。此外,关于具有运动的部分,可以认识到运动方向的一致性程度。此外,也可以认识到不具有运动的部分以及在具有运动的部分中具有不同运动方向的部分的分布。即,关于培养的心肌细胞500的搏动,可以在包括存在或不存在运动以及运动方向这两点上进行更加精确并且详细的评估。此外,这意味着通过组合多个特征量,可以对每个特征量的多个评估项目进行评估。
这里,本技术并不需要局限于以上描述的平均运动量Vav和平均运动方向θav的组合。即,可以选择从先前列举的6个特征量中选出的一个或多个任意特征量的组合。此外,在选择多个特征量的情况中,根据所选的组合来获得各种评估项目。
例如,在这种情况下的评估设备400通过输入图9中图示的评估指标数据800并且使用预定的算法执行处理来认识如上所述的每个部分的状态,并且以评估者能够理解的格式来输出认识结果。例如,当图9中示出的聚类分类结果被表达为图像以便被显示并输出时,评估者可以从视觉上来掌握实际情况。
【评估指标数据生成设备的处理顺序的示例】
图10的流程图示出了第一实施例的评估指标数据生成设备300执行的处理的顺序的示例的流程图。此外,由图2中图示的运动检测单元310、特征量计算单元330和分类处理单元340中的任何一个来适当地执行该图中各个步骤的处理。图10中示出的每个步骤的至少一部分处理可以被配置成通过执行程序的计算机设备的CPU(中央处理单元)来实现。
图10中从步骤S901至S907的处理是运动检测单元310执行的运动检测处理。首先,运动检测单元310将变量n赋值为2作为初始设置(步骤S901),该变量与被给予形成评估对象图像数据600的帧图像数据610的编号相对应。接下来,运动检测单元310中的运动矢量计算单元312接收第(n-1)帧图像数据和第n帧图像数据(步骤S902)。即,输入当前帧图像数据和保存在存储器311中的先前帧图像数据。接下来,运动矢量计算单元312执行将每个输入的帧图像数据划分成具有预定像素数的块的处理(步骤S903)。此外,采用诸如块匹配之类的方法来执行运动检测处理(步骤S904)。
根据步骤S904中的运动检测处理,获得图6中示出的运动检测数据700中的单个帧单位运动检测数据710-(n-1)。这里,运动检测单元310将帧单位运动检测数据710-(n-1)存储在运动检测数据存储单元320中(步骤S905)。
接下来,运动检测单元310递增变量n(步骤S906)并且判断变量n是否大于最大值T+1(步骤S907)。此外,最大值T+1与形成评估对象图像数据600的帧图像数据的数目相对应。在获得变量n大于最大值T+1的检测结果的情况中(步骤S907),重复地执行从步骤S902开始的处理。因此,第一帧单位运动检测数据710-1至第T个帧单位运动检测数据710-T被顺序地存储在运动检测数据存储单元320中。此外,当达到存储第T个帧单位运动检测数据710-T的阶段时,则判定变量n大于最大值T(步骤S907),并且处理继续进行到步骤S908之后的序列。
在步骤S907中,当确定变量n大于T+1时,特征量计算单元330执行使用运动检测数据700来计算特征量的处理(S908)。这里所计算的特征量例如是如上所述的平均运动量Vav和平均运动方向θav。
随后,分类处理单元340执行根据如上所述的模板方法的分类处理。因此,首先,分类处理单元340给变量i赋值1,该变量表示给予形成帧图像数据610的(M×N)个块611的编号步骤S909)。接下来,分类处理单元340计算针对第i个块611计算出的特征量(Vav,θav)与预先准备的多个模板的每个模板的特征量(Vav,θav)之间的距离(步骤S910)。特征量(Vav,θav)表示以上描述的平均运动量Vav与平均运动方向θav的组合。
此外,分类处理单元340将第i个块611分类到与所计算的距离与之相距最短的模板相对应的聚类。此外,生成表示分类结果的个体分类结果数据801(步骤S911)。个体分类结果数据801具有与被分类到第i个块的标识符的该聚类的标识符相对应的内容的信息。此外,在以上所述示例中,由于准备了第一至第五模板,所以准备了包括第一至第五聚类的5个聚类。对于该示例中的对应关系,在步骤S911中,作为分类处理的对象的块611被分类到第一至第五聚类的任何一个聚类中。
接下来,分类处理单元340使变量i递增(步骤S912)并且判断变量i是否大于最大值(M×N)(步骤S913)。这里,在变量i小于或等于最大值(M×N)的情况中,处理返回到步骤S910,并且重复依次将块分类到聚类中的处理。此外,当完成了所有(M×N)个块611的聚类分类时,则在步骤S913中判定变量i大于最大值(M×N)。根据判定结果,分类处理单元340利用通过到现在为止的步骤S910至S912的处理获得的个体分类结果数据来生成并且输出评估指标数据800(步骤S914)。
此外,以上描述的平均运动量Vav和平均运动方向θav的组合是一个示例。在第一实施例中,例如,评估指标数据800可以通过从先前列举的6个特征量中选择的一个或多个任意特征量的组合来生成。此外,根据以上描述的计算方法,平均运动量Vav也可以通过分开地获得水平平均运动量Vavx和垂直平均运动量Vavy来获得。平均幅度Aav通过分开地获得水平平均幅度Aavx和垂直平均幅度Aavy来获得。平均加速度Bav通过分开地获得水平平均加速度Bavx和垂直平均加速度Bavy来获得。这里,例如,可以理解为包括水平方向分量和垂直方向分量的特征量被独立地处理以便用于生成评估指标数据800。此外,在以上描述中,聚类的数量是5并且也可以设置成另外的数目。
<2.第二实施例>
【评估指标数据生成设备的配置】
第一实施例中的分类处理使用模板,并且其他方法也可以被当作分类处理的方法。这里,作为第二实施例,将描述采用另一种分类处理方法的配置。
与第二实施例相对应的评估指标数据生成设备300的配置例如与图2中的一样。然而,在以下描述中特征量计算单元330所计算的特征量的种类的数量以及分类处理单元340执行的分类处理的顺序是不同的。
【评估指标数据生成设备的处理顺序的示例】
图11的流程图示出了与第二实施例相对应的评估指标数据生成设备300执行的处理的顺序的示例的流程图。在该图中,从步骤S901至S907的处理与之前描述的第一实施例所对应的图10中的相同。
当在步骤S907中确定变量n大于最大值T时,特征量计算单元330使用存储在运动检测数据存储单元320中的运动检测数据700来计算每个块611的特征量(步骤S908A)。
作为步骤S908A中针对每个块611计算出的特征量,存在以下9个量。即,这些特征量包括水平平均运动量Vavx、垂直平均运动量Vavy、平均运动方向θav、水平平均幅度Aavx、垂直平均幅度Aavy、水平平均加速度Bavx、垂直平均加速度Bavy、平均搏动间隔Dav和搏动开始时间S。
分类处理单元340通过使用如上所述计算的特征量基于以下的k平均法(k平均法)执行聚类。即,分类处理单元340计算9维矢量x,该9维矢量x将每个块611的9个特征量相组合(步骤S921)。
在步骤S921中,获得对应于块611的(M×N)个矢量x。然后,分类处理单元340在这种情况下首先根据k平均法对(M×N)个矢量xi(1≤i≤(M×N))执行初始聚类分类(初始分类)。即,从矢量xi中提取与先前设置的K个数量的聚类相对应的K个样本并且计算样本与样本之外的矢量xi之间的距离。此外,样本之外的矢量xi被分类到与具有最接近的计算距离的样本相同的聚类中。
接下来,分类处理单元340根据到现在为止的最后分类结果计算第一至第K个聚类中每个聚类的重心Gj(1≤j≤K)(步骤S923)。重心Gj根据最后分类结果而变化。接下来,分类处理单元340计算每个矢量xi的重心Gj与每个聚类之间的距离(步骤924)。此外,通过将每个矢量xi分类到具有最短的计算距离的聚类中来执行再分类(步骤S925)。重复从步骤S923至S925的处理直到分类结果不发生变化并且变得与步骤S926中的先前结果相同为止。
此外,被确定为与根据步骤S926的先前结果相同的分类结果成为,即,最后的分类结果。这里,分类处理单元340从最后获得的分类结果生成并且输出评估指标数据800(步骤S914A)。即,在最后的分类结果中,矢量xi被分类到任何一个聚类中。这里,分类处理单元340生成例如其中矢量xi所对应的块611的标识符与所分类的聚类的标识符相对应的分类结果数据801。此外,第i至第M×N个块611的每个的个体分类结果数据801的组被生成作为评估指标数据800。
从以上描述可以理解的是,第二实施例中获得的评估指标数据800也具有例如图9中示出的结构。此外,每个聚类表示多个不同特征量的数值范围的组合。因此,每个聚类具有关于由于搏动而产生的周期性运动的不同意义。因此,使用第二实施例中获得的评估指标数据800,也可以获得精确的详细的评估结果。
此外,本公开示出了采用本技术的示例,并且如本公开中所清晰地描述的,本公开中的项目与权利要求书中本发明的具体项目具有对应关系。类似地,权利要求书中本发明的具体项目与本公开的指定为同一个名称的项目具有相对应的关系。然而,本技术并不局限于这些实施例并且可以通过在不脱离本技术的主旨的范围内对这些实施例进行各种修改来实施。
例如,作为用于生成评估指标数据800的特征量,可以采用在每个这些实施例中具体描述的特征量之外的组合。此外,可以获得并且组合在每个这些实施例中具体描述的特征量之外的特征量。此外,在从每个这些实施例中获得的特征量当中,运动量、运动方向、幅度、加速度、搏动间隔等的任一者是针对每个帧周期获得的值的平均值。然而,这些特征量在时间序列中变化。这里,可以认为,例如,按照时间序列的变化被计算作为用于生成评估指标数据800的特征量。此外,作为由分类处理单元340执行的分类处理,也可以采用其他的算法和方法。此外,评估对象是培养的心肌细胞500。然而,例如,本公开的配置可以用于其他对象,只要其运动具有周期性。
此外,本公开中描述的处理步骤可以被确定为具有一系列步骤的方法并且也可以被确定为用于在计算机上执行这一系列步骤的程序以及存储该程序的记录介质。作为记录介质,例如,可以使用CD(压缩盘)、MD(迷你盘)、DVD(数字通用光盘)、存储卡、蓝光光盘(Blu-ray Disc(注册商标))等。
<3.第三实施例>
【评估方法的另一个示例的概述】
细胞的评估方法可以是以上描述的方法之外的方法。例如,可以获得从针对培养细胞的每个块获得的运动矢量计算出的指标的评估值。
例如,当如图12中A所示的培养的细胞1001是评估对象时,首先,如图12中B所示,每个预定时间(例如,每帧)可以获得每个块(部分区域)的运动矢量1002,如图12中C所示的图1003中的每个块相对于时间的运动量的变化可以被获得,根据该数据,可以生成表示如图12中D所示的图1004中的细胞相对于时间的运动的幅度和搏动数目的变化的数据,并且可以获得用于评估这些指标的评估值,从而使用评估值来评估细胞的运动。
以此方式,使用评估值,可以更加定量地评估评估对象(例如,细胞的运动)。此外,由于运动矢量被用于生成指标,因此可以容易地以非侵害性方式获得更多的各种指标。即,可以更正确地评估评估对象(例如,细胞的运动)。
【培养的心肌细胞评估装置】
图13是图示了培养的心肌细胞评估装置的主要配置示例的框图。
图13中图示的培养的心肌细胞评估装置1100是对培养的心肌细胞500的运动进行评估的装置,类似于图1的培养的心肌细胞评估系统。即,培养的心肌细胞评估装置1100将培养的心肌细胞评估系统100实现为单个装置。这样,培养的心肌细胞评估系统100的配置是任意的,只要整个系统的功能没有改变。例如,图1中图示的多个设备可以被配置成单个设备,并且单个设备可以被配置成多个设备。例如,培养的心肌细胞评估系统100的整体可以被配置成图13中图示的单个装置。
换句话讲,即使在此实施例中,例如,类似于第一实施例和第二实施例的培养的心肌细胞评估系统100,培养的心肌细胞评估装置1100也可以由多个设备构成。以下,将使用培养的心肌细胞评估装置1100提供描述。
然而,在本实施例的情况中,不同于第一实施例和第二实施例,培养的心肌细胞500(的运动)可以通过以上描述的评估方法之外的方法来评估。即,如上所述,本实施例的培养的心肌细胞评估装置1100获得对评估对象的运动进行评估的评估值。
图13中图示的培养的心肌细胞500是用于心脏病的活组织(细胞组),这些活体组织是通过对从活体采集的心肌细胞进行体外培养而产生的。心肌细胞具有由一直重复收缩和舒张而形成的搏动。当这些心肌细胞被培养并且生长成培养的心肌细胞500时,理想地,细胞的动作是彼此相关的并且培养的心肌细胞500的整体作为单个活组织而搏动。
培养的心肌细胞评估装置1100具有例如按照如上所述进行培养的培养的心肌细胞500作为评估对象,并且评估其运动以便评估培养的心肌细胞500的性能。
此外,培养的心肌细胞评估装置1100的评估对象可以是培养的心肌细胞500之外的对象。例如,培养的心肌细胞之外的细胞可以是评估对象。理所当然的是,评估对象可以不是细胞。然而,作为评估对象,自己运动并且能够通过评估其运动而对其进行评估对象是所希望的。此外,运动可以像心肌细胞一样自主地(自发地)被实现,并且也可以通过从外部提供的电信号等来实现。
如图13所示,培养心肌细胞评估装置1100包括成像单元1101、评估对象图像数据生成及记录单元1102、评估指标数据生成单元1103和评估单元1104。
成像单元1101对应于图1的成像设备110。即,成像单元1101对作为评估对象的培养的心肌细胞500进行成像。此外,成像单元1101可以直接对培养的心肌细胞500进行成像(在不使用另外的构件的情况下),并且可以使用诸如显微镜之类的另外的构件来对培养的心肌细胞500进行成像。此外,培养的心肌细胞500可以被固定到成像单元1101或也可以不固定。由于培养的心肌细胞评估装置1100检测运动(位置的时间变化),因此一般来讲,希望培养的心肌细胞500被固定到成像单元1101。
成像单元1101将通过成像获得的培养心肌细胞500的图像的图象信号提供到评估对象图像数据生成及记录单元1102。
评估对象图像数据生成及记录单元1102对应于图1的评估对象图像数据生成及记录设备200。即,评估对象图像数据生成及记录单元1102根据从成像单元1101提供的图象信号生成评估对象图像数据并且例如在其中的记录介质中记录并保存所生成的评估对象图像数据。这里生成的评估对象图像数据例如成为从被成像的培养的心肌细胞500的图象信号产生的运动图像数据。
例如,评估对象图像数据生成及记录单元1102可以仅在部分周期中从自成像单元1101提供的多个帧图像中提取帧图像并且将这些帧图像用作评估对象图像数据。此外,例如,评估对象图像数据生成及记录单元1102可以提取从成像单元1101提供的每个帧图像的部分区域作为小的帧图像并且使用由小的帧图像形成的运动图像作为评估对象图像数据。此外,例如,评估对象图像数据生成及记录单元1102可以对从成像单元1101提供的每个帧图像执行任意的图像处理并且使用图像处理结果作为评估对象图像数据。例如,可以考虑图像放大、缩小、旋转、变形、亮度或色度校正、锐化、降噪、中间帧图像生成等作为图像处理。理所当然的是,可以采用以上这些之外的任何图像处理。
评估对象图像数据生成及记录单元1102在预定的定时将所存储的评估对象图像数据提供到评估指标数据生成单元1103。
评估指标数据生成单元1103对应于图1的评估指标数据生成设备300。即,评估指标数据生成单元1103在提供来的评估对象图像数据的帧图像之间,针对作为评估对象(培养的心肌细胞500)的图像的整个区域被划分到的部分区域的每个块,来执行评估对象(培养的心肌细胞500)的运动检测。评估指标数据生成单元1103将检测到的每个块的运动表达为运动矢量并且从该运动矢量获得关于评估对象(培养的心肌细胞500)的运动的各种特征量(运动特征量数据)。此外,如第一和第二实施例中所述,评估指标数据生成单元1103根据运动特征量数据对块进行分类。
评估指标数据生成单元1103将按照如上所述生成的运动特征量数据和分类结果提供到评估单元1104作为评估指标数据。
评估单元1104对应于图1的评估设备400。即,评估单元1104计算所提供的每个评估指标数据的评估值,对所计算出的评估值进行整合并且获得评估对象(培养的心肌细胞500)的评估值。
【评估指标数据生成单元】
图14是图示了评估指标数据生成单元1103的主要配置示例的框图。如图14所示,类似于图2的评估指标数据生成设备300,评估指标数据生成单元1103具有运动检测单元310和运动检测数据存储单元320。此外,评估指标数据生成单元1103具有特征量计算单元1123来取代图2的评估指标数据生成设备300的特征量计算单元330,并且具有分类处理单元1124取代图2的评估指标数据生成设备300的分类处理单元340。此外,评估指标数据生成单元1103具有运动特征量数据历史存储器1125。
运动检测单元310接收评估对象图像数据600,在其上执行运动检测,并且将检测结果(运动矢量)作为运动检测数据提供到运动检测数据存储单元320以便进行存储。如参照图3至图6所述的,运动检测单元310包括帧存储器311和运动矢量计算单元312,将评估对象图像数据600的每个帧图像的整个区域划分成M×N(M和N是任意的自然数)个块,并且使用诸如帧图像之间的块匹配之类的方法来对每个块执行运动检测,从而生成运动矢量。
如图7所示,运动检测单元310在具有预定长度的评估区间(例如,T+1个帧(T是任意的自然数))中执行运动检测。例如,如图6所示,运动检测单元310使用T+1个帧图像生成(M×N×T)个运动检测数据(运动矢量)并且将结果存储在运动检测数据存储单元320中。
当单个评估区间中的运动检测结束时(当(M×N×T)个运动检测数据(运动矢量)被存储在运动检测数据存储单元320中时),特征量计算单元1123获取运动检测数据并且根据运动检测数据计算有关培养的心肌细胞500的运动的特征量。
例如,特征量计算单元1123使用(M×N×T)个运动检测数据(运动矢量)来针对每个块计算有关培养的心肌细胞500的运动(搏动)的特征量。
例如,特征量计算单元1123计算图7中例举的评估区间中的培养的心肌细胞500的运动的幅度的平均值(平均幅度Aav)作为与培养的心肌细胞500的运动有关的特征量之一。
如图7所示,幅度是当运动量变化时的幅度。平均幅度Aav是相应评估区间中的幅度的平均值。计算每个块的幅度A和平均幅度Aav。
即,当每个幅度的水平方向分量是Ax并且其垂直方向分量是Ay时,通过以下表达式(1)计算每个幅度A。
【数学式3】
当对应于帧顺序的变量是n时,使用通过表达式(1)计算的每个幅度An,通过以下表达式(2)计算评估区间中的平均幅度Aav。
【数学式4】
特征量计算单元1123计算每个块的平均幅度Aav。
此外,例如,特征量计算单元1123计算图7中例举的一个评估区间中的培养心肌细胞500的运动的搏动间隔(或每单位时间的搏动数)的平均值(平均搏动间隔Dav)作为与培养的心肌细胞500的运动有关的特征量之一。
搏动间隔D是图7中示出的运动量的峰值的间隔。平均搏动间隔Dav是相应评估区间中搏动间隔D的平均值。特征量计算单元1123计算每个块的这种平均搏动间隔Dav。
即,当对应于帧顺序的变量是n并且运动量的峰值的时刻是Pn时,通过以下表达式(3)计算搏动间隔Dn。
【数学式5】
Dn=P(n+1)-P(n)...(3)
因此,评估区间中的平均搏动间隔Dav是通过以下表达式(4)计算的。
【数学式6】
特征量计算单元1123计算每个块的这种平均搏动间隔Dav。
即,在以上的示例的情况中,对于(M×N)个块的每个生成了两种特征量。特征量计算单元1123所计算的特征量的种类和数量是任意的。例如,如第一实施例中所描述的,可以计算平均运动量Vav、平均运动方向θav、平均加速度Bav和搏动开始时间S作为特征量。
此外,计算每个特征量的方法是任意的。例如,在具有水平分量和垂直分量两者的诸如平均运动量Vav、平均幅度Aav和平均加速度Bav之类的特征量的情况中,特征量计算单元1123可以计算每个分量的平均值并且合成两个分量的平均值。
特征量计算单元1123将所计算的特征量提供到运动特征量数据历史存储器1125作为运动特征量数据以便进行存储。理所当然的是,特征量计算单元1123可以顺序地将所获得的特征量提供到运动特征量数据历史存储器1125作为运动量特征量数据以便进行存储。此外,特征量计算单元1123可以使所获得的特征量的一部分被存储在运动特征量数据历史存储器1125中作为运动特征量数据。
此外,特征量计算单元1123还将所计算的特征量提供到分类处理单元1124。
类似于图2的分类处理单元340,分类处理单元1124使用特征量计算单元1123所计算的多种特征量来进行分类处理并且将分类处理结果提供到运动特征量数据历史存储器1125作为运动特征量数据以便进行存储。
评估指标数据生成单元1103重复以上所述的评估指标数据的生成S次。即,成像单元1101连续成像并且生成至少(评估区间(T+1个帧)×S次)的时间中的帧图像,并且评估对象图像数据生成及记录单元1102生成至少(评估区间×S次)的量的评估对象图像数据。此外,在评估对象图像数据中,评估区间可以不是随着时间连续的。
例如,假定从开始培养到培养结束的期间是10天并且每2个小时成像T=600个帧以进行评估。在这种情况下,每个评估区间是600帧,并且该评估区间被重复了S=120次。
评估指标数据生成单元1103在如上所述的每个评估区间中生成每个块的特征量。因此,在运动特征量数据历史存储器1125中,如图15所示,存储了M×N×S个特征量。此外,在生成了多种特征量的情况中,更多的特征量(M×N×S×种类数)被存储在运动特征量数据历史存储器1125中。
以此方式,特征量的生成被重复S次,并且当存储了预定数量的特征量时,运动特征量数据历史存储器1125在预定时刻将所存储的特征量提供到评估单元1104作为评估指标数据800。
【评估单元】
图16是图示了评估单元1104的主要配置示例的框图。如图16所示,评估单元1104具有用于每个所提供的评估指标数据800的评估单元(用于每个指标的评估单元)。在图16的示例中,评估单元1104具有作为用于指标的评估单元的幅度评估单元1141、搏动数评估单元1142和分类结果评估单元1143。
幅度评估单元1141对被提供作为评估指标数据的平均幅度Aav进行评估。搏动数评估单元1142对被提供作为评估指标数据的平均搏动间隔Dav进行评估。分类结果评估单元1143对被提供作为评估指标数据的分类处理结果进行评估。
指标的评估单元表示了能被评估单元1104评估的指标数据的种类。基本上,评估单元1104被设置成能评估所有被提供的评估指标数据。因此,例如,在另一个评估指标数据800被提供到评估单元1104的情况中,在评估单元1104中准备了与该评估指标数据800相对应的评估单元。照此,包括在评估单元1104中的指标的评估单元的种类和数量取决于所提供的评估指标数据的种类和数量。
【幅度评估单元的操作示例1】
接下来,将描述幅度评估单元1141进行的幅度评估的具体示例。通常,希望心肌细胞的搏动的幅度是显著稳定的。这里,幅度评估单元1141在幅度更加显著地被稳定的情况中计算评估值以具有更大的值。
在这种情况下,幅度评估单元1141首先利用诸如图17A中示出的图表中的曲线1161之类的函数fa来将作为帧图像的每个块的评估指标数据的每个幅度A(平均幅度Aav)归一化(获得通过函数fa被归一化的幅度A′)。
【数学式7】
A′=fa(A)...(5)
例如,当假定整个帧图像中的块的数量是M×N并且平均幅度Aav的计算被重复S次时,幅度评估单元1141使用函数fa归一化M×N×S个平均幅度Aav的每个。
函数fa可以是任何函数,只要该函数在幅度A的值较大时产生较大的值并且在其值较小时产生较小的值。即,归一化的幅度A′在幅度较大时取较大的值并且在幅度较小时取较小的值。
接下来,幅度评估单元1141获得每个块的过去N次的幅度的离差(dispersion)Va,如以下表达式(6)所示。
【数学式8】
此外,在表达式(6)中,具有上划线的A是幅度A的平均值(平均幅度Aav)。此外,在平均幅度Aav的计算被重复S次的情况中,获得了N=S。即,例如,当假定整个帧图像中的块的数量是M×N并且平均幅度Aav的计算被重复S次时,幅度评估单元1141根据M×N×S个平均幅度Aav来计算M×N个离差Va。
接下来,幅度评估单元1141使用诸如图17B中示出的图表中的曲线1162之类的函数ga来归一化幅度的离差Va,如以下表达式(7)所示(获得通过函数ga被归一化的离差Va′)。
【数学式9】
V′a=ga(Va)...(7)
例如,当假定整个帧图像中块的数量是M×N时,幅度评估单元1141使用函数ga来归一化M×N个离差Va中的每个。
函数ga可以是任何函数,只要该函数在离差Va的值较大时产生较大的值并且在其值较小时产生较小的值。即,幅度的归一化离差Va′在变化较小的情况下取较大的值并且在变化较大的情况下取较小的值。
接下来,幅度评估单元1141计算整个画面上的幅度的归一化幅度A′和归一化离差Va′的乘积的平均值(M×N个平均值)作为评估值Ea,如以下表达式(8)所示。
【数学式10】
在这种情况下,当归一化幅度和幅度的归一化离差在整个帧图像中较大时,评估值Ea具有较大的值。即,每个块的幅度越大并且更稳定(幅度较大并且其时间方向上的变化较小)的情况被评估得越高。
此外,幅度评估单元1141也可以计算在其中幅度的归一化幅度A′与归一化离差Va′的乘积的值大于或等于预定的阈值Ta1的块的数量Na1相对于整个帧图像的比例,作为评估值Ea,如以下表达式(9)所示。
【数学式11】
阈值Ta1是预先设置的任意值。当该值被设置成较大时,评估基准被增加(评估条件变得严格)并且评估值Ea的值减小。在这种情况下,当整个帧图像中幅度与离差的乘积被稳定化以大于预定基准的块的数量较大时,评估值Ea取较高的值。
即,在这种情况下,与如上所述使用平均值来计算评估值Ea的情况相比,块之间的变化较小是优选的。例如,在评估平均值的情况中,可以存在尽管块之间的变化较大也加强评估的情况。与此相反,在使用阈值执行评估的情况中,尽管部分块的值过高,但是当块的数量Na1不大时则无法实现高度的评估。
【幅度评估单元的操作示例2】
此外,幅度评估方法不局限于以上描述的示例。例如,可以将培养的心肌细胞的搏动与理想的和常规的培养的情况中的搏动进行比较并且可以评估比较结果。在这种情况下,预先确定在理想和常规培养(理想转变模式)期间的搏动的转变模式。
如图18的图表A所示,幅度评估单元1141将培养的心肌细胞的搏动的转变模式(所测得的转变模式)与理想的转变模式进行比较并且评估两者之间的相似性。在图18的A中,实线1171代表幅度的理想转变模式,并且虚线1172代表幅度的所测量转变模式。当两者之间的差异较小时,评估值较大。
首先,幅度评估单元1141计算在各个经过的时间中每个块的两个转变模式之间的距离的总和Da,如以下表达式(10)所示。
【数学式12】
在表达式(10)中,A(k)是所测量转变模式中的幅度A(平均幅度Aav),并且AI(k)是理想转变模式中的幅度A(平均幅度Aav)。k代表哪个次数是测量值(经过的时间)(在测量被重复S次的情况中,0≤k≤S-1)。此外,Wa(k)是权重系数,并且其值是任意的。例如,在紧邻开始测量之后两个转变模式之间的差值并不重要。然而,在需要两个转变模式随着所经过时间的增加而彼此接近的情况中,k的值越大,权重系数Wa的值被设置得越大。
如上所述,当获得了各个所经过时间的两个转变模式之间的距离的总和Da时,幅度评估单元1141则使用诸如图18B中示出的图表中的实线1173之类的函数ha来归一化距离的总和Da,如以下表达式(11)所示(计算归一化的距离的总和Da′)。
【数学式13】
D′a=ha(Da)...(11)
函数ha可以是任何函数,只要该函数在距离的总和Da的值较大时产生较小的值并且在其值较小时产生较大的值。即,归一化的距离的总和Da′在理想转变模式与测量的转变模式之间的差异较小时取较大的值并且在理想转变模式与测量的转变模式之间的差异较大时取较小的值。
接下来,幅度评估单元1141计算距离的归一化总和Da′在整个画面上的平均值(M×N个平均值)作为评估值Ea,如以下表达式(12)所示。
【数学式14】
在这种情况下,评估值Ea在测量的转变与理想的转变之间的差异在整个帧图像上较小时取较大的值。
此外,幅度评估单元1141也可以计算距离的归一化总和Da′的值大于或等于预定的阈值Ta2的块的数量Na2相对于整个帧图像的比例,来作为评估值Ea,如以下表达式(13)所示。
【数学式15】
在表达式(13)中,阈值Ta2是预先设置的任意值。当该值被设置成更大时,评估基准增加(评估条件变得严格)并且评估值Ea的值减小。在这种情况中,整个帧图像中测量的转变与理想的转变之间的差异被稳定为小于预定基准的块的数量越大,评估值Ea取越高的值。
以此方式,幅度评估单元1141根据与心肌细胞的搏动的幅度有关的指标数据来计算对幅度进行评估的评估值Ea。即,幅度评估单元1141可以对心肌细胞的搏动的幅度定量地进行评估。
【搏动数评估单元的操作示例1】
接下来,将会描述搏动数评估单元1142执行的搏动数评估的具体示例。通常,希望对于心肌细胞的搏动,单位时间搏动数(速率)被稳定为合适的值。这里,搏动数评估单元1142在单位时间搏动数被稳定为合适的值的情况中将评估值计算为具有较大的值。
在这种情况中,搏动数评估单元1142首先从搏动间隔D(平均搏动间隔Dav)计算单位时间(例如,1分钟)搏动数R,如以下表达式(14)所示。
【数学式16】
即,单位时间搏动数R是评估区间(例如,T+1帧)中单位时间搏动数的平均值。搏动数评估单元1142计算每个块的单位时间搏动数R。此外,搏动数评估单元1142计算每个评估期间的搏动数R。即,当假定单个帧图像中块的数量是M×N个并且评估期间被重复S次时,搏动数评估单元1142计算(M×N×S)个单位时间搏动数R。
接下来,搏动数评估单元1142使用诸如图19中A示出的图表的曲线1181之类函数fr来归一化单位时间搏动数R,如以下表达式(15)所示(获得通过函数fr被归一化的单位时间搏动数R′)。
【数学式17】
R′=fr(R)...(15)
例如,当假定整个帧图像中块的数量是M×N个并且搏动间隔Dav的计算被重复S次时,搏动数评估单元1142使用函数fr来归一化M×N×S个单位时间搏动数R的每个。函数fr可以是任何函数,只要该函数在单位时间搏动数R的值较靠近合适的值时产生较大的值并且在其值远离该合适的值时产生较小的值。即,归一化的单位时间搏动数R′在较靠近预先确定的合适的单位时间搏动数时取较大的值并且在远离预先确定的该合适的单位时间搏动数时取较小的值。
接下来,搏动数评估单元1142获得每个块的过去N次的单位时间离差Vr,如以下表达式(16)所示。
【数学式18】
此外,在表达式(16)中,带有上划线的R是单位时间搏动数R的平均值。此外,如上所述,在单位时间搏动数的计算被重复S次时,获得了N=S。即,例如,当假定整个帧图像中块的数量是M×N个并且单位时间搏动数R的计算被重复S次时,搏动数评估单元1142从M×N×S个单位时间搏动数R计算M×N个离差Vr。
接下来,搏动数评估单元1142使用诸如图19B示出的图表的曲线1182之类的函数gr来归一化幅度的离差Vr,如以下表达式(17)所示(获得经过函数gr归一化的单位时间搏动数的离差Vr′)。
【数学式19】
V′r=gr(Vr)...(17)
例如,当假定整个帧图像中块的数量是M×N时,搏动数评估单元1142使用函数gr归一化M×N个离差Vr中的每个离差。
函数gr可以是任何函数,只要该函数在离差Vr的值较大时产生较小的值并且在其值较小时产生较大的值。即,单位时间搏动数的归一化离差Vr′在变化较小的情况下取较大的值并且在变化较大的情况下取较小的值。
接下来,搏动数评估单元1142计算归一化的单位时间搏动数R′和单位时间搏动数的归一化离差Vr′的乘积在整个画面上的平均值(M×N个平均值)作为评估值Er,如以下表达式(18)所示。
【数学式20】
在这种情况下,评估值Er具有较大的值,因为整个帧图像中单位时间归一化搏动数和归一化离差较大。即,每个块的归一化单位时间搏动数R更加稳定的情况(单位时间搏动数较接近合适的值并且在其时间方向上的变化较小)被评估得越高。
此外,搏动数评估单元1142也可以计算归一化的单位时间搏动数R′与单位时间搏动数的归一化离差Vr′的乘积大于或等于预定的阈值Tr1的块的数量Nr1相对于整个帧图像的比例来作为评估值Er,如以下表达式(19)所示。
【数学式21】
阈值Tr1是预先设置的任意值。当该值被设置成较大时,评估基准增加(评估条件变得更加严格),并且评估值Er的值减小。在这种情况中,在整个帧图像中单位时间搏动数比预定基准更接近合适的值并且在时间方向上稳定的块的数量较大时,评估值Er取较高的值。
即,在这种情况下,与如上所述使用平均值计算评估值Er的情况相比,更好的是块之间的变化较小。例如,在评估平均值的情况中,可以存在尽管块之间的变化较大也加强评估的情况。与此相反,在使用阈值执行评估的情况中,尽管部分块的值过高,但是当块的数量Nr1不大时无法实现高度的评估。
【搏动数评估单元的操作示例2】
此外,单位时间搏动数的评估方法并不局限于以上描述的示例。例如,培养的心肌细胞的搏动可以与理想和正常培养的情况中的搏动进行比较并且可以评估比较结果。在这种情况下,预先确定在理想和正常培养期间搏动的转变模式。
如图20的图表A所示,搏动数评估单元1142将培养的心肌细胞的搏动的转变模式(测量的转变模式)与理想的转变模式进行比较并且评估两者之间的相似性。在图20的A中,实线1191代表单位时间搏动数的理想转变模式,并且虚线1192代表单位时间搏动数的测量的转变模式。当两者之间的差异较小时,评估值较大。
首先,搏动数评估单元1142计算各个所经过时间的每个块的两个转变模式之间的距离的总和Dr,如以下表达式(20)所示。
【数学式22】
在表达式(20)中,R(k)是测量的转变模式中单位时间搏动数R,并且RI(k)是理想转变模式中单位时间搏动数。k代表哪个次数是测量值(经过的时间)(在测量被垂复S次的情况中,0≤k≤S-1)。此外,Wr(k)是权重系数,并且其值是任意的。例如,在紧邻开始测量之后两个转变模式之间的差值并不重要。然而,在需要两个转变模式随着经过时间的增加而彼此接近的情况中,在k的值较大时,权重系数Wr的值被设置成较大。
如上所述,当获得了各个所经过时间的两个转变模式之间的距离的总和Dr时,搏动数评估单元1142则使用诸如图20B中示出的图表的实线1193之类的函数hr来归一化距离的总和Dr,如以下表达式(21)所示(计算归一化的距离的总和Dr′)。
【数学式23】
D′r=hr(Dr)...(21)
函数hr可以是任何函数,只要该函数在距离的总和Dr的值较大时产生较小的值并且在其值较小时产生较大的值。即,归一化的距离总和Dr′在理想的转变模式与测量的转变模式之间的差异较小时取较大的值并且在理想的转变模式与测量的转变模式之间的差异较大时取较小的值。
接下来,搏动数评估单元1142计算归一化的距离总和Dr′在整个画面上的平均值(M×N个平均值)作为评估值Er,如以下表达式(22)所示。
【数学式24】
在这种情况下,在测量的转变与理想的转变之间的差异在整个帧图像上越小,则评估值Er取越大的值。
此外,搏动数评估单元1142也可以计算其中归一化的距离总和Dr′的值大于或等于预定的阈值Tr2的块的数量Nr2相对应整个帧图像的比例,来作为评估值Er,如以下表达式(23)所示。
【数学式25】
在表达式(23)中,阈值Tr2是预先设置的任意值。当该值被设置成较大时,评估基准增加(评估条件变得更加严格),并且评估值Er的值减小。在这种情况中,其中整个帧图像中测量的转变与理想的转变之间的差异被稳定为小于预定基准的块的数量越大,评估值Er取越高的值。
以此方式,搏动数评估单元1142根据与心肌细胞的搏动的单位时间搏动数有关的指标数据,来计算对单位时间搏动数进行评估的评估值Er。即,搏动数评估单元1142可以对心肌细胞的搏动的单位时间搏动数进行定量地评估。
【分类结果评估单元的评估示例】
接下来,将会描述分类结果评估单元1143执行的聚类分类结果的评估的具体示例。通常,希望对于心肌细胞的搏动,被分类到所希望聚类的块的比例增加。这里,在被分类到特征量处于希望状态的预定聚类(希望的聚类)中的块的比例越大的情况中,分类结果评估单元1143计算越大的评估值。
例如,假定希望的聚类是C。分类结果评估单元1143首先对在每个块过去n次被执行分类的期间被分类到C中的次数进行计数,将次数N与预先确定的预定阈值Tc1进行比较,并且获得满足以下条件表达式(24)的块的数量Nc。
【数学式26】
N>Tc1...(24)
分类结果评估单元1143使用以此方式获得的块的数量Nc来计算对分类结果进行评估的评估值Ec,如以下表达式(25)所示(单个帧图像的块的数量被假定为N×N个)。
【数学式27】
如上所述,分类结果评估单元1143计算对心肌细胞的搏动的特征量的分类结果进行评估的评估值Ec。即,分类结果评估单元1143可以对心肌细胞的搏动的特征量的分类结果进行定量地评估。
【评估整合单元】
返回到图16,评估单元1104进一步包括评估整合单元1144。评估单元1104的用于各个指标的各个评估单元将针对对应计算指标的评估值提供到评估整合单元1144。
评估整合单元1144经过预定操作来对从各指标的评估单元提供来的评估值进行整合并且生成评估对象(培养的心肌细胞500)的评估值E。例如,评估整合单元1144计算各个指标的评估值的总和作为评估值E,如以下表达式(26)所示。
【数学式28】
E=waEa+wrEr+...+wcEc ...(26)
在表达式(26)中,评估值Ea是从幅度评估单元1141提供的平均幅度Aav的评估值,评估值Er是从搏动数评估单元1142提供的平均搏动间隔Dav的评估值,并且评估值Ec是从分类结果评估单元1143提供的分类处理结果的评估值。此外,权重系数Wa,Wr和Wc是对评估值Ea、Er和Ec进行加权的系数。
如上所述,评估整合单元1144可以进行任意的加权并且对各个指标的评估值进行整合,并且因此可以和用更多的各种基准来对评估对象进行定量地评估。
评估整合单元1144输出按照以上进行计算的评估值E到评估单元1104的外部,作为评估对象的评估值1150。
从评估单元1104输出的评估值1150在显示器上例如作为文本信息或图像信息被显示给用户等,或者被输出到使用评估值1150进行任意处理的另一个设备(未示出)。此外,评估值1150也可以被记录在记录介质上(未示出)。
以此方式,评估单元1104可以使用更多种方法来对更多的各种指标进行定量评估。因此,评估单元1104可以更加精确地评估评估对象(心肌细胞)。
【评估处理的流程】
接下来,将会参照图21的流程图描述培养的心肌细胞评估装置1100执行的评估处理的流程的示例。
当开始评估处理时,培养的心肌细胞评估装置1100的成像单元1101在步骤S1001中对评估对象进行成像。在步骤S1002中,评估对象图像数据生成及记录单元1102根据通过步骤S1001的成像而获得的图象信号生成评估对象图像数据。
在步骤S1003中,评估指标数据生成单元1103从步骤S1002生成的评估对象图像数据生成评估指标数据,该评估指标数据是用于对评估对象的运动进行评估的各种指标的数据。在步骤S1004中,评估单元1104使用步骤S1003中生成的评估指标数据对评估对象的运动进行评估并且计算评估值。
在步骤S1005中,评估单元1104输出在步骤S1004中计算的评估值并且结束评估处理。
【评估指标数据生成处理的流程】
接下来,参照图22的流程图描述图21的步骤S1003中执行的评估指标数据生成处理的流程的示例。
当开始评估指标数据生成处理时,评估指标数据生成单元1103的运动检测单元310在步骤S1021中检测每个块的评估对象的运动并且生成运动矢量。在步骤S1022中,运动检测数据存储单元320存储在步骤S1021中生成的每个块的运动矢量。
在步骤S1023中,运动检测单元310判断运动检测是否被执行了预先确定的预定评估期间。在确定没有经过运动检测的帧图像存在于预定评估期间的情况中,运动检测单元310返回到步骤S1021并且对作为该处理的新对象的帧图像重复运动检测。
此外,在步骤S1023中,在确定在预定评估期间对作为该处理的对象的所有帧图像执行了运动检测的情况中,运动检测单元310将处理移动到步骤S1024。
在步骤S1024中,特征量计算单元1123从步骤S1022中存储的运动矢量计算关于评估对象的运动的特征量,诸如平均幅度Aav和平均搏动间隔Dav。在步骤S1025中,运动特征量数据历史存储器1125存储步骤S1024中计算的特征量作为运动特征量数据。
在步骤S1026中,分类处理单元1124根据步骤S1024中计算的特征量对块进行分类。在步骤S1027中,运动特征量数据历史存储器1125将步骤S1026中获得的分类结果作为运动特征量数据。
在步骤S1028中,特征量计算单元1123判断特征量的计算是否被重复预先确定的预定次数(例如,S次),并且在确定尚未达到预定次数的情况中,将处理返回到步骤S1021并且重复随后的处理。此外,在步骤S1028中,在确定特征量的计算被重复了该预定次数的情况中,特征量计算单元1123将处理移动到步骤S1029。
在步骤S1029中,运动特征量数据历史存储器1125输出保存在其中的运动特征量数据到评估单元1104作为评估指标数据。当步骤S1029的处理结束时,运动特征量数据历史存储器1125结束该评估指标数据生成处理,将处理返回到图21的步骤S1003,并且执行步骤S1004之后的处理。
【运动评估处理的流程】
接下来,参照图23的流程图描述图21的步骤S1004中执行的运动评估处理的流程的示例。
当开始运动评估处理时,评估单元1104的幅度评估单元1141根据步骤S1041中有关幅度的评估指标数据对评估对象的运动的幅度进行评估,并且计算其评估值Ea。
在步骤S1042的处理中,搏动数评估单元1142根据与单位时间搏动数有关的评估指标数据对评估对象的运动的单位时间搏动数进行评估,并且计算其评估值Er。
在步骤S1043中,分类结果评估单元1143基于有关分类结果的评估指标数据对根据评估对象的运动执行的每个块的分类结果进行评估,并且计算其评估值Ec。
在步骤S1044中,评估整合单元1144对各个指标的评估值进行整合并且计算评估对象的评估值E。
当计算了评估对象的评估值时,评估整合单元1144结束该运动评估处理,处理返回到图21的步骤S1004,并且执行步骤S1005之后的处理。
以此方式,通过执行各种处理,培养的心肌细胞评估装置1100可以更加定量地对评估对象(例如,细胞的运动)进行评估。此外,由于运动矢量被用于生成指标,因此可以容易地且以非侵害性方式获得更多的各种指标。即,可以更加正确地评估评估对象(例如,细胞的运动)。
<4.第四实施例>
【另外的评估的应用】
此外,通过对评估对象的运动的协同性执行评估,可以评估对评估对象的运动(例如,气体、液体或固体等的施用)、任意的环境条件(例如,温度、湿度、压力、亮度、振动、磁场等)等造成影响的其他的对象。
通过分析培养的心肌细胞的相位差观测运动图像而获得的各个区域的搏动示出了取决于培养天数的协同搏动,并且示出了根据各种药物的施用引起的变化。通过根据某些方法检测这种变化,当研发出药物时,能够预先评估药物的毒性、效果等,这在近些年来已得到关注。
根据现有技术,例如,存在一种使用被置于培养皿底部的电极来检测细胞的外场电位并且根据细胞中的膜电位变化来确定细胞的搏动行为的方法。此外,还存在一种注入荧光颜料并且检测钙浓度从而检测细胞的搏动节奏并且评估细胞的信息传播模式的方法,其中荧光颜料通过与细胞中的钙相结合而发光,并且钙浓度随着细胞应激性(动作电位)的变化而变化。
在这些方法中,需要特制的培养皿,荧光颜料较昂贵,并且注入荧光颜料较复杂且耗时。因此,对于简单的且非侵害性的细胞监测存在着较多问题。
这里,如上所述,使用检测并且评估细胞的运动的方法,对由于施用药物而引起的细胞搏动中的收缩和舒张延长进行评估,并且使用评估结果对药物的毒性等进行评估。心肌细胞的搏动包括收缩和舒张。例如,当到细胞钙通道的离子通道被阻塞时,舒张的时间延长(变得难以从收缩状态复原)。
通过对细胞的舒张的延长进行评估,可以评估施用的药物对心肌细胞的影响。通过经由以上所述的图像分析来对细胞的运动执行评估,细胞的搏动行为的变化可得以确认而不用在细胞中添加诸如某些荧光颜料之类的试剂,并且因此可以容易地并且精确地评估药物的毒性等。
【药物评估装置】
图24是图示了药物评估装置的主要配置示例的框图。图24中图示的药物评估装置1300是使用被施用了药物的培养心肌细胞500的运动来对药物的影响(效用、副作用等)进行评估的装置。
如图24所示,与图13中的培养的心肌细胞评估装置1100一样,药物评估装置1300具有成像单元1101和评估对象图像数据生成及记录单元1102。成像单元1101在施用药物之前和施用药物之后对培养的心肌细胞500进行成像。
评估对象图像数据生成及记录单元1102根据从成像单元1101提供的图象信号来生成评估对象图像数据,例如在其中的记录介质中记录并保存所生成的评估对象图像数据。即,生成了与施用药物之前和之后的培养的心肌细胞500的每个运动图像有关的评估对象图像数据。
此外,药物评估装置1300具有评估指标数据生成单元1303代替培养心肌细胞1100的评估指标数据生成单元1103,并且进一步具有代替评估单元1104的评估单元1304。
评估指标数据生成单元1303从评估对象图像数据生成及记录单元1102获取评估对象图像数据。评估指标数据生成单元1303使用所获取的评估对象图像数据生成评估指标数据并且将其提供给评估单元1304。
更具体地讲,评估指标数据生成单元1303例如在作为培养的心肌细胞500的运动图像的评估对象图像数据的帧图像之间,对每个块执行培养的心肌细胞500的运动检测(运动矢量的生成),每个块是帧图像的整个区域被划分成的部分区域。即,评估指标数据生成单元1303对每个块进行预定期间(预定数目的帧)中的运动检测。该期间可以是成像单元1101所成像的运动图像的时间或者可以比该时间更短。
评估指标数据生成单元1303进一步获得每个所生成的运动矢量的运动量(运动矢量的长度)。即,评估指标数据生成单元1303生成预定期间中的每个块的每个帧的运动量。
当由评估指标数据生成单元1303获得的某些块的帧的运动量以时间序列被排列时,例如,获得了图25中示出的图表。图25是示出了评估指标数据生成单元1303获得的某些块的运动量相对于时间的变化形态的图,即,细胞的搏动形态的示例。
在图25的图表中,水平轴代表经过的时间(帧的数量),并且垂直轴代表运动量(像素/帧数)。曲线1311(之前)代表施用药物之前的培养的心肌细胞500的搏动,并且曲线1312(之后)代表施用药物之后的培养的心肌细胞500的搏动。此外,在图25的图表中,示出了单个搏动(收缩和舒张)的波形。
心肌细胞的搏动包括收缩和舒张,并且在曲线1311和曲线1312中,形成在左侧的波峰指“收缩”动作,并且形成在在侧的波峰指“舒张”动作。点P1-1代表曲线1311(之前)的收缩的峰值,并且点P1-2代表曲线1311(之前)舒张的峰值。点P2-1代表曲线1313(之后)的收缩的峰值,并且点P2-2代表曲线1312(之后)舒张的峰值。
通常,心肌的舒张对应于心电图中所指的T形波,并且对应于心肌细胞膜的复极化。T形波的延长是Q形波和T形波之间的时间的延长并且通常称作QT延长。在出现该症状的情况中,表明了心律失常的可能性。例如,当施用于培养的心肌细胞500的药物阻塞了钙通道的离子通过时,就会发生这种QT延长。例如,已知DL-索他洛尔(dl-sotalol)阻塞钙通道。即,当DL-索他洛尔被施用于培养的心肌细胞500时,由于在舒张过程期间进行操作的钙通道功能的变化,舒张过程就发生了变化。
如图25中所示,在施用药物之前和之后舒张的峰值发生了位移。更具体地讲,点P2-2的时间从点P1-2的时间被延长(位移)了时间d。即,可以确认发生了由于施用药物而引起的QT延长(例如,由于施用DL-索他洛尔而引起的钙通道功能的变化)。
以此方式,通过比较施用药物之前和之后细胞的搏动(收缩和舒张)的运动矢量(或其运动量)的变化,可以评估药物的效用、毒性等。
此外,通过根据相关技术的电位测量可以实现QT延长的观测。然而,需要具有电极的专用培养皿。此外,在使用钙进行的搏动成像中,基本上,只能观测到左侧的峰值,而难以观测到右侧的峰值。因此,不适于对延长进行评估。与此相反的是,在以上描述的本技术的方法的情况中,可以在不向细胞添加诸如荧光颜料之类的试剂并且不使用特制培养皿的情况下,确认细胞搏动行为的变化。即,可以执行容易的、非侵害性的并且低成本的评估。
为了执行QT延长的的评估,评估指标数据生成单元1303进一步从每个运动矢量的所生成运动量(运动矢量的长度)来计算用于波形比较的特征量,诸如以时间序列排列的运动量组、点P2-1和点P2-2的坐标和时间d,并且将特征量提供到评估单元1304作为评估指标数据。
评估单元1304生成所提供的评估指标数据的图像,对其执行定量评估,或者计算并且输出培养的心肌细胞500的运动量的评估值。
更具体地讲,评估单元1304显示示出了例如图25中示出的搏动模式的图表图像,或执行表示QT延长的程度的时间d的阈值确定,从而确定QT延长是否存在。
此外,当然,图25中示出的图表是生成图像的示例,但是此外,细胞搏动模式可以由任意的图像表示,诸如条形图、分布图和示意图。此外,所评估的药物是任意的。
以下,将会描述每个单元的细节。
【评估指标数据生成单元】
图26是图示评估指标数据生成单元1303的主要配置示例的框图。如图26所示,评估指标数据生成单元1303具有运动检测单元310,并且通过在评估对象图像数据600的帧图像(运动图像)之间执行运动检测来生成每个块的运动矢量。
此外,评估指标数据生成单元1303具有运动量绝对值计算单元1321、运动量绝对值存储单元1322、特征量计算单元1323和特征量存储单元1324。
运动量绝对值计算单元1321计算运动检测单元310所检测的每个运动矢量的运动量(运动矢量的长度的绝对值)(以下,也称作运动量绝对值)。运动量绝对值计算单元1321将所计算的运动量绝对值存储在运动量绝对值存储单元1322中。
运动量绝对值存储单元1322存储评估对象图像数据600的全部帧之间的每个块的运动量绝对值。例如,在像施用药物之前和之后那样预设多个评估对象图像数据的情况中,运动量绝对值存储单元1322存储每个评估对象图像数据的运动量绝对值。
特征量计算单元1323使用存储在运动量绝对值存储单元1322中的运动量绝对值来计算用于评估的预定特征量。特征量存储单元1324存储特征量计算单元1323所计算的特征量。在预定的时刻或响应于评估单元1304等的请求将特征量提供给评估单元1304作为评估指标数据800。
【评估单元】
图27是评估单元1304的主要配置示例的框图。如图27所示,评估单元1304具有特征量获取单元1341、特征比较单元1342、显示单元1343和输出单元1344。
特征量获取单元1341从评估指标数据生成单元1303(特征量存储单元1324)获取预定特征量(例如,评估对象(培养的心肌细胞500)的特征量)作为评估指标数据800。特征量获取单元1341将所获取的特征量提供给显示单元1343以便进行显示或者将特征量提供给输出单元1344以便提供给另一个设备。此外,特征量获取单元1341将所获取的特征量提供给特征量比较单元1342。
特征量比较单元1342对所提供的特征量进行定量地评估。例如,特征量比较单元1342例如将施用药物之前和之后的多个培养的心肌细胞500的特征量进行相互比较,或者将特征量与预定的阈值进行比较,从而执行定量评估。特征量比较单元1342将比较结果提供给显示单元1343进行显示或者将比较结果提供给输出单元1344以便提供给另一个设备。
显示单元1343具有诸如监视器之类的显示设备并且生成从特征量获取单元1341或特征量比较单元1342提供来的数据的图像以便在显示设备上显示该图像。例如,使用特征量获取单元1341获取的运动量,显示单元1343生成并且显示例如如图25所示的图表。此外,例如,显示单元1343生成从特征比较单元1342提供的评估结果的图像以便进行显示。
输出单元1344具有诸如外部端子之类的接口并且输出从特征量获取单元1341或特征量比较单元1342提供的数据到外部设备、网络等。
如上所述,由于评估单元1304对搏动模式进行评估,则药物评估装置1300可以容易地并且以非侵害性方式来评估施用药物对心肌细胞的搏动的影响。
此外,以上描述了评估单元对QT延长的发生进行评估。然而,有待于评估的参数可以是除此之外的参数。即,所计算的特征量是任意的。例如,在图25的图表中,点P1-2和点P2-2之间的运动量的差值可以是特征量。此外,点P1-1和点P2-1之间的在时间或运动量上的差值可以是特征量。此外,例如,收缩的波峰的宽度或舒张的波峰的宽度可以是特征量。理所当然的是,除这些之外参数也可以是特征量。
此外,评估单元1304可以在观察区域中的全部块上或者一部分块上执行这种评估。此外,评估单元1304可以对观测期间中所有搏动或一部分搏动执行这种评估。
【评估处理的流程】
接下来,将会参照图28的流程图描述药物评估装置1300执行的评估处理的流程的示例。
当开始评估处理时,药物评估装置1300的成像单元1101在步骤S1301中对评估对象进行成像。在步骤S1302中,评估对象图像数据生成及记录单元1102从通过步骤S1301的成像而获得的图象信号生成评估对象图像数据。
在步骤S1303中,评估指标数据生成单元1303使用步骤S1302中生成的评估对象图像数据来生成评估指标数据。在步骤S1304中,评估单元1304使用步骤S1303中生成的评估指标数据来观测施用药物之前和之后的培养的心肌细胞500的搏动模式(例如,QT延长),从而评估药物的影响。
在步骤S1305中,评估单元1304的输出单元1344输出步骤S1304中计算的评估值到药物评估装置1300的外部并且结束评估处理。此外,在步骤S1305中,如上所述,显示单元1343可以生成评估值的图像并且在显示设备上显示图像,来取代输出单元1344的输出。此外,如上所述,显示单元1343可以生成通过步骤S1303中的处理计算出的各种特征量的图像以便显示在显示设备上,或者输出单元1344可以输出各种特征量到药物评估装置1300的外部。
【评估指标数据生成处理的流程】
接下来,参照图29的流程图描述图28的步骤S1303中执行的评估指标数据生成处理的流程的示例。
当开始评估指标数据生成处理时,评估指标数据生成单元1303的运动检测单元310在步骤S1321中检测每个块的评估对象的运动并且生成运动矢量。在步骤S1322中,运动量绝对值计算单元1321计算步骤S1321中生成的运动矢量的运动量绝对值。
在步骤S1323中,运动量绝对值存储单元1322存储步骤S1322中计算出的运动量绝对值。
在步骤S1324中,运动检测单元310判断运动检测是否被执行了预先确定的预定期间(评估区间)。在判定没有经过运动检测的帧图像存在于预定的评估区间的情况中,运动检测单元310将处理返回到步骤S1321并且对作为处理的新对象的帧图像重复运动检测。
此外,在步骤S1324中,在判定对预定评估区间中作为该处理的对象的所有帧图像进行了运动检测的情况中,运动检测单元310将处理移动到步骤S1325。
在步骤S1325中,特征量计算单元1323使用步骤S1323中存储的运动量绝对值计算特征量。在步骤S1326中,特征量存储单元1324存储在步骤S1325中计算的特征量。
在步骤S1327中,特征量计算单元1323判断特征量的计算是否被重复了预先确定的预定次数(例如,S次),并且在判定尚未达到预定的次数的情况中,将处理返回到步骤S1321并且重复随后的处理。此外,在步骤S1327中,在判定特征量的计算被重复进行了预定的次数的情况中,特征量计算单元1323结束评估指标数据生成处理,将处理返回到图28,并且执行步骤S1304之后的处理。
【影响评估处理的流程】
接下来,参照图30的流程图描述图28的步骤S1304中执行的影响评估处理的流程的示例。
当影响评估处理开始时,在步骤S1341中,评估单元1304的特征量获取单元1341从特征量存储单元1324获取所希望的运动矢量。
在步骤S1342中,特征量比较单元1342比较在步骤S1341中获取的对象之间的特征量。当结束了步骤S1342的处理时,特征量比较单元1342结束影响评估处理,将处理返回到图28并且执行步骤S1305的处理。
如上所述,通过由评估单元1304获得与经历了运动检测的观测对象的运动量相对于时间的变化有关的特征量,药物评估装置1300可以容易地评估施用药物对心肌细胞的搏动的影响。由于这种方法没有使用特制的培养皿或荧光试剂,因此可以进行简单、非侵害性的并且低成本的评估,并且该方法适合于自动化。此外,在该方法的情况中,观测区域可以是相对较窄的范围,例如,约0.6平方毫来,并且可以使用少量的细胞和少量的试剂进行测试。此外,使用普通的被售卖的高密度培养皿(1536孔培养皿(1.7mm-直径/1-井)或384孔培养皿(3.6mm-直径/1-井))可以充分地实现评估,并且当研发出药物时,该方法适合于初始筛选。此外,本技术也可以应用于能通过观测培养的心肌细胞500被评估的任何事物的情况。
【由于施用药物而引起的搏动改变的示例】
图31是示出了施用药物之前和之后的搏动形态的示例的示意图。图31中示出的所有8个图表是培养的心肌细胞500的观测区域中预定部分的搏动形态的观测结果(运动量绝对值相对于时间的改变)。水平轴代表时间(秒),并且垂直轴代表帧之间的运动量绝对值(像素/帧)。即,每个图表中示出的幅度代表培养的心肌细胞500的搏动。
图31左侧的图表代表施用药物之前的搏动形态,并且右侧的图表代表施用药物之后(在施用之后的预定时间过去之后)的搏动形态。
在图31的示例的情况中,最上面的图表示出了施用有机溶剂(对照组(control))(例如,二甲基亚砜)之前和之后的搏动形态。此外,从顶部起的第二幅图示出了施用阿司匹林(乙酰水杨酸)之前和之后的搏动形态。另外,从顶部起的第三幅图示出了施用DL-索他洛尔(dl-sotalol)之前和之后的搏动形态。此外,最底部的3D绘图示出了施用18-β-甘草次酸(18-β-Glycyrrhetinic acid)之前和之后的搏动形态。
如图31的图表所示,有机溶剂或阿司匹林对心肌细胞的搏动间隔不具有显著的影响。即,如图31的左侧的图表所示,在施用药物之前,搏动以大体上恒定的间隔(峰值间隔大体上为常数)重复,并且甚至当有机溶剂或阿司匹林施用于心肌细胞时,如图31的右侧从顶部起的第一和第二幅图所示,搏动以与施用药物之前的间隔大体上相同的间隔重复并且以恒定的间隔重复。即,在这种情况下,搏动的节奏实质上没有变化(峰值间隔没有变化)。
与此相反的是,当施用DL-索他洛尔时,钙通道的功能退化,并且不仅舒张的波形(搏动的宽度)发生变化(变得不稳定),而且搏动的定时变得不稳定(峰值间隔发生变化),如图31的右侧从顶部起的第三幅图所示。此外,峰值处的运动量绝对值也变得不稳定(有变化)。
此外,已知18-β-甘草次酸阻塞间隙结(gap junction)。即使在施用18-β-甘草次酸的情况中,如图31的右侧从顶部起的第四幅图所示,搏动的定时以及峰值处的运动量绝对值变得不稳定(有变化)。
此外,图32是示出了施用药物之前和之后的搏动的变化形态的示例的示意图。在图32中示出的所有8幅图中,在培养的心肌细胞500的观测区域中的预定部分中重复的搏动波形(多个搏动)发生重叠。
如图31中的情况,在每个图表中,水平轴代表时间(秒),并且垂直轴代表帧之间的运动量绝对值(像素/帧)。此外,左侧的图表代表施用药物之前的搏动,并且右侧的图表代表施用药物之后(在施用之后的预定时间过去之后)的搏动。
此外,如图31中的情况,按照从上面起的顺序,施加的药物是有机溶剂(对照组)、阿司匹林(乙酰水杨酸)、DL-索他洛尔和18-β-甘草次酸(18-β-Glycyrrhetinic acid)。
如图32的图表所示,即使施用了有机溶剂或阿司匹林,心肌细胞的搏动与施用之前一样,没有显著的变化。
与此相反的是,当施用DL-索他洛尔时,钙通道的功能退化,并且如图31的右侧从顶部起的第三幅图所示,主要是舒张的波形(峰值的大小、峰值出现的时间、峰值出现的次数、宽度(QT延长)等)具有显著的变化。此外,收缩的波形的峰值的高度也具有显著的变化。
此外,18-β-甘草次酸阻碍间隙结的功能,并且如图31的左侧从顶部起的第四幅图所示,收缩的波形的峰值的高度具有显著的变化。
使用药物评估装置1300,可以容易地并且以非侵害性方式来掌握施用药物对搏动的影响。
如上所述,通过观测培养心肌细胞500的观测区域中特定细胞(特定的部分区域)由于施用药物而引起的搏动形态的变化,可以获得仅仅通过观测细胞之间的搏动的相互关系而获得的信息。因此,可以使用与观测细胞之间的搏动的相互关系的情况中的指标不同的指标来进行药物评估。
<5.第五实施例>
【个人计算机】
以上描述的一系列处理可以在硬件中实现或在软件中实现。在这种情况下,例如,可以配置如图33中图示的个人计算机。
在图33中,个人计算机1500的CPU(中央处理单元)1501根据存储在ROM(只读存储器)中的程序或从存储单元1513加载到RAM(随机存取存储器)1503上的程序执行各种处理。RAM 1503适当地存储CPU1501执行各种处理所需的数据等。
CPU 1501、ROM 1502和RAM 1503经由总线1504互相连接。输入及输出接口1510也连接到总线1504。
输入单元1511、输出单元1512、存储单元1513和通信单元1514连接到输入及输出接口1510,该输入单元1511由键盘、鼠标等组成,输出单元1512由诸如CRT(阴极射线管)或LCD(液晶显示器)之类的显示器、扬声器等组成,存储单元1513由硬盘等构成,并且通信单元1514由调制解调器等构成。通信单元1514通过包括互联网在内的网络执行通信处理。
如有必要,驱动器1515也连接到输入及输出接口1510,诸如磁盘、光盘、磁光盘或半导体存储器之类的可移动介质1521被适当地安装,并且如有必要,从其读出的计算机程序被安装在存储单元1513上。
在以上描述的一系列处理在软件中实现的情况中,构成软件的程序是从网络或记录介质安装的。
例如,如图33所示,记录介质从装置主体分离,不仅被配置为可移动介质1521,而且被配置为在被组装到装置主体的状态中记录了传递给用户的程序的ROM 1502、包括在存储单元1513中的硬盘等,可移动介质1521被分发以传递程序给用户并且是由记录了的程序的磁盘(包括柔性磁盘)、光盘(包括CD-ROM(压缩光盘-只读存储器))和DVD(数字通用盘)、磁光盘(包括MD(迷你盘))、半导体存储器等制成的。
此外,计算机执行的程序可以是根据本说明书描述的顺序以时间顺序执行的程序,或可以是并行地或在必要的定时(诸如当进行调用时)处执行的程序。
此外,在本说明书中,描述记录在记录介质上的程序的步骤不仅包括按照描述的顺序以时间序列执行的处理,而且包括没有必要以时间序列执行的但是并行地或分别地执行的处理。
此外,在本说明书中,系统代表由多个设备(设备)构成的整个装置。
此外,在以上描述中,描述为单个设备(或处理单元)的配置可以被划分为配置成多个设备(或处理单元)。与此相反的是,在以上描述中描述为多个设备(或处理单元)的配置可以被综合为配置成单个设备(或处理单元)。此外,除了以上描述的这些配置之外的配置也可以添加到每个设备(或每个处理单元)的配置中。另外,当整个系统的操作的配置大体上是相同的时候,某些设备(或处理单元)的一部分配置可以包括在另一个设备(或另一个处理单元)的配置中。即,本技术并不局限于以上描述的实施例,并且在不脱离本技术的主旨的范围内可以进行各种修改。
此外,本技术可以采用以下配置。
(1)一种数据处理装置,包括:运动检测单元,其将多个帧图像数据划分成根据预定像素数的排列的块并且检测每个相应块的运动的时间序列数据,所述多个帧图像数据形成具有物体的图像内容的运动图像数据,所述物体执行周期性的运动;
特征量计算单元,其根据所检测的每个块的运动的时间序列数据计算每个块的至少一种特征量;以及
分类处理单元,其基于所述计算出的特征量来生成分类数据,所述分类数据表示将形成所述多个帧图像数据中的任何一个的每个块分类到预定数量的分类类别中的任何一个中的结果。
(2)如(1)中所述的数据处理装置,
其中所述特征量计算单元对于每个块计算多种的所述特征量,以及所述分类单元根据计算的多种的所述特征量生成所述分类数据。
(3)如(1)或(2)中所述的数据处理装置,
其中所述特征量计算单元计算平均运动方向作为所述特征量的一种,所述平均运动方向是在预定的时间内每单位时间的运动方向的平均值。
(4)如(1)至(3)中任一项所述的数据处理装置,
其中所述特征量计算单元计算平均运动量作为所述特征量的一种,所述平均运动量是在预定的时间内每单位时间的运动量的平均值。
(5)如(1)至(4)中任一项所述的数据处理装置,
其中所述特征量计算单元计算平均幅度作为所述特征量的一种,所述平均幅度是在预定的时间内获得的具有预定的或更高的运动量的幅度的平均值。
(6)如(1)至(5)中任一项所述的数据处理装置,
其中所述特征量计算单元计算平均加速度作为所述特征量的一种,所述平均加速度是在预定的时间内每单位时间的运动加速度的平均值。
(7)如(1)至(6)中任一项所述的数据处理装置,
其中所述特征量计算单元计算平均运动间隔作为所述特征量的一种,所述平均运动间隔是在预定的时间内在其中获得具有预定的或更高的运动量的幅度的时间间隔的平均值。
(8)如(1)至(7)中任一项所述的数据处理装置,
其中所述特征量计算单元计算运动开始时间作为所述特征量的一种,所述运动开始时间是从预定的时刻到获得具有固定的或更高的运动量的幅度时的时刻为止的时间。
(9)如(1)至(8)中任一项所述的数据处理装置,
其中所述分类单元执行以下处理:与所述多个分类类别对应地计算具有不同的特征量的组合的多个模板中的每一个模板和所述块之间的距离,并且针对每一个块,根据所计算的距离来将所述块分类到所述多个分类类别中的任何一个分类类别。
(10)如(1)至(9)中任一项所述的数据处理装置,
其中所述分类单元通过基于与每个所述块相对应地计算出的特征量根据k平均法执行聚类,来将每个所述块分类到预定数量的分类类别中的任何一个分类类别。
(11)一种数据处理方法,包括:
运动检测步骤,将多个帧图像数据划分成根据预定像素数的排列的块并且检测每个相应块的运动的时间序列数据,所述多个帧图像数据形成具有物体的图像内容的运动图像数据,所述物体执行周期性的运动;
特征量计算步骤,根据所检测的每个块的运动的时间序列数据计算每个块的至少一种特征量;以及
分类处理步骤,基于所述计算出的特征量来生成分类数据,所述分类数据表示将形成所述多个帧图像数据中的任何一个的每个块分类到预定数量的分类类别中的任何一个中的结果。
(12)一种图像处理装置,包括:
运动检测单元,其使用评估对象的图像来检测所述评估对象的运动;
指标数据生成单元,其通过使用表示所述运动检测单元检测到的所述评估对象的运动的运动矢量来生成指标数据,所述指标数据表示所述评估对象的运动的特征并且被用作对所述评估对象进行评估的指标;以及
评估值计算单元,其评估所述指标数据生成单元生成的指标数据并且计算评估值。
(13)如(12)中所述的数据处理装置,
其中其中所述指标数据生成单元生成与所述评估对象的运动的幅度的大小有关的指标数据、和与所述评估对象的运动的峰值的单位时间频率有关的指标数据,并且所述评估值计算单元使用所述指标数据生成单元生成的与所述评估对象的运动的幅度的大小有关的指标数据来计算对所述评估对象的运动的幅度的大小进行评估的评估值,并且进一步使用所述指标数据生成单元生成的与所述评估对象的运动的峰值的单位时间频率有关的指标数据来计算对所述评估对象的运动的峰值的单位时间频率进行评估的评估值。
(14)如(13)中所述的数据处理装置,
其中与所述评估对象的运动的幅度的大小有关的指标数据是在所述评估对象的整个图像上的归一化的所述幅度和归一化的所述幅度的离差的乘积的平均值。
(15)如(13)或(14)中所述的数据处理装置,
其中与所述评估对象的运动的幅度的大小有关的指标数据是归一化的幅度和归一化的幅度的离差的乘积的值高于或等于预定阈值的区域相对于所述评估对象的整个图像的比例。
(16)如(13)至(15)中任一项所述的数据处理装置,
其中与所述评估对象的运动的峰值的单位时间频率有关的指标数据是在整个画面上归一化的单位时间的峰值数与归一化的单位时间的峰值数的离差的乘积的平均值。
(17)如(13)至(16)中任一项所述的数据处理装置,
其中与所述评估对象的运动的峰值的单位时间频率有关的指标数据是归一化的单位时间的峰值数与归一化的单位时间的峰值数的离差的乘积的值高于或等于预定阈值的区域相对于所述评估对象的整个图像的比例。
(18)如(13)至(17)中任一项所述的数据处理装置,
其中所述指标数据生成单元还根据所述评估对象的运动的特征量生成与将所述评估对象的图像的每个部分区域进行分类的分类结果有关的指标数据,以及
所述评估值计算单元还使用所述指标数据生成单元生成的与分类结果有关的指标数据来计算对所述评估对象的运动的特征量的分类结果进行评估的评估值。
(19)如(12)至(18)中任一项所述的数据处理装置,
其中所述指标数据生成单元计算由所述运动检测单元检测的评估对象的运动量,以及
所述评估值计算单元生成由所述指标数据生成单元计算的所述运动量相对于时间的变化的图像以便进行显示。
(20)如(19)中所述的图像处理装置,其中所述指标数据生成单元生成如下指标数据,所述指标数据表示在所计算的运动量相对于时间的变化中、表示作为所述评估对象的心肌细胞的舒张的波形峰值由于对心肌细胞施用药物而产生的变化,以及
所述评估值计算单元评估由所述指标数据生成单元计算出的所述指标数据并且计算评估值。
(21)如(12)至(20)中任一项所述的数据处理装置,
进一步包括成像单元,所述成像单元对所述评估对象进行成像并且获得所述评估对象的图像,
其中所述运动检测单元使用由所述成像单元获得的所述评估对象的图像来检测所述评估对象的运动。
(22)如(12)至(21)中任一项所述的数据处理装置,
其中所述运动检测单元检测所述评估对象的图像中具有预定长度的评估期间中的各帧图像之间的所述评估对象的运动,所述评估对象的图像是运动图像。
(23)如(22)中所述的数据处理装置,
其中所述运动检测单元将所述评估期间的所述评估对象的运动的检测重复进行预定的次数。
(24)如(12)至(23)中任一项所述的数据处理装置,
其中所述评估值计算单元评估由所述指标数据生成单元生成的多种指标数据中的每一种指标数据以计算所述评估值,并且对所计算的评估值进行整合,从而计算出对所述评估对象进行评估的评估值。
(25)如(12)至(24)中任一项所述的数据处理装置,
其中所述评估对象是自发运动的细胞。
(26)如(12)至(25)中任一项所述的数据处理装置,
其中所述评估对象是通过对从活体采集的细胞进行培养而产生的培养细胞。
(27)一种图像处理方法,包括:
由图像处理装置的运动检测单元使用评估对象的图像来检测所述评估对象的运动;
由图像处理装置的指标数据生成单元通过使用表示所检测到的所述评估对象的运动的运动矢量来生成指标数据,所述指标数据表示所述评估对象的运动的特征并且被用作对所述评估对象进行评估的指标;以及
由所述图像处理装置的评估值计算单元对所生成的指标数据进行评估并且计算评估值。
(28)一种程序,所述程序使计算机具有如下功能:
运动检测单元,其使用评估对象的图像来检测所述评估对象的运动;
指标数据生成单元,其通过使用表示检测到的所述评估对象的运动的运动矢量来生成指标数据,所述指标数据表示所述评估对象的运动的特征并且被用作对所述评估对象进行评估的指标;以及
评估值计算单元,其评估所生成的指标数据并且计算评估值。
参考符号列表
100 培养的心肌细胞评估系统
110 成像设备
200 评估对象图像数据生成及记录设备
300 评估指标数据生成设备
310 运动检测单元
311 帧存储器
312 运动矢量计算单元
320 运动检测数据存储单元
330 特征量计算单元
340 分类处理单元
400 评估设备
500 培养的心肌细胞
600 评估对象图像数据
610 帧图像数据
611 块
700 运动检测数据
710 帧单位运动检测数据
800 评估指标数据
801 个体分类结果数据
1100 培养的心肌细胞评估装置
1101 成像单元
1102 评估对象图像数据生成及记录单元
1103 评估指标数据生成单元
1104 评估单元
1123 特征量计算单元
1124 分类处理单元
1125 运动特征量数据历史存储器
1141 幅度评估单元
1142 搏动数评估单元
1143 分类结果评估单元
1144 评估整合单元
1300 药物评估装置
1303 评估指标数据生成单元
1304 评估单元
1341 特征量获取单元
1342 特征比较单元
1343 显示单元
1344 输出单元

Claims (27)

1.一种数据处理装置,包括:
运动检测单元,其将多个帧图像数据划分成根据预定像素数的排列的块并且检测每个相应块的运动矢量的时间序列数据,所述多个帧图像数据形成具有物体的图像内容的运动图像数据,所述物体执行周期性的运动;
特征量计算单元,其根据所检测的每个块的运动的时间序列数据计算每个块的至少一种特征量;以及
分类处理单元,其基于所述计算出的特征量来生成分类数据,所述分类数据表示将形成所述多个帧图像数据中的任何一个的每个块分类到预定数量的分类类别中的任何一个中的结果。
2.根据权利要求1所述的数据处理装置,
其中所述特征量计算单元对于每个块计算多种的所述特征量,以及
所述分类处理单元根据计算的多种的所述特征量生成所述分类数据。
3.根据权利要求1所述的数据处理装置,
其中所述特征量计算单元计算平均运动方向作为所述特征量的一种,所述平均运动方向是在预定的时间内每单位时间的运动方向的平均值。
4.根据权利要求1所述的数据处理装置,
其中所述特征量计算单元计算平均运动量作为所述特征量的一种,所述平均运动量是在预定的时间内每单位时间的运动量的平均值。
5.根据权利要求1所述的数据处理装置,
其中所述特征量计算单元计算平均幅度作为所述特征量的一种,所述平均幅度是在预定的时间内获得的具有预定的或更高的运动量的幅度的平均值。
6.根据权利要求1所述的数据处理装置,
其中所述特征量计算单元计算平均加速度作为所述特征量的一种,所述平均加速度是在预定的时间内每单位时间的运动加速度的平均值。
7.根据权利要求1所述的数据处理装置,
其中所述特征量计算单元计算平均运动间隔作为所述特征量的一种,所述平均运动间隔是在预定的时间内在其中获得具有预定的或更高的运动量的幅度的时间间隔的平均值。
8.根据权利要求1所述的数据处理装置,
其中所述特征量计算单元计算运动开始时间作为所述特征量的一种,所述运动开始时间是从预定的时刻到获得具有固定的或更高的运动量的幅度时的时刻为止的时间。
9.根据权利要求1所述的数据处理装置,
其中所述分类处理单元执行以下处理:与多个所述分类类别对应地计算具有不同的特征量的组合的多个模板中的每一个模板和所述块之间的距离,并且针对每一个块,根据所计算的距离来将所述块分类到多个所述分类类别中的任何一个分类类别。
10.根据权利要求1所述的数据处理装置,
其中所述分类处理单元通过基于与每个所述块相对应地计算出的特征量根据k平均法执行聚类,来将每个所述块分类到预定数量的分类类别中的任何一个分类类别。
11.一种数据处理方法,包括:
运动检测步骤,将多个帧图像数据划分成根据预定像素数的排列的块并且检测每个相应块的运动矢量的时间序列数据,所述多个帧图像数据形成具有物体的图像内容的运动图像数据,所述物体执行周期性的运动;
特征量计算步骤,根据所检测的每个块的运动的时间序列数据计算每个块的至少一种特征量;以及
分类处理步骤,基于所述计算出的特征量来生成分类数据,所述分类数据表示将形成所述多个帧图像数据中的任何一个的每个块分类到预定数量的分类类别中的任何一个中的结果。
12.一种图像处理装置,包括:
运动检测单元,其使用评估对象的图像来检测所述评估对象的运动;
指标数据生成单元,其通过使用表示所述运动检测单元检测到的所述评估对象的图像的整个区域被划分得到的部分区域的每个块的运动的运动矢量获得评估对象的运动的特征量数据,根据所述特征量数据对块进行分类,以及使用所述特征量数据和分类结果来生成指标数据,所述指标数据表示所述评估对象的运动的特征并且被用作对所述评估对象进行评估的指标;以及
评估值计算单元,其评估所述指标数据生成单元生成的指标数据并且计算评估值。
13.根据权利要求12所述的图像处理装置,
其中所述指标数据生成单元生成与所述评估对象的运动的幅度的大小有关的指标数据以及与所述评估对象的运动的峰值的每单位时间的频率有关的指标数据,并且
所述评估值计算单元使用所述指标数据生成单元生成的与所述评估对象的运动的幅度的大小有关的指标数据来计算对所述评估对象的运动的幅度的大小进行评估的评估值,并且进一步使用所述指标数据生成单元生成的与所述评估对象的运动的峰值的单位时间频率有关的指标数据来计算对所述评估对象的运动的峰值的单位时间频率进行评估的评估值。
14.根据权利要求13所述的图像处理装置,
其中与所述评估对象的运动的幅度的大小有关的指标数据是在所述评估对象的整个图像上的归一化的所述幅度和归一化的所述幅度的离差的乘积的平均值。
15.根据权利要求13所述的图像处理装置,
其中与所述评估对象的运动的幅度的大小有关的指标数据是归一化的幅度和归一化的幅度的离差的乘积的值高于或等于预定阈值的区域相对于所述评估对象的整个图像的比例。
16.根据权利要求13所述的图像处理装置,
其中与所述评估对象的运动的峰值的单位时间频率有关的指标数据是在整个画面上归一化的单位时间的峰值数与归一化的单位时间的峰值数的离差的乘积的平均值。
17.根据权利要求13所述的图像处理装置,
其中与所述评估对象的运动的峰值的单位时间频率有关的指标数据是归一化的单位时间的峰值数与归一化的单位时间的峰值数的离差的乘积的值高于或等于预定阈值的区域相对于所述评估对象的整个图像的比例。
18.根据权利要求13所述的图像处理装置,
其中所述指标数据生成单元还根据所述评估对象的运动的特征量生成与将所述评估对象的图像的每个部分区域进行分类的分类结果有关的指标数据,以及
所述评估值计算单元还使用所述指标数据生成单元生成的与分类结果有关的指标数据来计算对所述评估对象的运动的特征量的分类结果进行评估的评估值。
19.根据权利要求12所述的图像处理装置,
其中所述指标数据生成单元计算由所述运动检测单元检测的评估对象的运动量,以及
所述评估值计算单元生成由所述指标数据生成单元计算的所述运动量相对于时间的变化的图像以便进行显示。
20.根据权利要求19所述的图像处理装置,
其中所述指标数据生成单元生成如下指标数据,所述指标数据表示在所计算的运动量相对于时间的变化中、表示作为所述评估对象的心肌细胞的舒张的波形峰值由于对心肌细胞施用药物而产生的变化,以及
所述评估值计算单元评估由所述指标数据生成单元计算出的所述指标数据并且计算评估值。
21.根据权利要求12所述的图像处理装置,进一步包括成像单元,所述成像单元对所述评估对象进行成像并且获得所述评估对象的图像,
其中所述运动检测单元使用由所述成像单元获得的所述评估对象的图像来检测所述评估对象的运动。
22.根据权利要求12所述的图像处理装置,
其中所述运动检测单元检测所述评估对象的图像中具有预定长度的评估期间中的各帧图像之间的所述评估对象的运动,所述评估对象的图像是运动图像。
23.根据权利要求22所述的图像处理装置,
其中所述运动检测单元将所述评估期间的所述评估对象的运动的检测重复进行预定的次数。
24.根据权利要求12所述的图像处理装置,
其中所述评估值计算单元评估由所述指标数据生成单元生成的多种指标数据中的每一种指标数据以计算所述评估值,并且对所计算的评估值进行整合,从而计算出对所述评估对象进行评估的评估值。
25.根据权利要求12所述的图像处理装置,
其中所述评估对象是自发运动的细胞。
26.根据权利要求12所述的图像处理装置,
其中所述评估对象是通过对从活体采集的细胞进行培养而产生的培养细胞。
27.一种图像处理方法,包括:
由图像处理装置的运动检测单元使用评估对象的图像来检测所述评估对象的运动;
由图像处理装置的指标数据生成单元通过使用表示所述运动检测单元检测到的所述评估对象的图像的整个区域被划分得到的部分区域的每个块的运动的运动矢量获得评估对象的运动的特征量数据,根据所述特征量数据对块进行分类,以及使用所述特征量数据和分类结果来生成指标数据,所述指标数据表示所述评估对象的运动的特征并且被用作对所述评估对象进行评估的指标;以及
由所述图像处理装置的评估值计算单元对所生成的指标数据进行评估并且计算评估值。
CN201180025497.7A 2010-03-29 2011-02-28 数据处理装置、数据处理方法、图像处理装置和方法以及程序 Active CN102906789B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2010074306 2010-03-29
JP2010-074306 2010-03-29
JP2010234504 2010-10-19
JP2010-234504 2010-10-19
PCT/JP2011/054557 WO2011122200A1 (ja) 2010-03-29 2011-02-28 データ処理装置およびデータ処理方法、画像処理装置および方法、並びに、プログラム

Publications (2)

Publication Number Publication Date
CN102906789A CN102906789A (zh) 2013-01-30
CN102906789B true CN102906789B (zh) 2017-05-17

Family

ID=44711929

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180025497.7A Active CN102906789B (zh) 2010-03-29 2011-02-28 数据处理装置、数据处理方法、图像处理装置和方法以及程序

Country Status (4)

Country Link
US (3) US9786052B2 (zh)
JP (3) JP5772817B2 (zh)
CN (1) CN102906789B (zh)
WO (1) WO2011122200A1 (zh)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5772817B2 (ja) 2010-03-29 2015-09-02 ソニー株式会社 画像処理装置および方法、並びに、プログラム
JP6078943B2 (ja) * 2011-02-28 2017-02-15 ソニー株式会社 画像処理装置および方法、並びに、プログラム
US9070004B2 (en) * 2012-05-03 2015-06-30 General Electric Company Automatic segmentation and characterization of cellular motion
JP6102166B2 (ja) * 2012-10-10 2017-03-29 株式会社ニコン 心筋細胞の運動検出方法、心筋細胞の培養方法、薬剤評価方法、画像処理プログラム及び画像処理装置
EP2939212B1 (en) 2012-12-27 2018-07-11 Tampereen Yliopisto Visual cardiomyocyte analysis
WO2014103137A1 (ja) 2012-12-27 2014-07-03 ソニー株式会社 細胞分析システム、細胞分析プログラム及び細胞分析方法
JP6562059B2 (ja) * 2013-02-14 2019-08-21 ソニー株式会社 神経細胞評価装置、神経細胞評価プログラム及び神経細胞評価方法
JP6494903B2 (ja) 2013-02-14 2019-04-03 ソニー株式会社 分析システム、分析プログラム及び分析方法
WO2015008682A1 (ja) * 2013-07-19 2015-01-22 ソニー株式会社 細胞評価装置および方法、並びにプログラム
JP6217968B2 (ja) * 2013-07-19 2017-10-25 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP6402717B2 (ja) * 2013-09-18 2018-10-10 株式会社ニコン 画像解析装置、画像解析方法、画像解析プログラム、細胞の製造方法、細胞の製造装置、細胞の培養方法、および細胞の培養装置
WO2015068329A1 (ja) 2013-11-08 2015-05-14 ソニー株式会社 細胞分析システム、細胞分析プログラム及び細胞分析方法
JP6147172B2 (ja) * 2013-11-20 2017-06-14 キヤノン株式会社 撮像装置、画像処理装置、画像処理方法、及びプログラム
EP3076219B1 (en) * 2014-01-07 2020-04-08 Sony Corporation Analysis system, analysis program, and analysis method
JP6276158B2 (ja) 2014-09-30 2018-02-07 富士フイルム株式会社 細胞撮像装置および方法
JP2017126254A (ja) * 2016-01-15 2017-07-20 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
JP2017146696A (ja) 2016-02-16 2017-08-24 ソニー株式会社 画像処理装置、画像処理方法及び画像処理システム
WO2017154318A1 (ja) * 2016-03-09 2017-09-14 ソニー株式会社 情報処理装置、情報処理方法、プログラム及び情報処理システム
JP6424911B2 (ja) * 2017-02-28 2018-11-21 株式会社ニコン 心筋細胞の運動検出方法、心筋細胞の培養方法、薬剤評価方法、画像処理プログラム及び画像処理装置
US10802485B2 (en) * 2017-10-09 2020-10-13 Here Global B.V. Apparatus, method and computer program product for facilitating navigation of a vehicle based upon a quality index of the map data
JP7341478B2 (ja) * 2017-12-26 2023-09-11 株式会社マイオリッジ 心筋細胞の薬剤応答性試験方法
KR102035860B1 (ko) * 2018-02-06 2019-10-23 한림대학교 산학협력단 연속 제스처 인식 시스템
JP7086630B2 (ja) * 2018-02-09 2022-06-20 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
FR3086435B1 (fr) * 2018-09-26 2021-06-11 Univ Claude Bernard Lyon Procede d’analyse automatisee des contractions cellulaires d’un ensemble de cellules biologiques.
JP6658926B2 (ja) * 2019-01-15 2020-03-04 ソニー株式会社 画像処理装置、画像処理プログラム及び画像処理方法
WO2020240853A1 (ja) * 2019-05-31 2020-12-03 日本電信電話株式会社 画像処理装置、画像処理方法及びプログラム
CN110780780B (zh) * 2019-09-04 2022-03-22 西安万像电子科技有限公司 图像处理方法及装置
CN110866906B (zh) * 2019-11-12 2022-07-08 安徽师范大学 基于图像边缘提取的三维培养人体心肌细胞搏动检测方法
CN113076894B (zh) * 2021-04-09 2022-05-17 中山大学 一种连续帧目标检测去重方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101224110A (zh) * 2007-12-24 2008-07-23 南京理工大学 三维心肌形变应变计算方法

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5081531A (en) * 1989-01-11 1992-01-14 U.S. Philips Corporation Method and apparatus for processing a high definition television signal using motion vectors representing more than one motion velocity range
US6095976A (en) * 1997-06-19 2000-08-01 Medinol Ltd. Method for enhancing an image derived from reflected ultrasound signals produced by an ultrasound transmitter and detector inserted in a bodily lumen
JP2000092454A (ja) * 1998-09-14 2000-03-31 Sony Corp 画像情報変換装置および画像情報変換方法
WO2000039954A1 (en) * 1998-12-29 2000-07-06 Kent Ridge Digital Labs Method and apparatus for embedding digital information in digital multimedia data
US6597738B1 (en) * 1999-02-01 2003-07-22 Hyundai Curitel, Inc. Motion descriptor generating apparatus by using accumulated motion histogram and a method therefor
JP4564634B2 (ja) * 2000-08-14 2010-10-20 キヤノン株式会社 画像処理方法及び装置並びに記憶媒体
JP3539632B2 (ja) 2001-02-14 2004-07-07 東京工業大学長 画像変化抽出方法、およびその画像処理プログラム
JP2003169319A (ja) 2001-11-30 2003-06-13 Mitsubishi Electric Corp 映像監視装置
CN100349549C (zh) * 2003-10-29 2007-11-21 福州大学 全方向m型心动图的速度场和加速度场的检测方法及其装置
DE10353785B4 (de) * 2003-11-18 2006-05-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zur Erfassung von verschiedenen Zelltypen von Zellen in einer biologischen Probe
US20070014452A1 (en) * 2003-12-01 2007-01-18 Mitta Suresh Method and system for image processing and assessment of a state of a heart
US8900149B2 (en) 2004-04-02 2014-12-02 Teratech Corporation Wall motion analyzer
US7440008B2 (en) * 2004-06-15 2008-10-21 Corel Tw Corp. Video stabilization method
US7916173B2 (en) * 2004-06-22 2011-03-29 Canon Kabushiki Kaisha Method for detecting and selecting good quality image frames from video
JP4662142B2 (ja) * 2004-08-13 2011-03-30 ソニー株式会社 移動物体検出装置及び方法
ATE431397T1 (de) * 2005-06-01 2009-05-15 Fraunhofer Ges Forschung Verfahren zur optischen bestimmung des dynamischen verhaltens von kontrahierenden zellen
CN101331500B (zh) * 2005-10-14 2015-04-29 尤尼森斯繁殖技术公司 细胞群的变化的测定
JP4914659B2 (ja) 2006-07-04 2012-04-11 パイオニア株式会社 映像処理装置、その方法、そのプログラム、および、そのプログラムを記録した記録媒体
JP2008076088A (ja) * 2006-09-19 2008-04-03 Foundation For Biomedical Research & Innovation 細胞のモニター方法およびモニター装置
JP4823179B2 (ja) * 2006-10-24 2011-11-24 三洋電機株式会社 撮像装置及び撮影制御方法
US7940978B2 (en) * 2007-06-05 2011-05-10 General Electric Company Automatic characterization of cellular motion
JP5786146B2 (ja) * 2007-06-08 2015-09-30 安田 賢二 モデル細胞チップ、モデル細胞チップによる薬効評価装置、および薬効評価方法
JP4962304B2 (ja) 2007-12-26 2012-06-27 株式会社豊田中央研究所 歩行者検出装置
JP4958806B2 (ja) 2008-01-22 2012-06-20 三洋電機株式会社 ぶれ検出装置、ぶれ補正装置及び撮像装置
CN101297763A (zh) * 2008-04-18 2008-11-05 福州大学 解剖式m型心动图的瞬时速度与加速度的检测方法
JP5438002B2 (ja) * 2008-06-03 2014-03-12 株式会社日立メディコ 医用画像処理装置及び医用画像処理方法
JP2010004261A (ja) 2008-06-19 2010-01-07 Sony Corp 画像処理装置、及び画像処理方法
US8831101B2 (en) * 2008-08-02 2014-09-09 Ecole De Technologie Superieure Method and system for determining a metric for comparing image blocks in motion compensated video coding
US8290255B2 (en) * 2009-02-06 2012-10-16 Canon Kabushiki Kaisha Image processing method, image processing apparatus, and program
JP5374220B2 (ja) * 2009-04-23 2013-12-25 キヤノン株式会社 動きベクトル検出装置およびその制御方法、ならびに撮像装置
JP5772817B2 (ja) 2010-03-29 2015-09-02 ソニー株式会社 画像処理装置および方法、並びに、プログラム
JP6078943B2 (ja) 2011-02-28 2017-02-15 ソニー株式会社 画像処理装置および方法、並びに、プログラム
US9070004B2 (en) * 2012-05-03 2015-06-30 General Electric Company Automatic segmentation and characterization of cellular motion

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101224110A (zh) * 2007-12-24 2008-07-23 南京理工大学 三维心肌形变应变计算方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
心肌细胞搏动视频自动分析系统;伏思华 等;《实验力学》;20080331;第18 卷(第1 期);摘要、14-18引言及图3 *

Also Published As

Publication number Publication date
WO2011122200A1 (ja) 2011-10-06
JP6222529B2 (ja) 2017-11-01
JP2015207308A (ja) 2015-11-19
US10311582B2 (en) 2019-06-04
JP6504417B2 (ja) 2019-04-24
US20190259166A1 (en) 2019-08-22
US9786052B2 (en) 2017-10-10
CN102906789A (zh) 2013-01-30
JP5772817B2 (ja) 2015-09-02
JP2018038411A (ja) 2018-03-15
US10692223B2 (en) 2020-06-23
JPWO2011122200A1 (ja) 2013-07-08
US20130070971A1 (en) 2013-03-21
US20170337697A1 (en) 2017-11-23

Similar Documents

Publication Publication Date Title
CN102906789B (zh) 数据处理装置、数据处理方法、图像处理装置和方法以及程序
Zhou et al. Domain adaptive ensemble learning
CN105469100B (zh) 基于深度学习的皮肤活检图像病理特性识别方法
Pandey et al. Data Mining: A prediction of performer or underperformer using classification
CN102568001B (zh) 图像处理设备和方法
Hinojosa et al. Entropy-based imagery segmentation for breast histology using the stochastic fractal search
CN105378052B (zh) 细胞评估装置和方法以及程序
CN108351985A (zh) 用于大规模机器学习的方法和装置
Hipsley et al. Developmental dynamics of ecomorphological convergence in a transcontinental lizard radiation
CN109213876A (zh) 基于生成对抗网络的跨模态检索方法
Morgan et al. Scene representations conveyed by cortical feedback to early visual cortex can be described by line drawings
Schumann et al. " Human Swarming" Amplifies Accuracy and ROI when Forecasting Financial Markets
Gélard et al. 3D leaf tracking for plant growth monitoring
Osth et al. Novelty rejection in episodic memory.
CN105378795B (zh) 图像处理装置、方法以及程序
Williams et al. Leaf only SAM: a segment anything pipeline for zero-shot automated leaf segmentation
Stella et al. Unveiling the metric structure of internal representations of space
Wang et al. Evolving SimGANs to improve abnormal electrocardiogram classification
JP7164862B2 (ja) 心筋細胞型判定システム、心筋細胞型判定方法
Sommerfeld Wasserstein distance on finite spaces: Statistical inference and algorithms
Cook et al. Visualizing search behavior with adaptive discriminations
CN110517783A (zh) 模型训练方法、装置以及心脏疾病诊断装置、设备、介质
Gollapudi et al. Detection of Plant Disease Using Machine Learning and Deep Learning Algorithms
Morgan et al. Line drawings reveal the structure of internal visual models conveyed by cortical feedback
Varma et al. Plant Disease Detection Using Different Algorithms

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant