CN111919117A - 细胞图像解析装置、系统、学习数据生成方法及程序、制造方法、学习模型生成方法 - Google Patents

细胞图像解析装置、系统、学习数据生成方法及程序、制造方法、学习模型生成方法 Download PDF

Info

Publication number
CN111919117A
CN111919117A CN201880091367.5A CN201880091367A CN111919117A CN 111919117 A CN111919117 A CN 111919117A CN 201880091367 A CN201880091367 A CN 201880091367A CN 111919117 A CN111919117 A CN 111919117A
Authority
CN
China
Prior art keywords
image
cell image
learning
cell
removal target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880091367.5A
Other languages
English (en)
Other versions
CN111919117B (zh
Inventor
高桥涉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shimadzu Corp
Original Assignee
Shimadzu Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shimadzu Corp filed Critical Shimadzu Corp
Publication of CN111919117A publication Critical patent/CN111919117A/zh
Application granted granted Critical
Publication of CN111919117B publication Critical patent/CN111919117B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483—Physical analysis of biological material
    • G01N33/4833—Physical analysis of biological material of solid biological material, e.g. tissue samples, cell cultures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Chemical & Material Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Food Science & Technology (AREA)
  • Immunology (AREA)
  • Urology & Nephrology (AREA)
  • Hematology (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Medicinal Chemistry (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种细胞图像解析装置，与以往相比，该装置能够减轻耗费在用于生成训练数据的标注的工夫。细胞图像解析装置具备：图像获取部，用于获取从用于观察细胞的显微镜得到的图像、即映现有去除对象物的细胞图像(39)；训练数据生成部，用于通过执行预先决定好的图像处理，从上述细胞图像内确定映现有上述去除对象物(31)的去除对象区域，生成表示上述细胞图像内的上述去除对象区域的位置的标签图像(40)作为上述机器学习的训练数据；学习数据集生成部，用于生成上述细胞图像(30)与上述标签图像(40)的集作为上述机器学习所使用的学习数据集(45)。

Description

细胞图像解析装置、系统、学习数据生成方法及程序、制造方 法、学习模型生成方法
技术领域
本公开内容涉及用于自动生成机器学习中所使用的训练数据的技术。
背景技术
近年来，在再生医疗领域中，盛行使用iPS(Induced Pluripotent Stem)细胞或ES(Embryonic Stem)细胞等多能干细胞进行研究。在利用了这样的多能干细胞的再生医疗的研究和开发中，需要大量培养维持多能性的状态的未分化的细胞。因此，需要选择适当的培养环境并控制环境的稳定性，并且需要以较高的频率确认培养中的细胞的状态。例如，当细胞菌落内的细胞从未分化状态逃脱时，在该情况下，位于细胞菌落内的所有细胞均具有分化的能力，因此菌落内的细胞最终全部转变为未分化逃脱状态。因此，观察者需要每天确认正在培养的细胞中是否产生逃脱了未分化状态的细胞(已经分化的细胞、快要分化的细胞，下面称为“未分化逃脱细胞”)，在发现了未分化逃脱细胞的情况下，迅速地去除该未分化逃脱细胞。
通过利用未分化标记进行染色，能够可靠地进行多能干细胞是否维持着未分化状态的判定。然而，由于进行了染色的细胞会死亡，因此在再生医疗用的多能干细胞的判定中无法实施未分化标记染色。因此，在当前的再生医疗用细胞培养的现场，观察者基于使用了相位差显微镜的对细胞形态上的观察，来判定是否为未分化细胞。使用相位差显微镜的原因在于，细胞通常是透明的，在通常的光学显微镜中难以进行观察。
此外，如非专利文献1所公开的那样，最近，使用全息技术来获取细胞的观察图像的装置也被实用化。该装置如专利文献1～4等所公开的那样，通过对由数字全息显微镜得到的全息图数据进行相位恢复或图像重建等数据处理，从而创建易于清晰地观察细胞的相位像(由于使用同轴型全息显微镜(In-line Holographic Microscopy:IHM)，因此以下称为“IHM相位像”)。在数字全息显微镜中，由于在获取全息图数据之后的运算处理的阶段，能够计算任意距离下的相位信息，因此具有在拍摄时无需每次都进行对焦而能够缩短测量时间这样的优点。
然而，即使在相位差显微图像或IHM相位图像中可一定程度上清晰地观察细胞，但观察者要想通过目视正确地判定未分化细胞等也需要熟练度。此外，由于是基于人的判断，因此在判定中不可避免地产生偏差。因此，这样的以往的方法不适于在工业上大量地生产多能干细胞。
对于上述技术问题，以往提出有通过对细胞的观察图像进行图像处理来评价细胞的状态的各种技术。
例如，在专利文献5中，记载有如下方法：根据相隔规定时间而获取的多个细胞观察图像分别计算细胞内部结构的纹理特征量，计算纹理特征量相对于该多个细胞观察图像的差分或相关值，并基于其时间序列变化来判别细胞的活性度。在该方法中，例如在纹理特征量的差分值呈现出随着时间的经过而减少的倾向的情况下，能够判断为该细胞的活性度减少等。
在专利文献6中，记载有如下方法：使用从细胞观察图像获取的多个指标值实施模糊神经网络(FNN)解析，预测增殖率等细胞的品质。在该文献中，还记载有将通过对细胞观察图像的图像处理求出的纹理特征量作为指标值来利用。
除了FNN解析之外，还提出将各种学习方法应用于细胞生物学。例如，非专利文献2公开有与全卷积神经网络FCN(Fully Convolutional Networks)有关的学习方法。非专利文献3公开有用于将FCN应用于细胞生物学的方法。此外，非专利文献4公开有与迁移学习有关的学习方法。
现有技术文献
专利文献
专利文献1：国际专利公开第2017/203718号
专利文献2：国际专利公开第2017/204013号
专利文献3：国际专利公开第2016/084420号
专利文献4：日本特开平10-268740号公报
专利文献5：日本特开2010-022318号公报
专利文献6：日本特开2009-044974号公报
非专利文献
非专利文献1：《细胞培养解析装置Culture Scanner CS-1》，[在线]，株式会社岛津制作所，[2018年3月14日检索]，网址链接＜URL:https://www.an.shimadzu.co.jp/bio/cell/cs1/index.htm＞
非专利文献2：Jonathan Long等3人，《用于语义分割的全卷积网络(FullyConvolutional Networks for Semantic Segmentation)》，IEEE计算机视觉与模式识别会议(The IEEE Conference on Computer Vision and Pattern Recognition)，2015年，pp.3431-3440，(网址链接＜URL:https://people.eecs.berkeley.edu/～jonlong/long_shelhamer_fcn.pdf＞)
非专利文献3：Olaf Ronneberger、Philipp Fischer、Thomas Brox，《用于生物医学图像分割的卷积网络(Convolutional Networks for Biomedical ImageSegmentation)》，U-Net，[2018年3月14日检索]，(网址链接＜URL:https://arxiv.org/abs/1505.04597＞)
非专利文献4：神嶌敏弘，《迁移学习》，人工智能学会志，25卷4号，2010年7月(网址链接＜URL:https://jsai.ixsq.nii.ac.jp/ej/？action＝repository_uri&item_id＝7632&file_id＝22&file_no＝1＞)
发明内容
发明要解决的技术问题
观察者为了维持适当的培养环境，需要从观察对象中去除未分化逃脱细胞或杂质等去除对象物。期望通过机器学习对这样的去除对象物进行学习，从由显微镜拍摄观察对象物而得到的图像(以下也称为“细胞图像”)中自动地识别去除对象物。为了实现该机器学习，设计者需要对于大量的细胞图像手动地标注(Labeling)映现有去除对象物的区域，将标注结果作为训练数据进行准备。由于对于大量的细胞图像的标注非常费工夫，因此期望减轻标注耗费的工夫。
用于解决上述技术问题的方案
在本公开内容的一例中，可生成机器学习所使用的训练数据的细胞图像解析装置具备：图像获取部，用于获取从用于观察细胞的显微镜得到的图像、即映现有去除对象物的第1细胞图像；训练数据生成部，用于通过执行预先决定好的图像处理，从上述第1细胞图像内确定映现有上述去除对象物的去除对象区域，生成表示上述第1细胞图像内的上述去除对象区域的位置的标签图像作为上述机器学习的训练数据；学习数据集生成部，用于生成上述第1细胞图像与上述标签图像的集作为上述机器学习所使用的学习数据集。
根据该公开内容，细胞图像解析装置自动生成作为训练数据的标签图像与该标签图像的生成源的细胞图像的学习数据集。通过提供这样的结构，设计者无需在收集学习数据时对细胞图像进行标注。
在本公开内容的一例中，上述图像获取部在去除上述去除对象物之后进一步获取从上述显微镜得到的第2细胞图像。上述预先决定好的图像处理包括根据上述第1细胞图像与上述第2细胞图像的比较结果来确定上述去除对象区域。
根据该公开内容，细胞图像解析装置通过对去除对象物去除前后的图像进行比较，能够更正确地确定映现有去除对象物的去除对象区域。
在本公开内容的一例中，上述预先决定好的图像处理包括基于从上述第1细胞图像中减去上述第2细胞图像而得的差分图像来确定上述去除对象区域。
根据该公开内容，细胞图像解析装置通过使用去除对象物去除前后的图像的差分图像，能够进一步正确地确定映现有去除对象物的去除对象区域。
在本公开内容的一例中，上述细胞图像解析装置还包括去除机构，该去除机构构成为去除在上述第1细胞图像内的预先决定好的区域中映现的物体。上述预先决定好的图像处理包括将上述第1细胞图像内的上述预先决定好的区域作为上述去除对象区域进行确定。
根据该公开内容，细胞图像解析装置能够通过更简易的方法来确定映现有去除对象物的去除对象区域。
在本公开内容的一例中，上述细胞图像解析装置具备：学习模型生成部，执行使用了由上述学习数据集生成部生成的多个学习数据集的机器学习，从而生成用于从图像内识别上述去除对象物的学习模型；检测部，用于基于上述学习模型，从输入到上述细胞图像解析装置的输入图像中检测上述去除对象区域。
根据该公开内容，通过使用从收集的学习数据集生成的学习模型，可自动地从输入图像中检测去除对象区域。
在本公开内容的一例中，由上述学习模型生成部执行的机器学习包括将一部分或全部预先学习过的学习模型用作初始模型的迁移学习。
根据该公开内容，细胞图像解析装置能够较早地收敛学习模型内的各种参数。
在本公开内容的一例中，上述细胞图像解析装置还具备：存储装置，用于储存由上述学习模型生成部生成的多个学习模型；输入部，用于受理从上述多个学习模型中选择一个学习模型的操作。上述检测部基于由上述选择操作所选择的学习模型，从上述输入图像中检测上述去除对象区域。
根据该公开内容，观察者能够根据去除对象物的种类和用途对学习模型进行切换。
在本公开内容的一例中，上述细胞图像解析装置还具备：显示部；显示处理部，用于将由上述检测部检测出的上述去除对象区域重叠于上述输入图像并显示在上述显示部。
根据该公开内容，观察者能够容易地确认输入图像内的去除对象区域的位置。
在本公开内容的一例中，上述细胞图像解析装置具备去除机构控制部，用于基于由上述检测部检测出的上述去除对象区域的检测结果，使上述去除对象物被上述显微镜的去除机构去除。
根据该公开内容，省去了寻找去除对象物的工夫，且无需进行去除操作。
在本公开内容的另一例中，可生成机器学习所使用的训练数据的细胞图像解析系统具备：服务器；多个细胞图像解析装置，构成为可与上述服务器通信。上述多个细胞图像解析装置分别包括：图像获取部，用于获取从用于观察细胞的显微镜得到的图像、即映现有去除对象物的细胞图像；训练数据生成部，用于通过执行预先决定好的图像处理，从上述细胞图像内确定映现有上述去除对象物的去除对象区域，生成表示上述细胞图像内的上述去除对象区域的位置的标签图像作为上述机器学习的训练数据；学习数据集生成部，用于生成上述细胞图像与上述标签图像的集作为上述机器学习所使用的学习数据集；通信部，用于将上述学习数据集发送到上述服务器。
根据该公开内容，服务器能够从各细胞图像解析装置收集作为训练数据的标签图像与作为该标签图像的生成源的细胞图像的学习数据集。通过提供这样的结构，设计者能够容易且大量地收集学习数据集。
在本公开内容的另一例中，方法具备以下步骤：接收细胞图像与表示上述细胞图像内的去除对象区域的位置的标签图像的步骤；通过使用接收的上述细胞图像与上述标签图像来进行机器学习从而生成学习模型的步骤，所述学习模型将细胞图像设为输入图像，将表示上述输入图像内的去除对象区域的位置的图像设为输出图像；发送生成的学习模型的步骤。
根据该公开内容，可生成用于从输入图像中自动检测去除对象区域的学习模型。
在本公开内容的另一例中，机器学习所使用的训练数据的生成方法具备以下步骤：获取从用于观察细胞的显微镜得到的图像、即映现有去除对象物的细胞图像的步骤；通过执行预先决定好的图像处理，从上述细胞图像内确定映现有上述去除对象物的去除对象区域，生成表示上述细胞图像内的上述去除对象区域的位置的标签图像作为上述机器学习的训练数据的步骤；生成上述细胞图像与上述标签图像的集作为上述机器学习所使用的学习数据集的步骤。
根据该公开内容，可自动生成作为训练数据的标签图像与该标签图像的生成源的细胞图像的学习数据集。通过提供这样的结构，设计者无需在生成学习数据时对细胞图像进行标注。
在本公开内容的另一例中，机器学习所使用的训练数据的生成程序使计算机执行以下步骤：获取从用于观察细胞的显微镜得到的图像、即映现有去除对象物的细胞图像的步骤；通过执行预先决定好的图像处理，从上述细胞图像内确定映现有上述去除对象物的去除对象区域，生成表示上述细胞图像内的上述去除对象区域的位置的标签图像作为上述机器学习的训练数据的步骤；生成上述细胞图像与上述标签图像的集作为上述机器学习所使用的学习数据集的步骤。
根据该公开内容，可自动生成作为训练数据的标签图像与该标签图像的生成源的细胞图像的学习数据集。通过提供这样的结构，设计者无需在生成学习数据时对细胞图像进行标注。
在本公开内容的另一例中，机器学习所使用的训练数据的制造方法具备以下工序：获取从用于观察细胞的显微镜得到的图像、即映现有去除对象物的细胞图像的工序；通过执行预先决定好的图像处理，从上述细胞图像内确定映现有上述去除对象物的去除对象区域，生成表示上述细胞图像内的上述去除对象区域的位置的标签图像作为上述机器学习的训练数据的工序；生成上述细胞图像与上述标签图像的集作为上述机器学习所使用的学习数据集的工序。
根据该公开内容，可自动生成作为训练数据的标签图像与该标签图像的生成源的细胞图像的学习数据集。通过提供这样的结构，设计者无需在生成学习数据时对细胞图像进行标注。
附图说明
图1是概略地表示第1实施方式中的学习数据集的生成过程的概念图。
图2是示出依照第1实施方式的细胞图像解析装置的概略构成的图。
图3是示出IHM相位像的一例(未分化逃脱细胞菌落)的图。
图4是示出用于实现第1实施方式中的机器学习的功能构成的一例的图。
图5是表示第1实施方式中的去除对象物的去除过程的图。
图6是表示全卷积神经网络的结构的概念图。
图7是示出学习模型的数据库的数据结构的一例的图。
图8是示出显示处理部的显示结果的一例的图。
图9是示出依照第1实施方式的控制装置的主要硬件构成的框图。
图10是示出依照第1实施方式的模型生成装置的主要硬件构成的框图。
图11是表示学习数据集的收集处理的流程图。
图12是表示所收集的学习数据集的学习处理的流程图。
图13是表示从输入图像中检测去除对象区域的检测处理的流程图。
图14是表示依照第2实施方式的细胞图像解析系统的系统构成的一例的图。
图15是示出依照第2实施方式的细胞图像解析系统的功能构成的一例的图。
图16是示出依照第2实施方式的服务器的主要硬件构成的框图。
具体实施方式
以下，参照附图对依照本发明的各实施方式进行说明。在以下的说明中，对相同部件及构成要件标注相同的附图标记。它们的名称及功能也相同。因此，不重复对它们的详细说明。
另外，在以下所说明的各实施方式及各变形例也可以适当选择地进行组合。
[第1实施方式]
<1.概要>
观察者为了维持适当的培养环境，需要从观察对象中去除未分化逃脱细胞或杂质等去除对象物。为了生成用于自动识别这样的去除对象物的学习模型，设计者需要准备大量的映现有去除对象物的细胞图像，并且需要准备标注了各细胞图像内的去除对象区域的标签图像作为学习数据。依照本实施方式的细胞图像解析装置1(参照图2)自动生成这样的标签图像作为训练数据，并输出该标签图像与细胞图像的学习数据集。
更具体而言，细胞图像解析装置1通过对细胞图像(第1细胞图像)执行用于确定去除对象区域的预先决定好的图像处理，从该细胞图像内确定去除对象区域，生成表示该细胞图像内的去除对象区域的位置的标签图像。然后，细胞图像解析装置1将该细胞图像与该标签图像的集作为用于机器学习的学习数据集输出。通过像这样自动地生成标签图像，无需手动地对细胞图像进行标注。
以下参照图1具体地说明学习数据集的生成方法。图1是概略地表示学习数据集的生成过程的概念图。
在图1中，示出显微镜拍摄细胞等观察对象物得到的细胞图像30、35。细胞图像30(第1细胞图像)是在将去除对象物31去除前拍摄观察对象物得到的图像。细胞图像35(第2细胞图像)是在将去除对象物31去除后拍摄观察对象物得到的图像。
细胞图像解析装置1对细胞图像30、35执行预先决定好的图像处理，确定表示去除对象物31的去除对象区域。用于确定去除对象区域的预先决定好的图像处理包括根据去除对象物31去除前的细胞图像30与去除对象物31去除后的细胞图像35的比较结果来确定去除对象区域。
作为一例，细胞图像解析装置1基于从细胞图像30中减去细胞图像35而得的差分图像来确定去除对象区域。更具体地，细胞图像解析装置1从细胞图像30中减去细胞图像35，从而生成差分图像37。差分图像37的各像素值相当于细胞图像30、35的同一坐标的像素值间的差分值。通过从去除对象物31去除前的细胞图像30中减去去除对象物31去除后的细胞图像35，在差分图像37中仅提取出去除对象物31。
之后，细胞图像解析装置1基于预先决定好的阈值，对差分图像37进行二值化处理。作为一例，细胞图像解析装置1对像素值超过预先决定好的阈值的像素分配第1值(例如255)，对像素值为预先决定好的阈值以下的像素分配第2值(例如0)。通过这样的二值化处理，生成标注了去除对象区域40A及非去除对象区域40B的标签图像40。典型地，标签图像40的尺寸与细胞图像30的尺寸相等，标签图像40的各像素值示出细胞图像30的对应像素(同一像素)是否为去除对象区域。
细胞图像解析装置1将表示细胞图像30内的去除对象物31的位置的标签图像40与作为标签图像40的生成源的细胞图像30相关联，并生成这些图像作为学习数据集45。通过依次生成这样的学习数据集45，从而累积学习数据集45。
如上，细胞图像解析装置1基于去除对象物31去除前的细胞图像30与去除对象物31去除后的细胞图像35，确定去除对象区域40A，生成表示去除对象区域40A的位置的标签图像40作为训练数据。通过自动生成这样的标签图像40，设计者能够在不对细胞图像进行标注的情况下大量地收集训练数据。
另外，在上述中，以标签图像40为二值化图像为前提进行了说明，但标签图像40不一定必须为二值化图像。作为一例，也可以根据去除对象物的种类对标签图像40进行标注。更具体地，按去除对象物的每个种类分配预先决定好的像素值(编号)，并由设计者对所提取的去除对象区域40A指定去除对象物的种类，从而使与该指定的种类相对应的像素值被分配给去除对象区域40A。在这样的情况下，标签图像40的各像素值示出去除对象物31的种类区别。
此外，在上述中，对根据去除对象物31去除前的细胞图像30与去除对象物31去除后的细胞图像35的差分图像37确定去除对象区域40A的例子进行了说明，但去除对象区域40A的确定处理不限定于此。作为一例，去除对象区域40A的确定处理也可以为，将去除对象物31去除前的细胞图像35内的预先决定好的区域确定为去除对象区域40A。
更具体地，根据显微镜的种类的不同，存在设置有去除机构(例如后述的去除机构17)的显微镜。作为去除机构的利用方式的一例，观察者在确认作为直通图像映现的细胞图像的同时，从观察对象中寻找去除对象物。观察者在发现了去除对象物的情况下，移动观察对象或拍摄部，以使去除对象物映现在细胞图像的预先决定好的区域(例如正中)，接着，对细胞图像解析装置1进行去除操作。去除机构基于受理了去除操作这一情况，去除位于细胞图像的预先决定好的区域的物体。在使用这样的显微镜的情况下，映现去除对象物的位置在每个图像中均不改变。着眼于这一点，细胞图像解析装置1在受理了去除操作时或在即将进行去除操作前获取拍摄的细胞图像35，并将该细胞图像35的预先决定好的区域确定为去除对象区域40A。
<2.细胞图像解析装置1的构成>
参照图2，对依照本实施方式的细胞图像解析装置1的构成进行说明。图2是示出依照本实施方式的细胞图像解析装置1的概略构成的图。
本实施例的细胞图像解析装置1具备显微镜10、控制装置20、作为用户接口的输入部25、显示部26及模型生成装置50。
显微镜10是同轴型全息显微镜(In-line Holographic Microscopy：IHM)，具备包含激光二极管等的光源部11、图像传感器12与去除机构17。在光源部11与图像传感器12之间配置有包含细胞菌落(或细胞单体)14的培养盘13。
控制装置20控制显微镜10的动作，并且处理由显微镜10获取的数据，具备拍摄控制部21、全息图数据存储部22、相位信息计算部23、图像创建部24与细胞图像解析部60作为功能块。
通常，控制装置20的实体是安装有规定的软件的个人计算机或性能更高的工作站，或者为包含经由通信线路与上述计算机连接的高性能计算机的计算机系统。即，控制装置20中包含的各功能块的功能通过执行搭载在计算机单体或包含多个计算机的计算机系统中的软件来实施，并能够通过使用了存储在该计算机或计算机系统中的各种数据的处理来具象化。
此外，模型生成装置50的实体也是安装有规定的软件的个人计算机或性能更高的工作站。通常该计算机是与控制装置20不同的计算机，但也可以相同。即，也能够使控制装置20具有模型生成装置50的功能。
首先，对在本实施例的细胞图像解析装置1中的、直到创建IHM相位像为止的作业及处理进行说明，IHM相位像是在实施与细胞相关的分割时所使用的观察图像。
若操作者将包含细胞菌落14的培养盘13设置在规定位置并利用输入部25进行规定的操作，则拍摄控制部21控制显微镜10如下所述地获取全息图数据。
即，光源部11向培养盘13的规定区域照射具有10°左右的微小角度的扩散的相干光。透过了培养盘13及细胞菌落14的相干光(物体光16)在培养盘13上与透过了靠近细胞菌落14的区域的光(参考光15)相干涉的同时到达图像传感器12。物体光16是在透过细胞菌落14时相位发生了变化的光，另一方面，由于参考光15不透过细胞菌落14，因此是不接受由该菌落14引起的相位变化的光。因此，在图像传感器12的检测面(像面)上，形成有由于细胞菌落14而相位发生变化的物体光16与相位未变化的参考光15的干涉条纹所引起的像。
另外，光源部11及图像传感器12通过未图示的移动机构在X轴方向及Y轴方向上依次移动。由此，使从光源部11发出的相干光的照射区域(观察区域)在培养盘13上移动，能够获取涵盖较宽的二维区域的全息图数据(在图像传感器12的检测面形成的全息图的二维光强度分布数据)。
如上所述地由显微镜10得到的全息图数据被依次发送到控制装置20，并被储存在全息图数据存储部22。在控制装置20中，相位信息计算部23从全息图数据存储部22读取出全息图数据，通过执行用于相位恢复的规定的运算处理来计算观察区域(拍摄区域)整体的相位信息。图像创建部24基于计算出的相位信息来创建IHM相位像。在像这样地计算相位信息或创建IHM相位像时，只要使用专利文献3、4等中公开的公知的算法即可。另外，相位信息计算部23除了基于全息图数据计算相位信息之外，还一并计算强度信息、伪相位信息等，图像创建部24也可以基于这些信息创建重显像，即创建强度像或伪相位像。
将以iPS细胞中的未分化逃脱细胞菌落为对象的IHM相位像的一例示出在图3。已知典型的未分化逃脱细胞的特征是“较薄地扩展”，在图3中也能够根据该特征视觉辨认未分化细胞的区域与未分化逃脱细胞的区域。只要是具有一定程度的经验的操作者，就能够观察这样的图像来识别未分化细胞的区域与未分化逃脱细胞的区域，但是若利用目视对大量的IHM相位像逐一进行识别，则该作业负担较大。此外，在更难以识别的图像中，时常有根据操作者的不同而识别结果不同的情况。与此相对，在依照本实施方式的细胞图像解析装置1中，通过使用作为机器学习法之一的全卷积神经网络进行对IHM相位像的分割，能够自动进行未分化细胞区域与未分化逃脱细胞区域的识别。关于全卷积神经网络的详细内容将后述。
去除机构17按照来自控制装置20的控制指示，去除位于培养盘13上的预先决定好的区域的物体。去除机构17可以是通过激光照射将去除对象物去除的激光机构，也可以是通过抽吸将去除对象物去除的抽吸机构。作为激光机构的去除机构17通过照射近红外线激光并剥离照射部分的细胞从而将去除对象物去除。作为抽吸机构的去除机构17具有被称为吸头的移液器。显微镜10的观察者移动培养盘13或移液器，以使去除对象物位于图像传感器12的中心上，然后抽吸去除对象物。
<3.用于实现机器学习的功能构成>
参照图4～图8，对用于实现机器学习的主要的功能构成进行说明。图4是示出用于实现机器学习的功能构成的一例的图。
如图4所示，细胞图像解析装置1包括控制装置20与模型生成装置50。控制装置20包括作为功能模块的细胞图像解析部60与作为硬件的存储装置120。模型生成装置50包括作为功能模块的学习处理部51与作为硬件的存储装置220。
学习处理部51包括图像获取部511、训练数据生成部512、学习数据集生成部513与学习模型生成部514作为功能模块。细胞图像解析部60包括设定部601、检测部602、显示处理部603与去除机构控制部604。
以下，依次对学习处理部51及细胞图像解析部60的各功能模块的功能进行说明。
(3.1.图像获取部511)
首先，对图像获取部511的功能进行说明。
图像获取部511从上述的图像创建部24(参照图2)至少获取去除对象物去除前的细胞图像30。优选为，图像获取部511还获取去除对象物去除后的细胞图像35。
图5是表示去除对象物的去除过程的图。更详细地，在图5中，示出在去除对象物31去除前得到的细胞图像30、在利用去除机构17将去除对象物31去除的过程中得到的细胞图像33、在去除对象物31去除后得到的细胞图像35。图像获取部511获取这些图像内的去除对象物去除前后的细胞图像30、35。
例如基于观察者是否对上述输入部25进行了去除操作来判断是否为去除对象物31去除前。更具体地，图像获取部511获取在上述的输入部25(参照图2)受理了去除操作时得到的图像作为去除前的细胞图像30。或者，图像获取部511获取在输入部25即将受理去除操作前的规定时间(例如1秒)内得到的图像作为去除前的细胞图像30。
例如基于去除机构17进行的去除处理是否完成来判断是否为去除对象物31去除后。更具体地，图像获取部511获取在从去除机构控制部604受理了表示去除机构17进行的去除处理完成的信号时得到的图像作为去除后的细胞图像30。或者，图像获取部511获取在刚从去除机构控制部604受理了表示去除机构17进行的去除处理完成的信号后的规定时间(例如1秒)内得到的图像作为去除后的细胞图像30。
图像获取部511将去除对象物去除前后的细胞图像30、35输出至训练数据生成部512，并且将去除对象物去除前的细胞图像30输出至学习数据集生成部513。
另外，去除对象物去除前后的细胞图像30、35的获取方法不限定于上述的方法。例如，去除对象物去除前后的细胞图像30、35也可以由用户操作来选择。在该情况下，通过由观察者从按时间序列排列显示的细胞图像中选择两个细胞图像，从而获取去除对象物去除前后的细胞图像30、35。
(3.2.训练数据生成部512)
接着，对图4所示的训练数据生成部512的功能进行说明。
训练数据生成部512通过对从图像获取部511接受的细胞图像30执行预先决定好的图像处理，从细胞图像30内确定映现有去除对象物的去除对象区域，并生成表示该去除对象区域的位置的标签图像40作为训练数据。由于标签图像40的生成方法是如图1所说明的那样，因此不重复对其说明。
在标签图像40中，至少区分为去除对象区域与非去除对象区域。作为一例，在示出去除对象区域的像素中，分配第1值(例如1～255的任一值)作为像素值。在示出非去除对象区域的像素中，分配第2值(例如0)作为像素值。
优选为，在示出去除对象区域的像素中，分配与去除对象物的种类相对应的像素值。更具体地，按去除对象物的每个种类分配预先决定好的像素值(编号)，并通过设计者对去除对象区域指定去除对象物的种类，从而使与该指定的种类相对应的像素值被分配至去除对象区域。
由此，生成示出去除对象物的种类的训练数据。通过将这样的训练数据用于机器学习，不仅可以确定去除对象区域的位置，还可以生成可识别去除对象物的种类的学习模型。
由训练数据生成部512生成的标签图像40被输出至学习数据集生成部513。
(3.3.学习数据集生成部513)
接着，对图4所示的学习数据集生成部513的功能进行说明。
学习数据集生成部513将由图像获取部511获取的细胞图像30与从该细胞图像30生成的作为训练数据的标签图像40相关联，将它们作为学习数据集45生成。所生成的学习数据集45在每次生成时均被储存于存储装置220。由此，学习数据集45被累积于存储装置220。
优选为，在学习数据集生成部513将学习数据集45储存于存储装置220之前，显示用于确认是否将学习数据集45储存于存储装置220的确认画面。学习数据集生成部513基于对该确认画面进行储存学习数据集45的指示，将学习数据集45储存于存储装置220。否则，学习数据集生成部513丢弃学习数据集45。
(3.4.学习模型生成部514)
接着，对图4所示的学习模型生成部514的功能进行说明。
学习模型生成部514执行使用了由学习数据集生成部513生成的多个学习数据集45的机器学习，从而生成用于从细胞图像内识别去除对象物的学习模型。学习模型生成部514所采用的学习方法没有特别限定，例如可采用包括全卷积神经网络(FCN)的深度学习(Deep Learning)、支持向量机等各种机器学习。
以下，参照图6，作为学习方法的一例对全卷积神经网络进行说明。图6是全卷积神经网络的结构的概念图。在以非专利文献2为首的大量文献中已经详细地说明了全卷积神经网络的结构和处理的详细内容。此外，也可以安装利用美国MathWorks公司提供的“MATLAB”等市售或免费的软件。因此，在此概略地进行说明。
如图6所示，全卷积神经网络例如包含：多层网络70，将卷积层与池化层(PoolingLayer)的重复多层化而得；卷积层71，相当于卷积神经网络中的全连接层(FullyConnected Layer)。在该情况下，在多层网络70中，重复使用了规定尺寸的滤波器(卷积核)的卷积处理、以及将卷积结果缩小为二维而提取有效值的池化处理。其中，多层网络70也可以没有池化层而仅由卷积层构成。此外，在最终段的卷积层71中，使规定尺寸的滤波器在输入图像内滑动的同时进行局部的卷积及反卷积。在该全卷积神经网络中，对IHM相位像等细胞图像30进行分割，由此能够输出分别标注了去除对象区域及非去除对象区域等的标签图像39。
在此，为了识别在细胞的培养过程中混入的尘埃等极其微小的异物，设计多层网络70与卷积层71，以便进行输入的IHM相位像的像素单位中的标签化。即，在作为输出图像的标签图像39中被标注的一个区域的最小单位是IHM相位像上的一个像素。因此，例如即使在IHM相位像上观测到1个像素左右的大小的异物的情况下，也能够在标签图像39中将该异物作为一个区域而检测出，从而将在何处存在异物的信息正确地提供给操作者。
学习模型生成部514将学习数据集45所包含的细胞图像30输入至全卷积神经网络，并将作为其结果输出的标签图像39与作为与细胞图像30相关联的训练数据的标签图像40进行比较。学习模型生成部514更新多层网络70及卷积层71内的各种参数，以使作为输出结果的标签图像39接近作为训练数据的标签图像40。通过对所有的学习数据集45重复这样的更新处理，从而使多层网络70及卷积层71内的各种参数最优化。将该最优化后的各种参数作为学习模型28输出至控制装置20。该各种参数例如包括应用在多层网络70的卷积层中的各滤波器的值或权重等。
生成的学习模型28累积在控制装置20的存储装置120内的数据库27。图7是示出数据库27的数据结构的一例的图。
数据库27包括用于识别学习模型的识别信息27A、学习模型的创建日期时间信息27B、用于识别作为学习模型的生成源的学习数据集的识别信息27C、规定学习模型的识别对象的识别对象信息27D等。
学习模型的识别信息27A例如由学习模型名或ID(Identification)规定。学习数据集的识别信息27C例如由学习数据集的名称、通向储存有学习数据集的文件夹的路径等规定。识别对象信息27D由细胞名、异物名等规定。
另外，在由学习模型生成部514执行的机器学习中，也可以使用将在另一环境中学习的其他学习模型的一部分或全部用作初始模型的迁移学习。迁移学习是指用于使在某个环境中学习的学习模型适应于其它环境的技术。
更具体地，学习模型生成部514将在其它环境中学习的其它学习模型的一部分或全部作为多层网络70及卷积层71内的各种参数的初始值应用，在此基础上执行上述的机器学习。通过这样的迁移学习，较早地收敛多层网络70及卷积层71内的各种参数。此外，即使在学习数据集45较少的情况下，也可生成识别精度高的学习模型。
(3.5.设定部601)
接着，对图4所示的设定部601的功能进行说明。
设定部601将从数据库27所规定的学习模型中选择的一个学习模型设定于检测部602。例如使用上述的输入部25进行学习模型的选择操作。
更具体地，观察者调出学习模型的设定画面，使该设定画面由细胞图像解析装置1的显示部26显示。在该设定画面中，一览地显示数据库27所包含的学习模型。此时，将数据库27所规定的各种信息排列显示于各学习模型。该各种信息例如包括学习模型的识别信息27A(参照图7)、学习模型的创建日期和时间信息27B(参照图7)、作为学习模型的生成源的学习数据集的识别信息27C(参照图7)、学习模型的识别对象信息27D(参照图7)。
设计者通过操作输入部25，从一览地显示的学习模型中选择一个学习模型。设定部601基于选择了学习模型这一情况，将所选择的学习模型设定于检测部602。
如此，观察者能够选择数据库27所规定的任意的学习模型。由此，观察者能够与去除对象物的种类和用途相匹配地来切换学习模型。
(3.6.检测部602)
接着，对图4所示的检测部602的功能进行说明。
检测部602基于由设定部601设定的学习模型28，从新输入到细胞图像解析装置1的输入图像中检测去除对象区域。检测部602可以对从图像创建部24依次得到的细胞图像每次都进行检测处理，也可以通过扫描输入图像来对输入图像的各部分进行检测处理。
检测部602输出区别了去除对象区域与非去除对象区域的标签图像作为检测结果。作为检测结果的标签图像的各像素值所表示的意义根据所设定的学习模型而变化。
作为一例，在设定有识别去除对象区域与非去除对象区域这二类别的学习模型的情况下，作为检测结果的标签图像的各像素值以二值表示。作为一例，像素值为“255(或1)”的像素被视作去除对象区域，像素值为“0”的像素被视作非去除对象区域。
作为另一例，在设定有将去除对象物的种类区别和非去除对象物的种类区别等识别为三等级(class)以上的学习模型的情况下，作为检测结果的标签图像的各像素值由与所识别的等级数相对应的值来表示。即，作为检测结果的标签图像的各像素值示出等级的种类区别。预先规定各等级与像素值的关系。
检测部602的检测结果被分别输出到显示处理部603及去除机构控制部604。
(3.7.显示处理部603)
接着，对图4所示的显示处理部603的功能进行说明。
显示处理部603将由检测部602检测出的去除对象区域显示在细胞图像解析装置1的显示部26。图8是示出显示处理部603的显示结果的一例的图。
在图8(A)中，示出将识别去除对象区域、非去除对象区域的二等级分类的学习模型应用于输入图像的情况下的显示结果80。在显示结果80中，由标记81示出检测出的去除对象区域。如此，显示处理部603将由检测部602检测出的去除对象区域重叠于输入图像并显示在显示部26。
在图8(B)中，将识别背景、未分化逃脱细胞、未分化细胞的三等级分类的学习模型应用于输入图像的情况下的标签图像84作为显示结果85示出。在显示结果85中，用不同颜色区分表示背景的图像区域86、表示未分化逃脱细胞的图像区域87、表示未分化细胞的图像区域88。将表示未分化逃脱细胞的图像区域87作为去除对象区域示出，将表示背景及未分化逃脱细胞的图像区域86、88作为非去除对象区域示出。
另外，显示处理部603的显示结果的显示方式不限定于图8的例子。例如，显示处理部603也可以将示出存在去除对象区域的消息重叠显示在输入图像上。
(3.8.去除机构控制部604)
接着，对图4所示的去除机构控制部604的功能进行说明。
去除机构控制部604基于由检测部602检测出的去除对象区域的检测结果，使去除对象物被去除机构17去除。更具体地说，去除机构控制部604基于由检测部602检测出去除对象区域的情况，将由显微镜基准的坐标系示出的去除对象区域变换为由世界坐标系示出的坐标。预先规定从显微镜基准的坐标系向世界坐标系变换的变换矩阵。去除机构控制部604驱动去除机构17使得去除机构17移动至被变换为世界坐标系后的去除位置，然后将去除指示发送至去除机构17。去除机构17基于受理了去除指示这一情况，开始去除处理。
如此，去除机构控制部604基于由检测部602检测出的去除对象区域的检测结果，使去除对象物自动地被去除机构17去除。由此，省去了寻找去除对象物的工夫，且无需进行去除操作。进而，通过提供这样的自动去除的结构，能够使细胞培养时的品质管理自动化。
<4.硬件构成>
参照图9及图10，依次对在细胞图像解析装置1中构成的控制装置20及模型生成装置50的硬件进行说明。
(4.1.控制装置20的硬件构成)
首先，参照图9对控制装置20的硬件构成的一例进行说明。图9是示出控制装置20的主要硬件构成的框图。
控制装置20包括处理器101、ROM(Read Only Memory:只读存储器)102、RAM(Random Access Memory:随机存取存储器)103、通信接口104、输入接口105、显示接口106、显微镜接口107与存储装置120。
处理器101例如由至少一个集成电路构成。集成电路例如由至少1个CPU(CentralProcessing Unit:中央处理部)、至少一个ASIC(Application Specific IntegratedCircuit:专用集成电路)、至少一个FPGA(Field Programmable Gate Array：现场可编程门阵列)或者它们的组合等构成。
处理器101通过执行显微镜10的控制程序122等各种程序来对控制装置20的动作进行控制。处理器101基于受理了控制程序122的执行命令这一情况，从存储装置120将控制程序122读取至ROM102。RAM103作为工作存储器发挥功能，临时储存执行控制程序122所需要的各种数据。
通信接口104与LAN或天线等连接。控制装置20经由通信接口104与外部的通信设备之间交换数据。外部的通信设备例如包括服务器(例如后述的服务器300)、其他通信终端等。控制装置20也可以构成为能够从服务器下载控制程序122。
输入接口105例如是USB(Universal Serial Bus:通用串行总线)端子，与输入部25连接。输入接口105受理示出来自输入部25的用户操作的信号。输入部25例如是鼠标、键盘、触摸面板或者可受理用户的操作的其他输入器件。
显示接口106与显示部26连接，按照来自处理器101等的指令，对显示部26发送用于显示图像的图像信号。显示部26例如是液晶显示器、有机EL显示器或其它显示设备。在显示部26中，例如显示细胞图像解析装置1的去除对象区域的检测结果、对细胞图像解析装置1的各种设定画面等。
存储装置120例如是硬盘或快闪存储器等存储介质。存储装置120储存由模型生成装置50生成的学习模型28、显微镜10的控制程序122等。另外，学习模型28及控制程序122的储存位置不限定于存储装置120，也可以储存于处理器101的存储区域(例如，高速缓冲存储器等)、ROM102、RAM103、外部设备(例如，服务器)等。
(4.2.模型生成装置50的硬件构成)
接着，参照图10，对模型生成装置50的硬件构成的一例进行说明。图10是示出模型生成装置50的主要硬件构成的框图。
模型生成装置50包括处理器201、ROM202、RAM203、通信接口204、输入接口205、显示接口206、显微镜接口207与存储装置220。由于这些硬件与控制装置20的各种硬件相同，如上述利用图9所说明的那样，因此以下仅对与控制装置20不同的部分进行说明。
存储装置220例如是硬盘或快闪存储器等存储介质。存储装置220储存为了生成学习模型而收集的学习数据集45、用于实现与学习处理有关的各种处理的图像解析程序222等。图像解析程序222包括用于生成学习数据集的生成程序等。学习数据集45及图像解析程序222的储存位置并不限定于存储装置220，也可以储存于处理器201的存储区域(例如，高速缓冲存储器等)、ROM202、RAM203、外部设备(例如，服务器)等。
另外，图像解析程序222也可以不作为单体的程序提供，而是组装在任意的程序的一部分中从而提供。在该情况下，依照本实施方式的处理可与任意的程序协作来实现。即使是不包含这样的一部分模块的程序，也不逃脱依照本实施方式的图像解析程序222的主旨。进而，由图像解析程序222提供的功能的一部分或全部也可以由专用的硬件实现。进而，也可以构成为控制装置20与模型生成装置50协作来执行图像解析程序222。
<5.控制结构>
与细胞图像解析装置1执行的学习处理有关的主要的处理包括：(a)学习数据集的收集处理、(b)使用了收集的学习数据集的学习处理、(c)基于利用学习处理而生成的学习模型，从输入图像中检测去除对象区域的检测处理。
这些处理(a)～(c)通过由控制装置20的处理器101或模型生成装置50的处理器201执行程序来实现。在其他局面中，也可以通过电路元件或其它硬件来执行一部分或全部的处理。
以下，参照图11～图13，依次对上述处理(a)～(c)进行说明。
(5.1.学习数据集的收集处理)
首先，参照图11对学习数据集的收集处理的流程进行说明。图11是表示学习数据集的收集处理的流程图。图11所示的收集处理例如通过模型生成装置50的处理器201来实现。
在步骤S110中，处理器201判断模型生成装置50的动作模式是否被设定为学习数据集的自动收集模式。该自动收集模式例如根据用户操作来设定。在判断为模型生成装置50的动作模式被设定为自动收集模式的情况下(步骤S110中为“是”)，处理器201将控制切换到步骤S120。否则(步骤S110中为“否”)，处理器201结束图11所示的收集处理。
在步骤S120中，处理器201判断是否检测到对显微镜10的去除操作。基于对上述输入部25(参照图2)的用户操作来判别该去除操作。在判断为检测到对显微镜10的去除操作的情况下(在步骤S120中为“是”)，处理器201将控制切换到步骤S122。否则(步骤S120中为“否”)，处理器201使控制返回到步骤S110。
在步骤S122中，处理器201作为上述图像获取部511(参照图4)获取去除对象物去除前的细胞图像30与去除对象物去除后的细胞图像35。关于细胞图像30、35的获取方法，由于如在上述“3.1.图像获取部511”中所说明的那样，因此不重复对其说明。
在步骤S124中，处理器201作为上述训练数据生成部512(参照图4)从在步骤S122中获取的细胞图像30、35确定去除对象区域40A，并生成在细胞图像内表示去除对象区域40A的位置的标签图像40作为训练数据。关于标签图像40的生成方法，由于如上述“3.2.训练数据生成部512”中所说明的那样，因此不重复对其说明。
在步骤S126中，处理器201作为上述学习数据集生成部513(参照图4)将在步骤S122中获取的细胞图像30与在步骤S124中生成的标签图像40作为机器学习所使用的学习数据集45从而生成。关于学习数据集45的生成方法，由于如上述“3.2.训练数据生成部512”中所说明的那样，因此不重复对其说明。
从在步骤S122中获取的细胞图像30、35中确定去除对象区域40A，生成在细胞图像内表示去除对象区域40A的位置的标签图像40作为训练数据。关于标签图像40的生成方法，由于如在上述“3.3.学习数据集生成部513”中所说明的那样，因此不重复对其说明。
如上所述，通过重复图11所示的各步骤的处理，累积学习数据集。
(5.2.学习处理)
接着，参照图12，对学习通过上述收集处理收集的学习数据集的处理进行说明。图12是表示对收集的学习数据集的学习处理的流程图。图12所示的学习处理例如由模型生成装置50的处理器201实现。
在步骤S210中，处理器201判断是否执行了学习处理。在判断为执行了学习处理的情况下(在步骤S210中为“是”)，处理器201将控制切换到步骤S212。否则(在步骤S210中为“否”)，处理器201再次执行步骤S210的处理。
在步骤S212中，处理器201从储存在存储装置220中的多个学习数据集内获取一个或多个未学习的学习数据集45。
在步骤S214中，处理器201作为上述学习模型生成部514(参照图4)，将在步骤S212中得到的学习数据集45中包含的细胞图像30应用于当前的学习模型。
在步骤S216中，处理器201作为上述学习模型生成部514，对以下两者进行比较：即，作为在步骤S214中的应用结果而从当前的学习模型得到的标签图像39、与在步骤S212中得到的学习数据集45中包含的作为训练数据的标签图像40。然后，处理器201更新当前的学习模型内的各种参数，使得作为应用结果的标签图像39接近作为训练数据的标签图像40。
在步骤S220中，处理器201对储存在存储装置220的学习数据集中是否存在未学习的学习数据集进行判断。在判断为存在未学习的学习数据集的情况下(在步骤S220中为“是”)，处理器201结束图12所示的学习处理。否则(在步骤S220中为“否”)，处理器201使控制返回到步骤S212。
如上所述，通过重复图12所示的步骤S212、S214、S216、S220，与训练数据相匹配地逐次更新对学习模型进行规定的各种参数。
(5.3.检测处理)
接着，参照图13，对基于通过上述学习处理生成的学习模型，从输入图像中检测去除对象区域的处理进行说明。图13是表示从输入图像中检测去除对象区域的检测处理的流程图。图13所示的检测处理例如由控制装置20的处理器101实现。
在步骤S310中，处理器101判断控制装置20的动作模式是否被设定为自动去除模式。该自动去除模式例如根据用户操作来设定。在判断为控制装置20的动作模式被设定为自动去除模式的情况下(在步骤S310中为“是”)，处理器101将控制切换到步骤S312。否则(在步骤S310中为“否”)，处理器201结束图13所示的检测处理。
在步骤S312中，处理器101执行对细胞等检查对象的拍摄，并且从图像创建部24(参照图2)获取作为IHM相位像的输入图像。
在步骤S314中，处理器101对在步骤S312中得到的输入图像应用通过上述图12的学习处理得到的学习模型，获取作为检测结果的标签图像84。
在步骤S316中，处理器101作为上述检测部602(参照图4)，基于在步骤S314中得到的标签图像84确定去除对象区域。作为一例，处理器101对具有示出去除对象区域的像素值的像素的集合进行分组，对各组计算面积(例如，像素数)。在存在该面积为规定值以上的组的情况下，处理器101判断为在输入图像内存在去除对象区域。
在步骤S320中，在判断为在输入图像内存在去除对象区域的情况下(在步骤S320中为“是”)，处理器101将控制切换到步骤S322。否则(在步骤S320中为“否”)，处理器201使控制返回到步骤S310。
在步骤S322中，处理器101作为上述显示处理部603(参照图4)，将在步骤S316中检测到的去除对象区域重叠于输入图像并显示在显示部26。关于去除对象区域的显示方法，由于如上述“3.7.显示处理部603”中所说明的那样，因此不重复对其说明。
在步骤S330中，处理器101判断是否受理了对检测到的去除对象区域的去除命令。去除命令例如基于对上述输入部25的用户操作而发出。在判断为受理了对检测出的去除对象区域的去除命令的情况下(在步骤S330中为“是”)，处理器101将控制切换到步骤S332。否则(在步骤S330中为“否”)，处理器201使控制返回到步骤S310。
在步骤S332中，处理器101作为上述去除机构控制部604(参照图4)，基于在步骤S316中检测到的去除对象区域的位置(坐标值)驱动显微镜10的去除机构17，使去除机构17将去除对象物去除。关于该去除方法，由于如上述“3.8.去除机构控制部604”中所说明的那样，因此不重复对其说明。
<6.第1实施方式的总结>
如上，依照本实施方式的细胞图像解析装置1从映现有去除对象物的细胞图像30中确定去除对象区域40A，生成在细胞图像30内表示去除对象区域40A的位置的标签图像40作为训练数据。然后，细胞图像解析装置1将生成的标签图像40与生成源的细胞图像30作为机器学习所使用的学习数据集45生成。
如此，通过自动生成作为训练数据的标签图像40，设计者无需对细胞图像30进行标注。其结果为，可大幅削减用于收集学习数据的时间。此外，通过提供这样的用于自动生成学习数据集的结构，设计者能够容易且大量地收集学习数据集。
[第2实施方式]
<7.概要>
在上述第1实施方式中，将学习数据集的收集功能、收集的学习数据集的学习功能安装在细胞图像解析装置1。与此相对，在第2实施方式中，将这些功能安装在服务器上。
关于细胞图像解析装置1的硬件构成等其它方面，如在上述第1实施方式中所说明的那样，因此在以下不重复对它们的说明。
<8.系统构成>
参照图14对依照第2实施方式的细胞图像解析系统500的系统构成进行说明。图14是表示依照第2实施方式的细胞图像解析系统500的系统构成的一例的图。
如图14所示，细胞图像解析系统500包括多个细胞图像解析装置1与1个以上的服务器300。构成为各个细胞图像解析装置1与服务器300可相互通信。
各个细胞图像解析装置1通过在“第1实施方式”中说明的上述方法生成学习数据集45。生成的学习数据集45被发送到服务器300。服务器300累积从各个细胞图像解析装置1接收的学习数据集45。然后，服务器300对收集到的学习数据集45执行上述的机器学习，生成学习模型。生成的学习模型被分发至各个细胞图像解析装置1。
另外，在图14的例中，示出细胞图像解析系统500由3个细胞图像解析装置1构成的例，但细胞图像解析系统500只要是由1个以上的细胞图像解析装置1构成即可。此外，在图14的例中，示出细胞图像解析系统500由1个服务器300构成的例，但细胞图像解析系统500也可以由多个服务器300构成。
<9.功能构成>
参照图15对细胞图像解析系统500的功能构成进行说明。图15是示出细胞图像解析系统500的功能构成的一例的图。
如图15所示，细胞图像解析系统500包括多个细胞图像解析装置1与服务器300。
细胞图像解析装置1包括图像获取部511、训练数据生成部512、学习数据集生成部513、通信部515、设定部601、检测部602、显示处理部603与去除机构控制部604作为功能模块。服务器300包括学习模型生成部514与通信部516作为功能模块。
由于关于通信部515、516以外的功能构成如图4所说明的那样，因此在以下不重复对它们的说明。
细胞图像解析装置1的通信部515是用于控制上述通信接口104(或通信接口204)的通信驱动器。通过通信部515实现与服务器300的通信。通信部515将累积在存储装置220的学习数据集45发送到服务器300。另外，学习数据集45可以在每次生成时发送到服务器300，也可以基于累计了规定数目的学习数据集45这一情况发送到服务器300，也可以基于用户操作发送到服务器300。
优选为，学习数据集45在由观察者选择的基础上被发送到服务器300。更具体地，细胞图像解析装置1一览显示收集的学习数据集45。观察者对一览显示的学习数据集45进行确认，选择作为发送对象的学习数据集45，然后进行发送执行操作。细胞图像解析装置1的通信部515基于受理了发送执行操作这一情况，将选择的学习数据集45发送到服务器300。
服务器300的通信部516是用于控制后述的通信接口304(参照图16)的通信驱动器。通信部516从各个细胞图像解析装置1接收学习数据集45，并且依次将接收到的学习数据集45储存于存储装置320。然后，学习模型生成部514使用从各个细胞图像解析装置1收集的学习数据集45来执行机器学习。生成的学习模型被保存在存储装置320内的数据库27。
服务器300的通信部516基于从细胞图像解析装置1接收到学习模型28的下载命令这一情况，从数据库27获取指定下载的学习模型28。然后，服务器300的通信部516将所获取的学习模型28发送到作为下载命令的发送源的细胞图像解析装置1。
细胞图像解析装置1的通信部515将从服务器300接收到的学习模型28储存在存储装置120。
另外，各功能模块的安装方式不限定于图15所示的例。作为一例，训练数据生成部512及学习数据集生成部513也可以不安装在细胞图像解析装置1而是安装在服务器300。
<10.服务器300的硬件构成>
参照图16对服务器300的硬件构成的一例进行说明。图16是示出服务器300的主要硬件构成的框图。
服务器300包括处理器301、ROM302、RAM303、通信接口304、输入接口305、显示接口306、显微镜接口307与存储装置320。由于这些硬件与控制装置20的各种硬件相同，如上述利用图9所说明的那样，因此以下仅对与控制装置20不同的部分进行说明。
存储装置320例如是硬盘或快闪存储器等存储介质。存储装置320储存有：从细胞图像解析装置1收集的学习数据集45、从学习数据集45生成的学习模型28、用于实现与学习处理有关的各种处理的图像解析程序322等。图像解析程序322包括用于生成学习数据集的生成程序等。
图像解析程序322也可以不作为单体的程序提供，而是组装为任意的程序的一部分从而提供。在该情况下，依照本实施方式的处理可与任意的程序协作来实现。即使是不包含这样的一部分模块的程序，也不逃脱依照本实施方式的图像解析程序322的主旨。进而，由图像解析程序322提供的功能的一部分或全部也可以由专用的硬件实现。进而，也可以构成为细胞图像解析装置1与服务器300协作来执行图像解析程序322。
<11.第2实施方式的总结>
如上，在第2实施方式中，服务器300从各个细胞图像解析装置1收集学习数据集45，使用收集的学习数据集45生成学习模型。通过提供由服务器300从各个细胞图像解析装置1收集学习数据集45的机制，可容易且大量地收集学习数据集45。
此外，通常为了进行机器学习而需要高规格的PC，但通过在服务器300中搭载进行机器学习的功能，能够使用户端的细胞图像解析装置1低成本化。
应认为此次公开的实施方式在所有方面均为例示而并非限制性的内容。本发明的范围并不由上述的说明示出，而是由权利要求书示出，其意味着还包括与权利要求书等同的意思及范围内的所有变更。
附图标记说明
1 细胞图像解析装置
10 显微镜
11 光源部
12 图像传感器
13 培养盘
14 细胞菌落
15 参考光
16 物体光
17 去除机构
20 控制装置
21 拍摄控制部
22 全息图数据存储部
23 相位信息计算部
24 图像创建部
25 输入部
26 显示部
27 数据库
27A、27C 识别信息
27B 创建日期和时间信息
27D 识别对象信息
28 学习模型
30、33、35 细胞图像
31 去除对象物
37 差分图像
39、40、84 标签图像
40A 去除对象区域
40B 非去除对象区域
45 学习数据集
50 模型生成装置
51 学习处理部
60 细胞图像解析部
70 多层网络
71 卷积层
80、85 显示结果
81 标记
86、87、88 图像区域
101、201、301 处理器
102、202、302 ROM
103、203、303 RAM
104、204、304 通信接口
105、205、305 输入接口
106、206、306 显示接口
107、207、307 显微镜接口
120、220、320 存储装置
122 控制程序
222、322 图像解析程序
300 服务器
500 细胞图像解析系统
511 图像获取部
512 训练数据生成部
513 学习数据集生成部
514 学习模型生成部
515、516 通信部
601 设定部
602 检测部
603 显示处理部
604 去除机构控制部。

Claims (14)

1.一种细胞图像解析装置，是可生成机器学习所使用的训练数据的细胞图像解析装置，其特征在于，具备：
图像获取部，用于获取从用于观察细胞的显微镜得到的图像、即映现有去除对象物的第1细胞图像；
训练数据生成部，用于通过执行预先决定好的图像处理，从所述第1细胞图像内确定映现有所述去除对象物的去除对象区域，生成表示所述第1细胞图像内的所述去除对象区域的位置的标签图像作为所述机器学习的训练数据；
学习数据集生成部，用于生成所述第1细胞图像与所述标签图像的集作为所述机器学习所使用的学习数据集。
2.如权利要求1所述的细胞图像解析装置，其特征在于，
所述图像获取部在去除所述去除对象物后进一步获取从所述显微镜得到的第2细胞图像，
所述预先决定好的图像处理包括根据所述第1细胞图像与所述第2细胞图像的比较结果来确定所述去除对象区域。
3.如权利要求2所述的细胞图像解析装置，其特征在于，
所述预先决定好的图像处理包括基于从所述第1细胞图像中减去所述第2细胞图像而得的差分图像来确定所述去除对象区域。
4.如权利要求1所述的细胞图像解析装置，其特征在于，
所述细胞图像解析装置还包括去除机构，该去除机构构成为去除所述第1细胞图像内的预先决定好的区域中映现的物体，
所述预先决定好的图像处理包括将所述第1细胞图像内的所述预先决定好的区域确定为所述去除对象区域。
5.如权利要求1～4的任一项所述的细胞图像解析装置，其特征在于，具备：
学习模型生成部，执行使用了由所述学习数据集生成部生成的多个学习数据集的机器学习，生成用于从图像内识别所述去除对象物的学习模型；
检测部，用于基于所述学习模型从输入到所述细胞图像解析装置的输入图像中检测所述去除对象区域。
6.如权利要求5所述的细胞图像解析装置，其特征在于，
由所述学习模型生成部执行的机器学习包括迁移学习，该迁移学习将一部分或全部预先学习好的学习模型用作初始模型。
7.如权利要求5或6所述的细胞图像解析装置，其特征在于，
所述细胞图像解析装置还具备：
存储装置，用于储存由所述学习模型生成部生成的多个学习模型；
输入部，用于受理从所述多个学习模型中选择一个学习模型的选择操作，
所述检测部基于通过所述选择操作选择的学习模型，从所述输入图像中检测所述去除对象区域。
8.如权利要求5～7的任一项所述的细胞图像解析装置，其特征在于，
所述细胞图像解析装置还具备：
显示部；
显示处理部，用于将由所述检测部检测出的所述去除对象区域重叠于所述输入图像并显示在所述显示部。
9.如权利要求5～8的任一项所述的细胞图像解析装置，其特征在于，
所述细胞图像解析装置具备去除机构控制部，用于基于由所述检测部检测出的所述去除对象区域的检测结果，使所述去除对象物被所述显微镜的去除机构去除。
10.一种细胞图像解析系统，是可生成机器学习所使用的训练数据的细胞图像解析系统，其特征在于，具备：
服务器；与
多个细胞图像解析装置，构成为可与所述服务器通信，
所述多个细胞图像解析装置分别包括：
图像获取部，用于获取从用于观察细胞的显微镜得到的图像、即映现有去除对象物的细胞图像；
训练数据生成部，用于通过执行预先决定好的图像处理，从所述细胞图像内确定映现有所述去除对象物的去除对象区域，生成表示所述细胞图像内的所述去除对象区域的位置的标签图像作为所述机器学习的训练数据；
学习数据集生成部，用于生成所述细胞图像与所述标签图像的集作为所述机器学习所使用的学习数据集；
通信部，用于将所述学习数据集发送至所述服务器。
11.一种方法，其特征在于，具备以下步骤：
接收细胞图像与表示所述细胞图像内的去除对象区域的位置的标签图像的步骤；
通过使用接收的所述细胞图像与所述标签图像来进行机器学习从而生成学习模型的步骤，所述学习模型中将细胞图像设为输入图像，将表示所述输入图像内的去除对象区域的位置的图像设为输出图像；
发送生成的学习模型的步骤。
12.一种学习数据的生成方法，是机器学习所使用的训练数据的生方法，其特征在于，具备以下步骤：
获取从用于观察细胞的显微镜得到的图像、即映现有去除对象物的细胞图像的步骤；
通过执行预先决定好的图像处理，从所述细胞图像内确定映现有所述去除对象物的去除对象区域，生成表示所述细胞图像内的所述去除对象区域的位置的标签图像作为所述机器学习的训练数据的步骤；
生成所述细胞图像与所述标签图像的集作为所述机器学习所使用的学习数据集的步骤。
13.一种学习数据的生成程序，是机器学习所使用的训练数据的生成程序，其特征在于，
所述生成程序使计算机执行以下步骤：
获取从用于观察细胞的显微镜得到的图像、即映现有去除对象物的细胞图像的步骤；
通过执行预先决定好的图像处理，从所述细胞图像内确定映现有所述去除对象物的去除对象区域，生成表示所述细胞图像内的所述去除对象区域的位置的标签图像作为所述机器学习的训练数据的步骤；
生成所述细胞图像与所述标签图像的集作为所述机器学习所使用的学习数据集的步骤。
14.一种学习数据的制造方法，是机器学习所使用的训练数据的制造方法，其特征在于，具备以下工序：
获取从用于观察细胞的显微镜得到的图像、即映现有去除对象物的细胞图像的工序；
通过执行预先决定好的图像处理，从所述细胞图像内确定映现有所述去除对象物的去除对象区域，生成表示所述细胞图像内的所述去除对象区域的位置的标签图像作为所述机器学习的训练数据的工序；
生成所述细胞图像与所述标签图像的集作为所述机器学习所使用的学习数据集的工序。
CN201880091367.5A 2018-03-20 2018-03-20 细胞图像解析装置、系统、学习数据生成方法及程序、制造方法、学习模型生成方法 Active CN111919117B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/011195 WO2019180848A1 (ja) 2018-03-20 2018-03-20 細胞画像解析装置、細胞画像解析システム、学習データの生成方法、学習モデルの生成方法、学習データの生成プログラム、および、学習データの製造方法

Publications (2)

Publication Number Publication Date
CN111919117A true CN111919117A (zh) 2020-11-10
CN111919117B CN111919117B (zh) 2023-01-24

Family

ID=67988409

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880091367.5A Active CN111919117B (zh) 2018-03-20 2018-03-20 细胞图像解析装置、系统、学习数据生成方法及程序、制造方法、学习模型生成方法

Country Status (4)

Country Link
US (1) US11686721B2 (zh)
JP (1) JP6981533B2 (zh)
CN (1) CN111919117B (zh)
WO (1) WO2019180848A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023221951A3 (zh) * 2022-05-14 2024-01-11 北京大学 基于细胞动态图像机器学习的细胞分化

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111919117B (zh) * 2018-03-20 2023-01-24 株式会社岛津制作所 细胞图像解析装置、系统、学习数据生成方法及程序、制造方法、学习模型生成方法
JP7210355B2 (ja) * 2019-03-27 2023-01-23 株式会社エビデント 細胞観察システム、コロニー生成位置推定方法、推論モデル生成方法、およびプログラム
TR201915794A2 (zh) * 2019-10-14 2021-04-21 Izmir Yueksek Teknoloji Enstituesue
JP7383982B2 (ja) 2019-10-30 2023-11-21 株式会社ジェイテクト 工具寿命予測システム
JP7289427B2 (ja) * 2020-02-28 2023-06-12 株式会社Pros Cons プログラム、情報処理方法及び情報処理装置
JP7045410B2 (ja) * 2020-03-25 2022-03-31 日東電工株式会社 画像分類プログラムの組換方法
WO2021261140A1 (ja) * 2020-06-22 2021-12-30 株式会社片岡製作所 細胞処理装置、学習装置、および学習済モデルの提案装置
JP7391285B2 (ja) 2020-07-21 2023-12-05 株式会社シバサキ プログラム、情報処理装置、情報処理方法及びモデル生成方法
JP6908806B1 (ja) * 2020-09-16 2021-07-28 ＢｏｎＢｏｎ株式会社 プログラム、情報処理装置、方法
CN114693694A (zh) * 2020-12-25 2022-07-01 日本电气株式会社 图像处理的方法、设备和计算机可读存储介质
WO2023019559A1 (zh) * 2021-08-20 2023-02-23 深圳先进技术研究院 一种自动化干细胞检测方法、系统、终端以及存储介质
JP2023034230A (ja) * 2021-08-30 2023-03-13 公益財団法人神戸医療産業都市推進機構 細胞画像解析システム、細胞画像解析装置、および、細胞画像解析方法
CN116664966B (zh) * 2023-03-27 2024-02-20 北京鹰之眼智能健康科技有限公司 一种红外图像处理系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006517292A (ja) * 2003-02-05 2006-07-20 エボテック・テヒノロギーズ・ゲーエムベーハー マルチパラメトリック細胞同定・選別法および対応の装置
US20060280352A1 (en) * 2005-06-10 2006-12-14 The Cleveland Clinic Foundation Image analysis of biological objects
US20150317509A1 (en) * 2002-09-13 2015-11-05 Life Technologies Corporation Interactive and Automated Tissue Image Analysis with Global Training Database and Variable-Abstraction Processing in Cytological Specimen Classification and Laser Capture Microdissection Applications
JP2015210212A (ja) * 2014-04-28 2015-11-24 横河電機株式会社 細胞生死判定システム、細胞生死判定方法
CN107169556A (zh) * 2017-05-15 2017-09-15 电子科技大学 基于深度学习的干细胞自动计数方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3364323B2 (ja) * 1994-05-17 2003-01-08 謙 石原 非侵襲血液分析装置
JP3471556B2 (ja) 1997-03-27 2003-12-02 理化学研究所 位相シフトディジタルホログラフィ装置
KR101150444B1 (ko) * 2006-09-22 2012-06-01 아비소 게엠베하 메카트로닉 시스템 세포 및/또는 세포 군체의 자동 제거를 위한 방법 및 장치
JP5181385B2 (ja) 2007-08-16 2013-04-10 国立大学法人名古屋大学 細胞の品質を予測する予測モデルの構築法、予測モデルの構築用ブログラム、該プログラムを記録した記録媒体、予測モデルの構築用装置
JP4968595B2 (ja) 2008-07-23 2012-07-04 株式会社ニコン 細胞の状態判別手法及び細胞観察の画像処理装置
US8935136B2 (en) * 2011-09-22 2015-01-13 Microsoft Corporation Multi-component model engineering
JP5376024B1 (ja) * 2012-08-23 2013-12-25 富士ゼロックス株式会社 画像処理装置、プログラム及び画像処理システム
JP5464244B2 (ja) * 2012-08-24 2014-04-09 富士ゼロックス株式会社 画像処理装置、プログラム及び画像処理システム
WO2015102919A2 (en) * 2013-12-30 2015-07-09 Clarient Diagnostic Services, Inc. Modular image analysis system and method
JP6388036B2 (ja) 2014-11-27 2018-09-12 株式会社島津製作所 ディジタルホログラフィ装置及びディジタルホログラム生成方法
JP6720756B2 (ja) * 2015-10-08 2020-07-08 ソニー株式会社 情報処理装置、情報処理方法及び情報処理システム
US10572828B2 (en) * 2015-10-28 2020-02-25 Qomplx, Inc. Transfer learning and domain adaptation using distributable data models
JP6742724B2 (ja) * 2015-12-28 2020-08-19 シスメックス株式会社 細胞領域決定方法、細胞撮像システム、細胞画像の処理装置及びコンピュータプログラム
WO2017203718A1 (ja) 2016-05-27 2017-11-30 株式会社島津製作所 ホログラフィ観察方法及び装置
CA3037366A1 (en) * 2016-09-29 2018-04-05 Myriad Women's Health, Inc. Noninvasive prenatal screening using dynamic iterative depth optimization
EP3674686B1 (en) * 2017-08-25 2023-11-01 FUJIFILM Corporation Learning device, method, and program for discriminator
US11314994B2 (en) * 2018-01-30 2022-04-26 Riken Mask structure optimization device, mask structure optimization method, and program
WO2019171546A1 (ja) * 2018-03-08 2019-09-12 株式会社島津製作所 細胞画像解析方法、細胞画像解析装置、及び学習モデル作成方法
CN111919117B (zh) * 2018-03-20 2023-01-24 株式会社岛津制作所 细胞图像解析装置、系统、学习数据生成方法及程序、制造方法、学习模型生成方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150317509A1 (en) * 2002-09-13 2015-11-05 Life Technologies Corporation Interactive and Automated Tissue Image Analysis with Global Training Database and Variable-Abstraction Processing in Cytological Specimen Classification and Laser Capture Microdissection Applications
JP2006517292A (ja) * 2003-02-05 2006-07-20 エボテック・テヒノロギーズ・ゲーエムベーハー マルチパラメトリック細胞同定・選別法および対応の装置
US20060280352A1 (en) * 2005-06-10 2006-12-14 The Cleveland Clinic Foundation Image analysis of biological objects
JP2015210212A (ja) * 2014-04-28 2015-11-24 横河電機株式会社 細胞生死判定システム、細胞生死判定方法
CN107169556A (zh) * 2017-05-15 2017-09-15 电子科技大学 基于深度学习的干细胞自动计数方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023221951A3 (zh) * 2022-05-14 2024-01-11 北京大学 基于细胞动态图像机器学习的细胞分化

Also Published As

Publication number Publication date
US11686721B2 (en) 2023-06-27
JP6981533B2 (ja) 2021-12-15
JPWO2019180848A1 (ja) 2021-04-08
US20210019499A1 (en) 2021-01-21
CN111919117B (zh) 2023-01-24
WO2019180848A1 (ja) 2019-09-26

Similar Documents

Publication Publication Date Title
CN111919117B (zh) 细胞图像解析装置、系统、学习数据生成方法及程序、制造方法、学习模型生成方法
JP7030423B2 (ja) 画像解析方法、装置、プログラムおよび深層学習アルゴリズムの製造方法
US11842556B2 (en) Image analysis method, apparatus, program, and learned deep learning algorithm
CN111051955B (zh) 通过使用卷积神经网络来标识利用数字全息显微镜所获取的细胞图像的品质
CN111837157A (zh) 细胞图像解析方法、细胞图像解析装置、及学习模型创建方法
CN105849274B (zh) 用于显微图像中的单独细胞的分类和识别的方法和系统
US20200388033A1 (en) System and method for automatic labeling of pathology images
JP5546317B2 (ja) 外観検査装置、外観検査用識別器の生成装置及び外観検査用識別器生成方法ならびに外観検査用識別器生成用コンピュータプログラム
JP2011007800A (ja) 顕微鏡画像の自動解析法
CN112649403A (zh) 细胞图像解析方法及细胞解析装置
JP6859355B2 (ja) ３次元顕微鏡画像の区分化のためのシステムおよび方法
JP2011158373A (ja) 自動欠陥分類のための教師データ作成方法、自動欠陥分類方法および自動欠陥分類装置
JP6130801B2 (ja) 細胞領域表示制御装置および方法並びにプログラム
CN1795375B (zh) 用于组织感兴趣域中的多个感兴趣对象的系统
CN110942447B (zh) Oct图像分割方法、装置、设备及存储介质
WO2016189469A1 (en) A method for medical screening and a system therefor
CN114127307A (zh) 细胞图像解析方法和细胞图像解析装置
CN111415330A (zh) 基于深度学习的铜箔外观缺陷检测方法
CA3196713A1 (en) Critical component detection using deep learning and attention
Kovalev et al. Deep learning in big image data: Histology image classification for breast cancer diagnosis
JPWO2019171453A1 (ja) 細胞画像解析方法、細胞画像解析装置、及び学習モデル作成方法
CN110807754B (zh) 基于深度语义分割的真菌显微图像分割检测方法及系统
CN116348921A (zh) 用于将细胞分类的方法
JP2021078356A (ja) 細胞解析装置
El-Shenawy Automatic detection and identification of cells in digital images of day 2 IVF embryos

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant