CN110472471A - 图像解析方法、装置、存储介质和深度学习算法生成方法 - Google Patents

图像解析方法、装置、存储介质和深度学习算法生成方法 Download PDF

Info

Publication number
CN110472471A
CN110472471A CN201910387008.0A CN201910387008A CN110472471A CN 110472471 A CN110472471 A CN 110472471A CN 201910387008 A CN201910387008 A CN 201910387008A CN 110472471 A CN110472471 A CN 110472471A
Authority
CN
China
Prior art keywords
cell
parsing
deep learning
image
learning algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910387008.0A
Other languages
English (en)
Inventor
大坂显通
田部阳子
木村考伸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
School Building
Sysmex Corp
Juntendo Educational Foundation
Original Assignee
School Building
Sysmex Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by School Building, Sysmex Corp filed Critical School Building
Publication of CN110472471A publication Critical patent/CN110472471A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Processing (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)

Abstract

本发明一目的在于提供一种用于更高精度地识别解析用图像所含有的数个细胞的各自的形态的图像解析方法。使用具有神经网络结构的深度学习算法解析细胞的形态的图像解析方法，将包含解析对象细胞相关信息的解析数据输入至所述深度学习算法（60，61），并通过所述深度学习算法（60，61）算出所述解析对象细胞归属于所述一定细胞群下属的数个细胞的形态分类中的每一项的概率，通过该方法来解析图像。

Description

图像解析方法、装置、存储介质和深度学习算法生成方法
技术领域
本发明涉及解析细胞形态的图像解析方法、装置、存储介质和深度学习算法的生成方法。
背景技术
专利文献1公开了用于处理显微镜图像的细胞识别系统。所述细胞识别系统中，使用机器训练技法训练的模型将获取的图像内的像素和细胞、细胞边界、背景及其等同物中的一项或更多相关联。机器训练技法使用的是随机森林决策树技法。
现有技术文献
专利文献
专利文献1：日本特表2016-534709号。
发明内容
发明要解决的技术问题
细胞检查中，通常检查者通过显微镜观察来观察细胞，并从形态学上鉴定细胞的种类、特征。但是同系的细胞具有相似的形态，因此为了能从形态学上识别细胞就需要观察许多细胞标本并提高识别技能。要识别患病时出现的异常细胞时尤其要求熟练度。比如，像初期的骨髓增生异常综合征那样异常细胞的出现频率小的情况下也会有技能不充分的检查者注意不到异常细胞等风险。
另外，检查者1天能观察的标本枚数是有限的，1天观察超过100枚也会对检查者造成负担。
流式的自动血细胞分类装置等也能实现增加细胞检查的处理件数。但是，从流式的自动血细胞分类装置得到的信息有限，很难识别母细胞（blast）、早幼粒细胞、巨大血小板等出现频率低的血细胞。
如专利文献1所述的方法所示，现在也已知使用机器训练技法（也叫机器学习）识别细胞的方法。但是需要用户制作用于训练机器学习模型的训练数据，为生成模型需要花费巨大的劳动力。另外现状是由于是用户制作训练数据，因此能制作的训练数据的数目有限，机器学习模型的解析的精度、通用化性能还存在问题。
另外，专利文献1所述的方法是在显微镜图像中识别细胞部分和非细胞部分的方法。因此无法识别每个细胞的种类及其包含何种异常表现等。
本发明一目的在于提供一种用于更高精度地识别解析用图像所含有的数个细胞的各自的形态的图像解析方法。
解决技术问题的技术手段
本发明一实施方式涉及图像解析方法。所述图像解析方法中，将解析数据（80）输入具有神经网络结构的深度学习算法（60，61）中，所述解析数据由解析对象细胞的图像生成且包含所述解析对象细胞相关信息；通过所述深度学习算法计算所述解析对象细胞属于一定细胞群下属的数个细胞的形态学分类中每一项的概率。通过本实施方式，即使检查者不进行显微镜观察，也能求得所述解析对象细胞归属于一定细胞群下属的数个细胞的形态学分类中的每一项的概率并解析图像。
优选技术方案为：所述图像解析方法基于计算出的所述概率识别所述解析对象细胞所属的所述形态学分类。通过本实施方式，即使检查者不进行显微镜观察也能识别解析对象细胞和哪一形态学分类相吻合。
优选技术方案为：所述一定细胞群是血中细胞的群。通过本实施方式，即使检查者不进行显微镜观察也能进行血细胞的形态学分类。
优选技术方案为：所述一定细胞群是属于一定细胞系的细胞的群。更优选技术方案为：所述一定细胞系是造血系统。通过本实施方式，即使检查者不进行显微镜观察也能进行属于相同细胞系的细胞的形态学分类。
优选技术方案为：每一形态学分类表明细胞的种类。更优选技术方案为：形态学分类包含如下：包括分叶核中性粒细胞和杆状核中性粒细胞在内的中性粒细胞、晚幼粒细胞、中幼粒细胞、早幼粒细胞、母细胞、淋巴细胞、浆细胞、异型淋巴细胞、单核细胞、嗜酸性粒细胞、嗜碱性粒细胞、成红细胞、巨大血小板、血小板凝集和巨核细胞。根据本实施方式也能识别具有相似形态的同系列的细胞。
优选技术方案为：每一形态学分类表明细胞的异常表现，更优选技术方案为：所述形态学分类包含从下述项目构成的群选择的至少一种细胞：核形态异常、空泡的存在、颗粒形态异常、颗粒分布异常、异常颗粒的存在、细胞的大小异常、包含体的存在和裸核。根据本实施方式也能识别呈现异常表现的细胞。
所述实施方式中，所述细胞的形态的相关数据是形态学分类中细胞的种类的相关数据和形态学分类中细胞的特征的相关数据。通过本实施方式能输出形态学的细胞的种类和细胞的特征。
优选技术方案为：所述实施方式中，所述深度学习算法包含：第1算法，算出所述解析对象细胞归属于一定细胞群下属的数个细胞的第1形态学分类中的每一项的概率；第2算法，算出所述解析对象细胞归属于一定细胞群下属的数个细胞的第2形态学分类中的每一项的概率。比如，所述第1形态学分类是所述解析对象细胞的种类，所述第2形态学分类是所述解析对象细胞的异常表现。这样一来能更加提高具有相似形态的细胞的识别精度。
所述实施方式中，所述解析数据（80）是由拍摄到的被染色的血中细胞的图像生成的。更优选技术方案为：所述染色从赖特氏染色、吉姆萨染色、瑞士吉姆萨染色和梅吉姆萨染色选择。这样一来，能进行和一直以来进行的显微镜下的观察同样的识别。
所述解析数据（80）和训练数据（75）包含解析对象图像和训练用图像的亮度的相关信息和至少2种色相的相关信息。这样一来能提高识别精度。
本发明其他实施方式涉及图像解析装置（200）。所述图像解析装置（200）具备：处理部（10），将解析数据（80）输入具有神经网络结构的深度学习算法（60，61），所述解析数据由解析对象细胞的图像生成且包含所述解析对象细胞的相关信息，通过所述深度学习算法计算所述解析对象细胞属于一定细胞群下属的数个细胞的形态学分类中每一项的概率。优选技术方案为：每一形态学分类是所述解析对象细胞的种类的识别。另外优选技术方案为：每一形态学分类是所述解析对象细胞的异常表现的识别。
本发明其他实施方式涉及存储介质，该存储介质为存储由处理器执行的程序的非暂时性计算机可读存储介质。所述程序使计算机（200）执行如下处理：将解析数据（80）输入具有神经网络结构的深度学习算法（60，61），所述解析数据（80）由解析对象细胞的图像生成并且包含所述解析对象细胞的相关信息，通过所述深度学习算法计算所述解析对象细胞属于一定细胞群下属的数个细胞的形态学分类的每一项的概率。
本发明其他实施方式涉及已完成训练的深度学习算法（60，61）生成方法。本实施方式将包含细胞相关信息的训练数据输入至神经网络（50，51）的输入层（50a，51a），并将标签值作为输出层（50b，51b）输入，该标签值和一定细胞群下属的数个细胞的每一形态学分类相关联。优选技术方案为：每一形态学分类表明细胞的种类或细胞的异常表现。
通过使用图像解析装置（200）、已完成训练的深度学习算法（60，61）能不受检查者的技能影响地识别形态学的细胞的种类和细胞的特征。
发明效果
能识别解析用图像所含有的数个细胞各自的形态。结果是能进行不受检查者的技能影响的细胞检查。
附图说明
图1表示本发明的概要的图；
图2为训练数据的生成步骤、第1深度学习算法和第2深度学习算法的训练步骤的例子的示意图；
图3表示标签值的例子；
图4为解析数据的生成步骤、使用深度学习算法的细胞识别步骤的例子的示意图；
图5为图像解析系统1的结构例的概略的示图；
图6表示厂商侧装置100的硬件结构的例子的框图；
图7表示用户侧装置200的硬件结构的例子的框图；
图8用于说明深度学习装置100A的功能的例子的框图；
图9表示深度学习处理的流程的例子的流程图；
图10用于说明神经网络的示意图；
图11用于说明图像解析装置200A的功能的例子的框图；
图12表示图像解析处理的流程的例子的流程图；
图13为图像解析系统2的结构例的概略的示图；
图14用于说明综合型的图像解析装置200B的功能的例子的框图；
图15为图像解析系统3的结构例的概略的示图；
图16用于说明综合型的图像解析装置100B的功能的例子的框图；
图17表示使用深度学习算法得到的细胞种类的识别结果；
图18表示使用深度学习算法得到的细胞特征的识别结果。
具体实施方式
以下参照附图详细说明本发明的概要和实施方式。另外，以下的说明和附图中相同符号表示相同或类似的构成要素，因此省略相同或类似的构成要素的相关说明。
［1．图像解析方法］
本发明第1实施方式涉及解析细胞形态的图像解析方法。所述图像解析方法将包含解析对象细胞相关信息的解析数据输入至包含具有神经网络结构的深度学习算法的识别器（Classifier）。所述识别器算出所述解析对象细胞归属于所述一定细胞群下属的数个细胞的形态分类中的每一项的概率。优选图像解析方法进一步包含下述处理：基于所述概率识别所述解析对象细胞属于一定细胞群下属的数个细胞的形态分类中的哪项。
第1实施方式中，解析对象细胞属于一定细胞群。一定细胞群是构成哺乳动物、鸟类的体内的各器官的细胞群。正常情况下，一定细胞群含有通过组织学显微镜观察、细胞学显微镜观察而从形态学上进行分类的数个细胞种类。形态学分类（也叫“形态分类”）包含细胞种类的分类和细胞的形态学特征的分类。优选解析对象细胞是一定细胞群下属的一定细胞系下属的细胞群。一定细胞系指从某一种组织干细胞分化而来的属于同系的细胞群。一定细胞系优选造血系统，更优选血液中的细胞（也叫“血中细胞”）。
现有的方法通过人在显微镜的明视场下观察施有明视场用染色的标本从而从形态学上对造血系统细胞进行分类。优选所述染色从赖特氏染色、吉姆萨染色、瑞士吉姆萨染色和梅吉姆萨染色选择。更优选梅吉姆萨染色。标本只要满足能单个观察属于一定细胞群的各细胞的形态即可，无特别限制。比如能列举出涂抹标本和印片标本等。优选以外周血或骨髓为试样的涂抹标本，更优选外周血的涂抹标本。
形态学分类中，血中细胞包含如下细胞的种类：包含分叶核中性粒细胞及杆状核中性粒细胞的中性粒细胞、晚幼粒细胞、中幼粒细胞、早幼粒细胞、母细胞、淋巴细胞、浆细胞、异型淋巴细胞、单核细胞、嗜酸性粒细胞、嗜碱性粒细胞、成红细胞（为有核红细胞，包含前成红细胞、嗜碱性成红细胞、多染性成红细胞、正染性成红细胞、原巨成红细胞、嗜碱性巨成红细胞、多染性巨成红细胞以及正染性巨成红细胞）、巨大血小板、血小板凝集和巨核细胞（为有核巨核细胞，包含微巨核细胞）等。
另外，所述一定细胞群除了正常细胞之外也可以包含呈现形态学异常表现的异常细胞。异常体现为从形态学上分类的细胞特征。异常细胞的例如是患一定疾病时出现的细胞，比如肿瘤细胞等。在造血系统中，一定疾病是从骨髓增生异常综合征、白血病（包含急性髓细胞白血病、急性髓细胞白血病（伴随中性粒细胞分化）、急性早幼粒细胞白血病、急性粒单核细胞白血病、急性单核细胞白血病、红白血病、急性原始巨核细胞白血病、急性髓性白血病、急性淋巴细胞白血病、成淋巴细胞性白血病、慢性髓性白血病以及慢性淋巴细胞白血病等）、恶性淋巴瘤（霍奇金淋巴瘤及非霍奇金淋巴瘤等）以及多发性骨髓瘤构成的群选择的疾病。另外，在造血系统中，具有异常表现的细胞是具有下述项目构成的群中选出的至少一种形态学特征的细胞：核形态异常、空泡的存在、颗粒形态异常、颗粒分布异常、异常颗粒的存在、细胞的大小异常、包含体的存在及裸核。
核形态异常能列举出：核变小；核变大；核分叶过多；正常来说应该分叶的核却未分叶（包括伪Pelger的核异常等）；有空泡；核仁肥大；核有缺口；本来1个细胞应该有1个核但1个细胞却存在2个核异常等。
细胞整体的形态的异常能列举出：细胞质有空泡（也叫空泡变性）；嗜天青颗粒、嗜中性颗粒、嗜酸性颗粒、嗜碱性颗粒等颗粒有形态异常；所述颗粒的分布异常（过剩或减少或消失）；具有异常颗粒（比如中毒颗粒等）；细胞的大小异常（比正常大或小）；具有包含体（杜勒小体以及棒状小体等）；裸核等。
＜图像解析方法的概要＞
使用图1说明图像解析方法的概要。
图像解析方法中使用的识别器包含具有神经网络结构的数个深度学习算法（有时也只叫“算法”）。优选技术方案为：包含第1深度学习算法50和第2深度学习算法51，第1深度学习算法50抽取细胞的特征量，第2深度学习算法51基于第1深度学习算法抽取的特征量识别所述解析对象细胞。更优选技术方案为：如图1所示，识别器在第1深度学习算法的下游含有第2深度学习算法之外，还可以含有根据识别目的而训练出来的数种深度学习算法（有时编号为第2、第3、第4、第5……第i）。比如，第2深度学习算法识别上述的基于形态学分类的细胞的种类。另外，比如第2深度学习算法按照每种特征分别识别上述的基于形态学分类的细胞的特征。优选技术方案为：第1深度学习算法是卷积连接的神经网络，位于第1深度学习算法的下游的第2以后的深度学习算法是全连接的神经网络。
接下来使用图2~图4的示例说明训练数据75的生成方法和图像解析方法。为便于说明，以下使用第1深度学习算法和第2深度学习算法进行说明。
＜训练数据的生成＞
为训练深度学习算法而使用的训练用图像70是拍摄已知与所述解析对象细胞相对应的基于形态学分类的细胞的种类、细胞的特征的细胞而成的图像。优选利用包含和解析对象细胞同种的细胞的试样并通过和包含解析对象细胞的标本相同的标本制作方法和染色方法制作用于拍摄训练用图像70的标本。另外，优选在和解析对象细胞的拍摄条件相同的条件下拍摄训练用图像70。
比如能使用众所周知的光学显微镜或虚拟切片扫描仪等拍摄装置按细胞预先获取训练用图像70。图2的示例中，训练用图像70将使用Sysmex DI－60在360像素×365像素下拍摄的原始图像缩小为255像素×255像素，但不是必须缩小。训练用图像70的像素数只要能解析即可，无特别限制，优选一边超过100像素。另外，图2的示例中，以中性粒细胞为中心的周围存在红细胞，也可以剪裁图像以仅保留目标细胞。在1张图像中至少含有训练对象细胞1个细胞（可以含有红细胞及正常尺寸的血小板）、属于训练对象细胞的像素占图像整体像素的1/9左右以上就能作为训练用图像70使用。
作为例示，优选技术方案为：本实施方式中，用RGB色彩及CMY色彩等进行拍摄装置的拍摄。优选彩色图像将红、绿和蓝或青、品红、黄等各原色的深浅或亮度用24位的值（8位×3色）表示。训练用图像70包含至少1个色相和该色相的深浅或亮度即可，更优选包含至少2个色相和每个色相的深浅或亮度。包含色相和该色相的深浅或亮度的信息也叫色调。
接下来，将各像素的色调信息比如从RGB色彩转换成包含亮度信息和色相信息在内的格式。包含亮度信息和色相信息的格式能列举出YUV（YCbCr、YPbPr、YIQ等）等。这里以转换成YCbCr格式为例进行说明。这里，因训练用图像是RGB色彩，所以转换为亮度72Y、第1色相（比如蓝色系）72Cb、第2色相（比如红色系）72Cr。能用众所周知的方法从RGB转换成YCbCr。比如能遵照国际规格ITU-R BT.601从RGB转换成YCbCr。如图2所示，转换后的亮度72Y、第1色相72Cb和第2色相72Cr能分别用层次值的行列表示（以下也叫色调行列72y，72cb，72cr）。亮度72Y、第1色相72Cb、第2色相72Cr分别用从0到255层次的256层次表示。这里也可以用红R、绿G、蓝B的3原色、青C、品红M、黄Y的颜色3原色而不是亮度72Y、第1色相72Cb、第2色相72Cr来转换训练用图像。
接下来，基于色调行列72y，72cb，72cr，按像素生成将亮度72y、第1色相72cb和第2色相72cr这3个层次值组合而成的色调矢量数据74。
接下来，比如，因图2的训练用图像70是分叶核中性粒细胞，所以从图2的训练用图像70生成的各色调矢量数据74被赋予以“1”作为表示分叶核中性粒细胞的标签值77，得到训练数据75。图2中，为了方便而将训练数据75用3像素×3像素表示，但实际上存在与拍摄训练用图像70时的像素数相对应的色调矢量数据。
图3表示标签值77的例子。关于标签值，根据细胞的种类以及各细胞的特征的有无而赋予不同的标签值77。
＜深度学习的概要＞
以图2为例说明神经网络训练的概要。第1神经网络50和第2神经网络51均优选卷积神经网络。第1神经网络50的输入层50a的节点数和输入的训练数据75的像素数与图像所含有的亮度和色相的数（比如上述例子中为亮度72y、第1色相72cb和第2色相72cr3个）的乘积相对应。色调矢量数据74作为集合76输入至第1神经网络50的输入层50a。将训练数据75的各像素的标签值77作为第1神经网络的输出层50b来训练第1神经网络50。
第1神经网络50基于训练数据75针对上述的形态学的细胞的种类、细胞的特征抽取特征量。第1神经网络的输出层50b输出反映如上的特征量的结果。将从第1神经网络50的柔性最大值函数输出的各结果输入至第2神经网络51的输入层51a。另外，属于一定细胞系的细胞的细胞形态相似，因此训练深度学习算法以使具有第2神经网络51的深度学习算法51进一步专门用于识别形态学的特定细胞的种类、特定细胞的特征。因此，训练数据75的标签值77也输入至第2神经网络的输出层。
图2的符号50c和51c表示中间层。
将像这样训练的具有第1神经网络60的第1深度学习算法60和具有第2神经网络61的第2深度学习算法61进行组合，并作为用于识别解析对象细胞是一定细胞群下属的且在形态学上进行分类的数个细胞种类中的哪一项的识别器使用。
＜图像解析方法＞
图4表示图像解析方法的例子。图像解析方法中，从拍摄解析对象细胞而成的解析用图像78生成解析数据81。解析用图像78是拍摄解析对象细胞而成的图像。比如能使用众所周知的光学显微镜或虚拟切片扫描仪等拍摄装置获取解析用图像78。图4的示例中，解析用图像78和训练用图像70同样地将使用Sysmex DI－60在360像素×365像素下拍摄的原始图像缩小为255像素×255像素，但不是必须缩小。解析用图像78的像素数只要能解析即可，无特别限制，优选一边超过100像素。另外，图4的示例中，以分叶核中性粒细胞为中心的周围存在红细胞，也可以剪裁图像以仅保留目标细胞。在1张图像中至少含有解析对象细胞1个细胞（可以含有红细胞以及正常尺寸的血小板）、属于解析对象细胞的像素占图像整体像素的1/9左右以上就能作为解析用图像78使用。
作为例示，优选技术方案为：本实施方式中，用RGB色彩及CMY色彩等进行拍摄装置的拍摄。优选彩色图像将红、绿和蓝或青、品红、黄等各原色的深浅或亮度用24位的值（8位×3色）表示。解析用图像78包含至少1个色相和该色相的深浅或亮度即可，更优选包含至少2个色相和每个色相的深浅或亮度。包含色相和该色相的深浅或亮度的信息也叫色调。
比如，从RGB色彩转换为包含亮度信息和色相信息的格式。包含亮度信息和色相信息的格式能列举出YUV（YCbCr、YPbPr、YIQ等）等。这里以转换成YCbCr格式为例进行说明。这里，因解析用图像是RGB色彩，所以转换为亮度79Y、第1色相（比如蓝色系）79Cb和第2色相（比如红色系）79Cr。能用众所周知的方法进行从RGB到YCbCr的转换。比如能遵照国际规格ITU－R BT．601从RGB转换成YCbCr。如图4所示，转换后的亮度79Y、第1色相79Cb和第2色相79Cr能分别用层次值的行列表示（以下也叫色调行列79y，79cb，79cr）。亮度79Y、第1色相79Cb、第2色相79Cr分别用从0到255层次的256层次表示。这里也可以用红R、绿G、蓝B的3原色、青C、品红M、黄Y的颜色3原色而不是亮度79Y、第1色相79Cb、第2色相79Cr来转换解析用图像。
接下来，基于色调行列79y，79cb，79cr，按像素生成将亮度79y、第1色相79cb和第2色相79cr这3个层次值组合而成的色调矢量数据80。生成从1张解析用图像78生成的色调矢量数据80的集合作为解析数据81。
优选解析数据81的生成和训练数据75的生成至少在拍摄条件、从各图像向神经网络输入的矢量数据的生成条件相同。
将解析数据81输入至构成已完成训练的第1深度学习算法60的第1神经网络60的输入层60a。第1深度学习算法从解析数据81抽取特征量，并将其结果从第1神经网络60的输出层60c输出。从输出层60c输出的值是解析用图像所含有的解析对象细胞属于作为训练数据输入的形态学的细胞的分类、特征中每一项的概率。
接下来，将从输出层60c输出的结果输入至构成已完成训练的第2深度学习算法61的第2神经网络61的输入层61a。第2深度学习算法61基于输入的特征量，从输出层61b输出解析用图像所含有的解析对象细胞属于作为训练数据输入的形态学的细胞的分类、特征中每一项的概率。另外，在该概率中，判断解析用图像所含有的解析对象细胞属于值最大的形态学分类，并输出和该形态学的细胞的种类或细胞的特征相关联的标签值。将标签值本身作为细胞形态的相关数据83输出或将标签值置换为表示形态学的细胞的种类或细胞的特征的有无的信息（比如用语等）而得的数据作为细胞形态的相关数据83输出。图4中，识别器根据解析数据81将标签值“1”作为可能性最大的标签值82输出，并将与该标签值相对应的“分叶核中性粒细胞”这一文字数据作为细胞形态的相关数据83输出。
图4的符号60c和61c表示中间层。
［2．图像解析系统1］
＜图像解析系统1的结构＞
本发明第2实施方式涉及图像解析系统。
参照图5，第2实施方式涉及的图像解析系统具备深度学习装置100A、图像解析装置200A。厂商侧装置100作为深度学习装置100A进行作业，用户侧装置200作为图像解析装置200A进行作业。深度学习装置100A使用训练数据使神经网络50学习，将通过训练数据训练的深度学习算法60提供给用户。由已完成学习的神经网络60构成的深度学习算法通过记录媒介98或网络99从深度学习装置100A提供给图像解析装置200A。图像解析装置200A使用由已完成学习的神经网络60构成的深度学习算法进行解析对象图像的解析。
深度学习装置100A比如由通用计算机构成，基于后述的流程图进行深度学习处理。图像解析装置200A比如由通用计算机构成，基于后述的流程图进行图像解析处理。记录媒介98比如是DVD－ROM、USB存储器等的、能被计算机读取的且非暂时性的有形的记录媒介。
深度学习装置100A连接于拍摄装置300。拍摄装置300具备图像传感器301和荧光显微镜302，并拍摄安放于载物台309上的学习用标本308的明视场图像。训练用标本308施有上述染色。深度学习装置100A获取拍摄装置300拍摄的训练用图像70。
图像解析装置200A连接于拍摄装置400。拍摄装置400具备图像传感器401和荧光显微镜402，并拍摄安放于载物台409上的解析对象标本408的明视场图像。解析对象标本408如上所述已预先染色。图像解析装置200A获取拍摄装置400拍摄的解析对象图像78。
拍摄装置300，400能使用具有拍摄标本的功能的、众所周知的光学显微镜或虚拟切片扫描仪等。
＜深度学习装置的硬件结构＞
参照图6，厂商侧装置100（深度学习装置100A，深度学习装置100B）具备处理部10（10A，10B）、输入部16、输出部17。
处理部10具备进行后述的数据处理的CPU（Central Processing Unit）11、使用于数据处理的工作区域的存储器12、记录后述的程序及处理数据的记录部13、在各部间传送数据的总线14、进行与外部设备的数据的输入输出的接口部15、GPU（Graphics ProcessingUnit）19。输入部16和输出部17连接于处理部10。作为例示，输入部16是键盘或鼠标等输入装置，输出部17是液晶显示器等显示装置。GPU19作为辅助CPU11所进行的计算处理（例如并行计算处理）的加速器发挥作用。即以下说明中CPU11所进行的处理也包含CPU11用GPU19作为加速器进行的处理。
另外，处理部10为了进行以下用图8说明的各步骤的处理而将本发明涉及的程序及训练前的神经网络50例如以可执行文件格式预先记录在记录部13。可执行文件格式例如是从编程语言通过编译器转换生成的格式。处理部10使用记录在记录部13的程序进行训练前的第1神经网络50和第2神经网络51的训练处理。
以下的说明中，如没有特别说明，则处理部10所进行的处理指的是CPU11基于存储在记录部13或存储器12的程序及神经网络50进行的处理。CPU11以存储器12为工作区域暂时存储必要的数据（处理过程中的中间数据等），并将计算结果等要长期保存的数据恰当地记录于记录部13。
＜图像解析装置的硬件结构＞
参照图7，用户侧装置200（图像解析装置200A，图像解析装置200B，图像解析装置200C）具备处理部20（20A，20B，20C）、输入部26、输出部27。
处理部20具备进行后述的数据处理的CPU（Central Processing Unit）21、使用于数据处理的工作区域的存储器22、记录后述的程序及处理数据的记录部23、在各部间传送数据的总线24、进行与外部设备之间的数据的输入输出的接口部25、GPU（GraphicsProcessing Unit）29。输入部26和输出部27连接于处理部20。作为例示，输入部26是键盘或鼠标等输入装置，输出部27是液晶显示器等显示装置。GPU29作为辅助CPU21所进行的计算处理（例如并行计算处理）的加速器发挥作用。即以下说明中CPU21所进行的处理也包含CPU21用GPU29作为加速器进行的处理。
另外，处理部20为了进行在以下的图像解析处理说明的各步骤的处理，而将本发明涉及的程序及已完成训练的神经网络结构的深度学习算法60比如以可执行文件格式预先记录在记录部23。可执行文件格式例如是从编程语言通过编译器转换生成的格式。处理部20使用记录在记录部23的程序和第1深度学习算法60及第2深度学习算法61进行处理。
以下的说明中，如没有特别说明，处理部20所进行的处理指的是实际上处理部20的CPU21基于存储在记录部23或存储器22的程序及深度学习算法60进行的处理。CPU21以存储器22为工作区域暂时存储必要的数据（处理过程中的中间数据等），并将计算结果等要长期保存的数据恰当地记录于记录部23。
＜功能模块及处理步骤＞
（深度学习处理）
参照图8，本实施方式涉及的深度学习装置100A的处理部10A具备训练数据生成部101、训练数据输入部102、算法更新部103。将使计算机执行深度学习处理的程序安装于处理部10A的记录部13或存储器12，并由CPU11执行该程序来实现这些功能模块。训练数据数据库（DB）104和算法数据库（DB）105记录于处理部10A的记录部13或存储器12。
拍摄装置300预先拍摄训练用图像70，并预先存储于处理部10A的记录部13或存储器12。第1深度学习算法50和第2深度学习算法51比如与解析对象细胞所属的形态学的细胞的种类、细胞的特征相对应，并预先存在算法数据库105。
深度学习装置100A的处理部10A进行图9所示的处理。使用图8所示的各功能模块进行说明的话，训练数据生成部101进行步骤S11、S12、S16及S17的处理。训练数据输入部102进行步骤S13的处理。算法更新部103进行步骤S14和S15的处理。
使用图9说明处理部10A所进行的深度学习处理的例子。
首先，处理部10A获取训练用图像70。通过操作者的操作从拍摄装置300获得或从记录媒介98获得或经由网络介由I/F部15进行训练用图像70的获取。在获取训练用图像70时也获取该训练用图像70表示的是在形态学上进行分类的细胞的种类及/或形态学的细胞的特征中的哪一项的相关信息。表示的是在形态学上进行分类的细胞的种类及/或形态学的细胞的特征中的哪一项的相关信息可以和训练用图像70相关联，或者也可以是操作者从输入部16输入。
步骤S11中，处理部10A将获取的训练用图像70转换为亮度Y、第1色相Cb及第2色相Cr，按照在上述训练数据的生成方法说明的步骤生成色调矢量数据74。
步骤S12中，处理部10A基于下述信息给出和色调矢量数据74相对应的标签值：和训练用图像70相关联的、表示的是在形态学上进行分类的细胞的种类及/或形态学分类中的细胞的特征中的哪一项的相关信息；与存储于存储器12或记录部13的在形态学上进行分类的细胞的种类或形态学分类中的细胞的特征相关联的标签值。这样一来处理部10A生成训练数据75。
图9所示的步骤S13中，处理部10A使用训练数据75训练第1神经网络50和第2神经网络51。每次使用数个训练数据75进行训练后都会累积第1神经网络50和第2神经网络51的训练结果。
本实施方式涉及的图像解析方法中使用卷积神经网络，因为使用随机梯度下降法，在步骤S14中，处理部10A判断是否积累了预先规定的一定试行次数的训练结果。当积累了一定试行次数的训练结果时（是），处理部10A向步骤S15的处理前进，当未积累一定试行次数相应的训练结果时（否），处理部10A向步骤S16的处理前进。
接下来，当积累了一定试行次数的训练结果时，步骤S15中，处理部10A使用在步骤S13累积的训练结果更新第1神经网络50和第2神经网络51的连接权值w。本实施方式涉及的图像解析方法中，因为使用随机梯度下降法，在积累了一定试行次数的学习结果后更新第1神经网络50和第2神经网络51的连接权值w。具体来说，更新连接权值w的处理是实施后述的（式11）及（式12）所示的梯度下降法运算的处理。
步骤S16中，处理部10A判断是否用规定数的训练用数据75训练了第1神经网络50和第2神经网络51。当用规定数的训练用数据75进行了训练时（是）结束深度学习处理。
没用规定数的训练用数据75训练第1神经网络50和第2神经网络51时（否），处理部10A从步骤S16向步骤S17前进，针对下一个训练用图像70进行从步骤S11到步骤S16的处理。
根据以上说明的处理，训练第1神经网络50和第2神经网络51得到第1深度学习算法60和第2深度学习算法61。
（神经网络的结构）
如上所述，本实施方式中使用卷积神经网络。图10（a）是第1神经网络50和第2神经网络51的结构的示例。第1神经网络50和第2神经网络51具备输入层50a，51a、输出层50b，51b、输入层50a，51a和输出层50b，51b之间的中间层50c，51c，中间层50c，51c由数个层构成。构成中间层50c，51c的层数比如可以是5层以上。
第1神经网络50和第2神经网络51中，层状配置的数个节点89在层间连接。由此，信息仅沿图中箭头D所示的一个方向从输入侧的层50a，51a向输出侧的层50b，51b传播。
（各节点的计算）
图10（b）是各节点的计算的示意图。各节点89接收数个输入，运算出1个输出（z）。如图10（b）的示例，节点89接收4个输入。节点89接收的总输入（u）用以下（式1）表示。
【数1】
各输入分别乘以不同的权值。在（式1）中，b为叫做偏差的值。节点的输出（z）是（式1）表示的总输入（u）的一定函数f的输出，用以下（式2）表示。函数f叫做激活函数。
【数2】
图10（c）是节点间的计算的示意图。在神经网络50中，针对（式1）表示的总输入（u）输出（式2）表示的结果（z）的节点呈层状排列。前一层的节点的输出是下一层的节点的输入。在图10（c）的示例中，图中左侧的层的节点89a的输出是图中右侧的层的节点89b的输入。右侧的层的各节点89b分别接收来自左侧的层的节点89a的输出。左侧的层的各节点89a和右侧的层的各节点89b之间的各连接乘以不同的权值。左侧的层的数个节点89a的输出分别为x1~x4的话，那么针对右侧的层的3个节点89b的输入分别用以下（式3－1）~（式3－3）表示。
【数3】
将如上（式3－1）~（式3－3）概括后为（式3－4）。这里，i＝1，…I、j＝1，…J。
【数4】
将（式3－4）适用于激活函数后得到输出。输出用以下（式4）表示。
【数5】
（激活函数）
实施方式所涉及的图像解析方法中使用线性整流函数（rectified linear unitfunction）作为激活函数。线性整流函数用以下（式5）表示。
【数6】
（式5）是z＝u的线性函数中，使u＜0的部分为u＝0的函数。在图9（c）的示例中，根据（式5），j＝1的节点的输出用以下式表示。
【数7】
（神经网络的学习）
设使用神经网络所体现的函数为y（x：w），则使神经网络的参数w变化的话函数y（x：w）也会变化。为了使神经网络针对输入x选择更合适的参数w而对函数y（x：w）进行调整，这叫做神经网络的学习。给定数组使用神经网络所体现的函数的输入和输出的组。针对某输入x而言优选的输出是d时，则给定输入输出的组是｛（x1，d1），（x2，d2），…，（xn，dn）｝。用（x，d）表示的各组的集合叫做训练数据。具体来说，如图2所示的、R、G、B各颜色的单色图像中每个像素的色密度值和真值图像的标签所成的组的集合是图2所示的训练数据。神经网络的学习指的是：调整权值w以使得针对所有输入输出的组（xn，dn）而言给定了输入xn时的神经网络的输出y（xn：w）尽量接近输出dn。误差函数（error function）是衡量使用神经网络所体现的函数和训练数据的接近程度的尺度。
【数8】
误差函数也叫损失函数（loss function）。实施方式所涉及的图像解析方法中使用的误差函数E（w）用以下（式6）表示。（式6）叫做交叉熵（cross entropy）。
【数9】
就（式6）的交叉熵的算出方法进行说明。实施方式所涉及的图像解析方法中使用的神经网络50的输出层50b中，即神经网络的最终层中，使用根据内容而将输入x分类为有限个级别的激活函数。激活函数叫做柔性最大值函数（softmax function），用以下（式7）表示。另外，输出层50b排列有和级别数k相同数目的节点。输出层L的各节点k（k＝1，…K）的总输入u是从前层L－1的输出用uk （L）给定的。由此，输出层的第k个节点的输出用以下（式7）表示。
【数10】
（式7）是柔性最大值函数。通过（式7）确定的输出y1，…，yK的总和总是为1。
如果将各级别表示为C1，…，CK，则输出层L的节点k的输出yK（即zｋ （Ｌ））表示给定的输入x属于级别CK的概率。参照以下（式8）。输入x被分类为（式8）表示的概率最大的级别。
【数11】
在神经网络的学习中，将用神经网络表示的函数视为各级别的后验概率（posteriorprobability）的模型，在这样的概率模型之下，评价与训练数据相对的权值w的似然（likelihood），选择使似然最大化的权值w。
仅在输出正确级别的情况下将通过（式7）的柔性最大值函数得到的目标输出dn记为1，除此之外的输出记为0。当将目标输出用dn＝［dn1，…，dnK］这种矢量形式表示时，例如当输入xn的正确级别为C3时，则仅目标输出dn3记为1，除此之外的目标输出记为0。像这样编码的话，则后验分布（posterior）用以下（式9）表示。
【数12】
与训练数据｛（xn，dn）｝（n＝1，…，N）相对的权值w的似然L（w）用以下（式10）表示。取似然L（w）的对数并对符号进行反转的话，会导出（式6）的误差函数。
【数13】
学习的意思是针对神经网络的参数w将以训练数据为基础而运算的误差函数E（w）最小化。实施方式涉及的图像解析方法中，误差函数E（w）用（式6）表示。
针对参数w将误差函数E（w）最小化的含义和求函数E（w）的局部极小点的含义相同。参数w是节点间的连接的权值。权值w的极小点通过迭代计算求得，该迭代计算以任意的初始值作为出发点并反复更新参数w。如上运算的一例有梯度下降法（gradient descentmethod）。
在梯度下降法中，使用以下（式11）表示的矢量。
【数14】
在梯度下降法中，多次反复进行使当下的参数w的值向负的梯度方向（即－∇E）移动的处理。若当下的权值为w（t），移动后的权值为w（t＋1），则用梯度下降法进行的计算用以下的（式12）表示。值t指使参数w移动的次数。
【数15】
标号【数16】
是决定参数w的更新量的大小的常数，叫做学习系数。通过反复进行（式12）表示的计算，从而随着值t的增加而误差函数E（w（t））减小，参数w到达极小点。
另外，可以针对所有训练数据（n＝1，…，N）实施（式12）的计算，也可以仅针对一部分训练数据实施（式12）的计算。仅针对一部分训练数据进行的梯度下降法叫做随机梯度下降法（stochastic gradient descent）。实施方式所涉及的图像解析方法中使用随机梯度下降法。
（图像解析处理）
图11表示进行图像解析处理的图像解析装置200A的功能模块图，截止至从解析对象图像78生成细胞形态的相关数据83为止。图像解析装置200A的处理部20A具备解析用数据生成部201、解析用数据输入部202、解析部203。将本发明涉及的使计算机执行图像解析处理的程序安装于处理部20A的记录部23或存储器22，并由CPU21执行该程序来实现这些功能模块。通过记录媒介98或网络99从深度学习装置100A提供训练数据数据库（DB）104和算法数据库（DB）105，并记录于处理部20A的记录部23或存储器22。
拍摄装置400拍摄解析对象图像78，并存储于处理部20A的记录部23或存储器22。已完成训练的包含连接权值w的第1深度学习算法60和第2深度学习算法61比如与解析对象细胞所属的基于形态学分类的细胞的种类、细胞的特征相对应地存在算法数据库105，并作为使计算机执行图像解析处理的程序的一部分即程序模块发挥作用。即，第1深度学习算法60和第2深度学习算法61在具备CPU和存储器的计算机使用，其用于：识别所述解析对象细胞归属于一定细胞群下属的且在形态学上进行分类的数个细胞的种类中的哪一项，并生成所述细胞形态的相关数据83。另外，生成的数据根据需要输出。另外，处理部20A的CPU21使计算机执行与使用目的相应的特有的信息的计算或加工。具体来说，处理部20A的CPU21使用记录在记录部23或存储器22的第1深度学习算法60和第2深度学习算法61生成细胞形态的相关数据83。处理部20A的CPU21将解析数据81输入至输入层60a，并将由第1深度学习算法60算出的解析用图像78的特征量从输出层60b输出。处理部20A的CPU21将从第1深度学习算法60输出的特征量输入至第2深度学习算法的输入层61a，从输出层61b输出所识别出的、解析对象图像所含有的细胞归属的、基于形态学分类的细胞的种类或细胞的特征的标签值。
使用图11所示的各功能模块进行说明的话，解析用数据生成部201进行步骤S21和S22的处理。解析用数据输入部202进行步骤S23、S24、S25和S27的处理。解析部203进行步骤S26的处理。
使用图12说明处理部20A进行的图像解析处理的例子，截止至从解析对象图像78生成细胞形态的相关数据83。
首先处理部20A获取解析用图像78。通过用户的操作从拍摄装置400获得或从记录媒介98获得或经由网络介由I/F部25进行解析用图像78的获取。
步骤S21中，与图9所示的步骤S11同样地将获取的解析用图像78转换为亮度Y、第1色相Cb和第2色相Cr，按照在上述解析数据的生成方法说明过的步骤生成色调矢量数据80。
接下来，步骤S22中，处理部20A从色调矢量数据80按照上述解析数据的生成方法说明过的步骤生成解析数据81。
接下来，步骤S23中，处理部20A获取存在算法数据库105的第1深度学习算法和第2深度学习算法。
接下来，步骤S24中，处理部20A将解析数据81输入至第1深度学习算法。处理部20A按照在上述图像解析方法所述的步骤，将从第1深度学习算法输出的特征量输入至第2深度学习算法，从第2深度学习算法输出判断出的解析用图像所含有的解析对象细胞所归属的标签值。处理部20A将该标签值存储于存储器22或记录部23。
步骤S25中，处理部20A判断是否识别了所有的首先获取的解析用图像78。所有的解析用图像78的识别都结束了的话（是），则向步骤S26前进，输出包含细胞形态的相关数据83在内的解析结果。所有的解析用图像78的识别未都结束的话（否），则向步骤S27前进，针对还未识别的解析用图像78进行从步骤S21到步骤S25的处理。
通过本实施方式，不管检查者的技能如何，能进行基于形态学分类的细胞的种类及细胞的特征的识别，并能抑制形态检查出现不一致的情况。
＜计算机程序＞
本发明包含使计算机执行步骤S11~S17及/或S21~S27的处理的、解析细胞形态的用于图像解析的计算机程序。
另外，本发明的一实施方式涉及存储了所述计算机程序的、存储媒介等的程序产品。即，所述计算机程序存储于硬盘、闪速存储器等半导体存储元件、光盘等存储媒介。关于程序存储于所述存储媒介的存储格式，只要所述提示装置能读取所述程序即可无特别限制。优选向所述存储媒介的存储是非挥发性的。
［3．图像解析系统2］
＜图像解析系统2的结构＞
对图像解析系统的其他技术方案进行说明。
图13表示第2图像解析系统的结构例。第2图像解析系统具备用户侧装置200，用户侧装置200作为综合型的图像解析装置200B进行作业。图像解析装置200B比如由通用计算机构成，进行在上述图像解析系统1说明过的深度学习处理和图像解析处理两种处理。即，第2图像解析系统是在用户侧进行深度学习和图像解析的独立运行型的系统。第2图像解析系统的设置于用户侧的综合型的图像解析装置200B承担了第1实施方式涉及的深度学习装置100A和图像解析装置200A二者的功能。
图13中，图像解析装置200B连接于拍摄装置400。拍摄装置400在深度学习处理时拍摄训练用图像70，在图像解析处理时拍摄解析对象图像78。
＜硬件结构＞
图像解析装置200B的硬件结构和图7所示的用户侧装置200的硬件结构相同。
＜功能模块和处理步骤＞
图14表示图像解析装置200B的功能模块图。图像解析装置200B的处理部20B具备训练数据生成部101、训练数据输入部102、算法更新部103、解析用数据生成部201、解析用数据输入部202、解析部203。将使计算机执行深度学习处理和图像解析处理的程序安装于处理部20B的记录部23或存储器22，并由CPU21执行该程序来实现这些功能模块。训练数据数据库（DB）104和算法数据库（DB）105存储于处理部20B的记录部23或存储器22，其在深度学习时和图像解析处理时均通用。已完成训练的第1神经网络60和第2神经网络61比如与解析对象细胞所归属的基于形态学分类的细胞的种类、细胞的特征相对应地预先存在算法数据库105。通过深度学习处理更新连接权值w，并作为深度学习算法60存在算法数据库105。另外，训练用图像70被拍摄装置400预先拍摄，并预先存储于训练数据数据库（DB）104或处理部20B的记录部23或者存储器22。解析对象标本的解析对象图像78被拍摄装置400预先拍摄，并预先存储于处理部20B的记录部23或存储器22。
图像解析装置200B的处理部20B在深度学习处理时进行图9所示的处理，在图像解析处理时进行图12所示的处理。使用图13所示的各功能模块说明的话，深度学习处理时，训练数据生成部101进行步骤S11、S12、S16和S17的处理。训练数据输入部102进行步骤S13的处理。算法更新部103进行步骤S14和S15的处理。图像解析处理时，解析用数据生成部201进行步骤S21和S22的处理。解析用数据输入部202进行步骤S23、S24、S25和S27的处理。解析部203进行步骤S26的处理。
图像解析装置200B进行的深度学习处理的步骤和图像解析处理的步骤与深度学习装置100A和图像解析装置200A分别进行的步骤相同。只不过图像解析装置200B从拍摄装置400获取训练用图像70。
图像解析装置200B中，用户能确认识别器的识别精度。万一识别器的识别结果和用户进行图像观察所得的识别结果不同，则能使解析数据81作为训练数据75、使用户进行图像观察所得的识别结果作为标签值77来重新训练第1深度学习算法和第2深度学习算法。这样一来能进一步提高第1神经网络50和第2神经网络51的训练效率。
［3．图像解析系统3］
＜图像解析系统3的结构＞
对图像解析系统的其他技术方案进行说明。
图15表示第3图像解析系统的结构例。第3图像解析系统具备厂商侧装置100和用户侧装置200。厂商侧装置100作为综合型的图像解析装置100B进行作业，用户侧装置200作为终端装置200C进行作业。图像解析装置100B比如由通用计算机构成，是进行在上述图像解析系统1说明过的深度学习处理和图像解析处理两种处理的云服务器侧的装置。终端装置200C例如由通用计算机构成，是通过网络99将解析对象图像发送至图像解析装置100B、通过网络99从图像解析装置100B接收解析结果的用户侧的终端装置。
第3图像解析系统的设置于厂商侧的综合型的图像解析装置100B承担深度学习装置100A和图像解析装置200A二者的功能。另一方面，第3图像解析系统具备终端装置200C，将解析用图像78的输入接口和解析结果的输出接口提供给用户侧的终端装置200C。即，第3图像解析系统是进行深度学习处理和图像解析处理的厂商侧将解析用图像78提供给用户侧的输入接口和使细胞形态的相关数据83提供给用户侧的输出接口、云服务型的系统。输入接口和输出接口可以一体化。
图像解析装置100B连接于拍摄装置300，获取拍摄装置300拍摄的训练用图像70。
终端装置200C连接于拍摄装置400，获取拍摄装置400拍摄的解析对象图像78。
＜硬件结构＞
图像解析装置100B的硬件结构与图6所示的厂商侧装置100的硬件结构相同。终端装置200C的硬件结构与图7所示的用户侧装置200的硬件结构相同。
＜功能模块和处理步骤＞
图16表示图像解析装置100B的功能模块图。图像解析装置100B的处理部10B具备训练数据生成部101、训练数据输入部102、算法更新部103、解析用数据生成部201、解析用数据输入部202、解析部203。将使计算机执行深度学习处理和图像解析处理的程序安装于处理部10B的记录部13或存储器12，并由CPU11执行该程序来实现这些功能模块。训练数据数据库（DB）104和算法数据库（DB）105存储于处理部10B的记录部13或存储器12，其在深度学习时和图像解析处理时均通用。第1神经网络50和第2神经网络51比如与解析对象细胞所归属的基于形态学分类的细胞的种类、细胞的特征相对应地预先存在算法数据库105，通过深度学习处理更新连接权值w并作为第1深度学习算法60和第2深度学习算法61存在算法数据库105。
训练用图像70被拍摄装置300预先拍摄，并预先记载于训练数据数据库（DB）104或处理部10B的记录部13或者存储器12。解析对象图像78被拍摄装置400拍摄，并预先记录于终端装置200C的处理部20C的记录部23或存储器22。
图像解析装置100B的处理部10B在深度学习处理时进行图9所示的处理，在图像解析处理时进行图12所示的处理。使用图16所示的各功能模块说明的话，深度学习处理时，训练数据生成部101进行步骤S11、S12、S16和S17的处理。训练数据输入部102进行步骤S13的处理。算法更新部103进行步骤S14和S15的处理。图像解析处理时，解析用数据生成部201进行步骤S21和S22的处理。解析用数据输入部202进行步骤S23、S24、S25和S27的处理。解析部203进行步骤S26的处理。
图像解析装置100B进行的深度学习处理的步骤和图像解析处理的步骤与第1实施方式涉及的深度学习装置100A和图像解析装置200A分别进行的步骤相同。
处理部10B从用户侧的终端装置200C接受解析对象图像78，按照图9所示的步骤S11到S17生成训练数据75。
图12所示的步骤S26中，处理部10B将包含细胞形态的相关数据83在内的解析结果发送至用户侧的终端装置200C。用户侧的终端装置200C中，处理部20C将接受的解析结果输出至输出部27。
以上，终端装置200C的用户通过将解析对象图像78发送至图像解析装置100B就能获取细胞形态的相关数据83作为解析结果。
根据第3实施方式涉及的图像解析装置100B，用户不用从深度学习装置100A获取训练数据数据库104和算法数据库105就能使用识别器。由此，能将识别基于形态学分类的细胞的种类和细胞的特征的服务作为云服务提供。
［4．其他实施方式］
以上用概要及特定的实施方式说明了本发明，但本发明不限于上述的概要及各实施方式。
本发明中示例了将色调转换为亮度Y、第1色相Cb、第2色相Cr生成训练数据75的方法，但色调的转换不限于此。也可以不转换色调，比如直接使用红（R），绿（G），蓝（B）的3原色。或者也可以是从所述原色减去任意一种色相的2原色。或者也可以是红（R），绿（G），蓝（B）3原色中仅任意一种（比如绿（G）），即1原色。也可以转换为青（C）、品红（M）、黄（Y）的3原色。比如，解析对象图像78也不限于红（R），绿（G），蓝（B）的3原色的彩色图像，可以是2原色的彩色图像，只要是包含1种以上的原色的图像即可。
在上述训练数据的生成方法和解析数据的生成方法中，步骤S11中，处理部10A，20B，10B从训练用图像70生成色调行列72y，72cb，72cr，但训练用图像70也可以是已转换为亮度Y、第1色相Cb、第2色相Cr的图像。即，处理部10A，20B，10B可以一开始比如从虚拟切片扫描仪等直接获取亮度Y、第1色相Cb、第2色相Cr。同样地，步骤S21中，处理部20A，20B，10B从解析对象图像78生成色调行列79y，79cb，79cr，但处理部20A，20B，10B可以一开始比如从虚拟切片扫描仪等直接获取亮度Y、第1色相Cb、第2色相Cr。
除RGB、CMY之外，也能将YUV和CIE L＊a＊b＊等各种色域使用于图像的获取和色调的转换。
色调矢量数据74和色调矢量数据80中，针对各像素按亮度Y、第1色相Cb、第2色相Cr的顺序保存色调信息，但色调信息的保存顺序和处理顺序不限于此。不过，优选色调矢量数据74中色调信息的排列顺序和色调矢量数据80中色调信息的排列顺序相同。
各图像解析系统中，处理部10A，10B为一体的装置，但处理部10A，10B不一定要设计为一体的装置，可设计为：CPU11、存储器12、记录部13、GPU19等配置在其他地方，并用网络连接。处理部10A，10B、输入部16、输出部17也不一定必须配置在一处，可设计为：分别配置在不同地方互相用网络连接并能通信。处理部20A，20B，20C也和处理部10A，10B相同。
上述第1到第3实施方式中，训练数据生成部101、训练数据输入部102、算法更新部103、解析用数据生成部201、解析用数据输入部202和解析部203的各功能模块在单一的CPU11或单一的CPU21中执行，但这些各功能模块不一定必须在单一的CPU中执行，也可以在数个CPU分散执行。另外，这些功能模块可以在数个GPU分散执行，也可以在数个CPU和数个GPU分散执行。
上述第2和第3实施方式中，用于进行用图9和图12说明的各步骤的处理的程序预先记录于记录部13，23。这一方案也可以被下述方案取代：从例如DVD－ROM、USB存储器等的、计算机能读取的且非暂时性的有形的记录媒介98将程序安装于处理部10B，20B。或者可设计为：将处理部10B，20B和网络99连接，介由网络99例如从外部的服务器（无图示）下载程序并安装。
各图像解析系统中，输入部16，26是键盘或鼠标等输入装置，输出部17，27是液晶显示器等显示装置。但也可采用替代技术方案，即，使输入部16，26和输出部17，27一体化并设计为触摸屏式的显示装置。或者也可设计为：用打印机等构成输出部17，27。
上述各图像解析系统中，拍摄装置300直接和深度学习装置100A或图像解析装置100B连接，但拍摄装置300也可介由网络99和深度学习装置100A或图像解析装置100B连接。拍摄装置400也相同，拍摄装置400直接和图像解析装置200A或图像解析装置200B连接，但拍摄装置400也可介由网络99和图像解析装置200A或图像解析装置200B连接。
［5．深度学习算法的效果］
为验证深度学习算法的效果，比较了使用现有的机器学习的细胞识别方法和使用本发明的深度学习算法的细胞识别法的细胞的识别精度。
用涂抹标本制作装置SP-1000i制作外周血涂抹标本，用血液成像自动分析装置DI-60进行了细胞的拍摄。染色是梅吉姆萨染色。
用血液成像自动分析装置 DI-60进行了现有的机器学习方式的细胞识别。另外，包括医师和熟练的检查技师在内的3个人观察图像进行了校验。
图17是血细胞分类精度的比较结果。使用了深度学习算法时能进行比现有方法更高精度的判别。
接下来研究了本发明的深度学习算法能否识别出现于骨髓增生异常综合征（MDS）的形态学特征。结果如图18所示。
如图18所示，核形态异常、空泡化、颗粒分布异常等都得以高精度识别。
如上所述，本发明的深度学习算法能高精度地识别基于形态学分类的细胞的种类以及细胞的特征。
符号说明
200　图像解析装置
10　处理部
50，51　训练前的深度学习算法
50a，51a　输入层
50b，51b　输出层
60，61　已完成训练的深度学习算法
75　训练数据
81　解析数据
83　细胞形态的相关数据

Claims (20)

1.一种图像解析方法，包括以下步骤：
将解析数据输入具有神经网络结构的深度学习算法中，所述解析数据由解析对象细胞的图像生成且包含所述解析对象细胞相关信息；
通过所述深度学习算法计算所述解析对象细胞属于一定细胞群下属的数个细胞的形态学分类中每一项的概率。
2.根据权利要求1所述的图像解析方法，还包括以下步骤：
基于计算出的所述概率识别所述解析对象细胞所属的所述形态学分类。
3.根据权利要求1所述的图像解析方法，其特征在于：
所述一定细胞群是血中细胞群。
4.根据权利要求1所述的图像解析方法，其特征在于：
所述一定细胞群是属于一定细胞系的细胞的群。
5.根据权利要求1所述的图像解析方法，其特征在于：
所述一定细胞系是造血系统。
6.根据权利要求1所述的图像解析方法，其特征在于：
每一形态学分类表明细胞的种类。
7.根据权利要求1所述的图像解析方法，其特征在于：
所述数个细胞包含从由下述项目组成的群中选择的数种细胞：分叶核中性粒细胞、杆状核中性粒细胞、晚幼粒细胞、中幼粒细胞、母细胞、淋巴细胞、异型淋巴细胞、单核细胞、嗜酸性粒细胞、嗜碱性粒细胞、成红细胞、巨大血小板、血小板凝集和巨核细胞。
8.根据权利要求1所述的图像解析方法，其特征在于：
每一形态学分类表明细胞的异常表现。
9.根据权利要求1所述的图像解析方法，其特征在于：
所述数个细胞的所述形态学分类包含从下述项目构成的群中选择的至少一种：核形态异常、空泡的存在、颗粒形态异常、颗粒分布异常、异常颗粒的存在、细胞的大小异常、包含体的存在和裸核。
10.根据权利要求1所述的图像解析方法，其特征在于：
所述深度学习算法，包括：
第1算法，用于算出所述解析对象细胞归属于一定细胞群下属的数个细胞的第1形态学分类中的每一项的概率；
第2算法，用于算出所述解析对象细胞归属于一定细胞群下属的数个细胞的第2形态学分类中的每一项的概率。
11.根据权利要求10所述的图像解析方法，其特征在于：
每一第1形态学分类表明细胞的种类，
每一第2形态学分类表明细胞的异常表现。
12.根据权利要求1所述的图像解析方法，其特征在于：
所述解析数据是由拍摄到的被染色的血中细胞的图像生成的。
13.根据权利要求12所述的图像解析方法，其特征在于：
所述染色从赖特式染色、吉姆萨染色、瑞士吉姆萨染色和梅吉姆萨染色中选择。
14.根据权利要求1所述的图像解析方法，其特征在于：
所述解析数据包括所述解析对象细胞的所述图像的亮度相关信息和至少2种色相的相关信息。
15.一种图像解析装置，包括：
处理部，用于：
将解析数据输入具有神经网络结构的深度学习算法，所述解析数据由解析对象细胞的图像生成且包含所述解析对象细胞的相关信息，
通过所述深度学习算法计算所述解析对象细胞属于一定细胞群下属的数个细胞的形态学分类中每一项的概率。
16.根据权利要求15所述的图像解析装置，其特征在于：
每一形态学分类表明细胞的种类。
17.根据权利要求15所述的图像解析装置，其特征在于：
每一形态学分类表明细胞的异常表现。
18.一种存储介质，该存储介质为存储由处理器执行的程序的非暂时性计算机可读存储介质，其特征在于：
将解析数据输入具有神经网络结构的深度学习算法，所述解析数据由解析对象细胞的图像生成且包含所述解析对象细胞的相关信息，
通过所述深度学习算法计算所述解析对象细胞属于一定细胞群下属的数个细胞的形态学分类的每一项的概率。
19.一种已完成训练的深度学习算法的生成方法，该方法包括以下步骤：
将包含细胞相关信息的训练数据输入神经网络的输入层；
将标签值作为输出层输入，其中所述标签值和一定细胞群下属的数个细胞的每一形态学分类相关联。
20.根据权利要求19所述的已完成训练的深度学习算法的生成方法，其特征在于：
每一形态学分类表明细胞的种类或细胞的异常表现。
CN201910387008.0A 2018-05-10 2019-05-10 图像解析方法、装置、存储介质和深度学习算法生成方法 Pending CN110472471A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-091776 2018-05-10
JP2018091776A JP2019195304A (ja) 2018-05-10 2018-05-10 画像解析方法、装置、コンピュータプログラム、及び深層学習アルゴリズムの生成方法

Publications (1)

Publication Number Publication Date
CN110472471A true CN110472471A (zh) 2019-11-19

Family

ID=66448361

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910387008.0A Pending CN110472471A (zh) 2018-05-10 2019-05-10 图像解析方法、装置、存储介质和深度学习算法生成方法

Country Status (4)

Country Link
US (3) US11093729B2 (zh)
EP (1) EP3588368A3 (zh)
JP (2) JP2019195304A (zh)
CN (1) CN110472471A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021253809A1 (zh) * 2020-06-19 2021-12-23 谈斯聪 血液采集分析、图像智能识别诊断一体化装置、系统及方法

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9522396B2 (en) 2010-12-29 2016-12-20 S.D. Sight Diagnostics Ltd. Apparatus and method for automatic detection of pathogens
CN104169719B (zh) 2011-12-29 2017-03-08 思迪赛特诊断有限公司 用于检测生物样品中病原体的方法和系统
EP2999988A4 (en) 2013-05-23 2017-01-11 S.D. Sight Diagnostics Ltd. Method and system for imaging a cell sample
IL227276A0 (en) 2013-07-01 2014-03-06 Parasight Ltd A method and system for obtaining a monolayer of cells, for use specifically for diagnosis
US10831013B2 (en) 2013-08-26 2020-11-10 S.D. Sight Diagnostics Ltd. Digital microscopy systems, methods and computer program products
CN107077732B (zh) 2014-08-27 2020-11-24 思迪赛特诊断有限公司 用于对数字显微镜计算聚焦变化的系统及方法
CN114674825A (zh) 2015-09-17 2022-06-28 思迪赛特诊断有限公司 用于检测身体样本中实体的方法和设备
CA3018536A1 (en) 2016-03-30 2017-10-05 S.D. Sight Diagnostics Ltd Distinguishing between blood sample components
US11099175B2 (en) 2016-05-11 2021-08-24 S.D. Sight Diagnostics Ltd. Performing optical measurements on a sample
EP4177593A1 (en) 2016-05-11 2023-05-10 S.D. Sight Diagnostics Ltd. Sample carrier for optical measurements
JP7214729B2 (ja) 2017-11-14 2023-01-30 エス．ディー．サイト ダイアグノスティクス リミテッド 光学測定用試料収容器
US11621058B2 (en) * 2018-02-08 2023-04-04 Ohio State Innovation Foundation Synthetic IHC-stained digital sides generated using artificial neural networks
JP2019195304A (ja) * 2018-05-10 2019-11-14 学校法人順天堂 画像解析方法、装置、コンピュータプログラム、及び深層学習アルゴリズムの生成方法
KR101962869B1 (ko) * 2018-08-02 2019-03-27 주식회사 우리메디칼 이미지 분석에 기반한 골수판독 지원 장치
CN112106064A (zh) * 2018-10-15 2020-12-18 松下知识产权经营株式会社 物体识别方法、车辆控制方法、信息显示方法以及物体识别装置
CN113168713A (zh) * 2018-12-14 2021-07-23 富士胶片株式会社 小批量学习装置及其工作程序、工作方法及图像处理装置
JP7381003B2 (ja) 2019-04-26 2023-11-15 学校法人順天堂 疾患解析を支援する方法、装置、及びコンピュータプログラム、並びにコンピュータアルゴリズムを訓練する方法、装置、及びプログラム
US11966842B2 (en) * 2019-05-23 2024-04-23 Icahn School Of Medicine At Mount Sinai Systems and methods to train a cell object detector
US11804050B1 (en) * 2019-10-31 2023-10-31 Nvidia Corporation Processor and system to train machine learning models based on comparing accuracy of model parameters
JP2021162323A (ja) * 2020-03-30 2021-10-11 学校法人順天堂 疾患鑑別支援方法、疾患鑑別支援装置、及び疾患鑑別支援コンピュータプログラム
CN111523616B (zh) * 2020-05-14 2021-01-29 中国铁道科学研究院集团有限公司铁道建筑研究所 基于卷积神经网络的粗粒土填料级配识别方法及应用系统
US20230237660A1 (en) * 2020-06-29 2023-07-27 The Brigham And Women's Hospital, Inc. Adaptive neural networks for analyzing medical images
CN111783642B (zh) * 2020-06-30 2023-10-13 北京百度网讯科技有限公司 一种图像识别方法、装置、电子设备及存储介质
WO2022004318A1 (ja) * 2020-07-02 2022-01-06 富士フイルム株式会社 情報処理装置、情報処理方法、及びプログラム
EP4060318A1 (en) * 2021-03-12 2022-09-21 Sysmex Corporation Analysis method and analyzer
CN113096473B (zh) * 2021-04-13 2022-08-16 刘永杰 一种精子形态学分析及教育系统
CN113192080A (zh) * 2021-04-27 2021-07-30 北京大学 一种基于边缘计算的便携式细胞成像与智能分析系统
CN113283353B (zh) * 2021-05-31 2022-04-01 创芯国际生物科技(广州)有限公司 一种基于显微图像的类器官细胞计数方法及系统
FR3126253B1 (fr) 2021-08-20 2024-01-12 Visionairy Procédé pour normaliser la variabilité d’une image, application de ce procédé à la détection d’anomalie et système d’inspection visuelle implémentant cette détection
WO2023075310A1 (ko) * 2021-10-25 2023-05-04 고려대학교 산학협력단 인공지능을 이용한 세포 판별 방법 및 장치
EP4312151A1 (en) 2022-07-27 2024-01-31 Siemens Healthcare GmbH Artificial intelligence training system for medical applications and method
CN115578598B (zh) * 2022-10-26 2023-09-05 北京大学第三医院（北京大学第三临床医学院） 一种基于卷积神经网络的骨髓细胞识别方法及其系统

Family Cites Families (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0766205B1 (fr) 1995-09-29 2003-12-03 Koninklijke Philips Electronics N.V. Procédé et dispositif de traitement d'image, pour la détection automatique de régions d'un type prédéterminé de cancer dans une image d'intensité
JPH10197522A (ja) 1997-01-14 1998-07-31 Mitsubishi Electric Corp 病理組織診断支援装置
AU2002217984A1 (en) 2000-11-30 2002-06-11 Henry M. Jackson Foundation Erythropoietin and erythropoietin receptor expression in human cancer
ES2372007T3 (es) 2001-02-20 2012-01-12 Vysis, Inc. Métodos y sondas para la detección del cáncer.
US20020177574A1 (en) 2001-04-20 2002-11-28 Taylor Hugh S. Endometrial gene therapy
WO2006083969A2 (en) 2005-02-01 2006-08-10 Amnis Corporation Blood analysis using a flow imaging cytometer
US20080033253A1 (en) 2005-10-13 2008-02-07 Neville Thomas B Computer-implemented integrated health systems and methods
EP1780651A1 (en) * 2005-10-25 2007-05-02 Bracco Imaging, S.P.A. Method and system for automatic processing and evaluation of images, particularly diagnostic images
WO2007149965A2 (en) 2006-06-22 2007-12-27 Wisconsin Alumni Research Foundation Stromal collagen in the diagnosis and characterization of breast cancer
US7776827B2 (en) 2007-07-27 2010-08-17 Immuneregen Biosciences, Inc. Method of using substance P analogs for treatment amelioration of myelodysplastic syndrome
JP5181385B2 (ja) * 2007-08-16 2013-04-10 国立大学法人名古屋大学 細胞の品質を予測する予測モデルの構築法、予測モデルの構築用ブログラム、該プログラムを記録した記録媒体、予測モデルの構築用装置
JP5740102B2 (ja) * 2010-04-23 2015-06-24 国立大学法人名古屋大学 細胞評価装置、インキュベータ、プログラム、培養方法、手技評価装置、および、細胞評価モデル構築装置
JP5816416B2 (ja) * 2010-04-23 2015-11-18 国立大学法人名古屋大学 細胞評価装置、インキュベータ、プログラム、および、培養方法
US8628972B2 (en) * 2011-01-11 2014-01-14 The Regents Of The University Of California Microfluidic devices and methods for malaria detection
US9589099B2 (en) 2011-07-21 2017-03-07 The Chinese University Of Hong Kong Determination of gene expression levels of a cell type
CN102952854B (zh) 2011-08-25 2015-01-14 深圳华大基因科技有限公司 单细胞分类和筛选方法及其装置
EP2570970A1 (en) 2011-09-16 2013-03-20 Technische Universität Berlin Method and system for the automatic analysis of an image of a biological sample
WO2013037119A1 (zh) * 2011-09-16 2013-03-21 长沙高新技术产业开发区爱威科技实业有限公司 红细胞形态学分析装置及其方法
US10254286B2 (en) 2012-01-24 2019-04-09 Pfizer Inc. Methods for detecting 5T4-positive circulating tumor cells and methods of diagnosis of 5T4-positive cancer in a mammalian subject
US20130337487A1 (en) * 2012-05-31 2013-12-19 Auxogyn, Inc. In vitro embryo blastocyst prediction methods
EP2895995A4 (en) 2012-09-13 2016-06-08 Univ Toronto SYSTEM AND METHOD FOR COUNTING FETALS AND MATERNAL ERYTHROCYTES
CN105849274B (zh) 2013-10-28 2020-01-21 分子装置有限公司 用于显微图像中的单独细胞的分类和识别的方法和系统
CN103745210B (zh) * 2014-01-28 2018-02-06 爱威科技股份有限公司 一种白细胞分类方法及装置
JP6629762B2 (ja) * 2014-05-23 2020-01-15 ベンタナ メディカル システムズ， インコーポレイテッド 画像内の生物学的構造及び／又はパターンの検出のためのシステム及び方法
WO2015195609A1 (en) * 2014-06-16 2015-12-23 Siemens Healthcare Diagnostics Inc. Analyzing digital holographic microscopy data for hematology applications
KR20160012758A (ko) 2014-07-25 2016-02-03 삼성전자주식회사 영상 진단 보조 장치 및 방법
WO2016049291A1 (en) * 2014-09-25 2016-03-31 Epic Sciences, Inc. Circulating tumor cell diagnostics for identification of resistance to androgen receptor targeted therapies
EP3708254A1 (en) 2014-09-29 2020-09-16 Biosurfit, S.A. Cell counting
CN104732524B (zh) * 2015-02-07 2018-12-14 迈克医疗电子有限公司 血液白细胞显微图像的随机权网络分割方法
MY195031A (en) 2015-05-25 2023-01-04 Natarajan Adarsh Automated Stainer and a Method Thereof
US9836839B2 (en) 2015-05-28 2017-12-05 Tokitae Llc Image analysis systems and related methods
EP3974387A1 (en) * 2016-03-07 2022-03-30 X-Zell Inc. Compositions and methods for identifying rare cells
EP3469338A4 (en) 2016-06-10 2020-01-15 The Regents of the University of California IMAGE-BASED CELL SORTING SYSTEMS AND METHODS
WO2018005820A1 (en) 2016-06-29 2018-01-04 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for utlizing brain structural characteristics for predicting a diagnosis of a neurobehavioral disorder
CN106127255B (zh) 2016-06-29 2020-01-10 深圳先进技术研究院 一种癌症数字病理细胞图像的分类系统
TWI733927B (zh) 2016-11-01 2021-07-21 日商倉敷紡績股份有限公司 細胞測定方法
US20180157972A1 (en) 2016-12-02 2018-06-07 Apple Inc. Partially shared neural networks for multiple tasks
CA3046035A1 (en) 2016-12-05 2018-06-14 Avigilon Coporation System and method for cnn layer sharing
US10438096B2 (en) 2016-12-27 2019-10-08 Definiens Ag Identifying and excluding blurred areas of images of stained tissue to improve cancer scoring
US20180211380A1 (en) 2017-01-25 2018-07-26 Athelas Inc. Classifying biological samples using automated image analysis
US10134131B1 (en) * 2017-02-15 2018-11-20 Google Llc Phenotype analysis of cellular image data using a deep metric network
WO2018156133A1 (en) 2017-02-23 2018-08-30 Google Llc Method and system for assisting pathologist identification of tumor cells in magnified tissue images
US10360499B2 (en) 2017-02-28 2019-07-23 Anixa Diagnostics Corporation Methods for using artificial neural network analysis on flow cytometry data for cancer diagnosis
JP6979278B2 (ja) 2017-04-07 2021-12-08 株式会社日立ハイテク 画像診断支援装置及び画像診断支援システム、並びに画像診断支援方法
EP3616160A4 (en) 2017-04-25 2021-04-21 The University of Chicago CELL ANALYSIS
JP7030423B2 (ja) * 2017-04-27 2022-03-07 シスメックス株式会社 画像解析方法、装置、プログラムおよび深層学習アルゴリズムの製造方法
US10552663B2 (en) 2017-05-02 2020-02-04 Techcyte, Inc. Machine learning classification and training for digital microscopy cytology images
US11080855B1 (en) 2017-06-06 2021-08-03 Path AI, Inc. Systems and methods for predicting tissue characteristics for a pathology image using a statistical model
JP6729516B2 (ja) 2017-07-27 2020-07-22 トヨタ自動車株式会社 識別装置
EP3664705A4 (en) 2017-08-09 2021-09-29 Allen Institute IMAGE PROCESSING SYSTEMS, DEVICES AND METHODS FOR GENERATING AN IMAGE WITH PREDICTIVE MARKING
US20190050534A1 (en) 2017-08-14 2019-02-14 uBiome, Inc. Disease-associated microbiome characterization process
WO2019039595A1 (ja) 2017-08-25 2019-02-28 学校法人東京医科大学 子宮頸部の細胞診カテゴリーの推定装置および推定方法
US10546387B2 (en) 2017-09-08 2020-01-28 Qualcomm Incorporated Pose determination with semantic segmentation
KR20190055610A (ko) 2017-11-15 2019-05-23 삼성전자주식회사 뉴럴 네트워크 모델들의 공용 연산 그룹을 단일 처리하는 뉴럴 네트워크 시스템, 이를 포함하는 애플리케이션 프로세서 및 뉴럴 네트워크 시스템의 동작방법
EP3709877A4 (en) 2017-11-17 2021-08-25 Mayo Foundation for Medical Education and Research METHOD OF USING MACHINE LEARNING AND MECHANISTIC MODELS FOR BIOLOGICAL FEATURE MAPPING WITH MULTIPARAMETRIC MRI
WO2019136253A1 (en) 2018-01-05 2019-07-11 Visiongate, Inc. Morphometric genotyping of cells using optical tomography for detecting tumor mutational burden
EP3732611A1 (en) 2018-01-11 2020-11-04 Google LLC Method for creating histopathological ground truth masks using slide restaining
US11138737B2 (en) * 2018-02-13 2021-10-05 Chung Yuan Christian University Method and apparatus for predicting cell reprogramming
US10836379B2 (en) 2018-03-23 2020-11-17 Sf Motors, Inc. Multi-network-based path generation for vehicle parking
US20210020314A1 (en) 2018-03-30 2021-01-21 Juno Diagnostics, Inc. Deep learning-based methods, devices, and systems for prenatal testing
US20210033599A1 (en) 2018-04-26 2021-02-04 Nec Corporation Information processing apparatus, control method, and program
JP2019195304A (ja) * 2018-05-10 2019-11-14 学校法人順天堂 画像解析方法、装置、コンピュータプログラム、及び深層学習アルゴリズムの生成方法
US10657420B2 (en) 2018-07-17 2020-05-19 International Business Machines Corporation Modeling post-lithography stochastic critical dimension variation with multi-task neural networks
US20200152326A1 (en) 2018-11-09 2020-05-14 International Business Machines Corporation Blood pathology image analysis and diagnosis using machine learning and data analytics
US10769784B2 (en) 2018-12-21 2020-09-08 Metal Industries Research & Development Centre Image analyzing method and electrical device
JP7381003B2 (ja) * 2019-04-26 2023-11-15 学校法人順天堂 疾患解析を支援する方法、装置、及びコンピュータプログラム、並びにコンピュータアルゴリズムを訓練する方法、装置、及びプログラム
US11195060B2 (en) 2019-07-05 2021-12-07 Art Eye-D Associates Llc Visualization of subimage classifications

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021253809A1 (zh) * 2020-06-19 2021-12-23 谈斯聪 血液采集分析、图像智能识别诊断一体化装置、系统及方法

Also Published As

Publication number Publication date
JP2023061956A (ja) 2023-05-02
EP3588368A3 (en) 2020-04-29
US11093729B2 (en) 2021-08-17
US11830188B2 (en) 2023-11-28
US20240062377A1 (en) 2024-02-22
US20210365668A1 (en) 2021-11-25
US20190347467A1 (en) 2019-11-14
JP2019195304A (ja) 2019-11-14
EP3588368A2 (en) 2020-01-01

Similar Documents

Publication Publication Date Title
CN110472471A (zh) 图像解析方法、装置、存储介质和深度学习算法生成方法
US11842556B2 (en) Image analysis method, apparatus, program, and learned deep learning algorithm
US11978198B2 (en) Method, apparatus, and computer program for supporting disease analysis, and method, apparatus, and program for training computer algorithm
JP7217589B2 (ja) 画像解析方法、画像解析装置、プログラム、学習済み深層学習アルゴリズムの製造方法および学習済み深層学習アルゴリズム
CN109816623A (zh) 图像解析方法、装置和程序及学习完了深层学习算法及其制造方法
US20110091091A1 (en) Process and system for analyzing the expression of biomarkers in cells
CN108305240A (zh) 图像质量检测方法及装置
US11080512B2 (en) Information processing device, information processing method, measurement system and non-transitory storage medium
CN113283352B (zh) 一种基于显微图像的类器官活力评价方法及系统
US8879819B2 (en) Gleason grading by segmenting and combining co-registered images of differently stained tissue slices
CN110838094B (zh) 病理切片染色风格转换方法和电子设备
CN109507406A (zh) 一种细胞形态智能提取方法、装置及分析方法
CN110288041A (zh) 基于深度学习的中草药分类建模方法及系统
US11222194B2 (en) Automated system and method for creating and executing a scoring guide to assist in the analysis of tissue specimen
CN112424824A (zh) 用于生物样品图像的计算机实现的方法
Dorman et al. Ploidy of smooth muscle tumours: retrospective image analysis study of formalin fixed, paraffin wax embedded tissue.
WO2018131091A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
CN113553991A (zh) 一种基于深度学习的舌象识别方法
RU2659217C1 (ru) Способ распознавания структуры ядер бластов крови и костного мозга с применением световой микроскопии в сочетании с компьютерной обработкой данных для определения В- и Т-линейных острых лимфобластных лейкозов
CN107924462A (zh) 数字病理学中的服务器‑客户机架构
CN109545375A (zh) 一种用于临检细胞骨髓专业的多功能试验平台
CN109190634A (zh) 一种高效测量鸟巢隐蔽度的方法
CN113222061B (zh) 一种基于双路小样本学习的mri图像分类方法
Zimmermann et al. Image analysis for tissue phenomics
Khanduri et al. An enhancement to satellite image processing resolution

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination