CN114364965A - 门区推定程序、门区推定装置、学习模型的生成方法 - Google Patents

门区推定程序、门区推定装置、学习模型的生成方法 Download PDF

Info

Publication number
CN114364965A
CN114364965A CN202080061932.0A CN202080061932A CN114364965A CN 114364965 A CN114364965 A CN 114364965A CN 202080061932 A CN202080061932 A CN 202080061932A CN 114364965 A CN114364965 A CN 114364965A
Authority
CN
China
Prior art keywords
learning model
gate
scatter diagram
door
gate area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080061932.0A
Other languages
English (en)
Inventor
河野圭伍
二田晴彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central Research Institute Of Yuxing Group
Original Assignee
Central Research Institute Of Yuxing Group
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central Research Institute Of Yuxing Group filed Critical Central Research Institute Of Yuxing Group
Publication of CN114364965A publication Critical patent/CN114364965A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429—Signal processing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1404—Handling flow, e.g. hydrodynamic focusing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1456—Optical investigation techniques, e.g. flow cytometry without spatial resolution of the texture or inner structure of the particle, e.g. processing of pulse signals
    • G01N15/1459—Optical investigation techniques, e.g. flow cytometry without spatial resolution of the texture or inner structure of the particle, e.g. processing of pulse signals the analysis being performed on a sample stream
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N2015/1006—Investigating individual particles for cytology
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N2015/1402—Data analysis by thresholding or gating operations performed on the acquired signals or stored data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Dispersion Chemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Signal Processing (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种使用学习模型推定门区的门区推定程序等。门区推定程序使计算机执行下述处理：取得散点图组，该散点图组包含通过测定项目不同的流式细胞术的测定得到的多个散点图；将所取得的散点图组输入学习模型，该学习模型基于包含散点图组和门区的训练数据进行了学习；输出由所述学习模型得到的推定门区。

Description

门区推定程序、门区推定装置、学习模型的生成方法
技术领域
本发明涉及推定流式细胞术中的门区的程序等。
背景技术
流式细胞术(Flow Cytometry：FCM)是能够对单个细胞测定多个特征量的技术。流式细胞术中，调制悬浊有细胞的悬浊液，使悬浊液流入测定装置内，使得该细胞排成一列通过。用光照射一个一个通过的细胞，根据其光的散射和荧光状态，能够得到细胞的大小、细胞内部的复杂度、细胞的构成物质等指标。流式细胞术已被利用于医疗，例如细胞免疫检查。
细胞免疫检查时，检查机构对通过流式细胞术得到的多个指标值进行分析，将分析结果作为检查结果向委托检查的机构反馈。门控是一种分析技术。门控是从得到的数据中仅选择特定的群进行分析的技术。以往，在确定作为分析对象的群时，检查技师通过在二维散点图中绘制椭圆形或多边形(称为“门”)进行指定。这样的门的设定在很大程度上要依赖检查技师的经验和知识。因此，经验和知识少的检查技师很难进行适当的门设定。
对此，提出了自动进行门设定的技术(专利文献1、2等)。但是，现有技术中通过使用了细胞密度信息的设定方法或基于规则库的手法进行设定，检查技师积累的经验和知识不能被充分利用。
先行技术文献
专利文献
专利文献1：日本专利第6480918号公报
专利文献2：日本专利第5047803号公报
发明内容
发明要解决的课题
本发明鉴于这样的状況而做出。其目的在于提供使用学习模型推定门区的门区推定程序等。
用于解决课题的手段
本发明的门区推定程序，其特征在于，使计算机执行下述处理：取得散点图组，该散点图组包含通过测定项目不同的流式细胞术测定得到的多个散点图；将所取得的散点图组输入学习模型，该学习模型基于包含散点图组和门区的训练数据进行了学习；输出由所述学习模型得到的推定门区。
发明的效果
在本发明中，能够与熟练的检查技师同样地进行门设定。
附图说明
图1是表示检查系统的结构例的说明图。
图2是表示处理部的硬件结构例的框图。
图3是表示测定值DB的例子的说明图。
图4是表示特征信息DB的例子的说明图。
图5是表示门DB的例子的说明图。
图6是关于回归模型的生成处理的说明图。
图7是表示回归模型生成处理的顺序例的流程图。
图8是表示门信息输出处理的顺序例的流程图。
图9是表示设定了门的散点图的例子的说明图。
图10是表示门内分析的例子的说明图。
图11是表示再学习处理的顺序例的流程图。
图12是表示十个小群的例子的说明图。
图13是表示十个小群的各分区的细胞数的说明图。
图14是表示十个小群的各分区的细胞数的说明图。
图15是表示从SEQ1到SEQ10的APR算出结果例的说明图。
图16是表示一个标本整体的APR的算出结果例的说明图。
图17是表示代替阳性率DB的例子的说明图。
图18是关于回归模型的生成处理的说明图。
图19是表示回归模型生成处理的其它顺序例的流程图。
图20是表示代替阳性率算出处理的顺序例的流程图。
图21是表示门信息输出处理的其它顺序例的流程图。
图22是表示回归模型生成处理的其它顺序例的流程图。
图23是表示门信息输出处理的其它顺序例的流程图。
具体实施方式
以下，参照附图对实施方式进行说明。在以下的说明中，以白血病·淋巴瘤分析(LLA：Leukemia,Lymphoma Analysis)检查中的CD45门控为例进行说明。首先对LLA检查的工序进行说明。LLA检查大致包含下述五道工序：1.分装；2.预处理；3.测定·描绘；4.分析；5.报告。
分装工序是将一个标本(以下称为“ID”)分开的工序。LLA检查中，将一个ID最多分装为10份进行检查。分装出的各标本称为SEQ。分装出的10个标本称为SEQ1、SEQ2、…、SEQ10。预处理工序中，对各SEQ进行共通的处理(细胞浓度调整等)，分别做表面标记。SEQ1作为阴性对照。阴性对照一词，意为在与想验证效果的对象相同的条件下对已知会出阴性结果的对象进行检查。或者，阴性对照一词意为相关检查对象。在检查中，通过将阴性对照中的结果与想验证的对象相比较，可由其相对差异分析出检查结果。
在测定·描绘工序中，用流式细胞仪对十个SEQ进行测定，得到荧光值。对各SEQ内的各个细胞，能得到包含测定值的五个项目构成的信息。项目的明细为FSC、SSC、FL1、FL2、FL3。FSC表示前向散射光(FSC：Forward Scattered Light)的测定值，其表示在激光束的光轴前方检测的散射光的值。FSC因为与细胞的表面积或大小基本上成比例，所以是表示细胞大小的指标值。SSC表示侧向散射光(SSC：Side Scattered Light)的测定值。侧向散射光是以与激光束的光轴成90°的角度检测的光。SSC的大部分是光照到细胞内的物质上发生散射而成的。SSC因为与细胞的颗粒特性、内部结构基本上成比例，所以是表示细胞的颗粒特性、内部结构的指标值。FL表示荧光(Fluorescence)，但这里表示流式细胞仪具有的多个荧光用检测器。数字表示荧光用检测器的顺序号。FL1表示第一个荧光检测器，这里是各SEQ的标记信息被作为标记设定的项目名称。FL2表示第二个荧光检测器，这里是各SEQ的标记信息被作为标记设定的项目名称。FL3表示第三个荧光用检测器，这里是CD45的标记信息被设定的项目名称。
流式细胞仪对各SEQ做成两个散点图，并将散点图显示于显示器等。例如，一个散点图中，一个轴为SSC，另一个轴为FL3。另一个散点图中，一个轴为SSC，另一个轴为FSC。
分析工序中，检查技师基于散点图的情况推定疾患，创建有助于在各散点图上确定疾患的门。然后，对各SEQ制作仅由存在于门范围内的细胞构成的FL1―FL2的散点图，作为标记反应进行观察。报告工序中，决定特别有用的两个门用于报告，制作报告书。
(实施方式1)
以下，说明分析工序中过去由检查技师创建的门由学习模型实现的方式。图1是表示检查系统的结构例的说明图。检查系统包含流式细胞仪(门区推定装置)10和学习服务器3。流式细胞仪10和学习服务器3通过网络N可通信地连接。流式细胞仪10包含处理部1和测定部2，处理部1进行与装置全体的动作有关的各种处理，测定部2接收标本，并利用流式细胞术进行测定。
学习服务器3由服务器计算机、工作站等构成。学习服务器3在检查系统中并非必须的结构。学习服务器3主要起到对流式细胞仪10进行补充的作用，将测定数据和学习模型作为备份存储。另外，学习服务器3也可以取代流式细胞仪10来进行学习模型的生成、学习模型的再学习。在这种情况下，学习服务器3将表征学习模型的参数等向流式细胞仪发送。此外，学习服务器3的功能也可以由云服务、云存储提供。
图2是表示处理部的硬件结构例的框图。处理部1包括控制部11、主存储部12、辅助存储部13、输入部14、显示部15、通信部16和读取部17。控制部11、主存储部12、辅助存储部13、输入部14、显示部15、通信部16和读取部17通过总线B连接。处理部1也可以与流式细胞仪10分开设置。处理部1可以由PC(Personal Computer)、笔记本电脑、平板电脑等构筑。处理部1可以通过由多个计算机构成的多计算机构成，也可以由通过软件假想构筑的虚拟机或量子计算机构成。
控制部11具有一或多个CPU(Central Processing Unit)、MPU(Micro-ProcessingUnit)、GPU(Graphics Processing Unit)等运算处理装置。控制部11通过读出并运行存储在辅助存储部13中的未图示的OS(Operating System)和控制程序1P(门区推定程序)，来进行流式细胞仪10的各种信息处理、控制处理等。另外，控制部11包括取得部、输出部等功能部。
主存储部12是SRAM(Static Random Access Memory)、DRAM(Dynamic RandomAccess Memory)、闪存等。主存储部12主要用于临时存储控制部11执行运算处理所需的数据。
辅助存储部13是硬盘或SSD(Solid State Drive)等，存储控制部11执行处理所需的控制程序1P和各种DB(Database：数据库)。辅助存储部13存储测定值DB131、特征信息DB132、门DB133、代替阳性率DB135和回归模型134。代替阳性率DB135在本实施方式中不是必须的。辅助存储部13也可以是与流式细胞仪10连接的外部存储装置。辅助存储部13中存储的各种DB等也可以存储在通过网络N连接的数据库服务器或云存储中。
输入部14是键盘和鼠标。显示部15包括液晶显示面板等。显示部15显示用于进行测定的信息和测定结果、门信息等各种信息。显示部15也可以是与输入部14一体化的触摸面板显示器。此外，也可以使显示部15上显示的信息显示在流式细胞仪10的外部显示装置上。
通信部16通过网络N与学习服务器3进行通信。另外，控制部11也可以使用通信部16通过网络N等从其它计算机下载控制程序1P并存储在辅助存储部13中。
读取部17对包括CD(Compact Disc)-ROM和DVD(Digital Versatile Disc)-ROM的可移动式存储介质1a进行读取。控制部11通过读取部17从可移动式存储介质1a读取控制程序1P，并将其存储在辅助存储部13中。也可以是控制部11通过网络N等从其它计算机下载控制程序1P并存储在辅助存储部13中。另外，还可以是控制部11从半导体存储器1b读入控制程序1P。
说明辅助存储部13存储的数据库。图3是表示测定值DB131的例子的说明图。测定值DB131存储流式细胞仪10测定的测定值。图3所示的是测定值DB131中存储的一个记录的例子。测定值DB131的各记录包括基本部1311和数据部1312。基本部1311包括接受号列、接受日列、检查号列、检查日列、病历号列、姓名列、性别列、年龄列和采集日列。接受号列存储接受检查委托时发行的接受号。接受日列存储接受检查委托的日期。检查号列存储进行检查时发行的检查号。检查日列存储实施检查的日期。病历号列存储与检查委托对应的病历号。姓名列存储提供标本的被检查者的姓名。性别列存储被检查者的性别。例如，被检查者为男性的话，在性别列存储M。被检查者为女性的话，在性别列存储F。年龄列存储被检查者的年龄。采集日列存储从被检查者处采集标本的日期。数据部1312中，各列按测定项目存储各细胞的测定值。各行存储一个细胞的各测定项目的测定值。
图4是表示特征信息DB的例子的说明图。特征信息DB132存储表示由测定值得到的特征的信息(以下，也称为“特征信息”)。特征信息例如是散点图和直方图。特征信息DB132包括接受号列、检查号列、顺序号列、种类列、横轴列、纵轴列和图像列。接受号列存储接受号。检查号列存储检查号。顺序号列存储同一检查内的特征信息的顺序号。种类列存储特征信息的种类。例如，种类是上述那样的散点图和直方图。横轴列存储在散点图和直方图中用作横轴的项目。纵轴列存储在散点图中用作纵轴的项目。在直方图中，由于纵轴是细胞数，所以纵轴列存储细胞数。图像列将散点图和直方图作为图像存储。
图5是表示门DB的例子的说明图，是表示门DB133的例子的说明图。门DB133存储对散点图设定的门的信息(门信息)。门信息是用于确定门区的信息。门信息是表示门区的外形线的图形的信息、门区所含的测定值的值范围、门区所含的测定值的集合等。也可以是散点图图像上的门区所含的点的像素坐标值。在此，门信息是表示门区的外形线的图形，其形状为椭圆形状，但不限于此。图形也可以是由多个边构成的多边形或连接多个曲线而成的图形。门DB133包含接受号列、检查号列、横轴列、纵轴列、门号列、CX列、CY列、DX列、DY列和ANG列。接受号列存储接受号。检查号列存储检查号。横轴列存储散点图中用作横轴的项目。纵轴列存储散点图中用作纵轴的项目。门号列存储门的顺序号。CX列存储椭圆的中心x坐标值。CY列存储椭圆的中心y坐标值。DX列存储椭圆的短轴的值。DY列存储椭圆的长轴的值。ANG列存储椭圆的倾角。例如，倾角是横轴和椭圆长轴所成的角度。在门形状可设定为多边形的情况下，门DB133存储构成多边形的多个点的坐标列。
图6是关于回归模型的生成处理的说明图。图6示出了进行机械学习生成回归模型134的处理。基于图6说明回归模型134的生成处理。
本实施方式的流式细胞仪10中，处理部1通过进行深度学习生成回归模型134，其中，深度学习是指学习对基于测定部2得到的测定结果作成的散点图图像合适的门的特征量；回归模型134以多个散点图图像(散点图组)为输入、以门信息为输出。多个散点图图像是指至少一个轴的项目不同的多个散点图图像。例如，是由横轴为SSC、纵轴为FL3的散点图图像和横轴为SSC、纵轴为FSC的散点图图像构成的两个散点图图像。也可以输入三个以上的散点图图像。神经网络例如是CNN(Convolution Neural Network)。回归模型134具有分别学习各散点图图像的特征量的多个特征提取器、使各特征提取器输出的特征量结合的结合器、和根据结合后的特征量预测并输出门信息的各项目(中心X坐标、中心Y坐标、长轴、短轴、倾角)的多个预测器。此外，向回归模型134输入的也可以不是散点图图像，而是作为散点图基础的测定值的集合。
各特征提取器包含输入层、中间层。输入层具有接受散点图图像所含各像素的像素值的输入的多个神经元，将被输入的像素值移交到中间层。中间层具有多个神经元，从散点图图像内提取特征量移交到输出层。例如，当特征提取器为CNN时，中间层具有卷积层和池化层交替连结的结构。该卷积层对从输入层输入的各像素的像素值进行卷积，该池化层对在卷积层进行了卷积的像素值进行映射。中间层一边压缩像素信息一边最终提取图像特征量。也可以不是对各图像分别设置输入散点图图像的特征提取器的结构，而是向一个特征提取器输入多个散点图图像的结构。
此外，本实施方式中说明了回归模型134为CNN的例子，但回归模型134不限于CNN，也可以是CNN以外的由其它的学习算法构筑的已学习模型，如神经网络、贝叶斯网络、决策树等。
处理部1使用将多个散点图图像和与散点图对应的门信息的正确值建立了对应关系的训练数据进行学习。例如，如图6所示，训练数据是对多个散点图图像标注了门信息的数据。此外，此处简略起见，将两种散点图作为一组散点图。另外，虽然说明的是对一组散点图设置一个门的情况，但也可以设置多个门。在这种情况下，门信息包含表示有用度的值。
处理部1将作为训练数据的两个散点图图像分别输入不同的特征提取器。各特征提取器输出的特征量由结合器结合。结合器进行的结合有单纯地结合特征量的方法(Concatenate)、将表示特征量的值相加(Add)的方法、选择最大的特征量(Maxpool)的方法等。
各预测器根据结合后的特征量输出门信息作为预测结果。各预测器输出的值的组合成为一组门信息。输出的门信息可以是多组。在这种情况下，设置与多个组相应的数的预测器。例如，在输出优先级在第一位的门信息和优先级在第二位的门信息时，图6中的预测器的数由5个变为10个。
处理部1将从预测器得到的门信息与在训练数据中对散点图图像标注的信息即正确值相比较，优化在特征提取器和预测器的运算处理中使用的参数，使得来自预测器的输出值接近正确值。该参数例如是神经元间的权重(结合系数)、在各神经元使用的激励函数的系数等。参数的优化方法没有特别的限定。例如，处理部1使用误差反向传播算法进行各种参数的优化。处理部1对训练数据所含的各检查的数据进行上述处理，生成回归模型134。
接下来，说明处理部1的控制部11进行的处理。图7是表示回归模型生成处理的顺序例的流程图。控制部11取得检查历史记录(步骤S1)。检查历史记录是过去的检查结果的积累，是测定值DB131中存储的过去的测定值。控制部11选择作为处理对象的一个历史记录(步骤S2)。控制部11取得与所选择的历史记录对应的特征信息(步骤S3)。特征信息例如是散点图。特征信息从特征信息DB132取得。在没有存储特征信息的情况下，也可以由测定值生成。控制部11取得与所选择的历史记录对应的门信息(步骤S4)。门信息由门DB133取得。控制部11将所取得的特征信息和门信息作为训练数据，进行回归模型134的学习(步骤S5)。控制部11判定是否有未处理的检查历史记录(步骤S6)。控制部11在判定为有未处理的检查历史记录的情况下(步骤S6的“是”)，将处理返回到步骤S2，进行与未处理的检查历史记录有关的处理。控制部11在判定为没有未处理的检查历史记录的情况下(步骤S6的“否”)，存储回归模型134(步骤S7)，结束处理。
接下来，说明使用了回归模型134的门设定。图8是表示门信息输出处理的顺序例的流程图。控制部11从测定部2或测定值DB131取得测定值(步骤S11)。控制部11对测定值取得特征信息(步骤S12)。控制部11将特征信息输入回归模型134，进行门的推定(步骤S13)。控制部11输出门信息(推定门区)(步骤S14)，结束处理。
根据门信息对显示部15上显示的散点图设定门。图9是表示设定了门的散点图的例子的说明图。图9是横轴为SSC、纵轴为FL3的散点图。门设定了三个。每个门都是椭圆状。图10是表示门内分析的例子的说明图。图10的上部是与图9相同的散点图。图10的下部按门内所含的细胞的群显示了散点图。三个散点图的横轴为FL1、纵轴为FL2。检查技师观察三个散点图，在设定的门不妥当的情况下对门进行修正。流式细胞仪具备画图工具，可对设定门的椭圆进行编辑。检查技师能够使用输入部14所含的鼠标等定点设备变更椭圆的位置和大小、长轴和短轴的比率。也能够进行门的追加和削除。与确定修正后的门有关的门信息(修正区域数据)被存储在门信息DB133中。新的测定值、特征信息和门信息成为回归模型134再学习用的训练数据。
图11是表示再学习处理的顺序例的流程图。控制部11取得更新门信息(步骤S41)。更新门信息是指：在检查技师对基于回归模型134输出的门信息的门进行了变更的情况下的、变更后的门信息。控制部11选择作为处理对象的更新门信息(步骤S42)。控制部11取得与门信息对应的两个散点图图像(特征信息)(步骤S43)。控制部11将变更后的门信息、两个散点图图像作为训练数据进行回归模型134的再学习(步骤S44)。控制部11判定是否有未处理的更新门信息(步骤S45)。控制部11在判定为有未处理的更新门信息的情况下(步骤S45的“是”)，将处理返回到步骤S42，对未处理的更新门信息进行处理。控制部11在判定为没有未处理的更新门信息的情况下(步骤S45的“否”)，根据再学习的结果更新回归模型134(步骤S46)，并结束处理。
再学习处理也可以不由流式细胞仪10进行，而是由学习服务器3进行。在这种情况下，再学习的结果、变更后的回归模型134的参数被从学习服务器3发送至流式细胞仪10，流式细胞仪10存储的回归模型134被更新。另外，再学习处理可以在每次产生更新门信息时执行，还可以像每日批处理那样以规定的间隔执行，还可以在产生了规定数的更新门信息时执行。
回归模型134示出了从多个输出层分别输出单个数值(中心X坐标、中心Y坐标、长轴、短轴、或倾角)的例子，但不限于此。也可以是数值的组数据。也可以是包含中心X坐标、中心Y坐标、长轴、短轴和倾角的五维的数据。例如，可以像(10，15，20，10，15)、(5，15，25，5，20)、(10，15，……)、……那样，将值的组合分配给输出层所含的各节点，各节点输出对于值的组合的概率。
(变形例)
以上，输入学习模型或从学习模型输出的门信息是数值，但也可以是图像。这种情况下，学习、推定如下进行。作为学习模型，使用语义分割模型的一种即U-NET。U-NET是FCN(Fully Convolutional Networks)的一种，包括进行下采样的编码器和进行上采样的解码器。U-NET是没有全结合层、仅由卷积层和池化层构成的神经网络。学习时，将多个散点图的图像输入U-NET。U-NET输出分割了门区和非门区的图像，因此，进行学习使得输出的图像所示的门区接近正确答案。学习后，在推定门区的情况下，将两个散点图图像输入U-NET。作为输出，得到示出门区的散点图图像。对所得到的图像，通过边缘提取检测表示门的椭圆的外形线。由检测出的外形线求椭圆的中心坐标(CX、CY)、长轴DX、短轴DY、旋转角度ANG。然后，确定门内所含的细胞。该确定能够利用公知的多边形内外点判断算法实现。学习和输出的门区的数也可以是多个。
本实施方式中，即便是经验少的检查技师，也能设定用于表示对确定疾患来说是重要的细胞群的门。另外，如果是熟练的检查技师，则能够不同于以往地基于回归模型134建议的门设定来进行门设定，能够缩短操作时间。
(实施方式2)
本实施方式中，增加代替阳性率作为回归模型134的输入。首先，流式细胞术中基于细胞上添加的荧光标记的反应来检测特征量。标记的测定值是相对值，使用时需要阳性和阴性间的阈值。阈值基于阴性对照标本观察门内的群后决定。通过基于阴性标本求出阈值，能够得到添加标记进行了测定的、分成小份的标本中的标记的阳性率。以往，在进行门设定时，检查技师观察门内的阳性率(呈阳性的细胞的比例)进行门的修正。因此，即使在通过回归模型134进行门设定的情况下，阳性率也很可能是有用的。但是，阳性率由于是在进行门设定后才能算出的指标，所以不能在门设定前得到。因此，导入即使在没有进行门设定的状态下也能算出、并认为与阳性率同样地对门设定有效的指标。该指标被称为代替阳性率。
代替阳性率如下算出。标本内存在的各细胞群区分阳性、阴性的阈值不同。因此，将细胞群分成小份，在分成了小份的群内设定阈值。本实施方式中，在SEQ1的FSC、SSC、FL3的分布中，应用三维的自动聚类方法k-means，做出n个小群。n为自然数。在此，n＝10。图12是表示十个小群的例子的说明图。五边形的标记表示k-means使用的各小群的中心。图12中，进行了横轴为SSC、纵轴为FL3的二维显示，但实际上是纸面法线方向的轴为FSC的三维聚类。基于SEQ1的各小群的FL1和FL2，机械地算出表示阴性的阈值。例如，以包含小群内的90％的细胞的值为阈值。接下来，求各小群中的各分区的细胞数。图13是表示十个小群各自的各个分区的细胞数的说明图。接下来，求各分区的细胞数的合计，求出的合计除以总细胞数，求出比例。按SEQ算出该各分区的比例作为代替阳性率。小群内的各分区的细胞数为UL(左上的细胞数，FL1为阴性且FL2为阳性的细胞的数)、UR(右上的细胞数，FL1为阳性且FL2为阳性的细胞的数)、LR(右下的细胞数，FL1为阳性且FL2为阴性的细胞的数)、LL(左下的细胞数，FL1为阴性且FL2为阴性的细胞的数)。当各小群为k(k＝1，2，…，10)、全体细胞数为N时，代替阳性率(APR：Alternative Positive Rate)可由以下式(1)算出。
Figure BDA0003527964040000101
SEQ1的APR如下。
Figure BDA0003527964040000102
此外，SEQ1由于是阴性标本，所以在左下以外的分区几乎不存在细胞。对于SEQ2及其后的各标本，将在SEQ1求出的各小群的中心点分别反映到SEQ上。基于距各细胞最近的中心点分成十个小群。对各小群，应用在SEQ1得到的阈值，生成四个分区。与SEQ1同样地对各小群的各分区求细胞数。图14是表示十个小群各自的各分区的细胞数的说明图。图14是SEQ2的例子。根据图14所示的各分区的细胞数，用上述式(1)算出APR如下。
Figure BDA0003527964040000103
与SEQ1的APR相比较，左上从0.001上升到0.057。这表示标本内有与SEQ2的标记反应的细胞群。
同样地算出SEQ3至SEQ10的APR。以下示出各SEQ的APR算出例。图15是表示SEQ1至SEQ10的APR的算出结果例的说明图。各SEQ的APR集合而成的10行4列的矩阵作为一个标本整体的APR。图16是表示一个标本整体的APR的算出结果例的说明图。图15所示的各SEQ的APR集合成10行4列的矩阵。代替阳性率是如下得到的矩阵，即，将一个标本分装，将由对分装出的各标本进行的检查结果中的、规定的分装标本的结果得到的分布聚类，按类求出表示阴性的阈值，将各类通过阈值分割成小类，算出分割出的小类所含的细胞数相对于全体细胞数的比例，使由规定的分装标本的结果得到的分布的各类的中心点反映到由规定的分装标本的结果以外的分装标本的检查结果得到的分布上，根据距中心点的距离对分布进行聚类，将各类用所述算出的阈值分割成小类，算出所分割的小类所含的细胞数相对于全体细胞数的比例，所有的小类各自的比例作为矩阵的元素。此外，规定的分装标本优选阴性标本。
图17是表示代替阳性率DB的例子的说明图。代替阳性率DB135存储由测定值算出的代替阳性率(APR)。代替阳性率DB135包括检查号列、号码列、LL列、UL列、LR列和UR列。检查号列存储检查号。号码列存储SEQ的号码。LL列存储左下分区的细胞数比例。UL列存储左上分区的细胞数比例。LR列存储右下分区的细胞数比例。UR列存储右上分区的细胞数比例。
本实施方式中，回归模型134学习的训练数据包括由测量值求出的APR。图18是关于回归模型的生成处理的说明图。相比于实施方式1中示出的图6有所变更。本实施方式中，特征提取器有三个。两个与图6同样地接受散点图图像。一个是接受APR的特征提取器。结合器将三个特征提取器提取的特征量结合。预测器根据结合后的特征量预测并输出门信息的各项目(中心X坐标、中心Y坐标、长轴、短轴、倾角)。处理部1将由预测器得到的门信息与训练数据中对散点图图像标注的信息即正确值相比较，优化在特征提取器和预测器的运算处理中使用的参数，使得来自预测器的输出值接近正确值。其它事项与实施方式1同样。此外，APR也可以不经由特征提取器地向结合器输入。另外，也可以将值的组合分配给输出层所含的各节点，各节点输出对于值的组合的概率。
图19是表示回归模型生成处理的其它顺序例的流程图。对与图7同样的处理标记同一步骤号。控制部11在执行了步骤S1至S3之后，算出代替阳性率(步骤S8)。
图20是表示代替阳性率算出处理的顺序例的流程图。控制部11在SEQ1的FSC、SSC、FL3的分布中利用k-means进行聚类(步骤S21)。控制部11按由聚类结果得到的群算出表示阴性的阈值(步骤S22)。控制部11按各群的分区算出细胞数(步骤S23)。控制部11算出各分区的细胞比例，算出SEQ1的APR(步骤S24)。控制部11设定计数器变量i为2(步骤S25)。控制部11将SEQi设定为处理对象(步骤S26)。控制部11将SEQ1的各群的中心点反映到SEQi上(步骤S27)。控制部11以中心点为基准对各细胞进行分类(步骤S28)。如上所述，各细胞被分为最近的中心点相同的细胞群组，可分为十个群。控制部11对各群应用SEQ1中的阈值(步骤S29)。控制部11对各群算出用阈值确定的各分区的细胞数比例，算出APR(步骤S30)。控制部11使计数器变量i加1(步骤S31)。控制部11判定计数器变量i是否在10以下(步骤S32)。控制部11在判定为计数器变量i在10以下的情况下(步骤S32的“是”)，将处理返回到步骤S26。控制部11在判定为计数器变量i不在10以下的情况下(步骤S32的“否”)，输出代替阳性率(步骤S33)。控制部11调用处理并返回。
处理从图19的步骤S4重新开始。在步骤S5中，控制部11进行回归模型134的学习。如上述那样，本实施方式中，散点图图像和APR为输入。表示正确值的标签为门信息。以下，步骤S6以后与图7相同，因此省略说明。
接下来，说明使用了回归模型134的门的设定。图21是表示门信息输出处理的其它顺序例的流程图。对与图8同样的处理标记了同一步骤号。控制部11在执行步骤S12之后，算出代替阳性率(步骤S15)。控制部11将散点图图像和代替阳性率输入回归模型134进行门的推定(步骤S13)。控制部11输出门信息(步骤S14)，并结束处理。此后检查技师的操作与实施方式1相同，因此省略说明。
本实施方式中，作为回归模型134的训练数据，包含了代替阳性率。另外，在通过回归模型134进行门信息的推定的情况下，也包含代替阳性率。由此，能期待回归模型134输出的门信息的精度提高。
本实施方式中，也能应用实施方式1的变形例。将多个散点图图像和APR输入U-NET。U-NET由于会输出分割了门区和非门区的图像，所以进行学习使得被输出的图像所示的门区接近正确答案。学习后，在推定门区的情况下将两个散点图图像和APR输入U-NET。作为输出，能得到示出了门区的散点图图像。其它处理与上述的内容同样。
此外，上述实施方式中，是以LLA中的CD45门控为例的，但恶性淋巴瘤分析(MLA：Malignant Lymphoma Analysis)检查中的CD45门控也能够以同样的顺序执行。恶性淋巴瘤分析检查中的CD45门控使用的回归模型独立于LLA中的回归模型134设置，并存储在辅助存储部13中。另外，在测定值DB131、特征信息DB132、门DB133、代替阳性率DB135中，追加表示检查内容的列，以能够识别是LLA的数据、还是MLA的数据。在进行学习或门的推定的情况下，也通过输入部14指定检查内容是LLA还是MLA。
图22是表示回归模型生成处理的其它顺序例的流程图。控制部11取得检查内容(步骤S51)。例如，如上述那样，检查内容是LLA、MLA等。控制部11取得与检查内容对应的学习模型(步骤S52)。学习模型是LLA用的回归模型134、MLA用的回归模型等。步骤S53以后与图7的步骤S2以后同样，因此省略说明。此外，也可以与实施方式2同样地将APR加入输入数据。
图23是表示门信息输出处理的其它顺序例的流程图。控制部11取得检查内容和测定数据(步骤S71)。控制部11取得与测定数据对应的特征信息(步骤S72)。控制部11选择与检查内容相应的学习模型(步骤S73)。控制部11将特征信息输入所选择的学习模型，进行门的推定(步骤S74)。控制部11输出门信息(步骤S75)，并结束处理。与实施方式2同样，如果是将APR作为输入接受的学习模型，那么也可以由测定数据生成APR并增加APR作为步骤S74中的输入数据。
各实施方式中记载的技术特征(构成要件)能够相互组合，通过组合，能够形成新的技术特征。
应该认为，本次公开的实施方式的所有点都是示例，不是限制性的。本发明的范围，不是上述的意思而是由权利要求所示，包含与权利要求书等同的意思和范围内的所有变更。
附图标记说明
10 流式细胞仪
1 处理部
11 控制部
12 主存储部
13 辅助存储部
131 测定值DB
132 特征信息DB
133 门DB
134 回归模型
135 代替阳性率DB
14 输入部
15 显示部
16 通信部
17 读取部
1P 控制程序
1a 可移动式存储介质
1b 半导体存储器
2 测定部
3 学习服务器

Claims (9)

1.一种门区推定程序，其特征在于，使计算机执行下述处理：
取得散点图组，该散点图组包含通过测定项目不同的流式细胞术的测定得到的多个散点图；
将所取得的散点图组输入学习模型，该学习模型基于包含散点图组和门区的训练数据进行了学习；
输出由所述学习模型得到的推定门区。
2.根据权利要求1所述的门区推定程序，其特征在于，
与有用度一起输出多个所述推定门区。
3.根据权利要求1或权利要求2所述的门区推定程序，其特征在于，
所述学习模型基于包含所述散点图组、所述门区和代替阳性率的训练数据进行了学习，
向所述学习模型输入散点图组和代替阳性率，
由所述学习模型得到所述推定门区。
4.根据权利要求1至权利要求3中任意一项所述的门区推定程序，其特征在于，
所述门区呈椭圆形状。
5.根据权利要求1至权利要求4中任意一项所述的门区推定程序，其特征在于，
取得修正了所述推定门区的修正区域数据；
基于所取得的修正区域数据使所述学习模型再学习。
6.根据权利要求1至权利要求5中任意一项所述的门区推定程序，其特征在于，
取得检查内容和包含多个散点图的散点图组；
向与所取得的检查内容相应的所述学习模型输入所取得的散点图组。
7.一种门区推定装置，其特征在于，包括：
取得散点图组的取得部，该散点图组包含通过测定项目不同的流式细胞术的测定得到的多个散点图；
将所取得的散点图组输入学习模型的输入部，该学习模型基于包含散点图组和门区的训练数据进行了学习；和
输出由所述学习模型得到的推定门区的输出部。
8.一种学习模型的生成方法，其特征在于，使计算机执行下述处理：
取得将散点图组和门区建立了对应关系的训练数据，所述散点图组包含通过测定项目不同的流式细胞术得到的多个散点图，所述门区与所述散点图组对应；
基于所取得的训练数据生成学习模型，该学习模型在输入了所述散点图组的情况下输出与所述散点图组对应的门区。
9.根据权利要求8所述的学习模型的生成方法，其特征在于，
所述训练数据包含代替阳性率，
所述学习模型进行学习，使得在被输入所述散点图组和代替阳性率的情况下输出门区。
CN202080061932.0A 2019-09-02 2020-09-01 门区推定程序、门区推定装置、学习模型的生成方法 Pending CN114364965A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019159937 2019-09-02
JP2019-159937 2019-09-02
PCT/JP2020/032979 WO2021045024A1 (ja) 2019-09-02 2020-09-01 ゲート領域推定プログラム、ゲート領域推定装置、学習モデルの生成方法

Publications (1)

Publication Number Publication Date
CN114364965A true CN114364965A (zh) 2022-04-15

Family

ID=74852451

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080061932.0A Pending CN114364965A (zh) 2019-09-02 2020-09-01 门区推定程序、门区推定装置、学习模型的生成方法

Country Status (5)

Country Link
US (1) US20220334043A1 (zh)
EP (1) EP4027131A4 (zh)
JP (1) JP7445672B2 (zh)
CN (1) CN114364965A (zh)
WO (1) WO2021045024A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115335681A (zh) * 2020-03-25 2022-11-11 合同会社予幸集团中央研究所 门区推定程序、门区推定方法和门区推定装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006230333A (ja) * 2005-02-28 2006-09-07 Hitachi Medical Corp フローサイトメータ、細胞の解析方法、細胞解析プログラム、蛍光検出器の感度設定方法および陽性率判定法における基準ゲート設定方法
CN101493400A (zh) * 2008-01-25 2009-07-29 深圳迈瑞生物医疗电子股份有限公司 一种基于形状特征的自动分类校正的方法
JP2009210465A (ja) * 2008-03-05 2009-09-17 Yamaguchi Univ がん細胞を分類する方法、がん細胞を分類するための装置及びがん細胞を分類するためのプログラム
CN101923648A (zh) * 2009-06-15 2010-12-22 深圳迈瑞生物医疗电子股份有限公司 支持向量机的聚类方法与装置
JP2014098628A (ja) * 2012-11-14 2014-05-29 Kochi Univ Ｃｂｃスキャッタグラムを用いた診断支援装置
US20140273188A1 (en) * 2013-02-18 2014-09-18 Theranos, Inc. Image analysis and measurement of biological samples
EP3054279A1 (en) * 2015-02-06 2016-08-10 St. Anna Kinderkrebsforschung e.V. Methods for classification and visualization of cellular populations on a single cell level based on microscopy images
CN109871735A (zh) * 2017-11-17 2019-06-11 希森美康株式会社 图像解析方法、装置、程序及学习完了深层学习算法的制造方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5047803B2 (ja) 2004-11-19 2012-10-10 トリリウム ダイアグノスティクス，エルエルシー 白血球ＦｃγＲＩ受容体（ＣＤ６４）の定量化のための、ソフトウェアを統合したフローサイトメトリーアッセイ
CN101981446B (zh) 2008-02-08 2016-03-09 医疗探索公司 用于使用支持向量机分析流式细胞术数据的方法和系统
US10088407B2 (en) 2013-05-17 2018-10-02 Becton, Dickinson And Company Systems and methods for efficient contours and gating in flow cytometry
CA2969912A1 (en) 2014-12-10 2016-06-16 Neogenomics Laboratories, Inc. Automated flow cytometry analysis method and system
CN106841012B (zh) * 2017-01-05 2019-05-21 浙江大学 基于分布式图模型的流式细胞计数据自动门控方法
WO2018181458A1 (ja) 2017-03-29 2018-10-04 シンクサイト株式会社 学習結果出力装置及び学習結果出力プログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006230333A (ja) * 2005-02-28 2006-09-07 Hitachi Medical Corp フローサイトメータ、細胞の解析方法、細胞解析プログラム、蛍光検出器の感度設定方法および陽性率判定法における基準ゲート設定方法
CN101493400A (zh) * 2008-01-25 2009-07-29 深圳迈瑞生物医疗电子股份有限公司 一种基于形状特征的自动分类校正的方法
JP2009210465A (ja) * 2008-03-05 2009-09-17 Yamaguchi Univ がん細胞を分類する方法、がん細胞を分類するための装置及びがん細胞を分類するためのプログラム
CN101923648A (zh) * 2009-06-15 2010-12-22 深圳迈瑞生物医疗电子股份有限公司 支持向量机的聚类方法与装置
JP2014098628A (ja) * 2012-11-14 2014-05-29 Kochi Univ Ｃｂｃスキャッタグラムを用いた診断支援装置
US20140273188A1 (en) * 2013-02-18 2014-09-18 Theranos, Inc. Image analysis and measurement of biological samples
EP3054279A1 (en) * 2015-02-06 2016-08-10 St. Anna Kinderkrebsforschung e.V. Methods for classification and visualization of cellular populations on a single cell level based on microscopy images
CN109871735A (zh) * 2017-11-17 2019-06-11 希森美康株式会社 图像解析方法、装置、程序及学习完了深层学习算法的制造方法

Also Published As

Publication number Publication date
JPWO2021045024A1 (zh) 2021-03-11
US20220334043A1 (en) 2022-10-20
JP7445672B2 (ja) 2024-03-07
EP4027131A1 (en) 2022-07-13
EP4027131A4 (en) 2023-10-04
WO2021045024A1 (ja) 2021-03-11

Similar Documents

Publication Publication Date Title
US20220237788A1 (en) Multiple instance learner for tissue image classification
CN110659692B (zh) 基于强化学习和深度神经网络的病理图像自动标注方法
US8831327B2 (en) Systems and methods for tissue classification using attributes of a biomarker enhanced tissue network (BETN)
US9245337B2 (en) Context driven image mining to generate image-based biomarkers
CN113454733A (zh) 用于预后组织模式识别的多实例学习器
CN106683081A (zh) 基于影像组学的脑胶质瘤分子标记物无损预测方法和预测系统
US11756677B2 (en) System and method for interactively and iteratively developing algorithms for detection of biological structures in biological samples
US11748981B2 (en) Deep learning method for predicting patient response to a therapy
Ferlaino et al. Towards deep cellular phenotyping in placental histology
US20240054639A1 (en) Quantification of conditions on biomedical images across staining modalities using a multi-task deep learning framework
JP2021002354A (ja) 表示制御装置、表示制御方法及び表示制御プログラム
CN114364965A (zh) 门区推定程序、门区推定装置、学习模型的生成方法
Ma et al. Automatic pulmonary ground‐glass opacity nodules detection and classification based on 3D neural network
EP3008650A2 (en) Methods of viewing and analyzing high content biological data
Bellemo et al. Artificial Intelligence using Deep Learning in classifying side of the eyes and width of field for retinal fundus photographs
WO2021193673A1 (ja) ゲート領域推定プログラム、ゲート領域推定方法、及びゲート領域推定装置
Pietsch et al. Determining growth rates from bright-field images of budding cells through identifying overlaps
US20230062003A1 (en) System and method for interactively and iteratively developing algorithms for detection of biological structures in biological samples
Mukherjee Pattern Recognition and Machine Learning as a Morphology Characterization Tool for Assessment of Placental Health
KR20240008581A (ko) 하이브리드 학습 기반 형태 및 이동 특성을 통한 세포의 특수형 분류 방법 및 장치
Perez-Herrera et al. Sample Viability Assessment from H &E Whole Slide Images for Lung Cancer Molecular Testing
Pal et al. Smart Cancer Diagnosis using Machine Learning Techniques
Qian et al. CellBoost: A pipeline for machine assisted annotation in neuroanatomy
WO2023105249A1 (en) Automatic assessment of histological indices
Fuster Navarro Deep Learning-Driven Diagnostic and Prognostic Solutions for Histopathological Images of Bladder Cancer

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination