CN112313702A

CN112313702A - 显示控制设备、显示控制方法以及显示控制程序

Info

Publication number: CN112313702A
Application number: CN201980041251.5A
Authority: CN
Inventors: 合田圭介; 新田尚; 杉村武昭
Original assignee: Cybo KK
Current assignee: Cybo KK
Priority date: 2018-06-27
Filing date: 2019-06-17
Publication date: 2021-02-02
Anticipated expiration: 2039-06-17
Also published as: JP7361395B2; JP2021002354A; AU2019293020A1; WO2020004101A1; CN112313702B; EP3816935A1; JPWO2020004101A1; EP3816935A4; US20210232869A1; CA3102749A1; JP6753622B2; CN117496511A; AU2019293020B2

Abstract

本发明提供一种能够以人容易解释的形式提示基于人工神经网络的类别判定性能的显示控制设备以及显示控制程序。显示控制设备具备：获取由计算输入图像的类别判定结果的置信度的置信度计算部计算出的置信度的置信度获取部；以及以图表的显示轴中的至少一个轴作为表示置信度的置信度轴的方式显示置信度获取部获取的置信度的每个输入图像的分布的显示控制部。

Description

显示控制设备、显示控制方法以及显示控制程序

技术领域

本发明涉及一种显示控制设备、显示控制方法以及显示控制程序。

背景技术

以往，公开了一种涉及通过图像处理来判别在流路中依次流动的细胞的种类，由此与根据细胞的种类来对细胞进行分类的流式细胞仪、进一步根据细胞的种类来对细胞进行分选的细胞分选仪相关的技术(例如，参照再公表WO2013/147114号公报)。

以往，为了判别细胞的种类，有时使用基于利用人工神经网络的深度学习等机器学习手法的类别判定结果。但是，对于人工神经网络的内部阶层中的加权等判别条件，人很难解释其意义。根据这样的现有技术，人很难对人工神经网络的判别条件作出解释，因此不能够评价其类别判定性能。

发明内容

本发明的目的在于，提供一种能够以人容易解释的形式提示基于人工神经网络的类别判定性能的显示控制设备、显示控制方法以及显示控制程序。

本发明的一个实施方式是一种显示控制设备，其具备：

置信度获取部，上述置信度获取部获取由计算输入图像的类别判定结果的置信度的置信度计算部计算出的上述置信度；以及

显示控制部，上述显示控制部以图表的显示轴中的至少一个轴作为表示上述置信度的置信度轴的方式显示上述置信度获取部获取的上述置信度的每个上述输入图像的分布。

本发明的一个实施方式是一种显示控制方法，

获取输入图像的类别判定结果的置信度，

以图表的显示轴中的至少一个轴作为表示上述置信度的置信度轴的方式显示上述置信度的每个上述输入图像的分布。

本发明的一个实施方式是一种显示控制程序，

用于在显示控制设备所具备的电脑上执行：

获取输入图像的类别判定结果的置信度的步骤；以及

以图表的显示轴中的至少一个轴作为表示上述置信度的置信度轴的方式显示上述置信度的每个上述输入图像的分布的步骤。

发明效果

根据本发明，能够以人容易解释的形式提示基于人工神经网络的类别判定性能。

附图说明

图1是表示本实施方式的类别判定系统的功能结构的一个例子的图。

图2是表示本实施方式的类别判定部的结构的一个例子的图。

图3是表示基于本实施方式的类别判定系统的置信度的计算结果的一个例子的图。

图4是表示本实施方式的类别判定系统的动作的一个例子的图。

图5是表示本实施方式的置信度图表图像的一个例子的图。

图6是表示本实施方式的显示控制部所显示的图表的一个例子的图。

图7是表示基于本实施方式的显示控制设备的建门的一个例子的图。

图8是表示基于本实施方式的显示控制设备的建门的变形例的图。

图9是表示基于本实施方式的显示控制设备的建门的其他变形例的图。

图10是表示本实施方式的神经网络的结构的一个例子的图。

图11是表示细胞图像与对各个类别的置信度的关系的一个例子的图。

图12是表示置信度的直方图以及建门结果的一个例子的图。

图13是表示对血小板凝集块的分类精度进行定量的结果的一个例子的图。

图14是表示基于细胞分选仪的分选性能的一个例子(在受到基于TRAP的刺激的情况下)的图。

图15是表示基于细胞分选仪的分选性能的一个例子(在未受到基于TRAP的刺激的情况下)的图。

图16是表示分类为血小板凝集块的置信度的直方图显示的一个例子的图。

图17是表示以图表的显示形式作为散布图的情况下的一个例子的图。

图18是表示将输入图像根据置信度分类的结果的一例的图。

符号说明

1 类别判定系统

10 显示控制设备

110 置信度获取部

120 显示控制部

130 设定值获取部

20 类别判定设备

210 图像获取部

220 类别判定部

230 置信度输出部

PR 置信度

IP 输入图像IP

PG 置信度图表图像

具体实施方式

以下，参照附图对本实施方式的类别判定系统1进行说明。

【类别判定系统1的功能结构】

图1表示本实施方式的类别判定系统1的功能结构的一个例子。作为一个例子，在作为流式细胞仪(Flow Cytometer；FCM)(未图示)的一个方式的成像细胞仪(ImagingCytometer)(未图示)上具备有类别判定系统1。在此情况下，类别判定系统1获取细胞图像，判定在获取的细胞图像中拍摄的细胞的种类。在此，作为类别判定系统1的判定对象的类别CL是指“细胞的种类”。即，类别判定系统1将细胞的种类作为类别CL而进行类别判定，作为其判定结果获取对于各个类别CL的置信度PR(即，推定细胞的种类的结果)，在置信度输出部230上显示。进一步地在置信度输出部230上设定门GT，进行获取的图像是否包含于设定的门GT的判定(门判定)。在具有细胞分选功能的细胞分选仪中，将该门判定结果GR输出到分类(sort)机构(未图示)。细胞分选仪的分类机构基于类别判定系统1输出的门判定结果GR对细胞进行分选。

此外，在以下的说明中，类别判定系统1与成像细胞仪设备的细胞分选仪连接，作为判定细胞的种类的系统并进行说明，但并不限定于此。类别判定系统1并不限定于利用示例的成像细胞仪，例如，也可以利用于一般的流式细胞仪、质量细胞计数器(MassCytometer)、显微镜等其他细胞观察用途，或细胞以外的图像的分类用途。

类别判定系统1具备显示控制设备10和类别判定设备20。显示控制设备10以及类别判定设备20可以通过一台电脑设备来实现，也可以通过不同的电脑设备来实现。

另外，类别判定系统1具备操作检测部30和显示部40。

操作检测部30例如是电脑设备的键盘、鼠标、触摸屏等的操作装置，基于操作者的操作进行检测。

显示部40是例如液晶显示器等的显示装置，并显示图像。

【类别判定设备20的功能结构】

类别判定设备20具备：图像获取部210、类别判定部220以及置信度输出部230。

图像获取部210将在细胞分选仪的拍摄部(未图示)中拍摄的细胞图像作为输入图像IP而加以获取，图像获取部210将获取的输入图像IP输出到类别判定部220。

类别判定部220将在输入图像IP中拍摄的细胞的种类判定为类别CL。作为一个例子，类别判定部220作为基于卷积神经网络(convolutional neural network)；CNN/以下，也称为神经网络CNN。)的学习完成模型来得以实现。

此外，类别判定部220通过神经网络CNN来实现是一个例子。类别判定部220例如也可以通过深层神经网络(deep neural network)；DNN)、概率性神经网络(Probabilisticneural network；PNN)、正向传播型神经网络(前馈神经网络；FFNN)、再起型神经网络(Recurrent neural networks；RNNs)、自联想模型(autoassociator)、深度信念网络(DBNs，Deep Belief Networks)、径向基插值函数(RBF，Radial basis function)网络、玻尔兹曼机、带控制的玻尔兹曼机等来实现。在以下的说明中，将此处示例的网络也称为人工神经网络。

图2表示本实施方式的类别判定部220的结构的一个例子。在被提供到类别判定部220的输入图像IP中，例如拍摄了血小板凝集块PA、血小板SP、白细胞LK等各种的细胞(或组织)中的任一种。在该一个例子中，分别地，血小板凝集块PA与类别CLa对应，血小板SP与CLb对应，白细胞LK与类别CLc对应。白细胞LK包括粒细胞GL(中性粒细胞、嗜酸性粒细胞和嗜碱性细胞)、淋巴细胞LC、单核细胞MC等。在本实施方式的一个例子中，分别地，淋巴细胞LC与类别CLd对应，淋巴细胞LC中的T淋巴细胞LC与类别CLd1对应，B淋巴细胞LC与类别CLd2对应。另外，粒细胞GL与类别CLe对应。

在该一个例子的情况下，类别判定部220判定在输入图像IP中拍摄的细胞的种类相当于上述的类别CL中的哪个类别CL，输出对于各个类别CL的置信度PR。

【关于置信度】

类别判定部220输出相对于类别CL的置信度(Probability)。在此，对置信度PR进行说明。置信度PR相对于多种类的类别CL，分别以1:1对应。例如，对于上述的类别CL中的类别CLa～类别CLc的三个种类的类别CL，分别地，类别CLa与置信度PRa对应，类别CLb与置信度PRb对应，类别CLc与置信度PRc对应。

某个类别CL的置信度PR的值越大，则表示向神经网络CNN的输入信号(例如，输入图像IP)相当于该类别CL的似然度越高，该值越小，则表示输入信号相当于该类别CL的似然度越低。例如，类别CLa(在上述的例子中，血小板凝集块PA)的置信度PR在输入图像IP是血小板凝集块PA的图像的情况下计算得较高，在输入图像IP是血小板凝集块PA以外的图像的情况下计算得较低。

置信度PR也可以被标准化为某个值的范围(例如，0～1)。在该情况下，某个类别CL的置信度PR的值越接近1，则表示输入信号相当于该类别CL的似然度越高，值越接近0，则表示输入信号相当于该类别CL的似然度越低。另外，对于每个类别CL，对各个类别CL的置信度PR相加的总和为某个值(例如，1)。例如，对于某个输入图像IP，在分类为上述的三个种类的类别CL的情况下，与这些类别CL对应的置信度PRa～置信度PRc的总和为1。

此外，在上述的人工神经网络中，将与类别CL的种类数对应的矢量值作为输出值。通过在构成该神经网络的各层中的例如在最终层采用softmax层，从而来自最终层的输出值能够成为置信度PR。另外，置信度PR只要能够通过类别CL相互间的比较来表现某个输入信号所具有的相当于类别CL的似然度即可，其单位是任意的。

图3表示基于本实施方式的类别判定系统1的置信度PR的计算结果的一个例子。

类别判定部220对每个输入图像IP计算各个类别CL的置信度PR。作为具体的一个例子，在被分类为类别CLa～类别CLc的三种类的类别CL的情况下，对第一输入图像IP1，类别判定部220分别进行如下计算：将输入图像IP1相当于类别CLa的似然度作为置信度PRa，将输入图像IP1相当于类别CLb的似然度作为置信度PRb，将输入图像IP1相当于类别CLc的似然度作为置信度PRc。在图3所示的一个例子中，类别判定部220分别计算出置信度PRa为95％，置信度PRb为4％，置信度PRc为1％。

返回图1，置信度输出部230对显示控制设备10输出类别判定部220计算出的置信度PR。

【显示控制设备10的功能结构】

显示控制设备10具备：置信度获取部110、显示控制部120、设定值获取部130以及门判定部140。

置信度获取部110获取通过对输入图像IP的类别判定结果RCL的置信度PR进行计算的类别判定部220(置信度计算部)计算出的置信度PR。

显示控制部120基于置信度获取部110获取的置信度PR的每个输入图像IP的分布，生成图表G的图像。在显示控制部120所生成的图表G的图像中，作为图表G的显示轴DAX包含有置信度轴PAX。在此，显示轴DAX是指显示在显示部40上的图表G的轴。另外，置信度轴PAX是指图表G轴中的表示置信度PR的大小的轴。显示控制部120以将图表G的显示轴DAX中的至少一个轴作为置信度轴PAX的方式来显示。例如，在图表G表示基于X轴和Y轴的两个轴的正交坐标平面的情况下，类别判定系统1以将这两个轴中的X轴作为置信度轴PAX的方式来显示。此外，显示控制部120也可以以将这两个轴(即，X轴和Y轴)都作为置信度轴PAX的方式来显示。另外，图表G也可以并不一定是两个轴，也可以具有与类别判定部220判定的类别CL的种类的数量对应数量的轴。例如，在类别判定部220判定的类别CL的种类数为三种的情况下，显示控制部120也可以显示三个轴的图表G。在此情况下，类别判定系统1也可以将图表G的三个轴中的全部的轴作为置信度轴PAX。

即，显示控制部120以将图表G的显示轴DAX中的至少一个轴作为表示置信度PR的置信度轴PAX的方式显示置信度获取部110获取的置信度PR的每个输入图像IP的分布。

此外，在以下的说明中，该显示控制部120生成的图表G的图像也称为置信度图表图像PG。

设定值获取部130获取涉及显示在图表G的置信度PR的门设定值GV。

门判定部140基于设定值获取部130获取的门设定值GV，对输入图像IP是否处于门设定值GV的内部进行判定。

接着，参照图4对这些各部的动作的一个例子进行说明。

【类别判定系统1的动作】

图4是表示本实施方式的类别判定系统1的动作的一个例子。

图像获取部210从流式细胞仪设备(未图示)获取作为输入图像IP的被拍摄的细胞(或组织)的图像(步骤S210)。图像获取部210将获取的输入图像IP输出到类别判定部220。

对于在步骤S210中获取的输入图像IP，类别判定部220对每个判定对象的类别CL计算置信度PR(步骤S220)。

置信度输出部230对显示控制设备10输出在步骤S220中计算出的置信度PR(步骤S230)。

置信度获取部110获取在步骤S230中计算出的置信度PR(步骤S110)。

显示控制部120基于在步骤S110中获取的置信度PR，生成图表G的图像(步骤S120)。

显示控制部120将在步骤S120中生成的置信度图表图像PG输出到显示部40(步骤S130)。其结果是，在显示部40上显示在步骤S120中生成的置信度图表图像PG。

设定值获取部130获取门设定值GV(步骤S140)。门设定值GV可以通过键盘、鼠标、触摸面板等的手动提供，也可以基于置信度图表图像PG的分布状况等自动地计算。设定值获取部130将获取的门设定值GV输出到显示控制部120。门设定值GV是用于对在步骤S130中显示的置信度图表图像PG设定门GT的值。

此外，显示控制部120将基于获取的门设定值GV的门图像GP显示在置信度图表图像PG上。

另外，显示控制部120将在步骤S130中生成的置信度图表图像PG和对于置信度图表图像PG的门设定值GV输出到门判定部140。

门判定部140对在步骤S210中获取的输入图像IP是否处于在步骤S140中制作的门设定值GV的内部进行判定，生成作为其判定结果的门判定结果GR(步骤S150)。在此，输入图像IP是否处于门设定值GV的内部意味着在置信度图表图像PG上在门设定值GV表示的置信度PR的范围内是否描绘有输入图像IP的置信度PR。作为本实施方式的一个例子，门判定部140基于在步骤S140中从显示控制部120输出的置信度图表图像PG和涉及置信度图表图像PG的门设定值GV，对输入图像IP是否处于门设定值GV的内部进行判定。

门判定部140将生成的门判定结果GR输出到细胞分选仪(未图示)。通过这样地进行构成，类别判定系统1能够以选择性地对门设定值GV所包含的细胞(或者不包含的细胞)进行分选的方式来编程。另外，类别判定系统1能够基于门判定结果GR，选择性地显示门设定值GV所包含的细胞(或者不包含的细胞)的数据(图像、数值数据、绘图等)。

显示控制部120也能够使用基于门判定部140的门判定结果GR来显示与所希望的细胞对应的输入图像IP、图表G等数据。另外，显示控制部120也可以基于门判定结果GR，计算并输出门GT所包含的输入图像IP的个数、比例等统计值，或者在图表G上显示。另外，对于与门GT所包含的输入图像对应的数据点，显示控制部120也可以基于各个输入图像IP是否包含于门GT的门判定结果GR，改变表示数据点的位置的点的颜色、形状。

参照图5对显示控制部120生成的置信度图表图像PG的一个例子进行说明。

【置信度图表图像PG的一个例子】

图5表示本实施方式的置信度图表图像PG的一个例子。如上所述，显示控制部120以将图表G的显示轴DAX中的至少一个轴作为置信度轴PAX的方式显示置信度PR的每个输入图像IP的分布。在图5(A)所示的一个例子中，显示控制部120将图表G的显示轴DAX中的X轴作为置信度轴PAX，将Y轴作为置信度PR的出现频度，显示图表G。在此，Y轴的置信度PR的出现频度是指在类别判定部220对多个输入图像IP分别判定类别CL的情况下，在每个输入图像IP对某个类别CL的置信度PR进行计数而得到的值。将置信度PR的出现频度也称为某个置信度PR中的输入图像IP的度数F。在图5(A)所示的一个例子的情况下，置信度图表图像PG是指X轴表示置信度轴PAX，Y轴表示度数F的直方图。

作为具体的一个例子，对类别判定部220判定输入图像IP是否为血小板凝集块PA的图像的情况进行说明。类别判定部220计算在输入图像IP中拍摄到的细胞(或组织)是血小板凝集块PA的置信度PRa。例如，在提供血小板凝集块PA的图像作为输入图像IP的情况下，类别判定部220计算出输入图像IP为血小板凝集块PA的图像的置信度PR(即，置信度PRa)为95％。即，在该情况下，类别判定部220判定所提供的输入图像IP为血小板凝集块PA的图像的似然度高。另外，在提供白血球LK的图像作输入图像IP的情况下，类别判定部220计算出置信度PRa为4％。即，在该情况下，类别判定部220判定所提供的输入图像IP为血小板凝集块PA的图像的似然度低。

类别判定部220对多个输入图像IP分别计算置信度PRa，以将X轴作为置信度轴PAX，将Y轴作为表示度数F的轴的图表G作为置信度图表图像PG的方式在显示部40显示计算出的置信度PRa的分布。

在此，在图5(A)～图5(C)中，表示基于类别判定部220的类别判定性能的差异。在类别判定性能比较高的情况下，如图5(A)所示那样分布置信度PR。即，在类别判定性能比较高的情况下，置信度PR的分布明确地分为置信度PR比较低的“分布DS1A”的区域和置信度PR比较高的“分布DS1B”的区域。换言之，在图5(A)所示的置信度图表图像PG显示在显示部40上的情况下，操作者能够解释为处于类别判定性能比较高的状态。

另外，在类别判定性能比较低的情况下，如图5(B)所示那样分布置信度PR。即，在类别判定性能比较低的情况下，置信度PR的分布明确地分为置信度PR比较低的“分布DS1C”的区域和置信度PR比较高的“分布DS1D”的区域，但这两个区域之间与图5(A)所示的情况相比更加接近。即，在类别判定性能比较低的情况下，成为难以明确地分离置信度PR比较低的区域和置信度PR比较高的区域的状态。换言之，在图5(B)所示的置信度图表图像PG显示在显示部40上的情况下，操作者能够解释为类别判定性能为比较低的状态。

另外，在类别判定性能更低的情况下，如图5(C)所示那样分布置信度PR。即，在类别判定性能更低的情况下，置信度PR的分布仅为分布DS1E的区域，不能够判别置信度PR高的区域和置信度PR低的区域。换言之，在图5(C)所示的置信度图表图像PG显示在显示部40上的情况下，操作者能够解释为类别判定性能是比图5(B)的状态更低的状态。

此外，“类别判定性能”也称为“类别CL的分类精度”。

如上所述，通过将图表G的至少一个轴作为置信度轴PAX，类别判定部220的判定性能成为对于操作者(即人)来说容易解释的形式。即，根据本实施方式的类别判定系统1，能够以操作者容易解释的形式提示基于神经网络CNN的类别CL的判定性能。

然而，人一般很难解释在神经网络CNN的内部的各层中的加权的意思。因此，人一般很难解释神经网络CNN根据怎样的判定条件来判定输入图像IP的类别CL。因此，在评价神经网络CNN的学习状态是否妥当(即，神经网络CNN的类别判定性能)的情况下，一般难以通过观察神经网络CNN的内部的状态来进行评价。因此，以往，在评价神经网络CNN的类别判定性能的情况下，进行了如下手法：将提供到神经网络CNN的输入信号(例如，输入图像IP)与基于输入信号而从神经网络CNN输出的类别判定结果RCL进行对照，判定其是否一致。例如，在对神经网络CNN提供了“血小板凝集块PA”的输入图像IP的情况下，如果神经网络CNN输出的类别判定结果RCL示出“血小板凝集块PA”，则判定为该神经网络CNN被妥当地学习。但是，根据该以往手法，只限于判定为从神经网络CNN输出的类别判定结果RCL是正确还是错误这两种情况，不能够判定出类别判定结果RCL的妥当性的程度，即神经网络CNN的类别判定性能。

本实施方式的类别判定系统1从神经网络CNN输出用于类别判定的置信度PR，使置信度PR作为图表G的显示轴DAX来显示神经网络CNN。如上所述，置信度PR是作为表示某个输入信号相当于某个类别CL的似然度的指标而神经网络CNN计算出的值，因此表示基于神经网络CNN的类别判定的妥当性的程度。因此，置信度PR的分布能够成为表示神经网络CNN的类别判定性能的指标。在此，如参照图5并说明的那样，通过将置信度PR的分布作为图表G的轴，能够成为人也容易解释神经网络CNN的内部的状况的形式。

本实施方式的类别判定系统1表示以置信度PR的分布作为轴的图表G，由此能够以人容易解释的形式提示基于神经网络CNN的类别判定性能。

在上述对人解释基于神经网络CNN的类别判定性能的情况进行了说明，但门判定部140也可以评价类别判定性能。

此外，如图5(C)所示，作为类别判定性能变低的情况的原因，认为是由于进行了类别判定的神经网络CNN的模型的性能差、或输入的图像的画质低。为了提高神经网络CNN的模型的性能，进行再学习是有效的。

以下，对再学习的方法进行示例。例如，在根据对于某个特定的参数的置信度的分布来判明门是无效的的情况下，对该参数的类别追加新的用于学习的图像，进行再学习是有效的。

另外，通过对学习中使用的已有图像进行反转、旋转等图像处理，生成并追加在学习中使用的图像，进行再学习是有效的。

另外，如图5(C)所示，在不能够判别置信度高的区域和置信度低的区域的情况下，有在分类为一个类别的群中存在多个不同形状的细胞的情况。在这样的情况下，对已有的分类进行分割并追加新的分类，进行再学习是有效的。

另外，也有将两个以上的已有的分类统合为一个分类，进行再学习是有效的情况。

另外，也有改变类别判定部的模型(层数、连接各层的结构等)，进行学习是有效的情况。

根据需要，适当组合上述再学习的方法，由此能够期待神经网络CNN的模型的性能提高。

此外，门判定部140也可以基于类别判定性能的评价结果，进行是否需要再学习的判断、再学习方法的决定。

【显示形式的变形例】

图6表示本实施方式的显示控制部120显示的图表G的一个例子。在本变形例中，显示控制部120将图表G的显示轴DAX中的类别CLd的置信度PRd作为X轴，将类别CLe的置信度PRe作为Y轴，显示置信度图表图像PG。在上述的一个例子中，分别地，类别CLd与淋巴细胞LC对应，类别CLe与粒细胞GL对应。在此情况下，分布DS2A表示类别判定部220将输入图像IP类别判定为淋巴细胞LC的图像的区域。分布DS2B表示类别判定部220将输入图像IP类别判定为粒细胞GL的图像的区域。另外，分布DS2C表示类别判定部220将输入图像IP类别判定为既不是淋巴细胞LC也不是粒细胞GL的任一的图像的区域。

即，在该图所示的一个例子中，显示控制部120将图表G的显示轴DAX中的多个显示轴DAX作为置信度轴PAX而显示。

这样，以将多个显示轴DAX作为置信度轴PAX的方式来显示图表G，由此类别判定系统1能够以人容易解释的形式来提示基于神经网络CNN的类别判定性能。

此外，在上述的各例中，说明了置信度轴PAX作为是原样表示某个类别CL的置信度PR的轴，但并不限定于此。置信度轴PAX也可以是表示基于多个类别CL的置信度PR彼此的组合的置信度PR(即，组合置信度PRCB)的轴。例如，图表G的X轴可以是通过多项式将置信度PRa和置信度PRb相加而得到的组合置信度PRCB。例如，组合置信度PRCB是由对置信度PRa乘以权重后的值和对置信度PRb乘以权重后的值之和来表示。即，在此情况下，显示控制部120将表示基于类别判定结果RCL表示的多个类别CL的置信度PR彼此的组合的组合确信度PRCB的轴作为置信度轴PAX来显示。

此外，操作者对操作检测部30进行输入门设定值GV的操作，由此显示控制设备10能够在图表G上重叠显示门图像GP。在此，“门”是指用于从直方图等的图表G中提取特定的区域的阈值。另外，“建门”是指对图表G进行门并提取特定的区域的作业。

例如，在想要从某个图表G中只提取特定的种类的细胞的信息的情况下，该建门是有效的。

另外，例如，在想要建门的类别CL跨越多个类别CL的情况下，使用通过多项式将如上述的多个置信度PR彼此相加而得到的组合置信度PRCB是有效的。

参照图7对该建门的一个例子进行说明。

【建门的一个例子】

图7表示基于本实施方式的显示控制设备10的建门的一个例子。图7(A)再次表示图6所示的置信度图表图像PG。显示控制设备10能够显示该置信度图表图像PG中的对于分布DS2A的置信度图表图像PG(图7(B))。

操作者对操作检测部30进行输入门设定值GV的操作。在输入门设定值GV的操作中，例如有数值输入、对图表G的图像的矩形、圆形或多边形等的形状输入等。操作检测部30在检测到输入门设定值GV的操作时，将表示检测到的操作的信息输出到显示控制设备10。

设定值获取部130从操作检测部30输出的信息中获取门设定值GV。

显示控制部120使表示基于设定值获取部130获取的门设定值GV的门GT的门图像GP显示在图表G上。

在图7(A)所示的一个例子中，设定值获取部130获取门设定值GV1。另外，显示控制部120将门图像GP1(即，多边形的门图像GP)重叠在置信度图表图像PG上，显示在显示部40上。

图7(A)所示的门图像GP1包围分布DS2A的区域。分布DS2A表示类别CLd的置信度PRd比较高的区域(即，输入图像IP是淋巴细胞LC的图像的似然度高的区域)。

在判定由门图像GP包围的区域是类别CLd的置信度PRd比较高的区域的情况下，显示控制部120生成新的图表G的图像，显示在显示部40上(图7(B))。图7(B)所示的图表G是指以X轴为置信度PRd，以Y轴为度数F的置信度图表图像PG。

即，显示控制部120能够基于图表G的显示区域中的门图像GP的位置，显示新的图表G。

在图7(B)所示的图表G的一个例子的情况下，分为置信度PRd比较低的“分布DS2D”的区域和置信度PRd比较高的“分布DS1E”的区域来表示。也能够对图7(B)的图表G设定门。

即，操作者为了对图7(B)所示的图表G设定门，对操作检测部30进行输入门设定值GV2的操作。在该一个例子的情况下，门设定值GV2是指表示置信度PRd的宽度的数值。操作检测部30在检测到输入门设定值GV2的操作时，将表示检测到的操作的信息输出到显示控制设备10。

设定值获取部130从操作检测部30获取门设定值GV2。

显示控制部120使表示基于设定值获取部130获取的门设定值GV2的门GT的门图像GP2显示在图表G上。门图像GP2是指在图7(B)所示的一个例子中包围分布DS2E的图像。在此，分布DS2E是置信度PRd比较高的区域(即，输入图像IP是淋巴细胞LC的图像的似然度高的区域)。即，在图7(B)所示的一个例子中，进行了对淋巴细胞LC的建门。

这样，显示控制设备10能够基于操作检测部30检测的操作，阶段性地显示多个图表G。即，显示控制设备10通过图表G的图像在视觉上显现基于所谓的门区域的限定，由此能够以人容易解释的形式进行提示。

【建门的变形例(1)】

图8表示基于本实施方式的显示控制设备10的建门的变形例。在上述的图7所示的例子中，建门前的图表G(图7(A))是置信度图表图像PG。在本变形例中，与上述的一个例子的不同点在于，建门前的图表G不是置信度图表图像PG。

图8(A)所示的图表G是指以参数PM-A为X轴，以参数PM-B为Y轴的分布图。作为一个例子，参数PM-A是表示对于抗体(例如，CD 45-FITC)的各个细胞的反应的程度的参数。另外，参数PM-B是表示各个细胞的散射光(例如，侧方散射光)的程度的参数。在该图所示的图表G上表示有粒细胞GL、单核细胞MC以及淋巴细胞LC的分布。在该一个例子中，对淋巴细胞LC进行建门。操作者将图表G中的包围淋巴细胞LC的区域的范围作为门设定值GV3来进行设定。操作检测部30检测门设定值GV3的设定操作，输出到显示控制设备10。显示控制部120显示与门设定值GV3对应的门图像GP3。另外，显示控制部120基于门设定值GV3，生成图8(B)所示的图表G的图像，显示在显示部40上。

图8(B)所示的图表G是指以X轴为置信度PRd1，以Y轴为置信度PRd2的置信度图表图像PG。在此，作为一个例子，置信度PRd1是对于类别CLd1(T淋巴细胞LCT)的置信度PR。另外，作为一个例子，置信度PRd2是指对于类别CLd2(B淋巴细胞LCB)的置信度PR。在该图所示的图表G中，包括为T淋巴细胞LCT的似然度比较高的区域(分布DS3A)、为B淋巴细胞LCB的似然度比较高的区域(分布DS3B)以及任一的似然度都比较低的区域(分布DS3C)。

此外，对于该图表G，也可以通过门设定值GV4和门图像GP4进行建门。

【建门的变形例(2)】

图9表示基于本实施方式的显示控制设备10的建门的其他变形例。在本变形例中，也与上述的图7(B)的一个例子相同地，能够通过门设定值GV进行建门。此外，在本变形例的情况下，与上述的一个例子不同的点在于，能够根据建门的目的来变更门设定值GV。在此，作为建门的目的的一个例子，具有筛选。在筛选中，为了使得阳性不被漏失，在可以更多地包含假阳性的情况下，门设定值GV被更宽地设定(例如，图9(C)所示的门设定值GV23)。另外，在为了极力排除假阳性而可以漏失阳性的情况下，门设定值GV被更窄地设定(例如，图9(A)所示的门设定值GV21)。

此外，在上述实施方式中，对将成像细胞仪作为类别判定系统1的情况进行了说明，但如使用显微镜的情况那样，在一个图像中存在多个细胞的情况下，也可以首先从整体的图像中切出个别的细胞图像，将切出的图像提供给类别判定系统1。

另外，也可以与共焦显微镜、双光子显微镜等拍摄对象物的三维结构的显微镜进行组合。另外，也可以与不是在深度方向(Z方向)，而是在时间轴方向上进行定时拍摄，或者切换波长而拍摄等进行各种多维拍摄的显微镜进行组合。即使是通过多维拍摄得到的多维图像，也能够将切出了各个细胞的图像提供给类别判定系统1。

在类别判定系统1与能够进行三维以上的多维拍摄的显微镜组合使用的情况下，为了将多维图像数据应用于本发明，考虑了以下方法。

(方法1)对深度方向(Z方向)的不同的多个拍摄图像进行图像间的运算(单纯加法运算、卷积处理、每个像素的最大值等)，合成为单一的图像。然后，以得到的单一的图像作为对象得到置信度，进行类别判定。

(方法2)将深度方向(Z方向)不同的多个拍摄图像作为包含Z方向的单一的体素图像，以体素图像为对象得到置信度，进行类别判定。

(方法3)将深度方向(Z方向)不同的多个拍摄图像分别输入到类别判定系统1，在每个Z位置得到置信度。

根据方法1、方法2，相对于一个细胞得到了一组置信度。与此相对，在方法3中，在每个Z位置得到置信度。因此，在方法3中，也能够基于置信度的分布来选择最佳的Z位置的图像。

此外，在上述的例子中说明了深度方向(Z方向)的多维图像，但在时间、波长不同的情况下也是相同的。

另外，显示控制部120也可以将对由多维拍摄得到的多维图像而得到的置信度映射到原来的多维图像上进行显示。在此，映射是指例如使用等高线图、热图、点图、柱状图等手法而使置信度的分布显示在原来的多维图像上。

另外，显示控制部120也可以将建门的类别的细胞映射到原来的多维图像上进行显示。例如，考虑了在原来的多维图像上以点的形式来显示建门的类别的细胞的位置，或者用曲线来包围建门的类别的细胞存在的区域，改变色调来显现等。

通过上述的显示方法，对于具有时间分布、空间分布的细胞图像，变得人更容易解释类别判定结果。

【实施例】

参照图10～图18对本实施方式的类别判定系统1的实施例进行说明。

图10表示本实施方式的神经网络CNN的结构的一个例子。

图11表示细胞图像与对于各个类别CL的置信度PR之间的关系的一个例子。

图12是置信度PR的直方图以及建门结果的一个例子。

在图12所示的一个例子中，直方图表示分类为白细胞LK的置信度PR。在该图中，对置信度PR为规定值以下的区域进行建门。即，对白血球LK的似然度低的进行建门。该建门的结果是，提取了白细胞LK以外的细胞(或组织)。在该一个例子中，建门的结果是，提取了含有血小板凝集块PA的细胞(或组织)。接着，基于提取的结果，将血小板凝集块PA的置信度PR作为X轴而显示图表G，对血小板凝集块PA的似然度高的区域进行建门。另外，在门附近显示门中含有的细胞(或组织)的个数以及比例。这样地显示表示建门的结果的统计值，能够定量地识别分类的结果，因此是有用的。

通过一系列的建门，从所有的输入图像IP中限定是血小板凝集块PA的似然度高的输入图像IP的组。即，首先选择在输入图像IP中的对白细胞LK的适合度低的。接着，描绘所选择的输入图像IP中的属于血小板凝集块PA的置信度PR的直方图，通过门指定置信度PR的值为一定值以上的输入图像IP的组。

图13表示对血小板凝集块PA的分类精度进行定量的结果的一个例子。在该一个例子中，表示使用预先人为地分类的数据集，对基于在图12中示出的门设定的血小板凝集块PA的分类精度进行定量的结果。

图14表示基于细胞分选仪的分选性能的一个例子(施加基于TRAP的刺激的情况)。

图15表示基于细胞分选仪的分选性能的一个例子(未施加基于TRAP的刺激的情况)

在图14和图15所示的一个例子是以下实施例：通过在图12中示出的门设定来指定使用细胞分选仪(未图示)而进行分选的细胞群，根据该建门设定进行细胞分选，并通过显微镜确认分选的样品，确认分选性能。从图14和图15所示的一个例子的直方图之间的比较可知，由于TRAP刺激而血小板凝集块增加。还确认了基于进一步设定的算法，通过细胞分选仪进行细胞分选，由此能够浓缩血小板凝集块。

图16表示被分类为血小板凝集块PA的置信度PR的直方图显示的一个例子。在图16(A)所示的一例中，群比较偏向直方图的两端。与此相比，在图16(B)所示的一个例子中，更多的群属于直方图的中间区域。在以高精度进行分类的情况下，期待群偏向在直方图两端附近，因此可以说在如图16(B)地在中间区域包含多个图像的情况下分类的质量并不太高。这样，通过使用本发明，能够得到对于分类的精度、准确性的信息。

图17表示将图表G的显示形式作为散布图的情况的一个例子。图17是横轴(X轴)表示对于血小板凝集块PA的置信度PR，纵轴(Y轴)表示对于单一血小板(血小板SP)的置信度PR的散布图的例子。这样，也能够以多维的绘图来显示。

图18是表示根据置信度PR对输入图像IP进行分类的结果的一个例子的图。是列举了在血小板凝集块PA的直方图上在不同的范围设定门，并包含在其中的输入图像IP的一个例子的数据。图18(A)表示置信度大于0.999的输入图像IP的组，图18(B)表示置信度在0.99～0.999之间所包含的输入图像IP的组，图18(C)表示置信度在0.98～0.99之间所包含的输入图像IP的组。

这样，通过在直方图上使门设定发生变化，变得能够限定作为分类对象的输入图像IP的组。

此外，在上述的实施方式以及变形例中，说明了类别判定部220通过神经网络CNN来实现的例子，但并不限定于此。

类别判定部220也可以通过决策树学习、支持向量机、聚类、贝叶斯网络、隐马尔可夫模型、集成学习、提升等已有的单元来实现。

以上，参照附图详细说明了本发明的实施方式，但具体的结构并不限于该实施方式，在不脱离本发明的主旨的范围内能够进行适当变更。

此外，上述的各个设备在内部具有计算机。而且，上述的各个设备的各个处理的过程以程序的形式存储在计算机可读取的存储介质中，通过计算机读出并执行该程序，进行上述处理。在此，计算机可读存储介质是指磁盘、磁光盘、CD-ROM、DVD-ROM、半导体存储器等。另外，也可以通过通信电线将该计算机程序发布给计算机，接收到该发布的计算机执行该程序。

另外，上述程序也可以用于实现上述的功能的一部分。进一步地，也可以是能够通过与已经存储在计算机系统中的程序的组合来实现上述功能的、所谓的差分文件(差分程序)。

Claims

1.一种显示控制设备，其特征在于，具备：

置信度获取部，所述置信度获取部获取由计算输入图像的类别判定结果的置信度的置信度计算部计算出的所述置信度；以及

显示控制部，所述显示控制部以图表的显示轴中的至少一个轴作为表示所述置信度的置信度轴的方式显示所述置信度获取部获取的所述置信度的每个所述输入图像的分布。

2.根据权利要求1所述的显示控制设备，其特征在于，

所述显示控制部以将所述图表的显示轴中的多个显示轴作为所述置信度轴的方式进行显示。

3.根据权利要求1或2所述的显示控制设备，其特征在于，

所述显示控制部以将表示所述类别判定结果示出的多个类别的所述置信度彼此的组合的组合置信度的轴作为所述置信度轴的方式进行显示。

4.根据根据权利要求1～3中任一项所述的显示控制设备，其特征在于，还具备：

设定值获取部，所述设定值获取部获取涉及显示在所述图表的所述置信度的门设定值，

所述显示控制部使表示基于所述设定值获取部获取的所述设定值的门的门图像显示在所述图表上。

5.根据根据权利要求4所述的显示控制设备，其特征在于，还具备：

门判定部，所述门判定部基于所述设定值获取部获取的所述门的设定值，对所述输入图像是否存在于所述门的设定值的内部进行判定。

6.一种显示控制方法，其特征在于，

获取输入图像的类别判定结果的置信度，

以图表的显示轴中的至少一个轴作为表示所述置信度的置信度轴的方式显示所述置信度的每个所述输入图像的分布。

7.根据权利要求6所述的显示控制方法，其特征在于，

获取涉及在所述图表上显示的所述置信度的门的设定值，

使表示基于所述设定值的门的门图像显示在所述图表上。

8.根据权利要求6或7所述的显示控制方法，其特征在于，

基于所述类别判定结果的置信度，门判定部进行是否再学习的判断、或者进行再学习方法的决定。

9.一种显示控制程序，其特征在于，用于在显示控制设备所具备的电脑上执行：

获取输入图像的类别判定结果的置信度的步骤；以及

以图表的显示轴中的至少一个轴作为表示所述置信度的置信度轴的方式显示所述置信度的每个所述输入图像的分布的步骤。