CN107430757A - 细胞诊断支援装置、细胞诊断支援方法、远程诊断支援系统、服务提供系统及图像处理方法 - Google Patents

Abstract

本发明的目的是在组织或细胞具有各种各样的形状的情况下，也计算细胞的变形情况的特征量，根据图像实现组织/细胞判定。本发明的图像诊断支援装置执行以下处理：输入细胞的图像的处理；从处理的对象图像提取多个方向成分的特征量的处理；使用多个上述特征量判断上述图像是否符合一个分类的处理；以及判定是否对于预先设定的全部的分类结束了上述判断处理的处理。

Description

细胞诊断支援装置、细胞诊断支援方法、远程诊断支援系统、 服务提供系统及图像处理方法

技术领域

本发明涉及细胞诊断支援装置、细胞诊断支援方法、远程诊断支援系统、服务提供系统及图像处理方法，例如涉及用于支援细胞诊断的图像处理技术。

背景技术

近年来，在疾病的诊断中，通过病变部组织标本的显微镜观察进行的“病理诊断”占有重要的位置。在病理诊断中，将从标本制作到诊断的大部分依赖于人手，难以实现自动化。特别是，诊断中的病理医生的能力和经验较为重要，依赖于其个人能力。另一方面，随着高龄化而癌患者增加，在医疗现场，病理医生不足。因此，支援病理诊断的图像处理技术及远程诊断等的需求增加。这样，面向病理诊断支援，为了判定是否是病理组织，例如有在专利文献1中提出的技术。在该专利文献1中，从高倍率图像生成低倍率图像，在用低倍率图像将图像简单分类后，使用作为低倍率图像的来源的高倍率图像将病理组织分类。

先行技术文献

专利文献

专利文献1：特开2010－203949号公报

发明内容

发明要解决的问题

但是，在组织/细胞图像中，根据异常细胞(例：癌)的类型或异常细胞(例：癌)的发展程度，组织或细胞会具有各种各样的形状，根据异常细胞(例：癌)的发展程度，有时会符合多个怀疑的分类。因此，如果缩减为1个分类，则存在有可能导致误诊的问题。因此，在如专利文献1那样从高倍率图像生成低倍率图像、用低倍率图像将图像简单分类后、使用作为低倍率图像的来源的高倍率图像将组织/细胞分类的情况下，即使有可能符合多个异常细胞的类型也会缩减为1个分类，存在导致误检测的问题。

此外，在病理诊断中，有想要根据1个图像将细胞/组织进行分类的需要。但是，在专利文献1中需要使用高倍率和低倍率双方的图像，有不能根据1个图像将组织/细胞进行分类的问题。

本发明是鉴于这样的状况而做出的，目的是提供一种用于即使在根据异常细胞(例：癌)的类型或异常细胞(例：癌)的发展程度而组织或细胞具有各种各样的形状的情况下、也根据1个图像实现组织/细胞判定的技术。

解决问题所采用的手段

为了解决上述问题，在本发明中，按异常细胞(例：癌)的每个类别计算细胞的变形状况的特征量。更具体地讲，本发明的细胞诊断支援装置执行：从处理的对象图像提取多个方向成分的特征量的处理；使用多个上述特征量判断上述图像是否符合一个分类的处理；以及判定是否对于预先设定的全部的分类结束了上述判断处理的处理。

与本发明关联的更多的特征根据本说明书的记述及附图会变得清楚。此外，本发明的技术方案可以通过要素及多种多样的要素的组合及以后的详细的记述和附带的权利要求书的形态来达成、实现。

本说明书的记述不过是典型的例示，需要理解的是本发明的权利要求书的范围或应用例在任何的意义下都不是限定性的。

发明效果

根据本发明，即使在根据异常细胞(例：癌)的类型及异常细胞(例：癌)的发展程度而组织或细胞具有各种各样的形状的情况下，通过按异常细胞(例：癌)的每个类别计算细胞的变形状况的特征量，也能够抑制误检测或过检测，能够根据1个图像将组织/细胞进行分类。

附图说明

图1是表示本发明的第1实施方式的图像处理装置的功能的框图。

图2是表示本发明的第1及第2实施方式的图像处理装置的硬件结构例的图。

图3是用于说明特征提取部11的滤波器的一例的图。

图4是用于说明特征提取部11的一方向的动作的一例的图。

图5是用于说明第1实施方式的特征提取部11的多个方向的动作的一例的图。

图6是用于说明一分类判定部12的动作的一例的图。

图7是用于说明癌判定的GUI的一例的图。

图8是用于说明描绘部14的动作的一例的图。

图9是用于说明第1实施方式的图像处理装置1的整体动作的流程图。

图10是表示本发明的第2实施方式的图像处理装置的功能的框图。

图11是用于说明第2实施方式的一分类判定部12的动作的一例的图。

图12是用于说明学习部16的动作的流程图。

图13是用于说明第2实施方式的图像处理装置1的整体动作的流程图。

图14是表示搭载有本发明的图像处理装置的远程诊断支援系统的概略结构的图。

图15是表示搭载有本发明的图像处理装置的网络受托服务提供系统的概略结构的图。

具体实施方式

本发明涉及用于检测通过搭载在显微镜上的相机等摄影装置对玻璃载片上的组织/细胞切片等进行摄影而得到的图像内包含的特定的组织或细胞(例如，癌等)的图像处理技术。本发明的实施方式提供以下这样的图像处理装置及其方法：捕捉细胞的变形情况，按异常细胞(例：癌)的每个类别判定有无异常细胞(例：癌)，计算异常细胞(例：癌)疑似度，再根据预先设定的全部类别的判定结果将异常细胞(例：癌)进行分类，由此，实现异常细胞(例：癌)的检测遗漏及误检测抑制。

以下，参照附图对本发明的实施方式进行说明。在附图中，也有将在功能上相同的要素用相同的标号表示的情况。另外，附图表示了遵循本发明的原理的具体的实施方式和安装例，但它们是用于本发明的理解的，决不是用于限定地解释本发明的。

在本实施方式中，进行了本领域技术人员足够实施本发明的详细的说明，但也可以是其他的安装、形态，需要理解的是能够不脱离本发明的技术思想的范围和主旨而进行结构/构造的变更及多种多样的要素的替换。因而，不应将以下的记述限定于此来解释。

进而，本发明的实施方式如后述那样，既可以以在通用计算机上动作的软件安装，也可以以专用硬件或软件与硬件的组合来安装。

以下，以“作为程序的各处理部(例如，特征提取部等)”为主语(动作主体)对本发明的实施方式的各处理进行说明，但由于程序通过由处理器(CPU等)执行而一边使用存储器及通信端口(通信控制装置)一边进行被决定的处理，所以也可以为以处理器为主语的说明。

(1)第1实施方式

<图像处理装置的功能结构>

图1是表示本发明的实施方式的图像处理装置的功能结构的框图。图像处理装置1具有输入部10、特征提取部11、一分类判定部12、多分类判定部13、描绘部14、记录部15、控制部91和存储器90。该图像处理装置既可以安装在虚拟切片等的组织/细胞图像取得装置内，也可以如后述(第3至第4实施方式)那样安装在经由网络而与组织/细胞图像取得装置连接的服务器内。

图像处理装置1中的输入部10、特征提取部11、一分类判定部12、多分类判定部13、描绘部14及记录部15既可以由程序实现，也可以模块化而实现。

向输入部10输入图像数据。例如，输入部10也可以取得内置在显微镜中的相机等摄像机构以规定时间间隔拍摄的JPG、Jpeg2000、PNG、BMP形式等的被编码的静止图像数据等，将该图像作为输入图像。此外，输入部10也可以从MotionJPEG、MPEG、H.264、HD/SDI形式等的运动图像数据中提取规定间隔的帧的静止图像数据，将该图像作为输入图像。此外，输入部10也可以将摄像机构经由总线或网络等取得的图像作为输入图像。此外，输入部10也可以将已经存储在可拆装的记录介质中的图像作为输入图像。

特征提取部11从图像中取得关于细胞的多个方向成分等的特征量。

一分类判定部12根据提取出的特征量计算细胞的变形状况，关于一分类，分类是正常细胞还是异常细胞。

多分类判定部13使用预先设定的多个一分类的分类结果将组织/细胞进行分类。

描绘部14以将由多分类判定部13分类的异常细胞包围的方式在图像上描绘检测框。

记录部15将由描绘部14在原图像上描绘了检测框的图像向存储器90保存。

控制部91由处理器实现，连接于图像处理装置1内的各要素。图像处理装置1的各要素的动作是上述各构成要素的自律性的动作，或通过控制部91的指示而进行的动作。

这样，在本实施方式的图像处理装置1中，其特征在于，使用由特征提取部11求出的表示细胞的变形情况的特征量，由一分类判定部12关于一分类，分类是正常细胞还是异常细胞，由多分类判定部13使用预先设定的多个一分类的分类结果将组织/细胞进行分类。

<图像处理装置的硬件结构>

图2是表示本发明的实施方式的图像处理装置1的硬件结构例的图。

图像处理装置1具有执行各种程序的CPU(处理器)201、保存各种程序的存储器202、保存各种数据的存储装置(相当于存储器90)203、用于输出检测后图像的输出装置204、用于由用户输入指示或图像等的输入装置205、和用于与其他装置进行通信的通信设备206，它们通过总线207相互连接。

CPU201根据需要而从存储器202读入各种程序并执行。

存储器202保存作为程序的输入部10、特征提取部11、一分类判定部12、多分类判定部13、描绘部14和记录部15。另外，学习部16是在第2实施方式中需要的结构，第1实施方式的图像处理装置1不包含该学习部16。

存储装置203存储有处理对象图像、由一分类判定部12生成的一分类的分类结果和其数值、由多分类判定部13生成的组织/细胞的分类结果、由描绘部14生成的用于描绘检测框的位置信息等。

输出装置204由显示器、打印机、扬声器等设备构成。例如，输出装置204将由描绘部14生成的数据显示在显示器画面上。

输入装置205由键盘、鼠标、麦克风等设备构成。通过输入装置205向图像处理装置1输入用户的指示(包括处理对象图像的决定)。

通信设备206，作为图像处理装置1不是必须的结构，在与组织/细胞图像取得装置连接的个人计算机等中包含通信设备的情况下，图像处理装置1也可以不保持通信设备206。通信设备206例如进行接收从经由网络连接的其他装置(例如服务器)发送来的数据(包括图像)、向存储装置203保存的动作。

<各部的结构和动作>

以下，对各要素的结构和动作详细地说明。

(i)特征提取部11

求出多个方向成分的特征量。作为一例，在图3中表示求出0度的方向的特征量的滤波器。例如，设图3的区域1(细胞及细胞核以外的区域)，区域2(细胞区域)、区域3(细胞核区域)的滤波器系数分别为0、1、－1。如图4所示，使用式1，对于对象图像的从左上到右下，求出各滤波器的计算结果，通过将计算结果的总和除以处理数N，求出0度(i＝0)的滤波器的特征量fi。其中，在式1中，pj表示像素值，kj表示滤波器系数，m表示滤波器系数的数量。同样，如图5所示，使用求出从0度到359度的方向的特征量的滤波器，计算各方向的特征量。接着，如图5所示，使用从0度到359度的各特征量(f0～f359)，计算特征量的分布。其中，在图5中，使用了求出各方向的特征量的滤波器，但也可以使用求出一方向的特征量的滤波器和使对象图像每次旋转1度的图像，来求出各方向的特征量fi。

[数式1]

(ii)一分类判定部12

一分类判定部12如图6所示，根据由上述特征提取部11求出的特征量fi的分布，使用式2和式3计算特征量fi的分布的方差值var。在式2中，fav是fi的平均值，fsd是fi的标准偏差。此外，在式3中，t是要求出的多个方向成分的数量，例如表示360。

[数式2]

zi＝(fi-fav)/fsd…式2

接着，计算出的方差值var表示细胞的均匀性，根据方差值分类是正常细胞还是异常细胞。将计算出的方差值作为异常细胞(例：癌)疑似度的值。如图6(a)所示，在输入了包括呈均匀的形状的细胞的组织/细胞图像的情况下，成为如图6(b)所示的特征量分布，由于表示异常细胞(例：癌)疑似度的值的方差值var小于阈值Th，所以将输入的对象图像分类为正常细胞。另一方面，如图6(c)所示，在输入了包括呈不均匀的形状的细胞的组织/细胞图像的情况下，成为如图6(d)所示的特征量分布，由于表示异常细胞(例：癌)疑似度的值的方差值var为阈值Th以上，所以将输入的对象图像分类为异常细胞。

图7作为细胞判定的一例，是表示癌判定的GUI(图形用户界面)的一例的图。图7是胃癌的情况的一例，是表示低分化管状腺癌、中分化管状腺癌、高分化管状腺癌、乳头状腺癌、印戒细胞癌的分类结果的图。在图7的例子中，关于低分化管状腺癌，是一分类判定部12分类为在所输入的对象图像中包含作为异常细胞的低分化管状腺癌、将低分化管状腺癌的癌疑似度的值计算为0.89的例子。此外，关于中分化管状腺癌，是一分类判定部12分类为在所输入的对象图像中不包含作为异常细胞的中分化管状腺癌、为正常细胞、将中分化管状腺癌的癌疑似度的值计算为0.31的例子。此外，关于高分化管状腺癌，是一分类判定部12分类为在所输入的对象图像中不包含作为异常细胞的高分化管状腺癌、为正常细胞、将高分化管状腺癌的癌疑似度的值计算为0.21的例子。此外，关于乳头状腺癌，是一分类判定部12分类为在所输入的对象图像中不包含作为异常细胞的乳头状腺癌、为正常细胞、将乳头状腺癌的癌疑似度的值计算为0.11的例子。此外，关于印戒细胞癌，是一分类判定部12分类为在所输入的对象图像中不包含作为异常细胞的印戒细胞癌、为正常细胞、将印戒细胞癌的癌疑似度的值计算为0.05的例子。

(iii)多分类判定部13

多分类判定部13将由上述一分类判定部12求出的作为预先设定的多个一分类的结果的异常细胞(例：癌)疑似度的值与任意的阈值Th比较，仅将超过了阈值Th的异常细胞(例：癌)的类别显示在异常细胞(例：癌)疑似度判定结果中。在图7的例子中，在癌疑似度判定结果中显示有低分化管状腺癌。根据异常细胞(例：癌)的发展度及类型，有判定为多个异常细胞(例：癌)的类别的情况。因此，也有多个异常细胞(例：癌)疑似度的值超过阈值Th的情况，在此情况下，在异常细胞(例：癌)疑似度判定结果中显示多个异常细胞(例：癌)的类别。

(iv)描绘部14

描绘部14针对在一分类判定部12中判定为异常细胞(例如癌等)的项目，在图7中按下了“图像”按钮的情况下，如图8所示，为了表示怀疑为异常细胞(例：癌)的部位而在所输入的对象图像内描绘检测框。另一方面，针对判定为正常细胞的项目，在图7中按下了“图像”按钮的情况下，不将检测框描绘到输入的对象图像上，而将所输入的对象图像原样显示。

(v)记录部15

记录部15将用于由描绘部14在输入的对象图像上描绘检测框的坐标信息和该对象图像保存到存储器90。

<图像处理装置的处理次序>

图9是用于说明本发明的实施方式的图像处理装置1的动作的流程图。以下，以各处理部(输入部10、特征提取部11等)为动作主体进行记述，但也可以替换为以CPU201为动作主体，由CPU201执行作为程序的各处理部。

(i)步骤801

输入部10受理所输入的图像，将该输入图像向特征提取部11输出。

(ii)步骤802

特征提取部11使用上述式1，求出多个方向成分的特征量fi。

(iii)步骤803

一分类判定部12使用特征提取部11输出的特征量fi，通过上述式2、3计算表示特征量fi的分布的方差值var。

(iv)步骤804

一分类判定部12将计算出的方差值var与阈值Th比较。即，在方差值var≥阈值Th的情况下，处理向步骤805转移。另一方面，在var<阈值Th的情况下，处理向步骤806转移。

(v)步骤805

一分类判定部12对分类结果res设定异常细胞(例如1)。

(vi)步骤806

一分类判定部12对分类结果res设定正常细胞(例如0)。

(vii)步骤807

多个判定部13由于对预先设定的全部类别进行一分类判定部12，所以重复上述步骤802到806。通过重复步骤802到806的步骤，能够针对预先设定的全部类别，判定是正常细胞还是异常细胞。另外，由于针对各类别用于求出特征量fi的滤波器(图3)的系数不同，所以在针对别的类别进行分类处理的情况下该滤波器系数被变更，处理向步骤802转移。如果判定为全类别的判定结束，则向步骤808转移。

(viii)步骤808

描绘部14针对被判定为异常细胞的类别，在按下了图7所示的图像按钮时，将表示异常细胞的检测框描绘到图像上而显示。描绘部14针对被判定为正常细胞的类别，在按下了图7所示的图像按钮时，不在图像上描绘检测框。

(ix)步骤809

记录部15将用于由描绘部14在输入的对象图像上描绘检测框的坐标信息和该对象图像保存到存储器90(相当于存储装置203)。

根据本发明的实施方式，使用多个方向成分的特征量来求出表示细胞的变形情况的方差值。因而，关于一分类，能够抑制误检测及过检测，根据1个图像分类是正常细胞还是异常细胞。

此外，由于使用预先设定的多个一分类的分类结果将组织/细胞分类，所以能够进行与异常细胞(例：癌)的发展度对应的异常细胞(例：癌)疑似度判定。

此外，不是针对全部分类同时进行判断，而是按每个分类判定是否符合，从而能够进行抑制了误检测的判定。

(2)第2实施方式

在图10中表示有关第2实施方式的图像处理装置1。如图10所示，包含大部分的与第1实施方式的图1相同的结构，但特征提取部11、一分类判定部12的动作与图1不同。此外，学习部16为追加。因而，这里使用图10对处理不同的结构和追加的结构进行说明，此外，使用图13对与图9不同的整体的处理流程进行说明。

<各部的结构和动作>

以下，对与图1不同的各要素的结构和动作详细地说明。

(i)学习部16

学习部16在内部中包含与特征提取部11和一分类判定部12相同的结构，使用这些、例如使用作为以往技术的机械学习技术，学习细胞的变形情况。另外，由学习部16学习的输入图像与作为评价对象输入的图像不同。

即，在由上述特征提取部11求出的多个方向成分的特征量fi中，包含有表示细胞的一部分的形状的信息。

一分类判定部12如图11所示，使用由上述特征提取部11求出的多个方向成分的特征量fi，根据式4和式5，如果输入的组织/细胞图像内的细胞是正常细胞，则例如使用作为以往技术的机械学习技术来学习细胞的变形情况，以使得例如通过逻辑回归处理判定为正常细胞。此外，如果输入的组织/细胞图像内的细胞是异常细胞，则学习细胞的变形情况，以使得通过逻辑回归处理判定为异常细胞。其中，在式4中，w表示权重的矩阵，f表示根据输入图像求出的各方向成分fi的矩阵，b表示偏移值，g表示非线性函数，y表示计算结果，通过机械学习，求出w的权重和b的偏移值。此外，在式5中，pj表示像素值，wj表示滤波器系数，bi表示偏移值，m表示滤波器系数的数量，N表示处理数，h表示非线性函数。例如，作为机械学习技术，也可以使用Convolutional Neural Network。

[数式3]

y＝g(w×f+b)…式4

[数式4]

学习部16使用多个学习用图像，反复进行上述特征提取部11和上述一分类判定部12，求出权重w、滤波器系数wj、偏移值b和bi，制作判定是正常细胞还是异常细胞的识别器。此外，学习部16将求出的权重w、滤波器系数wj、偏移值b和bi向存储器保存。

(ii)特征提取部11

特征提取部11从存储器读入滤波器系数wj、偏移值bi，对从输入部10输出的想要判定的输入图像，使用式5，如图11所示使用求出从0度到359度的方向的特征量的滤波器，计算各方向的特征量fi。

(iii)一分类判定部12

一分类判定部12从存储器读入权重w、偏移值b，使用式5，如图11所示，根据由上述特征提取部11求出的特征量fi，判定细胞是正常还是异常。

<图像处理装置的硬件结构>

本发明的实施方式的图像处理装置1的硬件结构例与图2是同样的。但是，在第2实施方式的情况下，图像处理装置1与第1实施方式不同，在存储器202中保存学习部16。其以外的图像处理装置1的硬件结构与图像处理装置1相同。

<图像处理装置的处理次序>

图12是用于说明本发明的实施方式的图像处理装置1的学习部16的动作的流程图。以下，以学习部16为动作主体进行了记述，但也可以替换为以CPU201为动作主体，由CPU201执行作为程序的各处理部。

(i)步骤1201

输入部10受理以学习用途输入的图像，将该输入图像向学习部16输出。

(ii)步骤1202

学习部16使用上述式1求出多个方向成分的特征量fi。

(iii)步骤1203

学习部16使用式4和式5学习细胞的变形情况，计算权重w、滤波器系数wj、偏移b、bi。

(iv)步骤1204

学习部16将计算出的权重w、滤波器系数wj、偏移b、bi向存储器90保存。另外，通过学习而对预先设定的全部类别(例如，全部种类的癌细胞)求出权重w、滤波器系数wj、偏移b及bi。

图13是用于说明本发明的实施方式的图像处理装置1的动作的流程图。以下，以各处理部(输入部10、特征提取部11等)为动作主体进行记述，但也可以替换为以CPU201为动作主体，由CPU201执行作为程序的各处理部。

(i)步骤1301

输入部10受理想要判定的输入图像，将该输入图像向特征提取部11输出。

(ii)步骤1302

特征提取部11从存储器90读入滤波器系数wj、偏移bi，使用上述式5求出多个方向成分的特征量fi。

(iii)步骤1303

一分类判定部12从存储器90读入权重w、偏移b，通过式4算出计算结果y。

(iv)步骤1304

一分类判定部12将算出的计算结果y与阈值Th2比较。即，在计算结果y≥阈值Th2的情况下，处理向步骤1305转移。另一方面，在计算结果y<阈值Th2的情况下，处理向步骤1306转移。

(v)步骤1305

一分类判定部12对分类结果res设定异常细胞(例如1)。

(vi)步骤1306

一分类判定部12对分类结果res设定正常细胞(例如0)。

(vii)步骤1307

多分类判定部13由于对预先设定的全部类别进行一分类判定部12，所以重复上述步骤1302到1306。通过重复步骤1302到1306的步骤，能够针对预先设定的全部类别，判定是正常细胞还是异常细胞。在针对别的类别判定的情况下，从存储器读入该类别用的滤波器系数wj及偏移bi，求出与该类别对应的特征量fi。如果判定为全类别的判定结束，则向步骤1308转移。

(viii)步骤1308

描绘部14针对被判定为异常细胞的类别，在按下了图7所示的图像按钮时，将表示异常细胞的检测框描绘到图像上而显示。描绘部14针对被判定为正常细胞的类别，在按下了图7所示的图像按钮时，不在图像上描绘检测框。

(ix)步骤1309

记录部15将用于由描绘部14在输入的对象图像上描绘检测框的坐标信息和该对象图像向存储器90(相当于存储装置203)保存。

根据第2实施方式，使用多个方向成分的特征量来学习细胞的变形情况，计算权重、滤波器系数、偏移，制作判定是正常细胞还是异常细胞的识别器，所以关于一分类，能够抑制误检测或过检测而根据1个图像来分类是正常细胞还是异常细胞。

此外，由于使用由预先设定的多个一分类的识别器得到的分类结果将组织/细胞进行分类，所以能够进行与异常细胞(例：癌)的发展度对应的异常细胞(例：癌)疑似度判定。

进而，不是针对全部分类同时进行判断，而是按各分类判定是否符合，从而能够进行抑制了误检测的判定。

(3)第3实施方式

图14是表示本发明的第3实施方式的远程诊断支援系统1400的结构的功能框图。远程诊断支援系统1400具有服务器1403和图像取得装置1405。

图像取得装置1405是例如装备有虚拟切片装置或相机的个人计算机那样的装置，具有拍摄图像数据的摄像部1401、和用于显示从服务器等1403传送来的判定结果的显示部1404。另外，虽然没有图示，但图像取得装置1405具有将图像数据向服务器等1403发送或接收从服务器等1403发送来的数据的通信设备。

服务器等1403具有对从图像取得装置1405传送来的图像数据进行本发明的第1或第2实施方式的图像处理的图像处理装置1、和保存从图像处理装置1输出的判定结果的保存部1402。另外，虽然没有图示，但服务器等1403具有接收从图像取得装置1405发送来的图像数据、或向图像取得装置1405发送判定结果数据的通信设备。

图像处理装置1针对由摄像部1401拍摄的图像数据内的细胞，按异常细胞(例：癌)的每个类别判定是正常细胞还是异常细胞。此外，使用由预先设定的多个一分类的识别器得到的分类结果，进行与异常细胞(例：癌)的发展度对应的异常细胞(例：癌)疑似度判定。显示部1404将从服务器等1403传送来的判定结果显示在图像取得装置1405的显示画面上。

作为图像取得装置1405，也可以使用具有拍摄部的再生医疗装置、iPS细胞的培养装置、或者MRI或超声波图像摄像装置等。

根据第3实施方式，针对从地点不同的施设等传送来的图像内的细胞，判定是正常细胞还是异常细胞，将判定结果向地点不同的施设等传送，用处于该施设等中的图像取得装置的显示部显示判定结果，由此能够提供远程诊断支援系统。

(4)第4实施方式

图15是表示本发明的第4实施方式的网络受托服务提供系统1500的结构的功能框图。网络受托服务提供系统1500具有服务器等1503和图像取得装置1505。

图像取得装置1505是装备有例如虚拟切片装置或相机的个人计算机那样的装置，具有：摄像部1501，拍摄图像数据；保存部1504，保存从服务器等1503传送来的识别器；以及进行本发明的第2实施方式的图像处理的图像处理装置1，读入从服务器等1503传送来的识别器，针对由图像取得装置1505的摄像部1501新拍摄的图像内的细胞，判定是正常细胞还是异常细胞。另外，虽然没有图示，但图像取得装置1505具有将图像数据向服务器等1503发送、或接收从服务器等1503发送来的数据的通信设备。

服务器等1503具有对从图像取得装置1505传送来的图像数据进行本发明的第2实施方式的图像处理的图像处理装置1、和保存从图像处理装置1输出的识别器的保存部1502。另外，虽然没有图示，但服务器等1503具有接收从图像取得装置1505发送来的图像数据、或向图像取得装置1505发送识别器的通信设备。

图像处理装置1进行机械学习而制作适合于地点不同的施设等的图像的识别器，以使得针对由摄像部1501拍摄的图像数据内的细胞将正常细胞判定为正常细胞，并且将异常细胞判定为异常细胞。

保存部1504保存从服务器等1503传送来的识别器等。

图像取得装置1505内的图像处理装置1从保存部1504读入识别器等，使用该识别器，针对由图像取得装置1505的摄像部1501新拍摄的图像内的细胞判定是正常细胞还是异常细胞，在图像处理装置1的输出装置204的显示画面上显示判定结果。

作为图像取得装置1505，可以使用具有拍摄部的再生医疗装置、iPS细胞的培养装置、或者MRI、超声波图像摄像装置等。

根据第4实施方式，进行机械学习而制作识别器等，以使得针对从地点不同的施设等传送来的图像内的细胞将正常细胞判定为正常细胞、并且将异常细胞判定为异常细胞，将识别器等向地点不同的施设等传送，由处于该施设等中的图像取得装置读入识别器，针对新拍摄的图像内的细胞判定是正常细胞还是异常细胞，由此，能够提供网络受托服务提供系统。

(5)总结

(i)本发明的第1实施方式的图像处理装置执行：计算多个方向成分的特征量的处理；求出表示细胞的变形情况的方差值的处理；关于一分类、根据1个图像分类是正常细胞还是异常细胞的处理；使用预先设定的多个一分类的分类结果将组织/细胞进行分类、进行与异常细胞(例：癌)的发展度对应的异常细胞(例：癌)疑似度判定的处理。更具体地讲，如式1所示求出多个方向成分的特征量，如式2和式3所示使用多个方向成分的特征量fi求出表示细胞的变形情况的方差值var。当求出特征量fi时，也可以不是使用多个方向的滤波器，而是使对象图像向多个方向旋转来求出特征量fi。计算出的方差值var表示细胞的均匀性，能够根据方差值分类是正常细胞还是异常细胞。

并且，由于使用预先设定的多个一分类的分类结果将组织/细胞进行分类，并进行异常细胞(例：癌)疑似度判定，所以能够显示与异常细胞(例：癌)的发展度对应的判定结果。

(ii)第2实施方式的图像处理装置执行：求出多个方向成分的特征量、使用所求出的特征量将细胞的变形情况进行机械学习的处理；使用通过机械学习求出的识别器，关于一分类，根据1个图像分类是正常细胞还是异常细胞的处理；使用预先设定的多个一分类的分类结果将组织/细胞进行分类并进行与异常细胞(例：癌)的发展度对应的异常细胞(例：癌)疑似度判定的处理。更具体地讲，如式1所示求出多个方向成分的特征量，如式4和式5所示将细胞的变形情况进行机械学习，以使得将正常细胞判定为正常细胞、并且将异常细胞判定为异常细胞，计算识别器的权重、滤波器系数、偏移。并且，使用通过机械学习求出的识别器的权重、滤波器系数、偏移，来针对想要判定的输入图像内的细胞，关于一分类能够根据1个图像来分类是正常细胞还是异常细胞。进而，使用预先设定的多个一分类的分类结果将组织/细胞进行分类，进行与异常细胞(例：癌)的发展度对应的异常细胞(例：癌)疑似度判定，所以能够显示与异常细胞(例：癌)的发展度对应的判定结果。

(iii)根据第3实施方式，针对从地点不同的施设等传送来的图像内的细胞，判定是正常细胞还是异常细胞，在处于地点不同的施设等中的图像取得装置的显示部上显示判定结果，由此能够提供远程诊断支援系统。

(iv)根据第4实施方式，进行机械学习而制作识别器等，以使得针对从地点不同的施设等传送来的图像内的细胞将正常细胞判定为正常细胞、并且将异常细胞判定为异常细胞，由处于地点不同的施设等中的图像取得装置读入该识别器，针对新拍摄的图像内的细胞判定是正常细胞还是异常细胞，由此能够提供网络受托服务提供系统。

(v)关于以上说明的各实施方式，能够进行以下这样的变形。

在特征提取部11、学习部16中，使用如图3所示的滤波器求出了多个方向成分的特征量，但也可以使用HOG等的其他的特征量，具有同样的效果。

在一分类判定部12中，使用逻辑回归将细胞的变形情况进行机械学习，但也可以使用线性回归或泊松回归等，具有同样的效果。

在一分类判定部12中，使用多个方向成分的方差值或机械学习进行了细胞的分类判定，但也可以使用基于多个方向成分的方差值的判定结果和基于机械学习的判定结果双方，具有同样的效果。

(vi)本发明也可以由实现实施方式的功能的软件的程序代码实现。在此情况下，向系统或装置提供记录有程序代码的存储介质，该系统或装置的计算机(或CPU、MPU)读出保存在存储介质中的程序代码。在此情况下，从存储介质读出的程序代码自身实现上述实施方式的功能，该程序代码自身及存储它的存储介质构成本发明。作为用于提供这样的程序代码的存储介质，例如使用软盘、CD－ROM、DVD－ROM、硬盘、光盘、光磁盘、CD－R、磁带、非易失性的存储卡、ROM等。

此外，也可以基于程序代码的指示，由在计算机上动作的OS(操作系统)等进行实际的处理的一部分或全部，通过该处理来实施上述实施方式的功能。进而，也可以在从存储介质读出的程序代码被写入到计算机上的存储器中之后，基于该程序代码的指示，计算机的CPU等进行实际的处理的一部分或全部，通过该处理实现上述实施方式的功能。

进而，也可以通过将实现实施方式的功能的软件的程序代码经由网络分发，将其保存到系统或装置的硬盘或存储器等存储机构、或者CD－RW、CD－R等存储介质中，在使用时由该系统或装置的计算机(或CPU、MPU)将保存在该存储机构或该存储介质中的程序代码读出并执行。

最后，这里叙述的过程及技术在本质上不与任何特定的装置关联，通过组件的任何相应的组合都能够安装。进而，通用目的的多种多样的类型的设备能够按照这里记述的方法使用。也有构建专用的装置对于执行这里叙述的方法的步骤而言更有益的情况。此外，通过在实施方式中公开的多个构成要素的适当的组合，能够形成各种各样的发明。例如，也可以从实施方式中表示的全部构成要素中将几个构成要素删除。进而，也可以将跨越不同实施方式的构成要素适当组合。关于本发明，与具体例关联而进行了记述，但它们在全部的观点上不是为了限定、而是为了说明。对于在本领域有技能的人而言，应可以理解有与实施本发明相适应的硬件、软件及固件的许多组合。例如，记述的软件可以用汇编程序、C/C++、perl、Shell、PHP、Java(注册商标)等大范围的程序或脚本语言安装。

进而，在上述实施方式中，关于控制线及信息线，表示了认为在说明上需要的部分，并不一定在制品上表示了全部的控制线及信息线。也可以将全部的结构相互连接。

除此以外，对于具有本技术领域的通常的知识的人而言，本发明的其他安装根据这里公开的本发明的说明书及实施方式的考察是显而易见的。记述的实施方式的多种多样的形态及/或组件不论是单独或任何组合都能够使用。

标号说明

1 图像处理装置

10 输入部

11 特征提取部

12 一分类判定部

13 多分类判定部

14 描绘部

15 记录部

16 学习部

90 存储器

91 控制部

201 CPU

202 存储器

203 存储装置

204 输出装置

205 输入装置

206 通信设备

1400 远程诊断支援系统

1500 网络受托服务提供系统

Claims (15)

1.一种细胞诊断支援装置，其特征在于，具有：

处理器，执行用于对对象图像进行图像处理的各种程序；以及

存储器，用于保存图像处理的结果；

上述处理器执行以下处理：

输入将细胞进行摄像而得到的图像的处理；

从上述对象图像提取多个方向成分的特征量的处理；以及

使用多个上述特征量，判断上述对象图像是否符合一个分类的处理。

2.如权利要求1所述的细胞诊断支援装置，其特征在于，

上述处理器还执行以下处理：判定是否对于预先设定的全部的分类结束了进行上述判断的处理。

3.如权利要求1所述的细胞诊断支援装置，其特征在于，

上述处理器在提取上述特征的处理中，使用多个方向的滤波器或使用使上述对象图像进行旋转而得到的多个旋转图像来提取上述特征量。

4.如权利要求1所述的细胞诊断支援装置，其特征在于，

上述处理器在进行上述判断的处理中，使用多个方向成分的上述特征量的方差来判断一分类。

5.如权利要求1所述的细胞诊断支援装置，其特征在于，

上述处理器在进行上述判断的处理中，使用通过对多个方向成分的上述特征量进行机械学习而求出的识别器来判断一分类。

6.如权利要求2所述的细胞诊断支援装置，其特征在于，

上述处理器在进行上述判定的处理中，使用预先设定的全部的一分类的结果来显示最终的判定结果。

7.一种细胞诊断支援方法，在对象图像中将希望的细胞进行分类，其特征在于，包括以下步骤：

执行用于对上述对象图像进行图像处理的各种程序的处理器输入将细胞进行摄像而得到的图像的步骤；

上述处理器从上述对象图像提取多个方向成分的特征量的步骤；以及

上述处理器对于上述对象图像，使用多个上述特征量判断上述对象图像是否符合一个分类的步骤。

8.如权利要求7所述的细胞诊断支援方法，其特征在于，

还包括以下步骤：上述处理器对于上述对象图像，判定是否对于预先设定的全部的分类结束了进行上述判断的步骤。

9.如权利要求7所述的细胞诊断支援方法，其特征在于，

上述处理器在提取上述特征的步骤中，使用多个方向的滤波器或使用使上述对象图像进行旋转而得到的多个旋转图像来提取上述特征量。

10.如权利要求7所述的细胞诊断支援方法，其特征在于，

上述处理器在进行上述判断的步骤中，使用多个方向成分的上述特征量的方差来判断一分类。

11.如权利要求7所述的细胞诊断支援方法，其特征在于，

上述处理器在进行上述判断的步骤中，使用通过对多个方向成分的上述特征量进行机械学习而求出的识别器来判断一分类。

12.如权利要求8所述的细胞诊断支援方法，其特征在于，

上述处理器在进行上述判定的步骤中，使用预先设定的全部的一分类的结果来显示最终的判定结果。

13.一种远程诊断支援系统，其特征在于，具有：

图像取得装置，具有拍摄图像数据的摄像装置；以及

服务器，具有权利要求1所述的细胞诊断支援装置；

上述图像取得装置向上述服务器发送上述图像数据；

上述服务器利用上述细胞诊断支援装置对接收到的上述图像数据进行处理并将进行上述判定后的细胞的图像和判定结果保存在存储器中，并且发送给上述图像取得装置，

上述图像取得装置将接收到的进行上述判定后的细胞的图像和判定结果显示在显示装置上。

14.一种服务提供系统，其特征在于，具有：

图像取得装置，包括拍摄图像数据的摄像装置、和权利要求1所述的细胞诊断支援装置；以及

服务器，具有权利要求1所述的细胞诊断支援装置；

上述图像取得装置向上述服务器发送上述图像数据；

上述服务器利用上述细胞诊断支援装置对接收到的上述图像数据进行处理，并将进行上述判定后的细胞的图像和识别器保存在存储器中，并且将进行上述判定后的细胞的图像和识别器发送给上述图像取得装置；

上述图像取得装置将接收到的进行上述判定后的细胞的图像和识别器保存；

上述图像取得装置所包括的上述细胞诊断支援装置使用识别器判定其他细胞的图像，并且将判定结果显示在显示装置上。

15.一种图像处理方法，在对象图像中将希望的细胞进行分类，其特征在于，包括以下步骤：

执行用于对上述对象图像进行图像处理的各种程序的处理器从上述对象图像提取多个方向成分的特征量的步骤；

上述处理器对于上述对象图像，使用多个上述特征量判断上述对象图像是否符合一个分类的步骤；以及

上述处理器对于上述对象图像，判定是否对于预先设定的全部的分类结束了进行上述判断的步骤的步骤。