CN111709941B - 一种面向病理图像的轻量级自动化深度学习系统及方法 - Google Patents

Abstract

本发明涉及一种面向病理图像的轻量级自动化深度学习系统，包括面向用户的业务与应用模块，和面向系统的数据处理模块；所述业务与应用模块用于接收外部指令、病理图像、标注信息并传输至数据处理模块，根据所述外部指令创建病理影像项目，确定所述病理影像项目对应的算法任务类别，每个算法任务类别对应一种或几种算法模型，接收和显示来自数据处理模块的输出结果；所述数据处理模块用于算法任务类别算法任务类别病理图像的数据处理，将所述标注信息添加在所述病理图像上生成标注数据，根据指定的算法模型对所述标注数据进行训练，输出每个算法模型在验证集上的效果评价指标，在测试集上进行测试和评估，输出最佳算法模型。

Description

一种面向病理图像的轻量级自动化深度学习系统及方法

技术领域

本发明涉及深度学习领域，特别是涉及一种面向病理图像的轻量级自动化深度学习系统及方法。

背景技术

随着近些年深度学习技术在计算机视觉领域取得的突破性进展，人工智能技术已经被广泛应用于如医疗，安防，无人驾驶等领域中。在病理图像判读和研究方面，按照相关统计，我国有执照的病理医生只有一万余人，缺口高达十万人，所以依靠人工智能辅助判读已经成为了公认的未来发展趋势。目前国内已有不少高校实验室，科研机构和医疗器械公司在做相关方面的研究，但是目前还没有没有安全、有效的产品能够落地来实际减少病理医生的工作负担。这主要是由于目前病理图像算法的开发模式所导致的，开发一套病理图像算法，需要病理医生和算法人员的密切配合，病理医生负责算法产品的设计和标注数据，算法人员则负责将算法产品实现。然而最好的病理医生都在医院里，医院很少有专业的算法人员，这就使得病理医生和算法人员沟通成本很高，使研发周期变慢。比如KI67和ER/PR的目的同属于计数阳性细胞核阴性细胞并计算百分比，只是标注数据有所不同，但是目前这种开发模式需要医生和算法人员进行多次不必要的沟通，浪费时间。除此之外，由于取样部位，选用试剂，染色方式，制片方式或是扫描成像的不同，不同医院或者厂家的病理切片图像差异性很大，并且不同医院对同一种病理图像的判读标准也不尽相同，所以很难开发出一套病理图像算法能够适用于所有不同来源的病理图像。

发明内容

为了解决上述技术问题，提出了本申请，本申请提供了一种面向病理图像的轻量级自动化深度学习系统及方法。

根据本申请的一个方面，提供了一种面向病理图像的轻量级自动化深度学习系统，包括面向用户的业务与应用模块，和面向系统的数据处理模块；所述业务与应用模块用于接收外部指令、病理图像、标注信息并传输至数据处理模块，根据所述外部指令创建病理影像项目，确定所述病理影像项目对应的算法任务类别，每个算法任务类别对应一种或几种算法模型，接收和显示来自数据处理模块的输出结果；所述数据处理模块用于算法任务类别算法任务类别病理图像的数据处理，将所述标注信息添加在所述病理图像上生成标注数据，根据指定的算法模型对所述标注数据进行训练，训练过程中，将标注数据划分为训练集、验证集和测试集，输出每个算法模型在验证集上的效果评价指标，在测试集上进行测试和评估，输出最佳算法模型。

进一步地，所述数据处理模块包括数据模块和算法模型模块，所述数据模块用于对接收到的病理图像进行数据处理，经过处理的病理图像输入到算法模型模块；所述算法模型模块根据接收到的经过处理的病理图像进行模型训练，包括手动训练选择模块和自动训练选择模块，所述手动训练选择模块提供手动选择模型、手动设置训练参数功能，自动训练选择模块提供自动匹配模型、自动调参、自动迭代以及自动评估功能。

进一步地，所述深度学习系统搭载在一块GPU上运行。

进一步地，所述深度学习系统支持GPU或服务器扩展，在使用多GPU或多服务器时，系统自动调度空闲的GPU进行训练或预测。

根据本申请的另一个方面，本申请还提供了一种面向病理图像的轻量级自动化深度学习方法，适用于一种面向病理图像的轻量级自动化深度学习系统，所述系统包括面向用户的业务与应用模块和面向系统的数据处理模块，面向系统的数据处理模块包括数据模块和算法模型模块，算法模型模块包括手动训练选择模块和自动训练选择模块，所述方法包括，

通过网页登陆面向病理图像的轻量级自动化深度学习系统，在业务与应用模块创建病理影像项目；

确定所述病理影像项目所属的算法任务类别，每个算法任务类别包括一种或几种算法模型；

上传病理切片到数据处理模块，采用数据模块进行处理和标注，生成标注数据；

选择模型训练方法，是手动训练选择模块还是自动训练选择模块；

当选择手动训练选择模块时，输入训练参数，接收每个算法模型在验证集上的效果评价指标，根据效果评价指标自主选择最佳算法模型；

当选择自动训练选择模块时，输入数据划分比例，接收系统输出的最佳算法模型；

将所述最佳算法模型部署在私有云或公有云上，对病理切片进行自动AI判读。

进一步地，所述当选择手动训练选择模块时，输入训练参数，训练参数包括数据划分比例、学习率、迭代次数以及损失函数，系统按照所述数据划分比例将所述标注数据划分为训练集、验证集和测试集，根据学习率、迭代次数以及损失函数对各个模型进行训练，输出每个算法模型在验证集上的效果评价指标。

进一步地，所述当选择自动训练选择模块时，输入数据划分比例，算法模型模块按照所述数据划分比例将所述标注数据划分为训练集、验证集和测试集，根据所选择的算法任务类别，自动进行模型选择、模型训练，反馈各个算法模型的评估指标，根据所述评估指标选择出最佳算法模型，输出最佳算法模型。

进一步地，当选择自动训练选择模块时，使用NAS进行模型架构搜索生成一个最佳算法模型。

进一步地，还包括导出所述最佳算法模型，在不同用户间进行分享。

与现有技术相比，采用本申请实施例的一种面向病理图像的轻量级自动化深度学习系统，可实现算法模型的手动训练和自动训练，支持市面上各种格式的病理图像全场图的上传，显示和标注。本系统轻量化，可直接部署到带有大容量存储设备和GPU的小型深度学习服务器上，该服务器可直接放置于医院的信息科，通过医院内网即可以访问到该服务，因此无需担心数据外泄和数据传输的开销。由于同一家医院一般使用的试剂，制片方式和电子扫描仪都是固定的，所以将此系统部署到医院里，系统里算法的训练数据与实际的测试数据有着相同的分布，因此此系统所训练出来的算法也更加准确并且更加适配于该医院。本系统的客户端是web端的，因此简洁易用无需安装，用户只需看一下使用说明，便可按照一套流水线式的流程指引，根据自己的需求创建项目，标注数据，训练模型和部署模型。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1是本发明深度学习系统结构图；

图2是本发明深度学习方法流程图（1）；

图3是本发明深度学习方法流程图（2）。

具体实施方式

下面，将参考附图详细描述本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

申请概述

自动化机器学习技术是将自动化与机器学习技术相结合，将算法选择，调参，迭代和评估完全自动化无需人工参与，为无机器学习算法知识的人员提供一套从标注数据，到模型训练，到模型部署的流水线式服务。

目前市面上已存在像谷歌，百度，阿里巴巴这种巨头公司提供的自动化机器学习平台，但是这些平台完全无法满足病理医生的要求，主要原因有如下4点，

1.这些平台上主要是为自然图片进行设计的，并不兼容和支持病理图像这种超大格式的全场图；

2.这些平台往往需要使用者有一定的机器学习或是编程知识才能够使用，绝大多数病理医生都没这些知识；

3.这些平台需要使用者先把数据都上传到云平台上才可以进行标注和训练，但是病理图像往往会涉及到隐私和伦理道德，医院为了保护患者的隐私，是不能将患者的病历资料公开或是传播的；另外病理图像都特别大，来回传输这些图像的速度非常慢，也造成了开发迭代周期变长；

4.这些大厂商的平台，无论是数据传输存储，还是使用计算资源都是按时计费的，使用价格较为昂贵。

针对上述技术问题，本申请的构思是以供一种专为病理图像分析设计的，可支持市面上各种格式病理图像全场图的上传，显示和标注的轻量化学习系统，可直接部署到带有大容量存储设备和GPU的小型深度学习服务器上，该服务器可直接放置于医院的信息科，通过医院内网即可以访问到该服务，因此无需担心数据外泄和数据传输的开销。由于同一家医院一般使用的试剂，制片方式和电子扫描仪都是固定的，所以将此系统部署到医院里，系统里算法的训练数据与实际的测试数据有着相同的分布，因此此系统所训练出来的算法也更加准确并且更加适配于该医院。本系统的客户端是web端的，因此简洁易用无需安装，用户只需看一下使用说明，便可按照一套流水线式的流程指引，根据自己的需求创建项目，标注数据，训练模型和部署模型。

在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。

示例性系统

一种面向病理图像的轻量级自动化深度学习系统，如图1所示，包括面向用户的业务与应用模块，和面向系统的数据处理模块。

业务与应用模块用于接收外部指令、病理图像、标注信息并传输至数据处理模块，根据所述外部指令创建病理影像项目，确定所述病理影像项目对应的算法任务类别，每个算法任务类别对应一种或几种算法模型，接收和显示来自数据处理模块的输出结果。业务与应用模块包含用户创建的各个针对不同病理医学的模块，如肝坏死区域分割，癌细胞检测等模块，这些模块根据算法任务总体可以分为四大类别：图像分类，目标检测，语义分割与实例分割。其中，图像分类是将图像分为不同类别，例如一张宫颈液基细胞切片可以被分为阴性，低度病变和高度病变等。目标检测则是将切片上的目标定位标识出来并给出其类别，最后统计每类细胞在图片上出现的个数，例如在宫颈液基切片中使用算法自动找出如ASCUS,HSIL,LSIL这些阳性病变细胞。语义分割则是将目标区域根据类别分割出来，分割出来的区域可以自动计算其面积来量化分析病情的发展情况，例如在肝坏死区域分割项目中，将坏死区域与非坏死区域分别分割出来，通过计算坏死区域的面积占整个组织面积的比例，可以判断出来肝坏死的发展情况。实例分割与语义分割类似，不同的是，实例分割会将相同类别中的不同个体也单独分割出来，例如肌肉细胞分割就是实例分割的一种，通过分割每一个肌肉细胞，可以用来计数肌肉纤维，计算细胞的平均长短径等。这一模块的目的主要是用来规划项目的总体需求，确定项目属于哪一类别算法任务，并定义类别标签和个数（例如在图像分类任务中，定义一张图片可以被分成哪几类）。

数据处理模块包括数据模块和算法模型模块。

数据模块包含数据的导入和导出，数据切分，数据特征工程，数据管理，数据标注，标注数据提取和数据统计，数据增强等功能，将经过处理的病理图像输入到算法模型模块。

数据的导入和导出是指用户可以通过客户端将数据传输到服务器上，或者将数据从服务器上下载到本地。

数据切分是特别针对病理切片全场图设计的功能，此功能可以将病理切片全场图切分成相等大小的若干小图，用以解决在全场图上标注困难等问题。

数据特征工程是对数据进行简单的预处理，特征提取，特征选择，降维等，如对图像进行归一化，直方图均衡化，线性滤波，使用阈值法转换成二值图等，也有对边缘，角点和兴趣点进行检测等功能。

数据管理则是将用户上传的数据进行收集，存储和应用的过程，本系统使用文件系统对数据进行存储，便于对数据直接进行修改，更新与扩充。

数据标注模块提供了用户对上传的图像数据进行标注的功能，用户在业务与应用模块确定好了当前项目模块的算法任务以及标签类别和个数后，则可以使用数据标注模块对图像数据进行标注，数据标注模块提供了矩形框和自由画笔等工具。对于图像分类任务，用户只需右键点击图片，为其标注相应的类别即可。对于目标检测，语义分割和实例分割类别的任务，用户需要用矩形框或者自由画笔工具，在图片上画出相应的目标或者区域，然后在画好的目标或区域内点击鼠标右键，则可以为这个目标或者区域加上类别标签。

标注数据提取功能是指用户在对数据进行标注之后，可以一键提取并下载标注文件与图像文件，此功能是为了方便用户对标注数据进行共享与复用。

数据统计功能是实时统计用户创建的项目中图像数据的个数，所占磁盘的空间，用户标注的数据总个数，以及每一类别标注标签的个数，此功能可以让用户可以实时知道目前数据集的详细情况，对当前数据集的总体情况有更全面的了解。

数据增强是为后面的模型训练提供帮助，病理图像是十分稀缺的，并且标注病理图像又是一项十分耗时耗费人力的工作，但是为了训练鲁棒性强，泛化性强的模型，足量的训练数据是十分必要的。为了尽可能在使用少量数据去训练优质的模型，往往需要人工对训练数据进行扩充增强，具体做法就是对训练数据进行随机的旋转，平移，HSV调整，翻转等，使训练数据产生微小变化从而形成新数据，使用此方法可以将数据扩充至至少十倍以上。

算法模型模块是本系统的核心模块，此模块包含InceptionV3+，ResNet，Unet，DeeplabV3+，FasterRcnn，MaskRcnn，RetinaNet以及FPN这些设计良好的且灵活的模型，也可以使用基于强化学习的NAS（神经架构搜索）技术进行动态架构搜索与优化。此模块既可以为有人工智能专业背景的用户省去调参和迭代模型这些冗杂的工作，又可以为没有人工智能专业背景的医生提供一套流水线式服务。

针对无人工智能专业知识的医生，此模块可以当做一个黑盒服务，用户无需知道模块内部复杂的构成，模型会实现自动选择，自动调参，自动迭代和自动评估等过程，只需要为黑盒提供标注好的数据，则此模块会将数据集按照用户给定的比例自动分成训练集、验证集和测试集并根据用户的数据和算法的任务类型，自动为用户选择模型，训练模型。在模型训练过程中，实时将模型在验证集上的表现通过浏览器页面反馈给用户。在模型训练完成后，将各个迭代次数的模型的评估指标反馈给用户，并推荐用户部署评估效果最好的模型到业务与应用模块中供用户以后使用。最后在测试集上进行测试与评估，给出最佳算法模型。对于有人工智能专业知识的用户，此模块提供自定义训练功能，用户可以根据自己的需求，手动选择所需要使用的模型，损失函数并且可以调整像学习率，迭代次数，批次大小这些超参数。

底层硬件模块是本系统的硬件基础，本系统服务器本着轻量化的原则，只需要搭载1块GPU（图像计算单元）即可正常运行起来。本系统支持扩展多块GPU或多台服务器，越多的GPU提供越多的算力，需要用户在成本和自训练效率中进行平衡取舍。在使用多GPU或多服务器时，本系统会自动调度空闲的GPU进行训练或者预测。

示例性方法

一种面向病理图像的轻量级自动化深度学习方法，如图2、3所示，包括：

S10，通过网页登陆面向病理图像的轻量级自动化深度学习系统，在业务与应用模块创建病理影像项目；确定所述病理影像项目所属的算法任务类别，每个算法任务类别对应一种或几种算法模型；

S20，上传病理切片到数据处理模块，采用数据模块进行处理和标注，生成标注数据；

S30，选择模型训练方法，是手动训练选择模块还是自动训练选择模块；

当选择手动训练选择模块时，输入训练参数，接收每个算法模型在验证集上的效果评价指标，根据效果评价指标自主选择最佳算法模型；训练参数包括数据划分比例、学习率、迭代次数以及损失函数，系统按照所述数据划分比例将所述标注数据划分为训练集、验证集和测试集，根据学习率、迭代次数以及损失函数对各个模型进行训练，输出每个算法模型在验证集上的效果评价指标；

当选择自动训练选择模块时，输入数据划分比例，接收系统输出的最佳算法模型；算法模型模块按照所述数据划分比例将所述标注数据划分为训练集、验证集和测试集，根据所选择的算法任务类别，自动进行模型选择、模型训练，反馈各个算法模型的评估指标，根据所述评估指标选择出最佳算法模型，输出最佳算法模型。[不同的是，选择手动训练，使用的模型还有各种训练的具体参数，都是需要用户自定义的。选择自动训练，系统会自动选择最佳算法模型，并使用默认的训练参数进行训练。在自动训练中，用户还可以使用NAS进行模型架构搜索生成一个最佳算法；

S40，将所述最佳算法模型部署在私有云或公有云上，对病理切片进行自动AI判读。用户也可以将模型导出，分享给其他用户。比如许多乡镇医院的缺乏训练数据，并且当地的医生也缺乏标注数据的资质，在这种背景下，当地的三甲医院则可以提供自己训练好的模型供下面的乡镇医院进行使用。三甲医院往往拥有大量的优质数据和优秀的医生进行标注，训练出的模型效果也更加好。三甲医院将自己训练的模型分享给下面的乡镇医院，即可以提供优质的算法模型，又可以统一AI判读标准。

还需要指出的是，在本申请的系统和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。本申请所公开方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (9)

1.一种面向病理图像的轻量级自动化深度学习系统，其特征在于，包括面向用户的业务与应用模块，和面向系统的数据处理模块；

所述业务与应用模块用于接收外部指令、病理图像、标注信息并传输至数据处理模块，根据所述外部指令创建病理影像项目，确定所述病理影像项目对应的算法任务类别，每个算法任务类别对应一种或几种算法模型，接收和显示来自数据处理模块的输出结果；

所述数据处理模块用于病理图像的处理，将所述标注信息添加在所述病理图像上生成标注数据，根据指定的算法模型对所述标注数据进行训练，训练过程中，将标注数据划分为训练集、验证集和测试集，输出每个算法模型在验证集上的效果评价指标，在测试集上进行测试和评估，输出最佳算法模型。

2.根据权利要求1所述的一种面向病理图像的轻量级自动化深度学习系统，其特征在于，所述数据处理模块包括数据模块和算法模型模块，

所述数据模块用于对接收到的病理图像进行数据处理，经过处理的病理图像输入到算法模型模块；

所述算法模型模块根据接收到的经过处理的病理图像进行模型训练，包括手动训练选择模块和自动训练选择模块，所述手动训练选择模块提供手动选择模型、手动设置训练参数功能，自动训练选择模块提供自动匹配模型、自动调参、自动迭代以及自动评估功能。

3.根据权利要求1所述的一种面向病理图像的轻量级自动化深度学习系统，其特征在于，所述深度学习系统搭载在一块GPU上运行。

4.根据权利要求1所述的一种面向病理图像的轻量级自动化深度学习系统，其特征在于，所述深度学习系统支持GPU或服务器扩展，在使用多GPU或多服务器时，系统自动调度空闲的GPU进行训练或预测。

5.一种面向病理图像的轻量级自动化深度学习方法，其特征在于，适用于一种面向病理图像的轻量级自动化深度学习系统，所述系统包括面向用户的业务与应用模块和面向系统的数据处理模块，面向系统的数据处理模块包括数据模块和算法模型模块，算法模型模块包括手动训练选择模块和自动训练选择模块，所述方法包括，

通过网页登陆面向病理图像的轻量级自动化深度学习系统，在业务与应用模块创建病理影像项目；

确定所述病理影像项目所属的算法任务类别，每个算法任务类别包括一种或几种算法模型；

上传病理切片到数据处理模块，采用数据模块进行处理和标注，生成标注数据；

选择模型训练方法，是手动训练选择模块还是自动训练选择模块；

当选择手动训练选择模块时，输入训练参数，接收每个算法模型在验证集上的效果评价指标，根据效果评价指标自主选择最佳算法模型；

当选择自动训练选择模块时，输入数据划分比例，接收系统输出的最佳算法模型；

将所述最佳算法模型部署在私有云或公有云上，对病理切片进行自动AI判读。

6.根据权利要求5所述的一种面向病理图像的轻量级自动化深度学习方法，其特征在于，所述当选择手动训练选择模块时，输入训练参数，训练参数包括数据划分比例、学习率、迭代次数以及损失函数，系统按照所述数据划分比例将所述标注数据划分为训练集、验证集和测试集，根据学习率、迭代次数以及损失函数对各个模型进行训练，输出每个算法模型在验证集上的效果评价指标。

7.根据权利要求5所述的一种面向病理图像的轻量级自动化深度学习方法，其特征在于，所述当选择自动训练选择模块时，输入数据划分比例，算法模型模块按照所述数据划分比例将所述标注数据划分为训练集、验证集和测试集，根据所选择的算法任务类别，自动进行模型选择、模型训练，反馈各个算法模型的评估指标，根据所述评估指标选择出最佳算法模型，输出最佳算法模型。

8.根据权利要求5或7所述的一种面向病理图像的轻量级自动化深度学习方法，其特征在于，当选择自动训练选择模块时，使用NAS进行模型架构搜索生成一个最佳算法模型。

9.根据权利要求5或6或7所述的一种面向病理图像的轻量级自动化深度学习方法，其特征在于，还包括导出所述最佳算法模型，在不同用户间进行分享。

Images