CN110473198A - 深度学习系统及其方法 - Google Patents

Abstract

本申请提供一种深度学习系统及其方法，涉及图像处理领域，以解决现有技术中糖网分期检测准确率低的问题。系统包括：影像撷取单元，用以撷取图像；处理器；以及存储器，用以存储可供处理器执行的计算器程序，其中，处理器用以执行：预处理图像，并生成第一处理图像；根据第一处理图像建立训练模型；以及，检测训练模型并生成集成模型。检测训练模型并生成集成模型，更包括：判断训练模型是否达到预设标准；以及，根据判定结果生成集成模型。根据多个模型分别对原始图片的分类作出判定，得到多个判定结果；将数量最多的判定结果作为原始图片的最终判定结果；或，对准确率差异较大模型的预测结果进行加权求和处理，得到最终判定结果。

Description

深度学习系统及其方法

技术领域

本申请涉及图像处理领域，具体而言，涉及一种深度学习系统和方法。

背景技术

糖尿病视网膜病变(DR)会引起视力受损和失明，而且不同等级DR间的微小差别和许多显着小特征的存在使得识别任务具有挑战性。早期发现糖尿病视网膜病变非常重要，适当的治疗可以预防失明，自动检测糖尿病视网膜病变是解决这些问题的关键，深度学习的兴起使得自动检测糖尿病视网膜病变成为了可能。

不同糖尿病视网膜病变之间具有微小差别，而且同一种类病变的面积跨度较大，尤其是当许多显着小特征病灶作为分类标准时，图像分类变得更加困难；如二分类情况下，某些糖网图像只有少量的渗出点，占整张图像的很小比例，这就意味着，在特征提取后，特征向量真正用于分类的信息很少，使得分类的效果很差。

发明内容

本申请实施例的目的在于提供一种深度学习系统和方法，用以提高糖网分期检测准确率。

第一方面，本发明实施例提供一种深度学习系统，包括：影像撷取单元，用以撷取图像；处理器；以及存储器，用以存储可供处理器执行的计算器程序，其中，处理器用以执行：预处理图像，并生成第一处理图像；根据第一处理图像建立训练模型；以及，检测训练模型并生成集成模型。

在可选的实施方式中，预处理图像，并生成第一处理图像，更包括：采集原始图像；以及，根据原始图像生成第一处理图像。

在可选的实施方式中，根据原始图像生成第一处理图像，更包括：根据原始图像的尺寸确定原始图像的中心点坐标；根据原始图像的中心点坐标查找图像像素值剧烈变化的坐标区域，确定原始图像感兴趣区域的边界坐标；以及，根据原始图像感兴趣区域的边界坐标裁剪原始图像得到没有黑色区域干扰的第一处理图像；其中，原始图像感兴趣区域为在原始图像中划定的图像区域。

在可选的实施方式中，检测训练模型并生成集成模型，更包括：判断训练模型是否达到预设标准；以及，根据判定模块的判定结果生成集成模型。

在可选的实施方式中，根据判定模块的判定结果生成集成模型，更包括：根据多个模型分别对原始图片的分类作出判定，得到多个判定结果；将数量最多的判定结果作为原始图片的最终判定结果；或，对准确率差异较大模型的预测结果进行加权求和处理，得到最终判定结果；其中，模型集成时采用的多个模型是采用不同初始化参数训练的模型、采用交叉验证准确率排序靠前的几个模型以及检测目标全完不同的两个模型。

第二方面，本发明实施例提供一种深度学习方法，包括：

采集图像数据并对图像数据进行预处理，生成第一处理图像；

根据第一处理图像建立训练模型；

检测训练模型并生成集成模型。

在可选的实施方式中，采集图像数据并对图像数据进行预处理，生成第一处理图像，包括：

采集原始图像；

根据原始图像生成第一处理图像。

在可选的实施方式中，根据原始图像生成第一处理图像，包括：

根据原始图像的尺寸确定原始图像的中心点坐标；

根据原始图像的中心点坐标查找图像像素值剧烈变化的坐标区域，确定原始图像感兴趣区域的边界坐标；

根据原始图像感兴趣区域的边界坐标裁剪原始图像，得到没有黑色区域干扰的第一处理图像；其中，

所述原始图像感兴趣区域为在所述原始图像中划定的图像区域。

在可选的实施方式中，检测训练模型并生成集成模型，包括：

判断训练模型是否达到预设标准；

根据判定模块的判定结果生成集成模型。

在可选的实施方式中，根据判定模块的判定结果生成集成模型，更包括：

根据多个模型分别对原始图片的分类作出判定，得到多个判定结果；

将数量最多的判定结果作为原始图片的最终判定结果；或，

对准确率差异较大模型的预测结果进行加权求和处理，得到最终判定结果；其中，

模型集成时采用的多个模型是采用不同初始化参数训练的模型、采用交叉验证准确率排序靠前的几个模型以及检测目标全完不同的两个模型。

在上述实现过程中，数据增强也叫数据扩充、数据增广，通过对原图像集采用明暗变化、扭曲、裁剪、水平/竖直翻转、加入高斯/椒盐噪声、缩放等方法，扩充原数据集，增加模型泛化能力。

图像增强是采用图像增强算法对图像进行处理，弱化不感兴趣的特征，增强感兴趣的特征。

模型集成是在测试过程中，综合多个模型的预测结果，输出最终检测结果，提升Acc。多个模型可以是采用不同的初始化参数生成的模型，可以是训练过程中不同时间点的模型，可以是交叉验证过程中效果较好几个的模型，还可以是完全不同的两个模型。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的一种深度学习系统的示意图；

图2是本申请提供的一种深度学习方法的流程图；

图3是图2所示步骤S100的具体流程图；

图4是图3所示步骤S120的具体流程图；

图5是图2所示步骤S200的具体流程图；

图6是图2所示步骤S300的具体流程图；

图7是图6所示步骤S310的具体流程图。

图标：系统10，影像撷取单元100，处理器200，存储器300。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

图1为本申请实施例提供的一种深度学习系统10的示意图，系统10包括影像撷取单元100，处理器200以及存储器300。处理200电性耦接于影像撷取单元100，存储器300电性耦接于处理器200。

于一实施例中，影像撷取单元100采集的图像数据是原眼底照片，并通过处理器200对原眼底照片进行预处理；对预处理过的原眼底照片进行数据集采集，并以此训练出均衡模型；再检测该均衡模型的准确程度，并将符合条件的均衡模型集成为最终模型。

于一实施例中，存储器300可以用来存储原始图像，其中，原始图像可以为原眼底照片，处理器200对存储在存储器300中的原眼底照片进行预处理并深度学习，于一实施例中，深度学习是采用神经网络进行训练和测试。存储器300可以通过通信传输的方式接收外部设备发送来的原眼底照片。

于一实施例中，原眼底照片可以由影像撷取单元100采集的任一划定区域的照片，该区域为本系统10训练以及融合模型的感兴趣区域。

图2是本申请提供的一种深度学习方法的流程图，方法包括：

步骤S100：采集图像数据，并对图像数据进行预处理，生成第一处理图像。

步骤S200：根据第一处理图像建立训练模型。

步骤S300：检测训练模型并生成集成模型。

于一实施例中，影像撷取单元100采集图像数据来自原眼底照片，原眼底照片数据标注部分可以由眼科医生完成。其中，根据第一处理图像建立的训练模型可以为一个或多个；检测训练模型是检测训练模型的特点，并生成集成模型。

图3是图2所示步骤S100的具体流程图，步骤S100包括：

步骤S110：采集原始图像。

步骤S120：根据原始图像生成第一处理图像。

于一实施例中，采集的原始图像中，原眼底照片可以是彩色照片。处理器200对原眼底照片进行裁剪，裁剪后生成第一处理图像。于一实施例中，对图像裁剪的目的是弱化非目标内容，强化目标内容，对于如糖尿病视网膜病变检测时的图像来说，目标内容即为能使图像正确分类的标准。

图4是图3所示步骤S120的具体流程图，步骤S120包括：

步骤S121：根据原始图像的尺寸确定原始图像的中心点坐标；

步骤S122：根据原始图像的中心点坐标查找图像像素值剧烈变化的坐标区域，确定原始图像感兴趣区域的边界坐标；

步骤S123：根据原始图像感兴趣区域的边界坐标裁剪原始图像，得到没有黑色区域干扰的第一处理图像。

于一实施例中，对原眼底照片预处理时，处理器200读取影像撷取单元100撷取的原始图像，并根据原始图像的尺寸取得图像中心点坐标；分别以图像中心点的横纵坐标为基准，查找图像像素值剧烈变化的坐标区域，进而确定原始图像感兴趣区域的边界坐标；根据原始图像感兴趣区域的边界坐标裁剪原始图像后保存第一处理图像，得到没有黑色区域干扰的眼底图。

于一实施例中，原始图像感兴趣区域为在原始图像中划定的图像区域。当原始图像为原眼底照片时，图像边界为原眼底照片中拍摄出眼球的圆形边界。

于一实施例中，取得图像中心点坐标可以藉由视觉算法软件读取原始图像，如openCV等。

于一实施例中，在裁剪过程中还可以采用图像归一化处理原始图像，从原始图像的每个像素通道中减去最小像素强度，再除以平均像素强度，用以表示0到1范围内的像素。

图5是图2所示步骤S200的具体流程图，步骤S200包括：

步骤S210：增加第一处理图像的对比度生成第二处理图像；

步骤S220：根据第二处理图像生成数据集；

步骤S230：根据数据集建立训练模型。

于一实施例中，对比度调整采用对比度有限自适应直方图均衡化(CLAHE，Contrast Limited Adaptive Histogram Equalization)滤波算法。

于一实施例中，图像增强采用CLAHE算法，用以提升图片中不同内容的对比度，进而提升病灶的辨识度，提升准确率。从训练集中随机取小批量图片形成数据集，对该数据集采用参数不同的CLAHE后，会得到不同的数据集，其中，一个参数生成一个数据集。分别在每个数据集上训练模型，得到多个模型，其中，一个参数对应一个模型，并将得到的模型在同一测试集上进行测试，将取得最高测试准确率的模型对应的参数作为CLAHE的最终参数，为保证结果的准确性，需保证在各个模型的整个训练和测试过程中，只有参与训练的数据集不同。

于一实施例中，在训练模型时选取的骨干网络，骨干网络包括但不限于Resnet50、Resnet101、InceptionV3、SENet。训练模型时，采用ImageNet的预训练模型作为初始模型，重新初始化模型的全连接层参数后，重新训练。根据数据集建立训练模型时，采用不同初始化参数分别对模型进行训练，保存验证过程中符合目标内容的模型；同一模型在训练过程中保存不同时间点的模型。

图6是图2所示步骤S300的具体流程图，步骤S300包括：

步骤S310：判断训练模型是否达到预设标准。

步骤S320：根据判定结果生成集成模型。

于一实施例中，数据增强部分对训练集图片进行旋转、水平或竖直翻转、缩放、平移等步骤，以平衡各分类下的数据量，增加模型的泛化能力。

图7是图6所示步骤S320的具体流程图，步骤S320包括：

步骤S321：根据多个模型分别对原始图片的分类作出判定，得到多个判定结果。

步骤S322：将数量最多的判定结果作为原始图片的最终判定结果。

于一实施例中，步骤S320还包括步骤S323：对准确率差异较大模型的预测结果进行加权求和处理，得到最终判定结果。

于一实施例中，本申请采用模型集成对图像进行预测，进一步提升预测准确率。即采用多个模型分别对某一图片的分类作出判定，得到多个判定结果，结果可以为观察或建议转诊，采用数量最多的判定结果作为原眼底图片的最终预测结果。其中，模型集成时采用的多个模型可以是采用不同初始化参数训练的模型，也可以是采用交叉验证准确率排序靠前的几个模型。

于一实施例中，如果存在模型准确率参差不齐的情况，应考虑对各模型的预测结果进行加权求和。于一实施例中，将观察结果设为-1，将建议转诊结果设为1，求和结果大于零判定为建议转诊，小于零判定为观察。

在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

需要说明的是，功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)随机存取存储器(Random Access Memory，RAM)、磁盘或者光盘等各种可以存储程序代码的介质。

在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种深度学习系统，其特征在于，包括：

影像撷取单元，用以撷取图像；

处理器；以及

存储器，用以存储可供所述处理器执行的计算器程序，

其中，处理器用以执行：

预处理所述图像，并生成第一处理图像；

根据所述第一处理图像建立训练模型；以及，

检测训练模型并生成集成模型。

2.根据权利要求1所述的系统，其特征在于，所述预处理所述图像，并生成第一处理图像，更包括：

采集原始图像；以及，

根据所述原始图像生成第一处理图像。

3.根据权利要求2所述的系统，其特征在于，所述根据所述原始图像生成第一处理图像，更包括：

根据所述原始图像的尺寸确定所述原始图像的中心点坐标；

根据所述原始图像的中心点坐标查找图像像素值剧烈变化的坐标区域，确定所述原始图像感兴趣区域的边界坐标；以及，

根据所述原始图像感兴趣区域的边界坐标裁剪所述原始图像，得到没有黑色区域干扰的第一处理图像；其中，

所述原始图像感兴趣区域为在所述原始图像中划定的图像区域。

4.根据权利要求1所述的系统，其特征在于，所述检测训练模型并生成集成模型，更包括：

判断所述训练模型是否达到预设标准；以及，

根据判定结果生成集成模型。

5.根据权利要求4所述的系统，其特征在于，所述根据判定结果生成集成模型，更包括：

根据多个模型分别对原始图片的分类作出判定，得到多个判定结果；

将数量最多的判定结果作为原始图片的最终判定结果；或，

对准确率差异较大模型的预测结果进行加权求和处理，得到最终判定结果；其中，

模型集成时采用的多个模型是采用不同初始化参数训练的模型、采用交叉验证准确率排序靠前的几个模型以及检测目标全完不同的两个模型。

6.一种深度学习方法，其特征在于，包括：

采集图像数据并对图像数据进行预处理，生成第一处理图像；

根据所述第一处理图像建立训练模型；

检测训练模型并生成集成模型。

7.根据权利要求6所述的方法，其特征在于，所述采集图像数据并对图像数据进行预处理，生成第一处理图像，包括：

采集原始图像；

根据所述原始图像生成第一处理图像。

8.根据权利要求7所述的方法，其特征在于，所述根据所述原始图像生成第一处理图像，包括：根据所述原始图像的尺寸确定所述原始图像的中心点坐标；

根据所述原始图像的中心点坐标查找图像像素值剧烈变化的坐标区域，确定所述原始图像感兴趣区域的边界坐标；

根据所述原始图像感兴趣区域的边界坐标裁剪所述原始图像得到没有黑色区域干扰的第一处理图像；其中，

所述原始图像感兴趣区域为在所述原始图像中划定的图像区域。

9.根据权利要求6所述的方法，其特征在于，所述检测训练模型并生成集成模型，包括：

判断所述训练模型是否达到预设标准；

根据判定结果生成集成模型。

10.根据权利要求9所述的方法，其特征在于，所述根据判定结果生成集成模型，更包括：

根据多个模型分别对原始图片的分类作出判定，得到多个判定结果；

将数量最多的判定结果作为原始图片的最终判定结果；或，

对准确率差异较大模型的预测结果进行加权求和处理，得到最终判定结果；其中，

模型集成时采用的多个模型是采用不同初始化参数训练的模型、采用交叉验证准确率排序靠前的几个模型以及检测目标全完不同的两个模型。