CN113139944A

CN113139944A - 一种基于深度学习的阴道镜图像分类计算机辅助诊断系统和方法

Info

Publication number: CN113139944A
Application number: CN202110448502.0A
Authority: CN
Inventors: 张友忠; 刘露; 陈威; 贾琳; 孟丽华; 杨子焱; 钱秋红; 刘洪丽; 韩赛; 李艺
Original assignee: Qilu Hospital of Shandong University
Current assignee: Qilu Hospital of Shandong University
Priority date: 2021-04-25
Filing date: 2021-04-25
Publication date: 2021-07-20
Anticipated expiration: 2041-04-25
Also published as: CN113139944B

Abstract

本发明提供一种基于深度学习的阴道镜图像分类计算机辅助诊断系统和方法，属于医学图像处理和疾病诊断技术领域。本发明开发并验证了基于深度学习的计算机辅助诊断模型，以对阴道镜图像的宫颈病变进行分类。基于ResNet50模型和临床因素构建上述阴道镜图像分类计算机辅助诊断系统，经实验证明，其与专业阴道镜医生相比显示出更好的诊断性能，可以为阴道镜医师提供客观的诊断依据，具有潜在的临床应用价值。

Description

一种基于深度学习的阴道镜图像分类计算机辅助诊断系统和方法

技术领域

本发明属于医学图像处理和疾病诊断技术领域，具体涉及一种基于深度学习的阴道镜图像分类计算机辅助诊断系统和方法。

背景技术

公开该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不必然被视为承认或以任何形式暗示该信息构成已经成为本领域一般技术人员所公知的现有技术。

宫颈癌是女性恶性肿瘤中第四大发病率和死亡率。2018年，全世界估计有570,000例新病例，有311,000例死亡。人乳头瘤病毒(HPV)感染是宫颈癌的主要原因。全球子宫颈癌的发病率和死亡率存在很大差异。低收入和中等收入国家的发病率是发达国家的7-10倍，部分原因是各个地区存在着筛查和预防的差异。迄今为止，解决HPV疫苗接种和子宫颈筛查的障碍仍然是大多数国家(尤其是中低收入国家(LMIC))面临的主要挑战。针对人乳头瘤病毒(HPV)的疫苗接种和使用筛查进行二级预防是早期发现和治疗宫颈癌的有效策略。宫颈上皮内瘤变分为低级别上皮内肿瘤(LSIL)和高级别上皮内肿瘤(HSIL)。细胞学和HPV检测相结合已成为筛选程序的一种选择。但是，子宫颈癌筛查仍然存在诊断灵敏度和特异性低的问题，尤其是在中低收入国家。阴道镜检查有助于鉴别可治疗的癌前病变和宫颈癌。

尽管阴道镜在预防宫颈癌中起着重要的作用，但其准确性和可重复性受到限制。此外，阴道镜的诊断性能在很大程度上取决于操作者的主观经验，这要求操作者能够根据标准识别并处理乙酸白上皮的变化。在低中等收入国家，经验丰富的阴道镜检查专家的缺乏以及繁重的阴道镜检查工作加剧了阴道镜诊断的不准确性。

发明内容

针对上述现有技术的不足，本发明提供一种基于深度学习的阴道镜图像分类计算机辅助诊断系统和方法。本发明开发并验证了基于深度学习的计算机辅助诊断(Computeraided diagnosis，CAD)模型，以对宫颈病变的阴道镜图像进行分类，经实验验证，该模型的诊断性能可以与高级阴道镜专家相媲美，因此具有良好的实际应用之价值。

本发明是通过如下技术方案实现的：

本发明的第一个方面，提供一种基于深度学习的阴道镜图像分类计算机辅助诊断系统，包括：

图像捕获设备，其中所述图像捕获设备捕获阴道的一个或多个图像；

存储器，其中存储捕获的一个或多个图像；和，

处理器，所述处理器与所述存储器通信，其中所述处理器执行存储在所述存储器中的计算机能够读的指令，所述指令使所述处理器使用所捕获的一个或多个图像对所述阴道的病理情况进行分类。

本发明的第二个方面，提供一种基于深度学习的阴道镜图像分类计算机辅助诊断方法，包括：

捕获阴道的一个或多个图像；以及，

使用所捕获的一个或多个图像对所述阴道的病理情况进行分类。

本发明的第三个方面，提供一种非暂态计算机程序产品，所述非暂态计算机程序产品包括存储在计算机能够读的介质上的计算机能够执行的代码段，所述计算机能够执行的代码段用于执行上述基于深度学习的阴道镜图像分类计算机辅助诊断方法所进行的步骤。

本发明的第四个方面，提供一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成上述基于深度学习的阴道镜图像分类计算机辅助诊断方法所进行的步骤。

上述一个或多个技术方案的有益技术效果：

上述技术方案提供一种基于深度学习的阴道镜图像分类计算机辅助诊断系统和方法。基于ResNet50模型和临床因素构建上述阴道镜图像分类计算机辅助诊断系统，经实验证明，其与专业阴道镜医生相比显示出更好的诊断性能，可以为阴道镜医师提供客观的诊断依据，具有潜在的临床应用价值。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本发明实施例1中研究流程图。a)数据集；b)模型开发和验证；c)CAD系统的架构。

图2为本发明实施例1中由阴道镜专家在不同等级病变的阴道镜图像上圈出ROI轮廓。轮廓表示ROI。从左至右依次：癌症，HSIL，LSIL和正常。

图3为本发明实施例1中NC与LSIL+的分类结果。a)ROC曲线；b)基于临床特征的模型混淆矩阵；c)基于ResNet50的模型的混淆矩阵；d)基于ResNet50和临床特征的模型混淆矩阵。

图4为本发明实施例1中HSIL-与HSIL+的分类结果。a)ROC曲线；b)基于临床特征的模型混淆矩阵；c)基于ResNet50的模型的混淆矩阵；d)基于ResNet50和临床特征的组合的模型混淆矩阵。

具体实施方式

应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。应理解，本发明的保护范围不局限于下述特定的具体实施方案；还应当理解，本发明实施例中使用的术语是为了描述特定的具体实施方案，而不是为了限制本发明的保护范围。

本发明公开了可用于执行所公开的方法和系统的部件。本文公开了这些以及其他部件，并且应当理解，当公开这些部件的组合、子组、交互、组等时，尽管可能没有明确公开对这些部件的各种单独和集合组合和排列中每一者的特定引用，但对于所有的方法和系统，本文对每一者都进行了具体地设想和描述。这适用于本申请的所有方面，包括但不限于所公开的方法中的步骤。因此，如果存在可进行的各种另外的步骤，则应当理解，这些另外的步骤中的每一个步骤可利用所公开的方法的任何特定实施方案或实施方案的组合来进行。

随着人工智能技术的发展，CAD已成为近几十年来医学成像的主要研究主题之一。它在诊断恶性肿瘤如乳腺癌，结肠直肠癌和胃肠道肿瘤中显示出巨大潜力。基于此，本发明提出了一种基于深度学习的CAD系统对阴道镜图像进行分类。

本发明的一个典型具体实施方式中，提供一种基于深度学习的阴道镜图像分类计算机辅助诊断系统，包括：

存储器，其中存储捕获的一个或多个图像；和，

本发明的又一具体实施方式中，所述图像捕获设备可以是相机，更具体的，图像捕获设备可以是阴道镜相机(如Leisegang 3ML LED阴道镜照相机，德国Leisegang)，其可以拍摄静止和/或视频图像。一般来讲，图像捕获设备可以是数字相机，但是可以配备有适当的模拟/数字转换器或与之通信的模拟设备。图像捕获设备还可以是网络摄像头、扫描仪或其他能够捕获静止图像或视频的任何其他设备。

本发明的又一具体实施方式中，所述图像捕获设备通过例如网络或直接连接电缆与计算设备直接通信。图像捕获机构可以远离计算设备定位，但是能够捕获图像并且将其存储在存储器设备上，使得可以使用例如便携式存储器设备等将图像下载或传输到计算设备。在一个方面，计算设备和图像捕获设备可以包括或者是设备诸如智能设备、智能电话、平板电脑、膝上型计算机或任何其他固定或移动计算设备的一部分。

在基本配置中，计算设备可以包括处理器和存储器。处理器可以执行存储在存储器中的计算机可读指令。此外，由图像捕获设备捕获的图像，无论是静止图像还是视频，都可以存储在存储器中，并且由处理器使用存储在存储器中的计算机可读指令进行处理。

本发明的又一具体实施方式中，处理器与图像捕获设备和存储器通信。处理器可以执行存储在存储器上的计算机可读指令，以使用图像捕获设备捕获图像。在一个方面，所捕获的图像可以包括受试者的宫颈图像。

本发明的又一具体实施方式中，处理器可还执行存储在存储器上的计算机可读指令，以使用图像捕获设备捕获一个或多个数字图像，并且对一个或多个图像中的阴道病理情况进行分类。

本发明的又一具体实施方式中，对所述阴道的病理情况进行分类可以采用自动识别异常的深度学习；其中，所述深度学习包括神经网络，所述神经网络可以使用现有的网络模型，诸如AlexNet、VGGNet、InceptionNet、ResNet中的任意一个或多个，其已经在本数据集中均进行了分析。经试验验证，ResNet在本申请中取得了最好的结果，因此选择ResNet作为CAD系统的主要结构。与传统CNN架构相比，ResNet通过引入残差块可以有效避免梯度消失和梯度爆炸的问题。具体而言，在某些层之间添加了跳过连接，将卷积层的输出和输入融合在一起，因此梯度可以流过此跳过连接，进而解决渐变消失和爆炸的问题。

本发明的一个具体实施方式中，使用ResNet50构建了包含50个卷积层的CAD系统。ResNet模型是在具有256GB内存和NVIDIA GeForce Titan RTX GPU的Ubuntu20.4 64位操作系统的工作站上执行的。训练时，输入大小为224×224，批处理大小为100，训练次数为300轮。所使用的优化器是随机梯度下降(SGD)，其初始学习率为0.1，动量为0.9。每训练50个轮次，学习率降低50％。在每个训练轮次之后，在验证集上计算模型的性能。

阴道镜相机可以用于捕获宫颈的一个或多个图像，但是阴道镜检查图像具有高分辨率并且包含许多不相关的内容，因此将其直接发送到计算机将导致过多的计算并降低模型的性能。因此在进行训练时，通过选择一个或多个图像中的感兴趣区域(ROI)以提高图像质量。

本发明的又一具体实施方式中，所述感兴趣区域为可疑病变区域的感兴趣区域，如图2所示，其显示了不同等级的ROI轮廓。

同时，为增加训练数据的数量，使用了多种数据扩充技术，包括水平和垂直以0.5的概率翻转/镜像输入图像，旋转-10至+10度，剪切-4至+4度。数据扩充可以生成更多的训练样本，以增强模型的鲁棒性并减少模型过拟合的可能性。

本发明的又一具体实施方式中，所述将所有图像的大小调整为224×224，以适合卷积神经网络的输入大小。

本发明的又一具体实施方式中，所述异常包括但不限于宫颈癌、低度鳞状上皮内病变、高度鳞状上皮内病变。

本发明的又一具体实施方式中，为提高辅助诊断系统的诊断性能，所述系统还包括：

元数据采集单元，用于收集元数据，所述元数据包括但不限于受试者的年龄、细胞学、人乳头瘤病毒(HPV)、妊娠、胎次、避孕，根据P值筛选出了细胞学和HPV这两个特征，作为建模的最终临床特征。

本发明的又一具体实施方式中，所述元数据采集单元将所述元数据采集并传输至上述存储器中，并由所述处理器运行多变量逻辑回归分类器模型，使用多变量分析方法将上述深度学习输出结果与上述元数据结合，输出最终分析结果。

本发明的又一具体实施方式中，提供一种基于深度学习的阴道镜图像分类计算机辅助诊断方法，包括：

捕获阴道的一个或多个图像；以及，

本发明的又一具体实施方式中，所捕获的图像可以包括受试者的宫颈的图像。

本发明的一个具体实施方式中，使用ResNet50构建了包含50个卷积层的CAD系统。ResNet模型是在具有256GB内存和NVIDIA GeForce Titan RTX GPU的Ubuntu20.4 64位操作系统的工作站上执行的。训练时，输入大小为224*224，批处理大小为100，训练次数为300轮。所使用的优化器是随机梯度下降(SGD)，其初始学习率为0.1，动量为0.9。每训练50个轮次，学习率降低50％。在每个训练时期之后，在验证集上计算模型的性能。

阴道镜相机可以用于捕获宫颈的一个或多个图像，但是阴道镜检查图像具有高分辨率并且包含许多不相关的内容，因此将其直接发送到计算机将导致过多的计算并降低模型的性能。因此在训练时，通过选择一个或多个图像中的感兴趣区域(ROI)以提高图像质量。

本发明的又一具体实施方式中，为提高辅助诊断系统的诊断性能，所述辅助诊断方法还包括：

收集元数据，所述元数据包括但不限于受试者的年龄、细胞学、人乳头瘤病毒(HPV)、妊娠、胎次、避孕；优选的，根据P值筛选出了细胞学和HPV这两个特征，作为建模的最终临床特征；

使用多变量分析方法将上述深度学习输出结果与上述元数据结合，输出最终分析结果。

本发明的又一具体实施方式中，提供一种非暂态计算机程序产品，所述非暂态计算机程序产品包括存储在计算机能够读的介质上的计算机能够执行的代码段，所述计算机能够执行的代码段用于执行上述基于深度学习的阴道镜图像分类计算机辅助诊断方法所进行的步骤。

本发明的又一具体实施方式中，提供一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成上述基于深度学习的阴道镜图像分类计算机辅助诊断方法所进行的步骤。

以下通过实施例对本发明做进一步解释说明，但不构成对本发明的限制。应理解这些实施例仅用于说明本发明而不用于限制本发明的范围。

实施例1

1.方法

1.1图1显示了研究流程图。根据纳入和排除标准，收集了包含7530名患者的数据集。构建了模型来分别区分NC和LSIL+(LSIL，HSIL和癌症)以及HSIL-(正常和LSIL)和HSIL+(HSIL和癌症)。

1.2入组患者

这项回顾性研究收集了2018年5月至2020年8月在山东大学齐鲁医院接受阴道镜检查的患者的信息和阴道镜图像。所有参与者均具有临床信息和图像信息，阴道镜检查异常的患者均具有病理结果以作为分类金标准。所有参与研究的图像均使Leisegang 3MLLED阴道镜照相机(德国Leisegang)拍摄，分辨率为480×320，并以JPEG格式存储。入组排除符合以下条件的患者：(a)阴道镜检查的图像质量差或不清楚；(b)缺乏细胞学检查和HPV结果；(c)存在子宫颈畸形(例如双子宫颈)；(d)存在宫颈息肉或宫颈肿瘤；(E)宫颈暴露困难；(f)有宫颈手术史；(g)无病理结果的LSIL和HSIL患者在临床实践中，如果阴道镜医师发现严重低度鳞状上皮内病变或更严重的病变，则需要进行活检以确认病变程度。认为宫颈正常，无宫颈病变者不需要活检。因此，除了阴道镜检查者认为阴道镜检查正常且不需要进行活检的患者外，其余患者都有病理报告。该数据集包含7530名患者(年龄在15至85岁之间)，可以分为正常(n＝3966)，LSIL(n＝1411)，HSIL(n＝1966)和癌症(n＝187)。这项研究共纳入了7530名患者的15276幅阴道镜检查图像，包括正常/良性(n＝7433)，LSIL(n＝2916)，HSIL(n＝4458)和癌症(n＝469)。按照7：1：2的比例将数据集分为训练集，验证集和测试集。表1显示了本研究中使用的详细数据集。本研究得到山东大学齐鲁医院伦理委员会的批准。

表1本研究中使用的数据集

1.3数据前期处理

由于原始的阴道镜检查图像具有高分辨率并且包含许多不相关的内容，因此将其直接发送到计算机将导致过多的计算并降低模型的性能。因此，要求阴道镜专家在进行计算机运算前先勾勒出可疑病变区域的感兴趣区域(ROI)。图2显示了不同等级的ROI轮廓。其次，运用数据扩充技术增加训练数据的数量，包括水平和垂直以0.5的概率翻转/镜像输入图像，旋转-10至+10度，剪切-4至+4度。数据扩充可以生成更多的训练样本，以增强模型的鲁棒性并减少过拟合。最后，将所有图像的大小调整为224*224像素，以适合卷积神经网络的输入大小。

1.4卷积神经网络

选择ResNet作为CAD系统的主要结构。与传统CNN架构相比，ResNet通过引入残差块可以有效避免梯度消失和梯度爆炸的问题。具体而言，在某些层之间添加了跳过连接，将卷积层的输出和输入融合在一起，因此梯度可以流过此跳过连接，进而解决渐变消失和爆炸的问题。使用ResNet50构建了包含50个卷积层的CAD系统。ResNet模型是在具有256GB内存和NVIDIA GeForce Titan RTX GPU的Ubuntu20.4 64位操作系统的工作站上执行的。输入大小为224×224，批处理大小为100，训练次数为300轮。所使用的优化器是随机梯度下降(SGD)，其初始学习率为0.1，动量为0.9。每训练50个轮次，学习率降低50％。在每个训练时期之后，在验证集上计算模型的性能。最后，选择验证集上精度最高的模型作为最终模型，以评估测试集中的模型。

1.5深度学习模型的可解释性

在与医学影像相关的各种基于深度学习的应用程序中，至关重要的是研究深度学习模型的可解释性。提供深度学习模型的可解释视图的最杰出方法之一是梯度加权类激活映射(Grad-CAM)。Grad-CAM可以有效地可视化感兴趣的区域，这可以产生一个突出显示对分类任务的贡献的热图。

1.6组合模型的开发与验证

通过多变量逻辑回归模型，使用多变量分析方法将ResNet50概率与患者的临床特征结合起来。临床特征包括年龄，细胞学，HPV，妊娠次数，产次和避孕。ResNet50的预测概率与临床特征相结合，然后构建逻辑回归模型以输出最终预测概率。

1.7与阴道镜专家进行性能比较

为了验证CAD系统是否可以提高经验不足的阴道镜专家的水平，从测试集中随机选择了300个样本，并请初级阴道镜专家和高级阴道镜专家进行诊断。最后，比较了CAD系统，初学者和高级医师的诊断。

1.8性能比较和统计分析

广泛评估了CAD系统的性能。使用准确性，敏感性，特异性阴性预测值(NPV)和阳性预测值(PPV)来评估CAD系统的性能。此外，还绘制了受试者工作特性曲线(ROC)，以评估CAD系统的性能。然后，评估ROC曲线下的面积(AUC)。此外，使用混淆矩阵演示了诊断性能，该矩阵记录了每个类别的正确和不正确的预测。

2.结果

2.1患者人口统计

表2 NC与LSIL+的患者和临床特征

***:P<0.001

在NC与LSIL+的分类中，训练集中有2760个NC样本和2511个LSIL+样本。测试集中有812个NC样本和694个LSIL+样本。患者的临床信息显示在表2中。在HSIL-与HSIL+的分类中，训练集中有3758例HSIL-和1513例HSIL+。测试集中有1082个HSIL-样本和424个HSIL+样本。患者的临床信息显示在表3中。训练集和测试集之间没有统计学上的显着差异。由于每个分类中只有细胞学和HPV有显着差异，因此选择这两个特征作为建模的最终临床特征。

表3 HSIL-vs HSIL+的患者和临床特征

***:P<0.001

2.2NC和LSIL+之间的患者预测

在NC vs LSIL+的分类中，测试集的评估指标列于表4。仅临床特征的AUC，准确性，灵敏度，特异性，PPV和NPV分别为0.692、0.681、0.644、0.713、0.657和0.710。当使用ResNet50时，AUC，准确性，敏感性，特异性，PPV和NPV分别为0.945、0.882、0.901、0.867、0.853和0.910。ResNet50的AUC显着高于临床模型的AUC(P<0.0001)。当使用临床因素和ResNet50进行联合建模时，AUC、准确性、敏感性、特异性、PPV和NPV分别为0.953、0.886、0.932、0.846、0.838和0.936。与ResNet50相比，联合模型的AUC值更高(P<0.001)。ROC和混淆矩阵如图3所示。

表4 NC与LSIL+的分类结果

2.3 HSIL-和HSIL+的患者预测

在HSIL-vs LSIL+的分类中，测试集的评估指标列于表5。在测试集中，基于临床特征模型的AUC、准确度、灵敏度、特异性、PPV和NPV分别为0.700、0.675、0.724、0.655、0.451和0.858。仅使用ResNet50建模时，AUC、准确性、敏感性、特异性、PPV和NPV分别为0.887、0.797、0.802、0.796、0.606和0.911。ResNet50的AUC显着高于临床模型的AUC(P<0.001)。当使用临床因素和ResNet50进行联合建模时，AUC、准确性、敏感性、特异性、PPV和NPV分别为0.900、0.807、0.823、0.800、0.618和0.920。与ResNet50相比，联合模型具有更好的性能和更高的AUC值(P<0.0001)。ROC和混淆矩阵如图4所示。

表5 HSIL-与HSIL+的分类结果

2.4与阴道镜医师比较

从测试集中随机选择了300个样本，并请初级阴道镜医师和高级阴道镜医师分别进行诊断。相关的诊断结果如表6所示。可以看出，CAD系统的诊断性能与高级阴道镜医师水平相当，显著超过了初级阴道镜医师，证明了本CAD系统的临床应用潜力。

表6 CAD系统与不同等级的阴道镜专家诊断性能比较

使用的CAD系统与专业阴道镜医生相比显示出更好的诊断性能，可以为阴道镜医师提供客观的诊断依据，具有潜在的临床应用价值。

实施例2

一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成实施例1方法中的各个操作，为了简洁，在此不再赘述。

所述电子设备可以是移动终端以及非移动终端，非移动终端包括台式计算机，移动终端包括智能手机(Smart Phone，如Android手机、IOS手机等)、智能眼镜、智能手表、智能手环、平板电脑、笔记本电脑、个人数字助理等可以进行无线通信的移动互联网设备。

应理解，在本发明中，该处理器可以是中央处理单元CPU，该处理器还算可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

该存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。

在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。结合本发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元即算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其他的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能的划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外一点，所显示或讨论的相互之间的耦合或者直接耦合或者通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

应注意的是，以上实例仅用于说明本发明的技术方案而非对其进行限制。尽管参照所给出的实例对本发明进行了详细说明，但是本领域的普通技术人员可根据需要对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围。

Claims

1.一种基于深度学习的阴道镜图像分类计算机辅助诊断系统，其特征在于，包括：

存储器，其中存储捕获的一个或多个图像；和，

2.如权利要求1所述的系统，其特征在于，所述图像捕获设备包括相机，优选的，所述图像捕获设备为阴道镜相机。

3.如权利要求1所述的系统，其特征在于，对所述阴道的病理情况进行分类采用自动识别异常的深度学习模型；

优选的，所述深度学习模型包括神经网络，所述神经网络包括AlexNet、VGGNet、InceptionNet、ResNet中的任意一个或多个，进一步优选为ResNet。

4.如权利要求3所述的系统，其特征在于，所述深度学习模型是基于神经网络中的一个或多个，对捕获的宫颈图像进行训练得到的；

优选的，在训练时，对宫颈图像进行预处理，进一步优选的，所述预处理包括选择一个或多个图像中的感兴趣区域；其中，所述感兴趣区域为可疑病变区域的感兴趣区域，所述可疑病变包括宫颈癌、低度鳞状上皮内病变、高度鳞状上皮内病变。

5.如权利要求3所述的系统，其特征在于，所述异常包括宫颈癌、低度鳞状上皮内病变、高度鳞状上皮内病变。

6.如权利要求1所述的系统，其特征在于，所述系统还包括：

元数据采集单元，用于收集元数据，所述元数据包括受试者的年龄、细胞学、HPV、妊娠、胎次、避孕，优选为细胞学和HPV；

所述元数据采集单元将所述元数据采集并传输至所述存储器中，并由所述处理器运行多变量逻辑回归分类器模型，使用多变量分析方法将深度学习输出结果与元数据结合，输出最终分析结果。

7.一种基于深度学习的阴道镜图像分类计算机辅助诊断方法，其特征在于，包括：

捕获阴道的一个或多个图像；以及，

8.如权利要求7所述的方法，其特征在于，所捕获的图像包括受试者的宫颈图像；

优选的，对所述阴道的病理情况进行分类采用自动识别异常的深度学习模型；

所述深度学习模型包括神经网络，所述神经网络包括AlexNet、VGGNet、InceptionNet、ResNet中的任意一个或多个，进一步优选为ResNet；

优选的，所述深度学习模型是基于上述神经网络中的一个或多个，对捕获的宫颈图像进行训练得到的；

优选的，在训练时，对宫颈图像进行预处理，进一步优选的，所述预处理包括选择一个或多个图像中的感兴趣区域；其中，所述感兴趣区域为可疑病变区域的感兴趣区域，所述可疑病变包括宫颈癌、低度鳞状上皮内病变、高度鳞状上皮内病变；

优选的，所述异常包括宫颈癌、低度鳞状上皮内病变、高度鳞状上皮内病变；

优选的，所述辅助诊断方法还包括：

收集元数据，所述元数据包括受试者的年龄、细胞学、HPV、妊娠、胎次、避孕；优选为细胞学和HPV；

9.一种非暂态计算机程序产品，其特征在于，所述非暂态计算机程序产品包括存储在计算机能够读的介质上的计算机能够执行的代码段，所述计算机能够执行的代码段用于执行权利要求7或8所述基于深度学习的阴道镜图像分类计算机辅助诊断方法所进行的步骤。

10.一种计算机可读存储介质，其特征在于，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求7或8所述基于深度学习的阴道镜图像分类计算机辅助诊断方法所进行的步骤。