CN112884707A - 基于阴道镜的宫颈癌前病变检测系统、设备及介质 - Google Patents

Abstract

本发明公开了一种基于阴道镜的宫颈癌前病变检测系统、设备及介质，本系统建立宫颈癌前病变检测模型，其中包括阴道镜图像分类模块、宫颈部位ROI图像分割模块和宫颈癌前病变检测模块；阴道镜图像分类模块通过深度多分类网络对采集到的阴道镜图像进行三种分类，保留部分宫颈部位和全部宫颈部位的阴道镜图像；宫颈部位ROI图像分割模块通过深度分割网络对部分宫颈部位图像进行分割提取，生成宫颈部位ROI图像；宫颈癌前病变检测模块对全部宫颈部位和宫颈部位ROI图像进行目标检测，输出宫颈癌前病变区域及对应的病变类型。本系统可快速且准确的得出宫颈癌前病变的检测结果，识别病变类型，对及时发现癌前病变和宫颈癌起到了积极的促进作用。

Description

基于阴道镜的宫颈癌前病变检测系统、设备及介质

技术领域

本发明涉及医疗图像处理技术领域，尤其涉及一种基于阴道镜的宫颈癌前病变检测系统、设备及介质。

背景技术

宫颈癌是最常见的妇科恶性肿瘤，高居全球女性肿瘤死亡原因第三位。尽管全球范围内宫颈癌筛查已开展数十年，但总体效果却远未令人满意。近年来，宫颈癌发病率和死亡率逐年持续上升，且呈现年轻化的趋势。作为宫颈癌早期诊断三阶梯“细胞学/HPV初筛→阴道镜→组织学确诊”中的主要瓶颈，阴道镜检查的诊断效率及同质化程度一直是国内外宫颈癌诊治中的关键难点。阴道镜图像主要针对发生病变的宫颈、阴道等部位的形态学改变和血管网的变化，包括数量识别、特征形状识别和特异颜色识别。

国际宫颈病理与阴道镜联盟（IFCPC）于最新阴道镜术语体系对上皮和血管的边界、轮廓、形态等重要解剖部位或组织的阴道镜图像特征进行了极为详尽的定义及科学化归类，并依据不断积累的循证证据增添了多项新征象及解释。新术语体系代表了目前全球对于女性生殖道癌前病变的整体最新认识，使阴道镜图像在世界范围内具有标准化解释和统一语言。

作为一项易受检查者主观判断影响的视觉技术，阴道镜图像缺乏统一规范的图像评价标准，标准化规范极难掌握，相对复杂的描述性分类的临床应用尚未普及，对于基层阴道镜检查者不易掌握，且很难在短时间内掌握。尤其在国内，阴道镜相关资源发展不均衡，高水平的专业阴道镜医生短缺，而基层检查者水平参差不齐，缺乏对镜下图像的全面解析，而这些信息有利于对患者个体化风险评估和分层管理。过多地依赖组织活检而造成不必要的并发症和过度医疗，其诊断效能远远无法满足大量的宫颈癌筛查需求，已成为是目前国内外宫颈癌防治亟待解决的瓶颈。如何使阴道镜检查同质化和资源共享，提高阴道镜检查效率迫在眉睫。

近年来，随着大数据和云计算支撑的人工智能飞速发展，机器学习在医学图像识别领域的优势尤为显著。借助各种神经网络，计算机自动提取难以用肉眼或生物统计方法识别的特征并训练复杂映射函数，输出诊断结果，从而大大提高诊断效率及标准化程度。其中又以深度神经网络有着更为优秀的表现，对内窥镜等复杂立体视觉图像的读取同样展示出极佳前景，探索阴道镜图像智能化的需求呼之欲出。人工智能技术可对宫颈病变图像进行动态时序分析，避免主观因素的影响，辅助医生诊断以及判断是否需要活检及位置确定，极大地提高医生的诊断能力。人工智能不受环境条件和疲劳程度的影响，可重复性好，诊断效率高，解决优质医疗资源分配不均等问题。随着大规模宫颈癌筛查的持续开展，我国有大量初筛结果异常的患者需转诊阴道镜，阴道镜人才的培养周期漫长，人工智能电子阴道镜辅助诊断系统的出现将解决基层妇科医师资源不足和能力提升问题。

基于深度学习的人工智能技术与阴道镜相结合，为宫颈癌筛查带来了巨大的发展机遇。近年来，也不乏有学者尝试将人工智能运用于宫颈癌筛查。然而，阴道镜检查为多步骤、多角度的动态视觉过程，图像复杂、部位多变，需要较强的专业阴道镜知识背景，图像特征需要标准化解读，宫颈病变的标注质量及准确性不够，对病变征象的认知程度不够，无法对镜下组织（上皮、血管）特征的统一认知和标准化解读。宫颈病变的标注及病理质控需要消耗阴道镜和病理医生大量的精力，需要与计算机领域、人工智能领域等跨学科合作，同时需要对样本海量数据进行分析。而图像的获取缺乏统一的实施标准、质量大小不一，不同地区，不同医机构采购阴道镜仪器的差异和阴道镜设定的分辨率等参数的差异，无法做到阴道镜设备统一化和标准化，这势必会对训练人工智能模型造成影响从而影响诊断的准确性，因此阴道镜的人工智能研发过程面临许多瓶颈和挑战。目前，基于人工智能阴道镜辅助诊断系统在国外已取得一定的进展，目前已报道的大多数研究中，一般仅标注1～3个特征且基于图像分类技术来实现，信息较为单一，并未取得明显的精度优势。

发明内容

本发明所要解决的技术问题是提供一种基于阴道镜的宫颈癌前病变检测系统、设备及介质，本系统、设备及介质克服传统阴道镜图像采集、识别及处理等缺陷，可快速且准确的得出宫颈癌前病变的检测结果，帮助经验不足的医生快速定位宫颈癌前病变区域，识别病变类型，取活检部位，对及时发现癌前病变和宫颈癌起到了积极的促进作用。

为解决上述技术问题，本发明基于阴道镜的宫颈癌前病变检测系统建立基于阴道镜图像的宫颈上皮和血管特征的宫颈癌前病变检测模型，其中包括阴道镜图像分类模块、宫颈部位ROI图像分割模块和宫颈癌前病变检测模块；

所述阴道镜图像分类模块通过深度多分类网络对采集到的阴道镜图像进行不包含宫颈部位、包含部分宫颈部位以及包含全部宫颈部位分类，并剔除不包含宫颈部位的阴道镜图像，保留部分宫颈部位和全部宫颈部位的阴道镜图像；

所述宫颈部位ROI图像分割模块通过深度分割网络对部分宫颈部位图像进行宫颈部位的分割提取，生成以宫颈部位作为图像主体的宫颈部位ROI图像；

所述宫颈癌前病变检测模块通过深度目标检测网络对全部宫颈部位和宫颈部位ROI图像进行目标检测，输出宫颈癌前病变区域及对应的病变类型。

进一步，所述深度多分类网络对阴道镜图像按照是否包含部分宫颈部位以及是否全部为宫颈部位标注为不包含宫颈部位、包含部分宫颈部位以及包含全部宫颈部位进行三种类别分类，对三种类别的阴道镜图像通过深度卷积网络进行特征提取，获取每张阴道镜图像的多通道深度特征图，并对每张阴道镜图像的多通道深度特征图通过深度全连接神经网络进行多分类，基于多分类结果获取包含部分宫颈部位和全部宫颈部位的阴道镜图像。

进一步，所述深度分割网络对包含部分宫颈部位的阴道镜图像通过卷积运算进行下采样操作，获取图像的深度特征图，对深度特征图通过反卷积运算进行上采样操作，将深度特征图放大还原回接近原始输入图像的分辨率，对还原回接近原始输入图像分辨率的图像进行像素级预测，分割出以宫颈部位作为图像主体的宫颈部位ROI图像。

进一步，所述深度目标检测网络通过深度卷积网络对宫颈部位ROI图像和全部宫颈部位阴道镜图像进行卷积运算，提取图像特征，对图像特征利用分类网络和回归网络进行分类和回归运算，获取宫颈部位ROI图像和全部宫颈部位阴道镜图像中的病变区域及对应的病变类型。

进一步，所述宫颈癌前病变类型包括低级别病变、高级别病变和癌变。

进一步，所述宫颈癌前病变检测模型对采集到的阴道镜图像按照不包含宫颈部位、包含部分宫颈部位以及包含全部宫颈部位进行分类标注，生成用于训练所述深度多分类网络的第一训练样本，所述深度多分类网络对第一训练样本中的阴道镜图像进行不包含宫颈部位、包含部分宫颈部位以及包含全部宫颈部位分类，生成包含部分宫颈部位和包含全部宫颈部位的阴道镜图像；所述宫颈癌前病变检测模型获取根据包含部分宫颈部位的阴道镜图像进行宫颈部位标注的宫颈部位ROI图像，生成用于训练所述深度分割网络的第二训练样本，所述深度分割网络根据第二训练样本生成以宫颈部位作为图像主体的宫颈部位ROI图像；所述宫颈癌前病变检测模型将宫颈部位ROI图像和全部宫颈部位的阴道镜图像合并，生成用于训练所述深度目标检测网络的第三训练样本，所述深度目标检测网络根据第三训练样本获取宫颈癌前病变区域及对应的病变类型。

进一步，所述深度分割网络为Encoder-Decoder结构，所述Encoder由卷积操作和下采样操作组成，所述的卷积操作为3x3卷积核、层数为5；所述Decoder将所述卷积操作的结果特征图通过反卷积操作和上采样操作恢复到原始输入图像的分辨率。

进一步，所述深度目标检测网络包括用于特征提取的骨干网络、用于病变区域检测的回归网络和用于病变类型识别的分类网络。

一种基于阴道镜的宫颈癌前病变检测设备，本检测设备包括处理器和存储器，所述存储器以所述处理器可执行的计算机程序形式储存上述的检测系统，所述处理器执行所述存储器储存的计算机程序，实现所述检测系统的功能。

一种基于阴道镜的宫颈癌前病变检测介质，本介质为计算机可读存储介质，并储存上述的检测系统，计算机读取并执行所储存的检测系统。

由于本发明基于阴道镜的宫颈癌前病变检测系统、设备及介质采用了上述技术方案，即本系统建立基于阴道镜图像的宫颈上皮和血管特征的宫颈癌前病变检测模型，其中包括阴道镜图像分类模块、宫颈部位ROI图像分割模块和宫颈癌前病变检测模块；阴道镜图像分类模块通过深度多分类网络对采集到的阴道镜图像进行三种分类，保留部分宫颈部位和全部宫颈部位的阴道镜图像；宫颈部位ROI图像分割模块通过深度分割网络对部分宫颈部位图像进行分割提取，生成宫颈部位ROI图像；宫颈癌前病变检测模块对全部宫颈部位和宫颈部位ROI图像进行目标检测，输出宫颈癌前病变区域及对应的病变类型。本系统、设备及介质克服传统阴道镜图像采集、识别及处理等缺陷，可快速且准确的得出宫颈癌前病变的检测结果，帮助经验不足的医生快速定位宫颈癌前病变区域，识别病变类型，取活检部位，对及时发现癌前病变和宫颈癌起到了积极的促进作用。

附图说明

下面结合附图和实施方式对本发明作进一步的详细说明：

图1为本发明基于阴道镜的宫颈癌前病变检测系统的原理框图；

图2为包含部分宫颈部位的阴道镜图像示意图；

图3为包含全部宫颈部位的阴道镜图像示意图；

图4为宫颈部位ROI图像示意图；

图5为本系统宫颈癌前病变检测模型训练示意图。

具体实施方式

实施例如图1所示，本发明基于阴道镜的宫颈癌前病变检测系统建立基于阴道镜图像的宫颈上皮和血管特征的宫颈癌前病变检测模型1，其中包括阴道镜图像分类模块11、宫颈部位ROI图像分割模块12和宫颈癌前病变检测模块13；

所述阴道镜图像分类模块11通过深度多分类网络对采集到的阴道镜图像进行不包含宫颈部位、包含部分宫颈部位以及包含全部宫颈部位分类，并剔除不包含宫颈部位的阴道镜图像，保留部分宫颈部位和全部宫颈部位的阴道镜图像；

所述宫颈部位ROI图像分割模块12通过深度分割网络对部分宫颈部位图像进行宫颈部位的分割提取，生成以宫颈部位作为图像主体的宫颈部位ROI图像；

所述宫颈癌前病变检测模块13通过深度目标检测网络对全部宫颈部位和宫颈部位ROI图像进行目标检测，输出宫颈癌前病变区域及对应的病变类型。

优选的，所述深度多分类网络对阴道镜图像按照是否包含部分宫颈部位以及是否全部为宫颈部位标注为不包含宫颈部位、包含部分宫颈部位以及包含全部宫颈部位进行三种类别分类，对三种类别的阴道镜图像通过深度卷积网络进行特征提取，获取每张阴道镜图像的多通道深度特征图，并对每张阴道镜图像的多通道深度特征图通过深度全连接神经网络进行多分类，基于多分类结果获取包含部分宫颈部位和全部宫颈部位的阴道镜图像。

优选的，所述深度分割网络对包含部分宫颈部位的阴道镜图像通过卷积运算进行下采样操作，获取图像的深度特征图，对深度特征图通过反卷积运算进行上采样操作，将深度特征图放大还原回接近原始输入图像的分辨率，对还原回接近原始输入图像分辨率的图像进行像素级预测，分割出以宫颈部位作为图像主体的宫颈部位ROI图像。

优选的，所述深度目标检测网络通过深度卷积网络对宫颈部位ROI图像和全部宫颈部位阴道镜图像进行卷积运算，提取图像特征，对图像特征利用分类网络和回归网络进行分类和回归运算，获取宫颈部位ROI图像和全部宫颈部位阴道镜图像中的病变区域及对应的病变类型。

优选的，所述宫颈癌前病变类型包括低级别病变、高级别病变和癌变。

优选的，所述宫颈癌前病变检测模型对采集到的阴道镜图像按照不包含宫颈部位、包含部分宫颈部位以及包含全部宫颈部位进行分类标注，生成用于训练所述深度多分类网络的第一训练样本，所述深度多分类网络对第一训练样本中的阴道镜图像进行不包含宫颈部位、包含部分宫颈部位以及包含全部宫颈部位分类，生成包含部分宫颈部位和包含全部宫颈部位的阴道镜图像；所述宫颈癌前病变检测模型获取根据包含部分宫颈部位的阴道镜图像进行宫颈部位标注的宫颈部位ROI图像，生成用于训练所述深度分割网络的第二训练样本，所述深度分割网络根据第二训练样本生成以宫颈部位作为图像主体的宫颈部位ROI图像；所述宫颈癌前病变检测模型将宫颈部位ROI图像和全部宫颈部位的阴道镜图像合并，生成用于训练所述深度目标检测网络的第三训练样本，所述深度目标检测网络根据第三训练样本获取宫颈癌前病变区域及对应的病变类型。

优选的，所述深度分割网络为Encoder-Decoder结构，所述Encoder由卷积操作和下采样操作组成，所述的卷积操作为3x3卷积核、层数为5；所述Decoder将所述卷积操作的结果特征图通过反卷积操作和上采样操作恢复到原始输入图像的分辨率。

优选的，所述深度目标检测网络包括用于特征提取的骨干网络、用于病变区域检测的回归网络和用于病变类型识别的分类网络。

一种基于阴道镜的宫颈癌前病变检测设备，本检测设备包括处理器和存储器，所述存储器以所述处理器可执行的计算机程序形式储存上述的检测系统，所述处理器执行所述存储器储存的计算机程序，实现所述检测系统的功能。

一种基于阴道镜的宫颈癌前病变检测介质，本介质为计算机可读存储介质，并储存上述的检测系统，计算机读取并执行所储存的检测系统。

本系统可由集成了阴道镜图像分类模块、宫颈部位ROI图像分割模块和宫颈癌前病变检测模块的终端设备来执行，终端设备可为桌上型计算机、笔记本电脑及云端服务器等计算设备，只要医生将拍摄到的阴道镜图片上传到终端设备，终端设备会在5s内返回病变区域及对应的病变类型。

具体地，在采集阴道镜图像时，并不能保证所采集的阴道镜图像全部包括宫颈部位，大部分情形下还会采集到全部为其他身体部位，因此为了减少后续不必要的图像处理操作和降低对最后结果的干扰，需要先将阴道镜图像中不包含宫颈部位的图像排除掉，以筛选出只包含部分宫颈部位（请参阅图2）和全部宫颈部位（请参阅图3）的阴道镜图像。因此终端设备的阴道镜图像分类模块对上传的阴道镜图像，通过深度多分类网络进行不包含宫颈部位、包含部分宫颈部位以及包含全部宫颈部位三分类，以剔除不包含宫颈部位的阴道镜图像，保留包含部分宫颈部位和全部宫颈部位的阴道镜图像，深度多分类网络可以准确地识别三种不同的阴道镜图像。

宫颈部位ROI图像分割模块通过深度分割网络对包含部分宫颈部位阴道镜图像进行宫颈部位的分割提取，以生成以宫颈部位作为图像主体的宫颈部位ROI图像（请参阅图4）。

具体地，在深度分割网络对包含部分宫颈部位的阴道镜图像进行卷积操作和下采样操作，以获取图像深度特征图，然后将深度特征图进行反卷积操作和上采样操作，恢复到接近输入图像的原始分辨率，最后进行像素级预测以生成以宫颈部位作为图像主体的宫颈部位ROI图像。

宫颈癌前病变检测模块通过深度目标检测网络对全部宫颈部位和宫颈部位ROI图像进行目标检测，以输出宫颈癌前病变区域及对应的病变类型。

具体地，深度目标检测网络对宫颈部位ROI图像和全部宫颈部位的阴道镜图像进行病变区域检测及病变类型识别。

阴道镜图像分类模块具体包括：

深度图像特征图获取单元，用于对阴道镜图像通过深度卷积网络进行特征提取，以获取每张阴道镜图像的多通道深度特征图。

图像分类单元，用于对阴道镜图像的多通道深度特征图通过深度全连接神经网络进行多分类，基于多分类结果获取包含部分宫颈部位和包含全部宫颈部位的阴道镜图像。包含部分宫颈部位阴道镜图像需要进一步分割提取宫颈部位ROI图像。

则宫颈部位ROI图像分割模块具体包括：

图像下采样单元，用于对包含部分宫颈部位阴道镜图像通过卷积运算进行下采样操作，以获取图像的深度抽象特征。

图像上采样单元，用于对深度抽象特征通过反卷积运算进行上采样操作，以将图像放大还原回接近原始输入图像的分辨率。

宫颈部位ROI图像分割单元，用于对还原回接近原始输入图像分辨率的图像进行像素级预测，以分割出以宫颈部位作为图像主体的宫颈部位ROI图像。

宫颈部位ROI图像和全部宫颈部位图像进行合并用于宫颈癌前病变检测模型的训练。

则宫颈癌前病变检测模块具体包括：

图像特征提取单元，用于通过深度卷积网络对宫颈部位ROI图像和全部宫颈部位阴道镜图像进行卷积运算，以提取图像特征。

宫颈癌前病变区域检测及病变类型识别单元，用于对所述图像特征利用分类网络和回归网络进行分类和回归运算，以获取阴道镜图像所对应的病变区域及对应的病变类型。

综上所述，本系统在获取到患者阴道镜图像后，可以快速准确地定位病变区域并给出对应的病变类型，在对医生进行少量培训之后就可以进行操作，受到医生专业知识的约束也会大大降低，在没有专业医生的医院或者偏远地区也可以准确地进行宫颈癌筛查和诊断，可以帮助经验不足医生快速判断病变区域，判断病变类型及需要取活检的部位，对及时发现宫颈癌前病变起到了促进作用，具有很大的社会和医学价值。

请参阅图5，本系统基于训练样本分别对深度多分类网络、深度分割网络和深度目标检测网络进行训练。

S21，对采集到的阴道镜图像按照不包含宫颈部位、包含部分宫颈部位及包含全部宫颈部位进行分类标注，以生成用于训练深度多分类网络的第一训练样本。

具体地，为了将所述阴道镜图像中不包含宫颈部位的阴道镜图像自动剔除掉，需要对阴道镜图像进行三分类标注。

阴道镜图像通过阴道镜检查仪器采集，阴道镜检查仪器可为光电一体数码电子阴道镜、电子数码阴道镜等国内外不同厂商生产的阴道镜检查仪器。特别的，阴道镜检查仪器包括但不限于美国WALLACH公司生产的光电一体数码电子阴道镜（PENTASCOPE）、德国Leisegang公司生产的光电一体数码电子阴道镜（BG/LED Y/C）、以及深圳EDAN公司生产的电子数码阴道镜（C6 HD）以及江苏TRME同人医疗公司生产的电子数码阴道镜（TR6000G）。

阴道镜图像包括不包含宫颈部位、包含部分宫颈部位以及包含全部宫颈部位三种类别的阴道镜图像。

S22，基于深度多分类网络根据第一训练样本进行模型训练，并使用训练好的模型对获取到的阴道镜图像进行多分类，以生成包含部分宫颈部位和全部宫颈部位的阴道镜图像。

具体地，在采集阴道镜图像时，并不能保证所采集的阴道镜图像包含全部宫颈部位，大部分情形下还会采集到全部为其他身体部位的阴道镜图像，所以为了减少后续不必要的图像处理操作和降低对最后结果的干扰，需要先将阴道镜图像中不包含宫颈部位的图像排除掉，以筛选出只包含部分宫颈部位和全部宫颈部位的阴道镜图像作为后续步骤的输入样本。

S23，获取包含部分宫颈部位的阴道镜图像，并对阴道镜图像中的宫颈部位进行ROI标注，以获取用于训练深度分割网络的第二训练样本。

具体地，在采集阴道镜图像时，并不能保证图像中只包含宫颈部位，大部分情形下还会有其它身体部位，所以为了消除其它部位对最终病变区域检测和病变类型识别所造成的影响，先定位并分割出宫颈部位ROI图像作为后续处理的样本图像。宫颈部位ROI图像和全部宫颈部位的阴道镜图像一起作为第二训练样本。

S24，基于深度分割网络对第二训练样本进行宫颈部位的定位和分割，以生成宫颈部位ROI图像。

S25，深度目标检测网络将宫颈部位ROI图像和全部宫颈部位的阴道镜图像进行合并，并对合并后的图像进行病变区域和对应病变类型的标注。

具体地，基于2011版IFCPC国际阴道镜术语的阴道镜图像标注规范，作为目前全球最全面的阴道镜图像描述体系，2011版IFCPC国际阴道镜术语对宫颈上皮和血管的边界、轮廓、形态等重要阴道镜图像特征进行了极为详尽的定义及科学化归类。依照该术语体系，宫颈病变异常征象包括：薄醋酸白上皮、细镶嵌及细点状血管，归为1级征象（LSIL征象）；厚醋酸白上皮、粗镶嵌、粗点状血管、边界锐利、内部边界、隆起，归为2级征象（HSIL征象）；白斑、侵蚀性病变及碘染不着色，归为非特异性征象；异形血管、脆性血管、外生型病变、坏疽、溃疡等，归为可疑浸润癌征象；湿疣、息肉、明显子宫颈触血等其他征象，归为杂类。

基于上述各类上皮和血管征象，标注规范中制定了16类标签，对阴道镜图像的病变区域及病变类型进行像素级语义标注。16类标签包括：1-薄的醋酸白上皮、2-细镶嵌、3-细点状血管、4-致密醋酸白上皮、5-粗镶嵌、6-粗点状血管、7-边界锐利；8-内部边界、9-隆起、10-异形血管、11-脆性血管、12-表面轮廓不规则、13-外生型病变、14-坏疽、15-溃疡、16-宫颈有肿块或肿瘤形成，其中，上皮特征标签共10类，包括1、4、7、8、9、12、13、14、15和16；血管特征标签共6类，包括2、3、5、6、10和11。特别的，16类标签可进一步归并到低级别（LSIL）、高级别（HSIL）和癌变三个大类标签中。低级别标签具体包括16类标签中的1到3号标签；高级别标签具体包括16类标签中的4到9号标签；癌变标签具体包括16类标签中的10到16号标签。需要说明的是，考虑到每种类别所对应样本阴道镜图像的数据量，深度目标检测网络提供所识别的病变区域类型包括低级别、高级别和癌变三大类。

S26，通过数据增强对第二训练样本阴道镜图像数据扩充和样本均衡，以生成用于训练深度目标检测网络的第三训练样本。

具体地，由于所采集的阴道镜图像并不是很多，有用的样本就更少，为了防止样本过少而造成的网络过拟合现象，在训练之前需做样本扩充。数据增强方法主要包括但不限于：剪切、模糊处理、旋转、翻转、镜像、亮度调节、缩放、对比度调节等，以形成扩充后的基于阴道镜图像中宫颈上皮和血管特征的宫颈癌前病变检测模型的训练样本图像。

S27，根据第三训练样本对深度目标检测网络进行训练，以获取宫颈癌前病变区域及对应的病变类型。其中，深度目标检测网络采用基于预训练的ResNet101网络作为特征提取器，将提取器作为Faster-RCNN算法的主干网络，用于病变区域特征提取。终端设备根据标注的图像对Faster-RCNN算法进行训练，以生成检测结果。

本检测设备可由基本的处理器和存储器构成，存储器存储有处理器可执行的计算机程序，例如上述的基于阴道镜的宫颈癌前病变检测系统。处理器执行计算机程序时实现上述检测系统中各个模块的功能。

示例性的，所述上述检测系统可以被分割成一个或多个模块/单元，一个或多个模块/单元以处理器可执行的计算机程序形式被存储在存储器中，并由处理器执行，一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令集，该指令集用于描述计算机程序在终端设备中的执行过程。

本检测设备可以是桌上型计算机、笔记本电脑、掌上电脑及云端服务器等计算设备，可包括但不仅限于处理器和存储器。本领域技术人员可以理解，上述部件仅仅是基于阴道镜的宫颈癌前病变检测设备的示例，并不构成对基于阴道镜的宫颈癌前病变检测设备的限定，可以包括比上述部件更多或更少的部件，或者组合某些部件，或者不同的部件，例如本检测设备还可以包括输入输出设备、网络接入设备、总线等。

所述处理器可以是中央处理单元，还可以是其他通用处理器、数字信号处理器、专用集成电路、现成可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述基于阴道镜的宫颈癌前病变检测设备的控制中心，利用各种接口和线路连接整个基于阴道镜的宫颈癌前病变检测设备的各个部分。

所述存储器可用于存储计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现本检测设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘、智能存储卡、安全数字卡、闪存卡、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

其中，本检测设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本系统的全部或部分模块，也可以通过计算机程序指令相关的硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述检测系统的功能。其中，所述计算机程序包括计算机程序代码，可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读存储介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

本检测系统、设备及介质具有如下有益效果：

在将获取的阴道镜图像输入到本检测系统时，首先通过深度多分类网络对采集到的阴道镜图像进行不包含宫颈部位、包含部分宫颈部位以及包含全部宫颈部位三分类，以剔除不包含宫颈部位的阴道镜图像，保留包含部分宫颈部位和全部宫颈部位的图像；然后通过深度分割网络对部分宫颈部位图像进行宫颈部位的分割提取，以生成以宫颈部位作为图像主体的宫颈部位ROI图像；最后通过深度目标检测网络对全部宫颈部位和宫颈部位ROI图像进行目标检测，以输出宫颈癌前病变区域及对应的病变类型。通过将复杂任务进行分解，在不同阶段对应的子任务上应用不同的深度神经网络模型，可以快速且准确地检测到同一张阴道镜图像上不同大小的病变区域，以及不同病变类型的病灶。在对医生进行少量培训之后就可以进行使用，从而大大降低了专业知识对医生的约束，在没有专业医生的医院或者偏远地区也可以准确地进行宫颈癌早期筛查和诊断，可以帮助经验不足医生快速定位病变部位、发现非典型病变区域，判断病变类型、以及活检取材部位，对及时发现宫颈癌前病变及宫颈癌起到了促进作用。本发明通过人工智能中的计算机视觉技术检测和识别经阴道镜检查仪器所采集的阴道镜图像，及时准确地定位宫颈癌前病变区域和病变类型，指导医生准确获取病变组织进行病理学检查，甚至可以替代传统的细胞学检查，快速发现癌前病变及宫颈癌，具有很大的社会和医学价值。

Claims (10)

1.一种基于阴道镜的宫颈癌前病变检测系统，其特征在于：本系统建立基于阴道镜图像的宫颈上皮和血管特征的宫颈癌前病变检测模型，其中包括阴道镜图像分类模块、宫颈部位ROI图像分割模块和宫颈癌前病变检测模块；

所述阴道镜图像分类模块通过深度多分类网络对采集到的阴道镜图像进行不包含宫颈部位、包含部分宫颈部位以及包含全部宫颈部位分类，并剔除不包含宫颈部位的阴道镜图像，保留部分宫颈部位和全部宫颈部位的阴道镜图像；

所述宫颈部位ROI图像分割模块通过深度分割网络对部分宫颈部位图像进行宫颈部位的分割提取，生成以宫颈部位作为图像主体的宫颈部位ROI图像；

所述宫颈癌前病变检测模块通过深度目标检测网络对全部宫颈部位和宫颈部位ROI图像进行目标检测，输出宫颈癌前病变区域及对应的病变类型。

2.根据权利要求1所述的基于阴道镜的宫颈癌前病变检测系统，其特征在于：所述深度多分类网络对阴道镜图像按照是否包含部分宫颈部位以及是否全部为宫颈部位标注为不包含宫颈部位、包含部分宫颈部位以及包含全部宫颈部位进行三种类别分类，对三种类别的阴道镜图像通过深度卷积网络进行特征提取，获取每张阴道镜图像的多通道深度特征图，并对每张阴道镜图像的多通道深度特征图通过深度全连接神经网络进行多分类，基于多分类结果获取包含部分宫颈部位和全部宫颈部位的阴道镜图像。

3.根据权利要求1所述的基于阴道镜的宫颈癌前病变检测系统，其特征在于：所述深度分割网络对包含部分宫颈部位的阴道镜图像通过卷积运算进行下采样操作，获取图像的深度特征图，对深度特征图通过反卷积运算进行上采样操作，将深度特征图放大还原回接近原始输入图像的分辨率，对还原回接近原始输入图像分辨率的图像进行像素级预测，分割出以宫颈部位作为图像主体的宫颈部位ROI图像。

4.根据权利要求1所述的基于阴道镜的宫颈癌前病变检测系统，其特征在于：所述深度目标检测网络通过深度卷积网络对宫颈部位ROI图像和全部宫颈部位阴道镜图像进行卷积运算，提取图像特征，对图像特征利用分类网络和回归网络进行分类和回归运算，获取宫颈部位ROI图像和全部宫颈部位阴道镜图像中的病变区域及对应的病变类型。

5.根据权利要求1所述的基于阴道镜的宫颈癌前病变检测系统，其特征在于：所述宫颈癌前病变类型包括低级别病变、高级别病变和癌变。

6.根据权利要求1所述的基于阴道镜的宫颈癌前病变检测系统，其特征在于：所述宫颈癌前病变检测模型对采集到的阴道镜图像按照不包含宫颈部位、包含部分宫颈部位以及包含全部宫颈部位进行分类标注，生成用于训练所述深度多分类网络的第一训练样本，所述深度多分类网络对第一训练样本中的阴道镜图像进行不包含宫颈部位、包含部分宫颈部位以及包含全部宫颈部位分类，生成包含部分宫颈部位和包含全部宫颈部位的阴道镜图像；所述宫颈癌前病变检测模型获取根据包含部分宫颈部位的阴道镜图像进行宫颈部位标注的宫颈部位ROI图像，生成用于训练所述深度分割网络的第二训练样本，所述深度分割网络根据第二训练样本生成以宫颈部位作为图像主体的宫颈部位ROI图像；所述宫颈癌前病变检测模型将宫颈部位ROI图像和全部宫颈部位的阴道镜图像合并，生成用于训练所述深度目标检测网络的第三训练样本，所述深度目标检测网络根据第三训练样本获取宫颈癌前病变区域及对应的病变类型。

7.根据权利要求6所述的基于阴道镜的宫颈癌前病变检测系统，其特征在于：所述深度分割网络为Encoder-Decoder结构，所述Encoder由卷积操作和下采样操作组成，所述的卷积操作为3x3卷积核、层数为5；所述Decoder将所述卷积操作的结果特征图通过反卷积操作和上采样操作恢复到原始输入图像的分辨率。

8.根据权利要求6所述的基于阴道镜的宫颈癌前病变检测系统，其特征在于：所述深度目标检测网络包括用于特征提取的骨干网络、用于病变区域检测的回归网络和用于病变类型识别的分类网络。

9.一种基于阴道镜的宫颈癌前病变检测设备，其特征在于：本检测设备包括处理器和存储器，所述存储器以所述处理器可执行的计算机程序形式储存所述权利要求1至8任一项所述的检测系统，所述处理器执行所述存储器储存的计算机程序，实现所述检测系统的功能。

10.一种基于阴道镜的宫颈癌前病变检测介质，其特征在于：本介质为计算机可读存储介质，并储存所述权利要求1至8任一项所述的检测系统，计算机读取并执行所储存的检测系统。

Images