CN109977955A - 一种基于深度学习的宫颈癌前病变识别的方法 - Google Patents

一种基于深度学习的宫颈癌前病变识别的方法 Download PDF

Info

Publication number
CN109977955A
CN109977955A CN201910265492.XA CN201910265492A CN109977955A CN 109977955 A CN109977955 A CN 109977955A CN 201910265492 A CN201910265492 A CN 201910265492A CN 109977955 A CN109977955 A CN 109977955A
Authority
CN
China
Prior art keywords
image
acetic acid
white
pixel
registration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910265492.XA
Other languages
English (en)
Other versions
CN109977955B (zh
Inventor
刘君
梁同
陆晗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanchang Hangkong University
Original Assignee
Nanchang Hangkong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanchang Hangkong University filed Critical Nanchang Hangkong University
Priority to CN201910265492.XA priority Critical patent/CN109977955B/zh
Publication of CN109977955A publication Critical patent/CN109977955A/zh
Application granted granted Critical
Publication of CN109977955B publication Critical patent/CN109977955B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度学习的宫颈癌前病变识别的方法，方法步骤如下：第一步，阴道镜图像中宫颈区域的分割；第二步，醋酸实验前后宫颈图像的配准和比值；第三步，经典卷积神经网络VGGNet‑16的优化和迁移学习；本发明的优点：本发明提出了一种用宫颈比值图像代替原图用于迁移学习的方法。该方法运用多种图像处理手段得到基于醋酸实验前后的比值图像，并最终利用在ImageNet数据集上预先训练好的VGGNet‑16模型对宫颈比值图像进行迁移学习，从而实现宫颈癌前病变识别。

Description

一种基于深度学习的宫颈癌前病变识别的方法
技术领域
本发明涉及一种宫颈癌病变识别的领域，具体为一种基于深度学习的宫颈癌 前病变识别的方法。
背景技术
宫颈癌的发病率在女性恶性肿瘤中仅次于乳腺癌，但占据女性生殖道恶性肿 瘤之首。宫颈癌的早期筛查对于降低发病率和死亡率都具有重要意义。基于阴道 镜视野下的醋酸实验是目前临床上对宫颈癌筛查的重要技术手段。然而这种方法 面临有主观性过强、精度低的问题，因此不利于筛查工作在缺少有经验医生的基 层地区的推广。
针对上述问题，实现宫颈癌筛查的自动化和智能化就显得尤为重要。近年来 由于深度学习中的卷积神经网络自动提取特征的优势，在图像分类上占据主导地 位。目前已报道的各类相关研究只采用了醋酸实验后宫颈图像的单一信息，从精 度上面来看并未比人工提取特征有更为明显的优势。为此，本发明提出了一种用 宫颈比值图像代替原图用于迁移学习的方法。该方法运用多种图像处理手段得到 基于醋酸实验前后的比值图像，并最终利用在ImageNet数据集上预先训练好的 VGGNet-16模型对宫颈比值图像进行迁移学习，从而实现宫颈癌前病变识别。
发明内容
本发明的目的在于提供一种基于深度学习的宫颈癌前病变识别的方法，研究 目的是在醋酸实验得到的前后两种宫颈图像基础上，实现宫颈癌前病变的自动识 别，进一步提高筛查准确性。同时通过将该项技术植入到现有阴道镜检测设备实 现其临床应用。
围绕通过醋酸实验前后得到的两中模式的宫颈图像，本发明的技术方案如 下：一种基于深度学习的宫颈癌前病变识别的方法，方法步骤如下：
第一步，阴道镜图像中宫颈区域的分割；
第二步，醋酸实验前后宫颈图像的配准和比值；
第三步，经典卷积神经网络VGGNet-16的优化和迁移学习；
其中上述步骤中涉及到对图像数据预处理，在醋酸实验前后两套白光宫颈图 像的基础上，对图像数据预处理的技术方案包括四步骤，具体为：
(1)从醋酸实验前白光图像中分割出宫颈区域作为感兴趣区域即ROI，醋 酸实验前白光图像和醋酸实验后白光图像将通过后续的配准将两者的像素坐标 进行统一，从醋酸实验前白光图像中分割出了ROI,醋酸实验后白光图像中的相 应区域确定；对所有二幅图像的处理都将局限于ROI中；
(2)对醋酸实验前白光图像和醋酸实验后白光图像进行配准，同时把配准 后的醋酸实验前白光图像和醋酸实验后白光图像进行比值操作得到基于醋酸实 验前后两套白光宫颈图像的宫颈比值图像；
(3)对反光点进行去除；
(4)送入模型进行训练前还要进行一系列的数据标准化操作流程，分割后 经过配准得到的比值图像是不规则的，对其插值缩放。
进一步的，关于阴道镜图像中宫颈区域的分割，具体步骤为：对于宫颈区域 的分割，
(1)结合宫颈区域的位置信息和色彩信息采用k-means聚类的分割方法；
(2)构造了如公式(2-1)所示的宫颈区域相似性测度函数:
其中(x,y)为任意像素点的横、纵坐标,S(x,y)为该像素点与宫颈区域的相似 度，R(x,y)和G(x,y)以及B(x,y)分别为该像素点在RGB空间内的三个分量， Lab_a(x,y)为该像素点在Lab空间内的A分量，Cx和Cy分别为图像中心点的横 坐标、纵坐标；
(3)由公式(2-1)计算出每一个像素点的相似性集合，然后利用k-means 算法对其进行分类；对聚类之后得到的区域进行空洞填充以及膨胀、腐蚀去除部 分零星区域，最终的面积最大区域即宫颈区域。
进一步的，关于醋酸实验前后宫颈图像的配准和比值，具体步骤为：
第一步，配准，遗传算法展开；
使用其梯度图像进行配准，空间变换模型采用如公式(2-2)所示的二维仿 射模型：
其中(x,y)和(x*,y*)分别为待配准图像和配准图像对应像素点的坐标， (p1,p2,p3,p4,p5,p6)为两者之间的空间变换系数，最优组合通过遗传算法，寻 优求解；
参考图像与待配准图像之间的相似性测度函数采用如公式(2-3)所示的相 关系数：
其中(x,y)为任意像素点的坐标，Tb(x,y)和Ta(x,y)分别为参考图像和待配 准图像中某一像素点的梯度值。和分别为待配准图像和参考图像的梯度平 均值。C(x,y)为参考图像和待配准图像对应位置的相似度；
第二步，比值，采用结合基于醋酸实验前后宫颈白光图像比值的方式来凸显 出宫颈区域醋白的变法；
首先将醋酸实验前后两种宫颈白光图像的RGB三个通道分别进行归一化到 0-255之间，再将两个图像RGB三个通道的进行对比，
然后考虑到配准上的误差将三个通道中大于2的值强制设为2，
最后生成了一张比值图像，然后再将其归一化到0-255之间。
进一步的，所述对反光点进行去除，具体步骤为：通过采用去掉灰度较高的 部分的方法来剔除反光点；用灰度图像每个像素点的灰度值与255进行比较，去 掉大于0.85的部分。
进一步的，所述数据标准化，具体步骤为：采用双线性插值法对其进行缩放， 通过放大图像，通过内插来构造一些新像素；通过缩小，通过内插间接保持丢失 像素的属性。
本发明的创新性主要有两点：
第一是检测过程的自动化和智能化。根据本发明制定的检测方案，医生在临 床上只需要完成二张图像的拍摄工作，不需要依据自身临床经验做任何主观性判 断(诸如HPV和宫颈刮片的检测方法则需要医生进行较为繁琐和主观性较强的操 作)。因此本发明的检测方案对于宫颈癌的筛查工作在我国缺乏有经验临床医生 的县一级及以下基层医院甚至社区医院中的推广具有重要意义。
第二是结合使用了醋酸实验前和醋酸实验后的宫颈图像。相比目前研究现状 中只有利用醋酸实验后图像进行判别的方法，本发明提出的这种用宫颈醋酸实验 前后的比值图像代替原图进行训练的方法突出了CIN区域在醋酸实验前后的变 化，能够有效避免因个体差异性和一些非CIN病灶产生的疑似醋白反应区域对 CIN识别产生干扰。
本发明的优点：本发明提出了一种用宫颈比值图像代替原图用于迁移学习的 方法。该方法运用多种图像处理手段得到基于醋酸实验前后的比值图像，并最终 利用在ImageNet数据集上预先训练好的VGGNet-16模型对宫颈比值图像进行迁 移学习，从而实现宫颈癌前病变识别。
附图说明
图1为本发明的图像数据预处理技术方案流程图。
图2为本发明的线性插值法示例图。四个正方形点表示数据点；三角形点表 示我们想要插入的点。
图3为本发明的VGGNet-16的网络架构图。
图4为本发明的卷积层过滤器(filter)结构示意图。
图5为本发明的一个二维图像过滤器的例子示意图。
图6为本发明的卷积层的运算图。
图7为本发明的当池化区域大小为2x2，步长为1时，最大池化层的操作图。
图8为本发明的ReLU图。
图9为本发明的简单的全连接神经网络图。
图10为本发明的迁移学习使用方法图。
具体实施方式
本发明的技术方案如下：一种基于深度学习的宫颈癌前病变识别的方法，方 法步骤如下：
(1)阴道镜图像中宫颈区域的分割，由于阴道镜的视野内除了宫颈区域外 还包含了夹杂着各种反光点的扩阴器、阴道内壁等其它无关的器件和组织，导致 其背景非常复杂。如果在这样的图像基础上进行CIN区域的识别显然会增加误判 的概率。因此首先分割出宫颈区域的位置对后续各项图像处理工作的顺利开展有 着重要的意义。
(2)醋酸实验前后宫颈图像的配准和比值，由于醋酸实验的目的是为了发 现在宫颈表面涂抹醋酸后产生醋白反应的区域，因此分析醋酸实验前后宫颈表面 同一区域色彩和纹理的变化是很重要的环节。而因为涂抹醋酸后等待醋白反应出 现的时间较长(一般为20至60秒)，在这一过程中病人的姿态很可能发生变化 导致醋酸实验前后的宫颈区域在阴道镜视野下呈现出较大形变，因此对醋酸实验 前后的宫颈图像进行配准是本发明中的又一个必要环节。根据研究现状可得知目 前只有利用醋酸实验后的宫颈图像对癌前病变识别进行研究，这样会导致信息单 一难以体现醋酸实验前后的变化，因此对醋酸实验前后宫颈图像在配准的基础上 对RGB三通道归一化后再进行RGB三通道比值运算，利用比值图像代替原图来进 行训练。
(3)经典卷积神经网络VGGNet-16的优化和迁移学习，由于国内一个普通 的三甲医院一年的宫颈癌确诊病例不会超过200例，在数据上暂时达不到理想的 百万量级带标签的数据。此外训练大量的图像数据需要消耗大量的显卡资源。因 此可以使用前人在ImageNet数据集上预先训练好的VGGNet-16模型对上面提到 的宫颈比值图像进行迁移学习。首先对网络进行部分修改，把最后全连接层中的 dropout函数换成batch norm函数。然后通过指数衰减设置学习率、正则化和 滑动平均对网络进行了进一步的优化。最后通过两种迁移学习方案来对宫颈原 图、宫颈区域分割图和基于宫颈醋酸实验前后的比值图像进行训练和测试结果统 计。
在数据获取方面，目前通过合作企业(江西大福医疗科技股份有限公司)从 布点开展实验的医院(广丰区妇幼保健院和横峰县妇幼保健院)已经获得了数千 例阴道镜图像，从中精心挑出质量比较好的HSIL(+)和LSIL(-)各110套数据，此 外还会通过数据增强技术扩充样本量。本发明采取了两种方案来进行实验，第一 种将预先训练好的VGGNet-16模型当作特征提取器来使用。具体做法是重新训练 靠近输出的几层，将剩下的整个网络当作一个固定的特征提取器，应用到宫颈数 据集中。第二种是对其部分进行微调。具体做法是将模型起始的一些层的权重保 持不动，重新训练后面的层，得到新的权重。
实验结果显示使用本发明提出的第一种方案采用5-folds方法进行训练，测 试得到的平均敏感性、特异性和精度为62.27％，68.18％和83.18％，对比使用宫颈 原图和宫颈区域分割图进行训练，测试得到的结果在平均精度上提高了20.91％ 和15％；使用本发明提出的第二种方案采用5-folds方法进行训练，测试得到的平 均敏感性、特异性和精度为72.27％，81.36％和90.91％，对比使用宫颈原图和宫颈 区域分割图进行训练，测试得到的结果在平均精度上提高了18.64％和9.55％，同 时复现了Tao Xu论文[Multi-featurebased benchmark for cervical dysplasia classification]中提到的基于提取的三个互补的金字塔特征进行分类的方法在 我们数据集上进行了训练，测试得到的平均敏感性、特异性和精度为79.21％， 75.69％和77.45％。实验结果证明了本发明提出的方法的有效性。
本发明通过对图像数据预处理，可以尽量避免模型受到无关因素的干扰，可 以提高模型的准确率。在醋酸实验前后两套白光宫颈图像的基础上，本发明对图 像数据预处理的技术方案流程如图1所示。
该方案包含了四个主要技术环节，首先是从图A中分割出宫颈区域作为感兴 趣区域(ROI)。需要说明的是,因为图A和图B的拍摄间隔很长，可以理解为两 幅图像之间会产生较大偏移，所以图A和图B将通过后续的配准将两者的像素坐 标进行统一，因此一旦从图A中分割出了ROI,图B中的相应区域也就可以同时 确定。后续对所有二幅图像的处理都将局限于ROI中。其次是对图A和图B进行 配准，同时把配准后的图A和图B进行比值操作得到基于醋酸实验前后两套白光 宫颈图像的宫颈比值图像。然后对反光点进行去除。最后送入模型进行训练前还 要进行一系列的数据标准化操作流程，其中由于分割后经过配准得到的比值图像 是不规则的，无法送入网络中进行训练，所以对其进行了插值缩放。此外，有一个可以加快训练速度的方法，那就是对训练数据集进行去均值、归一化、白化操 作，还很有可能提高分类精度。对于技术处理方案，下面我们将根据其涉及到的 四个主要技术环节依次介绍。
2.1宫颈区域分割#k-means聚类展开
传统阴道镜获取的图像除了宫颈区域外，往往包含周边的复杂背景区域。对 于宫颈区域的分割，本发明结合宫颈区域的位置信息和色彩信息采用k-means 聚类的分割方法。做此选择的理由有两点，首先是我们通过观察阴道镜的成像过 程发现操作人员总会有意地将宫颈区域摆放在镜头视野中较为中心的位置，因此 位于图像的整体中心位置是宫颈区域的第一个特征。其次是虽然有个体性差异， 但是宫颈区域在白光阴道镜下的颜色都呈现出了特定的肉红色，即便这种肉红色 有深有浅，但与背景色在整体上还是有一定的差异，因此这种色彩信息可以成为 我们利用的第二个特征。在得到以上两个显著特征之后再通过k-means聚类算 法[*]便不难从原始图像中分割出宫颈区域。
综合考虑，我们构造了如公式(2-1)所示的宫颈区域相似性测度函数:
其中(x,y)为任意像素点的横、纵坐标,S(x,y)为该像素点与宫颈区域的相 似度，R(x,y)和G(x,y)以及B(x,y)分别为该像素点在RGB空间内的三个分量， Lab_a(x,y)为该像素点在Lab空间内的A分量，Cx和Cy分别为图像中心点的横 坐标、纵坐标。
S(x,y)的值越大说明与宫颈区域的相似程度越高。由公式(2-1)计算出 每一个像素点的相似性集合，然后利用k-means算法对其进行分类。对聚类之后 得到的区域进行空洞填充以及膨胀、腐蚀[*]去除部分零星区域，最终的面积最 大区域即宫颈区域。
2.2宫颈醋酸实验前后图像配准和比值
2.2.1配准#遗传算法展开；
醋酸白实验中病变组织的泛白是相对的。通常来说，涂抹醋酸之后的CIN部 位会变得比涂抹醋酸之前更为泛白,同时,CIN部位相对于周边正常组织的泛白又 更为明显。在宫颈图像中，泛白最为直观的表现是病变组织区域的像素点灰度等 级(0～255级)更高。而醋酸一般需要1-2min才会发挥作用，在此期间，患者， 设备可能会发生较大的相对偏移，患者组织也可能会发生较大的形变。因此，为 了准确地了解醋酸实验前后某像素点灰度等级的变化，本发明对醋酸实验前后的 宫颈图像进行配准。
配准是指同一目标的两幅或多幅图像在空间位置上的匹配、对准。为了提高 配准效率，本发明使用其梯度图像代替原有的宫颈图像进行配准。空间变换模型 采用如公式(2-2)所示的二维仿射模型：
其中(x,y)和(x*,y*)分别为待配准图像和配准图像对应像素点的坐标， (p1,p2,p3,p4,p5,p6)为两者之间的空间变换系数，最优组合通过遗传算法[*] 寻优求解。
参考图像与待配准图像之间的相似性测度函数采用如公式(2-3)所示的相 关系数：
其中(x,y)为任意像素点的坐标，Tb(x,y)和Ta(x,y)分别为参考图像和待配 准图像中某一像素点的梯度值。和分别为待配准图像和参考图像的梯度平 均值。C(x,y)为参考图像和待配准图像对应位置的相似度。
2.2.2比值
根据研究现状可知目前对宫颈癌前病变识别的研究都是建立在醋酸实验后 的宫颈白光图像基础上进行的。这样会导致信息单一，难以体现醋酸实验前后的 宫颈区域醋白的变化，因此我们采用结合基于醋酸实验前后宫颈白光图像比值的 方式来凸显出宫颈区域醋白的变法。首先将醋酸实验前后两种宫颈白光图像的 RGB三个通道分别进行归一化到0-255之间，再将两个图像RGB三个通道的进行对 比，然后考虑到配准上的误差将三个通道中大于2的值强制设为2，最后生成了一 张比值图像，然后再将其归一化到0-255之间。
2.3反光点的去除
在传统阴道镜图像的拍摄过程中，由于宫颈粘液未清理干净或人为操作不当 等原因，宫颈图像不可避免地会出现反光区域，但是我们并不能准确判断出这部 分区域的原始灰度情况，这将对我们后期的训练会造成一定的干扰误差。因此在 图像数据预处理过程中，我们选择剔除这部分区域。本发明通过采用去掉灰度较 高的部分的方法来剔除反光点。用灰度图像每个像素点的灰度值与255进行比 较，去掉大于0.85的部分，其中阈值0.85是经过多次实验得到的。
2.4数据标准化
由于经过醋酸实验前后的两张宫颈图像经过配准比值分割后的图是不规则 的形状，无法被送入卷积神经网络中进行训练，此外又考虑到分类性能的影响， 所以本发明采用双线性插值法对其进行缩放。缩放图像有两种方式，使其更大或 使其更小。通过放大图像，通过内插来构造一些新像素。通过缩小，我们倾向于 认为选择正确的像素以保持其他像素被丢弃，但事实并非如此。与抛出像素的最 近邻居收缩不同，双线性收缩估计原始图像的分辨率较小。即使细节丢失，缩小 图像中的几乎所有新像素都不是直接来自它们的原始像素，而是内插，间接保持 丢失像素的属性。在数学中，双线性插值是线性插值的扩展，用于在直线2D网 格上插值两个变量(例如，x和y)的函数。关键思想是首先在一个方向上执行 线性插值，然后在另一个方向上再次执行线性插值。尽管每个步骤在采样值和位 置上都是线性的，但是插值作为整体不是线性的，而是在样本位置中是二次的。 下面通过图2来说明线性插值法的原理。
假设我们已知Q11＝(x1,y1)，Q12＝(x1,y2)，Q21＝(x2,y1)和Q22＝(x2,y2)， 我们先沿x方向然后再沿y方向进行双线性插值,通过公式(2-4)和(2-5)可 以算出R1和R2的位置。
我们继续在y方向插值,通过公式(2-6)可以获得P的位置。
注意，如果首先沿y方向然后再沿x方向进行插值，我们将得到相同的结果。
在向网络传递输入数据之前，需要对数据进行标准化处理。使用的一般处理 步骤如下：
1、去均值：输入的patch(既属于训练集，也属于测试集)通过减去整个训 练集的计算平均值来归零。给定N张训练图像，每张图像用x∈Rh×w×c表示，均值 减去步骤如下面公式(2-7)所示。
2、归一化：将训练集上的输入数据(既属于训练集，也属于测试集)与计算 得到的每个输入维数(图像中的像素)的标准差相除，将标准差归一化为一个单位 值。表示步骤如下面公式(2-8)所示。
3、PCA白化：PCA白化的目的是通过对不同的数据维数进行独立归一化，降 低它们之间的相关性。该方法从以零为中心的数据出发，计算协方差矩阵，并对 数据维数之间的相关性进行编码。然后利用奇异值分解(SVD)算法对协方差矩阵 进行分解，并将其投影到奇异值分解得到的特征向量上，实现数据的去相关。然 后，将每个维数除以对应的特征值，对数据空间中的所有维数进行归一化。
4、局部对比归一化：这种归一化方案的动机来自神经科学。正如名称所描 述的，这种方法将特征映射的局部对比规范化，以获得更突出的特征。它首先为 每个像素生成一个局部邻域，例如，对于一个单位半径，选择8个相邻像素。然 后，像素以零为中心，使用其本身和相邻像素值计算平均值。同样，像素也使用 其自身和相邻像素值的标准差进行标准化(只有当标准差大于1时)。得到的像素 值用于进一步的计算。另一种类似的方法是局部响应归一化，它将卷积层中相邻 滤波器的特征对比归一化。
注意PCA白化可以放大数据中的噪声，因此最近的卷积神经网络模型只使用 简单的均值减法(可选的归一化步骤)进行预处理。通过均值减法和归一化实现的 缩放和移位有利于梯度学习。这是因为对所有输入维度的网络权重进行了等价的 更新，从而实现了稳定的学习过程。此外，局部对比标准化(LCN)和局部响应标 准化(LRN)在最近的体系结构中并不常见，因为其他方法(我们将在第四章中描述 的批处理标准化)已经被证明更有效。
VGGNet-16网络架构；卷积神经网络是最受欢迎的神经网络类别之一，特别 是对于高维数据(如图像和视频)。卷积神经网络的运作方式非常类似于标准的神 经网络。然而，一个关键的区别是，卷积神经网络层中的每个单元都是一个二维 (或高维)滤波器，它与该层的输入进行卷积。这对于我们想要从高维输入媒体(例 如图像或视频)中学习模式的情况非常重要。CNN过滤器通过拥有类似(但更小) 的空间形状作为输入媒体来整合空间上下文，并使用参数共享来显著减少可学习 变量的数量。与传统的机器学习相比，卷积神经网络的优势在于不用自己手动提 取特征来训练分类器，可以自动学习有用特征进行深层次的组合，并将分类和特 征提取阶段集成到一个可以端到端的训练的单一管道中。减少了手工设计和专家 人工干预的需要。
VGGNet架构是自2014年引入以来最受欢迎的CNN模型之一，尽管它不是 ILSVRC'14[*]的获胜者。其流行的原因在于其模型的简单性和使用小型卷积内 核，这导致了非常深的网络。作者介绍了一组网络配置，其中配置D和配置E(文 献中通常称为VGGNet-16和VGGNet-19)是最成功的配置[*]。VGGNet体系结构严 格使用3个具有中间Max pooling层的卷积内核进行特征提取，并在最后使用一 组3个完全连接的层进行分类。在VGGNet体系结构中，每个卷积层后面都有一 个ReLU层。使用较小内核的设计选择会导致相对较少的参数，因此可以进行有 效的训练和测试。此外，通过将3×3个大小的卷积核串联堆放，可以使有效感受 野增加到更大的值(如5×5两层、7×7三层等)。最重要的是，使用更小的过滤器，可以堆叠更多的层，从而形成更深层的网络，从而提高视觉任务的性能。这本质 上传达了该体系结构的核心思想，它支持使用更深层次的网络来改进特性学习。 图3显示了性能最好的模型VGGNet-16(configuration D)，它有1.38亿个参 数。与AlexNet[*]类似，它还在前两个完全连接的层中使用激活dropout来避 免过拟合。
由图3可知VGGNet-16由几个基本的构建层组成，称为卷积神经网络层。在 本节中，我们将研究这些构建层及其在VGGNet-16架构中的功能。注意，其中一 些层实现了基本功能，如卷积层、池化层、激励层和全连接层等等。本节主要介 绍这些基本层，以便对VGGNet-16架构有一个基本的了解。
3.2.1卷积层；顾名思义，卷积层是卷积神经网络中最重要的组成部分，也 是“卷积神经网络”名字的来源。卷积层主要有局部关联和窗口滑动着两个关键 操作。卷积层包括一组过滤器(也称为卷积内核)，这些过滤器与给定的输入进行 卷积，生成输出特征图，如图4所示，过滤器可以将神经网络上的一个子节点矩 阵转化成下一层神经网络中的一个单位节点矩阵。
什么是过滤器？卷积层中的每个滤波器都是由离散数组成的网格。以图5所 示的一个2×2过滤器为例。每个过滤器的权值(网格中的数字)是在卷积神经网络 的训练中学习的。学习过程包括在训练开始时随机初始化过滤器的权重。然后， 给定输入-输出对，在学习过程中通过多次不同的迭代调整过滤器权重。
什么是卷积运算？我们之前提到卷积层执行卷积层执行滤波器和该层输入之 间的卷积。让我们考虑图6中的2D卷积，以深入了解层的操作。给定一个二维 输入特征图和一个矩阵大小为4×4和2×2的卷积滤波器，卷积层用突出显示的 输入特征图的patch(也为2×2)乘以2×2滤波器，并将所有值相加，在输出特征 图中生成一个值。注意，过滤器沿着输入特征图的宽度和高度滑动，这个过程将 继续，直到过滤器不能再进一步滑动为止。
在信号处理中，“卷积”和“互相关”是有区别的。我们上面描述的操作就 是“相关操作”。在卷积过程中，唯一的区别是，在乘法和合用之前，滤波器沿 高度和宽度翻转。在机器学习中，这两种操作是等价的，两者之间很少有区别。 这两个术语可以互换使用，大多数深度学习库在卷积层中实现相关操作。原因是 网络优化将收敛于这两种操作中的任何一种。如果将卷积网络的权值替换为使用 相关网络学习的权值，网络性能将保持不变，因为这两个网络中只改变了操作的 顺序，并且它们的判别能力保持不变。
(a)-(i)显示在每个步骤执行的计算，因为过滤器被滑动到输入特征映射上， 以计算输出特征映射中的对应值。将2×2滤波器(绿色表示)与大小相同的区域 (橙色表示)在一个4×4输入特征图中相乘，并将得到的值求和，得到在每个卷 积步骤输出特征图中对应的条目(蓝色表示)。
在上面的例子中，为了计算输出特征图的每个值，filter沿着水平或垂直 位置(沿输入的列或行)。这一步称为卷积滤波器的步长，如果需要，可以将其设 置为不同于1的值。这种维数的减少称为子抽样操作。这种维数的减少为对象的 比例和姿态提供了适度的不变性，这在对象识别等应用程序中是一个有用的特 性。本发明将在讨论池化层的部分讨论其他子抽样机制。精确地说，对于大小为 f×f的滤波器，大小为h×w，步长为s的输入特征图，输出特征维度可以根据 公式(3-1)算出。
式中,为floor操作。然而,在一些应用中，如图像去噪、超分辨率或分 割，我们希望保持卷积后的空间大小不变(甚至更大)。这很重要，因为这些应用 程序需要在像素级进行更密集的预测。此外，它允许我们通过避免输出特性维度 的快速崩溃来设计更深层次的网络。这有助于实现更好的性能和更高的分辨率输 出标签。这可以通过在输入特性映射周围应用零填充来实现。在水平和垂直维度 上填充0可以增加输出维度，因此在架构设计中提供了更大的灵活性。其基本思 想是增加输入特征图的大小，从而获得具有所需尺寸的输出特征图。如果p表示 输入特征图沿每个维度的增加(通过填充0)，则可以表示修改后的输出特征维度 可以根据公式(3-2)求得。
填充卷积通常根据零填充的涉及程度分为以下三类：
(1)Valid Convolution：不涉及补零的最简单情况。过滤器始终保持在输 入特征图中的“有效”位置(没有填充为零的值)，并且输出大小沿高度和宽度减 小f-1。
(2)Same Convolution:确保输出和输入特征图具有相同的大小。为了实现 这一点，输入适当地填充为零。例如，步幅为1时，填充由给出，这就 是为什么它也被称为“半”卷积的原因。
(3)Full Convolution:在卷积之前对输入特征图应用最大可能的填充。 最大可能填充是指在所有卷积的情况下，至少有一个有效的输入值。因此，对于 一个滤波器大小为f的值，它等于填充f-1个0，这样在最极端的角处卷积中至 少包含一个有效值。
对于输入，我们使用了一个相对较小的内核。在计算机视觉中，输入是非常 高维的(如图像和视频)，需要通过大规模的CNN模型进行高效处理。因此，我们 不定义与输入空间大小相等的卷积滤波器，而是定义它们的大小要比输入图像小 得多。
这种设计提供了两个关键的好处:
1)当使用较小的内核时，可学习参数的数量大大减少；
2)小型滤波器确保从与图像中不同对象部分对应的局部区域(例如，图像中不同的对象部分)学习到独特的模式。滤波器的大小(高度和宽度)定义了一个区域 的空间范围，滤波器可以在每个卷积步骤中修改这个区域，称为滤波器的“感 受野”。接受域与输入图像/特征感受野的空间维度特别相关。当我们将多个 卷积层叠加在一起时，每一层的“有效感受野”(相对于网络的输入)就变成 了之前所有卷积层的感受野的函数。对于N个卷积层堆，根据公式(3-3)可 以求得每个卷积层的核大小为f的有效接收域的大小。
如果我们将两个卷积层分别堆起来，每个卷积层的核大小分别为5×5和 3×3，那么第二层的接收域为3×3，但是它对输入图像的有效接收域为7×7。当 叠加卷积层的步长和滤波器尺寸不同时，各层的有效感受野可以用如公式(3-4) 更一般的形式表示。
其中fn为第n层的滤波器大小，si为前一层的步长，为前一层的有效感受 域。
二维情况是最简单的情况，其中过滤器只有一个通道(表示为矩阵)，它与输 入特征通道进行卷积以产生输出响应。在高维情况下,当卷积神经网络的输入为 张量,过滤器应该也是三维立方体，沿高度,宽度和深度和输入进行卷积运算生成 一个相应的三维特征图。然而，本发明在上面讲述的二维例子中设计讨论的所有 概念仍然适用于处理三维和更高维度的输入。
唯一的区别是卷积运算被扩展到一个额外的维度，例如在三维情况下，除了在二维情况下沿高度和宽度进行卷积外，还沿深度进行卷积。类似地，零填充和跨行 可以沿深度以三维情况被执行。
卷积层的核心关键还是它的参数共享机制。在卷积层中，每个神经元和数据 窗口的相连的权重是固定的，每个神经元只关注图像中的一个特性。神经元说直 白点就是图像处理中的滤波器，每个滤波器只会关注图像中的一个特征，比如颜 色、纹理、边缘等等，将这些神经元结合起来就好比图像的特征提取器集合。这 种参数共享机制将会大大减少参数的数量，从而减少过拟合的可能性，但减少参 数量的任务主要还是由下面介绍的池化层担任。
3.2.2池化层；池化层主要放在连续的卷积层之间，对特征图中的块并结合 激活函数进行操作，用于压缩数据减少参数的数量，从而减少过拟合。简单点说 池化层的作用就是用来压缩图像的，使图像保留最重要的特征信息，把冗余的信 息全部剔除掉。这种组合操作由池化层函数(如平均池化函数或最大池化函数) 定义。池化层使用的方法主要有最大池化(Max pooling)和平均池化(Average pooling)这两种。因为本发明中用的前者，所以对其进行介绍。与卷积层类似， 我们需要指定池化区域的大小和步长。图7显示了最大池化的操作，其中最大激 活是从所选的值块中选择的。这个窗口在输入特征图上滑动，步长由stride定 义(图7中为1)。如果池化区域的大小为f×f，步长为s，则输出特征图的大小由公式(3-5)可以求出。
(a)-(i)显示池化操作每一步执行的计算，输入特征图(橙色)中的池化区域 在每一步滑动，以计算输出特征图(蓝色)中的对应值。
池化操作有效地对输入特征图进行下采样。这样的下采样过程对于获得有效 的特征表示是有用的，该特征表示对于图像中目标尺度、姿态和平移的适度变化 是不变的[*]。
3.2.3激活层
卷积神经网络中的权重层(例如卷积层和全连接层)通常后面都会接一个非 线性激活层，对其输出结果进行非线性映射。激活函数接受实值输入，并将其压 缩在一个小范围内，比如[0，1]和[1，1]。在权重层之后应用非线性函数是非常 重要的，因为它允许神经网络学习非线性映射。在不存在非线性的情况下，权重 层堆叠网络等价于从输入域到输出域的线性映射。
非线性函数也可以理解为一种转换或一种选择机制，它决定一个神经元是否 会在给定所有输入的情况下触发。在深度神经网络中常用的激活函数是可微的， 可以实现误差反向传播。因为VGGNet-16中使用到的非线性激活函数为线性整流 函数(RectifiedLinear Unit,ReLU)和Softmax函数。下面介绍一下这两种 非线性激活函数。
ReLU激活函数的激活是由人类视觉皮层的处理过程驱动的[*]。如图8所示， 线性整流变换是一种有趣的变换，它只在输入大于一定数量时才激活节点。它是 一个简单的激活函数，计算速度快，具有特殊的实用价值。根据下面公式(3-6) 可知，如果输入为负，ReLU激活函数将其映射为0；如果输入为正，则保持其值 不变呈线性关系。ReLU激活函数体现了目前的技术水平，因为它们已被证明可 以在许多不同的情况下工作。由于ReLU激活函数的梯度要么为零，要么为常数， 因此有可能控制消失的爆炸梯度问题。在实践中，ReLU激活函数比sigmoid函 数体现出更好的训练效果。与sigmoid和tanh激活函数[*]相比，ReLU激活函 数没有消失梯度问题。如果我们使用hard max作为激活函数，我们可以在层的 激活输出中引入稀疏性。研究表明，使用ReLU激活函数的深层网络可以在不使 用训练前技术的情况下很好地训练[*]。
frelu(x)＝max(0,x) (3-6)
如何将神经网络最后的输出结果变成一个概率分布？Softmax回归就是一 个经常用到的方法。Softmax激活函数是逻辑回归的泛化，因为它可以应用于连 续数据(而不是对二进制进行分类)，并且可以包含多个决策边界。它处理多项标 记系统。Softmax激活函数经常被放置在分类器的输出层,Softmax激活函数可以 返回互斥输出类上的概率分布。假设原始的神经网络输出为y1,y2…yn,那么经 过Softmax激活函数处理的值如公式(3-7)所示。
3.2.4全连接层
全连接层(Fully connected layers)本质上对应于具有1x1大小滤波器的 卷积层。如图9所示，在全连接层中的每个单元都与上一层的所有单元紧密连接。 在一个典型的CNN中，全连接层通常位于架构的末尾,也就是跟传统神经网络神 经元的连接方式是一样的。然而，文献中也报道了一些成功的架构，它们在CNN 的中间位置使用了这种类型的层[*]。如公式(3-8)所示，它的运算可以表示为 一个简单的矩阵乘法，然后添加一个偏置项向量并应用一个非线性函数。
y＝f(WTx+b) (3-8)
其中x和y分别为输入和输出激活的向量，W为包含层单元间连接权值的矩阵， b为偏置项向量。
3.4迁移学习
在许多机器学习和数据挖掘算法中，一个主要的假设是训练和未来的数据必 须在相同的特征空间中，并且具有相同的分布。然而，在许多实际应用中，这种 假设可能不成立。例如，我们有时在一个感兴趣的领域中有一个分类任务，但是 只有在另一个感兴趣的领域中有足够的训练数据，在另一个领域中，后者可能位 于不同的特征空间或遵循不同的数据分布。在这种情况下，如果成功地进行知识 转移，就可以避免昂贵的数据标记工作，从而大大提高学习性能。近年来，迁移 学习作为一种新的学习框架应运而生。
我们越来越擅长训练深度神经网络，从大量的标签数据(图像、语言、句 子等等)学习到从输入到输出准确的映射。但是我们的模型仍然严重缺乏概括在 不同训练中遇到的情况的能力。我们不是将训练好的模型应用于精心构造的数据 集，而是应用于实际世界。现实世界是混乱的，包含了无数的新场景，其中许多 场景是您的模型在训练期间没有遇到过的，而对于这些场景，模型又没有做好做 出预测的准备。将知识转移到新环境的能力通常被称为迁移学习。
与传统的监督机器学习相比，深度学习最大的缺点是贵！当我们试图处理 现实生活中的问题，如图像识别，声音识别等。如果模型中有了几个隐藏层，再 添加一个层将消耗大量计算资源。幸运的是，有一种叫做迁移学习的方法，它允 许我们对别人训练过的模型进行小的修改便可以投入使用。比如神经网络的训练 需要大量的数据支撑，通过从数据中获得重要信息，从而转化成相应的权重。我 们再将这些从其他数据中提取的权重迁移到新的神经网络中去，那我们就不需要 从头开始花费大量的计算时间和资源训练一个神经网络了。其实通过权重的迁移 来对新的数据集进行学习和人类通过自己理解传递给其他人是一个道理。
我们在解决新的图像分类问题时可以使用预训练模型来对新的图像数据 集进行训练，这种方法不但可以提高训练效率，而且还可以提高准确率。一般比 较有名的预训练模型都是在ImageNet数据集上花费大量的时间和计算资源得来 的。现在ImageNet数据集已经被广泛用作训练集来使用。因为它包括120万张 图片，有助于训练模型。此外预训练模型也对于ImageNet数据集之外的很多图 片表现出了很好的泛化性能。因为预训练模型是经过大量图片训练得到的，因此 我们不需要过多对其进行修改，往往只需要对其进行微调即可。但是在微调的过 程中对修改的层会采用更低的学习率进行训练。图10展示了迁移学习的使用方 法。
迁移学习总体可以分为两种方法。第一种是被当作特征提取器来使用。首先 将预训练模型前面所有层的参数固定住，然后用来提取低层次的特征，再通过提 取的特征来训练一个分类器。第二种是对预训练模型进行微调。将预训练模型的 前几层的参数固定住，然后用自己的数据集对网络进行训练，具体固定几层要经 过自己逐层尝试根据测试效果来最终确定。

Claims (5)

1.一种基于深度学习的宫颈癌前病变识别的方法，方法步骤如下：
第一步，阴道镜图像中宫颈区域的分割；
第二步，醋酸实验前后宫颈图像的配准和比值；
第三步，经典卷积神经网络VGGNet-16的优化和迁移学习；
其中上述步骤中涉及到对图像数据预处理，在醋酸实验前后两套白光宫颈图像的基础上，对图像数据预处理的技术方案包括四步骤，具体为：
(1)从醋酸实验前白光图像中分割出宫颈区域作为感兴趣区域即ROI，醋酸实验前白光图像和醋酸实验后白光图像将通过后续的配准将两者的像素坐标进行统一，从醋酸实验前白光图像中分割出了ROI,醋酸实验后白光图像中的相应区域确定；对所有二幅图像的处理都将局限于ROI中；
(2)对醋酸实验前白光图像和醋酸实验后白光图像进行配准，同时把配准后的醋酸实验前白光图像和醋酸实验后白光图像进行比值操作得到基于醋酸实验前后两套白光宫颈图像的宫颈比值图像；
(3)对反光点进行去除；
(4)送入模型进行训练前还要进行一系列的数据标准化操作流程，分割后经过配准得到的比值图像是不规则的，对其插值缩放。
2.根据权利要求1所述的一种基于深度学习的宫颈癌前病变识别的方法，其特征在于：关于阴道镜图像中宫颈区域的分割，具体步骤为：对于宫颈区域的分割，
(1)结合宫颈区域的位置信息和色彩信息采用k-means聚类的分割方法；
(2)构造了如公式(2-1)所示的宫颈区域相似性测度函数:
其中(x,y)为任意像素点的横、纵坐标,S(x,y)为该像素点与宫颈区域的相似度，R(x,y)和G(x,y)以及B(x,y)分别为该像素点在RGB空间内的三个分量，Lab_a(x,y)为该像素点在Lab空间内的A分量，Cx和Cy分别为图像中心点的横坐标、纵坐标；
(3)由公式(2-1)计算出每一个像素点的相似性集合，然后利用k-means算法对其进行分类；对聚类之后得到的区域进行空洞填充以及膨胀、腐蚀去除部分零星区域，最终的面积最大区域即宫颈区域。
3.根据权利要求1所述的一种基于深度学习的宫颈癌前病变识别的方法，其特征在于：关于醋酸实验前后宫颈图像的配准和比值，具体步骤为：
第一步，配准，遗传算法展开；
使用其梯度图像进行配准，空间变换模型采用如公式(2-2)所示的二维仿射模型：
其中(x,y)和(x*,y*)分别为待配准图像和配准图像对应像素点的坐标，(p1,p2,p3,p4,p5,p6)为两者之间的空间变换系数，最优组合通过遗传算法，寻优求解；
参考图像与待配准图像之间的相似性测度函数采用如公式(2-3)所示的相关系数：
其中(x,y)为任意像素点的坐标，Tb(x,y)和Ta(x,y)分别为参考图像和待配准图像中某一像素点的梯度值。和分别为待配准图像和参考图像的梯度平均值。C(x,y)为参考图像和待配准图像对应位置的相似度；
第二步，比值，采用结合基于醋酸实验前后宫颈白光图像比值的方式来凸显出宫颈区域醋白的变法；步骤为：
首先将醋酸实验前后两种宫颈白光图像的RGB三个通道分别进行归一化到0-255之间，再将两个图像RGB三个通道的进行对比，
然后考虑到配准上的误差将三个通道中大于2的值强制设为2，
最后生成了一张比值图像，然后再将其归一化到0-255之间。
4.根据权利要求1所述的一种基于深度学习的宫颈癌前病变识别的方法，其特征在于：所述对反光点进行去除，具体步骤为：通过采用去掉灰度较高的部分的方法来剔除反光点；用灰度图像每个像素点的灰度值与255进行比较，去掉大于0.85的部分。
5.根据权利要求1所述的一种基于深度学习的宫颈癌前病变识别的方法，其特征在于：所述数据标准化，具体步骤为：采用双线性插值法对其进行缩放，通过放大图像，通过内插来构造一些新像素；通过缩小，通过内插间接保持丢失像素的属性。
CN201910265492.XA 2019-04-03 2019-04-03 一种基于深度学习的宫颈癌前病变识别的方法 Active CN109977955B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910265492.XA CN109977955B (zh) 2019-04-03 2019-04-03 一种基于深度学习的宫颈癌前病变识别的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910265492.XA CN109977955B (zh) 2019-04-03 2019-04-03 一种基于深度学习的宫颈癌前病变识别的方法

Publications (2)

Publication Number Publication Date
CN109977955A true CN109977955A (zh) 2019-07-05
CN109977955B CN109977955B (zh) 2021-11-30

Family

ID=67082644

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910265492.XA Active CN109977955B (zh) 2019-04-03 2019-04-03 一种基于深度学习的宫颈癌前病变识别的方法

Country Status (1)

Country Link
CN (1) CN109977955B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110415816A (zh) * 2019-07-26 2019-11-05 郑州大学 一种基于迁移学习的皮肤病临床图像多分类方法
CN110458223A (zh) * 2019-08-06 2019-11-15 湖南省华芯医疗器械有限公司 一种内镜下支气管肿瘤自动检测方法及检测系统
CN110619347A (zh) * 2019-07-31 2019-12-27 广东工业大学 一种基于机器学习的图像生成方法及其方法
CN110675411A (zh) * 2019-09-26 2020-01-10 重庆大学 基于深度学习的宫颈鳞状上皮内病变识别算法
CN111180071A (zh) * 2019-12-31 2020-05-19 四川大学 高危型hpv型别和宫颈癌前病变阶段关系的计算方法及装置
WO2021068142A1 (zh) * 2019-10-09 2021-04-15 深圳大学 自动识别原始文档的翻拍图像的训练方法和检测方法
CN112991360A (zh) * 2021-03-01 2021-06-18 北京邮电大学 一种宫颈癌前病理组织学分割优化方法
CN113035334A (zh) * 2021-05-24 2021-06-25 四川大学 鼻腔nkt细胞淋巴瘤放疗靶区自动勾画方法和装置
WO2023220867A1 (en) * 2022-05-16 2023-11-23 Intel Corporation Neural network with point grid convolutional layer
CN117437514A (zh) * 2023-12-22 2024-01-23 南昌航空大学 一种基于CycleGan的阴道镜图像模态转换方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030144585A1 (en) * 1999-12-15 2003-07-31 Howard Kaufman Image processing using measures of similarity
US20050041844A1 (en) * 2003-08-22 2005-02-24 Konica Minolta Medical & Graphic, Inc. Diagnosis aid apparatus
US7187790B2 (en) * 2002-12-18 2007-03-06 Ge Medical Systems Global Technology Company, Llc Data processing and feedback method and system
CN100413460C (zh) * 2000-03-28 2008-08-27 前进光子有限公司 组织病灶的表征和绘图的方法和系统
CN101756696A (zh) * 2009-12-31 2010-06-30 中国人民解放军空军总医院 多光子皮肤镜图像自动分析系统及其应用于恶性黑素瘤的诊断方法
CN102585814A (zh) * 2012-01-10 2012-07-18 友瑞莱能金融服务有限公司 组织类型识别方法与装置
CN103886318A (zh) * 2014-03-31 2014-06-25 武汉天仁影像科技有限公司 尘肺病大体成像中病灶区域的提取与分析方法
KR101489163B1 (ko) * 2013-07-25 2015-02-03 전북대학교산학협력단 자궁 경부암 자동 진단 방법 및 시스템
CN107220980A (zh) * 2017-05-25 2017-09-29 重庆理工大学 一种基于全卷积网络的mri图像脑肿瘤自动分割方法
CN108961222A (zh) * 2018-06-19 2018-12-07 江西大福医疗科技股份有限公司 一种基于阴道镜图像的宫颈癌早期筛查识别方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030144585A1 (en) * 1999-12-15 2003-07-31 Howard Kaufman Image processing using measures of similarity
CN100413460C (zh) * 2000-03-28 2008-08-27 前进光子有限公司 组织病灶的表征和绘图的方法和系统
US7187790B2 (en) * 2002-12-18 2007-03-06 Ge Medical Systems Global Technology Company, Llc Data processing and feedback method and system
US20050041844A1 (en) * 2003-08-22 2005-02-24 Konica Minolta Medical & Graphic, Inc. Diagnosis aid apparatus
CN101756696A (zh) * 2009-12-31 2010-06-30 中国人民解放军空军总医院 多光子皮肤镜图像自动分析系统及其应用于恶性黑素瘤的诊断方法
CN102585814A (zh) * 2012-01-10 2012-07-18 友瑞莱能金融服务有限公司 组织类型识别方法与装置
KR101489163B1 (ko) * 2013-07-25 2015-02-03 전북대학교산학협력단 자궁 경부암 자동 진단 방법 및 시스템
CN103886318A (zh) * 2014-03-31 2014-06-25 武汉天仁影像科技有限公司 尘肺病大体成像中病灶区域的提取与分析方法
CN107220980A (zh) * 2017-05-25 2017-09-29 重庆理工大学 一种基于全卷积网络的mri图像脑肿瘤自动分割方法
CN108961222A (zh) * 2018-06-19 2018-12-07 江西大福医疗科技股份有限公司 一种基于阴道镜图像的宫颈癌早期筛查识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
KELWIN FERNANDES 等: "Automated Methods for the Decision Support of Cervical Cancer Screening Using Digital Colposcopies", 《IEEE ACCESS》 *
TAO XU 等: "Multi-feature based benchmark for cervical dysplasia classification evaluation", 《ELSEVIER》 *
宁梓淯 等: "基于细胞核特征的宫颈癌细胞图像的识别与分类", 《自动化与仪器仪表》 *
廖欣 等: "基于深度卷积神经网络的宫颈细胞病理智能辅助诊断方法", 《液晶与显示》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110415816B (zh) * 2019-07-26 2023-02-21 郑州大学 一种基于迁移学习的皮肤病临床图像多分类方法
CN110415816A (zh) * 2019-07-26 2019-11-05 郑州大学 一种基于迁移学习的皮肤病临床图像多分类方法
CN110619347A (zh) * 2019-07-31 2019-12-27 广东工业大学 一种基于机器学习的图像生成方法及其方法
CN110458223A (zh) * 2019-08-06 2019-11-15 湖南省华芯医疗器械有限公司 一种内镜下支气管肿瘤自动检测方法及检测系统
CN110675411B (zh) * 2019-09-26 2023-05-16 重庆大学 基于深度学习的宫颈鳞状上皮内病变识别算法
CN110675411A (zh) * 2019-09-26 2020-01-10 重庆大学 基于深度学习的宫颈鳞状上皮内病变识别算法
WO2021068142A1 (zh) * 2019-10-09 2021-04-15 深圳大学 自动识别原始文档的翻拍图像的训练方法和检测方法
CN111180071A (zh) * 2019-12-31 2020-05-19 四川大学 高危型hpv型别和宫颈癌前病变阶段关系的计算方法及装置
CN112991360A (zh) * 2021-03-01 2021-06-18 北京邮电大学 一种宫颈癌前病理组织学分割优化方法
CN113035334A (zh) * 2021-05-24 2021-06-25 四川大学 鼻腔nkt细胞淋巴瘤放疗靶区自动勾画方法和装置
WO2023220867A1 (en) * 2022-05-16 2023-11-23 Intel Corporation Neural network with point grid convolutional layer
CN117437514A (zh) * 2023-12-22 2024-01-23 南昌航空大学 一种基于CycleGan的阴道镜图像模态转换方法
CN117437514B (zh) * 2023-12-22 2024-04-05 南昌航空大学 一种基于CycleGan的阴道镜图像模态转换方法

Also Published As

Publication number Publication date
CN109977955B (zh) 2021-11-30

Similar Documents

Publication Publication Date Title
CN109977955A (zh) 一种基于深度学习的宫颈癌前病变识别的方法
Khan et al. Computer-aided gastrointestinal diseases analysis from wireless capsule endoscopy: a framework of best features selection
Shahin et al. White blood cells identification system based on convolutional deep neural learning networks
Li et al. Cancer metastasis detection with neural conditional random field
CN111192245B (zh) 一种基于U-Net网络的脑肿瘤分割网络及分割方法
Beevi et al. Automatic mitosis detection in breast histopathology images using convolutional neural network based deep transfer learning
Pang et al. A novel end-to-end classifier using domain transferred deep convolutional neural networks for biomedical images
Khan et al. Classification of gastrointestinal diseases of stomach from WCE using improved saliency-based method and discriminant features selection
Pan et al. Mitosis detection techniques in H&E stained breast cancer pathological images: A comprehensive review
Greenblatt et al. Quaternion neural networks applied to prostate cancer gleason grading
Huang et al. Semantic segmentation of breast ultrasound image with fuzzy deep learning network and breast anatomy constraints
Fu et al. StoHisNet: A hybrid multi-classification model with CNN and Transformer for gastric pathology images
CN113256561A (zh) 一种基于无归一化深度残差与注意力机制的肠道病灶辅助诊断方法
Uparkar et al. Vision transformer outperforms deep convolutional neural network-based model in classifying X-ray images
Dogar et al. Attention augmented distance regression and classification network for nuclei instance segmentation and type classification in histology images
Kumar et al. Brain tumor detection using convolutional neural network
El-Feshawy et al. Brain tumour classification based on deep convolutional neural networks
Akkar et al. Diagnosis of lung cancer disease based on back-propagation artificial neural network algorithm
Pavithra et al. An Overview of Convolutional Neural Network Architecture and Its Variants in Medical Diagnostics of Cancer and Covid-19
Qian et al. Multi-scale context UNet-like network with redesigned skip connections for medical image segmentation
CN113011436A (zh) 一种基于卷积神经网络的中医舌色苔色协同分类方法
Tsai et al. Deep learning techniques for colorectal cancer tissue classification
Shobarani et al. Melanoma Malignancy Prognosis Using Deep Transfer Learning
Sarkar et al. Towards automated breast mass classification using deep learning framework
Yancey Deep Feature Fusion for Mitosis Counting

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant