CN108765374B - 一种宫颈涂片图像中异常核区域筛查的方法 - Google Patents
一种宫颈涂片图像中异常核区域筛查的方法 Download PDFInfo
- Publication number
- CN108765374B CN108765374B CN201810390350.1A CN201810390350A CN108765374B CN 108765374 B CN108765374 B CN 108765374B CN 201810390350 A CN201810390350 A CN 201810390350A CN 108765374 B CN108765374 B CN 108765374B
- Authority
- CN
- China
- Prior art keywords
- network
- feature
- screening
- image
- hit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000012216 screening Methods 0.000 title claims abstract description 30
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 23
- 238000009595 pap smear Methods 0.000 title claims abstract description 13
- 238000001514 detection method Methods 0.000 claims abstract description 13
- 238000010586 diagram Methods 0.000 claims abstract description 7
- 238000012545 processing Methods 0.000 claims abstract description 6
- 239000013598 vector Substances 0.000 claims description 25
- 238000011176 pooling Methods 0.000 claims description 23
- 230000008569 process Effects 0.000 claims description 16
- 238000013528 artificial neural network Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 11
- 238000012360 testing method Methods 0.000 claims description 10
- 238000013519 translation Methods 0.000 claims description 7
- 230000014759 maintenance of location Effects 0.000 claims description 4
- 238000003491 array Methods 0.000 claims description 3
- 238000006073 displacement reaction Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 210000002569 neuron Anatomy 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 241000277331 Salmonidae Species 0.000 claims 1
- 210000004027 cell Anatomy 0.000 abstract description 12
- 238000000605 extraction Methods 0.000 abstract description 11
- 210000004940 nucleus Anatomy 0.000 abstract description 6
- 210000003855 cell nucleus Anatomy 0.000 abstract description 3
- 238000013527 convolutional neural network Methods 0.000 abstract description 3
- 238000010186 staining Methods 0.000 abstract 1
- 230000006870 function Effects 0.000 description 6
- 206010008342 Cervix carcinoma Diseases 0.000 description 4
- 208000006105 Uterine Cervical Neoplasms Diseases 0.000 description 4
- 201000010881 cervical cancer Diseases 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001575 pathological effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 241000282414 Homo sapiens Species 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 210000000805 cytoplasm Anatomy 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 238000004043 dyeing Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种检测宫颈涂片图像中异常核区域的方法，包括下述步骤：(1)采用残差卷积神经网络提取图像特征图；(2)采用区域建议网络处理特征图输出建议目标区域以及分数；(3)提出几何特征保持的全卷积网络对特征图和建议目标区域进行位置回归以及分类；(4)提出命中度的概念，并以此作为核区域筛查和评估的方法。本发明对细胞图像进行有针对性的特征提取，使得既能提取高层语义信息，又能较好保持底层的细节特征，提升了分类结果；本发明从异常筛查的基本目的出发，增加了关注度的考量，更加符合医学细胞检测的需要；同时多方面考量不同目标间的大小、染色深度、形状等特征，可以对异常细胞核进行更好的理解和学习。
Description
技术领域
本发明属于图像处理的技术领域，尤其涉及一种宫颈涂片图像中异常核区域筛查的方法。
背景技术
近年来宫颈癌的发病率呈上升趋势，已经成为危害女性健康的第二大类癌症。宫颈癌的早期发现对于降低死亡率具有重要意义。目前大多数医院都采用人工阅片的技术，不仅效率低下，而且随着工作时间增加人类大脑疲劳，容易导致阅片错误率上升，从而降低宫颈涂片筛查的准确率。采用计算机辅助诊断技术进行异常筛查，使用电脑自动阅片处理，提高效率的同时，可以提高准确率，同时更加客观科学，对宫颈癌的筛查具有重大的意义。
传统的计算机辅助诊断筛查技术一般包括分割和分类两个步骤。首先对整幅宫颈细胞图像进行分割，然后对分割得到的小块进行处理，分类为异常部分和正常部分，正常部分一般包括背景，正常的细胞质和细胞核。最后，对异常部分进行最终诊断分析。这些自动化辅助宫颈癌筛查方法近年来取得了很大的进展。早期的工作提出了很多细胞分割的方法，包括水浸算法，移动k均值聚类和基于种子的区域增长(SBRG)算法，均值向量差增强，动态稀疏轮廓(DSC)搜索和梯度向量流(GVF)，图割和模糊C均值聚类(FCM)。而分类方法主要分为两大类：有监督和无监督。一般来说，研究人员更喜欢综合分类方法，而不是单一的提取特征。无监督的包括所有的聚类算法，比如k-means,PC，EM算法等。有监督的包括K-近邻算法、决策树、朴素贝叶斯、支持向量机以及神经网络等。由于深度学习类算法采用自动提取特征方式，大量的实验表明，这种方式比人工设计的特征具有更高的代表性，从而能获得更加优秀的分类结果。传统方法由于特征提取能力不足，过于依赖人工特征，导致泛化能力较低，同时，需要大量的计算，导致测试时间过长。深度学习类算法由于其独特的计算特点，能很好地改进传统方法的缺陷。
发明内容
本发明的主要目的在于克服现有技术的缺点与不足，提供一种宫颈涂片图像中异常核区域筛查的方法，提高宫颈异常筛查的准确率，可用于实际临床筛查辅助系统。
为了达到上述目的，本发明采用以下技术方案：
本发明一种宫颈涂片图像中异常核区域筛查的方法，包括下述步骤：
(1)采用DeepLCT神经网络提取图像特征图；
(2)采用区域建议网络处理特征图输出建议目标区域以及分数；
(3)提出几何特征保持的全卷积网络对特征图和建议目标区域进行位置回归以及分类；
(4)提出命中度的概念，并以此作为核区域筛查和评估的方法。
作为优选的技术方案，所述步骤(1)中，提取图像特征图的具体方法为：
将原始图像输入DeepLCT神经网络，DeepLCT神经网络包括卷积层Conv，池化层Pooling以及三个节点环卷积结构；对于输入原始图像，图像的原始像素被输入权重为ωl的卷积层Conv,卷积层中隐藏神经元的输出：
Hl＝pool(relu(WlHl-1+bl))
其中：l∈{1,…,L-1},L是网络的层数，bl是偏置参数，Hl的结果来自于该层权重参数Wl和上一层网络输出Hl-1的乘积和加上偏置bl；函数pool采用的是最大值池化，在池化核范围内选择最大值输出，对于输入Hx，节点环结构计算如下：
F(Hx)＝Wl+1(relu(WlHx+bl))+bl+1+Hx
其中：l∈{1,…,L-1},L是网络的层数，Wl、bl和Wl+1、bl+1分别是第l层和l+1层的权值参数和偏置参数，对任意l，Wl和bl都需要经过训练，将两层卷积节点和输入节点相加，形成节点环卷积结构，最大限度提取图像高层语义特征和底层细节特征。
作为优选的技术方案，所述步骤(3)中，几何特征保持的全卷积网络的计算过程如下：
(3-1-1)将N个建议区域直接映射到特征图上，得到特征块；
(3-1-2)对建议区域的特征块输入几何特征保持模块，具体为：
首先使用1*1卷积层进行几何特征保持的降维操作；
然后进行全局平均池化，提取几何特征，对一个大小为m×n的特征块，使用大小为m×n的池化窗口，进行全局平均池化，得到包含几何特征的特征向量T；
(3-1-3)对得到的特征向量进行softmax分类，得到该区域属于第j类的概率Sj：
其中，tj指的是(3-1-2)的特征向量T的第j个分量，
表示对特征向量里的c个分量进行指数求和，c是分类的类别数；
在训练过程中，使用softmax分类结果求出softmax-loss
其中Lcls是损失，sj是softmax的输出向量S的第j个值，表示的是这个样本属于第j个类别的概率，j的范围也是1到类别数c；y是一个1*c的向量，里面的c个值只有真实标签对应的位置的那个值是1，其他c-1个值都是0；
(3-1-4)对特征向量进行位移的回归，输出4*K维数组t，表示分别属于k类时，应该平移缩放的参数；
k表示类别的索引，
是指相对于建议区域的尺度不变的平移，
是指对数空间中相对于建议区域的高与宽，检测框定位的损失函数由真实分类对应的预测平移缩放参数
和真实平移缩放参数v=(vx,vy,vw,vh)比较得到：
其中，smoothL1损失函数为：
(3-1-5)最后的总损失为：
规定u＝0为背景类，γ控制分类损失和回归损失的平衡，γ＝1。
作为优选的技术方案，所述步骤(3)中，命中度HD的定义和应用过程如下：
其中，pi是检测结果集的第i个结果框，gj是ground truth中的任意一个框，I(pi,gj)表示pi和gj的交集面积，A(pi)是pi的面积；如果对任意pi，存在gj，使得HD(pi)＞T，T∈(0,1)，那么我们认为pi命中了gj；
基于命中度的准确率HP和召回率HR定义如下：
其中TP和FP分别代表了检测出来的基于命中度的真阳性样本数目和假阳性样本数目，N是两者之和，也就是检测的所有结果，G*是指被命中的ground truth的数目，G是所有ground truth的数目。
作为优选的技术方案，在网络框架训练和测试的过程中，使用命中度衡量一个预选目标框和原始ground truth的吻合程度；如果命中度超过0.5，那么这个框就是和groundtruth吻合的所需要的目标框；在训练过程中，就会引导网络将命中度超过0.5的预选框的正例概率最大可能提升接近1，其他预选框正例概率最大可能接近0，如此也就训练出了一个对目标预选框有筛查能力的网络；
在测试过程中，只有命中度超过0.5的框被认为是正确标记的正例，才能计入后面的准确率和召回率的计算，成为衡量网络性能和筛查结果的指标之一。
本发明与现有技术相比，具有如下优点和有益效果：
(1)、本发明针对宫颈细胞图像，能够快速定位异常区域，作为临床的辅助诊断方式，能够极大减少临床医生的工作量，能够直接在此基础上进行进一步的异常区域处理。
(2)、本发明提出的DeepLCT神经网络，可以作为医学细胞图像特征提取的通用网络，兼顾速度和精度，能够很好保持细胞的高层语义信息以及底层细节信息。
(3)、提出了几何特征保持的全卷积网络，多方面考量不同目标间的大小、染色深度、形状等特征，可以对异常细胞核进行更好的理解和学习，基于该网络选择出的最优解据有合理性和有效性。
(4)、提出命中测度的概念，通过对检测结果和ground truth的匹配程度的比较，从异常筛查的基本目的出发，增加了关注度的考量，与已有的测度算法比较，更加符合医学细胞检测的需要。
本发明可以运用到如下领域：
(1)、医院的病理科，进行宫颈脱落细胞的筛查，从而进行辅助诊断；
(2)、实验室研究，对宫颈异常细胞核区域的病理研究；
(3)、目标检测，对类似癌前医学细胞图像的异常目标定位。
附图说明
图1为本发明提出方法的整体流程图。
图2为本发明的检测方法中DeepLCT神经网络的详细操作流程图。
图3为DeepLCT网络的节点环结构图。
图4为几何特征保持模块。利用全局池化将建议区域直接提取特征送入softmax分类。
图5为异常区域检测结果比较图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例
如图1所示，本发明一种宫颈涂片图像中异常核区域筛查的方法，先使用残差卷积神经网络提取图像的特征，之后区域建议网络对特征进行硬性区域提取，并且对每一个区域进行打分，在非极大值抑制后选择分数较高的区域。在几何特征保持的全卷积网络中提取建议区域的特征块，对特征块进行几何保持的特征提取，对特征进行分类和回归，得到最后的目标区域。本文提出的方法不仅可以提高宫颈异常区域检测的准确率，也可以用于医学其他细胞图像的检测研究。
本发明的宫颈涂片图像中异常核区域筛查的方法具体包括如下主要技术要点：
1、提取特征；
特征提取网络是局部连接的卷积神经网络，相对于全连接网络最大的特点就是其局部连接性和权值共享性。权值共享也就是卷积核共享，不同的卷积核可以提取不同的图像特征，对所有的图像共用同一套卷积核来提取特征。我们定义了DeepLCT神经网络来进行宫颈细胞图像的特征提取，具体结构如图2。同时本专利定义了节点环卷积结构，如图3，既能提取较高层的语义特征，同时尽可能保持底层的细节特征，帮助提高分类结果。
将原始图像输入DeepLCT神经网络，网络包括卷积层Conv，池化层Pooling以及残差网络结构residual network。对于输入图像I，图像的原始像素被输入权重为ωl的卷积层Conv,卷积层中隐藏神经元的输出：
Hl＝pool(relu(WlHl-1+bl))
其中：l∈{1,…,L-1},L是网络的层数，bl是偏置参数。Hl的结果来自于该层权重参数Wl和上一层网络输出Hl-1的乘积和加上偏置bl。函数pool采用的是最大值池化，在池化核范围内选择最大值输出。对于输入Hx，节点环结构计算如下：
F(Hx)＝Wl+1(relu(WlHx+bl))+bl+1+Hx
其中：l∈{1,…,L-1},L是网络的层数，Wl、bl和Wl+1、bl+1分别是第l层和l+1层的权值参数和偏置参数。对任意l，Wl和bl都需要经过训练。将两层卷积节点和输入节点相加，形成节点环卷积结构，最大限度提取图像高层语义特征和底层细节特征。
DeepLCT网络将输入的三维图像，转化为多通道的特征图。
2、建议区域的粗提取；
本发明用“Faster R-CNN:towards real-time object detection with regionproposal networks“(International Conference on Neural Information ProcessingSystems，2015年第6期第39卷91-99页，作者，Shaoqing Ren等)中的区域建议网络提取建议区域。
区域特征网络是一个全连接网络，对输出的特征图m×n,以每个像素点为中心，衍生9种规格的预选区域框，分别是128×128，256×256，512×512，64×256，256×64，128×512，512×128，256×1024，1024×256(相对原图)。经训练，对每个预选区域框打分。将超出原图边界的预选区域框删除。使用非极大值抑制来去掉冗余的预选框。将所有框的得分排序，选中最高分及其对应的框，遍历其余的框，如果和当前最高分框的重叠面积(IOU)大于一定阈值，将该框删除。最后输出得分最高的N个候选框。
3、几何特征保持的全卷积网络的定义和计算；
几何特征保持的全卷积网络是通过对建议区域的全局特征提取，极大程度地保持了目标的几何信息，避免几何信息的丢失对结果造成的误差，具体结构如图4。其计算过如下所述：
(1)将N个建议区域直接映射到特征图上，得到特征块。
(2)对建议区域的特征块输入几何特征保持模块。首先使用1*1卷积层进行几何特征保持的降维操作。然后进行全局平均池化，提取几何特征。对一个大小为m×n的特征块，使用大小为m×n的池化窗口，进行全局平均池化，得到包含几何特征的特征向量。
其中，Ti是第i个特征块提取出来的特征，tj表示第i个特征块里的第j个像素点的特征值。相比较与其他区域特征块固定池化的方法，该模块很好地对目标区域的大小、形状等几何特征进行提取，保持了不同目标的因为几何特征区别带来的样本差异性，将大小和形状等考虑进正负样本的关键区分特征里。
(3)对得到的特征点进行softmax分类，得到该区域属于第j类的概率Sj。
其中，tj指的是(2)的特征向量T的第j个分量，
表示对特征向量里的c个分量进行指数求和，c是分类的类别数。
在训练过程中，使用softmax分类结果求出softmax-loss
其中Lcls是损失，sj是softmax的输出向量S的第j个值，表示的是这个样本属于第j个类别的概率，j的范围也是1到类别数c。y是一个1*c的向量，里面的c个值只有真实标签对应的位置的那个值是1，其他c-1个值都是0。
(4)对特征点进行位移的回归，输出4*K维数组t，表示分别属于k类时，应该平移缩放的参数。
k表示类别的索引，
是指相对于建议区域的尺度不变的平移，
是指对数空间中相对于建议区域的高与宽。检测框定位的损失函数由真是分类对应的预测平移缩放参数
和真实平移缩放参数v=(vx,vy,vw,vh)比较得到：
其中，smoothL1损失函数为：
(5)最后的总损失为
规定u＝0为背景类(也就是负标签),γ控制分类损失和回归损失的平衡,γ＝1。
4、命中度定义和异常筛查方法；
命中度HD评估的计算过程如下：
其中，pi是检测结果集的第i个结果框，gj是ground truth中的任意一个框，I(pi,gj)表示pi和gj的交集面积，A(pi)是pi的面积。如果对任意pi，存在gj，使得HD(pi)＞T，T∈(0,1)，那么我们认为pi命中了gj。
基于命中度的准确率HP和召回率HR定义如下：
其中TP和FP分别代表了检测出来的基于命中度的真阳性样本数目和假阳性样本数目，N是两者之和，也就是检测的所有结果。G*是指被命中的ground truth的数目，G是所有ground truth的数目。
在网络框架训练和测试的过程中，本专利使用命中度衡量一个预选目标框和原始ground truth的吻合程度。本专利规定，如果命中度超过0.5，那么这个框就是和groundtruth吻合的所需要的目标框。在训练过程中，就会引导网络将命中度超过0.5的预选框的正例概率最大可能提升接近1，其他预选框正例概率最大可能接近0。如此也就训练出了一个对目标预选框有筛查能力的网络。在测试过程中，只有命中度超过0.5的框被认为是正确标记的正例(TP)，才能计入后面的准确率和召回率的计算，成为衡量网络性能和筛查结果的指标之一。具体检测结果如图5。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (4)
1.一种宫颈涂片图像中异常核区域筛查的方法，其特征在于，包括下述步骤：
(1)采用DeepLCT神经网络提取图像特征图；
(2)采用区域建议网络处理特征图输出建议目标区域以及分数；
(3)提出几何特征保持的全卷积网络对特征图和建议目标区域进行位置回归以及分类，所述几何特征保持的全卷积网络的计算过程如下：
(3-1-1)将N个建议区域直接映射到特征图上，得到特征块；
(3-1-2)对建议区域的特征块输入几何特征保持模块，具体为：
首先使用1*1卷积层进行几何特征保持的降维操作；
然后进行全局平均池化，提取几何特征，对一个大小为m×n的特征块，使用大小为m×n的池化窗口，进行全局平均池化，得到包含几何特征的特征向量T；
(3-1-3)对得到的特征向量进行softmax分类，得到该区域属于第j类的概率Sj：
其中，tj指的是(3-1-2)的特征向量T的第j个分量，
表示对特征向量里的c个分量进行指数求和，c是分类的类别数；
在训练过程中，使用softmax分类结果求出softmax-loss
其中Lcls是损失，sj是softmax的输出向量S的第j个值，表示的是这个样本属于第j个类别的概率，j的范围也是1到类别数c；y是一个1*c的向量，里面的c个值只有真实标签对应的位置的那个值是1，其他c-1个值都是0；
(3-1-4)对特征向量进行位移的回归，输出4*K维数组t，表示分别属于k类时，应该平移缩放的参数；
k表示类别的索引，
是指相对于建议区域的尺度不变的平移，
是指对数空间中相对于建议区域的高与宽，检测框定位的损失函数由真实分类对应的预测平移缩放参数
和真实平移缩放参数v＝(vx,vy,vw,vh)比较得到：
其中，smoothL1损失函数为：
(3-1-5)最后的总损失为：
规定u＝0为背景类，γ控制分类损失和回归损失的平衡，γ＝1；
(4)根据 命中度的概念，并以此作为核区域筛查和评估的方法。
2.根据权利要求1所述宫颈涂片图像中异常核区域筛查的方法，其特征在于，所述步骤(1)中，提取图像特征图的具体方法为：
将原始图像输入DeepLCT神经网络，DeepLCT神经网络包括卷积层Conv，池化层Pooling以及三个节点环卷积结构；对于输入原始图像，图像的原始像素被输入权重为ωl的卷积层Conv，卷积层中隐藏神经元的输出：
Hl＝pool(relu(WlHl-1+bl))
其中：l∈{1，...，L-1}，L是网络的层数，bl是偏置参数，Hl的结果来自于该层权重参数Wl和上一层网络输出Hl-1的乘积和加上偏置bl；函数pool采用的是最大值池化，在池化核范围内选择最大值输出，对于输入Hx，节点环结构计算如下：
F(Hx)＝Wl+1(relu(WlHx+bl))+bl+1+Hx
其中：l∈{1，...，L-1}，L是网络的层数，Wl、bl和Wl+1、bl+1分别是第l层和l+1层的权值参数和偏置参数，对任意l，Wl和bl都需要经过训练，将两层卷积节点和输入节点相加，形成节点环卷积结构，最大限度提取图像高层语义特征和底层细节特征；
表示类别的索引，是指相对于建议区域的尺度不变的平移，是指对数空间中相对于建议区域的高与宽。
3.根据权利要求1所述宫颈涂片图像中异常核区域筛查的方法，其特征在于，所述步骤(4)中，命中度HD的定义和应用过程如下：
其中，pi是检测结果集的第i个结果框，gj是ground truth中的任意一个框，I(pi，gj)表示pi和gj的交集面积，A(pi)是pi的面积；如果对任意pi，存在gj，使得HD(pi)＞T，T∈(0，1)，那么我们认为pi命中了gj；
基于命中度的准确率HP和召回率HR定义如下：
其中TP和FP分别代表了检测出来的基于命中度的真阳性样本数目和假阳性样本数目，N是两者之和，也就是检测的所有结果，G*是指被命中的ground truth的数目，G是所有ground truth的数目。
4.根据权利要求3所述宫颈涂片图像中异常核区域筛查的方法，其特征在于，在网络框架训练和测试的过程中，使用命中度衡量一个预选目标框和原始ground truth的吻合程度；如果命中度超过0.5，那么这个框就是和ground truth吻合的所需要的目标框；在训练过程中，就会引导网络将命中度超过0.5的预选框的正例概率最大可能提升接近1，其他预选框正例概率最大可能接近0，如此也就训练出了一个对目标预选框有筛查能力的网络；
在测试过程中，只有命中度超过0.5的框被认为是正确标记的正例，才能计入后面的准确率和召回率的计算，成为衡量网络性能和筛查结果的指标之一。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810390350.1A CN108765374B (zh) | 2018-04-27 | 2018-04-27 | 一种宫颈涂片图像中异常核区域筛查的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810390350.1A CN108765374B (zh) | 2018-04-27 | 2018-04-27 | 一种宫颈涂片图像中异常核区域筛查的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108765374A CN108765374A (zh) | 2018-11-06 |
| CN108765374B true CN108765374B (zh) | 2022-03-29 |
Family
ID=64012445
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810390350.1A Expired - Fee Related CN108765374B (zh) | 2018-04-27 | 2018-04-27 | 一种宫颈涂片图像中异常核区域筛查的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108765374B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109767429B (zh) * | 2018-12-28 | 2021-08-06 | 上海联影智能医疗科技有限公司 | 一种图像筛查方法及装置 |
| CN109858451B (zh) * | 2019-02-14 | 2020-10-23 | 清华大学深圳研究生院 | 一种非配合手部检测方法 |
| CN110533725B (zh) * | 2019-09-06 | 2022-04-29 | 西南交通大学 | 一种基于结构推理网络的高铁接触网多种零部件定位方法 |
| CN113128249B (zh) * | 2019-12-26 | 2022-08-23 | 合肥美亚光电技术股份有限公司 | 大蒜的疤识别方法、系统及分选设备 |
| CN114897779B (zh) * | 2022-04-12 | 2024-04-23 | 华南理工大学 | 基于融合注意力的宫颈细胞学图像异常区域定位方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105640577A (zh) * | 2015-12-16 | 2016-06-08 | 深圳市智影医疗科技有限公司 | 一种自动检测放射影像中局部性病变的方法和系统 |
| CN106780466A (zh) * | 2016-12-21 | 2017-05-31 | 广西师范大学 | 一种基于卷积神经网络的宫颈细胞图像识别方法 |
| CN107220506A (zh) * | 2017-06-05 | 2017-09-29 | 东华大学 | 基于深度卷积神经网络的乳腺癌风险评估分析系统 |
| CN107301640A (zh) * | 2017-06-19 | 2017-10-27 | 太原理工大学 | 一种基于卷积神经网络的目标检测实现肺部微小结节检测的方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160246788A1 (en) * | 2015-02-23 | 2016-08-25 | Venkatesan Thangaraj | Collaborative medical imaging portal system |
-
2018
- 2018-04-27 CN CN201810390350.1A patent/CN108765374B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105640577A (zh) * | 2015-12-16 | 2016-06-08 | 深圳市智影医疗科技有限公司 | 一种自动检测放射影像中局部性病变的方法和系统 |
| CN106780466A (zh) * | 2016-12-21 | 2017-05-31 | 广西师范大学 | 一种基于卷积神经网络的宫颈细胞图像识别方法 |
| CN107220506A (zh) * | 2017-06-05 | 2017-09-29 | 东华大学 | 基于深度卷积神经网络的乳腺癌风险评估分析系统 |
| CN107301640A (zh) * | 2017-06-19 | 2017-10-27 | 太原理工大学 | 一种基于卷积神经网络的目标检测实现肺部微小结节检测的方法 |
Non-Patent Citations (1)
| Title |
|---|
| 电脑辅助阅片系统对宫颈鳞状上皮内瘤变检出率的有效性观察;高英卓;《中华病理学杂志》;20130831;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108765374A (zh) | 2018-11-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108765374B (zh) | 一种宫颈涂片图像中异常核区域筛查的方法 | |
| CN109685776B (zh) | 一种基于ct图像的肺结节检测方法及系统 | |
| Wang et al. | Automatic image‐based plant disease severity estimation using deep learning | |
| CN107341812B (zh) | 一种基于超像素和密度聚类的序列肺结节图像分割方法 | |
| CN109492706B (zh) | 一种基于循环神经网络的染色体分类预测装置 | |
| Varma et al. | Astute Segmentation and Classification of leucocytes in blood microscopic smear images using titivated K-means clustering and robust SVM techniques | |
| Liang et al. | Comparison detector for cervical cell/clumps detection in the limited data scenario | |
| Fujita et al. | Cell detection and segmentation in microscopy images with improved mask R-CNN | |
| Lei et al. | Attention-guided multi-branch convolutional neural network for mitosis detection from histopathological images | |
| CN113592894B (zh) | 一种基于边界框和同现特征预测的图像分割方法 | |
| Taneja et al. | Multi-cell nuclei segmentation in cervical cancer images by integrated feature vectors | |
| NL2029876B1 (en) | Deep residual network-based classification system for thyroid cancer computed tomography (ct) images | |
| Arjmand et al. | Deep learning in liver biopsies using convolutional neural networks | |
| CN112183237A (zh) | 基于颜色空间自适应阈值分割的白细胞自动分类方法 | |
| Usmani et al. | Enhanced reinforcement learning model for extraction of objects in complex imaging | |
| CN114782948A (zh) | 一种对宫颈液基细胞学涂片的全局判读方法及系统 | |
| CN116311387B (zh) | 一种基于特征交集的跨模态行人重识别方法 | |
| Chen et al. | Transmixnet: an attention based double-branch model for white blood cell classification and its training with the fuzzified training data | |
| Liang et al. | Comparison-based convolutional neural networks for cervical Cell/Clumps detection in the limited data scenario | |
| Yuan et al. | Fully automatic segmentation of the left ventricle using multi-scale fusion learning | |
| CN111861916A (zh) | 病理图片的处理方法 | |
| Taha et al. | Assessment of Approaches for the Extraction of Building Footprints from Plé iades Images | |
| CN108765384B (zh) | 一种联合流形排序和改进凸包的显著性检测方法 | |
| Mir et al. | Artificial intelligence-based techniques for analysis of body cavity fluids: a review | |
| He et al. | FRFCM clustering segmentation method for medical MR image feature diagnosis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220329 |