CN112967253A - 一种基于深度学习的宫颈癌细胞检测方法 - Google Patents
一种基于深度学习的宫颈癌细胞检测方法 Download PDFInfo
- Publication number
- CN112967253A CN112967253A CN202110250027.6A CN202110250027A CN112967253A CN 112967253 A CN112967253 A CN 112967253A CN 202110250027 A CN202110250027 A CN 202110250027A CN 112967253 A CN112967253 A CN 112967253A
- Authority
- CN
- China
- Prior art keywords
- cervical cancer
- picture
- image
- dividing
- detection network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 47
- 206010008342 Cervix carcinoma Diseases 0.000 title claims abstract description 36
- 208000006105 Uterine Cervical Neoplasms Diseases 0.000 title claims abstract description 36
- 201000010881 cervical cancer Diseases 0.000 title claims abstract description 36
- 238000013135 deep learning Methods 0.000 title claims abstract description 17
- 238000012549 training Methods 0.000 claims abstract description 21
- 238000012360 testing method Methods 0.000 claims abstract description 14
- 238000000034 method Methods 0.000 claims abstract description 9
- 238000010586 diagram Methods 0.000 claims abstract description 8
- 239000011800 void material Substances 0.000 claims abstract 5
- 238000002372 labelling Methods 0.000 claims description 22
- 239000012530 fluid Substances 0.000 claims description 3
- 238000003709 image segmentation Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 2
- 208000019065 cervical carcinoma Diseases 0.000 claims 1
- 239000007788 liquid Substances 0.000 abstract description 2
- 238000002474 experimental method Methods 0.000 abstract 1
- 210000004027 cell Anatomy 0.000 description 17
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 230000002380 cytological effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 210000004085 squamous epithelial cell Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Abstract
本发明公开了一种基于深度学习的宫颈癌细胞检测方法，针对数字扫描图像尺寸很大和宫颈癌细胞区域尺寸变化范围大两个问题设计了解决方案，包括如下步骤：获取宫颈液基薄层细胞学检查数字扫描图片，将图片分割为1024×1024像素大小以解决扫描图像尺寸很大的问题，根据图像分割结果转换标注框，将分割后的图像和标注分为训练集和测试集，设计检测网络以解决宫颈癌细胞区域尺寸变化范围大的问题，训练和验证检测网络，获取新的扫描图片进行检测；其中检测网络为一种引入了RFBNet结构的CoupleNet检测网络，其中RFBNet结构由三个不同尺寸和空洞率的卷积层分支与一个融合卷积层构成，引入方式为使用RFBNet处理CoupleNet中的特征图；实验证明本发明的准确率较高。
Description
技术领域
本发明涉及癌症识别领域，特别是涉及一种基于深度学习的宫颈癌细胞检测方法。
背景技术
宫颈癌是女性最常见的癌症之一，其发病率在女性恶行肿瘤疾病中排到第二位，在全球范围内，每年新增50多万宫颈癌患者，且大多集中在发展中国家。据国家宫颈癌检测中心报道，在我国每年有15.53宫颈癌新增患者，每年超过6万女性死于宫颈癌，此外，患宫颈癌的女性逐渐年轻化，30岁以下的女性发病率逐年增高。宫颈癌已经严重威胁到我国女性的健康与生命。
宫颈液基薄层细胞学检查(Thinprep Cytologic Test，TCT)是预防和发现早期宫颈癌最流行的方法，已经在全球范围内广泛使用，并显著降低了宫颈癌的发病率和死亡人数。随着全切片数字化扫描仪的应用，已有大量的研究试图将深度学习技术和TCT切片的数字扫描图像相结合，高效率的进行自动化精准分析，并将分析结果用于辅助医生进行临床诊断。
深度学习是使用深层次的神经网络学习训练集中深层次特征并进行分类、检测和分割的一种方法，属于机器学习的一种，常见的深度学习有卷积神经网络、循环神经网络和堆栈自编码网络等。本发明使用的深度学习方法为卷积神经网络，具体为一种具有引入了RFBNet结构的CoupleNet检测网络。
在使用深度学习进行宫颈癌细胞检测时存在一些不可避免的问题：1、数字扫描图像尺寸很大，为保持较高的分辨率以使得能够得到清晰的细胞图像，单张数字扫描图片的尺寸一般在50000×50000像素以上，由于计算机内存和显存的限制，参与计算的图像尺寸不能过大，难以将深度学习网络直接应用到超大尺寸的图像上；2、宫颈癌细胞区域尺寸变化范围大，最小的宫颈癌细胞区域和最大的宫颈癌细胞区域在面积上相差百倍以上，深度学习难以同时检测尺寸相差过大的目标。
发明内容
本发明的目的在于，提供一种基于深度学习的宫颈癌细胞检测方法，分别使用分割图像和RFBNet结构解决上述现有技术问题。
本发明的技术解决方案是，提供了一种基于深度学习的宫颈癌细胞检测方法，包括以下步骤：
1)获取宫颈液基薄层细胞学检查数字扫描图片：从网上公开的宫颈癌智能诊断数据集中获取数字扫描图片和标注数据，筛选出图像清晰尺寸合适的扫描图片和标注数据；
2)将图片分割为1024×1024像素大小：从图像的左上角开始分割，以1024个像素为长和宽，逐步分割直到整张图像分割完毕，对于图像最右侧和最下侧不足1024像素宽或高的部分使用纯白色像素填充，通过该步骤来解决数字扫描图像尺寸过大的问题；
3)根据图像分割结果转换标注框：原始图像中针对宫颈癌细胞的标注数据以原始图像的左上角为原点，向右为x轴正方向，向下为y轴正方向，单位为像素，转换后图像以转换后图像的左上角为原点，向右为x轴正方向，向下为y轴正方向，单位为像素，原始图像中的标注框若只被分到一张分割后图像中则只转换为一个标注框，若被分到多张分割后图像中则每张分割后的图像保留一部分标注框；
4)将分割后的图像和标注分为训练集和测试集：将80％的图像和对应标注分为训练集，将剩余20％的图像和对应标注分为测试集，为确保训练集和测试集的相互独立，从一张原始扫描图像中分割得到的图片分到同一个子集，即训练集或测试集；
5)设计检测网络：本发明使用的卷积神经网络为引入了RFBNet结构的CoupleNet检测网络，RFBNet是将包含不同尺寸和不同空洞率的卷积层构成多分枝结构，其中第一个分支中卷积核大小为1×1、空洞率为1，第二个分支中卷积核大小为3×3、空洞率为3，第三个分支中卷积核大小为5×5、空洞率为5，最终使用1×1的卷积将三个分支连接到一起，CoupleNet是具有两个分支的检测网络结构，首先使用ResNet等特征提取主干网络提取出卷积特征图，之后通过全局信息分支和局部信息分支融合进行检测，本发明将RFBNet融入到CoupleNet中，在卷积特征图上使用RFBNet之后得到融合不同尺度特征的卷积特征图，最后将融合不同尺度特征的卷积特征图送入CoupleNet检测网络检测宫颈癌细胞，通过该步骤解决宫颈癌细胞区域尺寸变化范围大的问题；
6)训练和验证检测网络：将训练集送入步骤5)设计好的检测网络中，训练直至网络收敛，之后将测试集送入检测网络中分析网络性能并调整网络训练参数；
7)获取新的扫描图片进行检测：在步骤6)得到稳定高效的检测网络后，从公开数据集中获取新的扫描图片测试检测网络的性能，此后只需将需要检测的扫描图片分割后送入检测网络即可实现宫颈癌细胞的自动检测。
附图说明
图1是本发明一种基于深度学习的宫颈癌细胞检测方法流程图；
图2是本发明中RFBNet网络结构；
图3是本发明中引入RFBNet的CoupleNet检测网络结构。
具体实施方式
以下结合附图对本发明的优选实施例进行详细描述，但本发明并不仅仅限于这些实施例。本发明涵盖任何在本发明的精神和范围上做的替代、修改、等效方法以及方案。
为了使公众对本发明有彻底的了解，在以下本发明优选实施例中详细说明了具体的细节，而对本领域技术人员来说没有这些细节的描述也可以完全理解本发明。
本发明的一种基于深度学习的宫颈癌细胞检测方法，如图1所示包括以下步骤：
1)获取宫颈液基薄层细胞学检查数字扫描图片：从阿里云天池数据库中获取宫颈癌细胞学图片和对应异常鳞状上皮细胞位置标注数据集，共1000张扫描图像，每张尺寸50000×50000像素大小；
2)将图片分割为1024×1024像素大小：从图像的左上角开始分割，以1024个像素为长和宽，逐步分割直到整张图像分割完毕，对于图像最右侧和最下侧不足1024像素宽或高的部分使用纯白色像素填充，每张扫描图像分割为2401张图片；
3)根据图像分割结果转换标注框：原始图像中针对宫颈癌细胞的标注数据以原始图像的左上角为原点，向右为x轴正方向，向下为y轴正方向，单位为像素，转换后图像以转换后图像的左上角为原点，向右为x轴正方向，向下为y轴正方向，单位为像素，原始图像中的标注框若只被分到一张分割后图像中则只转换为一个标注框，若被分到多张分割后图像中则每张分割后的图像保留一部分标注框，转换后为5447个标注框；
4)将分割后的图像和标注分为训练集和测试集：将80％的图像和对应标注分为训练集共1920800张训练图片，将剩余20％的图像和对应标注分为测试集共480200张测试图片；
5)设计检测网络：如图3所示，本发明使用的卷积神经网络为引入了RFBNet结构的CoupleNet网络，如图2所示，RFBNet是将包含不同尺寸和不同空洞率的卷积层构成多分枝结构，其中第一个分支中卷积核大小为1×1、空洞率为1，第二个分支中卷积核大小为3×3、空洞率为3，第三个分支中卷积核大小为5×5、空洞率为5，最终使用1×1的卷积将三个分支连接到一起，CoupleNet是具有两个分支的检测网络结构，首先使用ResNet-101特征提取主干网络提取出卷积特征图，之后通过全局信息分支和局部信息分支融合进行检测，本发明将RFBNet融入到CoupleNet中，在卷积特征图上使用RFBNet之后得到融合不同尺度特征的卷积特征图，最后将融合不同尺度特征的卷积特征图送入CoupleNet检测网络检测宫颈癌细胞；
6)训练和验证检测网络：将训练集送入步骤5)设计好的检测网络中，训练直至网络收敛，之后将测试集送入检测网络中分析网络性能并调整网络训练参数，使用学习率为0.01，训练20个epoch，测试集准确度较高；
7)获取新的扫描图片进行检测：在步骤6)得到稳定高效的检测网络后，只需将需要检测的扫描图片分割后送入检测网络即可实现宫颈癌细胞的自动检测。
以上所述的实施方式，并不构成对该技术方案保护范围的限定。任何在上述实施方式的精神和原则之内所作的修改、等同替换和改进等，均应包含在该技术方案的保护范围之内。
Claims (3)
1.一种基于深度学习的宫颈癌细胞检测方法，其特征在于：包括如下步骤：
1)获取宫颈液基薄层细胞学检查数字扫描图片；
2)将图片分割为1024×1024像素大小，从图像的左上角开始分割，以1024个像素为长和宽，逐步分割直到整张图像分割完毕，对于图像最右侧和最下侧不足1024像素宽或高的部分使用纯白色像素填充；
3)根据图像分割结果转换标注框，原始图像中针对宫颈癌细胞的标注数据以原始图像的左上角为原点，向右为x轴正方向，向下为y轴正方向，单位为像素，转换后图像以转换后图像的左上角为原点，向右为x轴正方向，向下为y轴正方向，单位为像素，原始图像中的标注框若只被分到一张分割后图像中则只转换为一个标注框，若被分到多张分割后图像中则每张分割后的图像保留一部分标注框；
4)将分割后的图像和标注分为训练集和测试集，将80％的图像和对应标注分为训练集，将剩余20％的图像和对应标注分为测试集；
5)设计检测网络；
6)训练和验证检测网络；
7)获取新的扫描图片进行检测。
2.根据权利要求1所述的一种基于深度学习的宫颈癌细胞检测方法，其特征在于：步骤6)中所述的检测网络为：
首先使用特征提取主干网络提取出卷积特征图；
其次在卷积特征图上使用RFBNet得到融合不同尺度特征的卷积特征图；
最后将融合不同尺度特征的卷积特征图送入CoupleNet检测网络检测宫颈癌细胞。
3.根据权利要求1所述的一种基于深度学习的宫颈癌细胞检测方法，其特征在于：步骤6)中所述的检测网络中RFBNet结构为：
将包含三个不同尺寸和空洞率的卷积层构成多分枝结构，其中第一个分支中卷积核大小为1×1、空洞率为1，第二个分支中卷积核大小为3×3、空洞率为3，第三个分支中卷积核大小为5×5、空洞率为5，最终使用1×1的卷积将三个分支连接到一起。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110250027.6A CN112967253A (zh) | 2021-03-08 | 2021-03-08 | 一种基于深度学习的宫颈癌细胞检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110250027.6A CN112967253A (zh) | 2021-03-08 | 2021-03-08 | 一种基于深度学习的宫颈癌细胞检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112967253A true CN112967253A (zh) | 2021-06-15 |
Family
ID=76276883
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110250027.6A Pending CN112967253A (zh) | 2021-03-08 | 2021-03-08 | 一种基于深度学习的宫颈癌细胞检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112967253A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2023074997A (ja) * | 2021-11-18 | 2023-05-30 | 倍利科技股▲ふん▼有限公司 | Ａｉ自動支援型マーキングシステム及び方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109903839A (zh) * | 2019-02-22 | 2019-06-18 | 武汉凯德维斯生物技术有限公司 | 一种基于云平台的医疗影像阅片系统 |
| CN111444844A (zh) * | 2020-03-26 | 2020-07-24 | 苏州腾辉达网络科技有限公司 | 一种基于变分自编码器的液基细胞人工智能检测方法 |
| CN112215117A (zh) * | 2020-09-30 | 2021-01-12 | 北京博雅智康科技有限公司 | 一种基于宫颈细胞学图像的异常细胞识别方法及系统 |
| CN112308092A (zh) * | 2020-11-20 | 2021-02-02 | 福州大学 | 一种基于多尺度注意力机制的轻量型车牌检测与识别方法 |
-
2021
- 2021-03-08 CN CN202110250027.6A patent/CN112967253A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109903839A (zh) * | 2019-02-22 | 2019-06-18 | 武汉凯德维斯生物技术有限公司 | 一种基于云平台的医疗影像阅片系统 |
| CN111444844A (zh) * | 2020-03-26 | 2020-07-24 | 苏州腾辉达网络科技有限公司 | 一种基于变分自编码器的液基细胞人工智能检测方法 |
| CN112215117A (zh) * | 2020-09-30 | 2021-01-12 | 北京博雅智康科技有限公司 | 一种基于宫颈细胞学图像的异常细胞识别方法及系统 |
| CN112308092A (zh) * | 2020-11-20 | 2021-02-02 | 福州大学 | 一种基于多尺度注意力机制的轻量型车牌检测与识别方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2023074997A (ja) * | 2021-11-18 | 2023-05-30 | 倍利科技股▲ふん▼有限公司 | Ａｉ自動支援型マーキングシステム及び方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110060244B (zh) | 基于深度学习神经网络的细胞检测与分割的系统和方法 | |
| CN111985536B (zh) | 一种基于弱监督学习的胃镜病理图像分类方法 | |
| Mi et al. | Deep learning-based multi-class classification of breast digital pathology images | |
| CN111986150B (zh) | 一种数字病理图像的交互式标注精细化方法 | |
| CN113723573B (zh) | 基于自适应比例学习的肿瘤组织病理分类系统及方法 | |
| CN112215117A (zh) | 一种基于宫颈细胞学图像的异常细胞识别方法及系统 | |
| CN111666850A (zh) | 一种基于聚类生成候选锚框的细胞图像检测与分割方法 | |
| CN111709929B (zh) | 一种肺部癌变区域分割与分类检测系统 | |
| Chen et al. | Shadow-based Building Detection and Segmentation in High-resolution Remote Sensing Image. | |
| CN108305253A (zh) | 一种基于多倍率深度学习的病理全切片诊断方法 | |
| CN112132166A (zh) | 一种数字细胞病理图像智能分析方法、系统及装置 | |
| CN113256634B (zh) | 基于深度学习的宫颈癌tct切片排阴方法和系统 | |
| US20220230748A1 (en) | Artificial intelligence cloud diagnosis platform | |
| CN113160185A (zh) | 一种利用生成边界位置指导宫颈细胞分割的方法 | |
| CN115909006A (zh) | 基于卷积Transformer的乳腺组织图像分类方法及系统 | |
| CN115497010A (zh) | 一种基于深度学习的地理信息的识别方法及系统 | |
| CN112967253A (zh) | 一种基于深度学习的宫颈癌细胞检测方法 | |
| CN115359264A (zh) | 一种密集型分布的粘连细胞深度学习识别方法 | |
| CN114387596A (zh) | 细胞病理涂片自动判读系统 | |
| CN114235539A (zh) | 基于深度学习的pd-l1病理切片自动判读方法及系统 | |
| CN112927215A (zh) | 一种消化道活检病理切片自动分析方法 | |
| CN115100646B (zh) | 细胞图像高清晰快速拼接识别标记方法 | |
| CN110674802A (zh) | 一种改进的平行四边形候选框的文本检测方法 | |
| CN116258686A (zh) | 基于图像卷积特征捕捉的结肠息肉分型检测模型建立方法 | |
| CN115423806A (zh) | 一种基于多尺度跨路径特征融合的乳腺肿块检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210615 |