CN112102245A - 一种基于深度学习的葡萄胎切片图像处理方法及装置 - Google Patents
一种基于深度学习的葡萄胎切片图像处理方法及装置 Download PDFInfo
- Publication number
- CN112102245A CN112102245A CN202010826873.3A CN202010826873A CN112102245A CN 112102245 A CN112102245 A CN 112102245A CN 202010826873 A CN202010826873 A CN 202010826873A CN 112102245 A CN112102245 A CN 112102245A
- Authority
- CN
- China
- Prior art keywords
- edema
- hyperplasia
- slice
- grape
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 235000009754 Vitis X bourquina Nutrition 0.000 title claims abstract description 108
- 235000012333 Vitis X labruscana Nutrition 0.000 title claims abstract description 108
- 235000014787 Vitis vinifera Nutrition 0.000 title claims abstract description 108
- 210000003754 fetus Anatomy 0.000 title claims abstract description 45
- 238000013135 deep learning Methods 0.000 title abstract description 9
- 238000003672 processing method Methods 0.000 title description 5
- 240000006365 Vitis vinifera Species 0.000 title 1
- 206010030113 Oedema Diseases 0.000 claims abstract description 141
- 241000219095 Vitis Species 0.000 claims abstract description 107
- 238000009826 distribution Methods 0.000 claims abstract description 74
- 206010020718 hyperplasia Diseases 0.000 claims abstract description 68
- 210000001161 mammalian embryo Anatomy 0.000 claims abstract description 65
- 239000013598 vector Substances 0.000 claims abstract description 34
- 238000000034 method Methods 0.000 claims abstract description 24
- 238000011176 pooling Methods 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 17
- 230000035755 proliferation Effects 0.000 claims description 49
- 238000002372 labelling Methods 0.000 claims description 35
- 238000005520 cutting process Methods 0.000 claims description 31
- 238000010586 diagram Methods 0.000 claims description 15
- 206010004272 Benign hydatidiform mole Diseases 0.000 claims description 13
- 208000006937 Hydatidiform mole Diseases 0.000 claims description 13
- 201000007116 gestational trophoblastic neoplasm Diseases 0.000 claims description 13
- 230000000007 visual effect Effects 0.000 claims description 12
- 210000002569 neuron Anatomy 0.000 claims description 5
- 210000004205 output neuron Anatomy 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims 5
- 238000012800 visualization Methods 0.000 claims 1
- 238000001514 detection method Methods 0.000 abstract description 15
- 238000003759 clinical diagnosis Methods 0.000 abstract description 7
- 238000012549 training Methods 0.000 description 32
- 238000012216 screening Methods 0.000 description 13
- 108090000623 proteins and genes Proteins 0.000 description 7
- 239000000523 sample Substances 0.000 description 7
- 101150116473 NLRP7 gene Proteins 0.000 description 5
- 230000001575 pathological effect Effects 0.000 description 5
- 210000002993 trophoblast Anatomy 0.000 description 5
- 239000003153 chemical reaction reagent Substances 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 230000007170 pathology Effects 0.000 description 2
- 230000035935 pregnancy Effects 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 208000006332 Choriocarcinoma Diseases 0.000 description 1
- 208000022471 Fetal disease Diseases 0.000 description 1
- 108020005187 Oligonucleotide Probes Proteins 0.000 description 1
- 206010033799 Paralysis Diseases 0.000 description 1
- 241000219094 Vitaceae Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 208000035475 disorder Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001605 fetal effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 235000021021 grapes Nutrition 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000009245 menopause Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 239000013642 negative control Substances 0.000 description 1
- 239000002751 oligonucleotide probe Substances 0.000 description 1
- 208000021090 palsy Diseases 0.000 description 1
- 238000010827 pathological analysis Methods 0.000 description 1
- 210000002826 placenta Anatomy 0.000 description 1
- 239000013641 positive control Substances 0.000 description 1
- 239000007790 solid phase Substances 0.000 description 1
- 208000001608 teratocarcinoma Diseases 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30044—Fetus; Embryo
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Biomedical Technology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Investigating Or Analysing Biological Materials (AREA)
Abstract
本发明公开了一种基于深度学习的葡萄胎切片图像处理方法及装置，属于医学影像技术领域中葡萄胎的医学影像检测，用于解决现有技术中葡萄胎临床诊断检测的效率低的问题。本发明通过将葡萄胎切片扫描图的切片水肿分布图、切片增生分布图输入金字塔池化层得到特征向量，将特征向量输入诊断网络d‑net以得到预测的葡萄胎切片分类结果，在实际应用中辅助病理医师进行检测。
Description
技术领域
本发明属于医学影像技术领域，涉及一种葡萄胎的医学影像检测，尤其涉及一种用深度学习的方法对葡萄胎切片图像处理的方法。
背景技术
葡萄胎(HM)是指妊娠后胎盘形成的形如葡萄串的水泡状胎块。而葡萄胎婴儿多死亡或形成畸胎，极少有足月婴诞生。在一般情况下，有10％到20％的葡萄胎会发展演变成恶性的葡萄胎以及绒毛膜癌，这类癌症会通过血型团泊进行转移，如果治疗不及时就会给患者带来生命威胁。因此，葡萄胎的早期病理诊断对每位患病孕妇都有重要意义。
现有技术中，对葡萄胎的检测、筛查主要有两种方式，第一种是通过显微镜人工观察切片，第二种是通过检测与葡萄胎相关的基因。
第一种方式中，一般病理医师使用5*10倍与10*10倍的显微镜对病人多个切片进行观察，然后根据经验和切片组织细胞的形态进行综合诊断。葡萄胎诊断主要通过观察切片中的绒毛特征进行诊断，切片病理特征主要为绒毛滋养细胞增生和绒毛内部间质水肿。
妇科医院的病理科医生每天需要花费大量的时间去诊断类似葡萄胎这类相较于肿瘤危险系数较低的病症，而这些患者中大多数未患病，但这些需要占用病理科医师大量的工作时间。
但是，目前国内病理科医师人数在1.5w左右，人才缺口较大，检测的效率较低；另外，临床葡萄胎诊断由于主要由医师人工筛查切片，因此准确率很难保证，尤其对于12周以前的葡萄胎，由于葡萄胎未到成熟期，病灶发育不完全，组织形态与正常葡萄胎切片较为相似，不易区分，造成临床诊断准确率极低，不到50％。
第二种方式中，申请号为201310027715.1、名称为用于检测NLRP7基因的基因芯片、检测试剂和试剂盒的发明专利就公开了通过检测与葡萄胎相关的NLRP7基因SNP，实现对于葡萄胎的临床诊断和高危人群早期筛查、早期预防干预具有重要的意义，可广泛用于临床高效筛查葡萄胎高危人群。该发明专利构建了筛查与葡萄胎相关的NLRP7基因多态性高危人群的基因芯片检测系统，基因芯片包括固相载体和合成在该载体上的寡核苷酸探针，检测试剂包括基因芯片和18对用于扩增样本中各SNPs的PCR引物，试剂盒包括检测试剂、一阴性对照样本和一阳性对照样本。该发明专利可快速、准确检测临床样本中的NLRP7基因各个相关SNPs位点，对于葡萄胎的临床诊断和高危人群早期筛查、早期预防干预具有重要的意义。
虽然，通过检测基因筛查葡萄胎固然有其存在的必要性，但是通过检测NLRP7基因对葡萄胎进行筛查一是增加了试剂盒检测步骤，整个检测周期会比较长，另外就是会涉及到芯片生产、试剂以及试剂盒的生产，筛查成本大幅上升，在葡萄胎临床诊断中应用范围非常受限，不易推广、应用。
基于上述病理科医师人数少、医师人工筛查切片效率低、医师人工筛查切片精度低以及基因检测筛查成本高、基因检测筛查周期长的现状，有必要研发一整套从显微镜自动获取图像到生成水肿、增生等病理特征分布图的方法和装置，从而辅助临床医生更高效的筛查病例。
临床病理科医生主要通过绒毛间质水肿、绒毛边缘滋养细胞弥漫性增生等病理特征和病人绝经时长、妊娠史等信息综合判断是否为葡萄胎病症，其中绒毛间质水肿、绒毛边缘滋养细胞弥漫性增生两种病理特征是较为关键的两个诊断依据。
发明内容
本发明的目的在于：提供一种基于深度学习的葡萄胎切片图像处理方法及装置，通过获得葡萄胎的绒毛、水肿、增生分布情况，以解决现有技术中通过人工观察切片组织的病理特征致使的葡萄胎临床诊断检测的效率低的问题。
本发明采用的技术方案如下：
一种基于深度学习的葡萄胎切片图像处理方法，步骤如下：
S1，将切片水肿分布图、切片增生分布图输入金字塔池化层，得到特征向量；
S2，将步骤S1中得到的特征向量输入分类网络d-net，输出葡萄胎切片的网络分类结果。
可选地，步骤S1中，切片水肿分布图、切片增生分布图可以通过人工标注获取，也可以通过以下步骤获取：
S1-1，将he染色好的葡萄胎切片放入显微镜载物台，显微镜对焦，并获取葡萄胎切片在显微镜下的葡萄胎切片扫描图；
S1-2，将葡萄胎切片扫描图切块，得到扫描图切块一，将扫描图切块一输入绒毛网络a-net，得到葡萄胎切片的切块绒毛标签图，将所有切块绒毛标签图融合得到切片绒毛标签图；
得到扫描图切块二，将扫描图切块二输入水肿网络b-net，得到葡萄胎切片的切块水肿标签图，将所有切块水肿标签图融合得到切片水肿标签图；
将葡萄胎切片扫描图切块，得到扫描图切块三，将扫描图切块三输入增生网络c-net，得到葡萄胎切片的切块增生标签图，将所有切块增生标签图融合得到切片增生标签图；
S1-3，根据切片水肿标签图、切片增生标签图分别得到切片水肿分布图、切片增生分布图；
可选地，步骤S1-2中，绒毛网络a-net、水肿网络b-net和增生网络c-net均为图像分割网络UNet网络，网络包括卷积层、池化层、上卷积层、并和层。扫描图切块一经过绒毛网络a-net得到切块绒毛标签图，扫描图切块二经过水肿网络b-net得到切块水肿标签图，扫描图切块三经过增生网络c-net后得到切块增生标签。
可选地，步骤S1-2中，葡萄胎切片图像切块是将切片以间隔s切成若干尺寸为size的切块,上下左右相邻的两个切块有size×(size-s)的面积重合，其中扫描图切块一尺寸size1为3000×3000～18000×18000的像素尺寸，扫描图切块二尺寸size2为1500×1500～9000×9000的像素尺寸，扫描图切块三尺寸size3为1500×1500～9000×9000的像素尺寸。
可选地，步骤S1-2中，切块水肿标签图融合得到切片水肿标签图是将所有切块水肿标签图按原先切块在切片中对应位置进行拼接，上下左右相邻切块的重合部分按多个切块图像的重合部分像素均值拟合；
切片增生标签图采用类似操作获取。
可选地，步骤S1-3中，根据切片绒毛标签图得到绒毛区域，将切片水肿标签图中绒毛区域之外的水肿区域剔除，得到切片水肿分布图；
绒毛区域和非绒毛区域是指切片绒毛标签图中像素值为0和255的区域，水肿区域和非水肿区域是指切片水肿标签图中像素值为0和255的区域，将切片水肿标签图中对应的绒毛区域之外的水肿区域像素值变为255，得到切片水肿分布图；
切片增生分布图采用类似操作获取。
可选地，步骤S1-3中，可以将得到的分布图进行可视化输出。根据葡萄胎切片图像、切片水肿分布图、切片增生分布图得到水肿可视化切片图像、增生可视化切片图像、水肿区域截图、增生区域截图，将所述水肿可视化切片图像、增生可视化切片图像、水肿区域截图、增生区域截图和S2中得到的葡萄胎切片分类结果显示输出；
所述水肿可视化切片图像是将葡萄胎切片图像中的水肿区域标注第一颜色得到，所述增生可视化切片图像是将葡萄胎切片图像中的水肿区域标注第二颜色得到；
所述水肿区域截图是通过将切片水肿分布图按尺寸size切块得到，切块像素均值最小的1～10个切块对应的切块图像为水肿区域截图，所述增生区域截图是通过将切片增生分布图按尺寸size切块得到，切块像素均值最小的1～10个切块对应的切块图像为增生区域截图。
可选地，步骤S1中，将切片水肿分布图切成12,...,(n1-1)2,n1 2的网格图，将切片增生分布图切成12,...,(n2-1)2,n2 2的网格图(n1≠n2)，对每一块网格图进行均值池化得到
个特征值，共计得到
个特征值的特征向量。
可选地，步骤S2中，将特征向量作为分类网络c-net的输入；
分类网络c-net包括输入层、中间层和输出层，输入层为金字塔池化层输出的
个特征值的特征向量，中间层为m个神经元，输出层为表示分类结果的三个输出神经元。
一种基于深度学习的葡萄胎切片图像处理装置，包括：
特征向量生成模块，用于将切片水肿分布图、切片增生分布图输入金字塔池化层，得到特征向量；
网络分类结果生成模块，用于将所述特征向量输入分类网络d-net，输出葡萄胎切片的网络分类结果。
其中，所述切片水肿分布图、切片增生分布图可以通过人工标注获取，也可以通过以下装置获取：
显微镜，用于放大葡萄胎切片的微小结构；
切片扫描模块，用于获取葡萄胎切片在显微镜下的葡萄胎切片扫描图；
切片绒毛标签图生成模块，用于将葡萄胎切片扫描图切块，得到扫描图切块一，将扫描图切块一输入绒毛网络a-net，得到葡萄胎切片的切块绒毛标签图，将所有切块绒毛标签图融合得到切片绒毛标签图；
切片水肿标签图生成模块，用于将葡萄胎切片扫描图切块，得到扫描图切块二，将扫描图切块二输入水肿网络b-net，得到葡萄胎切片的切块水肿标签图，将所有切块水肿标签图融合得到切片水肿标签图；
切片增生标签图生成模块，用于将葡萄胎切片扫描图切块，得到扫描图切块三，将扫描图切块三输入增生网络c-net，得到葡萄胎切片的切块增生标签图，将所有切块增生标签图融合得到切片增生标签图；
分布图生成模块，用于根据切片绒毛标签图、切片水肿标签图、切片增生标签图分别得到切片水肿分布图、切片增生分布图；
附图说明
图1为本发明所需的葡萄胎切片扫描图的绒毛标注样例；
图2为本发明所需的葡萄胎切片扫描图的水肿标注样例；
图3为本发明所需的葡萄胎切片扫描图的增生标注样例；
图4为本发明公开的水肿网络输入的葡萄胎切片扫描图、实际标注切片水肿标签图、网络预测切片水肿标签图；
图5为本发明公开的增生网络输入的葡萄胎切片扫描图、实际标注切片增生标签图、网络预测切片增生标签图；
图6为本发明公开的葡萄胎切片扫描图标注训练数据集的获取流程图；
图7为本发明公开的葡萄胎切片图像处理整体流程图；
图8为绒毛网络a-net的网络结构图，水肿网络b-net、增生网络c-net与绒毛网络a-net结构相同；
图9为数字显微镜切片扫描装置；
图10为金字塔池化层结构图；
图11为分类网络d-net结构图；
具体实施方式
本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。
实施例一
一种基于深度学习的葡萄胎切片图像处理方法，步骤如下：
S1，将切片水肿分布图、切片增生分布图输入金字塔池化层，得到特征向量；
该步骤中，先将切片水肿分布图切成12,...,(n1-1)2,n1 2的网格图，将切片增生分布图切成12,...,(n2-1)2,n2 2的网格图(n1≠n2)，再对每一块网格图进行均值池化得到
个特征值，共计得到
个特征值的特征向量。
S2，将步骤S1中得到的特征向量输入分类网络d-net，输出葡萄胎切片的网络分类结果；
该步骤中，将特征向量作为分类网络c-net的输入；
分类网络c-net包括输入层、中间层和输出层，输入层为金字塔池化层输出的
个特征值的特征向量，中间层为m个神经元，输出层为表示分类结果的三个输出神经元。
步骤S1中，所述切片水肿分布图、切片增生分布图可以通过人工标注获取，也可以通过以下步骤获取：
S1-1，将葡萄胎切片放入显微镜载物台，显微镜对焦，并获取葡萄胎切片在显微镜下的葡萄胎切片扫描图；
在该步骤中，首先，葡萄胎切片需要先进行he染色处理，经he染色处理后的葡萄胎切片再放入数字显微镜载物台，显微镜选用数字显微镜；其次，自动对焦模块进行自动对焦，使显微镜的视场中能够看到清晰的葡萄胎切片；最后切片扫描模块获取葡萄胎切片在显微镜下的葡萄胎切片扫描图。
S1-2，由于获取到的葡萄胎切片扫描图尺寸较大，而现有的网络输入时对图片尺寸又有要求，因而需要对输入网络的图片进行切分处理，将葡萄胎切片扫描图切分成多组适用于不同网络的切块。
将葡萄胎切片扫描图切块，得到扫描图切块一，将扫描图切块一输入绒毛网络a-net，得到葡萄胎切片的切块绒毛标签图，将所有切块绒毛标签图融合得到切片绒毛标签图；
将葡萄胎切片扫描图切块，得到扫描图切块二，将扫描图切块二输入水肿网络b-net，得到葡萄胎切片的切块水肿标签图，将所有切块水肿标签图融合得到切片水肿标签图。
将葡萄胎切片扫描图切块，得到扫描图切块三，将扫描图切块三输入增生网络c-net，得到葡萄胎切片的切块增生标签图，将所有切块增生标签图融合得到切片增生标签图。
葡萄胎切片图像切块是将切片以间隔s切成若干尺寸为size的切块,上下左右相邻的两个切块有size×(size-s)的面积重合。其中扫描图切块一尺寸size1为3000×3000～18000×18000的像素尺寸，扫描图切块二尺寸size2为1500×1500～9000×9000的像素尺寸，扫描图切块三尺寸size3为1500×1500～9000×9000的像素尺寸。
切块标签图融合得到切片标签图是将所有切块标签图按原先切块在切片中对应位置进行拼接，上下左右相邻切块的重合部分按多个切块图像的重合部分像素均值拟合。
上述的绒毛网络a-net、水肿网络b-net和增生网络c-net的网络结构相同，均包括卷积层、池化层、上卷积层、并和层。
网络的第一部分为上部分，其与传统卷积网络结构类似，由卷积层和池化层构成，每经过一个池化层就一个尺度，包括原图尺度一共有5个尺度，主要用于图像特征提取，第二部分在图6中的下部分，为上采样部分，每上采样一次，就和特征提取部分对应的通道数相同尺度合并，但是合并之前要将其修剪成相同尺寸，充分利用了多尺度的图片特征信息，对多尺度的图像特征有较好的识别效果。
S1-3，根据切片水肿标签图、切片增生标签图分别得到切片水肿分布图、切片增生分布图；
切片水肿分布图、切片增生分布图的生成可以有多种方式，可以直接根据切片水肿标签图中的水肿区域标记出水肿分布，得到切片水肿分布图，直接根据切片增生标签图中的增生区域标记出增生分布，得到切片增生分布图；
由于水肿、增生往往是伴随着绒毛一同出现，因而为提高检测准确率，本实施例还提供另外一种分布图生成方式：
根据切片绒毛标签图可以得到切片的绒毛区域，绒毛区域和非绒毛区域分别为切片绒毛标签图中像素值为0和255的区域，水肿区域和非水肿区域分别为切片水肿标签图中像素值为0和255的区域，将切片水肿标签图中对应的绒毛区域之外的水肿区域像素值变为255，得到切片水肿分布图，即将切片水肿标签图中对应绒毛区域之外的水肿区域剔除，切片增生分布图按类似步骤获取。
上述的绒毛网络a-net、水肿网络b-net、增生网络c-net和分类网络d-net都需要经过训练。本实施例还提供有一种网络训练的方法。
要进行网络训练，需要有用于输入网络并进行训练的训练图片。
本实施例结合葡萄胎实际诊断所需要用到的葡萄胎形态特征，通过近一年的葡萄胎切片标注培训、葡萄胎切片标注到标注审查，得到了157张典型葡萄胎切片扫描图像的标注结果，每张切片需要进行三种标注，绒毛标注是将切片绒毛区域圈注出来，水肿标注是将切片的绒毛区域中水肿部分圈注出来，增生标注是将绒毛区域中的滋养细胞弥漫性增生区域圈注出来，具体标注样例可见图1～3。
目前医疗影像的瓶颈就在于极度缺少优质的标注数据集，而葡萄胎病症在世界范围还没有较好的标注数据集。深度网络的识别率是建立在良好的数据集的前提下的，因此首先需要进行规范、合理、严格的标注，以得到良好的数据集。训练数据集获取流程如图4所示，其流程包括：
步骤101：制定可靠的标注方案
提出的数个标注方案经过多位专业临床医师的评审和确认后，最后确定一种标注方案，即前面提到的从绒毛标注到水肿标注和增生标注，具体标注样例可见图1～3。绒毛标注是第一步筛选，进行初步提取，水肿标注是将水肿区域提取出来，即将明显水肿、有池状间质出现的绒毛圈注出来，增生标注是将弥绒毛边元漫性增生的滋养细胞区域圈注出来。
步骤102：标注人员培训
多名已有相关医学知识的标注员经过数周培训，在其中挑选最合适的标注员，用于后续标注。
步骤103：标注人员初步标注
标注员根据标注规章要求每人负责约80张扫描切片，标注出用于网络训练的水肿标注、增生标注、绒毛标注。
步骤104：病理医生审查
步骤103得到的初步标注经过拥有长期临床经验的临床医生严格审查，并反馈给标注员。
步骤105：标注人员详细标注
对标注审查结果进行分析和修改，标注员统一标注的标准，得到最终的标注数据集。
步骤106：网络自动标注
在较好的标注数据集基础上训练得到的网络对后续新加入的切片扫描图片进行图像语义分割，得到新的标注数据集，即网络自动标注新切片扫描图，以扩充数据集，进而训练得到鲁棒性更好的网络。
绒毛网络a-net的训练方法为：
将训练图片以尺寸size1切成若干训练图片切块，将训练图片切块输入绒毛网络a-net，每个训练图片切块对应实际分割输出由绒毛标注文件处理得到，最终训练得到绒毛分类网络a-net；
水肿网络b-net的训练方法为：
将训练图片以尺寸size2切成若干训练图片切块，将有绒毛区域的训练图片切块输入水肿网络b-net，训练图片切块的水肿标注文件得到的切块水肿分割切块作为输出，并得到切片水肿分布图，最终训练得到水肿网络b-net；
增生网络c-net的训练方法为：
将训练图片以尺寸size3切成若干训练图片切块，将有绒毛区域的训练图片切块输入增生网络c-net，训练图片切块的增生标注文件得到的切块增生分割切块作为输出，并得到切片增生分布图，最终训练得到增生网络c-net；
分类网络d-net的训练方法为：
将人工标注的切片水肿分布图、切片增生分布图通过金字塔池化层得到统一尺寸的特征向量，将特征向量作为分类网络d-net的输入，每张训练图片的实际分类结果作为输出，通过训练得到最终的分类网络d-net。
实施例二
本实施例还提供一种基于深度学习的葡萄胎切片图像处理装置，包括：
网格图生成模块，用于将切片水肿分布图、切片增生分布图分别输入金字塔池化层，切片水肿分布图切成12,...,(n1-1)2,n1 2的网格图，切片增生分布图切成12,...,(n2-1)2,n2 2的网格图(n1≠n2)，；
特征向量生成模块，用于对每一块网格图进行均值池化得到
个特征值，共计得到
个特征值的特征向量。
网络分类结果生成模块：用于将特征向量输入分类网络d-net，输出葡萄胎切片的网络分类结果。以特征向量作为分类网络d-net的输入，分类网络d-net包括输入层、中间层和输出层，输入层为金字塔池化层输出的
个特征值的特征向量，中间层为m个神经元，输出层为表示分类结果的三个输出神经元。
其中，所述的切片水肿分布图、切片增生分布图可以通过人工标注获取，也可以通过以下装置获取：
显微镜，用于放大葡萄胎切片的微小结构；
切片扫描模块，用于获取葡萄胎切片在显微镜下的葡萄胎切片扫描图；
切片绒毛标签图生成模块，用于将葡萄胎切片扫描图切块，得到扫描图切块一，将扫描图切块一输入绒毛网络a-net，得到葡萄胎切片的切块绒毛标签图，将所有切块绒毛标签图融合得到切片绒毛标签图；
切片水肿标签图生成模块，用于将葡萄胎切片扫描图切块，得到扫描图切块二，将扫描图切块二输入水肿网络b-net，得到葡萄胎切片的切块水肿标签图，将所有切块水肿标签图融合得到切片水肿标签图；
切片增生标签图生成模块，用于将葡萄胎切片扫描图切块，得到扫描图切块三，将扫描图切块三输入增生网络c-net，得到葡萄胎切片的切块增生标签图，将所有切块增生标签图融合得到切片增生标签图；
切片水肿分布图生成模块，用于根据切片绒毛标签图得到绒毛区域，将步骤S2中得到的切片水肿标签图中绒毛区域之外的水肿区域剔除，得到切片水肿分布图；
切片增生分布图生成模块，用于根据切片绒毛标签图得到绒毛区域，将步骤S2中得到的切片增生标签图中绒毛区域之外的增生区域剔除，得到切片增生分布图。
Claims (12)
1.一种葡萄胎切片图像处理方法，其特征在于，步骤如下：
S1，将葡萄胎切片图像的切片水肿分布图、切片增生分布图分别输入不同尺度的金字塔池化层，得到葡萄胎切片图像的特征向量；
S2，将步骤S1中得到的特征向量输入全连接神经网络，输出葡萄胎切片的分类结果。
2.如权利要求1所述的一种葡萄胎切片图像处理方法，其特征在于，还包括步骤S3：
根据葡萄胎切片图像、切片水肿分布图、切片增生分布图得到水肿可视化切片图像、增生可视化切片图像、水肿区域截图、增生区域截图，将所述水肿可视化切片图像、增生可视化切片图像、水肿区域截图、增生区域截图和S2中得到的葡萄胎切片分类结果显示输出。
3.如权利要求2所述的一种葡萄胎切片图像处理方法，其特征在于，包括：
所述水肿可视化切片图像是将葡萄胎切片图像中的水肿区域标注第一颜色得到，所述增生可视化切片图像是将葡萄胎切片图像中的水肿区域标注第二颜色得到；
所述水肿区域截图是通过将切片水肿分布图按尺寸size切块得到，切块像素均值最小的1～10个切块对应的切块图像为水肿区域截图，所述增生区域截图是通过将切片增生分布图按尺寸size切块得到，切块像素均值最小的1～10个切块对应的切块图像为增生区域截图。
4.如权利要求1所述的一种葡萄胎切片图像处理方法，其特征在于，步骤S1中，将切片水肿分布图切成12,...,(n1-1)2,n1 2的网格图，将切片增生分布图切成12,...,(n2-1)2,n2 2的网格图(n1≠n2)，对每一块网格图进行均值池化得到
个特征值，共计得到
个特征值的特征向量。
5.如权利要求1所述的一种葡萄胎切片图像处理方法，其特征在于，步骤S2中，将特征向量作为全连接神经网络全连接神经网络的输入。全连接神经网络包括输入层、中间层和输出层，输入层为金字塔池化层输出的
个特征值的特征向量，中间层为m个神经元，输出层为表示网络分类结果的三个输出神经元，网络输出结果包括葡萄胎、非葡萄胎和疑似葡萄胎三个类别。
6.一种葡萄胎切片图像处理装置，其特征在于，包括：
特征向量生成模块，用于将切片水肿分布图、切片增生分布图输入金字塔池化层，得到特征向量；
网络分类结果生成模块，用于将所述特征向量输入全连接网络，输出葡萄胎切片的分类结果。
7.如权利要求6所述的一种葡萄胎切片图像处理装置，其特征在于，还包括可视化模块：
根据葡萄胎切片图像、切片水肿分布图、切片增生分布图得到水肿可视化切片图像、增生可视化切片图像、水肿区域截图、增生区域截图，将所述水肿可视化切片图像、增生可视化切片图像、水肿区域截图、增生区域截图和S2中得到的葡萄胎切片分类结果显示输出。
8.如权利要求7所述的一种葡萄胎切片图像处理装置，其特征在于，包括：
所述水肿可视化切片图像是将葡萄胎切片图像中的水肿区域标注第一颜色得到，所述增生可视化切片图像是将葡萄胎切片图像中的水肿区域标注第二颜色得到；
所述水肿区域截图是通过将切片水肿分布图按尺寸size切块得到，切块像素均值最小的1～10个切块对应的切块图像为水肿区域截图，所述增生区域截图是通过将切片增生分布图按尺寸size切块得到，切块像素均值最小的1～10个切块对应的切块图像为增生区域截图。
9.如权利要求6所述的一种葡萄胎切片图像处理装置，其特征在于，特征向量生成模块中，将切片水肿分布图切成12,...,(n1-1)2,n1 2的网格图，将切片增生分布图切成12,...,(n2-1)2,n2 2的网格图(n1≠n2)，对每一块网格图进行均值池化得到
个特征值，共计得到
个特征值的特征向量。
10.如权利要求6所述的一种葡萄胎切片图像处理装置，其特征在于，网络分类结果生成模块中，将特征向量作为全连接神经网络全连接神经网络的输入。全连接神经网络包括输入层、中间层和输出层，输入层为金字塔池化层输出的
个特征值的特征向量，中间层为m个神经元，输出层为表示分类结果的三个输出神经元，网络输出结果包括葡萄胎、非葡萄胎和疑似葡萄胎三个类别。
11.一种葡萄胎切片图像处理方法，其特征在于，步骤如下：
S1，将切片水肿分布图、切片增生分布图并和为一张水肿增生双通道图像，通过图像处理将水肿增生双通道图像调整大小为深度卷积网络输入图像尺寸；
S2，将S1中得到水肿增生双通道图像输入深度卷积网络，输出葡萄胎切片的分类结果。
12.一种葡萄胎切片图像处理装置，其特征在于，包括：
网络输入图像生成模块，将切片水肿分布图、切片增生分布图并和为一张水肿增生双通道图像，通过图像处理将水肿增生双通道图像调整大小为深度卷积网络输入图像尺寸；
网络分类结果生成模块，将所述水肿增生双通道图像输入深度卷积网络，输出葡萄胎切片的分类结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010826873.3A CN112102245B (zh) | 2020-08-17 | 2020-08-17 | 一种基于深度学习的葡萄胎切片图像处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010826873.3A CN112102245B (zh) | 2020-08-17 | 2020-08-17 | 一种基于深度学习的葡萄胎切片图像处理方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112102245A true CN112102245A (zh) | 2020-12-18 |
| CN112102245B CN112102245B (zh) | 2024-08-20 |
Family
ID=73754511
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010826873.3A Active CN112102245B (zh) | 2020-08-17 | 2020-08-17 | 一种基于深度学习的葡萄胎切片图像处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112102245B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070053561A1 (en) * | 2005-09-06 | 2007-03-08 | Corrion Bradley W | Method and apparatus for identifying mole growth |
| US20120008838A1 (en) * | 2000-08-07 | 2012-01-12 | Health Discovery Corporation | System and method for remote melanoma screening |
| CN106909924A (zh) * | 2017-02-18 | 2017-06-30 | 北京工业大学 | 一种基于深度显著性的遥感影像快速检索方法 |
| US20190205758A1 (en) * | 2016-12-30 | 2019-07-04 | Konica Minolta Laboratory U.S.A., Inc. | Gland segmentation with deeply-supervised multi-level deconvolution networks |
| US20190231249A1 (en) * | 2016-07-01 | 2019-08-01 | Bostel Technologies, Llc | Phonodermoscopy, a medical device system and method for skin diagnosis |
| CN111369565A (zh) * | 2020-03-09 | 2020-07-03 | 麦克奥迪（厦门）医疗诊断系统有限公司 | 一种基于图卷积网络的数字病理图像的分割与分类方法 |
-
2020
- 2020-08-17 CN CN202010826873.3A patent/CN112102245B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120008838A1 (en) * | 2000-08-07 | 2012-01-12 | Health Discovery Corporation | System and method for remote melanoma screening |
| US20070053561A1 (en) * | 2005-09-06 | 2007-03-08 | Corrion Bradley W | Method and apparatus for identifying mole growth |
| US20190231249A1 (en) * | 2016-07-01 | 2019-08-01 | Bostel Technologies, Llc | Phonodermoscopy, a medical device system and method for skin diagnosis |
| US20190205758A1 (en) * | 2016-12-30 | 2019-07-04 | Konica Minolta Laboratory U.S.A., Inc. | Gland segmentation with deeply-supervised multi-level deconvolution networks |
| CN106909924A (zh) * | 2017-02-18 | 2017-06-30 | 北京工业大学 | 一种基于深度显著性的遥感影像快速检索方法 |
| CN111369565A (zh) * | 2020-03-09 | 2020-07-03 | 麦克奥迪（厦门）医疗诊断系统有限公司 | 一种基于图卷积网络的数字病理图像的分割与分类方法 |
Non-Patent Citations (3)
| Title |
|---|
| PATISON PALEE: "Image Understanding of Molar Pregnancy Based on Anomalies Detection", DOCTORAL THESIS, STAFFORDSHIRE UNIVERSITY, 31 December 2015 (2015-12-31), pages 1 - 202 * |
| PATISON PALEE等: "Heuristic neural network approach in histological sections detection of hydatidiform mole", JOURNAL OF MEDICAL IMAGING, 5 November 2019 (2019-11-05), pages 044501 * |
| 李顶;汪艳芳;李永欣;黄文华;: "人工智能在医学影像诊断中的应用研究", 中国临床解剖学杂志, no. 01, 31 January 2020 (2020-01-31), pages 110 - 113 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112102245B (zh) | 2024-08-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8391575B2 (en) | Automatic image analysis and quantification for fluorescence in situ hybridization | |
| CN110415230B (zh) | 一种基于深度学习的ct切片图像语义分割系统及方法 | |
| CN107330263A (zh) | 一种计算机辅助乳腺浸润性导管癌组织学分级的方法 | |
| CN112088394A (zh) | 生物组织的计算机分类 | |
| JP2018165718A (ja) | 情報処理装置、情報処理方法、および顕微鏡システム | |
| CN112884724B (zh) | 一种用于肺癌组织病理分型的智能判断方法及系统 | |
| Hoque et al. | Retinex model based stain normalization technique for whole slide image analysis | |
| US8542899B2 (en) | Automatic image analysis and quantification for fluorescence in situ hybridization | |
| CN107567631A (zh) | 组织样品分析技术 | |
| CN110660477A (zh) | 幽门螺杆菌自动筛选和标注的系统及方法 | |
| CN112102245A (zh) | 一种基于深度学习的葡萄胎切片图像处理方法及装置 | |
| CN114764855A (zh) | 基于深度学习的膀胱镜下肿瘤智能分割方法、装置及设备 | |
| CN112070725B (zh) | 一种基于深度学习的葡萄胎切片图像处理方法及装置 | |
| CN112070726B (zh) | 一种基于深度学习的葡萄胎切片图像处理方法及装置 | |
| CN114926486B (zh) | 一种基于多层级改进的甲状腺超声图像智能分割方法 | |
| CN115188413A (zh) | 一种染色体核型分析模块 | |
| CN114898862A (zh) | 基于卷积神经网络和病理切片图像的宫颈癌计算机辅助诊断方法 | |
| CN112184618B (zh) | 一种基于深度学习的葡萄胎切片图像处理方法及装置 | |
| CN114170415A (zh) | 基于组织病理图像深度域适应的tmb分类方法及系统 | |
| CN110598561A (zh) | 基于机器学习的细胞玻片分析方法、装置及存储介质 | |
| CN117153343B (zh) | 一种胎盘多尺度分析系统 | |
| CN117576127B (zh) | 一种基于病理图像的肝癌区域自动勾画方法 | |
| Lu et al. | AI-Based Computational Pathology and Its Contribution to Precision Medicine | |
| CN108010581B (zh) | 一种脂溢性角化和扁平疣病种分类方法 | |
| CN111798428B (zh) | 一种皮肤病理图像多种组织自动分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |