CN112184618A - 一种基于深度学习的葡萄胎切片图像处理方法及装置 - Google Patents
一种基于深度学习的葡萄胎切片图像处理方法及装置 Download PDFInfo
- Publication number
- CN112184618A CN112184618A CN202010825928.9A CN202010825928A CN112184618A CN 112184618 A CN112184618 A CN 112184618A CN 202010825928 A CN202010825928 A CN 202010825928A CN 112184618 A CN112184618 A CN 112184618A
- Authority
- CN
- China
- Prior art keywords
- edema
- picture
- slice
- hyperplasia
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 235000009754 Vitis X bourquina Nutrition 0.000 title claims abstract description 73
- 235000012333 Vitis X labruscana Nutrition 0.000 title claims abstract description 73
- 235000014787 Vitis vinifera Nutrition 0.000 title claims abstract description 73
- 210000003754 fetus Anatomy 0.000 title claims abstract description 33
- 238000013135 deep learning Methods 0.000 title claims abstract description 15
- 238000003672 processing method Methods 0.000 title claims description 6
- 240000006365 Vitis vinifera Species 0.000 title 1
- 206010030113 Oedema Diseases 0.000 claims abstract description 232
- 238000009826 distribution Methods 0.000 claims abstract description 82
- 241000219095 Vitis Species 0.000 claims abstract description 72
- 206010020718 hyperplasia Diseases 0.000 claims abstract description 69
- 210000001161 mammalian embryo Anatomy 0.000 claims abstract description 44
- 238000000034 method Methods 0.000 claims abstract description 20
- 230000035755 proliferation Effects 0.000 claims description 144
- 238000005520 cutting process Methods 0.000 claims description 30
- 238000004364 calculation method Methods 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 10
- 230000011218 segmentation Effects 0.000 claims 4
- 238000001514 detection method Methods 0.000 abstract description 21
- 238000003759 clinical diagnosis Methods 0.000 abstract description 13
- 230000002390 hyperplastic effect Effects 0.000 abstract description 11
- 230000001575 pathological effect Effects 0.000 abstract description 7
- 206010004272 Benign hydatidiform mole Diseases 0.000 description 14
- 208000006937 Hydatidiform mole Diseases 0.000 description 14
- 201000007116 gestational trophoblastic neoplasm Diseases 0.000 description 14
- 238000002372 labelling Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 9
- 210000002993 trophoblast Anatomy 0.000 description 8
- 101150116473 NLRP7 gene Proteins 0.000 description 7
- 239000000523 sample Substances 0.000 description 7
- 238000012216 screening Methods 0.000 description 7
- 238000003745 diagnosis Methods 0.000 description 5
- 239000003153 chemical reaction reagent Substances 0.000 description 4
- 108090000623 proteins and genes Proteins 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000035935 pregnancy Effects 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000002570 interstitial cell Anatomy 0.000 description 2
- 230000009245 menopause Effects 0.000 description 2
- 230000007170 pathology Effects 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 108020005187 Oligonucleotide Probes Proteins 0.000 description 1
- 241000219094 Vitaceae Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 230000001605 fetal effect Effects 0.000 description 1
- 235000021021 grapes Nutrition 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 239000013642 negative control Substances 0.000 description 1
- 239000002751 oligonucleotide probe Substances 0.000 description 1
- 238000010827 pathological analysis Methods 0.000 description 1
- 210000002826 placenta Anatomy 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 239000013641 positive control Substances 0.000 description 1
- 239000007790 solid phase Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Geometry (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Quality & Reliability (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习的葡萄胎切片图像处理方法及装置,属于医学影像技术领域中葡萄胎的医学影像检测,用于解决现有技术中葡萄胎临床诊断检测的效率低的问题。本发明通过采集显微镜下的葡萄胎切片扫描图,并将葡萄胎切片扫描图输入水肿网络b‑net、增生网络c‑net,得到葡萄胎切片扫描图的切片水肿分布图、切片增生分布图。本发明通过增生网络、水肿网络可对增生、水肿两种不同的葡萄胎病理特征进行图像处理,分布图将可视化地显示给临床医生,以直观获得切片水肿、增生区域分布情况。
Description
技术领域
本发明属于医学影像技术领域,涉及一种葡萄胎的医学影像检测,尤其涉及一种采用卷积网络进行预测的葡萄胎医学影像检测。
背景技术
葡萄胎(HM)是指妊娠后胎盘绒毛间质水肿、滋养细胞增生而形成的形如葡萄串的水泡状胎块。葡萄胎有一定几率会发展演变成恶性癌症,不及时治疗会带来严重的生命威胁。而绒毛间质水肿、滋养细胞增生作为葡萄胎的两种病灶,对于临床病理科医师诊断葡萄胎有重要意义。
葡萄胎临床诊断依据较多,临床诊断时对绝经时长、妊娠史等都会考虑,但决定性的诊断依据主要来源于切片组织的绒毛间质水肿、绒毛边缘滋养细胞弥漫性增生这两种病灶特征。绒毛间质水肿(以下简称水肿)作为葡萄胎诊断的一种病灶特征,主要组织形态为绒毛间质中有水池状、海岸线状形态,形成中间间质细胞稀疏,四周较稠密的形态。绒毛边缘滋养细胞弥漫性增生(以下简称增生)作为诊断葡萄胎的另一种病灶特征,增生主要组织特征为绒毛四周滋养细胞多灶性、非极性增生,滋养细胞呈现花环状、锯齿状的形态特征。
现有技术中,对葡萄胎的检测、筛查主要有两种方式,一种是通过显微镜人工观察切片,另一种是通过检测与葡萄胎相关的NLRP7基因。
国内外绝大多数医院的临床葡萄胎病理诊断还是通过使用数字显微镜人工观察切片组织的病灶特征,病理医师通常会使用5*10倍与10*10倍的显微镜对病人多个切片组织进行观察,进行葡萄胎切片病灶的检测,最后得出诊断结果。但是,目前国内病理科医师人数在1.5w左右,人才缺口较大,检测的效率较低;另外,临床葡萄胎诊断由于主要由医师人工筛查切片,因此准确率很难保证,尤其对于12周以前的葡萄胎,由于葡萄胎未到成熟期,病灶发育不完全,组织形态与正常葡萄胎切片较为相似,不易区分,造成临床诊断准确率极低,不到50%。
申请号为201310027715.1、名称为用于检测NLRP7基因的基因芯片、检测试剂和试剂盒的发明专利就公开了通过检测与葡萄胎相关的NLRP7基因SNP,实现对于葡萄胎的临床诊断和高危人群早期筛查、早期预防干预具有重要的意义,可广泛用于临床高效筛查葡萄胎高危人群。该发明专利构建了筛查与葡萄胎相关的NLRP7基因多态性高危人群的基因芯片检测系统,基因芯片包括固相载体和合成在该载体上的寡核苷酸探针,检测试剂包括基因芯片和18对用于扩增样本中各SNPs的PCR引物,试剂盒包括检测试剂、一阴性对照样本和一阳性对照样本。该发明专利可快速、准确检测临床样本中的NLRP7基因各个相关SNPs 位点,对于葡萄胎的临床诊断和高危人群早期筛查、早期预防干预具有重要的意义。
现有技术中,通过检测NLRP7基因固然有其存在的必要性,但是通过检测NLRP7基因对葡萄胎进行筛查一是增加了试剂盒检测步骤,整个检测周期会比较长,另外就是会涉及到芯片生产、试剂以及试剂盒的生产,筛查成本大幅上升,在葡萄胎临床诊断中应用范围非常受限,不易推广、应用。所以,在实际临床中是先通过人工病理检测筛选疑似葡萄胎病例,再将疑似病例进行进一步诊断。
相反,现有葡萄胎临床诊断中人工观察切片组织的病灶特征具有检测周期短、检测成本更低的优势,能够在葡萄胎临床诊断中大面积推广、应用。但是,受病理医师人数的限制,临床诊断检测的效率极低;且某些时期组织形态与正常葡萄胎切片较为相似,肉眼不易区分,临床诊断检测的准确率极低。
临床病理科医生主要通过绒毛间质水肿、绒毛边缘滋养细胞弥漫性增生等病理特征和病人绝经时长、妊娠史等信息综合判断是否为葡萄胎病症,其中绒毛间质水肿、绒毛边缘滋养细胞弥漫性增生两种病理特征是较为关键的两个诊断依据。
发明内容
本发明的目的在于:提供一种基于深度学习的葡萄胎切片图像处理方法及装置,通过获得葡萄胎的水肿、增生区域分布,以解决现有技术中通过人工观察切片组织的病理特征致使的葡萄胎临床诊断检测的效率低的问题。
本发明采用的技术方案如下:
一种基于深度学习的葡萄胎切片图像处理方法,步骤如下:
S1,将he染色好的葡萄胎切片放入显微镜载物台,显微镜对焦,并获取葡萄胎切片在显微镜下的切片图片;
S2,将切片图片输入水肿网络b-net、增生网络c-net,得到切片图片的水肿区域分布热度图和增生区域分布热度图。
可选地,在步骤S1中,显微镜对焦后,扫描拍摄显微镜下葡萄胎切片的图片,扫描拍摄的图片作为水肿网络b-net、增生网络c-net的输入;或者将所有扫描的图片及每张图片对应的位置序号传输到上位机,上位机将接收到的图片拼接成切片图片,拼接好的切片图片作为水肿网络b-net、增生网络c-net的输入。
可选地,在步骤S1中,显微镜对焦后,扫描拍摄显微镜下葡萄胎切片的图片,将所有扫描的图片及每张图片对应的位置序号传输到上位机,上位机将接收到的图片拼接成切片图片,拼接好的切片图片作为水肿网络b-net、增生网络c-net的输入。
可选地,步骤S2的具体过程为:
S21,在将拼接好的切片图片在输入水肿网络b-net、增生网络c-net之前进行切块处理,将拼接好的切片图片按照size1、size2两个不同的尺寸切分成两组图片切块组,尺寸为size1的图片切块组输入水肿网络b-net,尺寸为size2的图片切块组输入增生网络 c-net;
S22,通过水肿网络b-net获取图片切块组中每张图片切块的水肿标签,水肿标签包括水肿切块、非水肿切块;通过增生网络c-net获取图片切块组中每张图片切块的增生标签,增生标签包括增生切块、非增生切块;
S23,根据每张图片切块的水肿标签、增生标签以及图片切块的对应位置,合成输出整张切片图片的水肿区域分布热度图和增生区域分布热度图。
可选地,水肿区域分布热度图的生成步骤为:
S23-1-1,以记录有水肿标签的每张图片切块的中心点作为散点,在整张切片图片中形成离散的散点数据图;
S23-1-2,为整张切片图片中的每个散点创建单热点灰度区;
S23-1-3,所有的单热点灰度区重叠、组合成整张切片图片的水肿区域分布热度图;
增生区域分布热度图的生成步骤为:
S23-2-1,以记录有增生标签的每张图片切块的中心点作为散点,在整张切片图片中形成离散的散点数据图;
S23-2-2,为整张切片图片中的每个散点创建单热点灰度区;
S23-2-3,所有的单热点灰度区重叠、组合成整张切片图片的增生区域分布热度图。
可选地,在步骤S23-1-2、S23-2-2中,创建单热点灰度区的公式(1)为:
可选地,在步骤S23-1-3中,水肿热度图灰度分布表示为以下公式(2):
在步骤S23-2-3中,增生热度图灰度分布表示为以下公式(3):
可选地,在步骤S2中,水肿网络b-net为经过训练的水肿网络b-net,水肿网络b-net 的训练步骤为:
步骤一,将训练图片以尺寸size1切成若干训练图片切块,尺寸size1的计算公式(4) 为:
其中,si为每个水肿区域连通域的最小外接矩阵较长边的长度,M1为水肿区域连通域的个数,D1为小于1的可调参数;
步骤二,将训练图片切块输入水肿网络b-net,标注训练图片切块中的水肿区域,计算训练图片切块中水肿区域面积占训练图片切块总面积的比值,若比值超过特定阈值threshold1,则该训练图片切块的水肿标签为水肿切块;若比值不超过特定阈值threshold1,则该训练图片切块的水肿标签为非水肿切块;得到所有训练图片切块的水肿标签;
特定阈值threshold1采用公式(5)进行计算:
其中,P1为训练图片切块中水肿区域面积占训练图片切块总面积的比值,N1为训练图片切块的张数,pi为第i张训练图片切块中水肿区域面积占训练图片切块总面积的比值;
步骤三,将水肿标签为水肿切块、非水肿切块的训练图片切块作为二分类深度网络 b-net的输入,最终训练得到水肿网络b-net。
该增生网络c-net为经过训练的增生网络c-net,增生网络c-net的训练步骤为:
步骤一,将训练图片以尺寸size2切成若干训练图片切块,尺寸size2的计算公式(6) 为:
其中,qi为每个增生区域连通域的最小外接矩阵较长边的长度,M2为增生区域连通域的个数,D2为小于1的可调参数;
步骤二,将训练图片切块输入增生网络c-net,标注训练图片切块中的水肿区域,计算训练图片切块中水肿区域面积占训练图片切块总面积的比值,若比值超过特定阈值threshold2,则该训练图片切块的增生标签为增生切块;若比值不超过特定阈值threshold2,则该训练图片切块的增生标签为非增生切块;得到所有训练图片切块的增生标签;
特定阈值threshold2采用公式(7)进行计算:
其中,P2为训练图片切块中增生区域面积占训练图片切块总面积的比值,N2为训练图片切块的张数,bi为第i张训练图片切块中增生区域面积占训练图片切块总面积的比值;
步骤三,将增生标签为增生切块、非增生切块的训练图片切块作为二分类深度网络 c-net的输入,最终训练得到增生网络c-net。
本申请还提供有一种基于深度学习的葡萄胎切片图像处理装置,其包括:
显微镜,用于放大葡萄胎切片的微小结构;
切片扫描模块,用于获取葡萄胎切片在显微镜下的切片图片;
切片图像处理系统,用于将切片图片输入水肿网络b-net、增生网络c-net,得到切片图片的水肿区域分布热度图和增生区域分布热度图。
所述,由于采用了上述技术方案,本发明的有益效果是:
本发明将深度网络技术和葡萄胎切片病理诊断技术进行结合,将切片图片输入水肿网络b-net、增生网络c-net,最终可获取葡萄胎切片的水肿区域分布热度图和增生区域分布热度图;另外,热度图由系统生成,根据热度图可直观获得水肿增、生区域分布情况,减少检测过程中对于病理医师主观分析的过度依赖。
本发明在热度图的生成过程中采用特定的模型和算法,热度图更能够真实反映水肿、增生分布情况,热度图的精度更高。
另外,针对水肿网络b-net、增生网络c-net进行了深度训练,通过特定的训练方式方法获得更加成熟的网络,通过更加成熟的网络能够获得更加真实、有效的热度图,提高热度图的精度。
附图说明
图1为本发明所需的葡萄胎切片扫描图的水肿标注样例;
图2为本发明所需的葡萄胎切片扫描图的增生标注样例;
图3为本发明中葡萄胎切片图像处理整体流程图;
图4为本发明中数字显微镜切片扫描装置;
图5为本发明中水肿网络b-net的网络结构图;
图6为一张样例切片的水肿分部信息图,越亮代表水肿越明显,左图为原始人工标注水肿分布图,右图为采用本发明的方法获得的水肿分布图;
其中,增生网络c-net的网络结构图与图5相同。
具体实施方式
本说明书中公开的所有特征,或公开的所有方法或过程中的步骤,除了互相排斥的特征和/或步骤以外,均可以以任何方式组合。
实施例一
一种基于深度学习的葡萄胎切片图像处理方法,适用于切片图片无需拼接、切块的情形。其具体步骤如下:
将葡萄胎切片放入显微镜载物台,显微镜对焦,并获取葡萄胎切片在显微镜下的切片图片;
在该步骤中,首先,葡萄胎切片需要先进行he染色处理,经he染色处理后的葡萄胎切片再放入显微镜载物台,显微镜选用数字显微镜;其次,自动对焦模块进行自动对焦,使显微镜的视场中能够看到清晰的葡萄胎切片;最后切片扫描模块获取葡萄胎切片在显微镜下的切片图片。
将切片图片输入水肿网络b-net、增生网络c-net,得到切片图片的水肿区域分布热度图和增生区域分布热度图;
切片图片输入水肿网络b-net后,通过水肿网络b-net获取切片图片的水肿标签,水肿标签包括水肿切块、非水肿切块;切片图片输入增生网络c-net后,通过增生网络c-net获取切片图片的增生标签,增生标签包括增生切块、非增生切块;再根据切片图片的水肿标签、增生标签等信息,生成切片图片的水肿区域分布热度图和增生区域分布热度图。
在生成水肿区域分布热度图时,生成水肿区域分布热度图的具体步骤为:
以记录有水肿标签的切片图片的中心点作为散点,在整张切片图片中形成离散的散点数据图;
为整张切片图片中的每个散点创建单热点灰度区;
所有的单热点灰度区重叠、组合成整张切片图片的水肿区域分布热度图;
在生成增生区域分布热度图时,生成增生区域分布热度图的具体步骤为:
以记录有增生标签的切片图片的中心点作为散点,在整张切片图片中形成离散的散点数据图;
为整张切片图片中的每个散点创建单热点灰度区;
所有的单热点灰度区重叠、组合成整张切片图片的增生区域分布热度图。
在创建单热点灰度区时,创建单热点灰度区的公式(1)为:
生成水肿区域分布热度图时,水肿热度图灰度分布表示为以下公式(2):
生成增生区域分布热度图时,增生热度图灰度分布表示为以下公式(3):
另外,水肿网络b-net、增生网络c-net都需要进行训练,且都是经过训练后得到的成熟网络。
水肿网络b-net的训练步骤为:
步骤一,将训练图片以尺寸size1切成若干训练图片切块,尺寸size1的计算公式(4) 为:
其中,si为每个水肿区域连通域的最小外接矩阵较长边的长度,M1为水肿区域连通域的个数,D1为小于1的可调参数;
步骤二,将训练图片切块输入水肿网络b-net,标注训练图片切块中的水肿区域,计算训练图片切块中水肿区域面积占训练图片切块总面积的比值,若比值超过特定阈值threshold1,则该训练图片切块的水肿标签为水肿切块;若比值不超过特定阈值threshold1,则该训练图片切块的水肿标签为非水肿切块;得到所有训练图片切块的水肿标签;
特定阈值threshold1采用公式(5)进行计算:
其中,P1为训练图片切块中水肿区域面积占训练图片切块总面积的比值,N1为训练图片切块的张数,pi为第i张训练图片切块中水肿区域面积占训练图片切块总面积的比值;
步骤三,将水肿标签为水肿切块、非水肿切块的训练图片切块作为二分类深度网络 b-net的输入,最终训练得到水肿网络b-net。
本实施例中的水肿网络b-net的网络结构图如图5所示,网络输入切块图片经过卷积层、池化层、Inception-ResNet模块最终得到网络输出,将切块分为水肿与非水肿两类。水肿网络中的Inception-ResNet模块能极大提升网络运算的效率,为网络训练提供便利。水肿网络输出的所有切片的带标签切块组合成切片水肿信息。
增生网络c-net的训练方法与水肿网络b-net的训练方法相同,但由于水肿、增生形态及面积差异巨大,增生网络c-net网络输入所需切块为另一特定尺寸size2,判别时的特定阈值为threshold2,size2与threshold2的计算公式相同。
增生网络c-net的训练步骤为:
步骤一,将训练图片以尺寸size2切成若干训练图片切块,尺寸size2的计算公式(6) 为:
其中,qi为每个增生区域连通域的最小外接矩阵较长边的长度,M2为增生区域连通域的个数,D2为小于1的可调参数;
步骤二,将训练图片切块输入增生网络c-net,标注训练图片切块中的增生区域,计算训练图片切块中增生区域面积占训练图片切块总面积的比值,若比值超过特定阈值threshold2,则该训练图片切块的增生标签为增生切块;若比值不超过特定阈值threshold2,则该训练图片切块的增生标签为非增生切块;得到所有训练图片切块的增生标签;
特定阈值threshold2采用公式(7)进行计算:
其中,P2为训练图片切块中增生区域面积占训练图片切块总面积的比值,N2为训练图片切块的张数,bi为第i张训练图片切块中增生区域面积占训练图片切块总面积的比值;
步骤三,将增生标签为增生切块、非增生切块的训练图片切块作为二分类深度网络 b-net的输入,最终训练得到增生网络c-net。
实施例二
一种基于深度学习的葡萄胎切片图像处理方法,主要适用于切片图片较大,需要拼接、切块的情形,也是最为主要的应用场景。其具体步骤如下:
S1,将葡萄胎切片放入显微镜载物台,显微镜对焦,并获取葡萄胎切片在显微镜下的切片图片;
在该步骤中,首先,葡萄胎切片需要先进行he染色处理,经he染色处理后的葡萄胎切片再放入显微镜载物台,显微镜选用数字显微镜;其次,自动对焦模块进行自动对焦,使显微镜的视场中能够看到清晰的葡萄胎切片;最后切片扫描模块获取葡萄胎切片在显微镜下的切片图片。
在扫描时,由于葡萄胎切片不能在一个视场中完全展现出来,因而需随时调整显微镜,使显微镜视场以一定速度移动并扫描拍摄显微镜下葡萄胎切片的图片;所以在扫描过程中将会产生多张扫描图片。
但是受后期网络对输入照片尺寸的要求,需将多张扫描图片经拼接后可形成完整的切片图片,然后在切分成符合水肿网络b-net、增生网络c-net要求尺寸的图片切块。所以,将所有扫描的图片及每张图片对应的位置序号传输到上位机,上位机将接收到的图片拼接成切片图片,拼接好的切片图片作为水肿网络b-net、增生网络c-net的输入。
本实施例中,上位机进行图片拼接时,拼接的具体步骤为:
步骤一,在已拼接图片T上提取间隔为c的两列像素,每列像素取m个像素,计算m个像素的像素灰度比值,此像素灰度比值作为模板a;其中,已拼接图片T包括首次拼接时的基础图片和已经与其它图片拼接好并作为下一次拼接基础的图片;
步骤二,在待拼接图片S上提取间隔为c的两列像素,每列像素取m+n个像素,计算m+n个像素的像素灰度比值,此像素灰度比值作为模板b;
步骤三,利用模板a在模板b中寻找相应的匹配,即待拼接图片S在各个位置上与模板a、模板b的差绝对值;匹配时,先进行垂直方向上的比较,再进行水平方向的比较,差绝对值达到最小就认为是全局最佳匹配;
步骤四,将待拼接图片S的最佳匹配位置拼接到已拼接图片T上;
反复依次重复步骤二、步骤三,最终得到完整的切片图片。
S2,将切片图片输入水肿网络b-net、增生网络c-net,得到切片图片的水肿区域分布热度图和增生区域分布热度图。
由于水肿网络b-net、增生网络c-net对输入图片尺寸有特殊要求,因而需对切片图片进行切块处理。即步骤S2的具体过程为:
S21,在将拼接好的切片图片在输入水肿网络b-net、增生网络c-net之前进行切块处理,将拼接好的切片图片按照size1、size2两个不同的尺寸切分成两组图片切块组,尺寸为size1的图片切块组输入水肿网络b-net,尺寸为size2的图片切块组输入增生网络 c-net;
该步骤中size1、size2的确定,与下述训练方法中size1、size2的确定一致,只需将训练图片替换为切片图片即可。
S22,通过水肿网络b-net获取图片切块组中每张图片切块的水肿标签,水肿标签包括水肿切块、非水肿切块;通过增生网络c-net获取图片切块组中每张图片切块的增生标签,增生标签包括增生切块、非增生切块;
S23,根据每张图片切块的水肿标签、增生标签以及图片切块的对应位置,合成输出整张切片图片的水肿区域分布热度图和增生区域分布热度图。
在生成水肿区域分布热度图时,水肿区域分布热度图的生成步骤为:
S23-1-1,以记录有水肿标签的每张图片切块的中心点作为散点,在整张切片图片中形成离散的散点数据图;
S23-1-2,为整张切片图片中的每个散点创建单热点灰度区;
S23-1-3,所有的单热点灰度区重叠、组合成整张切片图片的水肿区域分布热度图;
在生成增生区域分布热度图时,增生区域分布热度图的生成步骤为:
S23-2-1,以记录有增生标签的每张图片切块的中心点作为散点,在整张切片图片中形成离散的散点数据图;
S23-2-2,为整张切片图片中的每个散点创建单热点灰度区;
S23-2-3,所有的单热点灰度区重叠、组合成整张切片图片的增生区域分布热度图。
另外,在步骤S23-1-2、S23-2-2中,创建单热点灰度区的公式(1)为:
在步骤S23-1-3中,水肿热度图灰度分布表示为以下公式(2):
在步骤S23-2-3中,增生热度图灰度分布表示为以下公式(3):
另外,水肿网络b-net、增生网络c-net都需要进行训练,且都是经过训练后得到的成熟网络。
水肿网络b-net的训练步骤为:
步骤一,将训练图片以尺寸size1切成若干训练图片切块,尺寸size1的计算公式(4) 为:
其中,si为每个水肿区域连通域的最小外接矩阵较长边的长度,M1为水肿区域连通域的个数,D1为小于1的可调参数;
步骤二,将训练图片切块输入水肿网络b-net,标注训练图片切块中的水肿区域,计算训练图片切块中水肿区域面积占训练图片切块总面积的比值,若比值超过特定阈值threshold1,则该训练图片切块的水肿标签为水肿切块;若比值不超过特定阈值threshold1,则该训练图片切块的水肿标签为非水肿切块;得到所有训练图片切块的水肿标签;
特定阈值threshold1采用公式(5)进行计算:
其中,P1为训练图片切块中水肿区域面积占训练图片切块总面积的比值,N1为训练图片切块的张数,pi为第i张训练图片切块中水肿区域面积占训练图片切块总面积的比值;
步骤三,将水肿标签为水肿切块、非水肿切块的训练图片切块作为二分类深度网络 b-net的输入,最终训练得到水肿网络b-net。
增生网络c-net的训练步骤为:
步骤一,将训练图片以尺寸size2切成若干训练图片切块,尺寸size2的计算公式(6) 为:
其中,qi为每个增生区域连通域的最小外接矩阵较长边的长度,M2为增生区域连通域的个数,D2为小于1的可调参数;
步骤二,将训练图片切块输入增生网络c-net,标注训练图片切块中的增生区域,计算训练图片切块中增生区域面积占训练图片切块总面积的比值,若比值超过特定阈值threshold2,则该训练图片切块的增生标签为增生切块;若比值不超过特定阈值threshold2,则该训练图片切块的增生标签为非增生切块;得到所有训练图片切块的增生标签;
特定阈值threshold2采用公式(7)进行计算:
其中,P2为训练图片切块中增生区域面积占训练图片切块总面积的比值,N2为训练图片切块的张数,bi为第i张训练图片切块中增生区域面积占训练图片切块总面积的比值;
步骤三,将增生标签为增生切块、非增生切块的训练图片切块作为二分类深度网络 b-net的输入,最终训练得到增生网络c-net。
在实施例二的基础上,如图6所示,左图为原始标注热度图,此图为某切块经人工标注后得到的水肿热度图,右图为同一切块的图像输入本实施例的水肿网络后输出并得到的热度图,图中亮色区域表示为水肿区域。通过对比,两图的亮色区域的重合度高达83%以上,由此可以说明,对比于人工标注,本实施例的标注检测精度可达83%(即与人工标注的重合度高达83%),检测精度高。如图6,可以对比两张热度图最上方的绒毛区域,网络输出热度图的水肿区域其实更符合病理医生实际临床经验,人工标注热度图反而漏标一部分水肿区域。
实施例三
一种基于深度学习的葡萄胎切片图像处理装置,包括:
显微镜,用于放大葡萄胎切片的微小结构。
切片扫描模块,用于获取葡萄胎切片在显微镜下的切片图片。
葡萄胎切片图像处理系统,用于将切片图片输入水肿网络b-net、增生网络c-net,得到切片图片的水肿区域分布热度图和增生区域分布热度图。
还可以包括自动对焦模块和上位机;
该自动对焦模块,用于对显微镜进行自动对焦,使显微镜的视场中能够看到清晰的葡萄胎切片。
该上位机,用于接收切片扫描模块获取的所有扫描的图片及每张图片对应的位置序号,并将接收到的图片拼接成切片图片。
该葡萄胎切片图像处理系统包括切片拼接模块、网络模块以及热度图生成模块;
该切片拼接模块,用于将拼接好的切片图片按照size1、size2两个不同的尺寸切分成两组图片切块组。
网络模块包括水肿网络子模块、增生网络子模块;
水肿网络子模块,用于利用通过水肿网络b-net获取图片切块组中每张图片切块的水肿标签,水肿标签包括水肿切块、非水肿切块。
增生网络子模块,用于利用通过增生网络c-net获取图片切块组中每张图片切块的增生标签,增生标签包括增生切块、非增生切块。
热度图生成模块,用于根据每张图片切块的水肿标签、增生标签以及图片切块的对应位置,合成输出整张切片图片的水肿区域分布热度图和增生区域分布热度图。
热度图生成模块包括水肿区域热度图生成子模块和增生区域热度图生成子模块;
水肿区域热度图生成子模块又包括水肿散点图生成模块、水肿单热点灰度区创建模块和水肿区域分布热度图生成模块;
水肿散点图生成模块,用于以记录有水肿标签的每张图片切块的中心点作为散点,在整张切片图片中形成离散的散点数据图。
水肿单热点灰度区创建模块,用于为整张切片图片中的每个散点创建单热点灰度区。
水肿区域分布热度图生成模块,用于所有的单热点灰度区重叠、组合成整张切片图片的水肿区域分布热度图。
增生区域热度图生成子模块又包括增生散点图生成模块、增生单热点灰度区创建模块和增生区域分布热度图生成模块;
增生散点图生成模块,用于以记录有增生标签的每张图片切块的中心点作为散点,在整张切片图片中形成离散的散点数据图。
增生单热点灰度区创建模块,用于为整张切片图片中的每个散点创建单热点灰度区。
增生区域分布热度图生成模块,用于所有的单热点灰度区重叠、组合成整张切片图片的增生区域分布热度图。
水肿单热点灰度区创建模块、增生单热点灰度区创建模块中,创建单热点灰度区的公式(1)为:
水肿区域分布热度图生成模块中,水肿热度图灰度分布表示为以下公式(2):
增生区域分布热度图生成模块中,增生热度图灰度分布表示为以下公式(3):
另外,还可以设置网络训练模块,该网络训练模块包括水肿网络训练子模块和增生网络训练模块;
水肿网络训练子模块包括水肿图片切块模块、水肿标签模块和水肿网络生成模块;
水肿图片切块模块,用于将训练图片以尺寸size1切成若干训练图片切块,尺寸size1 的计算公式(4)为:
其中,si为每个水肿区域连通域的最小外接矩阵较长边的长度,M1为水肿区域连通域的个数,D1为小于1的可调参数;
水肿标签模块,用于将训练图片切块输入水肿网络b-net,标注训练图片切块中的水肿区域,计算训练图片切块中水肿区域面积占训练图片切块总面积的比值,若比值超过特定阈值threshold1,则该训练图片切块的水肿标签为水肿切块;若比值不超过特定阈值threshold1,则该训练图片切块的水肿标签为非水肿切块;得到所有训练图片切块的水肿标签;
特定阈值threshold1采用公式(5)进行计算:
其中,P1为训练图片切块中水肿区域面积占训练图片切块总面积的比值,N1为训练图片切块的张数,pi为第i张训练图片切块中水肿区域面积占训练图片切块总面积的比值;
水肿网络生成模块,用于将水肿标签为水肿切块、非水肿切块的训练图片切块作为二分类深度网络b-net的输入,最终训练得到水肿网络b-net。
增生网络训练子模块包括增生图片切块模块、增生标签模块和增生网络生成模块;
增生图片切块模块,用于将训练图片以尺寸size1切成若干训练图片切块,尺寸size1 的计算公式(6)为:
其中,qi为每个增生区域连通域的最小外接矩阵较长边的长度,M2为增生区域连通域的个数,D2为小于1的可调参数;
增生标签模块,用于将训练图片切块输入增生网络c-net,标注训练图片切块中的增生区域,计算训练图片切块中增生区域面积占训练图片切块总面积的比值,若比值超过特定阈值threshold2,则该训练图片切块的增生标签为增生切块;若比值不超过特定阈值threshold2,则该训练图片切块的增生标签为非增生切块;得到所有训练图片切块的增生标签;
特定阈值threshold2采用公式(5)进行计算:
其中,P2为训练图片切块中增生区域面积占训练图片切块总面积的比值,N2为训练图片切块的张数,bi为第i张训练图片切块中增生区域面积占训练图片切块总面积的比值;
增生网络生成模块,用于将增生标签为增生切块、非增生切块的训练图片切块作为二分类深度网络b-net的输入,最终训练得到增生网络c-net。
Claims (9)
1.一种基于深度学习的葡萄胎切片图像处理方法,其特征在于,步骤如下:
S1,获取葡萄胎切片扫描图像;
S2,将葡萄胎切片扫描图像切为尺寸为size1和size2的切块;
S3,将size1切块输入深度卷积网络1,得到size1切块水肿标签,根据切块标签得到切片图片的水肿分布热度图;
S4,将size2切块输入深度卷积网络2,得到size2切块增生标签,根据切块标签得到切片图片的增生分布热度图。
2.如权利要求1所述的一种基于深度学习的葡萄胎切片图像处理方法,其特征在于,步骤S1中,所述葡萄胎切片扫描图像由显微镜拍摄的所有图片拼接得到。
3.如权利要求1所述的一种基于深度学习的葡萄胎切片图像处理方法,其特征在于,步骤S3、S4中,深度卷积网络1是经过人工标注的葡萄胎水肿切块图像数据集训练得到的用于水肿切块分类的网络,深度卷积网络2是经过人工标注的葡萄胎增生切块图像数据集训练得到的用于增生切块分类的网络。
4.如权利要求1所述的一种基于深度学习的葡萄胎切片图像处理方法,其特征在于,步骤S3、S4中,分布热度图的生成步骤为:
S3-1,以记录为水肿或增生标签的每张切块的中心点作为散点,在整张切片图片中形成离散的散点数据图;
步骤一,将训练图片以尺寸size切成若干训练图片切块。尺寸size的计算公式(4)为:
其中,si为每个水肿或增生连通域的最小外接矩阵较长边的长度,M为水肿或增生连通域的个数,D为小于1的可调参数;
步骤二,计算训练图片切块中水肿或增生区域面积占训练图片切块总面积的比值,若比值超过特定阈值threshold,则该训练图片切块标签为水肿或增生切块,否则该训练图片切块标签为非水肿或增生切块;
阈值threshold采用公式(5)进行计算:
其中,P为训练图片切块中水肿或增生区域面积占训练图片切块总面积的比值,N为训练图片切块的张数,pi为第i张训练图片切块中水肿或增生区域面积占训练图片切块总面积的比值;
步骤三,将标签为水肿和非水肿切块或增生和非增生切块作为深度卷积网络的训练数据集,最终训练得到深度卷积网络1和深度卷积网络2。
5.一种基于深度学习的葡萄胎切片图像处理装置,其特征在于,包括:
显微镜,用于放大葡萄胎切片的微小结构;
切片扫描模块,用于获取葡萄胎切片在显微镜下的葡萄胎切片扫描图像;
切片切块模块,将葡萄胎切片扫描图像切为尺寸为size1和size2的切块;
水肿分布热度图获取模块,将size1切块输入深度卷积网络1,得到size1切块水肿标签,根据切块标签得到切片图片的水肿分布热度图;
增生分布热度图获取模块,将size1切块输入深度卷积网络1,得到size1切块增生标签,根据切块标签得到切片图片的增生分布热度图;
6.如权利要求6所述的一种基于深度学习的葡萄胎切片图像处理装置,其特征在于,所述葡萄胎切片扫描图像由显微镜拍摄的所有图片拼接得到。
7.如权利要求6所述的一种基于深度学习的葡萄胎切片图像处理装置,其特征在于,所述深度卷积网络1是经过人工标注的葡萄胎水肿切块图像数据集训练得到的用于水肿切块分类的网络,所述深度卷积网络2是经过人工标注的葡萄胎增生切块图像数据集训练得到的用于增生切块分类的网络,。
8.如权利要求6所述的一种基于深度学习的葡萄胎切片图像处理装置,其特征在于,所述分布热度图的生成步骤为:
步骤一,以记录为水肿或增生标签的每张切块的中心点作为散点,在整张切片图片中形成离散的散点数据图;
步骤二,为整张切片图片中的每个散点创建单热点灰度区;
步骤三,所有的单热点灰度区重叠、组合成整张切片图片的分布热度图。
9.如权利要求8所述的一种基于深度学习的葡萄胎切片图像处理装置,其特征在于,所述深度卷积网络1和深度卷积网络2的训练步骤为:
步骤一,将训练图片以尺寸size切成若干训练图片切块。尺寸size的计算公式(4)为:
其中,si为每个水肿或增生连通域的最小外接矩阵较长边的长度,M为水肿或增生连通域的个数,D为小于1的可调参数;
步骤二,计算训练图片切块中水肿或增生区域面积占训练图片切块总面积的比值,若比值超过特定阈值threshold,则该训练图片切块标签为水肿或增生切块,否则该训练图片切块标签为非水肿或增生切块;
阈值threshold采用公式(5)进行计算:
其中,P为训练图片切块中水肿或增生区域面积占训练图片切块总面积的比值,N为训练图片切块的张数,pi为第i张训练图片切块中水肿或增生区域面积占训练图片切块总面积的比值;
步骤三,将标签为水肿和非水肿切块或增生和非增生切块作为深度卷积网络的训练数据集,最终训练得到深度卷积网络1和深度卷积网络2。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010825928.9A CN112184618A (zh) | 2020-08-17 | 2020-08-17 | 一种基于深度学习的葡萄胎切片图像处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010825928.9A CN112184618A (zh) | 2020-08-17 | 2020-08-17 | 一种基于深度学习的葡萄胎切片图像处理方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112184618A true CN112184618A (zh) | 2021-01-05 |
Family
ID=73919085
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010825928.9A Pending CN112184618A (zh) | 2020-08-17 | 2020-08-17 | 一种基于深度学习的葡萄胎切片图像处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112184618A (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108564567A (zh) * | 2018-03-15 | 2018-09-21 | 中山大学 | 一种超高分辨率病理图像癌变区域可视化方法 |
US20190026897A1 (en) * | 2016-11-07 | 2019-01-24 | Institute Of Automation, Chinese Academy Of Sciences | Brain tumor automatic segmentation method by means of fusion of full convolutional neural network and conditional random field |
CN109363640A (zh) * | 2018-12-04 | 2019-02-22 | 北京贝叶科技有限公司 | 基于皮肤病理图像的识别方法及系统 |
CN109544507A (zh) * | 2018-10-18 | 2019-03-29 | 清影医疗科技(深圳)有限公司 | 一种病理图像处理方法及系统、设备、存储介质 |
CN110378885A (zh) * | 2019-07-19 | 2019-10-25 | 王晓骁 | 一种基于机器学习的wsi病灶区域自动标注方法及系统 |
-
2020
- 2020-08-17 CN CN202010825928.9A patent/CN112184618A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190026897A1 (en) * | 2016-11-07 | 2019-01-24 | Institute Of Automation, Chinese Academy Of Sciences | Brain tumor automatic segmentation method by means of fusion of full convolutional neural network and conditional random field |
CN108564567A (zh) * | 2018-03-15 | 2018-09-21 | 中山大学 | 一种超高分辨率病理图像癌变区域可视化方法 |
CN109544507A (zh) * | 2018-10-18 | 2019-03-29 | 清影医疗科技(深圳)有限公司 | 一种病理图像处理方法及系统、设备、存储介质 |
CN109363640A (zh) * | 2018-12-04 | 2019-02-22 | 北京贝叶科技有限公司 | 基于皮肤病理图像的识别方法及系统 |
CN110378885A (zh) * | 2019-07-19 | 2019-10-25 | 王晓骁 | 一种基于机器学习的wsi病灶区域自动标注方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7072067B2 (ja) | 胚の生存率を推定するためのシステムおよび方法 | |
CN110245657B (zh) | 病理图像相似性检测方法及检测装置 | |
JP5481696B2 (ja) | 受精卵品質評価支援システム、受精卵品質評価支援装置および受精卵品質評価支援方法 | |
WO2022100034A1 (zh) | 基于深度学习的甲状腺细胞病理切片恶性区域的检测方法 | |
WO2021062904A1 (zh) | 基于病理图像的tmb分类方法、系统及tmb分析装置 | |
WO2021139258A1 (zh) | 基于图像识别的细胞识别计数方法、装置和计算机设备 | |
US20180004806A1 (en) | Information processing unit, information processing method, and program | |
Saeedi et al. | Automatic identification of human blastocyst components via texture | |
US8391575B2 (en) | Automatic image analysis and quantification for fluorescence in situ hybridization | |
KR20210145778A (ko) | 조직병리학 슬라이드 이미지로부터 바이오마커를 결정하는 방법 | |
Zhang et al. | Automated semantic segmentation of red blood cells for sickle cell disease | |
CN101403743B (zh) | 一种x型交叠、粘连染色体自动分割方法 | |
JP6336391B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
CN114664413B (zh) | 在治疗前对直肠癌治疗抵抗及其分子机制的预测系统 | |
US8542899B2 (en) | Automatic image analysis and quantification for fluorescence in situ hybridization | |
JPWO2010146802A1 (ja) | 細胞塊の状態判別方法、この方法を用いた画像処理プログラム及び画像処理装置、並びに細胞塊の製造方法 | |
CN107567631A (zh) | 组织样品分析技术 | |
CN112862756A (zh) | 识别甲状腺肿瘤病理图像中病变类型及基因突变的方法 | |
JP2019058073A (ja) | 画像処理装置、細胞認識装置、細胞認識方法および細胞認識プログラム | |
CN1385700A (zh) | 精子荧光染色计算机检测系统 | |
Zhang et al. | Evaluation of a new dataset for visual detection of cervical precancerous lesions | |
Harun et al. | Image segmentation of zona-ablated human blastocysts | |
CN112184618A (zh) | 一种基于深度学习的葡萄胎切片图像处理方法及装置 | |
CN114926486B (zh) | 一种基于多层级改进的甲状腺超声图像智能分割方法 | |
Liu et al. | Faster R-CNN based robust circulating tumor cells detection with improved sensitivity |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |