CN111062953A - 一种超声图像中甲状旁腺增生的识别方法 - Google Patents
一种超声图像中甲状旁腺增生的识别方法 Download PDFInfo
- Publication number
- CN111062953A CN111062953A CN201911304094.0A CN201911304094A CN111062953A CN 111062953 A CN111062953 A CN 111062953A CN 201911304094 A CN201911304094 A CN 201911304094A CN 111062953 A CN111062953 A CN 111062953A
- Authority
- CN
- China
- Prior art keywords
- image
- training
- parathyroid
- cnn
- rpn
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 208000025061 parathyroid hyperplasia Diseases 0.000 title claims abstract description 41
- 238000012549 training Methods 0.000 claims abstract description 47
- 238000002604 ultrasonography Methods 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 12
- 238000013527 convolutional neural network Methods 0.000 claims description 41
- 238000012360 testing method Methods 0.000 claims description 27
- 210000002990 parathyroid gland Anatomy 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 15
- 238000001514 detection method Methods 0.000 claims description 13
- 238000012795 verification Methods 0.000 claims description 11
- 238000013507 mapping Methods 0.000 claims description 9
- 238000002372 labelling Methods 0.000 claims description 8
- 238000012216 screening Methods 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000000849 parathyroid Effects 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 claims description 4
- 230000014759 maintenance of location Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 2
- 201000002980 Hyperparathyroidism Diseases 0.000 abstract description 8
- 238000003384 imaging method Methods 0.000 abstract description 5
- 210000000056 organ Anatomy 0.000 abstract description 4
- 208000005770 Secondary Hyperparathyroidism Diseases 0.000 description 9
- 208000020832 chronic kidney disease Diseases 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 210000001519 tissue Anatomy 0.000 description 4
- 208000022831 chronic renal failure syndrome Diseases 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 208000037157 Azotemia Diseases 0.000 description 1
- 208000031229 Cardiomyopathies Diseases 0.000 description 1
- 208000037147 Hypercalcaemia Diseases 0.000 description 1
- 206010020772 Hypertension Diseases 0.000 description 1
- 208000000913 Kidney Calculi Diseases 0.000 description 1
- 206010029148 Nephrolithiasis Diseases 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002308 calcification Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000000148 hypercalcaemia Effects 0.000 description 1
- 208000030915 hypercalcemia disease Diseases 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 208000017169 kidney disease Diseases 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 210000001370 mediastinum Anatomy 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
- 210000001541 thymus gland Anatomy 0.000 description 1
- 210000001685 thyroid gland Anatomy 0.000 description 1
- 208000009852 uremia Diseases 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本申请公开一种超声图像中甲状旁腺增生的识别方法及系统，方法包括：获取包括超声图像以及相应诊断结果的训练样本；其中，超声图像为对患者的甲状旁腺亢进患病区域进行超声成像后得到的图像；采用混合γ‑CLAHE方法对训练样本进行数据增强处理；利用增强处理后的训练样本输入Faster R‑CNN网络得到训练好网络模型；再将待识别颈部超声图像输入训练好的Faster R‑CNN模型中，即可得到训练后模型输出的识别结果。本发明的识别准确率高，速度快，可从图像识别的角度帮助医生快速找出器官位置，判断器官可能性，为医生提高效率。
Description
技术领域
本发明涉及一种图像识别的技术领域，具体涉及甲状旁腺增生超声图像中的自动识别方法。
背景技术
中国成年人慢性肾脏病患病率约为10-13％，18岁以上人群有1.2亿肾脏病患者，20％患者将转为尿毒症，即慢性肾功能衰竭(Chronic renal failure，CRF)。我国CRF病人总数约138-200万，每年还以10万人次的速度增长。继发性甲状旁腺功能亢进症(Secondaryhyperparathyroidism，SHPT)是慢性肾脏病 (Chronic Kidney Disease，CKD)患者最常见的不良反应之一。SHPT还能导致心肌病、高血压及高血钙症等严重疾病，高钙血症会增加肾结石的风险。因此，SHPT严重影响了患者的生活质量，缩短患者生存期。
当前临床对SHPT的诊断最常用的为超声检查，但超声检查方式存在很多不足：1)由于超声成像利用人体组织反射的声波信号成像，当不同组织的理化特性接近时，相对于其他成像方式，不同组织在超声图像中存在边界不清晰，组织间图像特征差异小，噪声大的问题。2)甲状旁腺数量多，且多发异位。甲状旁腺多成球状，数量不确定，正常的甲状旁腺在超声图像中几乎不可见，但当产生SHPT疾病时，甲状旁腺会变大，变暗，并且可能会游离到不常见的位置如纵膈、胸腺内、气管食管沟、颌下区和甲状腺内，不易被发现。3) 病人个体的差异以及不同病人甲状旁腺亢进发病程度不同，使得不同病人的甲状旁腺在超声图像中的大小，形态规则等不同，且有的病人甲状旁腺伴随有钙化灶，呈点状、团块状甚至环状强回声；还有病人甲状旁腺呈弥漫分散型增生等。
因此甲状旁腺增生的自动识别可帮助影像医生提供甲状旁腺增生的可能位置及疾病发生可能性，使医生可以更方便作进一步的诊断。传统的医疗图像识别大致分为三个步骤：ROI区域分割、ROI区域特征提取和ROI的分类识别。每个步骤都会影响整体的速度和准确性。比如分割环节中，分割的精确度可影响下一步特征提取的结果。而特征提取环节中，采用的是基于先验知识或不同特征的尝试和参数的调整的设计，步骤繁琐。分类识别方法通常是基于传统的统计学得到的，相较于深度学习具有速度慢，精度低等特点。因此，随着计算机硬件的发展，开始利用深度学习技术代替机器学习的方法，深度学习可以极大地减少人为提取特征的过程。CNN的形式已被证明是深度学习中针对图像处理比较好的结构。Faster R-CNN是深度学习中目标检测领域中的主流框架之一。本发明使用一种端到端的Faster R-CNN网络框架来实现甲状旁腺增生超声图像自动检测，省去分割步骤，用卷积神经网络自动提取特征，可减少传统方法的误差，提高系统集成程度，提高识别准确率。
发明内容
本发明的目的在于克服现有技术的缺点与不足，提出了一种甲状旁腺增生超声图像识别方法，不需要手工进行超声图像分割，能够端到端训练网络，并采用数据增强提高识别率。
本发明的目的是采用下述技术方案实现的：
S1、采集可能包含甲状旁腺增生区域的颈部超声图像；
S2、将得到的增强图像进行筛选划分，标注数据集；
S3、采用混合γ-CLAHE方法对训练验证集进行数据增强处理；
S4、训练可识别甲状旁腺增生的Faster-RCNN网络模型，Faster R-CNN 是RPN(Region Proposal Network)和Fast R-CNN模型的组合体，并在部分网络对Fast R-CNN进行了改进，在训练时，交替训练RPN和Fast R-CNN网络；
S5、用训练出来的Faster R-CNN模型测试新数据集，对于一张测试 image，先运行RPN生成region proposals，然后将region proposals投影到conv feature map上经FastR-CNN网络进行后续的操作。
具体地，甲状旁腺增生超声图像识别方法所述步骤S1需使用超声仪对甲状旁腺不同切面进行照射截图，以增加甲状旁腺多尺度的特征。
具体地，甲状旁腺增生超声图像识别方法所属步骤S2包括以下步骤：
S201、对数据集进行筛选，将存在甲状旁腺增生区域的超声图像挑选出来，按比例分为训练集和测试集，将不含甲状旁腺增生区域的超声图像全部当作测试集，即测试集可能含有甲状旁腺增生区域，可能不含该区域。采用LabelImg对含有甲状旁腺增生区域的图像进行标签标注制作 VOC格式的数据集，SHPT区域作为要标注的目标区域，标签为parathyroid，整体数据集称为ptimage。
S202、对所有图片进行不同尺度的缩放、平移和翻转等操作增加训练数据。
具体地，甲状旁腺增生超声图像识别方法所述步骤S3包括以下步骤：
S301、读取RGB图像，转换到HIS空间图像，以下步骤均在I通道进行。
S302、手动选取甲状旁腺增生超声图像中感兴趣的区域ROI(region ofinterest)。
S303、将图像划分为大小相等的不重叠子块，每个子块含有的像素数为 M。
S304、计算直方图h(rk)，表示子块的灰度分布，rk表示灰度级k的归一化值，其中0≤rk≤1，k＝[0，1，2，...，L-1]，L为可能出现的灰度级数。
S305、计算剪切阈值ClipLimit，有
式中NClipLimit是剪切限制线。
S306、对每个子块，使用对应的ClipLimit值对h(rk)进行剪切，将剪切下来的像素数目均匀地重新分配到直方图的各灰度级中，有
avgBIncr＝totalPixels/L (3)
式中，totalPixels是指超过ClipLimit的像素值总数。avgBIncr是指直方图中平均每个灰度级增加的像素数。
重复上述分配过程，直至将所有被剪切的像素点分配完毕。用h＇(rk) 表示h(rk)经重分配处理后的直方图。
S307、对h＇(rk)进行直方图均衡处理，sk表示灰度映射后对应于rk的映射灰度值。进行伽马变换，
gk＝sk γ gk，sk∈[0，1] (4)
S308、根据gk得到每个子块的中心像素点的灰度值，其作为参考点，采用双线性插值技术计算输出图像中所有点的灰度值，用Newimage表示。我们暂时将前面的步骤称为g-C方法。计算Newimage的对比度 cg。
S309、在公式(4)中分别应用五个不同γ(0.7、0.85、1、1.25和 1.5)。并重复步骤S307和S308。这5个值都是经过大量的实践经验选取的，可以显著增强所有ROI图像。步骤S308中计算的对比度分别记为cg1-cg5。求取cg1-cg5中最高的对比度值cgn，并提取相应的γn。对整幅图像作γn的伽马变换，结果图像表示为newpic。
S310、对图像进行基于高反差保留思想的细节增强。首先对原始图像进行高斯模糊处理，得到gaussianBlur。然后令newpic减去gaussianBlur 得到HighPass。即，HighPass＝newpic-gaussianBlur。最后通过在 newpic上叠加HighPass，得到边缘细节增强的甲状旁腺图像。
S311、将结果转换到RGB空间，到此步骤的增强方法称为混合γ- CLAHE方法。
S312、对所有训练验证集图像进行混合γ-CLAHE的增强操作。
具体地，甲状旁腺增生超声图像识别方法所述步骤S4包括以下步骤：
S401、下载公共数据集预训练模型参数，用于RPN网络初始化参数，然后用ptimage数据集中的训练和验证集微调训练RPN；
S402、用同一个预训练模型初始化Fast R-CNN网络参数，使用RPN网络输出的region proposals微调训练Fast R-CNN；
S403、在Fast R-CNN网络微调后，用此网络参数重新初始化RPN，再训练RPN，并按这种反复单独训练的方式进行训练；
S404、Roi Pooling层利用RPN形成固定大小proposals和卷积神经网络的feature map结合，进行全连接操作；
S405、Classification层利用softmax进行具体类别的分类，同时，利用L1 Loss完成bounding box regression回归操作获得物体的精确位置。
具体地，甲状旁腺增生超声图像识别方法所属步骤S5包括以下步骤：
S501、Faster R-CNN首先使用卷积神经网络层提取测试image的feature maps，将feature maps保留用于共享后续RPN层和FC层；
S502、在RPN环节，使用3×3大小的卷积核在特征图上滑动，设定一种 anchor机制，分别以每一个像素点为中心点，然后基于这个中心点生成9 个不同面积大小和9种不同尺寸比例候选区域设置anchor的大小为 128*128，256*256，512*512，宽高比为1∶1，1∶2，2∶1。将每个候选区域分为前景类和背景类，给出可能性，再利用bounding box regression修正anchors获得精确的region proposals；
S503、Roi Pooling层可收集测试image不同的proposals，并生成尺寸大小相同的图像，获取相应的feature maps送入后续FC层判定目标类别；
S504、Classification层利用proposal的feature maps计算proposal的类别，同时再次bounding box regression获得检测框最终的位置。
与现有技术相比，本发明至少具有以下有益效果：
本发明提出一种甲状旁腺增生超声图像识别方法，首先使用超声仪从不同切面采集甲状旁腺增生超声图像，增加不同的方向可以提取多方位的特征，减少误判率；采用CLAHE和伽马变换结合的方法对训练集进行数据增强处理，超声图像本身不是很清楚，增强可使得超声图像的特征更加明显，易于识别；将得到的增强图像进行筛选，标注数据集，训练Faster-RCNN网络模型，进行识别测试，网络调整，和传统的先分割，后人工提取特征再分类的方法比，实现了端到端级别的甲状旁腺增生图像识别，中间过程不再繁琐。
进一步的，数据增强在医生选取图片时，即通过人机交互，指定感兴趣的区域直接增强。引入伽玛变换和高反差保留，增加了b型超声图像的纹理细节。增强后的图像清晰度和视觉质量明显提高，特别是甲状旁腺区域。
进一步的，在数据采集过程，进行多阶段多特征的采集。甲状旁腺亢进病症在超声图像中表现各有不同，有的是早期阶段，表现为大小较小，有的是病情严重的阶段，表现为颜色变亮或形状较不规律或颜色变深，因此我们选用了甲状旁腺增生初期，甲状旁腺增生和带有钙化和囊变的甲状旁腺增生等不同阶段的图像进行训练有助于丰富数据集特征，增大数据量。
进一步的，在进行Faster-RCNN网络训练时，交替训练RPN和Fast R- CNN网络，该训练过程目的就是用包含甲状旁腺特征的ptimage数据集训练一个具有识别甲状旁腺特征能力的Faster R-CNN模型，在训练过程中不停微调来确定网络参数，使模型更成熟。
进一步的，在测试过程，输入一张颈部超声图像，使用训练时得到的 Faster R-CNN网络获得检测框最终的精确位置。该测试过程是将我们在权利要求5训练好的Faster-RCNN模型的应用检测过程，目的在输入一张颈部超声图像，检测甲状旁腺增生区域可能位置，若未给出甲状旁腺增生位置，则说明系统未识别到，需医生进一步判断。
综上所述，本发明的识别准确率高，速度快，可从图像识别的角度帮助医生快速找出器官位置，判断器官可能性，为医生提高效率。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明的方法流程图；
图2是本发明的医学图像预处理流程图；
图3是本发明的医学图像预处理效果对比图；
图4为本发明实施过程中标记单张SHPT位置标签示意图；
图5为本发明使用的Faster R-CNN网络的基本构架；
图6为用本发明进行验证多张SHPT影像的检测结果示意图；
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。
实施例1
图1所示，所述方法包括：
S1、采集1200张甲状旁腺超声图像，注意在采集过程中分别采集横切面及纵切面的甲状旁腺图像。
S2、将得到的增强图像进行筛选划分，标注数据集；
S3、采用CLAHE和伽马变换结合的方法对训练集进行数据增强处理；
S4、训练可识别甲状旁腺增生的Faster-RCNN网络模型，Faster R-CNN 是RPN(Region Proposal Network)和Fast R-CNN模型的组合体，并在部分网络对Fast R-CNN进行了改进，在训练时，交替训练RPN和Fast R-CNN网络；
S5、用训练出来的Faster R-CNN模型测试新数据集，对于一张测试 image，先运行RPN生成region proposals，然后将region proposals投影到conv feature map上经FastR-CNN网络进行后续的操作。
所述步骤S2具体包括：
步骤S201、筛选出不包含甲状旁腺增生的颈部超声图像，其余的图像利用标注工具labelImg获取样本的图片名称、类别、甲状旁腺的左上角坐标、右下角坐标，并且将获取的数据保存到xml格式文件中；
步骤S202、将得到的xml格式文件，制作成VOC2007数据集Annotations 文件中的xml文件；
步骤S203、根据xml格式文件按照训练集：验证集：测试集为8∶1∶1 的比例生成VOC2007数据集中的训练集train.txt、验证集val.txt、训练验证集trainval.txt和测试集test.txt，测试集部分将不包含甲状旁腺增生区域的颈部超声图像增加进去；
步骤S204、安装object_detection文件夹，下载VOC2007数据集放在 object_detection\data目录下，用步骤S302得到的xml文件替换Annotations 文件中的数据，用步骤S303得到的txt数据替换ImageSets文件中的数据，将数据集样本图片放在JPEGImages文件中。
步骤S205、修改Faster R-CNN模型中类别总数相关的参数为1；
步骤S206、根据数据集样本类别修改Faster R-CNN模型的类别标签为parathyroid；
步骤S207、修改数据集路径。
所述步骤S3具体包括：
步骤S301、读取RGB图像，转换到HIS空间图像，以下步骤均在I通道进行。
步骤S302、手动选取甲状旁腺增生超声图像中感兴趣的区域ROI (region ofinterest)。
步骤S303、将图像划分为大小相等的不重叠子块，每个子块含有的像素数为M。
步骤S304、计算直方图h(rk)，表示子块的灰度分布，rk表示灰度级k的归一化值，其中0≤rk≤1，k＝[0，1，2，...，L-1]，L为可能出现的灰度级数。
步骤S305、计算剪切阈值ClipLimit，有
式中NClipLimit是剪切限制线。
步骤S306、对每个子块，使用对应的ClipLimit值对h(rk)进行剪切，将剪切下来的像素数目均匀地重新分配到直方图的各灰度级中，有
avgBIncr＝totalPixels/L (3)
式中，totalPixels是指超过ClipLimit的像素值总数。avgBIncr是指直方图中平均每个灰度级增加的像素数。
重复上述分配过程，直至将所有被剪切的像素点分配完毕。用h＇(rk) 表示h(rk)经重分配处理后的直方图。
步骤S307、对h＇(rk)进行直方图均衡处理，sk表示灰度映射后对应于rk的映射灰度值。进行伽马变换，
gk＝sk γ k，sk∈[0，1] (4)
步骤S308、根据gk得到每个子块的中心像素点的灰度值，其作为参考点，采用双线性插值技术计算输出图像中所有点的灰度值，用 Newimage表示。计算Newimage的对比度cg。
步骤S309、在公式(4)中分别应用五个不同γ(0.7、0.85、1、1.25和 1.5)。并重复步骤S307和S308。这5个值都是经过大量的实践经验选取的，可以显著增强所有ROI图像。步骤S308中计算的对比度分别记为cg1-cg5。求取cg1-cg5中最高的对比度值cgn，并提取相应的γn。对整幅图像作γn的伽马变换，结果图像表示为newpic。
步骤S310、对图像进行基于高反差保留思想的细节增强。首先对原始图像进行高斯模糊处理，得到gaussianBlur。然后令newpic减去 gaussianBlur得到HighPass。即，HighPass＝newpic-gaussianBlur。最后通过在newpic上叠加HighPass，得到边缘细节增强的甲状旁腺图像。
步骤S311、将结果转换到RGB空间，到此步骤的增强方法称为混合γ- CLAHE方法。
步骤S312、对所有训练验证集图片进行混合γ-CLAHE的增强操作。
所述步骤S4具体包括：
步骤S401、下载ImageNet数据集预训练得到的模型参数，将模型参数放在object_detection\data目录下，该模型参数用于初始化；
步骤S402、输入ptimage数据集中训练及验证数据集的图像；
步骤S403、通过卷积神经网络resnet-101提取图像feature maps；
步骤S404、RPN通过分类函数判断anchors是否是检测目标；
步骤S405、通过对检测目标进行位置修正，获取region proposals，同时抛弃面积差距太大的region proposals；
步骤S406、计算RPN的整体损失以便RPN训练，利用如下式子，
其中，i为整数，pi表示第i个anchor预测为目标的概率，
表示第i个anchor对应的ground truth预测概率，
表示预测框的四个参数化坐标的向量，
是与positive anchor 对应的标定框的坐标向量，
表示classification Loss，
表示regression Loss，R表示Smooth L1函数，Ncls表示classification项的归一化值为mini-batch的大小，Nreg表示regression项归一化为anchor位置的数量，L({pi}，{ti})表示损失函数；
步骤S407、将region proposals映射到resnet-101的最后一层conv featuremaps上：
步骤S408、通过RoI Pooling层使得每个proposals生成尺寸大小相同的featuremaps；
步骤S409、获取RoI Pooling层生成的feature maps，进行classification 并输出类别的概率；
步骤S410、再次进行位置精修，获取目标检测框；
步骤S411、根据训练结果调整学习率和迭代次数，重新训练，得到甲状旁腺增生检测模型。
所述步骤S5具体包括：
步骤S501、输入测试图像。
步骤S502、利用resnet-101提取测试图像的feature maps；
步骤S503、使用滑动窗口在feature maps上滑动，将其映射到一个维度更低的图像上；
步骤S504、利用RPN在每个滑动窗口上生成多个region proposals；
步骤S505、将region proposals映射到resnet-101最后一层conv feature maps上：
步骤S506、利用RoI Pooling层使得每个proposals生成尺寸大小相同的特征图；
步骤S507、根据feature maps进行classification并输出检测框。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (6)
1.一种甲状旁腺增生超声图像的识别方法，其特征在于，
S1、采集可能包含甲状旁腺增生区域的颈部超声图像；
S2、将得到的增强图像进行筛选划分，标注数据集；
S3、采用混合γ-CLAHE方法对训练验证集进行数据增强处理；
S4、训练可识别甲状旁腺增生的Faster-RCNN网络模型，Faster R-CNN是RPN(RegionProposal Network)和Fast R-CNN模型的组合体，并在部分网络对Fast R-CNN进行了改进，在训练时，交替训练RPN和Fast R-CNN网络；
S5、用训练出来的Faster R-CNN模型测试新数据集，对于一张测试
image，先运行RPN生成region proposals，然后将region proposals投影到convfeature map上经Fast R-CNN网络进行后续的操作。
2.根据权利要求1所述的一种甲状旁腺增生超声图像的识别方法，其特征在于，步骤S1采集数据需使用超声仪对甲状旁腺不同切面进行照射截图，以增加甲状旁腺多尺度的特征。
3.根据权利要求1所述的一种甲状旁腺增生超声图像的识别方法，其特征在于，步骤S2将得到的增强图像进行筛选划分，标注数据集的处理步骤如下：
S201、对数据集进行筛选，将存在甲状旁腺增生区域的超声图像挑选出来，按比例分为训练集和测试集，将不含甲状旁腺增生区域的超声图像全部当作测试集，即测试集可能含有甲状旁腺增生区域，可能不含该区域。采用LabelImg对含有甲状旁腺增生区域的图像进行标签标注制作VOC格式的数据集，SHPT区域作为要标注的目标区域，标签为parathyroid，整体数据集称为ptimage。
S202、对所有图片进行不同尺度的缩放、平移和翻转等操作增加训练数据。
4.根据权利要求1所述的一种甲状旁腺增生超声图像的识别方法，其特征在于，步骤S3采用CLAHE和伽马变换结合的方法对训练验证集进行数据增强处理的步骤如下：
S301、读取RGB图像，转换到HIS空间图像，以下步骤均在I通道进行。
S302、手动选取甲状旁腺增生超声图像中感兴趣的区域ROI(region of interest)。
S303、将输入图像划分为大小相等的不重叠子块，每个子块含有的像素数为M。
S304、计算直方图h(rk)，表示子块的灰度分布，rk表示灰度级k的归一化值，其中0≤rk≤1，k＝[0，1，2，...，L-1]，L为可能出现的灰度级数。
S305、计算剪切阈值ClipLimit。
S306、对每个子块，使用对应的ClipLimit值对h(rk)进行剪切，将剪切下来的像素数目均匀地重新分配到直方图的各灰度级中。重复分配过程，直至将所有被剪切的像素点分配完毕。
S307、对h＇(rk)进行直方图均衡处理，用sk表示灰度映射后对应于rk的映射灰度值。对sk进行伽马变换，得到gk。
S308、根据gk得到每个子块的中心像素点的灰度值，其作为参考点，采用双线性插值技术计算输出图像中所有点的灰度值，用Newimage表示。我们暂时将前面的步骤称为g-C方法。计算Newimage的对比度cg。
S309、在公式(4)中分别应用不同γ。并重复步骤S307和S308。步骤S308中计算的对比度记为cg。求取cg中最高的对比度值cgn，并提取相应的γn。对整幅图像作γ＝γn的伽马变换，结果图像表示为newpic。
S310、对图像进行基于高反差保留思想的细节增强。首先对原始图像进行高斯模糊处理，得到gaussianBlur。然后令newpic减去gaussianBlur得到HighPass。即，HighPass＝newpic-gaussianBlur。最后通过在newpic上叠加HighPass，得到边缘细节增强的甲状旁腺图像。
S311、将结果转换到RGB空间，到此步骤的增强方法称为混合γ-CLAHE方法。
S312、对所有训练验证集图片进行混合γ-CLAHE方法的增强操作。
5.根据权利要求1所述的一种甲状旁腺增生超声图像的识别方法，其特征在于，步骤S4具体为：
S401、下载公共数据集预训练模型参数，用于RPN网络初始化参数，然后用ptimage数据集衷的训练和验证集微调训练RPN；
S402、用同一个预训练模型初始化Fast R-CNN网络参数，使用RPN网络输出的regionproposals微调训练Fast R-CNN；
S403、在FastR-CNN网络微调后，用此网络参数重新初始化RPN，再训练RPN，并按这种反复单独训练的方式进行训练；
S404、Roi Pooling层利用RPN形成固定大小proposals和卷积神经网络的feature map结合，进行全连接操作；
S405、Classification层利用softmax进行具体类别的分类，同时，利用L1Loss完成bounding box regression回归操作获得物体的精确位置。
6.根据权利要求1所述的一种甲状旁腺增生超声图像的识别方法，其特征在于，步骤S5具体为：
S501、Faster R-CNN首先使用卷积神经网络层提取测试image的featuremaps，将feature maps保留用于共享后续RPN层和FC层；
S502、在RPN环节，使用3×3大小的卷积核在特征图上滑动，设定一种anchor机制，分别以每一个像素点为中心点，然后基于这个中心点生成9个不同面积大小和9种不同尺寸比例候选区域设置anchor的大小为128*128，256*256，512*512，宽高比为1∶1，1∶2，2∶1。将每个候选区域分为前景类和背景类，给出可能性，再利用bounding box regression修正anchors获得精确的region proposals；
S503、Roi Pooling层可收集测试image不同的proposals，并生成尺寸大小相同的图像，获取相应的feature maps送入后续FC层判定目标类别；
S504、Classification层利用proposal的feature maps计算proposal的类别，同时再次bounding box regression获得检测框最终的位置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911304094.0A CN111062953A (zh) | 2019-12-17 | 2019-12-17 | 一种超声图像中甲状旁腺增生的识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911304094.0A CN111062953A (zh) | 2019-12-17 | 2019-12-17 | 一种超声图像中甲状旁腺增生的识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111062953A true CN111062953A (zh) | 2020-04-24 |
Family
ID=70302061
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911304094.0A Pending CN111062953A (zh) | 2019-12-17 | 2019-12-17 | 一种超声图像中甲状旁腺增生的识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111062953A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112634174A (zh) * | 2020-12-31 | 2021-04-09 | 上海明略人工智能(集团)有限公司 | 一种图像表示学习方法及系统 |
| CN113158966A (zh) * | 2021-05-08 | 2021-07-23 | 浙江浩腾电子科技股份有限公司 | 基于深度学习的非机动车骑车带人行为识别的检测方法 |
| CN116468727A (zh) * | 2023-06-19 | 2023-07-21 | 湖南科迈森医疗科技有限公司 | 基于腔镜图像识别辅助判断子宫内膜高危增生的方法及系统 |
| CN117547686A (zh) * | 2024-01-12 | 2024-02-13 | 广东省人民医院 | 一种肉毒毒素注射的超声引导方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106877237A (zh) * | 2017-03-16 | 2017-06-20 | 天津大学 | 一种基于航拍图像的检测输电线路中绝缘子缺失的方法 |
| CN107451615A (zh) * | 2017-08-01 | 2017-12-08 | 广东工业大学 | 基于Faster RCNN的甲状腺乳头状癌超声图像识别方法及系统 |
| CN108509978A (zh) * | 2018-02-28 | 2018-09-07 | 中南大学 | 基于cnn的多级特征融合的多类目标检测方法及模型 |
| CN108734694A (zh) * | 2018-04-09 | 2018-11-02 | 华南农业大学 | 基于faster r-cnn的甲状腺肿瘤超声图像自动识别方法 |
| CN109191442A (zh) * | 2018-08-28 | 2019-01-11 | 深圳大学 | 超声图像评估及筛选方法和装置 |
| CN110287998A (zh) * | 2019-05-28 | 2019-09-27 | 浙江工业大学 | 一种基于Faster-RCNN的科技文献图片提取方法 |
-
2019
- 2019-12-17 CN CN201911304094.0A patent/CN111062953A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106877237A (zh) * | 2017-03-16 | 2017-06-20 | 天津大学 | 一种基于航拍图像的检测输电线路中绝缘子缺失的方法 |
| CN107451615A (zh) * | 2017-08-01 | 2017-12-08 | 广东工业大学 | 基于Faster RCNN的甲状腺乳头状癌超声图像识别方法及系统 |
| CN108509978A (zh) * | 2018-02-28 | 2018-09-07 | 中南大学 | 基于cnn的多级特征融合的多类目标检测方法及模型 |
| CN108734694A (zh) * | 2018-04-09 | 2018-11-02 | 华南农业大学 | 基于faster r-cnn的甲状腺肿瘤超声图像自动识别方法 |
| CN109191442A (zh) * | 2018-08-28 | 2019-01-11 | 深圳大学 | 超声图像评估及筛选方法和装置 |
| CN110287998A (zh) * | 2019-05-28 | 2019-09-27 | 浙江工业大学 | 一种基于Faster-RCNN的科技文献图片提取方法 |
Non-Patent Citations (3)
| Title |
|---|
| RUIZHI ZHENG 等: "A Hybrid Contrast Limited Adaptive Histogram Equalization (CLAHE) for Parathyroid Ultrasonic Image Enhancement", 《2019 CHINESE CONTROL CONFERENCE (CCC)》 * |
| SHAOQING REN 等: "Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 * |
| 王德宇 等: "基于深度学习的车辆检测方法", 《计算机与现代化》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112634174A (zh) * | 2020-12-31 | 2021-04-09 | 上海明略人工智能(集团)有限公司 | 一种图像表示学习方法及系统 |
| CN112634174B (zh) * | 2020-12-31 | 2023-12-12 | 上海明略人工智能(集团)有限公司 | 一种图像表示学习方法及系统 |
| CN113158966A (zh) * | 2021-05-08 | 2021-07-23 | 浙江浩腾电子科技股份有限公司 | 基于深度学习的非机动车骑车带人行为识别的检测方法 |
| CN116468727A (zh) * | 2023-06-19 | 2023-07-21 | 湖南科迈森医疗科技有限公司 | 基于腔镜图像识别辅助判断子宫内膜高危增生的方法及系统 |
| CN116468727B (zh) * | 2023-06-19 | 2023-12-12 | 湖南科迈森医疗科技有限公司 | 基于腔镜图像识别辅助判断子宫内膜高危增生的方法及系统 |
| CN117547686A (zh) * | 2024-01-12 | 2024-02-13 | 广东省人民医院 | 一种肉毒毒素注射的超声引导方法及系统 |
| CN117547686B (zh) * | 2024-01-12 | 2024-03-19 | 广东省人民医院 | 一种肉毒毒素注射的超声引导方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108665456B (zh) | 基于人工智能的乳腺超声病灶区域实时标注的方法及系统 | |
| JP6999812B2 (ja) | 骨年齢評価と身長予測モデルの確立方法、そのシステム及びその予測方法 | |
| CN109741346B (zh) | 感兴趣区域提取方法、装置、设备及存储介质 | |
| CN110458883B (zh) | 一种医疗影像的处理系统、方法、装置和设备 | |
| CN111062953A (zh) | 一种超声图像中甲状旁腺增生的识别方法 | |
| CN111325739B (zh) | 肺部病灶检测的方法及装置，和图像检测模型的训练方法 | |
| CN111862044B (zh) | 超声图像处理方法、装置、计算机设备和存储介质 | |
| CN109544526B (zh) | 一种慢性萎缩性胃炎图像识别系统、装置和方法 | |
| CN109523535B (zh) | 一种病变图像的预处理方法 | |
| CN110599448A (zh) | 基于MaskScoring R-CNN网络的迁移学习肺部病变组织检测系统 | |
| CN110930416A (zh) | 一种基于u型网络的mri图像前列腺分割方法 | |
| Wu et al. | U-GAN: Generative adversarial networks with U-Net for retinal vessel segmentation | |
| CN112132166B (zh) | 一种数字细胞病理图像智能分析方法、系统及装置 | |
| CN111275686B (zh) | 用于人工神经网络训练的医学图像数据的生成方法及装置 | |
| CN110991254B (zh) | 超声图像视频分类预测方法及系统 | |
| CN113139977B (zh) | 一种基于YOLO和U-Net的口腔曲断影像智齿分割方法 | |
| CN113706564A (zh) | 基于多种监督方式的睑板腺分割网络的训练方法及装置 | |
| CN110021019B (zh) | 一种aga临床图像的ai辅助毛发的粗细分布分析方法 | |
| CN110880177A (zh) | 一种图像识别方法及装置 | |
| CN111524144A (zh) | 一种基于GAN和Unet网络的肺结节智能诊断方法 | |
| CN112820399A (zh) | 自动诊断甲状腺结节良恶性的方法及装置 | |
| Low et al. | Automating vitiligo skin lesion segmentation using convolutional neural networks | |
| CN111383759A (zh) | 一种肺炎自动诊断系统 | |
| CN112287970A (zh) | 基于多视角多模态的乳腺能谱图像分类系统、设备及介质 | |
| CN113643297B (zh) | 一种基于神经网络的计算机辅助牙龄分析方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200424 |
|
| WD01 | Invention patent application deemed withdrawn after publication |