CN117710325A - 内镜甲状腺手术中甲状旁腺自动识别及追踪方法及系统 - Google Patents
内镜甲状腺手术中甲状旁腺自动识别及追踪方法及系统 Download PDFInfo
- Publication number
- CN117710325A CN117710325A CN202311729418.1A CN202311729418A CN117710325A CN 117710325 A CN117710325 A CN 117710325A CN 202311729418 A CN202311729418 A CN 202311729418A CN 117710325 A CN117710325 A CN 117710325A
- Authority
- CN
- China
- Prior art keywords
- image
- endoscopic
- model
- gray
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000002990 parathyroid gland Anatomy 0.000 title claims abstract description 67
- 238000000034 method Methods 0.000 title claims abstract description 48
- 210000001685 thyroid gland Anatomy 0.000 title claims abstract description 37
- 238000001356 surgical procedure Methods 0.000 title claims abstract description 34
- 238000012549 training Methods 0.000 claims abstract description 72
- 238000011161 development Methods 0.000 claims abstract description 26
- 238000002372 labelling Methods 0.000 claims abstract description 7
- 238000003062 neural network model Methods 0.000 claims description 40
- 238000001514 detection method Methods 0.000 claims description 27
- 238000012545 processing Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 10
- 230000000849 parathyroid Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000002790 cross-validation Methods 0.000 claims description 7
- 238000012360 testing method Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000012795 verification Methods 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000008439 repair process Effects 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 claims 1
- 238000012800 visualization Methods 0.000 claims 1
- 208000027418 Wounds and injury Diseases 0.000 abstract description 4
- 230000006378 damage Effects 0.000 abstract description 4
- 208000014674 injury Diseases 0.000 abstract description 4
- 238000004590 computer program Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 7
- 230000002980 postoperative effect Effects 0.000 description 4
- 238000012216 screening Methods 0.000 description 4
- 208000024770 Thyroid neoplasm Diseases 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000002674 endoscopic surgery Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- OYPRJOBELJOOCE-UHFFFAOYSA-N Calcium Chemical compound [Ca] OYPRJOBELJOOCE-UHFFFAOYSA-N 0.000 description 2
- 229930003316 Vitamin D Natural products 0.000 description 2
- QYSXJUFSXHHAJI-XFEUOLMDSA-N Vitamin D3 Natural products C1(/[C@@H]2CC[C@@H]([C@]2(CCC1)C)[C@H](C)CCCC(C)C)=C/C=C1\C[C@@H](O)CCC1=C QYSXJUFSXHHAJI-XFEUOLMDSA-N 0.000 description 2
- 229910052791 calcium Inorganic materials 0.000 description 2
- 239000011575 calcium Substances 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 201000002510 thyroid cancer Diseases 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 235000019166 vitamin D Nutrition 0.000 description 2
- 239000011710 vitamin D Substances 0.000 description 2
- 150000003710 vitamin D derivatives Chemical class 0.000 description 2
- 229940046008 vitamin d Drugs 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 206010010904 Convulsion Diseases 0.000 description 1
- 206010012289 Dementia Diseases 0.000 description 1
- 206010013700 Drug hypersensitivity Diseases 0.000 description 1
- 208000013038 Hypocalcemia Diseases 0.000 description 1
- 208000000038 Hypoparathyroidism Diseases 0.000 description 1
- 208000000913 Kidney Calculi Diseases 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 206010029148 Nephrolithiasis Diseases 0.000 description 1
- 208000030714 Recurrent Laryngeal Nerve injury Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000004097 bone metabolism Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000036461 convulsion Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000008021 deposition Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 201000005311 drug allergy Diseases 0.000 description 1
- 230000004064 dysfunction Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000002682 general surgery Methods 0.000 description 1
- 230000000705 hypocalcaemia Effects 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000036210 malignancy Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 231100000862 numbness Toxicity 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000009469 supplementation Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
- 208000013076 thyroid tumor Diseases 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
- 238000011277 treatment modality Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及内镜甲状腺手术中甲状旁腺自动识别及追踪方法，包括以下：获取于白光模式下的内镜甲状腺术中图像；对所述内镜甲状腺术中图像进行轮廓提取并对提取到的轮廓中存在显影不清晰情况的像素点进行像素值调整得到最终的轮廓图像；基于最终的轮廓图像对对应的内镜甲状腺术中图像中的轮廓进行标注得到以轮廓区域为ROI区域的影像增强的内镜甲状腺术中图像；基于白光模式下的内镜甲状腺术中图像与影像增强的内镜甲状腺术中图像对预构建的识别模型进行训练得到训练后的识别模型；通过训练后的识别模型对所述实时内镜视频进行甲状旁腺的识别与追踪。本发明能够自动且准确识别甲状旁腺并实时追踪，为降低甲状旁腺损伤的发生率做出辅助贡献。
Description
技术领域
本发明涉及人工智能与医疗相关技术领域，尤其涉及内镜甲状腺手术中甲状旁腺自动识别及追踪方法及系统。
背景技术
甲状腺肿瘤是头颈部最常见的恶性肿瘤，其中手术治疗是最主要的治疗手段。甲状腺癌手术的主要并发症包括甲状旁腺损伤和喉返神经损伤，目前，国内外相关文献报道，甲状腺术后暂时性和永久性甲状旁腺功能减退的发生率分别为14％～60％和4％～11％。在临床上，甲状腺癌术后的甲状旁腺功能减退的患者，需要补充钙剂及维生素D，改善低钙血症及其引发的症状。钙剂和/或维生素D长期过量服用或补充不足，可导致肾结石、肾钙质沉积症、肢体麻木、抽搐、骨代谢异常，甚至抑郁、焦虑、痴呆等并发症，严重影响患者的生存质量。术中准确识别并原位保留甲状旁腺，可有效降低术后甲状旁腺功能低下的发生率。
目前，甲状旁腺识别包括肉眼识别法、正负显影法、自体荧光技术等方法，以上方法存在准确性不高、显影剂渗漏影响术区操作、药物过敏、需要特殊设备等缺点。
因此当今市场需要在进行内镜甲状腺手术过程中，实时监测并动态追踪甲状旁腺的技术和设备，以降低术后甲状旁腺功能低下的发生率。
发明内容
本发明的目的是为了至少解决现有技术的不足之一，提供内镜甲状腺手术中甲状旁腺自动识别及追踪方法及系统。
为了实现上述目的，本发明采用以下的技术方案：
具体的，提出内镜甲状腺手术中甲状旁腺自动识别及追踪方法，包括以下：
获取于白光模式下的内镜甲状腺术中图像；
对所述内镜甲状腺术中图像进行轮廓提取操作得到灰度下的内镜甲状腺术中图像的轮廓图像；
对所述轮廓图像进行图像修复得到修复后的轮廓图像；
判断修复后的所述轮廓图像中的像素点是否存在显影不清晰情况，若是，则对存在显影不清晰情况的像素点进行像素值调整得到最终的轮廓图像；
基于最终的轮廓图像对对应的内镜甲状腺术中图像中的轮廓进行标注得到以轮廓区域为ROI区域的影像增强的内镜甲状腺术中图像；
基于白光模式下的内镜甲状腺术中图像与影像增强的内镜甲状腺术中图像对预构建的识别模型进行训练得到训练后的识别模型；
获取手术过程中实时内镜视频；
通过训练后的识别模型对所述实时内镜视频进行甲状旁腺的识别与追踪。
进一步，具体的，基于白光模式下的内镜甲状腺术中图像与影像增强的内镜甲状腺术中图像对预构建的识别模型进行训练得到训练后的识别模型，包括，
对白光模式下的内镜甲状腺术中图像进行数据预处理得到标注后的第一训练数据，对影像增强的内镜甲状腺术中图像进行所述数据预处理得到标注后的第二训练数据；
通过所述第一训练数据以及第二训练数据对预构建的神经网络模型进行训练得到训练后的识别模型；
于训练后的识别模型中嵌入视频流处理模块得到最终的识别模型，所述视频流处理模块用于捕捉视频序列，将视频序列中的每一帧输入到训练后的识别模型中，得到目标检测结果，根据目标检测结果，在当前帧中对甲状旁腺进行跟踪，根据当前帧中甲状旁腺的位置信息，更新甲状旁腺的状态，在视频序列中实时处理每一帧的图像，不断更新甲状旁腺的位置信息，实现对甲状旁腺的动态追踪。
进一步，具体的，判断修复后的所述轮廓图像中的像素点是否存在显影不清晰情况，包括，
针对每一个轮廓图像，计算对于当前轮廓图像中的某一个像素点的不清晰阈值GrayTH，GrayTH的计算方式为，将当前像素点的邻域像素点进行取平均值操作得到邻域像素平均值，以A倍的邻域像素平均值作为GrayTH，其中A为缩放系数，通过人为设定得到；
判断当前像素点的灰度值是否大于GrayTH，若是则判断当前像素点不存在显影不清晰情况，若否则判断当前像素点存在显影不清晰情况。
进一步，具体的，对存在显影不清晰情况的像素点进行像素值调整，包括，
计算存在显影不清晰情况的像素点所存在的轮廓图像中所有像素点的最大灰度值Graymax、最小灰度值Graymin以及平均灰度值Grayavg；
判断存在显影不清晰情况的像素点的灰度值Graypresent与[Graymin，Graymax]的所属关系，
若Graypresent∈[Graymin，Grayavg]，则有
若Graypresent∈[Grayavg，Graymax]，则有
其中，Graypresent ，为调整后存在显影不清晰情况的像素点的灰度值。
进一步，所述方法还包括，在划分得到第一训练数据以及第二训练数据时，使用分层抽样及交叉验证方法，确保同一个病例的多张图片不会同时在训练集和测试集出现。
进一步，所述方法还包括，在将所述第一训练数据以及第二训练数据输入模型训练前，将所述第一训练数据以及第二训练数据存储在适应模型的文件格式中，并将对应的标注信息文件转换成模型所需格式，且将所述第一训练数据以及第二训练数据中的图像进行标准化归一化处理。
进一步，具体的，预构建的神经网络模型包括，选取适用于甲状旁腺识别的神经网络模型作为初始神经网络模型，于所述初始神经网络模型中分别构建针对白光模式下的内镜甲状腺术中图像的第一目标检测模型以及影像增强后的图像的第二目标检测模型，将所述第一目标检测模型以及第二目标检测模型的特征层进行融合，去除所述初始神经网络模型中最后的全连接层，并替换为输出个数为2类型种数的全连接层，且随机初始化该输出个数为类型种数的全连接层的权重，最终得到预构建的神经网络模型。
进一步，具体的，对预构建的神经网络模型进行训练的过程包括，
训练过程中采用随机梯度下降法对模型进行优化，在多轮训练中，模型通过输入图像，进行前向传播计算得到预测结果，然后计算预测结果与真实标签之间的误差，通过反向传播更新模型参数，以优化模型性能。
进一步，具体的，通过准确率评估训练得到的神经网络模型在K折交叉验证中的性能，准确率最高的神经网络模型即为最优神经网络模型；
再对最优神经网络模型进行测试，根据模型识别甲状旁腺的情况绘制最优神经网络模型的ROC曲线图，并将参与验证的医生的真阳性率、假阳性率绘制于ROC曲线图中的对应位置，若最优神经网络模型的ROC曲线未完全包围医生的结果点，则对模型进行调整直到最优神经网络模型的ROC曲线完全包围医生的结果点，得到训练后的识别模型。
本发明还提出内镜甲状腺手术中甲状旁腺自动识别及追踪系统，包括以下：
数据获取模块，用于获取于白光模式下的内镜甲状腺术中图像；
轮廓图像提取模块，用于对所述内镜甲状腺术中图像进行轮廓提取操作得到灰度下的内镜甲状腺术中图像的轮廓图像；
图像修复模块，用于对所述轮廓图像进行图像修复得到修复后的轮廓图像；
像素值调整模块，用于判断修复后的所述轮廓图像中的像素点是否存在显影不清晰情况，若是，则对存在显影不清晰情况的像素点进行像素值调整得到最终的轮廓图像；
影响增强图像数据获取模块，用于基于最终的轮廓图像对对应的内镜甲状腺术中图像中的轮廓进行标注得到以轮廓区域为ROI区域的影像增强的内镜甲状腺术中图像；
识别模型训练模块，用于基于白光模式下的内镜甲状腺术中图像与影像增强的内镜甲状腺术中图像对预构建的识别模型进行训练得到训练后的识别模型；
实时内镜视频获取模块，用于获取手术过程中实时内镜视频；
识别模块，用于通过训练后的识别模型对所述实时内镜视频进行甲状旁腺的识别与追踪。
本发明的有益效果为：
本发明提供的内镜甲状腺手术中甲状旁腺自动识别及追踪方法，基于先进的深度学习目标检测框架，在获取到白光模式下的内镜甲状腺术中图像后，对其进行轮廓提取并将提取轮廓中像素不清晰的位置进行调整，进而凸显甲状旁腺，再到原图像中进行标注能够得到以轮廓区域为ROI区域的影像增强的内镜甲状腺术中图像，这样一来在进行识别模型训练时，就能够使模型对甲状旁腺的关注度更高，一方面加速模型的训练收敛过程，另一方面提高模型的识别准确度。通过这一技术方案，系统能自动识别并实时追踪甲状旁腺的位置，具备以下优势：
1.准确率高、稳定性好：本系统采用深度学习目标检测框架，通过对内镜甲状腺手术中的白光模式和影像增强模式的图片进行模型训练，能够自动识别甲状旁腺并实时追踪，提高了甲状旁腺识别的准确率和稳定性。
2.适用范围广：本系统适应不同类型的内镜系统和手术操作，具有较高的通用性，可广泛应用于医院普通外科、头颈外科等多个临床领域。
3.改善患者的术后生活质量：通过降低甲状旁腺损伤的发生率，本系统可以提高手术的安全性和准确性，改善患者的术后生活质量。
附图说明
通过对结合附图所示出的实施方式进行详细说明，本公开的上述以及其他特征将更加明显，本公开附图中相同的参考标号表示相同或相似的输出电压，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，在附图中：
图1所示为本发明内镜甲状腺手术中甲状旁腺自动识别及追踪方法的流程图；
图2所示为本发明内镜甲状腺手术中甲状旁腺自动识别及追踪方法中所涉及到的未加入视频流处理模块的神经网络模型的结构原理图。
具体实施方式
以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本发明的目的、方案和效果。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。附图中各处使用的相同的附图标记指示相同或相似的部分。
参照图1，实施例1，本发明提出内镜甲状腺手术中甲状旁腺自动识别及追踪方法，包括以下：
步骤110、获取于白光模式下的内镜甲状腺术中图像；
步骤120、对所述内镜甲状腺术中图像进行轮廓提取操作得到灰度下的内镜甲状腺术中图像的轮廓图像；
步骤130、对所述轮廓图像进行图像修复得到修复后的轮廓图像；
步骤140、判断修复后的所述轮廓图像中的像素点是否存在显影不清晰情况，若是，则对存在显影不清晰情况的像素点进行像素值调整得到最终的轮廓图像；
步骤150、基于最终的轮廓图像对对应的内镜甲状腺术中图像中的轮廓进行标注得到以轮廓区域为ROI区域的影像增强的内镜甲状腺术中图像；
步骤160、基于白光模式下的内镜甲状腺术中图像与影像增强的内镜甲状腺术中图像对预构建的识别模型进行训练得到训练后的识别模型；
步骤170、获取手术过程中实时内镜视频；
步骤180、通过训练后的识别模型对所述实时内镜视频进行甲状旁腺的识别与追踪。
在本实施例1中，基于先进的深度学习目标检测框架，在获取到白光模式下的内镜甲状腺术中图像后，对其进行轮廓提取并将提取轮廓中像素不清晰的位置进行调整，进而凸显甲状旁腺，再到原图像中进行标注能够得到以轮廓区域为ROI区域的影像增强的内镜甲状腺术中图像，这样一来在进行识别模型训练时，就能够使模型对甲状旁腺的关注度更高，一方面加速模型的训练收敛过程，另一方面提高模型的识别准确度。
具体的，在进行实施时，本发明包括如下三大过程，
1.数据采集与预处理
为建立内镜甲状腺手术中甲状旁腺的自动识别及实时追踪的手术辅助系统，需采集与预处理内镜甲状腺手术中的白光模式和影像增强模式的图片，以及相应的甲状旁腺位置信息，用于模型的训练和测试。
(1)收集甲状腺内镜手术图片：依据任务目标，有针对性地收集白光模式和影像增强模式的甲状腺手术图片。白光模式能提供自然真实的图像信息，有助于模型学习真实世界中的视觉特征；而影像增强模式则通过图像增强处理突显目标特定特征，有助于模型更有效地捕捉目标关键特征；
(2)数据标注与增强：将收集的甲状腺内镜手术图片按是否包含甲状旁腺分为阳性图片、阴性图片两类，并对阳性图片中的神经进行标注。此外，应用数据增强技术，通过图像旋转、平移、缩放等操作，增加数据集多样性，提高模型泛化能力；
(3)图像质量筛选：对所有图片进行质量筛选，去除模糊、噪点严重等质量较差的图片，以保证数据集的准确性和可靠性。引入图像质量评价算法，对图像进行自动筛选，提高筛选效率；
(4)数据划分与交叉验证：首先将标注后的白光模式和影像增强模式的图片分开，划分出两份训练数据。在具体划分过程中，使用分层抽样及交叉验证方法，确保同一个病例的多张图片不会同时在训练集和测试集出现。即该病例包含的所有图片，要么全部分配给训练集，要么全部分配给测试集，以避免数据泄露和评估结果的偏差；
(5)数据格式转化与标准化：将标注后的数据集存储在适当的文件格式中，并将对应的标注信息文件转换成模型所需格式。对图像进行预处理，包括图像标准化、归一化等操作，以降低模型训练难度，提高收敛速度。
2.模型训练与优化
采用深度学习目标检测框架，利用白光模式和影像增强模式的图片进行训练，使模型具备高效的甲状旁腺识别能力。具体过程包括：
(1)加载预训练模型：加载适用于本任务的预训练神经网络模型，如YOLO V7(仅以YOLO V7为例，实际应用中可选用其他适用的目标检测框架)；
(2)模型构建与融合：结合图2，分别构建针对白光模式图片和影像增强模式图片的目标检测模型，再将它们的特征层进行融合。去除神经网络模型中最后的全连接层，替换为输出个数为2类型种数的全连接层，并随机初始化该输出个数为类型种数的全连接层的权重。最终获得用于甲状腺内镜图像目标检测的深度学习神经网络模型；
(3)模型训练与优化：分别对划分的训练集进行训练，训练过程中采用随机梯度下降法对模型进行优化。在多轮训练中，模型通过输入图像，进行前向传播计算得到预测结果，然后计算预测结果与真实标签之间的误差，通过反向传播更新模型参数，以优化模型性能。训练数据中的影像增强模式图片用于增加训练集样本多样性，提高模型泛化能力；
(4)模型验证与选择：使用准确率评估训练得到的神经网络模型在K折交叉验证中的性能，准确率最高的神经网络模型即为最优神经网络模型；
(5)模型评估与比较：根据模型识别甲状旁腺的情况绘制最优神经网络模型的ROC曲线图，并将参与验证的医生的真阳性率、假阳性率绘制于ROC曲线图中的对应位置。若最优神经网络模型的ROC曲线包围医生的结果点，则说明该最优神经网络模型能够达到或超过人类专家的表现，具备在实际内镜手术中识别甲状旁腺的能力；
(6)动态追踪算法：在模型中嵌入视频流处理模块，将视频序列中的每一帧输入到深度学习网络中，提取高层抽象特征表示，对图像进行前向传播计算，得到目标检测结果，包括甲状旁腺的阳性或阴性判断。根据目标检测结果，在当前帧中对目标对象进行跟踪，根据当前帧中目标对象的位置信息，更新目标对象的状态，从而提高下一帧的检测准确性。在视频序列中实时处理每一帧的图像，不断更新目标对象的位置信息，实现对目标对象的动态追踪；
(7)模型集成与应用：将优化后的模型和动态追踪算法一起嵌入内镜手术辅助系统中，为医生提供实时的甲状旁腺识别和追踪功能，从而提高手术的安全性和准确性。
3.系统实现与应用
(1)模型部署：将训练好的深度学习模型嵌入内镜手术辅助系统中，实现甲状旁腺的自动识别和实时追踪功能；
(2)数据获取与处理：在甲状旁腺进入内镜视野时，系统的视频流处理模块对实时视频进行处理，将视频序列中的每一帧输入到深度学习网络中进行检测；
(3)目标检测与优化：将待检测的图像或视频流输入模型中，模型输出检测到的目标位置和类别信息；同时，根据实际需求对模型输出的目标检测结果进行后处理，如去除重复检测、筛选置信度较低的目标等；
(4)目标追踪与展示：系统自动识别甲状旁腺位置，并在屏幕上标出甲状旁腺的位置，实时跟踪甲状旁腺的移动，以便术者及时调整手术器械，保护甲状旁腺，降低甲状旁腺损伤的发生率。
作为本发明的优选实施方式，具体的，判断修复后的所述轮廓图像中的像素点是否存在显影不清晰情况，包括，
针对每一个轮廓图像，计算对于当前轮廓图像中的某一个像素点的不清晰阈值GrayTH，GrayTH的计算方式为，将当前像素点的邻域像素点进行取平均值操作得到邻域像素平均值，其中邻域指的是像素8邻域，以A倍的邻域像素平均值作为GrayTH，其中A为缩放系数，通过人为设定得到；
判断当前像素点的灰度值是否大于GrayTH，若是则判断当前像素点不存在显影不清晰情况，若否则判断当前像素点存在显影不清晰情况。
另外，考虑到实际影像图像中可能会存在的显影不清晰情况进而影响后续的识别模型的训练结果，故而通过上述方式找寻到显影不清晰情况，以便后续的处理调整。
作为本发明的优选实施方式，具体的，对存在显影不清晰情况的像素点进行像素值调整，包括，
计算存在显影不清晰情况的像素点所存在的轮廓图像中所有像素点的最大灰度值Graymax、最小灰度值Graymin以及平均灰度值Grayavg；
判断存在显影不清晰情况的像素点的灰度值Graypresent与[Graymin，Graymax]的所属关系，
若Graypresent∈[Graymin，Grayavg]，则有
若Graypresent∈[Grayavg，Graymax]，则有
其中，Graypresent ，为调整后存在显影不清晰情况的像素点的灰度值。
在本优选实施方式中，通过以上方式对显影不清晰情况进行灰度值的调整，能够尽可能的使轮廓图像更为清晰，且能够将甲状旁腺各自的轮廓区域更清晰地区分开形成各自的ROI区域，进而便于后续模型的训练。
本发明还提出内镜甲状腺手术中甲状旁腺自动识别及追踪系统，包括以下：
数据获取模块，用于获取于白光模式下的内镜甲状腺术中图像；
轮廓图像提取模块，用于对所述内镜甲状腺术中图像进行轮廓提取操作得到灰度下的内镜甲状腺术中图像的轮廓图像；
图像修复模块，用于对所述轮廓图像进行图像修复得到修复后的轮廓图像；
像素值调整模块，用于判断修复后的所述轮廓图像中的像素点是否存在显影不清晰情况，若是，则对存在显影不清晰情况的像素点进行像素值调整得到最终的轮廓图像；
影像增强图像数据获取模块，用于基于最终的轮廓图像对对应的内镜甲状腺术中图像中的轮廓进行标注得到以轮廓区域为ROI区域的影像增强的内镜甲状腺术中图像；
识别模型训练模块，用于基于白光模式下的内镜甲状腺术中图像与影像增强的内镜甲状腺术中图像对预构建的识别模型进行训练得到训练后的识别模型；
实时内镜视频获取模块，用于获取手术过程中实时内镜视频；
识别模块，用于通过训练后的识别模型对所述实时内镜视频进行甲状旁腺的识别与追踪。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例中的方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储的介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。
尽管本发明的描述已经相当详尽且特别对几个所述实施例进行了描述，但其并非旨在局限于任何这些细节或实施例或任何特殊实施例，而是应当将其视作是通过参考所附权利要求考虑到现有技术为这些权利要求提供广义的可能性解释，从而有效地涵盖本发明的预定范围。此外，上文以发明人可预见的实施例对本发明进行描述，其目的是为了提供有用的描述，而那些目前尚未预见的对本发明的非实质性改动仍可代表本发明的等效改动。
以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，都应属于本发明的保护范围。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。
Claims (10)
1.内镜甲状腺手术中甲状旁腺自动识别及追踪方法，其特征在于，包括以下：
获取于白光模式下的内镜甲状腺术中图像；
对所述内镜甲状腺术中图像进行轮廓提取操作得到灰度下的内镜甲状腺术中图像的轮廓图像；
对所述轮廓图像进行图像修复得到修复后的轮廓图像；
判断修复后的所述轮廓图像中的像素点是否存在显影不清晰情况，若是，则对存在显影不清晰情况的像素点进行像素值调整得到最终的轮廓图像；
基于最终的轮廓图像对对应的内镜甲状腺术中图像中的轮廓进行标注得到以轮廓区域为ROI区域的影像增强的内镜甲状腺术中图像；
基于白光模式下的内镜甲状腺术中图像与影像增强的内镜甲状腺术中图像对预构建的识别模型进行训练得到训练后的识别模型；
获取手术过程中实时内镜视频；
通过训练后的识别模型对所述实时内镜视频进行甲状旁腺的识别与追踪。
2.根据权利要求1所述的内镜甲状腺手术中甲状旁腺自动识别及追踪方法，其特征在于，具体的，基于白光模式下的内镜甲状腺术中图像与影像增强的内镜甲状腺术中图像对预构建的识别模型进行训练得到训练后的识别模型，包括，
对白光模式下的内镜甲状腺术中图像进行数据预处理得到标注后的第一训练数据，对影像增强的内镜甲状腺术中图像进行所述数据预处理得到标注后的第二训练数据；
通过所述第一训练数据以及第二训练数据对预构建的神经网络模型进行训练得到训练后的识别模型；
于训练后的识别模型中嵌入视频流处理模块得到最终的识别模型，所述视频流处理模块用于捕捉视频序列，将视频序列中的每一帧输入到训练后的识别模型中，得到目标检测结果，根据目标检测结果，在当前帧甲状旁腺进行跟踪，根据当前帧中甲状旁腺的位置信息，更新甲状旁腺的状态，在视频序列中实时处理每一帧的图像，不断更新甲状旁腺的位置信息，实现甲状旁腺的动态追踪。
3.根据权利要求1所述的内镜甲状腺手术中甲状旁腺自动识别及追踪方法，其特征在于，具体的，判断修复后的所述轮廓图像中的像素点是否存在显影不清晰情况，包括，
针对每一个轮廓图像，计算对于当前轮廓图像中的某一个像素点的不清晰阈值GrayTH，GrayTH的计算方式为，将当前像素点的邻域像素点进行取平均值操作得到邻域像素平均值，以A倍的邻域像素平均值作为GrayTH，其中A为缩放系数，通过人为设定得到；
判断当前像素点的灰度值是否大于GrayTH，若是则判断当前像素点不存在显影不清晰情况，若否则判断当前像素点存在显影不清晰情况。
4.根据权利要求3所述的内镜甲状腺手术中甲状旁腺自动识别及追踪方法，其特征在于，具体的，对存在显影不清晰情况的像素点进行像素值调整，包括，
计算存在显影不清晰情况的像素点所存在的轮廓图像中所有像素点的最大灰度值Graymax、最小灰度值Graymin以及平均灰度值Grayavg；
判断存在显影不清晰情况的像素点的灰度值Graypresent与[Graymin，Graymax]的所属关系，
若Graypresent∈[Graymin，Grayavg]，则有
若Graypresent∈[Grayavg，Graymax]，则有
其中，Graypresent ，为调整后存在显影不清晰情况的像素点的灰度值。
5.根据权利要求2所述的内镜甲状腺手术中甲状旁腺自动识别及追踪方法，其特征在于，所述方法还包括，在划分得到第一训练数据以及第二训练数据时，使用分层抽样及交叉验证方法，确保同一个病例的多张图片不会同时在训练集和测试集出现。
6.根据权利要求2所述的所述的内镜甲状腺手术中甲状旁腺自动识别及追踪方法，其特征在于，所述方法还包括，在将所述第一训练数据以及第二训练数据输入模型训练前，将所述第一训练数据以及第二训练数据存储在适应模型的文件格式中，并将对应的标注信息文件转换成模型所需格式，且将所述第一训练数据以及第二训练数据中的图像进行标准化归一化处理。
7.根据权利要求1所述的所述的内镜甲状腺手术中甲状旁腺自动识别及追踪方法，其特征在于，具体的，预构建的神经网络模型包括，选取适用于甲状旁腺识别的神经网络模型作为初始神经网络模型，于所述初始神经网络模型中分别构建针对白光模式下的内镜甲状腺术中图像的第一目标检测模型以及影像增强后的图像的第二目标检测模型，将所述第一目标检测模型以及第二目标检测模型的特征层进行融合，去除所述初始神经网络模型中最后的全连接层，并替换为输出个数为2类型种数的全连接层，且随机初始化该输出个数为类型种数的全连接层的权重，最终得到预构建的神经网络模型。
8.根据权利要求1所述的所述的内镜甲状腺手术中甲状旁腺自动识别及追踪方法，其特征在于，具体的，对预构建的神经网络模型进行训练的过程包括，
训练过程中采用随机梯度下降法对模型进行优化，在多轮训练中，模型通过输入图像，进行前向传播计算得到预测结果，然后计算预测结果与真实标签之间的误差，通过反向传播更新模型参数，以优化模型性能。
9.根据权利要求8所述的内镜甲状腺手术中甲状旁腺自动识别及追踪方法，其特征在于，具体的，通过准确率评估训练得到的神经网络模型在K折交叉验证中的性能，准确率最高的神经网络模型即为最优神经网络模型；
再对最优神经网络模型进行测试，根据模型识别甲状旁腺的情况绘制最优神经网络模型的ROC曲线图，并将参与验证的医生的真阳性率、假阳性率绘制于ROC曲线图中的对应位置，若最优神经网络模型的ROC曲线未完全包围医生的结果点，则对模型进行调整直到最优神经网络模型的ROC曲线完全包围医生的结果点，得到训练后的识别模型。
10.内镜甲状腺手术中甲状旁腺自动识别及追踪系统，其特征在于，包括以下：
数据获取模块，用于获取于白光模式下的内镜甲状腺术中图像；
轮廓图像提取模块，用于对所述内镜甲状腺术中图像进行轮廓提取操作得到灰度下的内镜甲状腺术中图像的轮廓图像；
图像修复模块，用于对所述轮廓图像进行图像修复得到修复后的轮廓图像；
像素值调整模块，用于判断修复后的所述轮廓图像中的像素点是否存在显影不清晰情况，若是，则对存在显影不清晰情况的像素点进行像素值调整得到最终的轮廓图像；
影响增强图像数据获取模块，用于基于最终的轮廓图像对对应的内镜甲状腺术中图像中的轮廓进行标注得到以轮廓区域为ROI区域的影像增强的内镜甲状腺术中图像；
识别模型训练模块，用于基于白光模式下的内镜甲状腺术中图像与影像增强的内镜甲状腺术中图像对预构建的识别模型进行训练得到训练后的识别模型；
实时内镜视频获取模块，用于获取手术过程中实时内镜视频；
识别模块，用于通过训练后的识别模型对所述实时内镜视频进行甲状旁腺的识别与追踪。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311729418.1A CN117710325A (zh) | 2023-12-15 | 2023-12-15 | 内镜甲状腺手术中甲状旁腺自动识别及追踪方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311729418.1A CN117710325A (zh) | 2023-12-15 | 2023-12-15 | 内镜甲状腺手术中甲状旁腺自动识别及追踪方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117710325A true CN117710325A (zh) | 2024-03-15 |
Family
ID=90147485
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311729418.1A Pending CN117710325A (zh) | 2023-12-15 | 2023-12-15 | 内镜甲状腺手术中甲状旁腺自动识别及追踪方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117710325A (zh) |
-
2023
- 2023-12-15 CN CN202311729418.1A patent/CN117710325A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11151721B2 (en) | System and method for automatic detection, localization, and semantic segmentation of anatomical objects | |
| CN110033456B (zh) | 一种医疗影像的处理方法、装置、设备和系统 | |
| CN110930416B (zh) | 一种基于u型网络的mri图像前列腺分割方法 | |
| US11195277B2 (en) | Systems and methods for generating normative imaging data for medical image processing using deep learning | |
| EP1465109A2 (en) | Method for automated analysis of digital chest radiographs | |
| JP2007236939A (ja) | 乳房辺縁検出のための方法および装置 | |
| CN112634283A (zh) | 使用小样本图像训练的髋关节分割模型建立方法及其应用 | |
| CN111507932B (zh) | 高特异性的糖尿病性视网膜病变特征检测方法及存储设备 | |
| WO2019184851A1 (zh) | 图像处理方法和装置及神经网络模型的训练方法 | |
| CN104766316A (zh) | 中医望诊中新型嘴唇分割算法 | |
| CN112308822A (zh) | 基于深度卷积神经网络的椎间盘ct图像检测方法 | |
| KR102163108B1 (ko) | 영상에서 관심 대상 실시간 검출 방법 및 시스템 | |
| CN111062953A (zh) | 一种超声图像中甲状旁腺增生的识别方法 | |
| CN112885464B (zh) | 一种基于Att-Res2-CE-Net的鼻内部疾病实时辅助诊疗系统 | |
| Goutham et al. | Automatic localization of landmarks in cephalometric images via modified U-Net | |
| JP2004188202A (ja) | デジタル胸部放射線写真の自動分析方法 | |
| CN112488165A (zh) | 一种基于深度学习模型的红外行人识别方法及系统 | |
| CN117710325A (zh) | 内镜甲状腺手术中甲状旁腺自动识别及追踪方法及系统 | |
| CN115880554A (zh) | 基于知识蒸馏与可解释的多模态医学图像融合模型及方法 | |
| CN113989588A (zh) | 一种基于自学习的五边形绘图测试智能评价系统及方法 | |
| CN117710323A (zh) | 内镜甲状腺手术中甲状旁腺识别及血运判断方法及系统 | |
| CN113362280A (zh) | 一种基于医学造影的动态目标跟踪方法 | |
| CN109902598A (zh) | 一种针对复杂背景的图像预处理技术 | |
| CN117710324A (zh) | 内镜甲状腺手术中喉返神经识别与追踪方法及系统 | |
| CN116188879B (zh) | 图像分类、图像分类模型训练方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |