CN118015014A - 一种基于改进卷积神经网络的龋齿ps-oct病变区域分割提取方法 - Google Patents
一种基于改进卷积神经网络的龋齿ps-oct病变区域分割提取方法 Download PDFInfo
- Publication number
- CN118015014A CN118015014A CN202410080288.1A CN202410080288A CN118015014A CN 118015014 A CN118015014 A CN 118015014A CN 202410080288 A CN202410080288 A CN 202410080288A CN 118015014 A CN118015014 A CN 118015014A
- Authority
- CN
- China
- Prior art keywords
- caries
- dimensional
- oct
- lesion
- segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 208000002925 dental caries Diseases 0.000 title claims abstract description 105
- 230000003902 lesion Effects 0.000 title claims abstract description 58
- 230000011218 segmentation Effects 0.000 title claims abstract description 35
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 15
- 238000000605 extraction Methods 0.000 title claims abstract description 14
- 230000007246 mechanism Effects 0.000 claims abstract description 37
- 238000000034 method Methods 0.000 claims abstract description 24
- 230000010287 polarization Effects 0.000 claims abstract description 11
- 239000011159 matrix material Substances 0.000 claims description 37
- 238000002372 labelling Methods 0.000 claims description 24
- 238000013519 translation Methods 0.000 claims description 24
- 238000012549 training Methods 0.000 claims description 20
- 238000001914 filtration Methods 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 9
- 238000009499 grossing Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 230000009467 reduction Effects 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 claims 1
- 238000012014 optical coherence tomography Methods 0.000 abstract description 33
- 238000003745 diagnosis Methods 0.000 abstract description 9
- 238000001514 detection method Methods 0.000 abstract description 2
- 238000003384 imaging method Methods 0.000 abstract description 2
- 230000003416 augmentation Effects 0.000 abstract 1
- 238000012217 deletion Methods 0.000 abstract 1
- 230000037430 deletion Effects 0.000 abstract 1
- 238000003709 image segmentation Methods 0.000 description 9
- 210000003298 dental enamel Anatomy 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 238000002474 experimental method Methods 0.000 description 7
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 6
- 230000002829 reductive effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 239000004593 Epoxy Substances 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 239000002253 acid Substances 0.000 description 2
- 230000002378 acidificating effect Effects 0.000 description 2
- 238000007664 blowing Methods 0.000 description 2
- 150000001720 carbohydrates Chemical group 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005115 demineralization Methods 0.000 description 2
- 230000002328 demineralizing effect Effects 0.000 description 2
- 210000004268 dentin Anatomy 0.000 description 2
- 238000010438 heat treatment Methods 0.000 description 2
- 229910052588 hydroxylapatite Inorganic materials 0.000 description 2
- 239000007788 liquid Substances 0.000 description 2
- 210000000214 mouth Anatomy 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004091 panning Methods 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- XYJRXVWERLGGKC-UHFFFAOYSA-D pentacalcium;hydroxide;triphosphate Chemical compound [OH-].[Ca+2].[Ca+2].[Ca+2].[Ca+2].[Ca+2].[O-]P([O-])([O-])=O.[O-]P([O-])([O-])=O.[O-]P([O-])([O-])=O XYJRXVWERLGGKC-UHFFFAOYSA-D 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 241000894006 Bacteria Species 0.000 description 1
- 206010016818 Fluorosis Diseases 0.000 description 1
- 208000014151 Stomatognathic disease Diseases 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 235000013361 beverage Nutrition 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 238000002425 crystallisation Methods 0.000 description 1
- 230000008025 crystallization Effects 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000008367 deionised water Substances 0.000 description 1
- 229910021641 deionized water Inorganic materials 0.000 description 1
- 208000004042 dental fluorosis Diseases 0.000 description 1
- 230000037123 dental health Effects 0.000 description 1
- 201000002170 dentin sensitivity Diseases 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 238000001035 drying Methods 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000000338 in vitro Methods 0.000 description 1
- 230000028161 membrane depolarization Effects 0.000 description 1
- 239000002207 metabolite Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000005549 size reduction Methods 0.000 description 1
- AJPJDKMHJJGVTQ-UHFFFAOYSA-M sodium dihydrogen phosphate Chemical compound [Na+].OP(O)([O-])=O AJPJDKMHJJGVTQ-UHFFFAOYSA-M 0.000 description 1
- 229910000162 sodium phosphate Inorganic materials 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000036347 tooth sensitivity Effects 0.000 description 1
- 208000004371 toothache Diseases 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本发明提供了一种基于改进卷积神经网络的龋齿PS‑OCT病变区域分割提取方法。该方法可以预标注龋齿数据集、自动分割龋齿图像以及三维重建龋损区域。通过预训练的模型对龋齿数据集进行粗分割，再进行人工增删改的细分割，基于平移窗口注意力(ShiftedWindows TransformerAttention)机制模块改进的U2NET网络实现了偏振敏感光学相干断层龋齿成像进行自动分割，实现对龋齿偏振敏感光学相干断层二维图像(B‑scan)的三维重建，用于辅助医生精细化诊断患者的龋齿损坏程度，减轻医生诊断负担，为患者龋齿检测提供了一种更充分的诊断。
Description
技术领域
本发明涉及龋齿病变自动分割领域，具体地说是一种基于改进卷积神经网络的龋齿PS-OCT病变区域分割提取方法。
背景技术
在牙科疾病的诊断过程中，初期的龋齿病变的诊断和辨识是一项具有挑战性的任务。人们日常摄入碳水化合物的食物和饮料，口腔中的细菌会利用这些碳水化合物残余物进行代谢，产生酸性代谢物对牙釉质进行酸蚀形成龋洞，如果不能早期发现并干预治疗，龋洞会逐步扩大，蔓延到牙本质和牙髓处，从而形成龋齿，危害牙齿健康，伴随着牙釉质缺失还有牙疼和牙齿敏感症状。因此，临床医生需要尽早且准确地检测和描述这些病变，以便通过非手术方法阻止或逆转病变的发展。
目前，在临床上评估咬合面龋齿病变的工具存在一些不足，无法准确检测到早期的龋损，有时需要进行切片实验。因此，为了精确确定病变的程度，迫切需要一种新的、更复杂的诊断工具，以更准确地表征早期的龋损情况。光学相干层析成像(Optical CoherenceTomography,OCT)作为一种非入侵、无创、非电离、无辐射的诊断方法，在牙齿硬组织诊断上已经进行了广泛的研究，特别是在龋齿检测方面。而偏振敏感光学相干层析成像(Polarization-Sensitive Optical Coherence Tomography，PS-OCT)是OCT的功能扩展，除了传统的强度信号外，还能提供多种具有双折射特性的偏振信息，如相位延迟、光轴夹角和偏振均匀度(Degree Of Polarization Uniformity,DOPU)。在被口腔中的酸性物质酸蚀过程中，牙釉质和牙本质的光学特性会发生显著变化，即牙釉质的主要成分羟基磷灰石(HAP)是双折射晶体，脱矿会使得双折射特性发生改变。结合牙釉质的双折射特性，已有研究证明了去极化程度可以清晰地辨别近端龋齿，即可使用DOPU来表征龋齿的严重程度。
传统的DOPU图像分割方法采用基于阈值的分割，然而噪声的存在会对分割精度产生不良影响。虽然可通过滤波算法对图像背景噪声进行滤除，但由于系统产生的不可避免的散斑噪声，导致C-scan(三维图像)数据切片的B-scan(二维图像)仍带有少量散斑噪声。传统图像分割方法难以忽视散斑噪声，因其强度值难以准确预测。这可能导致将散斑噪声错误地定义为有效信息，导致不足分割，或者将有效信息的阈值设定得太低，虽然可去除散斑噪声，但同时也剔除了有效信息，导致过分割情况。
发明内容
本发明的目的是提供一种基于改进卷积神经网络的龋齿PS-OCT病变区域分割提取方法，该方法可以准确自动识别和量化评估牙齿病变区域，包括牙齿龋损和脱矿区域，为牙科医生在诊治过程中提供更为有效的支持。
本发明是这样实现的：
一种基于改进卷积神经网络的龋齿PS-OCT病变区域分割提取方法，包括以下步骤：
(a)采集龋齿PS-OCT三维图像数据(C-scan)；
(b)对采集到的PS-OCT三维图像数据进行滤波降噪并获取二维数据集；
(c)从二维数据集中选取设定比例的数据进行人工标注，获得小批次人工标注数据集；
(d)将小批次人工标注数据集输入到U2NET网络进行预训练，保存预训练结果最好的权重；
(e)使用预训练结果最好的权重对所有二维数据集进行预标注；
(f)人工审查预标注是否有错误或遗漏，并针对错误或遗漏之处进行修改，得到标注数据集；
(g)通过设定随机种子，对标注数据集进行随机打乱；
(h)通过基于平移窗口注意力机制模块改进的U2NET网络，实现对二维图像的龋损区域的自动分割；
(i)针对同一颗龋齿的所有二维图像(B-scan)的龋病区域进行三维重建。
本发明步骤(a)中，PS-OCT三维图像数据的获取过程包括以下步骤：使用PS-OCT设备获取龋齿的三维图像数据。本发明实验中所采用的PS-OCT仪器生成的图像大小为Z*X*Y(根据牙齿病变区域的具体情况确定)。每个像素点的尺寸对应为Pixelz、Pixelx、Pixely。
本发明步骤(b)中，对获取到的PS-OCT三维图像数据进行滤波降噪，获取B-scan数据集。具体步骤为：
第一步：采用3×3滤波核，对PS-OCT三维图像数据进行散斑降噪处理。公式如下：
其中，Iout(x)表示滤波后的像素值，I(x+i)是原始三维数据在位置x+i处的像素值，w(i)是高斯权值，计算方式为：其中σ为标准差，k是滤波核的大小，表示在每个像素点周围考虑的邻域范围，此处取k＝3。
第二步：针对获取得到的斯托克斯参量Q、U、V数据进行均值平滑，平滑窗口设置为9×9。
第三步：将平滑后的斯托克斯参量数据归一化，然后使用公式计算DOPU值，并保存为DOPU三维数据。
第四步：对DOPU三维数据进行二维图像切片操作，沿着Y轴切片，获取Z-X方向的DOPU图像数据集。
本发明步骤(c)中，针对获取得到的DOPU数据集，随机抽取总数据集的进行逐帧B-scan的人工标注，将DOPU图像中的龋损区域标注出来，得到需要的小批次人工标注数据集。
本发明步骤(e)中，使用预训练得到的权重，对大批次的总数据集进行预标注，自动获取预标注文件，并对预标注效果进行图像展示。
本发明步骤(f)中，对大批次的DOPU数据集预标注进行人工审查。具体步骤为：
第一步：核查DOPU预标注是否有龋损遗漏或错误标注龋损。
第二步：对遗漏的龋损区域进行补充标注，将错误标注为龋损区域的标签进行删除。
第三步：针对检查无误的DOPU预标注的数据集进行提交保存。
第四步：导出DOPU掩模二值图像，获取DOPU的真实值图像和龋损区域掩模图像，获取正式训练的大批次数据集。
本发明步骤(g)中，设定随机种子对龋损数据集进行随机扰乱，保证数据集的充分随机和可复用性。
本发明步骤(h)中，通过基于平移窗口注意力机制模块改良的U2NET网络实现对DOPU图像的龋损区域自动分割。具体步骤如下：
第一步：设定超参数的值，设置batch-size为4，权重衰减系数为：0.0001，训练的轮数为200，优化器为Adam W，学习率为0.001，比较CPU核个数与批处理大小，选取两者中更小的值设定为num_workers(最大不超过8)；
第二步：将DOPU图像输入到我们的模型中，首先裁剪为320*320固定尺寸，再将图像映射为像素矩阵。
第三步：像素矩阵依次进入编码器(encoder)进行下采样，如图所示，进行龋病信息特征提取。特征提取完毕后获取到龋损关键信息的特征矩阵。编码器内部采用了残差块结构，最大程度的降低了病变区域信息的损失。此处残差块的公式如下：
Ix＝F(Ix-1)+Ix-1
其中，Ix是第x层的输出，F是残差块内部的非线性变换，Ix-1是第x-1层的输出。
第四步：将获取到的关键病变信息矩阵依次输入到解码器(decoder)中进行上采样，对特征矩阵进行还原，同时与对应的encoder特征矩阵进行相同维度的拼接操作。
第五步：在对特征矩阵进行相同维度的拼接操作之后，引入平移窗口注意力机制模块，增强分割模型对DOPU中局部病变感知能力，使用局部上下文模型对特征矩阵进行求解，接着使用平滑窗口机制实现龋病关键信息共享，降低计算内存消耗。其中局部上下文建模求解公式如下：
平滑窗口机制公式如下：
其中，X是输入特征，M、K、N分别是X的查询、键、值，dk是注意力头的维度，Kabs是平移操作的键。
第六步：对最终输出的龋病特征矩阵进行激活函数操作，将模型的输出值映射到(0,1)的范围，表示每个像素点属于龋损区域目标的概率。使用sigmoid激活函数，其中sigmoid激活函数公式为：t是模型的原始特征输出。
第七步：使用改良的U2NET模型对DOPU测试集进行预测，实现人造龋齿的病变图像分割，获取到自动分割的龋损区域图像。
本发明步骤(i)中，将整个三维图像切片得来的DOPU二维龋损分割图像按照面积堆叠，进行龋损区域三维重建，获取得到整颗龋损的三维立体图像。
本发明基于深度学习的图像分割方法，通过模拟人的思维进行图像分割，通过大量数据集的训练和多次迭代，生成一个能够忽略散斑噪声影响的模型，从而实现对龋齿DOPU病变图像的精准分割。通过对龋齿病变分割图像的三维重建，得到可视化的三维病变区域，为临床口腔医生提供更为充分、直观的诊断视图。
附图说明
图1是本发明基于改进卷积神经网络的龋齿偏振敏感光学相干层析成像病变区域分割提取方法流程图。
图2是本发明实施例所用人造龋齿照片图。
图3是本发明实施例所采集的偏振图像示意图。
图4是本发明实施例基于平移窗口注意力机制模块改进的U2NET网络结构图。
图5是本发明实施例预标注显示效果图；其中，(a)原始病变图像；(b)预标注病变区域图像。
图6是本发明实施例三维重建龋损区域的不同视角图；其中，(a)三维龋损重建正视图；(b)三维龋损重建背面视图；(c)三维龋损重建侧视图。
图7是本发明实施例自动分割龋齿病变图像；其中，(a)原始病变图像；(b)自动分割病变区域图像。
具体实施方式
下面结合具体实施例对本发明的技术方案进行详细说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施例的限制。
本发明所提供的一种基于改进卷积神经网络的龋齿PS-OCT病变区域分割提取方法，该方法的大体流程图如图1所示。具体包括以下步骤：
(a)PS-OCT图像数据的获取。
实验开始前需准备m颗离体拔除的人类牙齿(本实验为6颗)，分别标记为A、B、C、D、E、F。
实验样品制备具体步骤如下：
第一步：对离体牙齿进行切割处理，以获取健康牙釉质样本。
第二步：由专业口腔科医生进行临床评估，确保获取的健康牙釉质样本没有划痕、裂缝、氟中毒或是早期脱矿。
第三步：将离体牙齿嵌入环氧树脂中，将每颗牙齿制备成环氧树脂包裹的立方体，然后使用砂纸对4个面进行抛光打磨处理，每个面暴露窗口直径大约为4mm。
第四步：对每颗健康牙釉质样本进行pH循环实验。使用pH为4.4的脱矿溶液(配比成分为：CaCl2、NaH2PO4、CH3COOH、KOH)对牙齿样本分别进行0h、24h、48h、72h、96h酸循环实验，将牙齿样本放置到250mL的烧杯中，在烧杯中加入脱矿溶液盖过牙齿，高于牙齿样品3-4cm，避免牙齿的实验面触碰烧杯壁或者烧杯底部，再将烧杯放置到水浴加热装置中，设置37℃恒温连续加热。每间隔24h更换新的脱矿液，确保脱矿溶液的pH值不会发生改变。
PS-OCT图像数据获取步骤：使用橡皮泥将人造龋齿样品固定于待测平台上，如图2所示，通过CCD页面查看采集区域，设置PS-OCT采集区域尺寸为Z*X*Y(pixels*pixels*pixels)，采集数据前先使用去离子水喷雾喷洒在牙齿表面上，再使用无尘纸吸干水分，最后快速使用吹气球吹干。采集得到的偏振图像如图3所示。本次实验样本为6颗实验牙齿作为被测对象，分别按照酸循环0h、24h、48h、72h、96h采集不同人造龋齿的偏振参数OCT图像数据。
(b)对获取到的PS-OCT三维数据进行滤波降噪并获取B-scan数据集。
第一步：获取人造龋齿的偏振三维图像对应的矩阵数据A1，分别有Z、X、Y轴3个方向。沿着Y轴，对ZX面的二维矩阵进行滤波核尺寸为3*3的滤波降噪，降低散斑噪声对龋齿PS-OCT成像的影响，降噪之后保存为PS-OCT三维矩阵A2，其中滤波公式为：
其中，Iout(x)表示滤波后的像素值，I(x+i)是原始三维数据在位置x+i处的像素值，w(i)是高斯权值，计算方式为：其中σ为标准差，k是滤波核的大小，表示在每个像素点周围考虑的邻域范围，本实验取k＝3。
第二步：根据降噪后的PS-OCT三维矩阵A2，获取斯托克斯参量Q、U、V数据，再使用均值滤波器进行平滑，平滑窗口大小为[m,m]，此处取经验值m＝9，也就是对9×9范围的Q、U、V进行求平均并填充，步长设为1，平滑后得到三维矩阵A3。
第三步：对平滑后的斯托克斯参量三维矩阵A3进行归一化，再计算偏振均匀度(DOPU)。计算DOPU的公式如下：
其中M1，M2，M3为归一化后的斯托克斯参量。获取到DOPU值，并保存为DOPU的三维矩阵A4。
第四步：对DOPU三维矩阵A4进行二维图像切片。沿着Y轴，开始的索引为1，结束的索引为Y的像素点个数，获取Z-X方向的DOPU二维图像。
(c)针对获取得到的DOPU二维图像数据集，按照0.1的比例(根据不同场景不同需求可以设置不同的比例)，从总数据集中随机抽取图片，然后进行逐帧的B-scan人工标注，使用首尾闭合的曲线将龋损区域标注出来，得到需要的小批次人工标注数据集。
(d)将小批次人工标注后的数据集，输入到未经改进的U2NET网络进行预训练，保存预训练结果最好的那次的权重文件。
图4所示为本发明基于平移窗口注意力机制(ShiftedWindowsTransformerAttention)模块改进的U2NET网络结构图。图4中，EN_1、EN_2、EN_3、EN_4、EN_5和EN_6为六个编码器，DE_1、DE_2、DE_3、DE_4和DE_5为五个解码器，swin-transformer为平移窗口注意力机制模块，共有五个平移窗口注意力机制模块。其中，EN_1、DE_1层级数为7，EN_2、DE_2层级数为6，EN_3、DE_3层级数为5，EN_4、DE_4层级数为4，EN_5、EN_6、DE_5层将采样层替换成膨胀系数为2的膨胀卷积。
编码器EN_1的输出作为编码器EN_2的输入，编码器EN_2的输出作为编码器EN_3的输入，编码器EN_3的输出作为编码器EN_4的输入，编码器EN_4的输出作为编码器EN_5的输入，编码器EN_5的输出作为编码器EN_6的输入。解码器与相同维度的编码器拼接之后再连接到平移窗口注意力机制模块，具体是：编码器EN_6的输出与编码器EN_5的输出相加后输入给第一个平移窗口注意力机制模块，第一个平移窗口注意力机制模块的输出经解码器DE_5后与编码器EN_4的输出相加，然后再输入到第二个平移窗口注意力机制模块，第二个平移窗口注意力机制模块的输出经解码器DE_4后与编码器EN_3的输出相加，然后再输入到第三个平移窗口注意力机制模块，第三个平移窗口注意力机制模块的输出经解码器DE_3后与编码器EN_2的输出相加，然后再输入到第四个平移窗口注意力机制模块，第四个平移窗口注意力机制模块的输出经解码器DE_2后与编码器EN_1的输出相加，然后再输入到第五个平移窗口注意力机制模块，第五个平移窗口注意力机制模块的输出再经过解码器DE_1，最终由解码器DE_1输出的结果即为基于平移窗口注意力机制模块改进的U2NET网络输出的结果。
本步骤采用的是未经改进的U2NET网络，即在图4的基础上，将五个平移窗口注意力机制模块删除，所得即是未经改进的U2NET网络。
(e)使用预训练得到的最好训练结果的权重文件，对整个数据集进行预标注，获取预标注文件，包含龋损区域坐标，龋损像素点类别信息。通过导入预标注文件，对预标注效果进行图像展示，如图5所示。图5中，(a)为原始病变图像，(b)为通过预标注后的病变区域图像。图5(b)中由于是黑白色调，因此以白色线条圈了相关区域，实际图像中可通过不同颜色来预标注，更为清晰直观。
(f)人工审查大批次的DOPU人造龋齿数据集预标注。
第一步：检查预标注区域是否有龋损遗漏或者是错误的将健康区域标注为龋损区域。
第二步：对龋损遗漏的区域进行补充标注，删除被错误标记为龋损区域的健康区域标签。
第三步：提交正确无误的DOPU预标注数据集，并保存。
第四步：生成正式用于训练的大规模数据集，其中包括导出的DOPU龋损真实值图像和龋损区域掩模图像。
(g)在程序中设定一个固定的随机种子数字，对龋损DOPU数据集进行随机打乱，确保数据集具有足够的随机性和可重复使用性。
(h)使用基于平移窗口注意力机制模块改进的U2NET网络，改进的U2NET网络结构如图4所示，实现对DOPU图像的龋损区域的自动分割。
第一步：设定超参数的数值，其中包括将批次大小设定为4，权重衰减系数为0.0001，训练周期为200，使用AdamW优化器，学习率为0.001。在比较CPU核心数和批次大小后，选取两者中的较小值，并将其设定为num_workers(最大不超过8)。
第二步：将DOPU图像导入改进后的U2NET网络结构模型，首先进行320*320的固定尺寸裁剪，然后将图像映射为像素矩阵C1。
第三步：像素矩阵C1经过逐层的下采样，即通过各编码器(encoder)的运算，得以在不断减小分辨率的同时捕捉到龋病相关的显著特征。在编码器内部采用了残差块结构，这一设计的目的在于极大地减小病变区域信息的损失。确保了在整个处理过程中龋病信息的完整性和可靠性。此处残差块的公式如下：
Ix＝F(Ix-1)+Ix-1
其中，Ix是第x层的输出，F是残差块内部的非线性变换，Ix-1是第x-1层的输出。
像素矩阵C1依次经六个编码器后得到关键病变信息矩阵C2。
第四步：将获取到的关键病变信息矩阵C2依次输入到解码器(decoder)中进行上采样，对特征矩阵进行尺寸还原，同时与对应的编码器特征矩阵进行相同维度的拼接操作。
第五步：在对特征矩阵进行相同维度的拼接操作之后，引入平移窗口注意力机制模块，增强分割模型对DOPU中局部病变感知能力，使用局部上下文模型对拼接操作后的特征矩阵进行求解，接着使用平滑窗口机制实现龋病关键信息共享，降低计算内存消耗。其中局部上下文建模求解公式如下：
平滑窗口机制公式如下：
其中，X是输入特征，M、K、N分别是X的查询、键、值，dk是注意力头的维度，T为转置，Kabs是平移操作的键。
第六步：对于最终输出的龋病特征矩阵，经过激活函数处理，将模型的输出值映射至(0,1)范围，以表示每个像素点属于龋损区域目标的概率。采用sigmoid激活函数，其中sigmoid激活函数公式为：t是模型的原始龋损特征输出矩阵。
第七步：使用改良的U2NET模型对DOPU测试集进行预测，实现人造龋齿病变图像的精准分割，获取到自动分割的龋损区域图像。
(i)把属于同一个C-scan的龋损区域自动分割图像，按照B-scan的原始顺序逐帧堆叠三维重建，得到龋损区域的立体效果，提供医生立体诊断龋损的效果视图，如图6所示。
使用6颗环氧树脂包裹的人造龋齿作为本发明的具体实施样本。通过PS-OCT系统采集了三维C-scan的DOPU数据，对C-scan进行二维数据切片，得到B-scan数据集，通过基于平移窗口注意力机制模块改进的U2NET网络实现病变自动分割的方法，得到了如图7所示的病变分割图像，并实现了三维重建效果。
传统的图像分割方法，基于阈值进行分割，噪声的存在会影响分割精度，尽管可以通过滤波算法对图像背景噪声进行一定的滤除，但由于系统本身产生的散斑噪声不可抗性，三维数据切片得到的B-scan仍存在少量散斑噪声，在传统图像分割方法中无法对散斑噪声进行忽视，散斑噪声的强度值无法准确预测，可能会被定义为有效信息，从而欠分割，或者将有效信息的阈值设定过低，虽然能将散斑噪声滤除，但同时也将有效信息滤除掉从而出现过分割的情况。本发明基于深度学习的图像分割方法很好的避免了这个问题，通过模拟人的思维进行图像分割，通过大量的数据集训练，同时迭代训练多次，得到一个可以忽视散斑噪声的影响从而对龋齿病变图像进行精确分割的模型。对龋齿病变分割图像进行三维重建，得到可视化的三维病变区域，给临床口腔医生提供更充分、直观的诊断视图。
因此，本发明所提供的基于改进卷积神经网络的龋齿PS-OCT病变分割提取方法对准确识别和分割牙齿病变区域同时进行三维重建具有着重大意义。
Claims (6)
1.一种基于改进卷积神经网络的龋齿PS-OCT病变区域分割提取方法，其特征是，包括如下步骤：
a、采集龋齿PS-OCT三维图像数据；
b、对采集到的PS-OCT三维图像数据进行滤波降噪并获取二维数据集；
c、从二维数据集中选取设定比例的数据进行人工标注，获得小批次人工标注数据集；
d、将小批次人工标注数据集输入到U2NET网络进行预训练，保存预训练结果最好的权重；
e、使用预训练结果最好的权重对所有二维数据集进行预标注；
f、人工审查预标注是否有错误或遗漏，并针对错误或遗漏之处进行修改，得到标注数据集；
g、通过设定随机种子，对标注数据集进行随机打乱；
h、通过基于平移窗口注意力机制模块改进的U2NET网络，实现对二维图像的龋损区域的自动分割；在基于平移窗口注意力机制模块改进的U2NET网络中，解码器与相同维度的编码器拼接之后再连接到平移窗口注意力机制模块；
i、按照二维图像的原始顺序逐帧堆叠进行三维重建，得到龋损区域的立体图像。
2.根据权利要求1所述的基于改进卷积神经网络的龋齿PS-OCT病变区域分割提取方法，其特征是，步骤b具体如下：
b-1、对PS-OCT三维图像数据进行滤波降噪，公式如下：
其中，Iout(x)表示滤波后的像素值，I(x+i)是原始三维数据在位置x+i处的像素值，w(i)是高斯权值，计算方式为：其中σ为标准差，k是滤波核的大小，表示在每个像素点周围考虑的邻域范围；
b-2、根据降噪后的PS-OCT三维矩阵，获取斯托克斯参量Q、U、V数据，再使用均值滤波器进行平滑；
b-3、对平滑后的斯托克斯参量进行归一化，再计算偏振均匀度DOPU，计算DOPU的公式如下：
其中，M1，M2，M3为归一化后的斯托克斯参量；
b-4、对DOPU三维数据进行二维图像切片操作，沿着Y轴切片，获取Z-X方向的二维数据集。
3.根据权利要求1所述的基于改进卷积神经网络的龋齿PS-OCT病变区域分割提取方法，其特征是，步骤f具体如下：
f-1、人工检查预标注是否有龋损遗漏或错误标注龋损；
f-2、对遗漏的龋损区域进行补充标注，将错误标注为龋损区域的标签进行删除；
f-3、将修改后的预标注数据集进行保存；
f-4、生成正式用于训练的标注数据集，其中包括导出的龋损真实值图像和龋损区域掩模图像。
4.根据权利要求1所述的基于改进卷积神经网络的龋齿PS-OCT病变区域分割提取方法，其特征是，步骤h具体如下：
h-1、设置超参数；
h-2、将打乱后的标注数据集输入到基于平移窗口注意力机制模块改进的U2NET网络模型中，将图像映射为像素矩阵；
h-3、使像素矩阵依次进入编码器进行下采样，进行龋病信息特征提取，特征提取完毕后获取到龋损病变信息的特征矩阵；
h-4、将获取到的龋损病变信息的特征矩阵依次输入到解码器中进行上采样，对特征矩阵进行还原，上采样后的特征矩阵与对应的编码器输出的特征矩阵进行相同维度的拼接操作；
h-5、在对特征矩阵进行相同维度的拼接操作后，引入平移窗口注意力机制模块，使用局部上下文模型对特征矩阵进行求解，接着使用平滑窗口机制实现龋损病变信息共享；
局部上下文模型求解公式如下：
平滑窗口机制公式如下：
其中，X是输入特征，M、K、N分别是X的查询、键、值，dk是注意力头的维度，Kabs是平移操作的键；
h-6、对最终输出的龋损病变信息特征矩阵进行激活函数操作，将模型的输出值映射到(0,1)的范围，使用sigmoid激活函数，其中sigmoid激活函数公式为：t是模型的原始特征输出；
h-7、使用基于平移窗口注意力机制模块改进的U2NET网络模型对测试集进行预测，实现龋齿的病变图像分割，获取到自动分割的龋损区域图像。
5.根据权利要求4所述的基于改进卷积神经网络的龋齿PS-OCT病变区域分割提取方法，其特征是，步骤h-1具体如下：将批次大小设定为4，权重衰减系数设为0.0001，训练周期为200，使用AdamW优化器，学习率为0.001，在比较CPU核心数和批次大小后，选取两者中的较小值，并将其设定为num_workers。
6.根据权利要求1所述的基于改进卷积神经网络的龋齿PS-OCT病变区域分割提取方法，其特征是，步骤c中，从二维数据集中选取1/10的数据进行人工标注，获得小批次人工标注数据集。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410080288.1A CN118015014A (zh) | 2024-01-19 | 2024-01-19 | 一种基于改进卷积神经网络的龋齿ps-oct病变区域分割提取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410080288.1A CN118015014A (zh) | 2024-01-19 | 2024-01-19 | 一种基于改进卷积神经网络的龋齿ps-oct病变区域分割提取方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN118015014A true CN118015014A (zh) | 2024-05-10 |
Family
ID=90947201
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410080288.1A Pending CN118015014A (zh) | 2024-01-19 | 2024-01-19 | 一种基于改进卷积神经网络的龋齿ps-oct病变区域分割提取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118015014A (zh) |
-
2024
- 2024-01-19 CN CN202410080288.1A patent/CN118015014A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Hatvani et al. | Deep learning-based super-resolution applied to dental computed tomography | |
| Saghiri et al. | A new approach for locating the minor apical foramen using an artificial neural network | |
| Obuchowicz et al. | Caries detection enhancement using texture feature maps of intraoral radiographs | |
| Kumar et al. | Descriptive analysis of dental X-ray images using various practical methods: A review | |
| Li et al. | Expression of Concern: A gingivitis identification method based on contrast‐limited adaptive histogram equalization, gray‐level co‐occurrence matrix, and extreme learning machine | |
| CN111815766B (zh) | 基于2d-dsa图像重建血管三维模型处理方法及系统 | |
| Bhateja et al. | An improved medical image fusion approach using PCA and complex wavelets | |
| Park et al. | Caries detection with tooth surface segmentation on intraoral photographic images using deep learning | |
| US20110110575A1 (en) | Dental caries detector | |
| Vigil et al. | Diagnosis of Pulpitis from Dental Panoramic Radiograph Using Histogram of Gradients with Discrete Wavelet Transform and Multilevel Neural Network Techniques. | |
| CN118015014A (zh) | 一种基于改进卷积神经网络的龋齿ps-oct病变区域分割提取方法 | |
| Ahmed et al. | Identification and volume estimation of dental caries using CT image | |
| EP4017368A1 (en) | Systems and methods for generating multi-view synthetic dental radiographs for intraoral tomosynthesis | |
| CN115908361A (zh) | 一种口腔全景片的龋齿识别方法 | |
| Umemori et al. | The possibility of digital imaging in the diagnosis of occlusal caries | |
| Chin et al. | Dentition labeling and root canal recognition using ganand rule-based system | |
| Virupaiah et al. | Analysis of image enhancement techniques for dental caries detection using texture analysis and support vector machine | |
| TWI716762B (zh) | 一種利用神經網路去除牙齒影像雜訊之方法 | |
| CN113435491A (zh) | 医学图像处理方法和装置 | |
| Zhu et al. | Periodontitis auxiliary diagnosis based on deep learning and oral dental x-ray images | |
| Padalia et al. | An attention u-net for semantic segmentation of dental panoramic X-Ray images | |
| CN116883246B (zh) | 一种用于cbct图像的超分辨率方法 | |
| Mashayekhi et al. | Radious: Unveiling the Enigma of Dental Radiology with BEIT Adaptor and Mask2Former in Semantic Segmentation | |
| Ge et al. | Digital tomosynthesis mammography: Intra-and interplane artifact reduction for high-contrast objects on reconstructed slices using a priori 3D geometrical information | |
| Misra et al. | Image Processing on IOPA Radiographs: A comprehensive case study on Apical Periodontitis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |