CN112837278B - 基于深度边界监督的牙齿全景片龋齿识别方法 - Google Patents
基于深度边界监督的牙齿全景片龋齿识别方法 Download PDFInfo
- Publication number
- CN112837278B CN112837278B CN202110097168.9A CN202110097168A CN112837278B CN 112837278 B CN112837278 B CN 112837278B CN 202110097168 A CN202110097168 A CN 202110097168A CN 112837278 B CN112837278 B CN 112837278B
- Authority
- CN
- China
- Prior art keywords
- feature map
- map
- caries
- convolution
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 208000002925 dental caries Diseases 0.000 title claims abstract description 100
- 238000000034 method Methods 0.000 title claims description 40
- 230000011218 segmentation Effects 0.000 claims abstract description 66
- 238000010586 diagram Methods 0.000 claims description 20
- 230000004913 activation Effects 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 9
- 230000003213 activating effect Effects 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 description 7
- 230000036541 health Effects 0.000 description 4
- 210000000214 mouth Anatomy 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 208000024172 Cardiovascular disease Diseases 0.000 description 1
- 208000025157 Oral disease Diseases 0.000 description 1
- 206010062544 Tooth fracture Diseases 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 201000011529 cardiovascular cancer Diseases 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000004090 dissolution Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000011841 epidemiological investigation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 208000030194 mouth disease Diseases 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30036—Dental; Teeth
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Probability & Statistics with Applications (AREA)
- Evolutionary Biology (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
Abstract
基于深度边界监督的牙齿全景片龋齿识别方法，在获取牙齿全景片后，将牙齿全景片通过编码模块进行特征编码，得到深层扰动特征图、跳跃连接特征图以及目标边界分割图；将深层扰动特征图输入分类模块对是否存在浅龋、中龋和深龋进行识别；最后将深层扰动特征图和跳跃连接特征图输入解码模块进行特征解码，得到龋齿分割结果以及目标边界分割图。本发明使得网络对龋齿的分类识别能力和对龋齿边界的分割能力大大增强，使训练好的模型在遇到龋齿图像较为模糊的情况时仍能利用特殊情况中常见的部分特征得出较为合理的分类以及分割结果。
Description
技术领域
本发明涉及医疗图像处理领域，尤其涉及了基于深度边界监督的牙齿全景片龋齿识别方法。
背景技术
龋齿是危害口腔健康的常见疾病以及多发性疾病之一，也是较为常见的一种口腔多发病，在临床上的常表现为牙齿的硬组织被广泛破坏，可发生于任何年龄阶段，尤多见于儿童。龋齿发病的初期多在牙冠，较为容易治愈，但若治疗不及时，则有可能形成难以自愈的龋洞，最终使得牙齿脱落。据第四次全国口腔健康流行病学调查结果显示，我国5岁儿童乳牙龋患率为70.9％，比10年前上升了5.8％；12岁儿童龋患率高达34.5％，比10前上升了7.8％。目前，龋齿已成为继心血管疾病和癌症之后，第3个被世界卫生组织列为重点防治的疾病。在临床上，龋齿的表现多为牙齿出现脱钙、有机质发生溶解、牙齿的正常解剖结构消失、牙齿断裂或者脱落，对正常人的口腔的健康和美观造成了非常严重的影响，也给患者带来很大的痛苦和烦恼。
另一方面，我国口腔医疗资源短缺，主要表现在口腔医师数量严重不足、地域发展不平衡、国产口腔医疗器械、设备开发动能不足。 2019年中国口腔产业趋势报告显示，世界卫生组织(WHO)对牙医: 人口比例的建议值为1:5000，这一比例针对发达国家上升到1:2000。目前中国牙医人口比例不到1:8000，远低于其他国家水平和WHO建议值。其中对于北上广这些东部发达地区，口腔医疗发展很快，医生的拥有量明显提高，像北京市区的口腔医生和居民比例大约是1:2000，和发达国家差不多，但是到郊区就仅有1:8000，到西部就是1:20000 或1:30000。
此外，即使在公信力较高的公立口腔医疗机构，由于病人量远超正常负荷，医生工作量大，并且医生水平存在差异，有些症状较为隐蔽的龋齿也容易被漏诊或误诊。因此，如果可以借助人工智能 (Artificial Intelligence，AI)的技术对全景片进行预先的判读，自动分割出龋齿位置以及分析出龋齿的严重程度，则可以提高龋齿诊断的效率、精确性，减少漏诊误诊。
发明名称为基于深度学习的口腔全景片龋齿深度识别方法，公开号为CN111784639A，公开日期为2020-10-16；专利记载了基于深度学习的口腔全景片龋齿深度识别方法，该方法先利用阈值分割方法提取龋齿区域，再利用训练好的卷积神经网络提取目标区域的高维特征，进行龋齿深度自动识别。
发明名称为一种快速检测龋齿的检测装置及其方法，公开号为 CN108460762A，公开日期为2018-8-28；专利记载了一种快速检测龋齿的检测装置及其方法，该方法的输入为检测装置拍摄的口腔图片，先对图片进行灰度化和直方图均衡化，并进行灰度线性变换后增强对比度。而后又进行二值化和中值滤波得到二维滤波图像，再通过形态学处理、Canny边缘检测得到分割后的图像。最后利用连通域法截取牙齿图片重点区域，通过识别图片中牙齿颜色的不同，进而确定初步龋齿区域，再根据龋齿区域与牙齿图片的大概面积比例计算出更精确的面积。
发明名称为基于深度学习的全景片龋病识别的方法和装置，公开号为CN109948619A，公开日期为2019-6-28；专利记载了基于深度学习的全景片龋病识别的方法和装置，该方法先将全景片输入基于深度学习的恒牙分割模型，以得到恒牙分割结果，再确定所述恒牙分割结果中各颗牙齿对应的牙冠图像块，最后将所述牙冠图像块输入基于深度学习的龋病病灶分割模型，以得到所述龋病病灶分割结果。
现有技术在对龋齿的分割问题上，未能有针对性的深度学习方法来提高龋齿分割精度，以及对于龋齿严重程度的智能识别这部分内容也未有较深研究，并且目前的方法对于龋齿边界较为模糊问题也没有对应的解决方案，导致提取出的龋齿特征不够具有代表性，进而导致龋齿分割结果和识别效果较差。
发明内容
为了克服已有技术现有技术在遇到较为复杂的情况时无法利用复杂情况中常见的部分特征进行龋齿语义分割以及分割边界不准确的不足,本发明提供了一种基于深度边界监督的牙齿全景片龋齿识别方法。
本发明解决其技术问题所采用的技术方案是：
一种基于深度边界监督的牙齿全景片龋齿识别方法，包括以下步骤：
步骤S1、将牙齿全景片I输入至编码模块进行特征编码，得到深度特征图Fdeep、跳跃连接特征图S1、S2、S3、S4以及目标边界分割图B1、 B2、B3；
步骤S2、将深度特征图Fdeep输入分类模块，通过分类器链得到存在浅龋、中龋以及深龋的概率P1，P2，P3；
步骤S3、将深层特征图Fdeep输入至解码模块进行特征解码，得到龋齿分割结果以及目标边界分割图B4、B5、B6。
进一步，所述步骤S1中，将牙齿全景片I输入至编码模块进行特征编码，得到深度特征图Fdeep、跳跃连接特征图S1、S2、S3、S4以及目标边界分割图B1、B2、B3，过程如下：
步骤1.1、将牙齿全景片I输入至卷积核大小为3*3的扰动卷积层卷积，得到跳跃连接特征图S1，其维度为C1×H0×W0，再进行池化后得到特征图F1，其维度为C1×H1×W1；
步骤1.2、将特征图F1输入至基于边界监督的扰动卷积块，得到跳跃连接特征图S2，其维度为C2×H1×W1，特征图F2，其维度为C2×H2×W2以及目标边界分割图B1，其维度为1×H1×W1；
步骤1.3、将特征图F2输入至基于边界监督的扰动卷积块，得到跳跃连接特征图S3，其维度为C3×H2×W2，特征图F3，其维度为 C3×H3×W3以及目标边界分割图B2，其维度为1×H2×W2；
步骤1.4、将特征图F3输入至基于边界监督的扰动卷积块，得到跳跃连接特征图S4，其维度为C4×H3×W3，特征图F4，其维度为C4×H4×W4以及目标边界分割图B3，其维度为1×H3×W3；
步骤1.5、将特征图F4输入至卷积核大小为3*3的扰动卷积层，得到特征图Fdeep，其维度为C4×H4×W4。
再进一步，所述步骤S2中，将深度特征图Fdeep输入分类模块，通过分类器链得到存在浅龋、中龋以及深龋的概率P1，P2，P3，过程如下：
步骤2.1、将深度特征图Fdeep转换为一维向量，得到转换后的特征向量V1；
步骤2.2、将V1输入全连接层一，得到浅龋存在的概率P1；
步骤2.3、根据阈值和P1判断浅龋是否存在，结果值为0或1，在 V1的末尾添加结果值，得到特征向量V2；
步骤2.4、将V2输入全连接层二，得到浅龋存在的概率P2；
步骤2.5、根据阈值和P2判断中龋是否存在，结果值为0或1，在 V2的末尾添加结果值，得到特征向量V3；
步骤2.6、将V3输入全连接层三，得到深龋存在的概率P3。
更进一步，所述步骤S3中，将深层特征图Fdeep输入至解码模块进行特征解码，得到龋齿分割结果以及目标边界分割图B4、B5、B6，过程如下：
步骤3.1、将特征图Fdeep进行上采样后与特征图S4按通道组合，得到组合后的特征图，通道数为2×C4，再输入至基于边界监督的普通卷积块，得到特征图其维度为C3×H2×W2以及目标边界分割图B4，其维度为1×H3×W3；
步骤3.2、将特征图与特征图S3按通道组合，得到组合后的特征图，通道数为2×C3，再输入至基于边界监督的普通卷积块，得到特征图/>其维度为C2×H1×W1以及目标边界分割图B5，其维度为 1×H2×W2；
步骤3.3、将特征图与特征图S2按通道组合，得到组合后的特征图，通道数为2×C2，再输入至基于边界监督的普通卷积块，得到特征图/>其维度为C1×H0×W0以及目标边界分割图B6，其维度为1×H1×W1；
步骤3.4、将特征图与特征图S1按通道组合，得到组合后的特征图，通道数为2×C1，再输入至卷积核大小为3*3的普通卷积层，得到特征图F1 up，其维度为C0×H0×W0；
步骤3.5、将特征图F1 up输入1*1卷积层得到特征图维度为 1×H0×W0，将/>中每个像素值使用如下公式进行激活，得到/>上每个像素点属于龋齿区域的概率，将其乘以255得到最终龋齿的分割结果；
所述扰动卷积层包括两组卷积核大小为3*3的卷积层、特征图扰动操作、批量归一化层和激活层。
所述基于边界监督的扰动卷积块，处理过程包括：
(1)将输入特征图输入扰动卷积层，得到跳跃连接特征图S；
(2)将特征图S使用卷积核大小为1*1的卷积层进行卷积，得到特征图f1；
(3)将特征图S使用卷积核大小为3*3的卷积层进行卷积，得到特征图f2；
(4)将特征图S使用卷积核大小为3*3，空洞率为2的空洞卷积层进行卷积，得到特征图f3；
(5)将特征图S使用卷积核大小为3*3，空洞率为4的空洞卷积层进行卷积，得到特征图f4；
(6)将特征图S使用卷积核大小为3*3，空洞率为6的空洞卷积层进行卷积，得到特征图f5；
(7)将特征图f1、f2、f3、f4和f5按通道组合，得到特征图f6；
(8)将特征图f6使用卷积核大小为1*1的卷积层进行卷积并激活后输出目标边界分割图B；
(9)通过计算F＝(1+B)×S，并通过池化后得到用以输入下一层的特征图F。
进一步的，所述阈值为0.5。
所述基于边界监督的普通卷积块，处理过程为：
(1)将输入特征图输入普通卷积层，得到特征图F；
(2)将特征图F使用卷积核大小为1*1的卷积层进行卷积，得到特征图f1；
(3)将特征图F使用卷积核大小为3*3的卷积层进行卷积，得到特征图f2；
(4)将特征图F使用卷积核大小为3*3，空洞率为2的空洞卷积层进行卷积，得到特征图f3；
(5)将特征图F使用卷积核大小为3*3，空洞率为4的空洞卷积层进行卷积，得到特征图f4；
(6)将特征图F使用卷积核大小为3*3，空洞率为6的空洞卷积层进行卷积，得到特征图f5；
(7)将特征图f1、f2、f3、f4和f5按通道组合，得到特征图f6；
(8)将特征图f6使用卷积核大小为1*1的卷积层进行卷积并激活后输出目标边界分割图B；
(9)通过F＝(1+B)×S对特征图F进行更新，并通过两倍上采样后得到用以输入上一层的特征图F。
所述普通卷积层包括两组卷积核大小为3*3的卷积层、批量归一化层和激活层。
所述特征图扰动操作，利用如下公式实现对特征图的扰动；
·f(xi)＝f(xi)-mi·εi
其中xi为输入特征图，f(xi)和·f(xi)分别代表扰动前和扰动后的特征图，mi由0和1组成，遵循伯努利分布，εi用以控制扰动幅度，在训练中自动优化参数值，·表示矩阵各个点对应相乘。
本发明的有益效果主要表现在：一方面通过在特征提取过程中同时提取图片的边界信息，再通过深度监督对每一个提取出的边界分割图进行监督学习，使得模型对边界特征提取能力增强。另一方面通过将提取出的边界分割图作为注意力权重对特征图进行附加，增强了对龋齿区域特征的学习，最终使得龋齿分类效果更加准确、分割结果更加精确。
附图说明
图1是本申请基于深度边界监督的牙齿全景片龋齿识别方法流程图；
图2是本申请实施例网络结构示意图；
图3是本申请的扰动卷积块结构示意图；
图4是本申请的基于边界监督的扰动卷积块结构示意图；
图5是本申请的基于边界监督的普通卷积块结构示意图；
图6是本申请的普通卷积块结构示意图。
具体实施方式
下面结合附图对本发明作进一步描述。
参照图1～图6，一种基于深度边界监督的牙齿全景片龋齿识别方法，包括以下步骤：
步骤S1、将牙齿全景片I输入至编码模块进行特征编码，得到深度特征图Fdeep、跳跃连接特征图S1、S2、S3、S4以及目标边界分割图B1、 B2、B3。
本申请所述将牙齿全景片I进行特征编码，得到深度特征图Fdeep、跳跃连接特征图S1、S2、S3、S4以及目标边界分割图B1、B2、B3，过程如下：
步骤1.1、将牙齿全景片I输入至卷积核大小为3*3的扰动卷积层卷积，得到跳跃连接特征图S1，其维度为C1×H0×W0，再进行池化后得到特征图F1，其维度为C1×H1×W1；
步骤1.2、将特征图F1输入至基于边界监督的扰动卷积块，得到跳跃连接特征图S2，其维度为C2×H1×W1，特征图F2，其维度为C2×H2×W2以及目标边界分割图B1，其维度为1×H1×W1；
步骤1.3、将特征图F2输入至基于边界监督的扰动卷积块，得到跳跃连接特征图S3，其维度为C3×H2×W2，特征图F3，其维度为 C3×H3×W3以及目标边界分割图B2，其维度为1×H2×W2；
步骤1.4、将特征图F3输入至基于边界监督的扰动卷积块，得到跳跃连接特征图S4，其维度为C4×H3×W3，特征图F4，其维度为 C4×H4×W4以及目标边界分割图B3，其维度为1×H3×W3；
步骤1.5、将特征图F4输入至卷积核大小为3*3的扰动卷积层，得到特征图Fdeep，其维度为C4×H4×W4。
如图2所示，本申请编码模块包括三个基于边界监督的扰动卷积块。在其他的实施例中，编码模块也可以采用其他结构，例如采用两个或者四个基于边界监督的扰动卷积块的结构。
本申请使用基于边界监督的扰动卷积块后得到的深层特征图相比较于未使用的特征图对目标边界特征的识别能力更强，有助于提高网络的分类效果和分割精度。
其中，所述扰动卷积层，如图3所示，包括两组串接的卷积核大小为3*3的卷积层(conv3*3)、特征扰动、批量归一化层(BN)和激活层(ReLU)。
首先通过卷积层对输入特征图进行计算，然后特征扰动操作实现对特征图的扰动，再进行批量归一化和ReLU激活层处理，接着通过第二组卷积层、特征图扰动操作、批量归一化和ReLU激活层，最后输出处理后的特征图。
所述特征图扰动操作，利用如下公式实现对特征图的扰动；
·f(xi)＝f(xi)-mi·εi
其中xi为输入特征图，f(xi)和·f(xi)分别代表扰动前和扰动后的特征图，mi由0和1组成，遵循伯努利分布，εi用以控制扰动幅度，在训练中自动优化参数值，·表示矩阵各个点对应相乘。
需要说明的是，本申请所述扰动卷积层的卷积核大小为3*3，根据需要还可以设置为5*5，或7*7。
本申请所述基于边界监督的扰动卷积块，如图4所示，处理过程如下：
(1)将输入特征图输入扰动卷积层，得到跳跃连接特征图S；
(2)将特征图S使用卷积核大小为1*1的卷积层进行卷积，得到特征图f1；
(3)将特征图S使用卷积核大小为3*3的卷积层进行卷积，得到特征图f2；
(4)将特征图S使用卷积核大小为3*3，空洞率为2的空洞卷积层进行卷积，得到特征图f3；
(5)将特征图S使用卷积核大小为3*3，空洞率为4的空洞卷积层进行卷积，得到特征图f4；
(6)将特征图S使用卷积核大小为3*3，空洞率为6的空洞卷积层进行卷积，得到特征图f5；
(7)将特征图f1、f2、f3、f4和f5按通道组合，得到特征图f6；
(8)将特征图f6使用卷积核大小为1*1的卷积层进行卷积并激活后输出目标边界分割图B；
(9)通过计算F＝(1+B)×S，并通过池化后得到用以输入下一层的特征图F。
需要说明的是，本申请所述基于边界监督的扰动卷积块中除了扰动卷积层外卷积层一共有6个，根据需要还可以设置为不同的个数。
步骤S2、将深度特征图Fdeep输入分类模块，通过分类器链得到存在浅龋、中龋以及深龋的概率P1，P2，P3。
本申请所述将深度特征图Fdeep输入分类模块，通过分类器链得到存在浅龋、中龋以及深龋的概率P1，P2，P3，过程如下：
步骤2.1、将深度特征图Fdeep转换为一维向量，得到转换后的特征向量V1；
步骤2.2、将V1输入全连接层一，得到浅龋存在的概率P1；
步骤2.3、根据阈值和P1判断浅龋是否存在，结果值为0或1，在 V1的末尾添加结果值，得到特征向量V2；
步骤2.4、将V2输入全连接层二，得到浅龋存在的概率P2；
步骤2.5、根据阈值和P2判断中龋是否存在，结果值为0或1，在 V2的末尾添加结果值，得到特征向量V3；
步骤2.6、将V3输入全连接层三，得到深龋存在的概率P3。
需要说明的是，本申请所用阈值为0.5，根据需要还可以设置为不同的值。
步骤S3、将深层特征图Fdeep输入至解码模块进行特征解码，得到龋齿分割结果以及目标边界分割图B4、B5、B6。
本申请所述将深层特征图Fdeep输入至解码模块进行特征解码，得到龋齿分割结果以及目标边界分割图B4、B5、B6，过程如下：
步骤3.1、将特征图Fdeep进行上采样后与特征图S4按通道组合，得到组合后的特征图，通道数为2×C4，再输入至基于边界监督的普通卷积块，得到特征图其维度为C3×H2×W2以及目标边界分割图B4，其维度为1×H3×W3；
步骤3.2、将特征图与特征图S3按通道组合，得到组合后的特征图，通道数为2×C3，再输入至基于边界监督的普通卷积块，得到特征图/>其维度为C2×H1×W1以及目标边界分割图B5，其维度为 1×H2×W2；
步骤3.3、将特征图与特征图S2按通道组合，得到组合后的特征图，通道数为2×C2，再输入至基于边界监督的普通卷积块，得到特征图/>其维度为C1×H0×W0以及目标边界分割图B6，其维度为 1×H1×W1；
步骤3.4、将特征图与特征图S1按通道组合，得到组合后的特征图，通道数为2×C1，再输入至卷积核大小为3*3的普通卷积层，得到特征图F1 up，其维度为C0×H0×W0；
步骤3.5、将特征图F1 up输入1*1卷积层得到特征图维度为 1×H0×W0，将/>中每个像素值使用如下公式进行激活，得到/>上每个像素点属于龋齿区域的概率，将其乘以255得到最终龋齿的分割结果。
本申请所述基于边界监督的普通卷积块，如图5所示，处理过程如下：
(1)将输入特征图输入普通卷积层，得到特征图F；
(2)将特征图F使用卷积核大小为1*1的卷积层进行卷积，得到特征图f1；
(3)将特征图F使用卷积核大小为3*3的卷积层进行卷积，得到特征图f2；
(4)将特征图F使用卷积核大小为3*3，空洞率为2的空洞卷积层进行卷积，得到特征图f3；
(5)将特征图F使用卷积核大小为3*3，空洞率为4的空洞卷积层进行卷积，得到特征图f4；
(6)将特征图F使用卷积核大小为3*3，空洞率为6的空洞卷积层进行卷积，得到特征图f5；
(7)将特征图f1、f2、f3、f4和f5按通道组合，得到特征图f6；
(8)将特征图f6使用卷积核大小为1*1的卷积层进行卷积并激活后输出目标边界分割图B；
(9)通过F＝(1+B)×S对特征图F进行更新，并通过两倍上采样后得到用以输入上一层的特征图F。
需要说明的是，本申请所述基于边界监督的普通卷积块中除了普通卷积层外卷积层一共有6个，根据需要还可以设置为不同的个数。
本申请所述普通卷积层，如图6所示，包括两组串接的卷积核大小为3*3的卷积层(conv3*3)、批量归一化层(BN)和激活层(ReLU)。
首先通过卷积层对输入特征图进行计算，然后进行批量归一化和 ReLU激活层处理，接着通过第二组卷积层、批量归一化和ReLU激活层，最后输出处理后的特征图。
同样的，本实施例中普通卷积层的卷积核大小为3*3，根据需要还可以设置为5*5，或7*7。
需要说明的是，本申请中C为通道数，H为图片的高度，W为图片的宽度，字母的下标表示序号，用以区别不同特征图的维度。
本申请通过深度边界监督，直接学习到分割区域边界的特征，能够更为容易找到分割区域边界，提高了边界不清晰的龋齿图像的分割效果。对于龋齿图像，龋齿内的两部分区域可能会在特征上存在较大差异，容易将这两部分识别为两类语义区域。同理，部分龋齿图像不同语义区域内图像特征会存在较大相似性，易于将这两部分识别为一类语义区域。而通过学习边界信息，能够更好的找到正确的语义边界，既可以很好的解决龋齿边界分割不准确的问题，又可以提高龋齿分类的效果。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (8)
1.一种基于深度边界监督的牙齿全景片龋齿识别方法，其特征在于，所述方法包括以下步骤：
步骤S1、将牙齿全景片I输入至编码模块进行特征编码，得到深度特征图Fdeep、跳跃连接特征图S1、S2、S3、S4以及目标边界分割图B1、B2、B3；
步骤S2、将深度特征图Fdeep输入分类模块，通过分类器链得到存在浅龋、中龋以及深龋的概率P1，P2，P3；
步骤S3、将深层特征图Fdeep输入至解码模块进行特征解码，得到龋齿分割结果以及目标边界分割图B4、B5、B6；
所述步骤S1中，将牙齿全景片I输入至编码模块进行特征编码，得到深度特征图Fdeep、跳跃连接特征图S1、S2、S3、S4以及目标边界分割图B1、B2、B3，过程如下：
步骤1.1、将牙齿全景片I输入至卷积核大小为3*3的扰动卷积层卷积，得到跳跃连接特征图S1，其维度为C1×H0×W0，再进行池化后得到特征图F1，其维度为C1×H1×W1；
步骤1.2、将特征图F1输入至基于边界监督的扰动卷积块，得到跳跃连接特征图S2，其维度为C2×H1×W1，特征图F2，其维度为C2×H2×W2以及目标边界分割图B1，其维度为1×H1×W1；
步骤1.3、将特征图F2输入至基于边界监督的扰动卷积块，得到跳跃连接特征图S3，其维度为C3×H2×W2，特征图F3，其维度为C3×H3×W3以及目标边界分割图B2，其维度为1×H2×W2；
步骤1.4、将特征图F3输入至基于边界监督的扰动卷积块，得到跳跃连接特征图S4，其维度为C4×H3×W3，特征图F4，其维度为C4×H4×W4以及目标边界分割图B3，其维度为1×H3×W3；
步骤1.5、将特征图F4输入至卷积核大小为3*3的扰动卷积层，得到特征图Fdeep，其维度为C4×H4×W4；
所述基于边界监督的扰动卷积块，处理过程包括：
(1)将输入特征图输入扰动卷积层，得到跳跃连接特征图S；
(2)将特征图S使用卷积核大小为1*1的卷积层进行卷积，得到特征图f1；
(3)将特征图S使用卷积核大小为3*3的卷积层进行卷积，得到特征图f2；
(4)将特征图S使用卷积核大小为3*3，空洞率为2的空洞卷积层进行卷积，得到特征图f3；
(5)将特征图S使用卷积核大小为3*3，空洞率为4的空洞卷积层进行卷积，得到特征图f4；
(6)将特征图S使用卷积核大小为3*3，空洞率为6的空洞卷积层进行卷积，得到特征图f5；
(7)将特征图f1、f2、f3、f4和f5按通道组合，得到特征图f6；
(8)将特征图f6使用卷积核大小为1*1的卷积层进行卷积并激活后输出目标边界分割图B；
(9)通过计算F＝(1+B)×S，并通过池化后得到用以输入下一层的特征图F。
2.如权利要求1所述的基于深度边界监督的牙齿全景片龋齿识别方法，其特征在于，所述步骤S2中，将深度特征图Fdeep输入分类模块，通过分类器链得到存在浅龋、中龋以及深龋的概率P1，P2，P3，过程如下：
步骤2.1、将深度特征图Fdeep转换为一维向量，得到转换后的特征向量V1；
步骤2.2、将V1输入全连接层一，得到浅龋存在的概率P1；
步骤2.3、根据阈值和P1判断浅龋是否存在，结果值为0或1，在V1的末尾添加结果值，得到特征向量V2；
步骤2.4、将V2输入全连接层二，得到浅龋存在的概率P2；
步骤2.5、根据阈值和P2判断中龋是否存在，结果值为0或1，在V2的末尾添加结果值，得到特征向量V3；
步骤2.6、将V3输入全连接层三，得到深龋存在的概率P3。
3.如权利要求1所述的基于深度边界监督的牙齿全景片龋齿识别方法，其特征在于，所述步骤S3中，将深层特征图Fdeep输入至解码模块进行特征解码，得到龋齿分割结果以及目标边界分割图B4、B5、B6，过程如下：
步骤3.1、将特征图Fdeep进行上采样后与特征图S4按通道组合，得到组合后的特征图，通道数为2×C4，再输入至基于边界监督的普通卷积块，得到特征图其维度为C3×H2×W2以及目标边界分割图B4，其维度为1×H3×W3；
步骤3.2、将特征图与特征图S3按通道组合，得到组合后的特征图，通道数为2×C3，再输入至基于边界监督的普通卷积块，得到特征图/>其维度为C2×H1×W1以及目标边界分割图B5，其维度为1×H2×W2；
步骤3.3、将特征图与特征图S2按通道组合，得到组合后的特征图，通道数为2×C2，再输入至基于边界监督的普通卷积块，得到特征图/>其维度为C1×H0×W0以及目标边界分割图B6，其维度为1×H1×W1；
步骤3.4、将特征图与特征图S1按通道组合，得到组合后的特征图，通道数为2×C1，再输入至卷积核大小为3*3的普通卷积层，得到特征图F1 up，其维度为C0×H0×W0；
步骤3.5、将特征图F1 up输入1*1卷积层得到特征图维度为1×H0×W0，将/>中每个像素值使用如下公式进行激活，得到/>上每个像素点属于龋齿区域的概率，将其乘以255得到最终龋齿的分割结果；
4.如权利要求1所述的基于深度边界监督的牙齿全景片龋齿识别方法，其特征在于，所述扰动卷积层包括两组卷积核大小为3*3的卷积层、特征图扰动操作、批量归一化层和激活层。
5.如权利要求2所述的基于深度边界监督的牙齿全景片龋齿识别方法，其特征在于，所述阈值为0.5。
6.如权利要求3所述的基于深度边界监督的牙齿全景片龋齿识别方法，其特征在于，所述基于边界监督的普通卷积块，处理过程为：
(1)将输入特征图输入普通卷积层，得到特征图F；
(2)将特征图F使用卷积核大小为1*1的卷积层进行卷积，得到特征图f1；
(3)将特征图F使用卷积核大小为3*3的卷积层进行卷积，得到特征图f2；
(4)将特征图F使用卷积核大小为3*3，空洞率为2的空洞卷积层进行卷积，得到特征图f3；
(5)将特征图F使用卷积核大小为3*3，空洞率为4的空洞卷积层进行卷积，得到特征图f4；
(6)将特征图F使用卷积核大小为3*3，空洞率为6的空洞卷积层进行卷积，得到特征图f5；
(7)将特征图f1、f2、f3、f4和f5按通道组合，得到特征图f6；
(8)将特征图f6使用卷积核大小为1*1的卷积层进行卷积并激活后输出目标边界分割图B；
(9)通过F＝(1+B)×S对特征图F进行更新，并通过两倍上采样后得到用以输入上一层的特征图F。
7.如权利要求3所述的基于深度边界监督的牙齿全景片龋齿识别方法，其特征在于，所述普通卷积层包括两组卷积核大小为3*3的卷积层、批量归一化层和激活层。
8.如权利要求1所述的基于深度边界监督的牙齿全景片龋齿识别方法，其特征在于，所述特征图扰动操作，利用如下公式实现对特征图的扰动；
f(xi)＝f(xi)-mi·εi
其中xi为输入特征图，f(xi)和f(xi)分别代表扰动前和扰动后的特征图，mi由0和1组成，遵循伯努利分布，εi用以控制扰动幅度，在训练中自动优化参数值，·表示矩阵各个点对应相乘。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110097168.9A CN112837278B (zh) | 2021-01-25 | 2021-01-25 | 基于深度边界监督的牙齿全景片龋齿识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110097168.9A CN112837278B (zh) | 2021-01-25 | 2021-01-25 | 基于深度边界监督的牙齿全景片龋齿识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112837278A CN112837278A (zh) | 2021-05-25 |
| CN112837278B true CN112837278B (zh) | 2024-04-19 |
Family
ID=75931385
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110097168.9A Active CN112837278B (zh) | 2021-01-25 | 2021-01-25 | 基于深度边界监督的牙齿全景片龋齿识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112837278B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116777818B (zh) * | 2022-03-11 | 2024-05-24 | 广州星际悦动股份有限公司 | 口腔清洁方案确定方法、装置、电子设备及存储介质 |
| CN117252825A (zh) * | 2023-09-08 | 2023-12-19 | 深圳市罗湖区人民医院 | 基于口腔全景片图像的龋齿识别方法和装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108062753A (zh) * | 2017-12-29 | 2018-05-22 | 重庆理工大学 | 基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法 |
| CN109886273A (zh) * | 2019-02-26 | 2019-06-14 | 四川大学华西医院 | 一种cmr图像分割分类系统 |
| CN110910390A (zh) * | 2019-11-11 | 2020-03-24 | 大连理工大学 | 一种基于深度畸变卷积的全景三维彩色点云语义分割方法 |
| CN111462126A (zh) * | 2020-04-08 | 2020-07-28 | 武汉大学 | 一种基于边缘增强的语义图像分割方法及系统 |
-
2021
- 2021-01-25 CN CN202110097168.9A patent/CN112837278B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108062753A (zh) * | 2017-12-29 | 2018-05-22 | 重庆理工大学 | 基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法 |
| CN109886273A (zh) * | 2019-02-26 | 2019-06-14 | 四川大学华西医院 | 一种cmr图像分割分类系统 |
| CN110910390A (zh) * | 2019-11-11 | 2020-03-24 | 大连理工大学 | 一种基于深度畸变卷积的全景三维彩色点云语义分割方法 |
| CN111462126A (zh) * | 2020-04-08 | 2020-07-28 | 武汉大学 | 一种基于边缘增强的语义图像分割方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112837278A (zh) | 2021-05-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Panetta et al. | Tufts dental database: a multimodal panoramic x-ray dataset for benchmarking diagnostic systems | |
| CN110223281B (zh) | 一种数据集中含有不确定数据时的肺结节图像分类方法 | |
| Imak et al. | Dental caries detection using score-based multi-input deep convolutional neural network | |
| Zhou et al. | Lung cancer cell identification based on artificial neural network ensembles | |
| CN112837278B (zh) | 基于深度边界监督的牙齿全景片龋齿识别方法 | |
| Oliver et al. | Automatic classification of breast density | |
| Kharel et al. | Early diagnosis of breast cancer using contrast limited adaptive histogram equalization (CLAHE) and Morphology methods | |
| Kong et al. | Automated maxillofacial segmentation in panoramic dental x-ray images using an efficient encoder-decoder network | |
| CN109064455B (zh) | 一种基于bi-rads的乳腺超声图像多尺度融合的分类方法 | |
| Lakshmi et al. | Classification of Dental Cavities from X-ray images using Deep CNN algorithm | |
| CN112785569B (zh) | 基于边缘指导和多尺度融合的全景片龋齿分割方法 | |
| Kim et al. | Breast mass classification using eLFA algorithm based on CRNN deep learning model | |
| CN111899250A (zh) | 基于区块链和医学图像的远程疾病智能诊断系统 | |
| CN112085028B (zh) | 基于特征图扰动以及边界监督的牙齿全景片语义分割方法 | |
| CN113344867B (zh) | 基于近中、远中关键点的牙周炎吸收程度鉴别方法 | |
| CN110782441A (zh) | 一种基于深度学习的dr影像肺结核智能分割与检测方法 | |
| CN113160151B (zh) | 基于深度学习及注意力机制的全景片龋齿深度识别方法 | |
| Xue et al. | Region-of-interest aware 3D ResNet for classification of COVID-19 chest computerised tomography scans | |
| Datta et al. | Neutrosophic set-based caries lesion detection method to avoid perception error | |
| CN112508943A (zh) | 基于超声影像的乳腺肿瘤识别方法 | |
| Li et al. | Detection of tooth position by YOLOv4 and various dental problems based on CNN with bitewing radiograph (July 2023) | |
| CN116205925A (zh) | 基于改进U-Net网络的牙齿咬合翼片龋齿分割方法 | |
| Velusamy et al. | Faster Region‐based Convolutional Neural Networks with You Only Look Once multi‐stage caries lesion from oral panoramic X‐ray images | |
| Alam et al. | AMFP-net: Adaptive multi-scale feature pyramid network for diagnosis of pneumoconiosis from chest X-ray images | |
| Razali et al. | Color-assisted Multi-input Convolutional Neural Network for Cancer Classification on Mammogram Images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |