CN109859203B - 基于深度学习的缺陷牙齿图像识别方法 - Google Patents

基于深度学习的缺陷牙齿图像识别方法 Download PDF

Info

Publication number
CN109859203B
CN109859203B CN201910125415.4A CN201910125415A CN109859203B CN 109859203 B CN109859203 B CN 109859203B CN 201910125415 A CN201910125415 A CN 201910125415A CN 109859203 B CN109859203 B CN 109859203B
Authority
CN
China
Prior art keywords
image
deep learning
tooth
edge
data set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910125415.4A
Other languages
English (en)
Other versions
CN109859203A (zh
Inventor
于皓
张长源
林秀娇
程辉
张思慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
AFFILIATED STOMATOLOGICAL HOSPITAL FUJIAN MEDICAL UNIVERSITY
Original Assignee
AFFILIATED STOMATOLOGICAL HOSPITAL FUJIAN MEDICAL UNIVERSITY
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by AFFILIATED STOMATOLOGICAL HOSPITAL FUJIAN MEDICAL UNIVERSITY filed Critical AFFILIATED STOMATOLOGICAL HOSPITAL FUJIAN MEDICAL UNIVERSITY
Priority to CN201910125415.4A priority Critical patent/CN109859203B/zh
Publication of CN109859203A publication Critical patent/CN109859203A/zh
Application granted granted Critical
Publication of CN109859203B publication Critical patent/CN109859203B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明涉及一种基于深度学习的缺陷牙齿图像识别方法，首先提供的缺陷牙齿图像数据集合采用分水岭分割算法对数据集中的图像进行区域分割，得到区域分割后的图像；用高斯低通滤波器滤去噪声采用canny算子提取图像边缘得到边缘提取后的图像；分别进行图像叠加；然后，建立深度学习的图像训练数据集，并手动对图像的缺陷区域标记；选取cifar10Net的深度学习网络模型，对全连接层参数微调；对牙齿图像数据集进行迁移学习，训练并优化网络结构与参数；最后，保存训练好的神经网络模型，输入待判别的新图像，完成图像预处理及牙齿图像的缺陷区域建议。本发明将深度学习理论应用于实际有效的缺陷牙齿图像识别方法具有很强的鲁棒性，能较好地运用于口腔医学图像的智能识别领域。

Description

基于深度学习的缺陷牙齿图像识别方法
技术领域
本发明涉及口腔医学领域，特别是一种基于深度学习的缺陷牙齿图像识别方法。
背景技术
缺陷牙齿的早期诊断是口腔医学领域的一大难题。早期缺陷牙齿的累及区域隐蔽，准确的判断对临床医师治疗计划的制定非常重要。对于缺陷牙齿的病症而言，常见的判别方式为拍摄X线片后，由临床医生通过肉眼观测，或直接由临床医生观察牙齿后判别。但是由于病变在早期阶段，病变不明显，导致肉眼不易分辨。现有临床也采用CT体层图片判别缺陷牙齿的区域。与传统X线片相比，使用CT体层图片虽然准确率相对更高，但因其价格昂贵且辐射等副作用较强，不易在临床推广。
计算机的深度学习模型具有很强的特征学习能力，在图像分类识别领域有着重要应用，因此利用计算机对缺陷牙齿图像进行处理分析，能够适当提高缺陷牙齿检测的准确性。随着计算机图像识别技术的发展并在口腔临床中日渐普及，利用深度学习方法对缺陷牙齿X线片图像进行识别，通过设计计算机软件可以实现辅助判别，提高牙齿病症的临床检测敏感性/特异性及准确性，为医师后续对缺陷牙齿的早期诊断或早期干预提供参考，最大限度保存牙体组织，提高人体健康水平。
发明内容
有鉴于此，本发明的目的是提出一种基于深度学习的缺陷牙齿图像识别方法，能够自主学习，随着输入图像的改变，能够重新组织已有的知识结构，不断改善自身的性能，提高识别精度。
本发明采用以下方案实现：一种基于深度学习的缺陷牙齿图像识别方法，包括以下步骤：
步骤S1：提供缺陷牙齿图像数据集和原始图像，采用分水岭分割算法对所述牙齿图像数据集进行图像分割，分离出牙齿根部、牙齿冠部和背景区域，得到区域分割后的图像；
步骤S2：采用高斯低通滤波器滤去所述原始图像的噪声用以减少伪边缘的识别；并用canny算子提取所述原始图像的边缘特征，得到边缘提取后的图像；
步骤S3：将所述原始图像与所述区域分割后的图像以及边缘提取后的图像分别叠加，得到区域分割叠加图像和边缘提取叠加图像；保留所述原始图像细节并加强所述原始图像的边缘与区域信息，用以增强分割区域与边缘提取特性；
步骤S4：采用matlab中的TIL对所述原始图像标识缺陷牙齿区域，用以建立用于深度学习模型的训练数据集；
步骤S5：采用深度学习的卷积神经网络cifar10Net模型，针对所述牙齿图像，对所述深度学习的卷积神经网络cifar10Net模型的全连接层进行网络结构微调；
步骤S6：采用网络结构微调后的深度学习的卷积神经网络cifar10Net模型对所述牙齿图像数据集进行迁移学习，训练并优化所述深度学习的卷积神经网络cifar10Net模型结构与参数；保存训练好的深度学习的卷积神经网络cifar10Net模型；
步骤S7：提供一待识别图像，通过Matlab载入待识别图像，对所述待识别图像执行步骤S1到步骤S3，并利用步骤S6中所述的训练好的深度学习的卷积神经网络cifar10Net模型进行计算，获取缺陷牙齿区域建议。
进一步地，所述步骤S1具体包括以下内容：首先使用基于开的重建和基于闭的重建标记所述牙齿图像的前景与背景，再对所述牙齿图像的水平与垂直方向采用Sobel边缘算子滤波，最后采用分割函数做分水岭变换计算，分割所述牙齿图像区域。
进一步地，步骤S2中所述高斯滤波器核公式为：
Figure BDA0001973345350000031
高斯滤波器核大小为5*5的矩形，σ的值为1.4；用高阈值和低阈值区分边缘像素，取值分别为0.9，0.65，得到强边缘点和弱边缘点；其中强边缘点被确定为真实边缘，弱边缘点则为颜色变化或者噪声。
其中滤波核大小为(2k+1)*(2k+1)：
所述canny算子中使用边缘差分算子计算差分得到梯度和方向：
Figure BDA0001973345350000032
θ＝arctan(Gy/Gx)
进一步地，步骤S6中所述训练并优化所述深度学习的卷积神经网络cifar10Net模型结构与参数的具体内容为：将初始学习率设置为0.0001，最大迭代次数为400；为避免过拟合，在迭代次数为200次时数据集loss值达到期望的阈值；对所述原始图像，所述区域分割叠加图像以及所述边缘提取叠加图像都进行同样的操作后，保存训练后的网络模型。
与现有技术相比，本发明有以下有益效果：
(1)本发明排除了人为，环境，仪器设备等涉及到的主观误差因素，做到省时省力。
(2)本发明采用自主学习行为，随着输入图像的改变，本发明能够重新组织已有的知识结构，不断改善自身的性能，提高识别精度。
附图说明
图1为本发明实施例的输入示意图。
图2为本发明实施例的输出示意图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
如图1所示，本实施例提供了一种基于深度学习的缺陷牙齿图像识别方法，包括以下步骤：
步骤S1：提供缺陷牙齿图像数据集和原始图像，采用分水岭分割算法对所述牙齿图像数据集进行图像分割，分离出牙齿根部、牙齿冠部和背景区域，得到区域分割后的图像；
步骤S2：采用高斯低通滤波器滤去所述原始图像的噪声用以减少伪边缘的识别；并用canny算子提取所述原始图像的边缘特征，得到边缘提取后的图像；
步骤S3：将所述原始图像与所述区域分割后的图像以及边缘提取后的图像分别叠加，得到区域分割叠加图像和边缘提取叠加图像；保留所述原始图像细节并加强所述原始图像的边缘与区域信息，用以增强分割区域与边缘提取特性；
步骤S4：采用matlab中的training Image Labeler(TIL)对原始图像手动框选标识缺陷牙齿区域，用以建立用于深度学习模型的训练数据集；同一张图片中可以有一个或者多个任意或者相同种类的标识框，在手动标记完成后，使用matlab自带工具将数据导出为table格式；
步骤S5：采用深度学习的卷积神经网络cifar10Net模型，针对所述牙齿图像，对所述深度学习的卷积神经网络cifar10Net模型的全连接层进行网络结构微调；
步骤S6：采用网络结构微调后的深度学习的卷积神经网络cifar10Net模型对所述牙齿图像数据集进行迁移学习，训练并优化所述深度学习的卷积神经网络cifar10Net模型结构与参数；保存训练好的深度学习的卷积神经网络cifar10Net模型；
步骤S7：提供一待识别图像，通过Matlab载入待识别图像，对所述待识别图像执行步骤S1到步骤S3，并利用步骤S6中所述的训练好的深度学习的卷积神经网络cifar10Net模型进行计算，获取缺陷牙齿区域建议。在本实施例中，所述步骤S1具体包括以下内容：首先使用基于开的重建和基于闭的重建标记所述牙齿图像的前景与背景，再对所述牙齿图像的水平与垂直方向采用Sobel边缘算子滤波，最后采用分割函数做分水岭变换计算，分割所述牙齿图像区域。
在本实施例中，步骤S2中所述高斯滤波器核公式为：
Figure BDA0001973345350000061
高斯滤波器核大小为5*5的矩形，σ的值为1.4；用高阈值和低阈值区分边缘像素，取值分别为0.9，0.65，得到强边缘点和弱边缘点；其中强边缘点被确定为真实边缘，弱边缘点则为颜色变化或者噪声。
其中滤波核大小为(2k+1)*(2k+1)：
canny算子中使用边缘差分算子计算差分得到梯度和方向：
Figure BDA0001973345350000062
θ＝arctan(Gy/Gx)
在本实施例中，步骤S6中所述训练并优化所述深度学习的卷积神经网络cifar10Net模型结构与参数的具体内容为：将初始学习率设置为0.0001，最大迭代次数为400；为避免过拟合，在迭代次数为200次时数据集loss值达到期望的阈值；对所述原始图像，区域分割叠加图像以及边缘提取叠加图像都进行同样的操作后，保存训练后的网络模型。
较佳的，如图2所示，本实施例采用边缘提取、图像分割等处理技术对牙齿龋损图像进行预处理及特征提取，而后对构建的图像数据集采用卷积神经网络的迁移学习完成模型训练，最后输入图像即可得出缺陷区域识别。
较佳的，本实施例将深度学习理论应用于实际生活问题中，是一种全面、有效的牙齿缺陷区域的识别方法，具有很强的鲁棒性，能较好地运用于口腔医学领域。
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (4)

1.一种基于深度学习的缺陷牙齿图像识别方法，其特征在于：包括以下步骤：
步骤S1：提供缺陷牙齿图像数据集和原始图像，采用分水岭分割算法对所述牙齿图像数据集进行图像分割，分离出牙齿根部、牙齿冠部和背景区域，得到区域分割后的图像；
步骤S2：采用高斯低通滤波器滤去所述原始图像的噪声用以减少伪边缘的识别；并用canny算子提取所述原始图像的边缘特征，得到边缘提取后的图像；
步骤S3：将所述原始图像与所述区域分割后的图像以及边缘提取后的图像分别叠加，得到区域分割叠加图像和边缘提取叠加图像；保留所述原始图像细节并加强所述原始图像的边缘与区域信息，用以增强分割区域与边缘提取特性；
步骤S4：采用matlab中的TIL对所述原始图像标识缺陷牙齿区域，用以建立用于深度学习模型的训练数据集；
步骤S5：采用深度学习的卷积神经网络cifar10Net模型，针对所述牙齿图像，对所述深度学习的卷积神经网络cifar10Net模型的全连接层进行网络结构微调；
步骤S6：采用网络结构微调后的深度学习的卷积神经网络cifar10Net模型对所述牙齿图像数据集进行迁移学习，训练并优化所述深度学习的卷积神经网络cifar10Net模型结构与参数；保存训练好的深度学习的卷积神经网络cifar10Net模型；
步骤S7：提供一待识别图像，通过Matlab载入待识别图像，对所述待识别图像执行步骤S1到步骤S3，并利用步骤S6中所述的训练好的深度学习的卷积神经网络cifar10Net模型进行计算，获取缺陷牙齿区域建议。
2.根据权利要求1所述的一种基于深度学习的缺陷牙齿图像识别方法，其特征在于：所述步骤S1具体包括以下内容：首先使用基于开的重建和基于闭的重建标记所述牙齿图像的前景与背景，再对所述牙齿图像的水平与垂直方向采用Sobel边缘算子滤波，最后采用分割函数做分水岭变换计算，分割所述牙齿图像区域。
3.根据权利要求1所述的一种基于深度学习的缺陷牙齿图像识别方法，其特征在于：步骤S2中所述高斯滤波器核公式为：
Figure FDA0001973345340000021
高斯滤波器核大小为5*5的矩形，σ的值为1.4；用高阈值和低阈值区分边缘像素，取值分别为0.9，0.65，得到强边缘点和弱边缘点；其中强边缘点被确定为真实边缘，弱边缘点则为颜色变化或者噪声。
其中滤波核大小为(2k+1)*(2k+1)：
所述canny算子中使用边缘差分算子计算差分得到梯度和方向：
Figure FDA0001973345340000022
θ＝arctan(Gy/Gx)。
4.根据权利要求1所述的一种基于深度学习的缺陷牙齿图像识别方法，其特征在于：步骤S6中所述训练并优化所述深度学习的卷积神经网络cifar10Net模型结构与参数的具体内容为：将初始学习率设置为0.0001，最大迭代次数为400；为避免过拟合，在迭代次数为200次时数据集loss值达到期望的阈值；对所述原始图像，所述区域分割叠加图像以及所述边缘提取叠加图像都进行同样的操作后，保存训练后的网络模型。
CN201910125415.4A 2019-02-20 2019-02-20 基于深度学习的缺陷牙齿图像识别方法 Active CN109859203B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910125415.4A CN109859203B (zh) 2019-02-20 2019-02-20 基于深度学习的缺陷牙齿图像识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910125415.4A CN109859203B (zh) 2019-02-20 2019-02-20 基于深度学习的缺陷牙齿图像识别方法

Publications (2)

Publication Number Publication Date
CN109859203A CN109859203A (zh) 2019-06-07
CN109859203B true CN109859203B (zh) 2022-10-14

Family

ID=66898291

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910125415.4A Active CN109859203B (zh) 2019-02-20 2019-02-20 基于深度学习的缺陷牙齿图像识别方法

Country Status (1)

Country Link
CN (1) CN109859203B (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200372301A1 (en) * 2019-05-21 2020-11-26 Retrace Labs Adversarial Defense Platform For Automated Dental Image Classification
CN113257372B (zh) * 2020-02-12 2024-05-07 阿里巴巴集团控股有限公司 口腔健康管理相关系统、方法、装置及设备
CN111325281B (zh) * 2020-03-05 2023-10-27 新希望六和股份有限公司 深度学习网络的训练方法、装置、计算机设备和存储介质
CN113436734B (zh) * 2020-03-23 2024-03-05 北京好啦科技有限公司 基于人脸结构定位的牙齿健康评估方法、设备和存储介质
CN111627014B (zh) * 2020-05-29 2023-04-28 四川大学 一种基于深度学习的根管检测与评分的方法及系统
CN111784639A (zh) * 2020-06-05 2020-10-16 浙江大学 基于深度学习的口腔全景片龋齿深度识别方法
CN111798445B (zh) * 2020-07-17 2023-10-31 北京大学口腔医院 一种基于卷积神经网络的牙齿图像龋坏识别方法及系统
CN111914931A (zh) * 2020-07-31 2020-11-10 重庆医科大学附属口腔医院 一种建立口腔诊断神经网络模型的方法及口腔诊断方法
CN111933252B (zh) * 2020-08-12 2023-08-04 杭州深睿博联科技有限公司 一种牙位检出和缺失牙标记方法及装置
CN111986217B (zh) * 2020-09-03 2024-01-16 北京大学口腔医学院 一种图像处理方法、装置及设备
CN112037913B (zh) * 2020-09-15 2022-08-30 南昌大学 一种基于卷积神经网络的牙周炎智能检测系统
CN112150422B (zh) * 2020-09-15 2023-12-08 苏州知会智能科技有限公司 一种基于多任务学习的口腔健康自我检测模型的建模方法
CN112288735A (zh) * 2020-11-06 2021-01-29 南京大学 一种基于神经网络的利用牙齿锥形束ct图自动检测牙折裂的方法
CN112598603A (zh) * 2021-02-01 2021-04-02 福建医科大学附属口腔医院 一种基于卷积神经网络的口腔龋病图像智能识别方法
CN113139977B (zh) * 2021-04-23 2022-12-27 西安交通大学 一种基于YOLO和U-Net的口腔曲断影像智齿分割方法
CN113361409A (zh) * 2021-06-07 2021-09-07 黑蜂智造(深圳)科技有限公司 牙齿图像数据处理方法、装置、电子设备及可读存储介质
CN114004970A (zh) * 2021-11-09 2022-02-01 粟海信息科技(苏州)有限公司 一种牙齿区域检测方法、装置、设备及存储介质
CN115393314A (zh) * 2022-08-23 2022-11-25 北京雅德嘉企业管理有限公司 一种基于深度学习的口腔医疗图像识别方法及系统
CN117058125B (zh) * 2023-09-01 2024-03-15 无锡维凯科技有限公司 基于手机后盖玻璃的检测方法和系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106875386A (zh) * 2017-02-13 2017-06-20 苏州江奥光电科技有限公司 一种利用深度学习自动进行牙齿健康状况检测的方法
CN107909095A (zh) * 2017-11-07 2018-04-13 江苏大学 一种基于深度学习的图像识别方法
CN108305243A (zh) * 2017-12-08 2018-07-20 五邑大学 一种基于深度学习的磁瓦表面缺陷检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106875386A (zh) * 2017-02-13 2017-06-20 苏州江奥光电科技有限公司 一种利用深度学习自动进行牙齿健康状况检测的方法
CN107909095A (zh) * 2017-11-07 2018-04-13 江苏大学 一种基于深度学习的图像识别方法
CN108305243A (zh) * 2017-12-08 2018-07-20 五邑大学 一种基于深度学习的磁瓦表面缺陷检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于深度学习的木材缺陷图像检测方法;程玉柱等;《林业机械与木工设备》;20180810(第08期);全文 *
糖尿病性视网膜图像的深度学习分类方法;李琼等;《中国图象图形学报》;20181016(第10期);全文 *

Also Published As

Publication number Publication date
CN109859203A (zh) 2019-06-07

Similar Documents

Publication Publication Date Title
CN109859203B (zh) 基于深度学习的缺陷牙齿图像识别方法
Mira et al. Early diagnosis of oral cancer using image processing and artificial intelligence
US9710907B2 (en) Diagnosis support system using panoramic radiograph and diagnosis support program using panoramic radiograph
CN112446862B (zh) 一种基于人工智能的动态乳腺超声视频全病灶实时检测和分割装置、系统及图像处理方法
Kumar et al. Descriptive analysis of dental X-ray images using various practical methods: A review
CN109452941B (zh) 基于图片正畸与边界提取的肢体周径测量方法及系统
CN108615239B (zh) 基于阈值技术和灰度投影的舌图像分割方法
Chen et al. Missing teeth and restoration detection using dental panoramic radiography based on transfer learning with CNNs
CN112263217B (zh) 一种基于改进卷积神经网络的非黑素瘤皮肤癌病理图像病变区域检测方法
CN117152507B (zh) 一种牙齿健康状态检测方法、装置、设备及存储介质
CN107767362A (zh) 一种基于深度学习的肺癌早筛装置
CN112669959B (zh) 一种基于图像的白癜风病情自动评估方法
CN111798445B (zh) 一种基于卷积神经网络的牙齿图像龋坏识别方法及系统
CN109087310A (zh) 睑板腺纹理区域的分割方法、系统、存储介质及智能终端
Kumar et al. Automated recognition of dental caries using K-Means and PCA based algorithm
CN113130066A (zh) 一种基于人工智能的舌诊图像识别方法
Chen et al. Detection of various dental conditions on dental panoramic radiography using Faster R-CNN
Somasundaram et al. Brain extraction method for T1-weighted magnetic resonance scans
Cazzolato et al. Semi-automatic ulcer segmentation and wound area measurement supporting telemedicine
CN109816665A (zh) 一种光学相干断层扫描图像的快速分割方法及装置
CN112200815A (zh) 基于语义分割网络PSPNet的甲状腺结节超声图像的分割方法
CN111292285B (zh) 一种基于朴素贝叶斯与支持向量机的糖网病自动筛查方法
Li et al. Detection of tooth position by YOLOv4 and various dental problems based on CNN with bitewing radiograph (July 2023)
CN113011333B (zh) 基于近红外图像获取最佳静脉穿刺点和方向的系统及方法
CN109993754B (zh) 从图像上进行颅骨分割的方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant