CN116596861A - 一种牙面病灶的识别方法、系统、设备及存储介质 - Google Patents

一种牙面病灶的识别方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN116596861A
CN116596861A CN202310489725.0A CN202310489725A CN116596861A CN 116596861 A CN116596861 A CN 116596861A CN 202310489725 A CN202310489725 A CN 202310489725A CN 116596861 A CN116596861 A CN 116596861A
Authority
CN
China
Prior art keywords
dental
model
yolov5
tooth
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310489725.0A
Other languages
English (en)
Other versions
CN116596861B (zh
Inventor
赵玮
古威丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ORAL SUBSIDIARY SUN YAT-SEN UNIVERSITY HOSPITAL
Sun Yat Sen University
Original Assignee
ORAL SUBSIDIARY SUN YAT-SEN UNIVERSITY HOSPITAL
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ORAL SUBSIDIARY SUN YAT-SEN UNIVERSITY HOSPITAL, Sun Yat Sen University filed Critical ORAL SUBSIDIARY SUN YAT-SEN UNIVERSITY HOSPITAL
Priority to CN202310489725.0A priority Critical patent/CN116596861B/zh
Publication of CN116596861A publication Critical patent/CN116596861A/zh
Application granted granted Critical
Publication of CN116596861B publication Critical patent/CN116596861B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Image Analysis (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)

Abstract

本申请属于图像识别技术领域，公开了一种牙面病灶的识别方法、系统、设备及存储介质。通过获取待识别者的口腔图像，口腔图像包含所述待识别者的若干种不同的牙面特征；将获取的口腔图像输入到由YOLOv5模型训练得到的牙体检测模型中，进行第一阶段的牙体目标识别，得到包含单颗牙体的牙体切片；将第一阶段得到的牙体切片输入到由YOLOv5+MASK R‑CNN联合模型训练得到的病灶检测模型中，进行第二阶段的病灶目标识别，得到病灶识别结果，实现对于普通口腔图像中牙齿上着色病灶的精确识别。

Description

一种牙面病灶的识别方法、系统、设备及存储介质
技术领域
本申请涉及图像识别技术领域，尤其涉及一种牙面病灶的识别方法、系统、设备及存储介质。
背景技术
牙齿是人类重要的器官之一，微笑露齿时，常因牙面着色异常而严重影响美观，引起高度关注。更重要的是当牙齿出现病灶，通常是表现为无明显自觉症状的慢性炎症区，通常毫无症状极易被忽视，但这些局限在人们口腔内的感染灶内隐藏着多种疾病细菌和细菌分解产生的毒素，这些细菌和毒素会随着人体的血液和淋巴循环到处扩散，诱发其他疾病，例如关节炎、心肌炎。因此对于牙齿出现的病灶应该及时发现并进行处理。但目前对牙齿病灶的识别多需要去医院通过特定的发射紫外线或红外线的装置采集x线片后进行识别，无法对普通人群通过手机或者相机拍摄的普通图片进行识别。虽目前出现一些基于卷积神经网络的人工智能图像识别技术，但目前的图像识别技术对于牙齿这类小目标的识别难度较大，检测精度较差。
发明内容
为此，本申请的实施例提供了一种牙面病灶的识别方法、系统、计算机设备及存储介质，提高了对牙齿病灶的定位和识别精度。
第一方面，本申请提供一种牙面病灶的识别方法。
本申请是通过以下技术方案得以实现的：
一种牙面病灶的识别方法，所述方法包括：所述方法包括：
获取待识别者的口腔图像，所述口腔图像包含所述若干种不同的牙面特征；
将所述获取的口腔图像输入到由YOLOv5模型训练得到的牙体检测模型中，进行第一阶段的牙体目标识别，得到包含单颗牙体的牙体切片；
将所述第一阶段得到的牙体切片输入到由YOLOv5+MASK R-CNN联合模型训练得到的病灶检测模型中，进行第二阶段的病灶目标识别，得到病灶识别结果。
在本申请一较佳的示例中可以进一步设置为，所述牙体检测模型的具体训练方法为：
将所述口腔图像划分为训练集数据、验证集数据和测试集数据；
利用标注工具来对所述训练集数据和测试集数据的口腔图像中的真实牙体边界框进行标注；
将所述训练集数据中的口腔图像以及对应的真实牙体边界框输入到YOLOv5模型中，得到预测牙体边界框；
基于真实牙体边界框和预测牙体边界框构建损失函数，并对YOLOv5模型的超参数进行优化；
利用验证集数据对YOLOv5模型的进行性能验证，待YOLOv5模型达到预设性能要求，固定在预设性能要求时对应的超参数，将训练好的YOLOv5模型作为牙体检测模型。
在本申请一较佳的示例中可以进一步设置为，所述对YOLOv5模型的超参数进行优化的步骤中，使用的优化策略为：贝叶斯优化算法。
在本申请一较佳的示例中可以进一步设置为，病灶检测模型的具体训练方法为：
将训练集数据中的口腔图像输入到牙体检测模型，得到包含单颗牙体的牙体切片；
利用标注工具对所述牙体切片的真实病灶区域进行标注，并按照真实病灶区域的牙面特征添加相应的语义标签，将牙体切片和相应的真实病灶区域以及语义标签输入到YOLOv5+MASK R-CNN联合模型中，得到预测病灶区域以及预测语义分类；
基于真实病灶区域和预测病灶区域对所述YOLOv5+MASK R-CNN联合模型构建损失函数，并对YOLOv5+MASK R-CNN联合模型的超参数进行优化；
利用验证集数据对YOLOv5+MASK R-CNN联合模型的进行性能验证，待YOLOv5+MASKR-CNN联合模型达到预设性能要求，固定在预设性能要求时对应的超参数，将训练好的YOLOv5+MASK R-CNN联合模型作为病灶检测模型。
在本申请一较佳的示例中可以进一步设置为，所述对YOLOv5+MASK R-CNN联合模型进行优化的步骤中，使用的优化策略为：贝叶斯优化算法。
在本申请一较佳的示例中可以进一步设置为，所述超参数包括：学习率、批量尺寸大小、迭代次数。
在本申请一较佳的示例中可以进一步设置为，所述YOLOv5模型包括Input模块、主干网络、neck网络以及Head检测输出端；
其中，所述Input模块用于将输入的口腔图像的尺寸调整至网络设置的尺寸大小；
所述主干网络用于对Input模块传输的预设大小的口腔图像进行特征提取；
所述neck网络用于通过上采样操作和下采样操作进行特征聚合；
Head检测输出端用于输出预测的牙体切片。
在本申请一较佳的示例中可以进一步设置为，所述YOLOv5+MASK R-CNN联合模型包括：
YOLOv5模型和MASK R-CNN模型，所述YOLOv5模型的输出端连接所述MASK R-CNN模型的输入端；
其中，所述MASK R-CNN模型包括：骨干网络、区域卷积网络、ROI模块以及结果输出端；
所述骨干网络用于提取牙体切片的深度特征；所述区域卷积网络用于将骨干网络提取到的深度特征进行卷积操作，生成若干个推荐区域；所述ROI模块用于将所述推荐区域做Max pooling操作，得到若干个感兴趣区域；所述结果输出端用于对若干个所述感兴趣区域进行类别划分、边框回归以及掩码分割，得到最终的病灶识别结果。
在本申请一较佳的示例中可以进一步设置为，所述获取待识别者的口腔图像的步骤为：
通过摄像装置在预设拍照模式下拍摄被识别者的口腔图像，对每一个待识别者按照若干个不同的角度进行拍摄，同时在每个角度上按照摄像装置与待识别者的面部之间的两个不同距离进行两次拍摄。
在本申请一较佳的示例中可以进一步设置为，所述获取待识别者的口腔图像后还包括：
对所述口腔图像进行预清理，将获取的口腔图像中的模糊图像、重影图像、曝光图像、缺少牙面信息的图像以及在评估区域出现异物图像进行删除，得到有效的口腔图像。
在本申请一较佳的示例中可以进一步设置为，所述利用标注工具来标注所述训练集数据和测试集数据的口腔图像中的真实牙体边界框的步骤之后还包括：
对所述标注真实牙体边界框后的口腔图像进行数据增强，增加所述口腔图像的样本量。
在本申请一较佳的示例中可以进一步设置为，对所述标注真实牙体边界框后的口腔图像进行数据增强的方式包括以下至少一种：
对所述口腔图像进行几何变换增强：对口腔图像进行旋转、缩放、剪裁；
对所述口腔图像进行颜色变换增强：调节口腔图像的对比度、亮度、饱和度以及颜色；
对所述口腔图像进行像素点增强：对口腔图像进行添加噪声操作。
在本申请一较佳的示例中可以进一步设置为，所述牙面特征包括：牙面正常、牙面色素沉着、牙面早期釉质龋、牙面中度釉质龋、牙面重度釉质龋、牙面釉质发育不全中的一种。
在本申请一较佳的示例中可以进一步设置为，所述按照病灶区域的牙面特征添加相应的语义标签的步骤为：
对所述牙面正常对应的牙体切片图像添加第一数值；
对所述牙面色素沉着对应的牙体切片图像添加第二数值；
对所述牙面早期釉质龋对应的牙体切片图像添加第三数值；
对所述牙面中度釉质龋对应的牙体切片图像添加第四数值；
对所述牙面重度釉质龋对应的牙体切片图像添加第五数值；
对所述牙面釉质发育不全对应的牙体切片图像添加第六数值。
在本申请一较佳的示例中可以进一步设置为，所述利用验证集数据对YOLOv5+MASK R-CNN联合模型的进行性能验证的步骤包括：
根据若干个不同的评价指标以及每个评价指标对应的权重值，得到所述YOLOv5+MASK R-CNN联合模型的综合检测精度，基于所述综合检测精度进行性能检测；
其中所述若干个不同的评价指标为：正确率、精确度、召回率、平均准确度。
第二方面，本申请提供一种对牙面着色病灶进行识别的系统。
本申请是通过以下技术方案得以实现的：
一种牙面病灶的识别系统，所述识别系统包括：
所述系统包括：图像获取模块，获取待识别者的口腔图像，所述口腔图像包含所述若干种不同的牙面特征；
牙体检测模块，将所述获取的口腔图像输入到由YOLOv5模型训练得到的牙体检测模型中，进行第一阶段的牙体目标识别，得到包含单颗牙体的牙体切片；
病灶检测模块，将所述第一阶段得到的牙体切片输入到由YOLOv5+MASK R-CNN联合模型训练得到的病灶检测模型中，进行第二阶段的病灶目标识别，得到病灶识别结果。
在本申请一较佳的示例中可以进一步设置为，所述牙体检测模块中还包括：
第一训练模块，用于将所述口腔图像划分为训练集数据、验证集数据和测试集数据；
利用标注工具来对所述训练集数据和测试集数据的口腔图像中的真实牙体边界框进行标注；
将所述训练集数据中的口腔图像以及对应的真实牙体边界框输入到YOLOv5模型中，得到预测牙体边界框；
基于真实牙体边界框和预测牙体边界框构建损失函数，并对YOLOv5模型的超参数进行优化；
利用验证集数据对YOLOv5模型的进行性能验证，待YOLOv5模型达到预设性能要求，固定在预设性能要求时对应的超参数，将训练好的YOLOv5模型作为牙体检测模型。
在本申请一较佳的示例中可以进一步设置为，所述病灶检测模块中还包括：
第二训练模块，将训练集数据中的口腔图像输入到牙体检测模型，得到包含单颗牙体的牙体切片；
利用标注工具对所述牙体切片的真实病灶区域进行标注，并按照真实病灶区域的牙面特征添加相应的语义标签，将牙体切片和相应的真实病灶区域以及语义标签输入到YOLOv5+MASK R-CNN联合模型中，得到预测病灶区域以及预测语义分类；
基于真实病灶区域和预测病灶区域对所述YOLOv5+MASK R-CNN联合模型构建损失函数，并对YOLOv5+MASK R-CNN联合模型的超参数进行优化；
利用验证集数据对YOLOv5+MASK R-CNN联合模型的进行性能验证，待YOLOv5+MASKR-CNN联合模型达到预设性能要求，固定在预设性能要求时对应的超参数，将训练好的YOLOv5+MASK R-CNN联合模型作为病灶检测模型。
第三方面，本申请提供一种计算机设备。
本申请是通过以下技术方案得以实现点的：
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意一种牙面病灶的识别方法的步骤。
第四方面，本申请提供一种计算机可读存储介质。
本申请是通过以下技术方案得以实现的：
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一种牙面病灶的识别方法的步骤。
综上所述，与现有技术相比，本申请实施例提供的技术方案带来的有益效果至少包括：本申请通过获取待识别者的口腔图像，将获取的口腔图像输入到由YOLOv5模型训练得到的牙体检测模型中，进行第一阶段的牙体目标识别，得到包含单颗牙体的牙体切片；将第一阶段得到的牙体切片输入到由YOLOv5+MASK R-CNN联合模型训练得到的病灶检测模型中，进行第二阶段的病灶目标识别，得到病灶识别结果。第一阶段先采用YOLOv5模型对牙面颜色以及形态相对固定的口腔图像进行目标检测，快速定位到牙体；第二阶段采用YOLOv5+MASK R-CNN联合模型对第一阶段识别到的牙体中的形态颜色多变的小目标病灶区域进行病灶识别，提高识别精度。
附图说明
图1为本申请一示例性实施例提供的对牙面着色病灶进行识别的方法的流程示意图；
图2是本申请另一示例性实施例提供的对牙面着色病灶进行识别的系统的结构示意图；
图3是本申请另一示例性实施例提供的对牙面着色病灶进行识别的系统的结构示意图。
具体实施方式
本具体实施例仅仅是对本申请的解释，其并不是对本申请的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本申请的权利要求范围内都受到专利法的保护。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
另外，本申请中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本申请中字符“/”，如无特殊说明，一般表示前后关联对象是一种“或”的关系。
本申请中术语“第一”“第二”等字样用于对作用和功能基本相同的相同项或相似项进行区分，应理解，“第一”、“第二”、“第n”之间不具有逻辑或时序上的依赖关系，也不对数量和执行顺序进行限定。
下面结合说明书附图对本申请实施例作进一步详细描述。
在本申请的一个实施例中，提供一种牙面病灶的识别方法，如图1所示，主要步骤描述如下：
S10:获取待识别者的口腔图像，口腔图像包含待识别者的若干种不同的牙面特征。
具体的，经患者同意，采集来自口腔医院口腔科临床实际明确诊断病例的手机图像为数据来源，待识别者为低龄儿童(6岁及以下)，针对临床上低龄儿童前牙牙面着色异常最常见的几个问题进行口腔图像收集。其中牙面特征包括牙面正常、牙面色素沉着、牙面早期釉质龋、牙面中度釉质龋、牙面重度釉质龋、牙面釉质发育不全五种不同的情况。
在一些实施例中，获取待识别者的口腔图像的步骤为：通过摄像装置在预设拍照模式下拍摄被识别者的口腔图像，对每一个待识别者按照若干个不同的角度进行拍摄，同时在每个角度上按照摄像装置与待识别者的面部之间的两个不同距离进行两次拍摄。摄像装置可以平板、摄像机或者手机等移动摄像装置。
为得出提高人工智能评估系统的准确性，在数据集的制作上，为控制口腔图像采集装置带来的变量，统一使用相同的图像采集装置以及相同的设置采集口腔图像。以使用Redmi Note 9Pro手机的后置相机作为图像采集装置进行说明，相机的参数为10000万像素主摄镜头+800万像素超广角镜头+200万像素微距镜头+200万像素人像景深镜头、传感器类型CMOS、闪光灯LED补光灯、光圈后置f/1.75+f/2.2、广角120°、后置主摄：1/1.52英寸，2.1μm，9合1、微距镜头：1.75μm、景深镜头：1.75μm。相机软件下相片解析度皆为3000×3000，拍摄条件须以相片长宽比例为1：1、无焦距放大缩小、使用自动对焦模式并开启强制闪光灯模式；拍摄时设定相机视野为九宫格，须使病例的露齿范围集中于九宫格由上至下的第二排并尽量向正中央对齐。
采集待识别者的口腔图像时的拍摄角度、距离以及光线要求：每一个待识别者在距离摄像机8cm的距离，按照正对摄像机、向左侧位15°、向右侧位15°、向左侧位45°、向右侧位45°各拍摄一张口腔图像；继续在距离摄像机15cm的距离，按照正对摄像机、向左侧位15°、向右侧位15°、向左侧位45°、向右侧位45°各拍摄一张口腔图像，每个待识别者共采集10张口腔图像，每一张口腔图像都在闪光灯模式下进行拍摄。以多个角度采集待识别者的口腔图像，覆盖到被识别者牙体多个角度的情况，保证获取的口腔图像包含丰富的牙体特征，为后续的口腔图像的识别提供优质的数据集。
在一些实施例中，在获取待识别者的口腔图像后，还需要对口腔图像进行预清理，将其中的模糊图像、重影图像、曝光图像、缺少牙面信息的图像以及在评估区域出现异物图像进行删除，得到有效的口腔图像、其中评估区域为微小时暴露的牙面范围。将这些出现信息错误或者信息缺失的口腔图像进行删除，有利于后续在进行口腔图像的定位识别时，模型能够学习到有效的信息。
S20:将获取的口腔图像输入到由YOLOv5模型训练得到的牙体检测模型中，进行第一阶段的牙体目标识别，得到包含单颗牙体的牙体切片。
口腔图像的牙面颜色以及形态较为固定，第一阶段使用牙体检测模型在3000*3000像素的RGB色彩标准模式的口腔图像中识别出100-300像素的单颗牙齿的牙齿切片，提高目标检测效率。
牙体检测模型是由YOLOv5模型训练得到的，具体的YOLOv5模型包括Input模块、主干网络、neck网络以及Head检测输出端；其中，Input模块的输出端口连接主干网络的输入端口，主干网络的输出端口连接neck网络的输入端口，neck网络的输出端口连接Head检测输出端的输入接口。主干网络中包括Focus模块、C3模块以及SPP空间金字塔池化模块，neck网络中包括FPN特征金字塔结构以及PAN路径聚合网络结构。该网络模型具有较高的检测速度，在减少冗余计算的同时提高准确性。
其中，Input模块用于接收输入YOLOv5模型中的口腔图像，将其调整为网络设置的尺寸大小，并将调整大小后的口腔图像传输给主干网络，主干网络(backbone)对上述调整大小后的口腔图像进行特征提取，将提取到的特征传输给neck网络，neck网络通过上采样操作和下采样操作对特征进行融合，并将融合后的特征传输给Head检测输出端，Head检测输出端根据融合的特征对牙体边界框进行预测，输出牙体切片。
在一些实施例中，YOLOv5模型的开发训练环境为python的Anaconda3，学习框架为Pytorch，对YOLOv5模型训练得到牙体检测模型的具体步骤为：
首先将上述获取到的口腔图像按照60％：20％：20％的比例划分为训练集数据、验证集数据以及测试集数据，其中训练集数据、验证集数据用于模型训练，测试集数据用于测试模型的最终效果。
利用labelme对训练集数据和验证集数据中的口腔图像进行标注，得到每颗牙体的真实牙体边界框，牙体边界框由中心坐标(X,Y)以及边界框的宽(W)和高(H)确定；将口腔图像以及其对应的真实牙体边界框输入到YOLOv5模型，YOLOv5模型经过处理输出预估的预测牙体边界框，可以按照预测牙体边界框将口腔图像切分成牙体切片；基于预测牙体边界框和真实牙体边界框来构建损失函数，基于损失函数来对YOLOv5模型的超参数进行优化；将验证集数据中的口腔图像和其对应真实牙体边界框输入到YOLOv5模型，得到预测牙体边界框，根据真实牙体边界框和预测牙体边界框来对YOLOv5模型进行性能评估，待YOLOv5模型达到预设性能要求后，固定在预设性能要求时对应的超参数，将训练好的YOLOv5模型作为牙体检测模型。
具体的，超参数包括学习率，批量尺寸大小、迭代次数以及迭代率。在模型训练开始前会对超参数设置初始值，在模型训练过程中根据模型检测结果的反馈来调整超参数的设定值，以使得模型具有更好的性能。在训练YOLOv5模型中调整优化超参数的算法采用贝叶斯优化算法。贝叶斯优化算法通过循环构建模型和最大化采集函数，根据已验证的超参数组合来寻找下一个可能带来最大收益的超参数组合。采用贝叶斯优化算法，可以实现更好的调优过程，模型训练的效率高，易于训练。在本实施例中，学习率(learning rate)为0.001，beta1取值为0.9，beta2取值为0.999，epsilon取值为e-8；批量尺寸大小(batch-size)取值为20；迭代次数(epoch)取值为1000。
在一些实施例中，为进一步扩充数据量，避免数据量过少造成模型训练过程中出现过拟合，在对口腔图像上标注好真实牙体边界框后，进一步进行数据扩增，在使用原始标标注的同时增加口腔图像的样本量。进行数据增强的方式包括以下至少一种：
对口腔图像进行几何变换增强，具体可以对口腔图像进行旋转，向左旋转、向右旋转、水平翻转、垂直翻转；缩放，缩小或者放大；剪裁，从图像中随机剪裁。对口腔图像进行颜色变换增强，调节口腔图像的对比度、亮度、饱和度以及颜色；对口腔图像进行像素点增强，具体的通过在口腔图像中添加噪声。对口腔图像进行数据增强，可以减少模型泛化误差，提高模型性能，使得模型具有更好的鲁棒性。
S30:将第一阶段得到的牙体切片输入到由YOLOv5+MASK R-CNN联合模型训练得到的病灶检测模型中，进行第二阶段的病灶目标识别，得到病灶识别结果。
第一阶段获得的牙体切片中包含形态、颜色多变的病灶区域，同时相对与第一阶段的小目标识别程度较低，病灶区域在第二阶段可能达到15％～80％之间，为了进一步提升精度，在第二阶段采用由YOLOv5+MASK R-CNN联合模型训练得到的病灶检测模型在牙齿切片中寻找32*32像素的牙齿病灶区域，进行病灶识别。
具体的，在第二阶段中使用的YOLOv5+MASK R-CNN联合模型包括YOLOv5模型和MASK R-CNN模型，YOLOv5模型的输出端连接MASK R-CNN模型的输入端。YOLOv5模型的结构与上述第一阶段中的结构相同，在此不再赘述。在第二阶段中，YOLOv5模型对牙体切片中的病灶区域进行预测，输出带有病灶边界框的牙体切片，再将牙体切片传输给MASK R-CNN模型进行处理。MASK R-CNN模型包括骨干网络、区域卷积网络、ROI模块以及结果输出端。骨干网络的输出端口连接区域卷积网络的输入端口，区域卷积网络的输出端口连接ROI模块的输入端口，ROI模块的输出端口连接结果输出端的输入端口。其中，骨干网络可以采用不同的卷积神经网络框架，在本申请中，骨干网络采用ResNet101，骨干网络用于提取牙体切片的深度特征。骨干网络将提取到的深度特征传输到区域卷积网络中，经过一系列的卷积结构进行卷积操作，同时进行初步的前景背景识别，得到若干个推荐区域。将推荐区域传输到ROI模块中，进行Max pooling操作，得到若干个感兴趣区域；将感兴趣区域传输到结果输出端，结果输出端对感兴趣区域进行类别划分、边框回归以及掩码分割，得到病灶识别结果，该病灶识别结果包括病灶区域和病灶类型。
在一些实施例中，YOLOv5+MASK R-CNN联合模型的开发训练环境为python的Anaconda3，学习框架为Pytorch，对YOLOv5+MASK R-CNN联合模型训练得到病灶检测模型的具体步骤为：
第一阶段将口腔图像输入到牙体检测模型中得到的包含单颗牙体的牙体切片，在第二阶段中使用labelme标注工具对牙齿切片中的真实病灶区域进行标注，同时按照病灶区域中的牙面特征添加相应的语义标签，具体的，对牙面正常对应的牙体切片添加第一数值；对牙面色素沉着对应的牙体切片添加第二数值；对牙面早期釉质龋对应的牙体切片添加第三数值；对牙面中度釉质龋对应的牙体切片添加第四数值；对牙面重度釉质龋对应的牙体切片添加第五数值；对牙面釉质发育不全对应的牙体切片添加第六数值。
举例进行说明，当牙齿切片的病灶区域中牙体特征为牙面正常，则对该牙体切片添加数值0；当牙齿切片的病灶区域中牙体特征为牙面色素沉着时，则对该牙体切片添加数值1；当牙齿切片的病灶区域中牙体特征为牙面早期釉质龋时，则对该牙体切片添加数值2；当牙齿切片的病灶区域中牙体特征为牙面中度釉质龋时，则对该牙体切片添加数值3；当牙齿切片的病灶区域中牙体特征为牙面重度釉质龋时，则对该牙体切片添加数值4；当牙齿切片的病灶区域中牙体特征为牙面釉质发育不全时，则对该牙体切片添加数值5。本实施例中所列出的数值仅为举例说明，并非对数值的限制，添加的数值可以根据实际应用进行设置。为牙体切片添加不同的语义标签，便于后续模型对牙体切片进行分类。
将牙体切片和对应的真实病灶区域以及语义标签输入到YOLOv5+MASK R-CNN联合模型，得到预测病灶区域；基于真实病灶区域和预测病灶区域对YOLOv5+MASK R-CNN联合模型构建损失函数，基于损失函数对YOLOv5+MASK R-CNN联合模型的超参数进行优化；同时利用第一阶段验证数据集输入YOLOv5模型中得到的牙体切片，输入到YOLOv5+MASK R-CNN联合模型进行性能验证，待YOLOv5+MASK R-CNN联合模型达到性能要求后，固定在预设性能要求时对应的超参数，将训练好的YOLOv5+MASK R-CNN联合模型作为病灶检测模型。其中，超参数包括学习率，批量尺寸大小、迭代次数。在训练YOLOv5+MASK R-CNN联合模型时调整优化超参数的算法采用贝叶斯优化算法。
其中，利用验证集数据对YOLOv5+MASK R-CNN联合模型的进行性能验证的步骤具体为：根据若干个不同的评价指标以及每个评级指标对应的权重值，得到该YOLOv5+MASKR-CNN联合模型的综合检测精度，基于综合检测精度进行性能验证。若干个不同的评价指标为：正确率、精确度、召回率、平均准确度。上述四个评价指标分别为：正确率(Accuracy)为正确识别的个体总数与识别出的个体总数的比值；召回率(Recall)为正确识别的个体总数与测试集中存在的个体总数的比值；精确度(Precision)为识别分类为正例样本与实际为正例样本的比例；平均准确度(AP)为以精准度为y轴，以召回率为x轴所画的曲线下的面积。为正确率、召回率、精确度以及平均准确度分别划分一定的权重值，正确率(Accuracy)为α1，召回率(Recall)为α2，精确度(Precision)为α3，平均准确度(AP)为α4，综合检测精度＝α1*Accuracy+α2*Recall+α3*Precision+α4*AP。权重值可以根据对模型各评价指标的需求进行设定。
本申请还提供一种牙面病灶的识别系统，如图2所示，该系统包括：图像获取模块，获取待识别者的口腔图像，口腔图像包含待识别者的若干种不同的牙面特征；
牙体检测模块，将获取的口腔图像输入到由YOLOv5模型训练得到的牙体检测模型中，进行第一阶段的牙体目标识别，得到包含单颗牙体的牙体切片；
病灶检测模块，将第一阶段得到的牙体切片输入到由YOLOv5+MASK R-CNN联合模型训练得到的病灶检测模型中，进行第二阶段的病灶目标识别，得到病灶识别结果。
其中，如图3所示，牙体检测模块中还包括：第一训练模块，用于将口腔图像划分为训练集数据、验证集数据和测试集数据；
利用标注工具来标注训练集数据和测试集数据的口腔图像中的真实牙体边界框；
将口腔图像和真实牙体边界框输入到YOLOv5模型中，得到预测牙体边界框；
基于真实牙体边界框和预测牙体边界框构建损失函数，基于损失函数对YOLOv5模型的超参数进行优化；
利用验证集数据对YOLOv5模型的进行性能验证，待YOLOv5模型达到预设性能要求，固定在预设性能要求时对应的超参数，将训练好的YOLOv5模型作为牙体检测模型。
病灶检测模块中还包括：第二训练模块，用于将训练集数据中的口腔图像输入到牙体检测模型，得到包含单颗牙体的牙体切片；
利用标注工具对牙体切片的真实病灶区域进行标注，并按照病灶区域的牙面特征添加相应的语义标签，将牙体切片和相应的真实病灶区域以及语义标签输入到YOLOv5+MASK R-CNN联合模型中，得到预测病灶区域；
基于真实病灶区域和预测病灶区域对YOLOv5+MASK R-CNN联合模型构建损失函数，基于损失函数对YOLOv5+MASK R-CNN联合模型的超参数进行优化；
利用验证集数据对YOLOv5+MASK R-CNN联合模型的进行性能验证，待YOLOv5+MASKR-CNN联合模型达到预设性能要求，固定在预设性能要求时对应的超参数，将训练好的YOLOv5+MASK R-CNN联合模型作为病灶检测模型。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器。
该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、数据库以及存储在存储器上的计算机程序。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现上述任意一种牙面病灶的识别方法。
在一个实施例中，提供一种计算机可读存储介质，包括存储器、处理器及存储在存储器上并可以在处理器上执行的计算机程序，处理器执行计算机程序以实现上述任意一种牙面病灶的识别方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)、DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将本申请所述系统的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。

Claims (20)

1.一种牙面病灶的识别方法，其特征在于，所述识别方法包括：
获取待识别者的口腔图像，所述口腔图像包含若干种不同的牙面特征；
将所述获取的口腔图像输入到由YOLOv5模型训练得到的牙体检测模型中，进行第一阶段的牙体目标识别，得到包含单颗牙体的牙体切片；
将所述第一阶段得到的牙体切片输入到由YOLOv5+MASK R-CNN联合模型训练得到的病灶检测模型中，进行第二阶段的病灶目标识别，得到病灶识别结果。
2.根据权利要求1所述的牙面病灶的识别方法，其特征在于，所述牙体检测模型的具体训练方法为：
将所述口腔图像划分为训练集数据、验证集数据和测试集数据；
利用标注工具来对所述训练集数据和测试集数据的口腔图像中的真实牙体边界框进行标注；
将所述训练集数据中的口腔图像以及对应的真实牙体边界框输入到YOLOv5模型中，得到预测牙体边界框；
基于真实牙体边界框和预测牙体边界框构建损失函数，并对YOLOv5模型的超参数进行优化；
利用验证集数据对YOLOv5模型的进行性能验证，待YOLOv5模型达到预设性能要求，固定在预设性能要求时对应的超参数，将训练好的YOLOv5模型作为牙体检测模型。
3.根据权利要求2所述的牙面病灶的识别方法，其特征在于，所述对YOLOv5模型的超参数进行优化的步骤中，使用的优化策略为：贝叶斯优化算法。
4.根据权利要求2所述的牙面病灶的识别方法，其特征在于，病灶检测模型的具体训练方法为：
将训练集数据中的口腔图像输入到牙体检测模型，得到包含单颗牙体的牙体切片；
利用标注工具对所述牙体切片的真实病灶区域进行标注，并按照真实病灶区域的牙面特征添加相应的语义标签，将牙体切片和相应的真实病灶区域以及语义标签输入到YOLOv5+MASK R-CNN联合模型中，得到预测病灶区域以及预测语义分类；
基于真实病灶区域和预测病灶区域对所述YOLOv5+MASK R-CNN联合模型构建损失函数，并对YOLOv5+MASK R-CNN联合模型的超参数进行优化；
利用验证集数据对YOLOv5+MASK R-CNN联合模型的进行性能验证，待YOLOv5+MASK R-CNN联合模型达到预设性能要求，固定在预设性能要求时对应的超参数，将训练好的YOLOv5+MASK R-CNN联合模型作为病灶检测模型。
5.根据权利要求4所述的牙面病灶的识别方法，其特征在于，所述对YOLOv5+MASK R-CNN联合模型进行优化的步骤中，使用的优化策略为：贝叶斯优化算法。
6.根据权利要求2至5任意一项所述的牙面病灶的识别方法，其特征在于，所述超参数包括：学习率、批量尺寸大小、迭代次数。
7.根据权利要求1所述的牙面病灶的识别方法，其特征在于，所述YOLOv5模型包括Input模块、主干网络、neck网络以及Head检测输出端；
其中，所述Input模块用于将输入的口腔图像的尺寸调整至网络设置的尺寸大小；
所述主干网络用于对Input模块传输的预设大小的口腔图像进行特征提取；
所述neck网络用于通过上采样操作和下采样操作进行特征聚合；
Head检测输出端用于输出预测的牙体切片。
8.根据权利要求1所述的牙面病灶的识别方法，其特征在于，所述YOLOv5+MASK R-CNN联合模型包括：
YOLOv5模型和MASK R-CNN模型，所述YOLOv5模型的输出端连接所述MASK R-CNN模型的输入端；
其中，所述MASK R-CNN模型包括：骨干网络、区域卷积网络、ROI模块以及结果输出端；
所述骨干网络用于提取牙体切片的深度特征；所述区域卷积网络用于将骨干网络提取到的深度特征进行卷积操作，生成若干个推荐区域；所述ROI模块用于将所述推荐区域做Max pooling操作，得到若干个感兴趣区域；所述结果输出端用于对若干个所述感兴趣区域进行类别划分、边框回归以及掩码分割，得到最终的病灶识别结果。
9.根据权利要求1所述的牙面病灶的识别方法，其特征在于，所述获取待识别者的口腔图像的步骤为：
通过摄像装置在预设拍照模式下拍摄待识别者的口腔图像，对每一个待识别者按照若干个不同的角度进行拍摄，同时在每个角度上按照摄像装置与待识别者的面部之间的两个不同距离进行两次拍摄。
10.根据权利要求1所述的牙面病灶的识别方法，其特征在于，所述获取待识别者的口腔图像后还包括：
对所述口腔图像进行预清理，将获取的口腔图像中的模糊图像、重影图像、曝光图像、缺少牙面信息的图像以及在评估区域出现异物图像进行删除，得到有效的口腔图像。
11.根据权利要求2所述的牙面病灶的识别方法，其特征在于，所述利用标注工具来对所述训练集数据和测试集数据的口腔图像中的真实牙体边界框进行标注的步骤之后还包括：
对标注真实牙体边界框后的口腔图像进行数据增强，增加所述口腔图像的样本量。
12.根据权利要求11所述的牙面病灶的识别方法，其特征在于，对所述标注真实牙体边界框后的口腔图像进行数据增强的方式包括以下至少一种：
对所述口腔图像进行几何变换增强：对口腔图像进行旋转、缩放、剪裁；
对所述口腔图像进行颜色变换增强：调节口腔图像的对比度、亮度、饱和度以及颜色；
对所述口腔图像进行像素点增强：对口腔图像进行添加噪声操作。
13.根据权利要求4所述的牙面病灶的识别方法，其特征在于，
所述牙面特征包括：牙面正常、牙面色素沉着、牙面早期釉质龋、牙面中度釉质龋、牙面重度釉质龋、牙面釉质发育不全中的一种。
14.根据权利要求13所述的牙面病灶的识别方法，其特征在于，按照病灶区域的牙面特征添加相应的语义标签的步骤为：
对所述牙面正常对应的牙体切片添加第一数值；
对所述牙面色素沉着对应的牙体切片添加第二数值；
对所述牙面早期釉质龋对应的牙体切片添加第三数值；
对所述牙面中度釉质龋对应的牙体切片添加第四数值；
对所述牙面重度釉质龋对应的牙体切片添加第五数值；
对所述牙面釉质发育不全对应的牙体切片添加第六数值。
15.根据权利要求4所述的牙面病灶的识别方法，其特征在于，所述利用验证集数据对YOLOv5+MASK R-CNN联合模型的进行性能验证的步骤包括：
根据若干个不同的评价指标以及每个评价指标对应的权重值，得到所述YOLOv5+MASKR-CNN联合模型的综合检测精度，基于所述综合检测精度进行性能检测；
其中所述若干个不同的评价指标为：正确率、精确度、召回率、平均准确度。
16.一种牙面病灶的识别系统，其特征在于，所述识别系统包括：
图像获取模块，获取待识别者的口腔图像，所述口腔图像包含所述若干种不同的牙面特征；
牙体检测模块，将所述获取的口腔图像输入到由YOLOv5模型训练得到的牙体检测模型中，进行第一阶段的牙体目标识别，得到包含单颗牙体的牙体切片；
病灶检测模块，将所述第一阶段得到的牙体切片输入到由YOLOv5+MASK R-CNN联合模型训练得到的病灶检测模型中，进行第二阶段的病灶目标识别，得到病灶识别结果。
17.根据权利要求16所述的牙面病灶的识别系统，其特征在于，所述牙体检测模块中还包括：
第一训练模块，用于将所述口腔图像划分为训练集数据、验证集数据和测试集数据；
利用标注工具来对所述训练集数据和测试集数据的口腔图像中的真实牙体边界框进行标注；
将所述训练集数据中的口腔图像以及对应的真实牙体边界框输入到YOLOv5模型中，得到预测牙体边界框；
基于真实牙体边界框和预测牙体边界框构建损失函数，并对YOLOv5模型的超参数进行优化；
利用验证集数据对YOLOv5模型的进行性能验证，待YOLOv5模型达到预设性能要求，固定在预设性能要求时对应的超参数，将训练好的YOLOv5模型作为牙体检测模型。
18.根据权利要求16所述的牙面病灶的识别系统，其特征在于，所述病灶检测模块中还包括：
第二训练模块，将训练集数据中的口腔图像输入到牙体检测模型，得到包含单颗牙体的牙体切片；
利用标注工具对所述牙体切片的真实病灶区域进行标注，并按照真实病灶区域的牙面特征添加相应的语义标签，将牙体切片和相应的真实病灶区域以及语义标签输入到YOLOv5+MASK R-CNN联合模型中，得到预测病灶区域以及预测语义分类；
基于真实病灶区域和预测病灶区域对所述YOLOv5+MASK R-CNN联合模型构建损失函数，并对YOLOv5+MASK R-CNN联合模型的超参数进行优化；
利用验证集数据对YOLOv5+MASK R-CNN联合模型的进行性能验证，待YOLOv5+MASK R-CNN联合模型达到预设性能要求，固定在预设性能要求时对应的超参数，将训练好的YOLOv5+MASK R-CNN联合模型作为病灶检测模型。
19.一种计算机设备，其特征在于，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述计算机程序以实现权利要求1至15任意一项所述方法的步骤。
20.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至15任意一项所述方法的步骤。
CN202310489725.0A 2023-04-28 2023-04-28 一种牙面病灶的识别方法、系统、设备及存储介质 Active CN116596861B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310489725.0A CN116596861B (zh) 2023-04-28 2023-04-28 一种牙面病灶的识别方法、系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310489725.0A CN116596861B (zh) 2023-04-28 2023-04-28 一种牙面病灶的识别方法、系统、设备及存储介质

Publications (2)

Publication Number Publication Date
CN116596861A true CN116596861A (zh) 2023-08-15
CN116596861B CN116596861B (zh) 2024-02-23

Family

ID=87589127

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310489725.0A Active CN116596861B (zh) 2023-04-28 2023-04-28 一种牙面病灶的识别方法、系统、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116596861B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117078631A (zh) * 2023-08-21 2023-11-17 四川大学 基于深度学习算法的牙齿及牙齿疾病识别方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107862694A (zh) * 2017-12-19 2018-03-30 济南大象信息技术有限公司 一种基于深度学习的手足口病检测系统
CN109961427A (zh) * 2019-03-12 2019-07-02 北京羽医甘蓝信息技术有限公司 基于深度学习的全景片根尖周炎识别的方法和装置
JP2019208831A (ja) * 2018-06-04 2019-12-12 聖士 田島 歯科分析システムおよび歯科分析ｘ線システム
CN112307921A (zh) * 2020-10-22 2021-02-02 桂林电子科技大学 一种车载端多目标识别跟踪预测方法
CN112634246A (zh) * 2020-12-28 2021-04-09 深圳市人工智能与机器人研究院 一种口腔图像识别方法及相关设备
CN113111704A (zh) * 2021-03-02 2021-07-13 郑州大学 基于深度学习的机场道面病害异物检测方法及系统
US20210279871A1 (en) * 2018-04-25 2021-09-09 Sota Precision Optics, Inc. Dental imaging system utilizing artificial intelligence
CN113744266A (zh) * 2021-11-03 2021-12-03 武汉楚精灵医疗科技有限公司 一种病灶检测框的显示方法、装置、电子设备及存储介质
US20210398275A1 (en) * 2018-10-16 2021-12-23 Qtt Co. Oral health prediction apparatus and method using machine learning algorithm
CN114066804A (zh) * 2021-09-24 2022-02-18 北京交通大学 一种基于深度学习的曲面断层片牙位识别方法
CN114332123A (zh) * 2021-12-30 2022-04-12 杭州电子科技大学 基于全景片的龋病自动分级方法及系统
CN115861641A (zh) * 2022-10-31 2023-03-28 浙江工业大学 一种基于细粒度注意力的医学影像报告生成方法
US20230118333A1 (en) * 2020-03-03 2023-04-20 Adent Aps Dental feature identification for assessing oral health

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107862694A (zh) * 2017-12-19 2018-03-30 济南大象信息技术有限公司 一种基于深度学习的手足口病检测系统
US20210279871A1 (en) * 2018-04-25 2021-09-09 Sota Precision Optics, Inc. Dental imaging system utilizing artificial intelligence
JP2019208831A (ja) * 2018-06-04 2019-12-12 聖士 田島 歯科分析システムおよび歯科分析ｘ線システム
US20210398275A1 (en) * 2018-10-16 2021-12-23 Qtt Co. Oral health prediction apparatus and method using machine learning algorithm
CN109961427A (zh) * 2019-03-12 2019-07-02 北京羽医甘蓝信息技术有限公司 基于深度学习的全景片根尖周炎识别的方法和装置
US20230118333A1 (en) * 2020-03-03 2023-04-20 Adent Aps Dental feature identification for assessing oral health
CN112307921A (zh) * 2020-10-22 2021-02-02 桂林电子科技大学 一种车载端多目标识别跟踪预测方法
CN112634246A (zh) * 2020-12-28 2021-04-09 深圳市人工智能与机器人研究院 一种口腔图像识别方法及相关设备
CN113111704A (zh) * 2021-03-02 2021-07-13 郑州大学 基于深度学习的机场道面病害异物检测方法及系统
CN114066804A (zh) * 2021-09-24 2022-02-18 北京交通大学 一种基于深度学习的曲面断层片牙位识别方法
CN113744266A (zh) * 2021-11-03 2021-12-03 武汉楚精灵医疗科技有限公司 一种病灶检测框的显示方法、装置、电子设备及存储介质
CN114332123A (zh) * 2021-12-30 2022-04-12 杭州电子科技大学 基于全景片的龋病自动分级方法及系统
CN115861641A (zh) * 2022-10-31 2023-03-28 浙江工业大学 一种基于细粒度注意力的医学影像报告生成方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
DEJUN XI 等: "YDRSNet: an integrated Yolov5-Deeplabv3 + real-time segmentation network for gear pitting measurement", 《SPRINGER》, pages 1585 - 1599 *
刘丰 等: "基于深度学习的牙齿病变自动检测算法", 《中国激光》, vol. 49, no. 20, pages 1 - 7 *
吴寒: "面向牙齿医疗图像的小样本学习与投毒攻防研究", 中国优秀硕士学位论文全文数据库 基础科学辑》, pages 006 - 1114 *
李观华: "基于卷积神经网络多级牙龈健康状况的自动检测", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》, pages 074 - 32 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117078631A (zh) * 2023-08-21 2023-11-17 四川大学 基于深度学习算法的牙齿及牙齿疾病识别方法

Also Published As

Publication number Publication date
CN116596861B (zh) 2024-02-23

Similar Documents

Publication Publication Date Title
EP3876190A1 (en) Endoscopic image processing method and system and computer device
US10657425B2 (en) Deep learning architectures for the classification of objects captured with a light-field camera
US20220198230A1 (en) Auxiliary detection method and image recognition method for rib fractures based on deep learning
CN112967285B (zh) 一种基于深度学习的黄褐斑图像识别方法、系统和装置
CN103116749A (zh) 一种基于自建图像库的近红外人脸识别方法
CN108765392B (zh) 一种基于滑动窗口的消化道内镜病变检测和识别方法
US20230196570A1 (en) Computer-implemented method and system for predicting orthodontic results based on landmark detection
DE112009000099T5 (de) Bildsignaturen zur Verwendung in einer bewegungsbasierten dreidimensionalen Rekonstruktion
CN113159227A (zh) 一种基于神经网络的痤疮图像识别方法、系统和装置
CN116596861B (zh) 一种牙面病灶的识别方法、系统、设备及存储介质
CN113012140A (zh) 基于深度学习的消化内镜视频帧有效信息区域提取方法
CN111402217A (zh) 一种图像分级方法、装置、设备和存储介质
CN112836653A (zh) 人脸隐私化方法、设备、装置及计算机存储介质
JPWO2020022027A1 (ja) 学習装置及び学習方法
CN115965641A (zh) 一种基于deeplabv3+网络的咽部图像分割及定位方法
CN112365578A (zh) 基于双摄像机的三维人体模型重构系统及方法
Kirkerød et al. Unsupervised preprocessing to improve generalisation for medical image classification
Bermejo et al. FacialSCDnet: a deep learning approach for the estimation of subject-to-camera distance in facial photographs
Dong et al. A detection-regression based framework for fish keypoints detection
CN117541629A (zh) 基于可穿戴头盔的红外图像和可见光图像配准融合方法
US12039768B2 (en) Method and system for anonymizing facial images
CN112966620A (zh) 眼底图像处理方法、模型训练方法及设备
CN111539940A (zh) 超广角眼底图像生成方法及设备
KR102383495B1 (ko) 의료 영상데이터 추출 방법
KR20200102034A (ko) 세포 계수 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant