CN117152507A - 一种牙齿健康状态检测方法、装置、设备及存储介质 - Google Patents
一种牙齿健康状态检测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN117152507A CN117152507A CN202311081398.1A CN202311081398A CN117152507A CN 117152507 A CN117152507 A CN 117152507A CN 202311081398 A CN202311081398 A CN 202311081398A CN 117152507 A CN117152507 A CN 117152507A
- Authority
- CN
- China
- Prior art keywords
- tooth
- image
- detected
- model
- label
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 270
- 230000036541 health Effects 0.000 title claims abstract description 188
- 238000003860 storage Methods 0.000 title claims abstract description 21
- 210000000214 mouth Anatomy 0.000 claims abstract description 112
- 238000000034 method Methods 0.000 claims abstract description 57
- 238000012545 processing Methods 0.000 claims abstract description 41
- 238000003709 image segmentation Methods 0.000 claims abstract description 34
- 238000012549 training Methods 0.000 claims description 109
- 238000000605 extraction Methods 0.000 claims description 82
- 230000011218 segmentation Effects 0.000 claims description 76
- 230000003862 health status Effects 0.000 claims description 63
- 238000012937 correction Methods 0.000 claims description 27
- 230000037123 dental health Effects 0.000 claims description 27
- 238000004590 computer program Methods 0.000 claims description 21
- 210000000332 tooth crown Anatomy 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 13
- 238000012360 testing method Methods 0.000 claims description 10
- 208000002925 dental caries Diseases 0.000 claims description 8
- 239000000049 pigment Substances 0.000 claims description 8
- 239000002981 blocking agent Substances 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 2
- 238000000638 solvent extraction Methods 0.000 claims description 2
- 238000011156 evaluation Methods 0.000 abstract description 5
- 238000013527 convolutional neural network Methods 0.000 description 90
- 230000006870 function Effects 0.000 description 14
- 239000013598 vector Substances 0.000 description 12
- 238000010586 diagram Methods 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 6
- 210000003128 head Anatomy 0.000 description 4
- 210000004283 incisor Anatomy 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 210000004763 bicuspid Anatomy 0.000 description 2
- 210000003464 cuspid Anatomy 0.000 description 2
- 210000004513 dentition Anatomy 0.000 description 2
- 230000005802 health problem Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000036346 tooth eruption Effects 0.000 description 2
- 238000011179 visual inspection Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000001055 chewing effect Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000008821 health effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007789 sealing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
- G06V10/422—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/54—Extraction of image or video features relating to texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30036—Dental; Teeth
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种牙齿健康状态检测方法、装置、设备及存储介质，通过Mask R‑CNN Restnet50模型对待检测口腔图像进行图像分割处理，得到待检测口腔图像中每个牙齿对应的牙齿图像；并基于单张牙齿图像的牙齿健康状态检测方法中的Tresnet检测模型，分别对分割出的每个牙齿图像进行牙齿健康状态检测，最后通过整合所有第一牙齿健康状态检测结果，得到待检测口腔图像对应的综合牙齿健康状态检测结果；与现有技术方案相比，本发明的技术方案基于预训练的模型对获取的口腔图像进行图像分割，并对分割出的每个牙齿图像进行牙齿健康状态检测，实现口腔内牙齿的个体化检测和评估，提高了检测准确性和全面性。
Description
技术领域
本发明涉及图像识别处理的技术领域，特别是涉及一种牙齿健康状态检测方法、装置、设备及存储介质。
背景技术
目前，通过提供普遍和易获得的口腔检查和保健服务，在牙齿发生不可逆病变前及时干预，可以改善群众的牙齿健康状况；然而现阶段口腔医疗资源与需求的增长不匹配，口腔医疗资源分配不均衡，对患者及医生双方均提出挑战。
近年来，互联网智能设备的发展为患者提供便捷快速的就医渠道，线上就医的过程中，由于缺乏可在临床环境进行的其他检查，普遍都是患者自行拍摄口腔图像，并将口腔图像通过专门的路径发送给线上口腔医生进行视诊，视诊的结果主要依赖于线上医生的临床水平和经验，存在良莠不齐的问题；且目前的视诊一般只会检查牙齿的整体情况，并不会针对牙齿的每种牙齿状态都进行相应的检查，导致患者难以得到全面性的视诊结果；因此，如何使患者可在非临床环境内获得准确、全面的检查结果，是目前亟待解决的问题。
发明内容
本发明要解决的技术问题是：提供一种牙齿健康状态检测方法、装置、设备及存储介质，能提高牙齿健康状态检测的准确性和全面性。
为了解决上述技术问题，本发明提供了一种牙齿健康状态检测方法，包括：
获取待检测牙齿图像，将所述待检测牙齿图像输入到预训练的Tresnet检测模型中，以使所述Tresnet检测模型对所述待检测牙齿图像进行第一图像特征提取，得到多个第一牙齿图像特征，并对所述多个第一牙齿图像特征进行第一多标签分类预测，输出所述待检测牙齿图像的第一多标签分类结果；
基于所述第一多标签分类结果，得到所述待检测牙齿图像的第一牙齿健康状态检测结果。
在一种可能的实现方式中，对所述待检测牙齿图像进行第一图像特征提取，得到多个第一牙齿图像特征，具体包括：
基于所述Tresnet检测模型的卷积层对所述待检测牙齿图像进行第一颜色特征提取，得到所述待检测牙齿图像的第一牙齿颜色特征；
基于所述Tresnet检测模型的卷积层对所述待检测牙齿图像进行第一纹理特征提取，得到所述待检测牙齿图像的第一牙齿纹理特征；
基于所述Tresnet检测模型的卷积层对所述待检测牙齿图像进行第一形状特征提取，得到所述待检测牙齿图像的第一牙齿形状特征。
进一步地，通过使用Tresnet检测模型的卷积层，将待检测牙齿图像分别提取颜色、纹理和形状等不同方面的特征，有助于提高后续检测的准确性和鲁棒性。
在一种可能的实现方式中，所述对所述多个牙齿图像特征进行第一多标签分类预测，输出所述待检测牙齿图像的第一多标签分类结果，具体包括：
设置多个第一牙齿健康状态标签，其中，所述多个第一牙齿健康状态标签包括牙体完好、龋齿、充填物、菌斑、色素和口内装置；
基于所述Tresnet检测模型的全连接层对所述多个第一牙齿图像特征进行第一多标签预测，得到每个第一牙齿健康状态标签对应的第一预测概率值，基于所述每个第一牙齿健康状态标签对应的第一预测概率值，得到所述待检测牙齿图像的第一多标签分类结果。
进一步地，通过设置多样性的标签，对待检测牙齿图像的健康状态进行多标签分类预测，而不是单一的健康状态分类，使得能同时捕捉图像中可能存在的多种健康问题，提供更全面的信息。
在一种可能的实现方式中，输出所述待检测牙齿图像的第一多标签分类结果后，还包括：
所述Tresnet检测模型判断所述待检测牙齿图像是否为第一恒磨牙图像；
其中，所述判断所述待检测牙齿图像是否为所述第一恒磨牙图像，具体包括：
基于预训练的Mask R-CNN Restnet50模型，获取所述待检测牙齿图像的第一牙位标签，若所述第一牙位标签为第一恒磨牙标签，则确定所述待检测牙齿图像为所述第一恒磨牙图像，若所述第一牙位标签不为所述第一恒磨牙标签，则确定所述待检测牙齿图像不为所述第一恒磨牙图像。
进一步地，基于预训练的模型获取待检测牙齿图像所属的牙位标签，有助于准确地确定待检测牙齿图像是否为第一恒磨牙图像，从而避免了人工判定可能带来的主观性和错误。
在一种可能的实现方式中，所述Tresnet检测模型判断所述待检测牙齿图像是否为第一恒磨牙图像后，还包括：
在确定所述检测牙齿图像为第一恒磨牙图像时，对所述第一恒磨牙图像进行第二图像特征提取，得到多个第二牙齿图像特征，并对所述多个第二牙齿图像特征进行第二多标签分类预测，得到第二多标签分类预测结果；
根据所述第二多标签分类预测结果，得到所述待检测牙齿图像的第二牙齿健康状态检测结果。
进一步地，能基于提取的待检测牙齿图像的多个第二牙齿图像特征，对待检测牙齿图像进行第二多标签分类预测，获取待检测牙齿图像在多个方面的分类结果，从而更全面的评价牙齿的健康状态，能提高检测准确性和精度。
在一种可能的实现方式中，所述Tresnet检测模型对所述待检测牙齿图像进行第二图像特征提取，得到多个第二牙齿图像特征，具体包括：
基于所述Tresnet检测模型的卷积层对所述待检测牙齿图像进行牙冠特征提取，得到所述待检测牙齿图像的牙齿牙冠特征；
基于所述Tresnet检测模型的卷积层对所述待检测牙齿图像进行第二裂缝特征提取，得到所述待检测牙齿图像的第二牙齿裂缝特征。
进一步地，通过基于Tresnet检测模型的卷积层进行多次特征提取，能够获取牙齿图像的多个方面特征，包括牙冠和裂缝，基于多个第二牙齿图像特征，能更全面地描述和表示待检测牙齿图像，提高后续检测的准确性。
在一种可能的实现方式中，所述对所述多个第二牙齿图像特征进行第二多标签分类预测，得到第二多标签分类预测结果，具体包括：
设置多个第二牙齿健康状态标签，其中，所述多个第二牙齿健康状态标签包括深窝沟、浅窝沟、可见窝沟封闭剂、完全萌出和未完全萌出；
基于所述Tresnet检测模型的全连接层对所述多个第二牙齿图像特征进行多标签预测，得到每个第二牙齿健康状态标签对应的第二预测概率值，基于所述每个第二牙齿健康状态标签对应的第二预测概率值，得到所述待检测牙齿图像的第二多标签分类结果。
进一步地，通过设置多样性的标签，对待检测牙齿图像的健康状态进行多标签分类预测，而不是单一的健康状态分类，使得能同时捕捉图像中可能存在的多种健康问题，提供更全面的信息。
本发明还提供了一种基于口腔图像的牙齿健康状态检测方法，包括：
获取待检测口腔图像，将所述待检测口腔图像输入到预训练的Mask R-CNNRestnet50模型中，以使所述Mask R-CNN Restnet50模型对所述待检测口腔图像进行图像分割处理，得到所述待检测口腔图像中每个牙齿对应的牙齿图像；
基于上述任意一项所述的基于单张牙齿图像的牙齿健康状态检测方法，分别对分割出的每个牙齿图像进行牙齿健康状态检测，得到每个牙齿图像对应的第一牙齿健康状态检测结果；
整合所有第一牙齿健康状态检测结果，得到所述待检测口腔图像对应的综合牙齿健康状态检测结果。
进一步地，通过模型将口腔图像中的每个牙齿图像分割出来，对每个牙齿图像进行牙齿健康状态检测，有效地对每颗牙齿进行详细分析，且基于通过自动图像分割和健康状态检测，减少了人工处理的需求，提高口腔检测效率。
在一种可能的实现方式中，所述Mask R-CNN Restnet50模型的训练过程，具体包括：
获取口腔样本图像训练集，其中，所述口腔样本图像训练集中的每个口腔样本图像中包括每个牙齿对应的牙齿轮廓边框、牙位标签和像素级实例分割掩码；
构建原始Mask R-CNN Restnet50模型，并对所述原始Mask R-CNN Restnet50模型设置初始目标分类损失、初始边界框回归损失、初始掩码分割损失和初始分类标签修正网络损失；
基于所述口腔样本图像训练集对所述原始Mask R-CNN Restnet50模型进行迭代训练，以使更新所述初始目标分类损失、所述初始边界框回归损失、所述初始掩码分割损失和所述初始分类标签修正网络损失，得到最优的Mask R-CNN Restnet50模型。
进一步地，通过口腔样本图像训练集对原始Mask R-CNN Restnet50模型进行优化训练，并在训练过程中，充分考虑了模型的多个任务，包括目标检测、边界框回归和像素级分割，通过迭代训练，模型可以不断地更新损失函数，能提高后续模型在口腔图像分割任务上的准确性和稳定性。
在一种可能的实现方式中，基于所述口腔样本图像训练集对所述原始Mask R-CNNRestnet50模型进行迭代训练，以使更新所述初始目标分类损失、所述初始边界框回归损失、所述初始掩码分割损失和所述初始分类标签修正网络损失，得到最优的Mask R-CNNRestnet50模型，具体包括：
基于预设比例将所述口腔样本图像训练集划分为第一训练图像集和第一测试图像集；
将所述第一训练图像集输入到所述原始Mask R-CNN Restnet50模型中，以使所述原始Mask R-CNN Restnet50模型分别对所述第一训练图像集中的每个口腔样本图像进行目标分类、边界框回归和实例分割处理，得到每个口腔样本图像中每个牙齿对应的预测牙位标签、预测牙齿轮廓边框和预测像素级实例分割掩码；
基于所述预测牙位标签、所述预测牙齿轮廓边框和所述预测像素级实例分割掩码，分别计算初始目标分类损失、初始边界框回归损失、初始掩码分割损失和初始分类标签修正网络损失，得到整体损失参数；
基于所述整体损失参数，对所述原始Mask R-CNN Restnet50模型进行模型参数迭代更新处理，直至模型收敛或到达预设模型迭代次数，得到最优的Mask R-CNN Restnet50模型。
进一步地，通过将原始Mask R-CNN ResNet50模型与口腔样本图像数据集进行迭代训练，可以逐步优化模型性能，使得原始Mask R-CNN ResNet50模型经过多次迭代更新，可以逐渐调整参数以最优化目标分类、边界框回归和实例分割的损失，从而提高模型的准确性和鲁棒性。
在一种可能的实现方式中，将所述待检测口腔图像输入到预训练的Mask R-CNNRestnet50模型中，所述Mask R-CNN Restnet50模型对所述待检测口腔图像进行图像分割处理，得到所述待检测口腔图像中每个牙齿对应的牙齿图像，具体包括：
将所述待检测口腔图像输入到预训练的Mask R-CNN Restnet50模型中，以使所述Mask R-CNN Restnet50模型中的CNN层对所述待检测口腔图像进行特征提取，得到口腔特征图；
基于预设的卷积窗口对所述口腔特征图进行滑动处理，得到所述口腔特征图的多个候选区域，并获取每个候选区域的第一预测牙位标签和第一预测牙齿轮廓边框和第一预测像素级实例分割掩码；
基于所述第一预测牙齿轮廓边框和所述第一预测像素级实例分割掩码对所述待检测口腔图像进行图像分割处理，得到所述待检测口腔图像中每个牙齿对应的牙齿图像，并将所述第一预测牙位标签作为所述牙齿图像的牙位标签，输出每个牙齿对应的所述牙齿图像，以及所述牙齿图像对应的所述牙位标签。
进一步地，采用了自动化的图像分割，减少了人为操作的干预，并在图像分割过程中，对提取的待检测口腔图像的口腔特征图进行滑动处理，得到多个候选区域，而更准确地识别牙齿的位置和边界，同时通过预测像素级实例分割掩码，可以准确地标记每个牙齿的像素，进一步提升牙齿图像分割的精度。
本发明还提供了一种基于单张牙齿图像的牙齿健康状态检测装置，包括：第一牙齿分类模块和第一牙齿健康状态检测结果生成模块；
其中，所述第一牙齿分类模块，用于获取待检测牙齿图像，将所述待检测牙齿图像输入到预训练的Tresnet检测模型中，以使所述Tresnet检测模型对所述待检测牙齿图像进行第一图像特征提取，得到多个第一牙齿图像特征，并对所述多个第一牙齿图像特征进行第一多标签分类预测，输出所述待检测牙齿图像的第一多标签分类结果；
所述第一牙齿健康状态检测结果生成模块，用于基于所述第一多标签分类结果，得到所述待检测牙齿图像的第一牙齿健康状态检测结果。
在一种可能的实现方式中，所述第一牙齿分类模块包括第一牙齿颜色特征提取单元、第一牙齿纹理特征提取单元和第一牙齿形状特征提取单元：
其中，所述第一牙齿颜色特征提取单元，用于基于所述Tresnet检测模型的卷积层对所述待检测牙齿图像进行第一颜色特征提取，得到所述待检测牙齿图像的第一牙齿颜色特征；
所述第一牙齿纹理特征提取单元，用于基于所述Tresnet检测模型的卷积层对所述待检测牙齿图像进行第一纹理特征提取，得到所述待检测牙齿图像的第一牙齿纹理特征；
所述第一牙齿形状特征提取单元，用于基于所述Tresnet检测模型的卷积层对所述待检测牙齿图像进行第一形状特征提取，得到所述待检测牙齿图像的第一牙齿形状特征。
在一种可能的实现方式中，所述第一牙齿分类模块还包括第一牙齿健康状态标签设置单元和第一多标签分类结果获取单元；
其中，所述第一牙齿健康状态标签设置单元，用于设置多个第一牙齿健康状态标签，其中，所述多个第一牙齿健康状态标签包括牙体完好、龋齿、充填物、菌斑、色素和口内装置；
所述第一多标签分类结果获取单元，用于基于所述Tresnet检测模型的全连接层对所述多个第一牙齿图像特征进行第一多标签预测，得到每个第一牙齿健康状态标签对应的第一预测概率值，基于所述每个第一牙齿健康状态标签对应的第一预测概率值，得到所述待检测牙齿图像的第一多标签分类结果。
在一种可能的实现方式中，还包括：第一恒磨牙图像判断模块；
其中，所述第一恒磨牙图像判断模块，用于所述Tresnet检测模型判断所述待检测牙齿图像是否为第一恒磨牙图像；
其中，所述判断所述待检测牙齿图像是否为所述第一恒磨牙图像，具体包括：
基于预训练的Mask R-CNN Restnet50模型，获取所述待检测牙齿图像的第一牙位标签，若所述第一牙位标签为第一恒磨牙标签，则确定所述待检测牙齿图像为所述第一恒磨牙图像，若所述第一牙位标签不为所述第一恒磨牙标签，则确定所述待检测牙齿图像不为所述第一恒磨牙图像。
本发明提供的一种基于单张牙齿图像的牙齿健康状态检测装置，还包括：第二牙齿分类模块和第二牙齿健康状态检测结果获取模块；
其中，所述第二牙齿分类模块，用于在确定所述检测牙齿图像为第一恒磨牙图像时，对所述第一恒磨牙图像进行第二图像特征提取，得到多个第二牙齿图像特征，并对所述多个第二牙齿图像特征进行第二多标签分类预测，得到第二多标签分类预测结果；
所述第二牙齿健康状态检测结果获取模块，用于根据所述第二多标签分类预测结果，得到所述待检测牙齿图像的第二牙齿健康状态检测结果。
在一种可能的实现方式中，所述第二牙齿分类模块包括牙齿牙冠特征提取单元和牙齿裂缝特征提取单元；
其中，所述牙齿牙冠特征提取单元，用于基于所述Tresnet检测模型的卷积层对所述待检测牙齿图像进行牙冠特征提取，得到所述待检测牙齿图像的牙齿牙冠特征；
所述牙齿裂缝特征提取单元，用于基于所述Tresnet检测模型的卷积层对所述待检测牙齿图像进行第二裂缝特征提取，得到所述待检测牙齿图像的第二牙齿裂缝特征。
在一种可能的实现方式中，所述第二牙齿分类模块还包括第二牙齿健康状态标签设置单元和第二多标签分类结果获取单元；
其中，所述第二牙齿健康状态标签设置单元，用于设置多个第二牙齿健康状态标签，其中，所述多个第二牙齿健康状态标签包括深窝沟、浅窝沟、可见窝沟封闭剂、完全萌出和未完全萌出；
所述第二多标签分类结果获取单元，用于基于所述Tresnet检测模型的全连接层对所述多个第二牙齿图像特征进行多标签预测，得到每个第二牙齿健康状态标签对应的第二预测概率值，基于所述每个第二牙齿健康状态标签对应的第二预测概率值，得到所述待检测牙齿图像的第二多标签分类结果。
本发明还提供了一种基于口腔图像的牙齿健康状态检测装置，包括：牙齿分割模块、牙齿健康状态检测模块和综合牙齿健康状态检测结果获取模块；
其中，所述牙齿分割模块，用于获取待检测口腔图像，将所述待检测口腔图像输入到预训练的Mask R-CNN Restnet50模型中，以使所述Mask R-CNN Restnet50模型对所述待检测口腔图像进行图像分割处理，得到所述待检测口腔图像中每个牙齿对应的牙齿图像；
所述牙齿健康状态检测模块，用于基于权利要求1到权利要求7所述的任意一项基于单张牙齿图像的牙齿健康状态检测方法，分别对分割出的每个牙齿图像进行牙齿健康状态检测，得到每个牙齿图像对应的第一牙齿健康状态检测结果；
所述综合牙齿健康状态检测结果获取模块，用于整合所有第一牙齿健康状态检测结果，得到所述待检测口腔图像对应的综合牙齿健康状态检测结果。
本发明提供的一种基于口腔图像的牙齿健康状态检测装置，还包括：模型训练模块，其中，所述模型训练模块包括训练样本采集单元、原始模型构建单元和模型优化单元；
其中，所述训练样本采集单元，用于获取口腔样本图像训练集，其中，所述口腔样本图像训练集中的每个口腔样本图像中包括每个牙齿对应的牙齿轮廓边框、牙位标签和像素级实例分割掩码；
所述原始模型构建单元，用于构建原始Mask R-CNN Restnet50模型，并对所述原始Mask R-CNN Restnet50模型设置初始目标分类损失、初始边界框回归损失、初始掩码分割损失和初始分类标签修正网络损失；
所述模型优化单元，用于基于所述口腔样本图像训练集对所述原始Mask R-CNNRestnet50模型进行迭代训练，以使更新所述初始目标分类损失、所述初始边界框回归损失、所述初始掩码分割损失和所述初始分类标签修正网络损失，得到最优的Mask R-CNNRestnet50模型。
在一种可能的实现方式中，所述模型优化单元包括训练集划分子单元、多目标训练子单元、损失参数计算子单元和最优模型确定子单元；
其中，所述训练集划分子单元，用于基于预设比例将所述口腔样本图像训练集划分为第一训练图像集和第一测试图像集；
所述多目标训练子单元，用于将所述第一训练图像集输入到所述原始Mask R-CNNRestnet50模型中，以使所述原始Mask R-CNN Restnet50模型分别对所述第一训练图像集中的每个口腔样本图像进行目标分类、边界框回归和实例分割处理，得到每个口腔样本图像中每个牙齿对应的预测牙位标签、预测牙齿轮廓边框和预测像素级实例分割掩码；
所述损失参数计算子单元，用于基于所述预测牙位标签、所述预测牙齿轮廓边框和所述预测像素级实例分割掩码，分别计算所述目标分类损失、初始边界框回归损失、所述掩码分割损失和所述分类标签修正网络损失，得到整体损失参数；
所述最优模型确定子单元，用于基于所述整体损失参数，对所述原始Mask R-CNNRestnet50模型进行模型参数迭代更新处理，直至模型收敛或到达预设模型迭代次数，得到最优的Mask R-CNN Restnet50模型。
在一种可能的实现方式中，所述牙齿分割模块包括口腔特征提取单元、候选区域生成单元和牙齿图像分割单元；
其中，所述口腔特征提取单元，用于将所述待检测口腔图像输入到预训练的MaskR-CNN Restnet50模型中，以使所述Mask R-CNN Restnet50模型中的CNN层对所述待检测口腔图像进行特征提取，得到口腔特征图；
所述候选区域生成单元，用于基于预设的卷积窗口对所述口腔特征图进行滑动处理，得到所述口腔特征图的多个候选区域，并获取每个候选区域的第一预测牙位标签和第一预测牙齿轮廓边框和第一预测像素级实例分割掩码；
所述牙齿图像分割单元，用于基于所述第一预测牙齿轮廓边框和所述第一预测像素级实例分割掩码对所述待检测口腔图像进行图像分割处理，得到所述待检测口腔图像中每个牙齿对应的牙齿图像，并将所述第一预测牙位标签作为所述牙齿图像的牙位标签，输出每个牙齿对应的所述牙齿图像，以及所述牙齿图像对应的所述牙位标签。
本发明还提供了一种终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述任意一项所述的基于单张牙齿图像的牙齿健康状态检测方法，或如上述任意一项所述的基于口腔图像的牙齿健康状态检测方法。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述任意一项所述的基于单张牙齿图像的牙齿健康状态检测方法，或如上述任意一项所述的基于口腔图像的牙齿健康状态检测方法。
本发明实施例一种牙齿健康状态检测方法、装置、设备及存储介质，与现有技术相比，具有如下有益效果：
通过获取待检测牙齿图像，将所述待检测牙齿图像输入到预训练的Tresnet检测模型中，以使所述Tresnet检测模型在确定所述待检测牙齿图像不为第一恒磨牙图像时，对所述待检测牙齿图像进行第一图像特征提取，得到多个第一牙齿图像特征，并对所述多个第一牙齿图像特征进行第一多标签分类预测，输出所述待检测牙齿图像的第一多标签分类结果；基于所述第一多标签分类结果，得到所述待检测牙齿图像的第一牙齿健康状态检测结果；与现有技术相比，本发明的技术方案能基于提取的待检测牙齿图像的多个第一牙齿图像特征，对待检测牙齿图像进行第一多标签分类预测，获取待检测牙齿图像在多个方面的分类结果，从而更全面的评价牙齿的健康状态，能提高检测准确性和精度。
附图说明
图1是本发明提供的一种基于单张牙齿图像的牙齿健康状态检测方法的一种实施例的流程示意图；
图2是本发明提供的一种基于单张牙齿图像的牙齿健康状态检测装置的一种实施例的结构示意图；
图3是本发明提供的一种基于口腔牙齿图像的牙齿健康状态检测方法的一种实施例的流程示意图；
图4是本发明提供的一种基于口腔牙齿图像的牙齿健康状态检测装置的一种实施例的结构示意图；
图5是本发明提供的一种实施例的Attent ion模块的结构示意图；
图6是本发明提供的一种基于单张牙齿图像的牙齿健康状态检测装置的又一种实施例的结构示意图；
图7是本发明提供的一种基于口腔牙齿图像的牙齿健康状态检测装置的又一种实施例的结构示意图。
具体实施方式
下面将结合本发明中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1，参见图1，图1是本发明提供的一种基于单张牙齿图像的牙齿健康状态检测方法的一种实施例的流程示意图，如图1所示，该方法包括步骤101-步骤102，具体如下：
步骤101：获取待检测牙齿图像，将所述待检测牙齿图像输入到预训练的Tresnet检测模型中，以使所述Tresnet检测模型在确定所述待检测牙齿图像不为第一恒磨牙图像时，对所述待检测牙齿图像进行第一图像特征提取，得到多个第一牙齿图像特征，并对所述多个第一牙齿图像特征进行第一多标签分类预测，输出所述待检测牙齿图像的第一多标签分类结果。
一实施例中，设置所述Tresnet检测模型的训练过程包括全牙列图像训练和第一恒磨牙图像训练。
一实施例中，对所述Tresnet检测模型进行全牙列图像训练时，设置多个第一牙齿健康状态标签包括牙体完好、龋齿、充填物、菌斑、色素和口内装置，基于牙齿类型，获取每个牙齿类型对应的多个单牙样本图像数据，生成单牙样本图像数据集；其中，每个单牙样本图像数据包括单牙样本图像及其对应的多个第一牙齿健康状态标签的概率值。
一实施例中，将单牙样本图像数据集按预设比例划分为第一训练集和第一测试集，以所述第一训练集中的单牙样本图像作为模型输入，以单牙样本图像对应的每个第一牙齿健康状态标签的概率值作为模型输出，对所述Tresnet检测模型进行模型训练，以所述第一测试集对所述Tresnet检测模型的检测结果进行准确性评估，直至模型收敛，得到完成全牙列图像训练的Tresnet检测模型。
一实施例中，对所述Tresnet检测模型进行第一恒磨牙图像训练时，设置多个第二牙齿健康状态标签包括深窝沟、浅窝沟、可见窝沟封闭剂、完全萌出和未完全萌出，基于牙齿类型，获取每个牙齿类型对应的多个第一恒磨牙样本图像数据，生成第一恒磨牙样本图像数据集；其中，每个第一恒磨牙样本图像数据包括第一恒磨牙样本图像及其对应的多个第二牙齿健康状态标签的概率值。
一实施例中，将第一恒磨牙样本图像数据集按预设比例划分为第二训练集和第二测试集，以所述第二训练集中的第一恒磨牙样本图像作为模型输入，以第一恒磨牙样本图像对应的每个第二牙齿健康状态标签的概率值作为模型输出，对所述Tresnet检测模型进行模型训练，以所述第二测试集对所述Tresnet检测模型的检测结果进行准确性评估，直至模型收敛，得到完成第一恒磨牙图像训练的Tresnet检测模型。
一实施例中，由于每个口腔牙齿上面的患病种类不一样，容易导致最终的统计结果中出现严重的长尾分布，即有些类别数量很多有些类别很不常见，如果我们使用常见的损失函数如BCEloss进行分类，会导致严重的损失不均衡；在多标签分类中这一问题表现为某个标签的正样本与负样本极度不平衡，使用常见的损失函数训练会导致模型倾向于将这些数量少的类别预测为负样本，但在医学任务中不常见类别的病症往往会带来更严重的健康影响，因此为解决长尾分布的医学图像训练，本实施例中，在对模型训练时，还引入了Focal Loss解决多标签不平衡问题。
一实施例中，对于Focal loss损失函数，基于正负样本不均衡的问题，又兼顾到了那些困难的、错分的样本，它的原理是通过在普通的交叉熵函数上增加α和γ参数，其中，α参数用来平衡正负样本本身的比例不均问题；γ参数用于减少易分类样本的损失，转而去加倍关注困难的、错分的样本，最终能够较好的使训练数据集的样本均衡化，使得网络模型能学习到有用的信息，提高识别的准确性。
一实施例中，采用的Tresnet检测模型相较于Resnet增加了多尺度特征金字塔，允许网络从不同尺度的特征图中捕获信息，有助于提高模型对不同大小物体的感知能力，使得可以根据不同尺度信息做出最终的分类判断；其次，Tresnet检测模型还使用了不同类型的卷积核，例如普通卷积核和空洞卷积核，有助于模型捕获不同层次的特征，提高分类任务中的精确性和感受野。
一实施例中，所述待检测牙齿图像为单颗牙齿的RGB图像，其中，所述待检测牙齿图像可以基于手机、相机或反光板与摄像头组合的拍摄设备对用户口腔中的牙齿进行拍摄得到的。
优选的，所述待检测牙齿图像还可以基于手机、相机或反光板与摄像头组合的拍摄设备对用户口腔中的所有牙齿进行拍摄，得到用户的整体口腔图像，在从所述整体口腔图像中分割出单颗牙齿图像而得到；且由于使用手机、相机或反光板与摄像头组合的拍摄设备进行待检测牙齿图像的拍摄获取，使得用户在进行待检测牙齿图像的获取时，可以不受场景的限制，提高待检测图像的获取效率；区别于现有技术中需要在医院基于特定设备拍摄的照片，如X光图像等。
一实施例中，所述Tresnet检测模型对所述待检测牙齿图像进行第一图像特征提取，得到多个第一牙齿图像特征，具体的，基于所述Tresnet检测模型的卷积层对所述待检测牙齿图像进行第一颜色特征提取，得到所述待检测牙齿图像的第一牙齿颜色特征；基于所述Tresnet检测模型的卷积层对所述待检测牙齿图像进行第一纹理特征提取，得到所述待检测牙齿图像的第一牙齿纹理特征；基于所述Tresnet检测模型的卷积层对所述待检测牙齿图像进行第一形状特征提取，得到所述待检测牙齿图像的第一牙齿形状特征。
一实施例中，基于所述Tresnet检测模型的卷积层对所述待检测牙齿图像进行第一颜色特征提取时，通过卷积核将所述待检测牙齿图像划分为多个待检测牙齿子图像，获取所述每个待检测牙齿子图像中每个像素值对应的RGB值，并将所述RGB值分别输入到对应的颜色通道中，计算不同颜色通道中的颜色直方图，基于每个待检测牙齿子图像对应的不同颜色通道中的颜色直方图，生成颜色通道子特征向量，整合所有待检测牙齿子图像对应的颜色通道子特征向量，得到所述待检测牙齿图像的第一牙齿颜色特征，其中，所述不同颜色通道包括红色颜色通道、蓝色颜色通道和绿色颜色通道。
一实施例中，基于所述Tresnet检测模型的卷积层对所述待检测牙齿图像进行第一纹理特征提取时，通过卷积核将所述待检测牙齿图像划分为多个待检测牙齿子图像，获取每个待检测牙齿子图像中所有像素点对应的第一LBP值，基于所述第一LBP值计算每个待检测牙齿子图像对应的LBP直方图，对所述LBP直方图进行归一化处理，得到归一化LBP直方图,连接每个待检测牙齿子图像对应的归一化LBP直方图，得到所述待检测牙齿图像的LBP纹理特征向量，基于所述LBP纹理特征向量，得到所述待检测牙齿图像的第一牙齿纹理特征。
一实施例中，基于所述Tresnet检测模型的卷积层对所述待检测牙齿图像进行第一形状特征提取时，通过对所述待检测牙齿图像进行灰度化处理，得到待检测牙齿灰度化图像，通过卷积核将所述待检测牙齿灰度化图像划分为多个待检测牙齿灰度化子图像，基于边缘检测算法，获取所述每个待检测牙齿灰度化子图像中的边缘数据，将搜书边缘数据转换为边缘特征向量，将所有待检测牙齿灰度化子图像对应的边缘特征向量进行整合，得到所述待检测牙齿图像的第一牙齿形状特征。
一实施例中，所述对所述多个牙齿图像特征进行第一多标签分类预测，输出所述待检测牙齿图像的第一多标签分类结果时，通过设置多个第一牙齿健康状态标签，其中，所述多个第一牙齿健康状态标签包括牙体完好、龋齿、充填物、菌斑、色素和口内装置；基于所述Tresnet检测模型的全连接层对所述多个第一牙齿图像特征进行第一多标签预测，得到每个第一牙齿健康状态标签对应的第一预测概率值，基于所述每个第一牙齿健康状态标签对应的第一预测概率值，得到所述待检测牙齿图像的第一多标签分类结果。
优选的，所述口内装置为影响口腔卫生保健的设备，所述口内装置包括但不限于正畸矫治器和修复体。
具体的，对所述Tresnet检测模型添加全连接层，用于进行多标签分类预测，所述全连接层用于接收Tresnet模型中卷积层提取到的多个特征，并将其映射到每个健康状态标签的预测概率上。
具体的，对于每个健康状态标签，全连接层将输出一个预测概率值，通过使用激活函数来确保每个概率值位于0到1之间，表示该标签的存在概率。
一实施例中，由于第一恒磨牙是牙齿当前较为重要的一颗牙齿，当第一恒磨牙出现问题时，会直接影响我们日常生活中的一些吃饭咀嚼的功能，因此，对第一恒磨牙的牙齿健康状态进行进一步详细的检测至关重要。基于此，本实施例中，将所述待检测牙齿图像输入到预训练的Tresnet检测模型中时，还基于所述Tresnet检测模型判断所述待检测牙齿图像是否为第一恒磨牙图像。
具体的，基于预训练的Mask R-CNN Restnet50模型，获取所述待检测牙齿图像的第一牙位标签，若所述第一牙位标签为第一恒磨牙标签，则确定所述待检测牙齿图像为所述第一恒磨牙图像，若所述第一牙位标签不为所述第一恒磨牙标签，则确定所述待检测牙齿图像不为所述第一恒磨牙图像。
一实施例中，所述Tresnet检测模型判断所述待检测牙齿图像是否为第一恒磨牙图像后，还包括：在确定所述检测牙齿图像为第一恒磨牙图像时，对所述第一恒磨牙图像进行第二图像特征提取，得到多个第二牙齿图像特征，并对所述多个第二牙齿图像特征进行第二多标签分类预测，得到第二多标签分类预测结果；根据所述第二多标签分类预测结果，得到所述待检测牙齿图像的第二牙齿健康状态检测结果。
一实施例中，所述Tresnet检测模型对所述待检测牙齿图像进行第二图像特征提取，得到多个第二牙齿图像特征，具体的，基于所述Tresnet检测模型的卷积层对所述待检测牙齿图像进行牙冠特征提取，得到所述待检测牙齿图像的牙齿牙冠度特征；基于所述Tresnet检测模型的卷积层对所述待检测牙齿图像进行裂缝特征提取，得到所述待检测牙齿图像的牙齿裂缝度特征。
一实施例中，基于所述Tresnet检测模型的卷积层对所述待检测牙齿图像进行牙冠特征提取时，获取所述待检测牙齿图像中牙冠的露出度，将所述露出度转换为露出度向量，并将所述露出度向量作为所述待检测牙齿图像的牙齿牙冠度特征。
一实施例中，基于所述Tresnet检测模型的卷积层对所述待检测牙齿图像进行裂缝特征提取时，提取所述待检测牙齿图像的窝沟区域，基于所述窝沟区域，获取所述窝沟区域中每个像素点对应的亮度值，将所述亮度值转换为裂缝特征向量，并将所述裂缝特征向量作为所述待检测牙齿图像的牙齿裂缝度特征。
一实施例中，所述对所述多个第二牙齿图像特征进行第二多标签分类预测，得到第二多标签分类预测结果；具体的，通过设置多个第二牙齿健康状态标签，其中，所述多个第二牙齿健康状态标签包括深窝沟、浅窝沟、可见窝沟封闭剂、完全萌出和未完全萌出；基于所述Tresnet检测模型的全连接层对所述多个第二牙齿图像特征进行多标签预测，得到每个第二牙齿健康状态标签对应的第二预测概率值，基于所述每个第二牙齿健康状态标签对应的第二预测概率值，得到所述待检测牙齿图像的第二多标签分类结果。
优选的，由于对于单个牙齿图像而言，第一恒磨牙的萌出状态不可能同时存在完全萌出和未完全萌出状态，因此，当所述第一恒磨牙预测到萌出状态为完全萌出时，设置完全萌出状态的第二预概率值为1，设置未完全萌出状态的第二预概率值为0，当所述第一恒磨牙预测到萌出状态为未完全萌出时，设置未完全萌出状态的第二预概率值为1，设置完全萌出状态的第二预概率值为0。
步骤102：基于所述第一多标签分类结果，得到所述待检测牙齿图像的第一牙齿健康状态检测结果。
一实施例中，当所述待检测图像不为第一恒磨牙图像时，基于所述第一多标签分类结果，得到所述待检测牙齿图像的第一牙齿健康状态检测结果，并基于可视化设备都所述第一牙齿健康状态检测结果进行可视化展示，方便用户及时获取待检测牙齿的健康状态检测结果。
一实施例中，当所述待检测图像为第一恒磨牙图像时，基于所述第一多标签分类结果，得到所述待检测牙齿图像的第一牙齿健康状态检测结果后，还基于所述第二多标签分类结果，得到所述待检测牙齿图像的第二牙齿健康状态检测结果，基于所述第一多标签分类结果和所述第二牙齿健康状态检测结果，生成所述待检测牙齿图像的牙齿健康状态检测结果，并基于可视化设备都所述牙齿健康状态检测结果进行可视化展示，方便用户及时获取待检测牙齿的健康状态检测结果。
优选的，所述可视化设备包括但不限于带有显示屏幕的手机。
作为本实施例中的一种举例说明：当用户基于手机拍摄得到待检测牙齿图像后，直接将所述待检测牙齿图像输入到预训练的Tresnet检测模型中，以使所述Tresnet检测模型输出的牙齿健康状态检测结果，并将该牙齿健康状态检测结果直接在手机上进行显示，使得用户能直观的获取牙齿健康状态检测结果，实现随拍随测的功能，区别于现有技术中，用户为获取牙齿健康状态检测结果，需要在医院基于特定设备对牙齿进行X光拍摄，后续再基于医生基于拍摄的X光图片进行进一步诊断。
综上，本发明提供的一种基于单张牙齿图像的牙齿健康状态检测方法，基于预训练的Tresnet检测模型中对所述待检测牙齿图像进行第一图像特征提取，以及第一多标签分类预测，可以迅速分析牙齿图像并输出多个标签，从而快速得出健康状态检测结果，有助于提高对牙齿检测的效率，同时在第一多标签分类预测时，能可以同时评估牙齿图像在多个方面的健康状态，例如牙体完好、龋齿、充填物、菌斑、色素和口内装置等，且在面对第一恒磨牙图像时，还会进一步对第一恒磨牙图像进行进一步的检测，提高检测的全面性；且由于待检测牙齿图像可以基于手机、相机或反光板与摄像头组合的拍摄设备进行拍摄获取，方便用户可以不受场景限制获取待检测图像后，提高待检测图像的获取效率。
实施例2，参见图2，图2是本发明提供的一种基于口腔图像的牙齿健康状态检测方法的一种实施例的流程示意图，如图2所示，该方法包括步骤201-步骤203，具体如下：
步骤201：获取待检测口腔图像，将所述待检测口腔图像输入到预训练的Mask R-CNN Restnet50模型中，以使所述Mask R-CNN Restnet50模型对所述待检测口腔图像进行图像分割处理，得到所述待检测口腔图像中每个牙齿对应的牙齿图像。
一实施例中，Mask R-CNN Restnet50模型的训练过程，包括获取口腔样本图像训练集，其中，所述口腔样本图像训练集中的每个口腔样本图像中包括每个牙齿对应的牙齿轮廓边框、牙位标签和像素级实例分割掩码；构建原始Mask R-CNN Restnet50模型，并对所述原始Mask R-CNN Restnet50模型设置初始目标分类损失、初始边界框回归损失、初始掩码分割损失和初始分类标签修正网络损失；基于所述口腔样本图像训练集对所述原始MaskR-CNN Restnet50模型进行迭代训练，以使更新所述初始目标分类损失、所述初始边界框回归损失、所述初始掩码分割损失和所述初始分类标签修正网络损失，得到最优的Mask R-CNN Restnet50模型。
一实施例中，由于第一阶段对分割精度没有太高要求，而对分类和边界框预测要求较高，错误的分类会使得第二阶段无法确定牙位，会严重影响最终结果，基于其设置输入图片的大小设置为512*512，确保输入图片不会过大，这样能够更好的保证模型的全局特性，提高全局分析能力降低局部关注度，因此，获取口腔样本图像训练集后，还对口腔样本图像训练集中的每个口腔样本图像进行图像处理，以使将所述每个口腔样本图像的大小调整为预设大小，其中，所述预设大小为512*512。
一实施例中，设置牙位标签为A(乳中切牙)、B(乳侧切牙)、C(乳尖牙)、D(第一乳磨牙)、E(第二乳磨牙)、1(恒中切牙)、2(恒侧切牙)、3(恒尖牙)、4(第一前磨牙)、5(第二前磨牙)、6(第一恒磨牙)、7(第二恒磨牙)、8(第三恒磨牙)。
一实施例中，获取口腔样本图像训练集后，还基于设置牙位标签对口腔样本图像训练集中的每个口腔样本图像进行牙齿标签标注。
一实施例中，构建原始Mask R-CNN Restnet50模型，其中，所述原始Mask R-CNNRestnet50模型的主要结构包括共享卷积层Backbone、区域提案网络RPN、感兴趣区域对齐RoI Align、遮盖预测头Mask Prediction Head和分类标签修正网络。
一实施例中，对于共享卷积层网络Backbone，其常用的选择是基于ResNet、VGG等的卷积神经网络；共享卷积层网络用于对输入的口腔图像进行特征提取，为后续进一步处理做准备。
由于卷积神经网络CNN相较于Transformer而言，其每一个卷积核的覆盖区域较小，存在感受野狭小的问题，导致模型难以建立远距离依赖关系，比如为单牙进行牙位分类时难以根据最重要的恒磨牙牙位进行标注；因此，为了缓解这一问题，在每层特征上加入了Global Attention模块，Global Attention模块能增强CNN的全局关注度，使模型在牙位标注过程中能关注到重要的恒磨牙信息；如图5所示，图5为Attention模块的结构示意图，该Attention模块借鉴了Transformer的Attention建构，但该设计不会打乱CNN的位置先验信息，只需要很小的数据量就可以完成训练。
一实施例中，对于Attention模块，设置Attention模块的计算量为(H*W)2，由于浅层分辨率较高，将Attention模块添加在浅层会极大的加大运算量，所述我们将该Attention模块添加在resnet深层特征处理过程中，实现深层次的全局信息融合，为牙位信息建立远距离依赖关系。
一实施例中，对于区域提案网络RPN，Mask R-CNN使用RPN来生成候选目标区域。RPN通过滑动窗口在共享卷积特征图上搜索目标候选区域，然后生成这些区域的边界框和相应的分数，在本实施例中，其主要负责生成候选的牙齿位置，它会在不同尺度的特征图上滑动窗口，提出候选的牙齿位置，并为每个候选生成边界框和相应的分数。
一实施例中，对于感兴趣区域对齐RoI Al ign：主要基于RPN获取到的候选框割取对应位置的特征并进行池化操作；由于在目标检测和图像分割中，常常需要从输入图像中提取出特定感兴趣区域(如目标物体)的特征，然后进行后续的处理；RoI Al ign通过引入更精细的插值技术，克服了RoIPool ing中可能导致信息损失的问题；本实施例中，由于牙齿通常是小而细长的结构，所述在池化过程中使用双线性插值来更精确地对齐特征图中的牙齿结构。
一实施例中，对于遮盖预测头Mask Prediction Head，主要使用掩码mask来标记需要预测的位置，然后根据上下文信息来估计被遮盖的标记。
传统的遮盖预测头Mask Prediction Head更关注ROI下单个目标的预测，但是牙位预测是一个有相关性的任务，单一的感兴趣区域ROI特征并不能有效判断该牙属于哪个牙位，这一点在分类分支上会带来很严重的影响，经常出现将两个牙预测到同一个牙位上或者缺失的牙位预测。本实施例中，为了解决这一问题，设置分类标签修正网络，将分类的输出结果和边界框的预测结果输入到一个分类标签修正网络中完成对分类预测的修正，该网络可以根据每个牙位的位置信息和ROI预测的分类信息进一步完成修正任务。
一实施例中，由于模型的损失函数通常包括三个主要部分：目标分类损失，用于分类每颗牙齿的类别、边界框回归损失，用于精确定位每颗牙齿的边界框，以及掩码分割损失，用于精确牙齿的掩码。不同的损失函数权重可能需要根据任务的要求进行调整；本实施例中，由于还设置分类标签修正网络，因此还设置分类标签修正网络损失。基于上述，对所述原始Mask R-CNN Restnet50模型设置初始目标分类损失、初始边界框回归损失、初始掩码分割损失和初始分类标签修正网络损失。
一实施例中，基于所述口腔样本图像训练集对所述原始Mask R-CNN Restnet50模型进行迭代训练，以使更新所述初始目标分类损失、所述初始边界框回归损失、所述初始掩码分割损失和所述初始分类标签修正网络损失，得到最优的Mask R-CNN Restnet50模型，具体包括：基于预设比例将所述口腔样本图像训练集划分为第一训练图像集和第一测试图像集；将所述第一训练图像集输入到所述原始Mask R-CNN Restnet50模型中，以使所述原始Mask R-CNN Restnet50模型分别对所述第一训练图像集中的每个口腔样本图像进行目标分类、边界框回归和实例分割处理，得到每个口腔样本图像中每个牙齿对应的预测牙位标签、预测牙齿轮廓边框和预测像素级实例分割掩码；基于所述预测牙位标签、所述预测牙齿轮廓边框和所述预测像素级实例分割掩码，分别计算初始目标分类损失、初始边界框回归损失和初始掩码分割损失和初始分类标签修正网络损失，得到整体损失参数；基于所述整体损失参数，对所述原始Mask R-CNN Restnet50模型进行模型参数迭代更新处理，直至模型收敛或到达预设模型迭代次数，得到最优的Mask R-CNN Restnet50模型。
具体的，对于优化器，使用随机梯度下降(SGD)优化器进行模型训练；SGD通过计算梯度来调整权重，学习率为0.005，动量设置为0.9，权重衰减为0.0005，动量有助于在参数更新中考虑先前的梯度，从而在训练中更快地收敛；对于训练时长：模型进行了20个epoch的训练，一个epoch表示模型对整个训练集的完整遍历，通过迭代训练多个epoch，模型可以逐渐学习更多特征并优化权重，以获得更好的性能；对于硬件：训练过程在GeForce RTX2080 Ti GPU上完成，适用于加速深度学习模型的训练。
一实施例中，所述待检测口腔图像还可以基于手机、相机或反光板与摄像头组合的拍摄设备对用户的口腔进行拍摄，得到用户的口腔图像，并将该口腔图像作为待检测口腔图像。
一实施例中，对所述待检测口腔图像进行图像缩放处理，以使将所述待检测口腔图像调整为预设大小；优选的，所述预设大小为512*512。
一实施例中，将所述待检测口腔图像输入到预训练的Mask R-CNN Restnet50模型中，所述Mask R-CNN Restnet50模型对所述待检测口腔图像进行图像分割处理，得到所述待检测口腔图像中每个牙齿对应的牙齿图像，具体包括：将所述待检测口腔图像输入到预训练的Mask R-CNN Restnet50模型中，以使所述Mask R-CNN Restnet50模型中的CNN层对所述待检测口腔图像进行特征提取，得到口腔特征图；基于预设的卷积窗口对所述口腔特征图进行滑动处理，得到所述口腔特征图的多个候选区域，并获取每个候选区域的第一预测牙位标签和第一预测牙齿轮廓边框和第一预测像素级实例分割掩码；基于所述第一预测牙齿轮廓边框和所述第一预测像素级实例分割掩码对所述待检测口腔图像进行图像分割处理，得到所述待检测口腔图像中每个牙齿对应的牙齿图像，并将所述第一预测牙位标签作为所述牙齿图像的牙位标签，输出每个牙齿对应的所述牙齿图像，以及所述牙齿图像对应的所述牙位标签。
一实施例中，所述Mask R-CNN Restnet50模型中的CNN层对所述待检测口腔图像进行特征提取，得到口腔特征图时，主要基于Mask R-CNN Restnet50模型中的CNN层对所述待检测口腔图像进行图像颜色特征提取，得到图像颜色特征图，基于所述基于Mask R-CNNRestnet50模型中的CNN层对所述待检测口腔图像进行图像亮度特征提取，得到图像亮度特征图；基于Mask R-CNN Restnet50模型中的CNN层对所述待检测口腔图像进行图像纹理特征提取，得到图像纹理特征图，基于所述图像颜色特征图、所述图像亮度特征图和所述图像纹理特征图，得到口腔特征图。
一实施例中，基于预设的卷积窗口对所述口腔特征图进行滑动处理，得到所述口腔特征图的多个候选区域，并获取每个候选区域的第一预测牙位标签和第一预测牙齿轮廓边框和第一预测像素级实例分割掩码时，通过设置卷积窗口大小和步幅，基于所述卷积窗口大小和所述步幅对所述口腔特征图进行滑动，得到多个候选区域；提取每个候选区域中的区域特征，将所述区域特征分别输入到分类器、边界框回归器以及实例分割模块中，以使所述分类器输出每个候选区域的第一预测牙位标签，所述边界框回归器输出每个候选区域的第一预测牙齿轮廓边框，所述实例分割模块输出每个候选区域的第一预测像素级实例分割掩码。
优选的，分类器输出每个候选区域的第一预测牙位标签时，分类器会对每个候选区域中的牙齿都会预测一个目标维数的向量，取该向量最大值的位置对应的标签属性当作牙位标签；其中，所述目标维数为设置的牙位标签的数量。
一实施例中，第一预测牙齿轮廓边框为N*(x,y,w,h)，其中，N为表示检测出来的牙齿数量，x,y表示第一预测牙齿轮廓边框左上角点的x、y坐标，w,h表示第一预测牙齿轮廓边框的长宽。
一实施例中，基于所述第一预测像素级实例分割掩码确定像素是否为目标的一部分，基于所述第一预测牙齿轮廓边框对所述待检测口腔图像进行图像分割处理，得到所述待检测口腔图像中每个牙齿对应的牙齿图像。
步骤202：基于上述任意一项所述的基于单张牙齿图像的牙齿健康状态检测方法，分别对分割出的每个牙齿图像进行牙齿健康状态检测，得到每个牙齿图像对应的第一牙齿健康状态检测结果。
一实施例中，基于上述任意一项所述的基于单张牙齿图像的牙齿健康状态检测方法对步骤201中分割出来的每个牙齿图像分别进行牙齿健康状态检测，得到每个牙齿图像对应的第一牙齿健康状态检测结果；具体的牙齿健康状态检测过程详见实施例1，在此不再进行详细叙述。
步骤203：整合所有第一牙齿健康状态检测结果，得到所述待检测口腔图像对应的综合牙齿健康状态检测结果。
一实施例中，得到口腔图像中每个牙齿对应的第一牙齿健康状态检测结果后，根据对应的牙位标签将所述第一牙齿健康状态检测结果输入到可视化界面中，得到所述待检测口腔图像对应的综合牙齿健康状态检测结果，并对所述综合牙齿健康状态检测结果进行可视化展示，方便用户及时获取综合牙齿健康状态检测结果。
优选的，所述可视化设备包括但不限于带有显示屏幕的手机。
作为本实施例中的一种举例说明：当用户基于手机拍摄得到待检测口腔图像后，直接将所述待检测口腔图像输入到预训练的Mask R-CNN ResNet50模型中，以使预训练的Mask R-CNN ResNet50模型将待检测口腔图像分割为多个单个牙齿图像，并将单个牙齿图像输入到预训练的Tresnet检测模型中，以使所述Tresnet检测模型输出的牙齿健康状态检测结果，并将该牙齿健康状态检测结果直接在手机上进行显示，使得用户能直观的获取口腔中每个牙齿对应的牙齿健康状态检测结果，实现随拍随测的功能，区别于现有技术中，用户为获取牙齿健康状态检测结果，需要在医院基于特定设备对牙齿进行X光拍摄，后续再基于医生基于拍摄的X光图片进行进一步诊断。
综上，本发明提供的一种基于口腔图像的牙齿健康状态检测方法，通过预训练的Mask R-CNN ResNet50模型对待检测口腔图像进行自动化图像分割处理，以使将待检测口腔图像中的每个牙齿区域分割出来，后续对分割出来的每个牙齿图像进行进一步的健康状态检测，实现口腔内牙齿的个体化的检测和评估，得到待检测口腔图像的综合牙齿健康状态检测结果，且过程了结合了图像分割和多标签分类方法，为口腔健康状态检测提供了一种高效、准确且个体化的解决方案。
实施例3，参见图3，图3是本发明提供的一种基于单张牙齿图像的牙齿健康状态检测装置的一种实施例的结构示意图，如图3所示，该装置包括第一牙齿分类模块301和第一牙齿健康状态检测结果生成模块302，具体如下：
所述第一牙齿分类模块301，用于获取待检测牙齿图像，将所述待检测牙齿图像输入到预训练的Tresnet检测模型中，以使所述Tresnet检测模型对所述待检测牙齿图像进行第一图像特征提取，得到多个第一牙齿图像特征，并对所述多个第一牙齿图像特征进行第一多标签分类预测，输出所述待检测牙齿图像的第一多标签分类结果。
所述第一牙齿健康状态检测结果生成模块302，用于基于所述第一多标签分类结果，得到所述待检测牙齿图像的第一牙齿健康状态检测结果。
一实施例中，所述第一牙齿分类模块301包括第一牙齿颜色特征提取单元3011、第一牙齿纹理特征提取单元3012和第一牙齿形状特征提取单元3013。
一实施例中，所述第一牙齿颜色特征提取单元3011，用于基于所述Tresnet检测模型的卷积层对所述待检测牙齿图像进行第一颜色特征提取，得到所述待检测牙齿图像的第一牙齿颜色特征。
一实施例中，所述第一牙齿纹理特征提取单元3012，用于基于所述Tresnet检测模型的卷积层对所述待检测牙齿图像进行第一纹理特征提取，得到所述待检测牙齿图像的第一牙齿纹理特征。
一实施例中，第一牙齿形状特征提取单元3013基于所述Tresnet检测模型的卷积层对所述待检测牙齿图像进行第一形状特征提取，得到所述待检测牙齿图像的第一牙齿形状特征。
一实施例中，所述第一牙齿分类模块301还包括第一牙齿健康状态标签设置单元3014和第一多标签分类结果获取单元3015。
一实施例中，所述第一牙齿健康状态标签设置单元3014，用于设置多个第一牙齿健康状态标签，其中，所述多个第一牙齿健康状态标签包括牙体完好、龋齿、充填物、菌斑、色素和口内装置。
一实施例中，所述第一多标签分类结果获取单元3015，用于基于所述Tresnet检测模型的全连接层对所述多个第一牙齿图像特征进行第一多标签预测，得到每个第一牙齿健康状态标签对应的第一预测概率值，基于所述每个第一牙齿健康状态标签对应的第一预测概率值，得到所述待检测牙齿图像的第一多标签分类结果。
一实施例中，本发明实施例提供的一种基于单张牙齿图像的牙齿健康状态检测装置，还包括：第一恒磨牙图像判断模块303。
一实施例中，所述第一恒磨牙图像判断模块303，用于所述Tresnet检测模型判断所述待检测牙齿图像是否为第一恒磨牙图像。
一实施例中，所述判断所述待检测牙齿图像是否为所述第一恒磨牙图像，具体包括：基于预训练的Mask R-CNN Restnet50模型，获取所述待检测牙齿图像的第一牙位标签，若所述第一牙位标签为第一恒磨牙标签，则确定所述待检测牙齿图像为所述第一恒磨牙图像，若所述第一牙位标签不为所述第一恒磨牙标签，则确定所述待检测牙齿图像不为所述第一恒磨牙图像。
一实施例中，本发明实施例提供的一种基于单张牙齿图像的牙齿健康状态检测装置，还包括：第二牙齿分类模块304和第二牙齿健康状态检测结果获取模块305,如图6所示,图6本发明实施例提供的一种基于单张牙齿图像的牙齿健康状态检测装置的又一种实施例的结构示意图。
一实施例中，所述第二牙齿分类模块304，用于在确定所述检测牙齿图像为第一恒磨牙图像时，对所述第一恒磨牙图像进行第二图像特征提取，得到多个第二牙齿图像特征，并对所述多个第二牙齿图像特征进行第二多标签分类预测，得到第二多标签分类预测结果。
一实施例中，所述第二牙齿健康状态检测结果获取模块305，用于根据所述第二多标签分类预测结果，得到所述待检测牙齿图像的第二牙齿健康状态检测结果。
一实施例中，所述第二牙齿分类模块304包括牙齿牙冠特征提取单元3041和牙齿裂缝特征提取单元3042。
一实施例中，所述牙齿牙冠特征提取单元3041，用于基于所述Tresnet检测模型的卷积层对所述待检测牙齿图像进行牙冠特征提取，得到所述待检测牙齿图像的牙齿牙冠特征。
一实施例中，所述牙齿裂缝特征提取单元3042，用于基于所述Tresnet检测模型的卷积层对所述待检测牙齿图像进行第二裂缝特征提取，得到所述待检测牙齿图像的第二牙齿裂缝特征。
一实施例中，所述第二牙齿分类模块304还包括第二牙齿健康状态标签设置单元3043和第二多标签分类结果获取单元3044。
一实施例中，所述第二牙齿健康状态标签设置单元3043，用于设置多个第二牙齿健康状态标签，其中，所述多个第二牙齿健康状态标签包括深窝沟、浅窝沟、可见窝沟封闭剂、完全萌出和未完全萌出。
一实施例中，所述第二多标签分类结果获取单元3044，用于基于所述Tresnet检测模型的全连接层对所述多个第二牙齿图像特征进行多标签预测，得到每个第二牙齿健康状态标签对应的第二预测概率值，基于所述每个第二牙齿健康状态标签对应的第二预测概率值，得到所述待检测牙齿图像的第二多标签分类结果。
实施例4，参见图4，图4是本发明提供的一种基于口腔图像的牙齿健康状态检测装置的一种实施例的结构示意图，如图4所示，该装置包括牙齿分割模块401、牙齿健康状态检测模块402和综合牙齿健康状态检测结果获取模块403，具体如下：
所述牙齿分割模块401，用于获取待检测口腔图像，将所述待检测口腔图像输入到预训练的Mask R-CNN Restnet50模型中，以使所述Mask R-CNN Restnet50模型对所述待检测口腔图像进行图像分割处理，得到所述待检测口腔图像中每个牙齿对应的牙齿图像。
所述牙齿健康状态检测模块402，用于基于权利要求1到权利要求7所述的任意一项基于单张牙齿图像的牙齿健康状态检测方法，分别对分割出的每个牙齿图像进行牙齿健康状态检测，得到每个牙齿图像对应的第一牙齿健康状态检测结果。
所述综合牙齿健康状态检测结果获取模块403，用于整合所有第一牙齿健康状态检测结果，得到所述待检测口腔图像对应的综合牙齿健康状态检测结果。
一实施例中，本发明实施例提供的一种基于口腔图像的牙齿健康状态检测装置，还包括：模型训练模块404，如图7所示,图7本发明实施例提供的一种基于口腔图像的牙齿健康状态检测装置的又一种实施例的结构示意图,其中，所述模型训练模块404包括训练样本采集单元4041、原始模型构建单元4042和模型优化单元4043。
一实施例中，所述训练样本采集单元4041，用于获取口腔样本图像训练集，其中，所述口腔样本图像训练集中的每个口腔样本图像中包括每个牙齿对应的牙齿轮廓边框、牙位标签和像素级实例分割掩码。
一实施例中，所述原始模型构建单元4042，用于构建原始Mask R-CNN Restnet50模型，并对所述原始Mask R-CNN Restnet50模型设置初始目标分类损失、初始边界框回归损失、初始掩码分割损失和初始分类标签修正网络损失。
一实施例中，所述模型优化单元4043，用于基于所述口腔样本图像训练集对所述原始Mask R-CNN Restnet50模型进行迭代训练，以使更新所述初始目标分类损失、所述初始边界框回归损失、所述初始掩码分割损失和所述分类标签修正网络损失，得到最优的Mask R-CNN Restnet50模型。
一实施例中，所述模型优化单元4043包括训练集划分子单元40431、多目标训练子单元40432、损失参数计算子单元40433和最优模型确定子单元40434。
一实施例中，所述训练集划分子单元40431，用于基于预设比例将所述口腔样本图像训练集划分为第一训练图像集和第一测试图像集。
一实施例中，所述多目标训练子单元40432，用于将所述第一训练图像集输入到所述原始Mask R-CNN Restnet50模型中，以使所述原始Mask R-CNN Restnet50模型分别对所述第一训练图像集中的每个口腔样本图像进行目标分类、边界框回归和实例分割处理，得到每个口腔样本图像中每个牙齿对应的预测牙位标签、预测牙齿轮廓边框和预测像素级实例分割掩码。
一实施例中，所述损失参数计算子单元40433，用于基于所述预测牙位标签、所述预测牙齿轮廓边框和所述预测像素级实例分割掩码，分别计算初始目标分类损失、初始边界框回归损失、初始掩码分割损失和初始分类标签修正网络损失，得到整体损失参数。
一实施例中，所述最优模型确定子单元40434，用于基于所述整体损失参数，对所述原始Mask R-CNN Restnet50模型进行模型参数迭代更新处理，直至模型收敛或到达预设模型迭代次数，得到最优的Mask R-CNN Restnet50模型。
一实施例中，所述牙齿分割模块401包括口腔特征提取单元4011、候选区域生成单元4012和牙齿图像分割单元4013。
一实施例中，所述口腔特征提取单元4011，用于将所述待检测口腔图像输入到预训练的Mask R-CNN Restnet50模型中，以使所述Mask R-CNN Restnet50模型中的CNN层对所述待检测口腔图像进行特征提取，得到口腔特征图。
一实施例中，所述候选区域生成单元4012，用于基于预设的卷积窗口对所述口腔特征图进行滑动处理，得到所述口腔特征图的多个候选区域，并获取每个候选区域的第一预测牙位标签和第一预测牙齿轮廓边框和第一预测像素级实例分割掩码。
一实施例中，所述牙齿图像分割单元4013，用于基于所述第一预测牙齿轮廓边框和所述第一预测像素级实例分割掩码对所述待检测口腔图像进行图像分割处理，得到所述待检测口腔图像中每个牙齿对应的牙齿图像，并将所述第一预测牙位标签作为所述牙齿图像的牙位标签，输出每个牙齿对应的所述牙齿图像，以及所述牙齿图像对应的所述牙位标签。
所属领域的技术人员可以清楚的了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不在赘述。
需要说明的是，上述基于单张牙齿图像的牙齿健康状态检测装置和基于口腔图像的牙齿健康状态检测装置的实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
在上述的基于单张牙齿图像的牙齿健康状态检测方法和基于口腔图像的牙齿健康状态检测方法的实施例的基础上，本发明另一实施例提供了一种基于单张牙齿图像的牙齿健康状态检测终端设备和基于口腔图像的牙齿健康状态检测终端设备，该基于单张牙齿图像的牙齿健康状态检测终端设备和基于口腔图像的牙齿健康状态检测终端设备，分别包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时，实现本发明任意一实施例的基于单张牙齿图像的牙齿健康状态检方法和基于口腔图像的牙齿健康状态检测方法。
示例性的，在这一实施例中所述计算机程序可以被分割成一个或多个模块，所述一个或者多个模块被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述基于单张牙齿图像的牙齿健康状态检测终端设备和基于口腔图像的牙齿健康状态检测终端设备中的执行过程。
所述基于单张牙齿图像的牙齿健康状态检测终端设备和基于口腔图像的牙齿健康状态检测终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述基于单张牙齿图像的牙齿健康状态检测终端设备和基于口腔图像的牙齿健康状态检测终端设备可包括，但不仅限于，处理器、存储器。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述基于单张牙齿图像的牙齿健康状态检测终端设备和基于口腔图像的牙齿健康状态检测终端设备的控制中心，利用各种接口和线路连接整个基于单张牙齿图像的牙齿健康状态检测终端设备和基于口腔图像的牙齿健康状态检测终端设备的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述基于单张牙齿图像的牙齿健康状态检测终端设备和基于口腔图像的牙齿健康状态检测终端设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据手机的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
在上述基于单张牙齿图像的牙齿健康状态检测方法和基于口腔图像的牙齿健康状态检测方法的实施例的基础上，本发明另一实施例提供了一种存储介质，所述存储介质包括存储的计算机程序，其中，在所述计算机程序运行时，控制所述存储介质所在的设备执行本发明任意一实施例的基于单张牙齿图像的牙齿健康状态检测方法和基于口腔图像的牙齿健康状态检测方法。
在这一实施例中，上述存储介质为计算机可读存储介质，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-On lyMemory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
综上，本发明提供的一种牙齿健康状态检测方法、装置、设备及存储介质，通过Mask R-CNN Restnet50模型对待检测口腔图像进行图像分割处理，得到待检测口腔图像中每个牙齿对应的牙齿图像；并基于单张牙齿图像的牙齿健康状态检测方法中的Tresnet检测模型，分别对分割出的每个牙齿图像进行牙齿健康状态检测，最后通过整合所有第一牙齿健康状态检测结果，得到待检测口腔图像对应的综合牙齿健康状态检测结果；与现有技术方案相比，本发明的技术方案基于预训练的模型对获取的口腔图像进行图像分割，并对分割出的每个牙齿图像进行牙齿健康状态检测，实现口腔内牙齿的个体化检测和评估，提高了检测准确性和全面性。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和替换，这些改进和替换也应视为本发明的保护范围。
Claims (24)
1.一种基于单张牙齿图像的牙齿健康状态检测方法，其特征在于，包括：
获取待检测牙齿图像，将所述待检测牙齿图像输入到预训练的Tresnet检测模型中，以使所述Tresnet检测模型对所述待检测牙齿图像进行第一图像特征提取，得到多个第一牙齿图像特征，并对所述多个第一牙齿图像特征进行第一多标签分类预测，输出所述待检测牙齿图像的第一多标签分类结果；
基于所述第一多标签分类结果，得到所述待检测牙齿图像的第一牙齿健康状态检测结果。
2.如权利要求1所述的一种基于单张牙齿图像的牙齿健康状态检测方法，其特征在于，对所述待检测牙齿图像进行第一图像特征提取，得到多个第一牙齿图像特征，具体包括：
基于所述Tresnet检测模型的卷积层对所述待检测牙齿图像进行第一颜色特征提取，得到所述待检测牙齿图像的第一牙齿颜色特征；
基于所述Tresnet检测模型的卷积层对所述待检测牙齿图像进行第一纹理特征提取，得到所述待检测牙齿图像的第一牙齿纹理特征；
基于所述Tresnet检测模型的卷积层对所述待检测牙齿图像进行第一形状特征提取，得到所述待检测牙齿图像的第一牙齿形状特征。
3.如权利要求2所述的一种基于单张牙齿图像的牙齿健康状态检测方法，其特征在于，所述对所述多个牙齿图像特征进行第一多标签分类预测，输出所述待检测牙齿图像的第一多标签分类结果，具体包括：
设置多个第一牙齿健康状态标签，其中，所述多个第一牙齿健康状态标签包括牙体完好、龋齿、充填物、菌斑、色素和口内装置；
基于所述Tresnet检测模型的全连接层对所述多个第一牙齿图像特征进行第一多标签预测，得到每个第一牙齿健康状态标签对应的第一预测概率值，基于所述每个第一牙齿健康状态标签对应的第一预测概率值，得到所述待检测牙齿图像的第一多标签分类结果。
4.如权利要求1所述的一种基于单张牙齿图像的牙齿健康状态检测方法，其特征在于，输出所述待检测牙齿图像的第一多标签分类结果后，还包括：
所述Tresnet检测模型判断所述待检测牙齿图像是否为第一恒磨牙图像；
其中，所述判断所述待检测牙齿图像是否为所述第一恒磨牙图像，具体包括：
基于预训练的Mask R-CNN Restnet50模型，获取所述待检测牙齿图像的第一牙位标签，若所述第一牙位标签为第一恒磨牙标签，则确定所述待检测牙齿图像为所述第一恒磨牙图像，若所述第一牙位标签不为所述第一恒磨牙标签，则确定所述待检测牙齿图像不为所述第一恒磨牙图像。
5.如权利要求4所述的一种基于单张牙齿图像的牙齿健康状态检测方法，其特征在于，所述Tresnet检测模型判断所述待检测牙齿图像是否为第一恒磨牙图像后，还包括：
在确定所述检测牙齿图像为第一恒磨牙图像时，对所述第一恒磨牙图像进行第二图像特征提取，得到多个第二牙齿图像特征，并对所述多个第二牙齿图像特征进行第二多标签分类预测，得到第二多标签分类预测结果；
根据所述第二多标签分类预测结果，得到所述待检测牙齿图像的第二牙齿健康状态检测结果。
6.如权利要求5所述的一种基于单张牙齿图像的牙齿健康状态检测方法，其特征在于，所述Tresnet检测模型对所述待检测牙齿图像进行第二图像特征提取，得到多个第二牙齿图像特征，具体包括：
基于所述Tresnet检测模型的卷积层对所述待检测牙齿图像进行牙冠特征提取，得到所述待检测牙齿图像的牙齿牙冠特征，
基于所述Tresnet检测模型的卷积层对所述待检测牙齿图像进行第二裂缝特征提取，得到所述待检测牙齿图像的第二牙齿裂缝特征。
7.如权利要求6所述的一种基于单张牙齿图像的牙齿健康状态检测方法，其特征在于，所述对所述多个第二牙齿图像特征进行第二多标签分类预测，得到第二多标签分类预测结果，具体包括：
设置多个第二牙齿健康状态标签，其中，所述多个第二牙齿健康状态标签包括深窝沟、浅窝沟、可见窝沟封闭剂、完全萌出和未完全萌出；
基于所述Tresnet检测模型的全连接层对所述多个第二牙齿图像特征进行多标签预测，得到每个第二牙齿健康状态标签对应的第二预测概率值，基于所述每个第二牙齿健康状态标签对应的第二预测概率值，得到所述待检测牙齿图像的第二多标签分类结果。
8.一种基于口腔图像的牙齿健康状态检测方法，其特征在于，包括：
获取待检测口腔图像，将所述待检测口腔图像输入到预训练的Mask R-CNN Restnet50模型中，以使所述Mask R-CNN Restnet50模型对所述待检测口腔图像进行图像分割处理，得到所述待检测口腔图像中每个牙齿对应的牙齿图像；
基于权利要求1到权利要求7任意一项所述的基于单张牙齿图像的牙齿健康状态检测方法，分别对分割出的每个牙齿图像进行牙齿健康状态检测，得到每个牙齿图像对应的第一牙齿健康状态检测结果；
整合所有第一牙齿健康状态检测结果，得到所述待检测口腔图像对应的综合牙齿健康状态检测结果。
9.如权利要求8所述的一种基于口腔图像的牙齿健康状态检测方法，其特征在于，所述Mask R-CNN Restnet50模型的训练过程，具体包括：
获取口腔样本图像训练集，其中，所述口腔样本图像训练集中的每个口腔样本图像中包括每个牙齿对应的牙齿轮廓边框、牙位标签和像素级实例分割掩码；
构建原始Mask R-CNN Restnet50模型，并对所述原始Mask R-CNN Restnet50模型设置初始目标分类损失、初始边界框回归损失、初始掩码分割损失和初始分类标签修正网络损失；
基于所述口腔样本图像训练集对所述原始Mask R-CNN Restnet50模型进行迭代训练，以使更新所述初始目标分类损失、所述初始边界框回归损失、所述初始掩码分割损失和所述初始分类标签修正网络损失，得到最优的Mask R-CNN Restnet50模型。
10.如权利要求9所述的一种基于口腔图像的牙齿健康状态检测方法，其特征在于，基于所述口腔样本图像训练集对所述原始Mask R-CNN Restnet50模型进行迭代训练，以使更新所述初始目标分类损失、所述初始边界框回归损失、所述初始掩码分割损失和所述初始分类标签修正网络损失，得到最优的Mask R-CNN Restnet50模型，具体包括：
基于预设比例将所述口腔样本图像训练集划分为第一训练图像集和第一测试图像集；
将所述第一训练图像集输入到所述原始Mask R-CNN Restnet50模型中，以使所述原始Mask R-CNN Restnet50模型分别对所述第一训练图像集中的每个口腔样本图像进行目标分类、边界框回归和实例分割处理，得到每个口腔样本图像中每个牙齿对应的预测牙位标签、预测牙齿轮廓边框和预测像素级实例分割掩码；
基于所述预测牙位标签、所述预测牙齿轮廓边框和所述预测像素级实例分割掩码，分别计算初始目标分类损失、初始边界框回归损失和初始掩码分割损失和初始分类标签修正网络损失，得到整体损失参数；
基于所述整体损失参数，对所述原始Mask R-CNN Restnet50模型进行模型参数迭代更新处理，直至模型收敛或到达预设模型迭代次数，得到最优的Mask R-CNN Restnet50模型。
11.如权利要求10所述的一种基于口腔图像的牙齿健康状态检测方法，其特征在于，将所述待检测口腔图像输入到预训练的Mask R-CNN Restnet50模型中，所述Mask R-CNNRestnet50模型对所述待检测口腔图像进行图像分割处理，得到所述待检测口腔图像中每个牙齿对应的牙齿图像，具体包括：
将所述待检测口腔图像输入到预训练的Mask R-CNN Restnet50模型中，以使所述MaskR-CNN Restnet50模型中的CNN层对所述待检测口腔图像进行特征提取，得到口腔特征图；
基于预设的卷积窗口对所述口腔特征图进行滑动处理，得到所述口腔特征图的多个候选区域，并获取每个候选区域的第一预测牙位标签和第一预测牙齿轮廓边框和第一预测像素级实例分割掩码；
基于所述第一预测牙齿轮廓边框和所述第一预测像素级实例分割掩码对所述待检测口腔图像进行图像分割处理，得到所述待检测口腔图像中每个牙齿对应的牙齿图像，并将所述第一预测牙位标签作为所述牙齿图像的牙位标签，输出每个牙齿对应的所述牙齿图像，以及所述牙齿图像对应的所述牙位标签。
12.一种基于单张牙齿图像的牙齿健康状态检测装置，其特征在于，包括：第一牙齿分类模块和第一牙齿健康状态检测结果生成模块；
其中，所述第一牙齿分类模块，用于获取待检测牙齿图像，将所述待检测牙齿图像输入到预训练的Tresnet检测模型中，以使所述Tresnet检测模型对所述待检测牙齿图像进行第一图像特征提取，得到多个第一牙齿图像特征，并对所述多个第一牙齿图像特征进行第一多标签分类预测，输出所述待检测牙齿图像的第一多标签分类结果；
所述第一牙齿健康状态检测结果生成模块，用于基于所述第一多标签分类结果，得到所述待检测牙齿图像的第一牙齿健康状态检测结果。
13.如权利要求12所述的一种基于单张牙齿图像的牙齿健康状态检测装置，其特征在于，所述第一牙齿分类模块包括第一牙齿颜色特征提取单元、第一牙齿纹理特征提取单元和第一牙齿形状特征提取单元：
其中，所述第一牙齿颜色特征提取单元，用于基于所述Tresnet检测模型的卷积层对所述待检测牙齿图像进行第一颜色特征提取，得到所述待检测牙齿图像的第一牙齿颜色特征；
所述第一牙齿纹理特征提取单元，用于基于所述Tresnet检测模型的卷积层对所述待检测牙齿图像进行第一纹理特征提取，得到所述待检测牙齿图像的第一牙齿纹理特征；
所述第一牙齿形状特征提取单元，用于基于所述Tresnet检测模型的卷积层对所述待检测牙齿图像进行第一形状特征提取，得到所述待检测牙齿图像的第一牙齿形状特征。
14.如权利要求13所述的一种基于单张牙齿图像的牙齿健康状态检测装置，其特征在于，所述第一牙齿分类模块还包括第一牙齿健康状态标签设置单元和第一多标签分类结果获取单元；
其中，所述第一牙齿健康状态标签设置单元，用于设置多个第一牙齿健康状态标签，其中，所述多个第一牙齿健康状态标签包括牙体完好、龋齿、充填物、菌斑、色素和口内装置；
所述第一多标签分类结果获取单元，用于基于所述Tresnet检测模型的全连接层对所述多个第一牙齿图像特征进行第一多标签预测，得到每个第一牙齿健康状态标签对应的第一预测概率值，基于所述每个第一牙齿健康状态标签对应的第一预测概率值，得到所述待检测牙齿图像的第一多标签分类结果。
15.如权利要求12所述的一种基于单张牙齿图像的牙齿健康状态检测装置，其特征在于，还包括：第一恒磨牙图像判断模块；
其中，所述第一恒磨牙图像判断模块，用于所述Tresnet检测模型判断所述待检测牙齿图像是否为第一恒磨牙图像；
其中，所述判断所述待检测牙齿图像是否为所述第一恒磨牙图像，具体包括：
基于预训练的Mask R-CNN Restnet50模型，获取所述待检测牙齿图像的第一牙位标签，若所述第一牙位标签为第一恒磨牙标签，则确定所述待检测牙齿图像为所述第一恒磨牙图像，若所述第一牙位标签不为所述第一恒磨牙标签，则确定所述待检测牙齿图像不为所述第一恒磨牙图像。
16.如权利要求15所述的一种基于单张牙齿图像的牙齿健康状态检测装置，其特征在于，还包括：第二牙齿分类模块和第二牙齿健康状态检测结果获取模块；
其中，所述第二牙齿分类模块，用于在确定所述检测牙齿图像为第一恒磨牙图像时，对所述第一恒磨牙图像进行第二图像特征提取，得到多个第二牙齿图像特征，并对所述多个第二牙齿图像特征进行第二多标签分类预测，得到第二多标签分类预测结果；
所述第二牙齿健康状态检测结果获取模块，用于根据所述第二多标签分类预测结果，得到所述待检测牙齿图像的第二牙齿健康状态检测结果。
17.如权利要求16所述的一种基于单张牙齿图像的牙齿健康状态检测装置，其特征在于，所述第二牙齿分类模块包括牙齿牙冠特征提取单元和牙齿裂缝特征提取单元；
其中，所述牙齿牙冠特征提取单元，用于基于所述Tresnet检测模型的卷积层对所述待检测牙齿图像进行牙冠特征提取，得到所述待检测牙齿图像的牙齿牙冠特征；
所述牙齿裂缝特征提取单元，用于基于所述Tresnet检测模型的卷积层对所述待检测牙齿图像进行第二裂缝特征提取，得到所述待检测牙齿图像的第二牙齿裂缝特征。
18.如权利要求17所述的一种基于单张牙齿图像的牙齿健康状态检测方法，其特征在于，所述第二牙齿分类模块还包括第二牙齿健康状态标签设置单元和第二多标签分类结果获取单元；
其中，所述第二牙齿健康状态标签设置单元，用于设置多个第二牙齿健康状态标签，其中，所述多个第二牙齿健康状态标签包括深窝沟、浅窝沟、可见窝沟封闭剂、完全萌出和未完全萌出；
所述第二多标签分类结果获取单元，用于基于所述Tresnet检测模型的全连接层对所述多个第二牙齿图像特征进行多标签预测，得到每个第二牙齿健康状态标签对应的第二预测概率值，基于所述每个第二牙齿健康状态标签对应的第二预测概率值，得到所述待检测牙齿图像的第二多标签分类结果。
19.一种基于口腔图像的牙齿健康状态检测装置，其特征在于，包括：牙齿分割模块、牙齿健康状态检测模块和综合牙齿健康状态检测结果获取模块；
其中，所述牙齿分割模块，用于获取待检测口腔图像，将所述待检测口腔图像输入到预训练的Mask R-CNN Restnet50模型中，以使所述Mask R-CNN Restnet50模型对所述待检测口腔图像进行图像分割处理，得到所述待检测口腔图像中每个牙齿对应的牙齿图像；
所述牙齿健康状态检测模块，用于基于权利要求1到权利要求7所述的任意一项基于单张牙齿图像的牙齿健康状态检测方法，分别对分割出的每个牙齿图像进行牙齿健康状态检测，得到每个牙齿图像对应的第一牙齿健康状态检测结果；
所述综合牙齿健康状态检测结果获取模块，用于整合所有第一牙齿健康状态检测结果，得到所述待检测口腔图像对应的综合牙齿健康状态检测结果。
20.如权利要求19所述的一种基于口腔图像的牙齿健康状态检测装置，其特征在于，还包括：模型训练模块，其中，所述模型训练模块包括训练样本采集单元、原始模型构建单元和模型优化单元；
其中，所述训练样本采集单元，用于获取口腔样本图像训练集，其中，所述口腔样本图像训练集中的每个口腔样本图像中包括每个牙齿对应的牙齿轮廓边框、牙位标签和像素级实例分割掩码；
所述原始模型构建单元，用于构建原始Mask R-CNN Restnet50模型，并对所述原始Mask R-CNN Restnet50模型设置初始目标分类损失、初始边界框回归损失、初始掩码分割损失和初始分类标签修正网络损失；
所述模型优化单元，用于基于所述口腔样本图像训练集对所述原始Mask R-CNNRestnet50模型进行迭代训练，以使更新所述初始目标分类损失、所述初始边界框回归损失、所述初始掩码分割损失和所述分类标签修正网络损失，得到最优的Mask R-CNNRestnet50模型。
21.如权利要求20所述的一种基于口腔图像的牙齿健康状态检测装置，其特征在于，所述模型优化单元包括训练集划分子单元、多目标训练子单元、损失参数计算子单元和最优模型确定子单元；
其中，所述训练集划分子单元，用于基于预设比例将所述口腔样本图像训练集划分为第一训练图像集和第一测试图像集；
所述多目标训练子单元，用于将所述第一训练图像集输入到所述原始Mask R-CNNRestnet50模型中，以使所述原始Mask R-CNN Restnet50模型分别对所述第一训练图像集中的每个口腔样本图像进行目标分类、边界框回归和实例分割处理，得到每个口腔样本图像中每个牙齿对应的预测牙位标签、预测牙齿轮廓边框和预测像素级实例分割掩码；
所述损失参数计算子单元，用于基于所述预测牙位标签、所述预测牙齿轮廓边框和所述预测像素级实例分割掩码，分别计算初始目标分类损失、初始边界框回归损失、初始掩码分割损失和初始分类标签修正网络损失，得到整体损失参数；
所述最优模型确定子单元，用于基于所述整体损失参数，对所述原始Mask R-CNNRestnet50模型进行模型参数迭代更新处理，直至模型收敛或到达预设模型迭代次数，得到最优的Mask R-CNN Restnet50模型。
22.如权利要求21所述的一种基于口腔图像的牙齿健康状态检测装置，其特征在于，所述牙齿分割模块包括口腔特征提取单元、候选区域生成单元和牙齿图像分割单元；
其中，所述口腔特征提取单元，用于将所述待检测口腔图像输入到预训练的Mask R-CNN Restnet50模型中，以使所述Mask R-CNN Restnet50模型中的CNN层对所述待检测口腔图像进行特征提取，得到口腔特征图；
所述候选区域生成单元，用于基于预设的卷积窗口对所述口腔特征图进行滑动处理，得到所述口腔特征图的多个候选区域，并获取每个候选区域的第一预测牙位标签和第一预测牙齿轮廓边框和第一预测像素级实例分割掩码；
所述牙齿图像分割单元，用于基于所述第一预测牙齿轮廓边框和所述第一预测像素级实例分割掩码对所述待检测口腔图像进行图像分割处理，得到所述待检测口腔图像中每个牙齿对应的牙齿图像，并将所述第一预测牙位标签作为所述牙齿图像的牙位标签，输出每个牙齿对应的所述牙齿图像，以及所述牙齿图像对应的所述牙位标签。
23.一种终端设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7任意一项所述的基于单张牙齿图像的牙齿健康状态检测方法，或所述权利要求8至11任意一项所述的基于口腔图像的牙齿健康状态检测方法。
24.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至7任意一项所述的基于单张牙齿图像的牙齿健康状态检测方法，或所述权利要求8至11任意一项所述的基于口腔图像的牙齿健康状态检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311081398.1A CN117152507B (zh) | 2023-08-25 | 2023-08-25 | 一种牙齿健康状态检测方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311081398.1A CN117152507B (zh) | 2023-08-25 | 2023-08-25 | 一种牙齿健康状态检测方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117152507A true CN117152507A (zh) | 2023-12-01 |
| CN117152507B CN117152507B (zh) | 2024-05-17 |
Family
ID=88911255
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311081398.1A Active CN117152507B (zh) | 2023-08-25 | 2023-08-25 | 一种牙齿健康状态检测方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117152507B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117747102A (zh) * | 2023-12-20 | 2024-03-22 | 广州莲之花口腔医疗门诊部有限公司 | 口腔健康检查和护理方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020073951A1 (zh) * | 2018-10-10 | 2020-04-16 | 腾讯科技（深圳）有限公司 | 用于图像识别的模型的训练方法、装置、网络设备和存储介质 |
| CN113989222A (zh) * | 2021-10-27 | 2022-01-28 | 北京百度网讯科技有限公司 | 用于处理牙齿数据的方法、装置、设备、介质和产品 |
| CN114898407A (zh) * | 2022-06-15 | 2022-08-12 | 汉斯夫(杭州)医学科技有限公司 | 一种基于深度学习牙齿目标实例分割及其智能预览的方法 |
| CN115439425A (zh) * | 2022-08-24 | 2022-12-06 | 清华-伯克利深圳学院筹备办公室 | 一种牙齿检测方法、系统及存储介质 |
| CN115731169A (zh) * | 2022-11-11 | 2023-03-03 | 北京羽医甘蓝信息技术有限公司 | 一种基于深度学习的自动确定基牙方法、系统和电子设备 |
| CN115761788A (zh) * | 2022-10-11 | 2023-03-07 | 深圳富卡科技有限公司 | 牙齿健康管理方法、装置、电动牙刷设备以及存储介质 |
-
2023
- 2023-08-25 CN CN202311081398.1A patent/CN117152507B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020073951A1 (zh) * | 2018-10-10 | 2020-04-16 | 腾讯科技（深圳）有限公司 | 用于图像识别的模型的训练方法、装置、网络设备和存储介质 |
| CN113989222A (zh) * | 2021-10-27 | 2022-01-28 | 北京百度网讯科技有限公司 | 用于处理牙齿数据的方法、装置、设备、介质和产品 |
| CN114898407A (zh) * | 2022-06-15 | 2022-08-12 | 汉斯夫(杭州)医学科技有限公司 | 一种基于深度学习牙齿目标实例分割及其智能预览的方法 |
| CN115439425A (zh) * | 2022-08-24 | 2022-12-06 | 清华-伯克利深圳学院筹备办公室 | 一种牙齿检测方法、系统及存储介质 |
| CN115761788A (zh) * | 2022-10-11 | 2023-03-07 | 深圳富卡科技有限公司 | 牙齿健康管理方法、装置、电动牙刷设备以及存储介质 |
| CN115731169A (zh) * | 2022-11-11 | 2023-03-03 | 北京羽医甘蓝信息技术有限公司 | 一种基于深度学习的自动确定基牙方法、系统和电子设备 |
Non-Patent Citations (1)
| Title |
|---|
| KEVIN SHENG-KAI MA ET AL.: "Identifying Medically-compromised Patients with Periodontitis-Associated Cardiovascular Diseases Using Convolutional Neural Network-facilitated Multilabel Classification of Panoramic Radiographs", 2021 INTERNATIONAL CONFERENCE ON APPLIED ARTIFICIAL INTELLIGENCE (ICAPAI), 29 June 2021 (2021-06-29), pages 1 - 4 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117747102A (zh) * | 2023-12-20 | 2024-03-22 | 广州莲之花口腔医疗门诊部有限公司 | 口腔健康检查和护理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117152507B (zh) | 2024-05-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109859203B (zh) | 基于深度学习的缺陷牙齿图像识别方法 | |
| US11151721B2 (en) | System and method for automatic detection, localization, and semantic segmentation of anatomical objects | |
| CN111862044B (zh) | 超声图像处理方法、装置、计算机设备和存储介质 | |
| CN111553892B (zh) | 基于深度学习的肺结节分割计算方法、装置及系统 | |
| TW202125415A (zh) | 三維目標檢測及模型的訓練方法、設備、儲存媒體 | |
| CN110246580B (zh) | 基于神经网络和随机森林的颅侧面影像分析方法和系统 | |
| CN113781439A (zh) | 超声视频病灶分割方法及装置 | |
| CN111369501B (zh) | 一种基于视觉特征识别口腔鳞状细胞癌的深度学习方法 | |
| CN117152507B (zh) | 一种牙齿健康状态检测方法、装置、设备及存储介质 | |
| WO2021061611A1 (en) | Method, system and computer readable storage media for registering intraoral measurements | |
| CN111062953A (zh) | 一种超声图像中甲状旁腺增生的识别方法 | |
| Estai et al. | Evaluation of a deep learning system for automatic detection of proximal surface dental caries on bitewing radiographs | |
| CN115797730A (zh) | 模型训练方法及装置、头影测量关键点定位方法及装置 | |
| CN113516639B (zh) | 基于全景x光片的口腔异常检测模型的训练方法及装置 | |
| JPWO2020153471A1 (ja) | 推定装置、学習モデル、学習モデルの生成方法、及びコンピュータプログラム | |
| KR20200058316A (ko) | 인공지능 기술을 활용한 치과용 두부 계측점 자동 추적 방법 및 그를 이용한 서비스 시스템 | |
| CN113160151B (zh) | 基于深度学习及注意力机制的全景片龋齿深度识别方法 | |
| AU2021100684A4 (en) | DEPCADDX - A MATLAB App for Caries Detection and Diagnosis from Dental X-rays | |
| CN113643297A (zh) | 一种基于神经网络的计算机辅助牙龄分析方法 | |
| Goutham et al. | Automatic localization of landmarks in cephalometric images via modified U-Net | |
| Chen et al. | Detection of various dental conditions on dental panoramic radiography using Faster R-CNN | |
| George et al. | Dental radiography analysis and diagnosis using YOLOv8 | |
| Sridhar et al. | Lung Segment Anything Model (LuSAM): A Prompt-integrated Framework for Automated Lung Segmentation on ICU Chest X-Ray Images | |
| CN115761226A (zh) | 一种口腔影像分割识别方法、装置、电子设备和存储介质 | |
| Dhar et al. | Automatic tracing of mandibular canal pathways using deep learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |