CN111563887A - 一种口腔图像的智能分析方法与装置 - Google Patents

一种口腔图像的智能分析方法与装置 Download PDF

Info

Publication number
CN111563887A
CN111563887A CN202010363987.9A CN202010363987A CN111563887A CN 111563887 A CN111563887 A CN 111563887A CN 202010363987 A CN202010363987 A CN 202010363987A CN 111563887 A CN111563887 A CN 111563887A
Authority
CN
China
Prior art keywords
tooth
image
oral cavity
target
gum
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010363987.9A
Other languages
English (en)
Other versions
CN111563887B (zh
Inventor
牛建伟
栾庆先
谷宁波
李青锋
张井然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University School of Stomatology
Hangzhou Innovation Research Institute of Beihang University
Original Assignee
Peking University School of Stomatology
Hangzhou Innovation Research Institute of Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University School of Stomatology, Hangzhou Innovation Research Institute of Beihang University filed Critical Peking University School of Stomatology
Priority to CN202010363987.9A priority Critical patent/CN111563887B/zh
Publication of CN111563887A publication Critical patent/CN111563887A/zh
Application granted granted Critical
Publication of CN111563887B publication Critical patent/CN111563887B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于视觉的口腔图像的智能分析方法与装置，涉及图像处理、人工智能和牙齿美观的技术。本发明装置包括口腔图像采集设备和移动终端设置的口腔图像数据库、口腔融合特征提取模块、特征数据库、目标分类器模块和牙齿检测结果输出模块等。本发明方法包括采集用户口腔图像，对口腔图像提取牙齿和牙龈的融合特征，利用单支持向量机分类模型对每个牙齿美观度检测目标下进行等级评价，输出各支持向量机分类模型的分类结果，对各分类结果综合计算得到口腔美观度指数。本发明可以方便公众在日常生活中随时了解自己口腔的美观状况，实现简单、方便，并且牙齿美观度检测目标识别准确率高。

Description

一种口腔图像的智能分析方法与装置
技术领域
本发明涉及图像处理、人工智能和牙齿美观的技术，具体涉及一种口腔图像的智能分析方法与装置。
背景技术
随着社会发展，人们对生活品质的要求渐渐提高，而且更加重视个人形象和健康，越来越多的人也开始关注口腔问题。口腔问题一直以来严重影响人类生活，第四次全国口腔健康调查表明，公众对口腔问题认知程度较低。大多数口腔问题都是因口腔护理不当以及没有及早发现问题，从而错失了早期治疗、及时治疗的时机。目前，在我国口腔问题非常普遍，一方面受医疗资源的制约，能定期接受检查者则少之又少，另一方面随着城市生活节奏的不断加快，无论是处于学龄阶段的儿童和青少年，还是上班族，定期到医院进行体检或口腔卫生评估变得越来越困难，而且当前的口腔医疗基础设施也无法支撑这种庞大的医疗需求。上面种种原因导致公众对自身的口腔状况认识不足，也无法做到及早预防。
随着计算机智能算法与自动化控制技术的不断提高、人机交互的不断优化、大数据的支持、模式识别技术的提升，人工智能正在以爆发式的速度蓬勃发展，也正逐渐的走入我们的生活。近年来，人工智能技术与口腔健康领域的融合不断加深，也逐渐让公众对口腔问题得到重视。例如，公开号为108354315A的中国专利在2018年8月3日公开了一种基于双单元非对称声场的刷牙质量检测系统及方法，通过采集个体刷牙过程中的音频数据来分析个体刷牙质量是否合格，从而知道个体改进刷牙方式、提高刷牙质量。公告号为205426388U的中国专利在2016年8月3日公开了一种基于压力检测的刷牙力度检测系统装置，通过在牙刷设备上添加压力传感器，实时获取刷牙力度来检测刷牙质量。
近年来，口腔领域在数字化方面的不断发展，口腔图像采集也变得越来越容易，通过采集口腔图像来分析口腔问题会比通过其他传感器更加直观，也更加有效。目前，口腔图像的采集，如使用电子内窥镜通过微距摄像头可以伸入口内近距离采集口腔内的图像。但对图像进一步分析口腔情况，例如判断牙齿是否齐整、缺损，检测牙齿颜色、牙龈颜色等，一般需要专业人员来对图像分析获得。而现有检测牙齿磨损的智能模型，一般都需要使用专业三维扫描设备来获取口腔内图像，所需设备昂贵，且也不方便日常使用。
发明内容
为了方便公众在日常生活中随时了解自己的口腔情况，本发明提出了一种口腔图像智能分析方法与装置，通过采集和分析个体拍摄的口腔图像或视频，智能输出个体的牙齿美观检测结果，所使用的设备价格低廉，使用方便，并适于日常生活使用。
本发明的一种口腔图像的智能分析装置，包括：
口腔图像采集设备，为一无线内窥镜，用于采集用户口腔图像，并通过无线传输方式将图像发送给移动终端；
移动终端设置有口腔图像数据库、口腔融合特征提取模块、特征数据库、目标分类器模块和牙齿检测结果输出模块；
所述的口腔图像数据库存储口腔图像采集设备采集的训练样本，为各训练样本标注各牙齿美观度检测目标的等级；牙齿美观度检测目标包括牙齿颜色、牙齿排列整齐度、牙齿是否存在缺损、牙列是否存在缺失和牙龈颜色；
所述的口腔融合特征提取模块包含图像分割模块与各牙齿美观度检测目标下的深度卷积神经网络模型。图像分割模块将每一张口腔图像分割为牙齿图像和牙龈图像。将牙齿图像或牙龈图像输入每个牙齿美观度检测目标下的深度卷积神经网络模型，提取在各目标下的牙齿特征矩阵或牙龈特征矩阵，最后将所有获得的牙齿特征矩阵和牙龈特征矩阵组合一起得到口腔图像的融合特征；
所述的特征数据库存储用于训练目标分类器的训练样本，对口腔图像数据库中的训练样本利用口腔融合特征提取模块，提取融合特征，将融合特征与对应标注的目标等级组成对应牙齿美观度检测目标的训练样本，存入特征数据库中；
所述的目标分类器模块针对每个牙齿美观度检测目标，建立支持向量机分类模型；口腔图像采集设备实时采集口腔图像输入口腔融合特征提取模块，得到融合特征输入各支持向量机分类模型，输出各牙齿美观度检测目标的等级；
所述的牙齿检测结果输出模块将各牙齿美观度检测目标的等级输出给用户，同时，对各牙齿美观度检测目标的等级进行综合计算得到口腔美观度指数输出给用户。
相应的，一种口腔图像的智能分析方法，包括如下步骤：
步骤1：使用口腔图像采集设备获取用户的口腔图像；
步骤2：将牙齿颜色、牙齿排列整齐度、牙齿是否存在缺损、牙列是否存在缺失和牙龈颜色作为牙齿美观度检测目标，对各目标进行等级划分；使用口腔图像采集设备采集训练样本，并对训练样本的各目标等级进行标注；
步骤3：对口腔图像提取口腔的融合特征，包括：首先将口腔图像分割为牙齿图像和牙龈图像，针对每个牙齿美观度检测目标，利用深度卷积神经网络提取牙齿的特征矩阵和牙龈的特征矩阵；将所有的牙齿的特征矩阵和牙龈的特征矩阵组合一起得到融合特征；
所述的深度卷积神经网络的输入为牙齿图像或牙龈图像，然后依次经过网络内的第一卷积层、平均池化层、第二卷积层、第一最大池化层、第三卷积层、第二最大池化层和全连接层的处理后，输出牙齿或牙龈的特征矩阵；
在利用训练样本训练深度卷积神经网络时，对输出的特征矩阵利用Softmax函数计算输出牙齿美观度检测目标的等级；将训练样本分割为牙齿图像和牙龈图像，然后对每个牙齿美观度检测目标，将牙齿图像或牙龈图像与标注的对应目标等级作为训练数据，训练对应目标的深度卷积神经网络；
在使用阶段，将牙齿图像或牙龈图像输入各目标对应的深度卷积神经网络，输出对应目标下的牙齿或牙龈的特征矩阵；
步骤4：针对每个牙齿美观度检测目标，建立支持向量机分类模型；将所得到的融合特征输入各目标下的支持向量机分类模型，输出该目标下的等级；
对每个牙齿美观度检测目标，将步骤2的训练样本经过步骤3的各深度卷积神经网络的特征矩阵提取，获得融合特征，将融合特征与对应标注的目标等级组成对应目标的训练样本，用来训练对应目标的支持向量机分类模型；
步骤5，输出各支持向量机分类模型的分类结果，同时对各分类结果综合计算得到口腔美观度指数。
相对于现有技术，本发明的口腔图像的智能分析装置与方法具有如下优点和积极效果：
(1)本发明装置和方法使用电子内窥镜采集口腔图像，并使用无线连接将采集数据传输到移动终端，并在移动终端完成口腔图像分析，设备价格低廉，口腔检查的整体实现简单、方便，非常适合用户日常使用。
(2)本发明装置和方法结合了智能化分析算法，使用户无需了解专业的口腔美观方面知识，就可以让用户了解自己口腔的美观状况。
(3)本发明装置和方法在提取口腔特征时，针对不同的目标对牙齿和牙龈特征的关注度各不相同，对口腔图像进行图像分割，并分别对牙齿和牙龈进行特征提取，大大提升了各牙齿美观度检测目标识别准确率。
附图说明
图1是本发明的口腔图像的采集装置示意图；
图2是本发明口腔图像智能分析装置的总体架构示意图；
图3是本发明的口腔图像智能分析方法的步骤示意图；
图4是本发明中的牙位表示法示意图；
图5是本发明的图像分割的流程示意图；
图6是本发明的深度卷积神经网络结构图；
图7是本发明层次支持向量机进行牙齿颜色等级分类的示意图；
图8是本发明所用的支持向量机(SVM)算法的示意图。
具体实施方式
下面结合附图和实施例来对本发明的技术方案作详细说明。
本发明的口腔图像智能分析装置及方法，用于日常生活中用户对自己的牙齿和牙龈的美观度进行检测和评价。漂亮的牙齿不单单只考虑牙齿的健康情况，更加侧重于牙齿的美观体验，如牙齿颜色洁白，牙齿排列整齐等。牙齿美观度评价可以通过对牙齿图像进行打分，从而很直观地让个体了解自己牙齿的美观情况。本发明在牙齿美观度检测和评价时，从牙齿颜色、牙齿排列整齐度、牙齿是否存在缺损、牙列是否存在缺失、牙龈颜色等方面进行综合检测和评价，将这些方面作为关注目标，并对各目标构建口腔图像数据集，以此数据集作为模型构建模块的输入，训练出单目标模型。最后根据目标的不同权重，得出最后的牙齿美观度指数。
本发明提供的一种口腔图像的智能分析装置，包括：口腔图像采集设备，位于移动终端的口腔图像数据库、口腔融合特征提取模块、特征数据库、目标分类器模块和牙齿检测结果输出模块。
为了方便公众拍摄口腔图像，本发明设计了如1所示的口腔图像采集设备，为一无线内窥镜，无线内窥镜包含一个200万微距摄像头、8珠LDE光源和WIFI模块。微距摄像头用于采集口腔内图像。LED光源用于在口腔内拍摄图像时进行补光。WIFI模块用于创建WIFI热点，在移动终端连接上WIFI后，无线内窥镜的WIFI模块可以实时传输拍摄的口腔图像到移动终端。
移动终端可以是智能手机、笔记本电脑、Ipad等。在移动终端上安装有口腔图像的智能分析系统模块，即对应的APP(应用程序)。智能分析系统模块主要包括口腔图像数据库、口腔融合特征提取模块、特征数据库、目标分类器模块和牙齿检测结果输出模块。
口腔图像数据库存储口腔图像采集设备采集的训练样本，为各训练样本标注各牙齿美观度检测目标的等级。牙齿美观度检测目标包括牙齿颜色、牙齿排列整齐度、牙齿是否存在缺损、牙列是否存在缺失和牙龈颜色。本发明对多名志愿者进行口腔图像采集，并让专家对采集的口腔图像进行各检测目标等级的标注。将标注后的数据集作为原始训练数据集存入口腔图像数据库中。
口腔融合特征提取模块包括两部分，一部分为图像分割模块，另一部分提取牙齿和牙龈的特征。在提取口腔特征时主要关注的是牙龈和牙齿的颜色、纹理、轮廓及相对位置等特征，而且不同的目标对牙齿和牙龈特征的关注度各不相同。因此，在提取特征前先将图像分割成牙齿图像和牙龈图像，再对牙齿和牙龈分开提取特征。本发明将分割后的牙齿图像和牙龈图像都缩放为200*200像素大小的图像。利用深度卷积神经网络提取牙龈和牙齿图像关于在各牙齿美观度检测目标下的特征矩阵，将所有特征矩阵融合得到融合矩阵。具体深度卷积神经网络的结构和训练在下面步骤3中说明。
特征数据库存储用于训练目标分类器的训练样本，对口腔图像数据库中的训练样本利用口腔融合特征提取模块，提取融合特征，将融合特征与对应标注的目标等级组成对应牙齿美观度检测目标的训练样本，存入特征数据库中。
目标分类器模块针对每个牙齿美观度检测目标，建立支持向量机分类模型；利用特征数据库存储的训练样本训练各目标的支持向量机分类模型。支持向量机分类模型的训练在下面步骤4中说明。
口腔图像采集设备实时采集口腔图像输入口腔融合特征提取模块，得到融合特征输入训练好的各支持向量机分类模型，输出各牙齿美观度检测目标的等级。
牙齿检测结果输出模块一方面输出各牙齿美观度检测目标的等级给用户，另一方面，对各牙齿美观度检测目标的等级进行综合计算得到口腔美观度指数，输出给用户。口腔美观度指数的计算在下面步骤5中说明。
本发明提供的一种口腔图像的智能分析方法，实现的一个流程如图3所示，下面分四个步骤来说明。
步骤1，通过口腔图像采集设备获取用户的口腔图像数据。
本发明使用如图1所示的无线内窥镜来拍摄用户的口腔图像，打开无线内窥镜的WIFI模块与智能移动终端连接，传输图像到移动终端。
步骤2，预先获取用于牙齿美观度评价模型训练的样本数据集。
本发明在建立牙齿美观度评价模型时，关注的目标包含牙齿颜色、牙齿排列整齐度、牙齿是否存在缺损、牙列是否存在缺失、牙龈颜色等，因此需要针对这些目标预先标注训练样本集。
为了方便目标问题的训练，在设定等级规则时，将每个目标的等级评分划分为不同档次。这样在模型训练时就可以以分类问题对模型进行训练。在对牙齿排列整齐度、牙齿是否存在缺损、牙列是否存在缺失时做等级划分时，根据牙齿区域进行划分。如图4所示，在口腔领域中，根据牙位可以将牙齿分为切牙、尖牙、前磨牙、磨牙。在本发明的牙齿美观度评价中，按照牙位再将牙齿分为三个区域，将切牙和尖牙作为第一区域，将前磨牙作为第二区域，将磨牙作为第三区域。可以看出第一区域的牙齿如果存在有排列错乱、牙齿缺损或牙列缺失时，会很大程度的影响到牙齿的美观度。而第三区域的牙齿如果存在上述问题，则对牙齿美观度影像不大。因此，本发明对牙齿排列整齐度、牙齿是否存在缺损、牙列是否存在缺失的不同情况输出对应的等级如下。
划分牙齿排列整齐度等级如下：
0：牙齿排列整齐；
1：仅第三区域的牙齿存在排列不齐的情况；
2：仅第二和第三区域的牙齿存在排列不齐的情况；
3：第一区域的牙齿存在排列不齐的情况。
划分牙齿缺损等级如下：
0：牙齿不存在缺损；
1：仅第三区域的牙齿存在缺损的情况；
2：仅第二和第三区域的牙齿存在缺损的情况；
3：第一区域的牙齿存在缺损的情况。
划分牙列缺失等级如下：
0：牙列不存在缺失；
1：仅第三区域的牙齿存在缺失的情况；
2：仅第二和第三区域的牙齿存在缺失的情况；
3：第一区域的牙齿存在缺失的情况。
本发明根据牙齿颜色和牙龈颜色的不同情况，设置等级如下。
划分牙齿颜色等级如下：
0：牙齿洁白，无色素沉淀；
1：牙齿微黄，存在部分软垢；
2：牙齿呈黄色，存在部分牙垢；
3：牙齿呈深褐色或黑色，存在大量牙垢。
划分牙龈颜色等级如下：
0：牙龈颜色正常；
1：牙龈颜色轻度改变；
2：牙龈颜色中度发红；
3：牙龈颜色明显发红。
需要说明地是，上面对各目标进行的等级划分，是为了便于标识客观存在的牙齿状况、牙龈颜色等，在实际中上述等级数字也可以用其他数字或字母来表示。由图片的不同的牙龈颜色可以进一步去判断牙龈是否健康，本发明在此处重点说明如何从图片来识别牙龈颜色，输出对应的数字等级，对于继续判断牙龈健康与否不做涉及。
本发明预先用无线内窥镜对多名志愿者进行口腔图像采集，并让专家对采集的口腔图像进行标注，标注各图像中目标——牙齿颜色、牙龈颜色、牙齿排列整齐度、牙齿是否存在缺损、牙列是否存在缺失等目标对应的等级。所标记的等级数字作为评分分数，用来计算牙齿美观指数。
步骤3，对拍摄的原始口腔图像进行口腔特征提取。
在提取口腔特征时主要关注的是牙龈和牙齿的颜色、纹理、轮廓及相对位置等特征，而且不同的目标问题对牙齿和牙龈特征的关注度各不相同。因此，本发明在提取口腔特征的时候对牙齿和牙龈分开提取特征。
在提取牙齿和牙龈的特征前，首先采用图像分割算法将拍摄的原始数据集中的各图像分割成牙齿图像和牙龈图像，并将图像进行缩放得到一张200*200像素大小的图像。然后将分割出来的牙齿图像和对应原始图像的标定结果构成牙齿图像训练数据集，将分割出来的牙龈图像和对应原始图像的标定结果构成牙龈图像训练数据集。由于牙齿和牙龈的颜色对比度比较大，采用双峰阈值法可以很好地找到分割边界，所采用的图像分割算法的主要步骤如图5所示：
(1)从原始数据集中获取口腔图像，将彩色图转为灰度图，再进行二值化处理；
(2)以图像像素值为X坐标，以图像中该像素值的像素数量为Y坐标，构建图像直方图；
(3)选取双峰间的最低谷处作为口腔图像分割的阈值。
然后针对各个牙齿美观度检测目标，采用深度卷积神经网络分别对牙齿图像提取牙齿的特征矩阵，对牙龈图像提取牙龈的特征矩阵。以提取牙齿特征矩阵为例，将牙齿图像训练数据集中的图片作为输入，以牙齿颜色标定结果作为输出向量，训练一个能识别牙齿颜色等级的深度卷积神经网络。深度卷积神经网络的结构如图6所示：
(1)输入层：N个200*200的牙齿图片的训练样本，即输入图像为200*200的灰度图像；图像大小的单位是像素；
(2)C1层：卷积层(connection)，输入图片大小为200*200，卷积窗大小(kernelsize)为5*5，卷积步数(stride)为2，卷积窗种类为6，所以，输出特征图数量为6，输出特征图大小为98*98，即(200-5)/2+1；
(3)S2层：平均池化层(average pooling)，输入图像大小为(98*98)*6，下采样窗口大小为2*2，下采样窗口数目为6，下采样种类为average pool，则输出下采样图数量为6，输出下采样图大小为49*49，即(98/2)*(98/2)；
(4)C3层：卷积层，输入图片大小为(49*49)*6，卷积窗大小为5*5，卷积步数为1，卷积窗种类为16，输出特征图数量为16，输出特征图大小为45*45，即(49-5+1)；
(5)S4层：最大池化层(max pooling)，输入图像大小为(45*45)*16，下采样窗口大小为2*2，下采样窗口数目为16，下采样种类为max pool，输出下采样图数量为16，输出下采样图大小为22*22，即(45/2)*(45/2)；
(6)C5层：卷积层，输入图片大小为(22*22)*16，卷积窗大小为3*3，卷积步数为1，卷积窗种类为8，输出特征图数量为8，输出特征图大小为20*20，即(22-3+1)；
(7)S6层：最大池化层，输入图像大小为(20*20)*8，下采样窗口大小为2*2，下采样窗口数目为8，下采样种类为max pool，则输出下采样图数量为8，输出下采样图大小为10*10，即(20/2)*(20/2)；
(8)F7层：全连接层(full connection)，输入图像大小为(10*10)*8，输出向量大小为1*1*500；
(9)输出层：输入向量大小为1*1*500。
其中，C1、C3、C5为卷积层，而S2、S4、S6为降采样层，F7位全连接层。另外，除了输出层之外，其他层的激活函数均为Relu函数(线性整流函数)，而输出层的激活函数为Softmax(归一化指数)函数。
从牙齿图像训练数据集中提取出牙齿图像和牙齿颜色标定结果构建训练数据集，利用该网络结构训练获得一个能够识别牙齿颜色等级的多分类模型。然后将该模型的最后一层，即输出层进行剔除，仅保留到F7层，并将F7层输出的结果向量作为特征，构建出牙齿在牙齿颜色等级上的特征矩阵。使用同样如图6的神经网络结构，从牙齿图像训练数据集中提取出牙齿图像和其他目标标定结果构建训练数据集，训练获得一个能够识别其他目标类别的多分类模型。然后将该模型的最后一层，即输出层进行剔除，仅保留到F7层，并将F7层输出的结果向量作为特征，构建出牙齿在相应目标等级上的特征矩阵。综上，将牙齿在各个目标上获取的特征矩阵进行叠加，获取最终的牙齿特征矩阵。
使用同样如图6的神经网络结构，从牙龈图像训练数据集中分别提取牙龈图像与牙龈颜色标定结果进行训练，使用同样方法将模型的最后一层，即输出层进行剔除，仅保留到F7层，并将F7层输出的结果向量作为特征，构建出牙龈在牙龈颜色上的特征矩阵，即牙龈的特征矩阵。
最后将牙龈和牙齿的特征矩阵进行融合，得到最终的融合矩阵。
口腔图像经过卷积神经网络处理后，获得了一个融合矩阵。将无线内窥镜采集的原始数据集中的所有图像采用上面的步骤处理后，可以得到每个图像的融合矩阵。
将原始训练数据集中的每个图像的融合矩阵和每个图片的标定结果组合成特征数据集，用于随后的训练。
步骤4，构建各单目标下的评估模型。
针对本发明所关注的牙齿美白的各目标——牙齿颜色、牙齿排列整齐度、牙齿是否存在缺损、牙列是否存在缺失、牙龈颜色等，都单独建立机器学习SVM分类模型，将步骤3获得的融合特征作为输入向量，输出为对应目标的等级。
在进行训练时，将所得到的特征数据集进行划分，根据目标问题在样本中的分布情况，采用分层划分的策略，将数据划分为训练集和测试集，并进行该目标问题分类器的训练。在每个目标问题的训练当中，本发明采用了机器学习SVM分类算法对目标问题的进行评价。例如，在对牙齿颜色分类器的训练过程中，通过将特征数据库中对应的融合特征向量X与标注标签Y组成训练样本(X，Y)，并输入SVM分类算法中训练。
在模型训练当中，用W＝{w1,w2,...,wn}作为权重向量，n是特征值的个数，即特征向量X的维度。利用层次支持向量机(H-SVMs)，将所有类别分成两个子类，再将子类进一步划分成两个次级子类，反复循环，直到所有子类中只包含一份单独的类别。如图7所示，在训练牙齿颜色等级评估模型时，第一层将类别划分为牙齿颜色等级为0和牙齿颜色等级大于0，第二层将类别划分为牙齿颜色等级为1和牙齿颜色等级大于1，第三层将类别划分为牙齿颜色等级为2和牙齿颜色等级为3。
在层次支持向量机中，可以将每一层单独看作一个二分类的SVM算法建立一个最优化模型，并以最大化每个类之间的最小间隔作为优化目标进行训练，从而获得划分不同健康等级类别的超平面，如图8所示。在SVM训练当中，采用了高斯核函数进行了特征空间的隐式映射。训练完成后将这些超平面的参数进行保留，作为训练出的模型参数W。
经过对多层SVM的级联，最终可获得了牙齿颜色等级评估模型，并用不同数字标签标志个体牙齿颜色等级，例如0代表牙齿颜色洁白，而3代表牙齿颜色呈深褐色或黑色。
同样的方法，完成对其他目标的评估模型训练。
步骤5，口腔图像评价结果生成。
在由步骤4获得各目标的评估模型后，保存在移动终端中。当用户使用时，使用无线内窥镜拍摄多张口腔图像，对每张口腔图像，采用步骤3训练好的深度卷积神经网络提取牙齿特征矩阵和牙龈特征矩阵，并将所有特征矩阵进行叠加获取到融合矩阵。然后将融合矩阵作为步骤4中训练出来的各目标的评估模型的输入，输出各目标的等级。进一步地，根据图像的每个目标的评估结果，结合每个目标的权重，给出整体的口腔美观度指数。
由于在拍摄口腔图像时可能需要从多个角度拍照多组图像，因此在计算口腔美观度指数时，会先计算出每张口腔图像的口腔美观度指数，然后求取平均值来获取最终的口腔美观度指数。例如，在牙齿美观度评价中，当每个目标的评估结果都是严重的时候，口腔美观度指数为0，代表着口腔美观状况最差。而当目标问题的等级都是“无”的时候，则口腔美观度指数为100，代表着用户的口腔美观状况很好。口腔美观度指数T_index计算公式可以表示为：
T_index＝100-(αA+βB+γC+δD+εE)
其中，A，B，C，D，E分别表示每个目标问题的评估等级，即对应牙齿颜色、牙齿排列整齐度、牙齿是否存在缺损、牙列是否存在缺失、牙龈颜色的等级。α，β，γ，δ，ε分别表示每个目标的权重，权重的取值为0到1之间。
本发明最后输出各目标等级以及等级所对应的含义，为了便于用户理解和对口腔的整体体验，还输出口腔的美观度指数。
本发明此处采用了五个目标来进行口腔美观度评价，同样，可以对目标问题进行扩展，但目标问题的特征提取和分类仍然按照上述步骤3和4来建立和训练。本发明并不仅仅局限于只有上面的五个目标。

Claims (9)

1.一种口腔图像的智能分析装置，其特征在于，包括：
口腔图像采集设备，为一无线内窥镜，用于采集用户口腔图像，并通过无线传输方式将图像发送给移动终端；
移动终端设置有口腔图像数据库、口腔融合特征提取模块、特征数据库、目标分类器模块和牙齿检测结果输出模块；
所述的口腔图像数据库存储口腔图像采集设备采集的训练样本，为各训练样本标注各牙齿美观度检测目标的等级；牙齿美观度检测目标包括牙齿颜色、牙齿排列整齐度、牙齿是否存在缺损、牙列是否存在缺失和牙龈颜色；
所述的口腔融合特征提取模块包含图像分割模块与各牙齿美观度检测目标下的深度卷积神经网络模型；图像分割模块将一张口腔图像分割为牙齿图像和牙龈图像，将牙齿图像或牙龈图像输入每个牙齿美观度检测目标下的深度卷积神经网络模型，深度卷积神经网络模型提取在每个目标下的牙齿特征矩阵或牙龈特征矩阵，最后将所有获得的牙齿特征矩阵和牙龈特征矩阵组合一起得到口腔图像的融合特征；
所述的特征数据库存储用于训练目标分类器的训练样本，对口腔图像数据库中的训练样本利用口腔融合特征提取模块，提取融合特征，将融合特征与对应标注的目标等级组成对应牙齿美观度检测目标的训练样本，存入特征数据库中；
所述的目标分类器模块针对每个牙齿美观度检测目标，建立支持向量机分类模型；口腔图像采集设备实时采集口腔图像输入口腔融合特征提取模块，得到融合特征输入各支持向量机分类模型，输出各牙齿美观度检测目标的等级；
所述的牙齿检测结果输出模块将各牙齿美观度检测目标的等级输出给用户，同时，对各牙齿美观度检测目标的等级进行综合计算得到口腔美观度指数输出给用户。
2.根据权利要求1所述的装置，其特征在于，所述的各牙齿美观度检测目标下的深度卷积神经网络模型，将输入的牙齿图像或牙龈图像，依次经网络内的第一卷积层、平均池化层、第二卷积层、第一最大池化层、第三卷积层、第二最大池化层和全连接层的处理后，输出牙齿或牙龈的特征矩阵。
3.根据权利要求1或2所述的装置，其特征在于，所述的各牙齿美观度检测目标下的深度卷积神经网络模型，利用口腔图像数据库中的训练样本进行训练，由图像分割模块将每一张训练样本分割为牙齿图像和牙龈图像，训练时，将牙齿图像或牙龈图像输入对应目标下的深度卷积神经网络模型，对模型输出的特征矩阵利用Softmax函数计算输出对应目标的等级；通过训练，得到一个能识别对应目标等级的深度卷积神经网络。
4.根据权利要求1所述的装置，其特征在于，所述的牙齿检测结果输出模块计算口腔美观度指数的方法为：
设由一张口腔图像得到牙齿颜色、牙齿排列整齐度、牙齿是否存在缺损、牙列是否存在缺失、牙龈颜色的等级分别为A、B、C、D、E，则口腔美观度指数T_index＝100-(αA+βB+γC+δD+εE)；其中，α、β、γ、δ、ε分别表示相应牙齿美观度检测目标的权重；对用户拍摄的多张口腔图像进行各牙齿美观度检测目标检测，取平均值最为最终的目标等级值，并计算最终的口腔美观度指数。
5.一种口腔图像的智能分析方法，其特征在于，包括如下步骤：
步骤1：使用口腔图像采集设备获取用户的口腔图像；
步骤2：将牙齿颜色、牙齿排列整齐度、牙齿是否存在缺损、牙列是否存在缺失和牙龈颜色作为牙齿美观度检测目标，对各目标进行等级划分；使用口腔图像采集设备采集训练样本，并对训练样本的各目标等级进行标注；
步骤3：对口腔图像提取口腔的融合特征，包括：首先将一张口腔图像分割为牙齿图像和牙龈图像，针对每个牙齿美观度检测目标，利用深度卷积神经网络提取牙齿的特征矩阵和牙龈的特征矩阵；将所有的牙齿的特征矩阵和牙龈的特征矩阵组合一起得到融合特征；
所述的深度卷积神经网络的输入为牙齿图像或牙龈图像，然后依次经过网络内的第一卷积层、平均池化层、第二卷积层、第一最大池化层、第三卷积层、第二最大池化层和全连接层的处理后，输出牙齿或牙龈的特征矩阵；
在利用训练样本训练深度卷积神经网络时，对输出的特征矩阵利用Softmax函数计算输出牙齿美观度检测目标的等级；将训练样本分割为牙齿图像和牙龈图像，然后对每个牙齿美观度检测目标，将牙齿图像或牙龈图像与标注的对应目标等级作为训练数据，训练对应目标的深度卷积神经网络；
在使用阶段，将牙齿图像或牙龈图像输入各目标对应的深度卷积神经网络，输出对应目标下的牙齿或牙龈的特征矩阵；
步骤4：针对每个牙齿美观度检测目标，建立支持向量机分类模型；将所得到的融合特征输入各目标下的支持向量机分类模型，输出该目标下的等级；
对每个牙齿美观度检测目标，将步骤2的训练样本经过步骤3的各深度卷积神经网络的特征矩阵提取，获得融合特征，将融合特征与对应标注的目标等级组成对应目标的训练样本，用来训练对应目标的支持向量机分类模型；
步骤5，输出各支持向量机分类模型的分类结果，同时对各分类结果综合计算得到口腔美观度指数。
6.如权利要求5所述的方法，其特征在于，所述的步骤3中，采用双峰阈值法进行图像分割，将口腔图像转换为灰度图再二值化后，构建图像直方图，选取双峰间的最低谷处作为口腔图像分割的阈值，依据阈值将口腔图像分割为牙齿图像和牙龈图像。
7.如权利要求5所述的方法，其特征在于，所述的步骤3中，所使用的深度卷积神经网络包括：
第一卷积层C1，卷积窗大小为5*5，卷积步数为2，卷积窗种类为6；
平均池化层S2，下采样窗口大小为2*2，下采样窗口数目为6；
第二卷积层C3，卷积窗大小为5*5，卷积步数为1，卷积窗种类为16；
第一最大池化层S4，下采样窗口大小为2*2，下采样窗口数目为16；
第三卷积层C5，卷积窗大小为3*3，卷积步数为1，卷积窗种类为8；
第二最大池化层S6，下采样窗口大小为2*2，下采样窗口数目为8；
全连接层F7。
8.如权利要求5所述的方法，其特征在于，所述的步骤4中，利用层次支持向量机将牙齿美观度检测目标的分类模型。
9.如权利要求5所述的方法，其特征在于，所述的步骤5中，设由一张口腔图像得到牙齿颜色、牙齿排列整齐度、牙齿是否存在缺损、牙列是否存在缺失、牙龈颜色的等级分别为A、B、C、D、E，则口腔美观度指数T_index＝100-(αA+βB+γC+δD+εE)；其中，α、β、γ、δ、ε分别表示相应牙齿美观度检测目标的权重；对用户拍摄的多张口腔图像进行各牙齿美观度检测目标检测，取平均值最为最终的目标等级值，并计算最终的口腔美观度指数。
CN202010363987.9A 2020-04-30 2020-04-30 一种口腔图像的智能分析方法与装置 Active CN111563887B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010363987.9A CN111563887B (zh) 2020-04-30 2020-04-30 一种口腔图像的智能分析方法与装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010363987.9A CN111563887B (zh) 2020-04-30 2020-04-30 一种口腔图像的智能分析方法与装置

Publications (2)

Publication Number Publication Date
CN111563887A true CN111563887A (zh) 2020-08-21
CN111563887B CN111563887B (zh) 2022-04-22

Family

ID=72073281

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010363987.9A Active CN111563887B (zh) 2020-04-30 2020-04-30 一种口腔图像的智能分析方法与装置

Country Status (1)

Country Link
CN (1) CN111563887B (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112288031A (zh) * 2020-11-18 2021-01-29 北京航空航天大学杭州创新研究院 交通信号灯检测方法、装置、电子设备和存储介质
CN112370024A (zh) * 2020-12-04 2021-02-19 深圳市乐升科技有限公司 一种可视化照牙器控制方法及系统
CN112472346A (zh) * 2020-11-26 2021-03-12 南通市第二人民医院 一种基于大数据的牙龈保护方法和装置
CN112598629A (zh) * 2020-12-14 2021-04-02 邱妙娜 一种基于人工智能的牙齿排列异常定位辅助系统
CN112914484A (zh) * 2021-03-03 2021-06-08 清华大学深圳国际研究生院 一种智能的牙齿内窥检测装置
CN113100713A (zh) * 2021-04-09 2021-07-13 谢荣荣 一种基于大数据的牙齿形态扫描装置
CN113244001A (zh) * 2021-06-02 2021-08-13 微适美科技(北京)有限公司 一种基于图像处理的隐形矫正复诊管理系统
CN113628222A (zh) * 2021-08-05 2021-11-09 杭州隐捷适生物科技有限公司 一种基于深度学习的3d牙齿分割和分类方法
CN113768468A (zh) * 2021-09-23 2021-12-10 广州华视光学科技有限公司 一种多传感器、多功能的口腔问题定位设备和方法
CN114004831A (zh) * 2021-12-24 2022-02-01 杭州柳叶刀机器人有限公司 基于深度学习辅助种植体置换的方法及辅助智能系统
CN114496254A (zh) * 2022-01-25 2022-05-13 首都医科大学附属北京同仁医院 一种牙龈炎评估系统的构建方法、牙评估系统及评估方法
CN115035025A (zh) * 2022-04-28 2022-09-09 南通林德安全设备科技有限公司 一种基于牙片处理的牙齿校正辅助方法
CN116778563A (zh) * 2023-08-23 2023-09-19 首都医科大学附属北京口腔医院 一种基于牙齿及附着龈的图像处理方法及相关设备
CN118230068A (zh) * 2024-04-30 2024-06-21 北京大学口腔医学院 基于深度学习的牙齿磨耗程度的分级判断方法和系统
CN118476892A (zh) * 2024-07-15 2024-08-13 北京柔智缘科技有限公司 一种洁牙控制方法、装置及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105748163A (zh) * 2016-02-05 2016-07-13 杭州美齐科技有限公司 一种计算机辅助牙齿无托槽隐形矫治器设计方法
CN106875386A (zh) * 2017-02-13 2017-06-20 苏州江奥光电科技有限公司 一种利用深度学习自动进行牙齿健康状况检测的方法
CN108389207A (zh) * 2018-04-28 2018-08-10 上海视可电子科技有限公司 一种牙病诊断方法、诊断设备及智能图像采集装置
US20190026598A1 (en) * 2017-07-21 2019-01-24 Dental Monitoring Method for analyzing an image of a dental arch
CN110473243A (zh) * 2019-08-09 2019-11-19 重庆邮电大学 基于深度轮廓感知的牙齿分割方法、装置及计算机设备
CN110598030A (zh) * 2019-09-26 2019-12-20 西南大学 一种基于局部cnn框架的甲骨拓片分类方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105748163A (zh) * 2016-02-05 2016-07-13 杭州美齐科技有限公司 一种计算机辅助牙齿无托槽隐形矫治器设计方法
CN106875386A (zh) * 2017-02-13 2017-06-20 苏州江奥光电科技有限公司 一种利用深度学习自动进行牙齿健康状况检测的方法
US20190026598A1 (en) * 2017-07-21 2019-01-24 Dental Monitoring Method for analyzing an image of a dental arch
CN108389207A (zh) * 2018-04-28 2018-08-10 上海视可电子科技有限公司 一种牙病诊断方法、诊断设备及智能图像采集装置
CN110473243A (zh) * 2019-08-09 2019-11-19 重庆邮电大学 基于深度轮廓感知的牙齿分割方法、装置及计算机设备
CN110598030A (zh) * 2019-09-26 2019-12-20 西南大学 一种基于局部cnn框架的甲骨拓片分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SUKUN TIAN.ET AL: ""Automatic Classification and Segmentation of Teeth on 3D Dental Model Using Hierarchical Deep Learning Networks "", 《IEEE》 *
王丹峰等: ""基于卷积神经网络的牙齿疾病识别系统"", 《国外电子测量技术》 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112288031A (zh) * 2020-11-18 2021-01-29 北京航空航天大学杭州创新研究院 交通信号灯检测方法、装置、电子设备和存储介质
CN112472346A (zh) * 2020-11-26 2021-03-12 南通市第二人民医院 一种基于大数据的牙龈保护方法和装置
CN112370024A (zh) * 2020-12-04 2021-02-19 深圳市乐升科技有限公司 一种可视化照牙器控制方法及系统
CN112598629B (zh) * 2020-12-14 2023-07-11 台州雅仕美医疗科技有限公司 一种基于人工智能的牙齿排列异常定位辅助系统
CN112598629A (zh) * 2020-12-14 2021-04-02 邱妙娜 一种基于人工智能的牙齿排列异常定位辅助系统
CN112914484A (zh) * 2021-03-03 2021-06-08 清华大学深圳国际研究生院 一种智能的牙齿内窥检测装置
CN113100713A (zh) * 2021-04-09 2021-07-13 谢荣荣 一种基于大数据的牙齿形态扫描装置
CN113244001A (zh) * 2021-06-02 2021-08-13 微适美科技(北京)有限公司 一种基于图像处理的隐形矫正复诊管理系统
CN113244001B (zh) * 2021-06-02 2021-12-31 微适美科技(北京)有限公司 一种基于图像处理的隐形矫正复诊管理系统
CN113628222A (zh) * 2021-08-05 2021-11-09 杭州隐捷适生物科技有限公司 一种基于深度学习的3d牙齿分割和分类方法
CN113768468A (zh) * 2021-09-23 2021-12-10 广州华视光学科技有限公司 一种多传感器、多功能的口腔问题定位设备和方法
CN113768468B (zh) * 2021-09-23 2023-12-19 广州华视光学科技有限公司 一种多传感器、多功能的口腔问题定位设备和方法
CN114004831A (zh) * 2021-12-24 2022-02-01 杭州柳叶刀机器人有限公司 基于深度学习辅助种植体置换的方法及辅助智能系统
CN114496254A (zh) * 2022-01-25 2022-05-13 首都医科大学附属北京同仁医院 一种牙龈炎评估系统的构建方法、牙评估系统及评估方法
CN115035025A (zh) * 2022-04-28 2022-09-09 南通林德安全设备科技有限公司 一种基于牙片处理的牙齿校正辅助方法
CN116778563A (zh) * 2023-08-23 2023-09-19 首都医科大学附属北京口腔医院 一种基于牙齿及附着龈的图像处理方法及相关设备
CN116778563B (zh) * 2023-08-23 2023-11-17 首都医科大学附属北京口腔医院 一种基于牙齿及附着龈的图像处理方法及相关设备
CN118230068A (zh) * 2024-04-30 2024-06-21 北京大学口腔医学院 基于深度学习的牙齿磨耗程度的分级判断方法和系统
CN118476892A (zh) * 2024-07-15 2024-08-13 北京柔智缘科技有限公司 一种洁牙控制方法、装置及存储介质
CN118476892B (zh) * 2024-07-15 2024-09-20 北京柔智缘科技有限公司 一种洁牙控制方法、装置及存储介质

Also Published As

Publication number Publication date
CN111563887B (zh) 2022-04-22

Similar Documents

Publication Publication Date Title
CN111563887B (zh) 一种口腔图像的智能分析方法与装置
CN110287895B (zh) 一种基于卷积神经网络进行情绪测量的方法
CN111563452B (zh) 一种基于实例分割的多人体姿态检测及状态判别方法
CN106469302A (zh) 一种基于人工神经网络的人脸肤质检测方法
CN113379697B (zh) 基于深度学习的彩色图像龋病识别方法
CN106886216A (zh) 基于rgbd人脸检测的机器人自动跟踪方法和系统
CN109063643B (zh) 一种用于脸部信息部分隐藏条件下的面部表情痛苦度识别方法
CN109377441A (zh) 具有隐私保护功能的舌像采集方法和系统
CN112151167A (zh) 一种基于深度学习的儿童六龄牙龋齿智能筛查方法
CN108596256B (zh) 一种基于rgb-d物体识别分类器构造方法
KR20200110878A (ko) 충치 조기진단을 위한 딥러닝 기반 진단 방법 및 시스템
CN116188879B (zh) 图像分类、图像分类模型训练方法、装置、设备及介质
US20240062582A1 (en) Method and Device for Dynamic Recognition of Emotion Based on Facial Muscle Movement Monitoring
CN112883867A (zh) 一种基于图像情感分析的学生在线学习评估方法及系统
CN117152507B (zh) 一种牙齿健康状态检测方法、装置、设备及存储介质
CN114581432A (zh) 一种基于深度学习的舌象仪舌象分割方法
CN114565602A (zh) 基于多通道融合的图像识别方法、装置和存储介质
CN115273150A (zh) 基于人体姿态估计的安全帽佩戴的新型识别方法及系统
CN113343853B (zh) 一种儿童牙龋齿智能筛查方法及装置
CN113989588A (zh) 一种基于自学习的五边形绘图测试智能评价系统及方法
CN113160151A (zh) 基于深度学习及注意力机制的全景片龋齿深度识别方法
CN111275754B (zh) 一种基于深度学习的脸部痘印比例计算方法
CN112488165A (zh) 一种基于深度学习模型的红外行人识别方法及系统
GB2604706A (en) System and method for diagnosing small bowel cleanliness
CN206363347U (zh) 基于角点检测与匹配的药品识别系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant