CN115796306B - 一种恒牙成熟度分级模型的训练及恒牙成熟度分级方法 - Google Patents

Abstract

本公开关于一种恒牙成熟度分级模型的训练及恒牙成熟度分级方法，训练方法包括：获取口腔曲面断层影像，并确定所述口腔曲面断层影像中每个恒牙对应的目标框标注信息、牙位标注信息和成熟度标注信息；根据所述目标框标注信息对应的框选区域，对所述口腔曲面断层影像进行图像裁剪，得到每个恒牙的牙齿影像；基于所述牙位标注信息，对每个恒牙的牙齿影像进行排列处理，得到全恒牙列影像集；将所述全恒牙列影像集有序输入恒牙成熟度分级模型，得到每个恒牙对应的成熟度预测结果，并基于所述成熟度预测结果和所述成熟度标注信息，计算模型损失；根据所述模型损失调整所述恒牙成熟度分级模型的参数，从而对所述恒牙成熟度分级模型进行训练。

Description

一种恒牙成熟度分级模型的训练及恒牙成熟度分级方法

技术领域

本公开总体说来涉及口腔曲面断层影像处理技术领域，更具体地讲，涉及一种恒牙成熟度分级模型的训练及恒牙成熟度分级方法。

背景技术

恒牙成熟度是生长发育评估的一项重要指标，在临床诊断、治疗方案规划、年龄推算等方面均具有重要的意义和应用价值。具体地，在疾病诊断方面，乳牙的根尖周病变，以及遗传性牙科疾病，如牙本质发育不良、低磷血症等均存在整体恒牙列异常的发育，因此准确监测恒牙列的发育情况有助于病变的早期筛查；并且随着咬合不正、错愕畸形的比例升高，在正畸的预防、诊断和治疗方案规划方面，对所有恒牙进行成熟度分析可以为医生提供关于个体牙齿发育潜力的定量评估，对后续治疗有重要的辅助作用；此外，在法医科学和刑事调查中，恒牙的发育对于准确估计身份不明个体的实际年龄至关重要。

随着口腔影像技术的发展，作为一种更便捷、低辐射的可视化牙列、颌骨等解剖结构的成像方法，曲面断层片（Orthopantomogram，OPG）使得医生能直观地了解整个牙列的形态结构和健康状况，为牙齿发育成熟度的实际分析和研究提供了数据基础。牙齿的发育是一个双边对称的局部过程，集中于儿童及青少年阶段。目前最常用的牙齿成熟度分级方法是基于Demirjian的计分法，其中，牙齿根据矿化程度递增分成了A至H共8个发育阶段。现临床或学术研究中对于恒牙的成熟度分级依然依赖专业医生针对影像中的每一颗恒牙进行手动评分，其过程十分耗时且繁琐，专业敏感性高。因此，针对这一问题通过计算机算法实现自动化的牙齿成熟度分级具有重要的应用价值。但是，现有自动化恒牙成熟度分析的相关研究主要集中于基于第三磨牙或左下颌恒牙列的研究，针对全牙列的研究极少，并且儿童或青少年的混合牙列影像表现复杂，牙齿外形复杂多样，现有方法并不能够高效、准确地针对全恒牙列进行成熟度分级。

发明内容

本公开提供一种恒牙成熟度分级模型的训练及恒牙成熟度分级方法，旨在解决相关技术中特征提取能力受限和标签次序关系缺失的问题，通过恒牙成熟度分级模型的高效训练，提高了模型成熟度预测结果的准确性，进而能够利用训练好的模型实现全恒牙列的精准成熟度分级。

在一个总的方面，提供一种恒牙成熟度分级模型的训练方法，包括：获取口腔曲面断层影像，并确定所述口腔曲面断层影像中每个恒牙对应的目标框标注信息、牙位标注信息和成熟度标注信息；根据所述目标框标注信息对应的框选区域，对所述口腔曲面断层影像进行图像裁剪，得到每个恒牙的牙齿影像；基于所述牙位标注信息，对每个恒牙的牙齿影像进行排列处理，得到全恒牙列影像集，其中，任意两个处于左右对称位置的恒牙对应的牙齿影像在所述全恒牙列影像集中相邻排列；将所述全恒牙列影像集有序输入恒牙成熟度分级模型，得到每个恒牙对应的成熟度预测结果，并基于所述成熟度预测结果和所述成熟度标注信息，计算模型损失；根据所述模型损失调整所述恒牙成熟度分级模型的参数，从而对所述恒牙成熟度分级模型进行训练。

可选地，所述恒牙成熟度分级模型包括特征提取网络，其中，所述将所述全恒牙列影像集有序输入恒牙成熟度分级模型，得到每个恒牙对应的成熟度预测结果，包括：将所述全恒牙列影像集输入所述特征提取网络，利用所述特征提取网络对所述全恒牙列影像集中的每个牙齿影像进行特征编码，得到每个牙齿影像对应的特征向量；基于每个牙齿影像对应的特征向量，确定每个恒牙对应的成熟度预测结果。

可选地，所述恒牙成熟度分级模型还包括分类分支模块和回归分支模块，其中，所述基于每个牙齿影像对应的特征向量，确定每个恒牙对应的成熟度预测结果，包括：将每个牙齿影像对应的特征向量输入所述分类分支模块，利用所述分类分支模块对每个恒牙进行第一成熟度预测，得到每个恒牙的第一预测结果；将每个牙齿影像对应的特征向量输入所述回归分支模块，利用所述回归分支模块对每个恒牙进行第二成熟度预测，得到每个恒牙的第二预测结果。

可选地，所述分类分支模块包括对称融合模块，其中，所述将每个牙齿影像对应的特征向量输入所述分类分支模块，利用所述分类分支模块对每个恒牙进行第一成熟度预测，得到每个恒牙的第一预测结果，包括：针对任意一个恒牙和处于该恒牙对称位置的对称恒牙，经特征提取网络编码得到该恒牙的牙齿影像对应的第一特征向量和相邻排列的所述对称恒牙的牙齿影像对应的第二特征向量；将所述第一特征向量和所述第二特征向量输入所述对称融合模块，利用所述对称融合模块对所述第一特征向量和所述第二特征向量进行特征融合处理，分别得到融合增强后的第一增强特征向量和第二增强特征向量；基于所述第一增强特征向量，确定该恒牙的第一预测结果，并基于所述第二增强特征向量，确定所述对称恒牙的第一预测结果。

可选地，在所述对称融合模块中通过以下等式来对所述第一特征向量和所述第二特征向量进行特征融合处理：

，

，

其中，表示第一特征向量，表示第二特征向量，表示第一增强特征向量，表示第二增强特征向量，表示第一融合权重，表示第二融合权重，表示卷积操作。

可选地，所述基于所述成熟度预测结果和所述成熟度标注信息，计算模型损失，包括：基于所述第一预测结果和所述成熟度标注信息，利用交叉熵损失函数计算第一损失值；基于所述第二预测结果和所述成熟度标注信息，利用均方误差损失函数计算第二损失值；对所述第一损失值和所述第二损失值进行加权处理，得到所述模型损失。

可选地，所述交叉熵损失函数通过以下等式来表示：

，

其中，表示交叉熵损失函数，表示成熟度标注信息的独热编码，表示第一预测结果，表示牙齿影像的数量，表示当前的牙齿影像数，表示当前的成熟度分级数。

可选地，所述均方误差损失函数通过以下等式来表示：

，

，

其中，表示成熟度标注信息的定量结果与第二预测结果之间的距离，表示均方误差损失函数，表示牙齿影像的数量，表示当前的牙齿影像数。

可选地，还包括：将训练得到的特征提取网络和分类分支模块作为训练好的恒牙成熟度分级模型。

在另一总的方面，提供一种恒牙成熟度分级方法，包括：获取待分析的口腔曲面断层影像，并确定所述待分析的口腔曲面断层影像中每个恒牙对应的目标框标注信息和牙位标注信息；根据所述目标框标注信息对应的框选区域，对所述口腔曲面断层影像进行图像裁剪，得到每个恒牙的牙齿影像；基于所述牙位标注信息，对每个恒牙的牙齿影像进行排列处理，得到待分析的全恒牙列影像集，其中，任意两个处于左右对称位置的恒牙对应的牙齿影像在所述待分析的全恒牙列影像集中相邻排列；将所述待分析的全恒牙列影像集有序输入如上所述的恒牙成熟度分级模型的训练方法训练得到的恒牙成熟度分级模型，以获取所述待分析的口腔曲面断层影像中每个恒牙对应的成熟度分级预测结果。

根据本公开的实施例的恒牙成熟度分级模型的训练及恒牙成熟度分级方法，结合了面部对称性的先验知识，通过将处于左右对称位置的恒牙对应的牙齿影像在全恒牙列影像集中相邻排列，能够在模型训练高效地利用对称位置的牙齿对应的高维特征进行特征融合，增强了模型关于发育特征的信息抽取能力，缓解了相同发育阶段内牙齿形态多样性对模型预测的影响，实现了恒牙成熟度分级模型的高效训练，提高了模型成熟度预测结果的准确性，使训练好的模型能够生成准确的、可靠的发育成熟度分级预测结果，从而实现全恒牙列的精准成熟度分级。

将在接下来的描述中部分阐述本公开总体构思另外的方面和/或优点，还有一部分通过描述将是清楚的，或者可以经过本公开总体构思的实施而得知。

附图说明

通过下面结合示出实施例的附图进行的描述，本公开的实施例的上述和其他目的和特点将会变得更加清楚，其中：

图1是示出根据本公开的实施例的恒牙成熟度分级模型的训练方法的流程图；

图2是示出根据本公开的实施例的数据组织流程的示意图；

图3是示出根据本公开的实施例的特征提取网络的示意图；

图4是示出根据本公开的实施例的模型整体架构的示意图；

图5是示出根据本公开的实施例的对称融合模块的示意图；

图6是示出根据本公开的实施例的恒牙成熟度分级方法的流程图。

具体实施方式

提供下面的具体实施方式以帮助读者获得对在此描述的方法、设备和/或系统的全面理解。然而，在理解本申请的公开之后，在此描述的方法、设备和/或系统的各种改变、修改和等同物将是清楚的。例如，在此描述的操作的顺序仅是示例，并且不限于在此阐述的那些顺序，而是除了必须以特定的顺序发生的操作之外，可如在理解本申请的公开之后将是清楚的那样被改变。此外，为了更加清楚和简明，本领域已知的特征的描述可被省略。

在此描述的特征可以以不同的形式来实现，而不应被解释为限于在此描述的示例。相反，已提供在此描述的示例，以仅示出实现在此描述的方法、设备和/或系统的许多可行方式中的一些可行方式，所述许多可行方式在理解本申请的公开之后将是清楚的。

除非另有定义，否则在此使用的所有术语（包括技术术语和科学术语）具有与由本公开所属领域的普通技术人员在理解本公开之后通常理解的含义相同的含义。除非在此明确地如此定义，否则术语（诸如，在通用词典中定义的术语）应被解释为具有与它们在相关领域的上下文和本公开中的含义一致的含义，并且不应被理想化或过于形式化地解释。

此外，在示例的描述中，当认为公知的相关结构或功能的详细描述将引起对本公开的模糊解释时，将省略这样的详细描述。

目前，基于深度学习方法的恒牙成熟度分级任务被视为不同Demirjian阶段的分类，输入单颗牙齿的影像，通过模型提取特征预测该牙齿所属的发育阶段。主流的分类网络包括ResNet、DenseNet、InceptionNet等，输入的标签利用独热（one-hot）编码，即所属的类别对应的维度置为1，其余置为0；输出为各个类别的概率，最大概率所在的维度对应的类别即为预测的类别。现有研究主要针对第三磨牙和左下颌牙列两类进行成熟度分析。此外，由于牙齿发育的种族和地区特殊性，一些研究通过引入修改了传统的Demirjian分期方法细分阶段，以获得更适合目标人群的标准。针对第三磨牙的相关研究主要集中于成年人群，Upalananda等研究者利用GoogleNet对下颌第三磨牙进行Demirjian阶段D到H的分级，实验人群为来自清迈15-23岁的个体，输入为基于手动裁剪的目标牙齿区域，其在测试数据集上的平均准确率表现为82.5%。Banar等研究者设计了包含三步工作流的框架来评估7-24岁比利时人群的左下颌第三磨牙的发育，其中采用了10阶段的分级标准，在A阶段之前和H阶段之后增加了两个细化阶段。三步工作流包括用于牙齿定位的类Yolo网络、用于牙齿分割的类U-Net网络和用于牙齿发育阶段分类的Densenet201网络，其分级的平均准确率为60%。此外，由于下颌牙列相较于上颌牙列受其他组织的遮挡较少，成像更清楚，因此有大量的研究集中于左下颌牙列的成熟度分析。Mohammad等研究者利用AlexNet针对下颌第一前磨牙、第二前磨牙分级，并提出了一种改进的分级方法，D分级包含5个细分子分级，共8分类，C、D1-D5、E、F，在5-14.99岁的马来西亚人群的测试集上，第一前磨牙的准确率表现为94%，第二前磨牙的准确率表现为91%。Han等研究者提出了一种基于faster R-CNN的自动牙齿成熟度分级模型，网络在最后一个卷积层之后分为两个分支，分别为牙齿检测分支和牙齿成熟度分级分支，数据集由5-24年龄段的10257张曲面断层影像构成，Demirjian阶段8分类的平均准确率为87.07%，H阶段的准确率最高，为97.06%，A阶段的准确率最低，为53.06%。

现有的关于第三磨牙、左下颌牙列的成熟度分级研究，很大程度上提升了整体推理的效率，并且在很多单一形状的恒牙都取得了较好的指标表现，如下颌第一前磨牙、第二前磨牙，但多数为现有神经网络模型的直接应用，分级结果的准确性依旧很难得到保障，具体表现为在相邻发育阶段存在很大程度上的错分，并且对于发育的早期阶段的识别准确性较低。目前相关研究很少有关于全部恒牙列的工作，并且仍存在两个问题：首先，是该任务存在同一发育阶段内部样本差距过大的问题，对于模型的特征提取能力提出了很高的要求，具体而言，由于牙齿的形态存在差异，如磨牙、尖牙等，属于同一发育等级的不同类型的牙齿外形等差距较大，但这些恒牙都具备相似的发育规律，该发育规律属于高层抽象的语义信息，直接运用现有的深度神经网络会存在特征抽取的瓶颈，导致分级效果表现不佳；其次，是发育阶段之间有明显的顺序关系而相邻的类别之间差距较小，属于同一类型的牙齿在相邻分级的影像表现的差异很细微，易出现混淆、错分的情况，现有方法直接将该任务视为分类，没有考虑分级之间的次序关系，且模型无法意识到何种错分为发生在牙齿发育成熟度相邻阶段的混淆而去更关注这一类错误。

目前，针对提升网络抽取能力这一方面，许多研究表明特征融合是一种提升模型结果表现的有效方法，它可以将经过多个网络编码的多个特征组合成一个具有更多判别信息的特征向量以增强特征的表达。但是这个方法依赖于多种主干特征提取网络，其选择多为手工设计，且验证需要大量的重复实验。此外，运用多个模型会导致参数量增加，对于设备的算力和实时性提出了挑战。针对引入标签之间的次序关系这一方面，之前有部分研究提出了有序回归或有序分类的思路，使得模型能够意识到不同错误分类的情况，例如，将阶段为A的牙齿影像预测为阶段B和阶段H是不一样的。基于这个思路，预测结果距离真实较远的错误可以有效被遏制，但是，牙齿发育成熟度相邻阶段之间的错误预测对应损失函数的梯度相对较小，容易被忽略，例如作为回归任务中常用的均方误差（Mean Square Error，MSE）损失函数，牙齿发育成熟度相邻阶段的混淆还是一个亟待解决的挑战性问题。

因此，根据本公开的实施例的恒牙成熟度分级模型的训练及恒牙成熟度分级方法，一方面，可采用基于牙齿发育双边对称性的特征融合方法，将来自对称位置的牙齿图像的高维特征进行自适应的加权特征融合，利用对称位置牙齿的特征，对本侧关于发育的特征进行增强，提升模型的信息表达能力，从而在参数量少量增加的情况下，达到更好的分级效果；另一方面，可采用基于多任务学习的卷积网络模型，利用回归任务辅助分类任务，为模型提供分级之间的次序信息，使模型意识到不同错误分类的情况，并且可针对牙齿发育成熟度相邻阶段易混淆的特点采用新型的损失函数，增加牙齿发育成熟度相邻阶段错分对应的损失的权重，以进一步增强分级模型的表现。

下面将参照图1至图6对根据本公开的实施例的恒牙成熟度分级模型的训练及恒牙成熟度分级方法进行详细描述。

图1是示出根据本公开的实施例的恒牙成熟度分级模型的训练方法的流程图。

参照图1，在步骤S101中，可获取口腔曲面断层影像，并确定口腔曲面断层影像中每个恒牙对应的目标框标注信息、牙位标注信息和成熟度标注信息。

作为示例，可从医院的影像数据系统完成数据收集工作，口腔曲面断层影像可从面向3-14岁的西南地区的儿童与青少年采集的700例数据集中获取，数据集纳入优先考虑清晰、没有牙外伤或明显病理的高质量影像，并且影像来自于不同的设备，有效长宽比具有一定的多样性。根据本公开的实施例的恒牙成熟度分级模型的训练方法采用有监督的学习方法，因此，在数据准备阶段可对训练数据进行标注，对于每一例口腔曲面断层影像，都可由多名标注者交叉进行标注，标注信息可包括每个恒牙对应的目标框标注信息、牙位标注信息以及成熟度标注信息。

具体而言，目标框标注信息可由矩形框进行标定，矩形框保证在最小的情况下框住牙齿，每个标定的矩形框保存左上角和右下角的坐标，而目标框标注信息则可包括矩形框的左上角和右下角的坐标。

牙位标注信息可按照如下述表1所示的FDI（国际牙科联盟）牙位表示法进行标注，按照恒牙的牙位表示法，每颗牙用两位阿拉伯数字表示，第一位表示牙齿所在的象限，右上、左上、左下、右下的恒牙分别为1、2、3、4；第二位表示牙齿的位置：从中门齿到第三臼齿分别为1至8。

表1 FDI牙位表示法

，

成熟度标注信息可按照改良Demirjian方法进行标注，即根据牙胚、牙冠、牙根发育程度不同，可以分为R、A、B、C、D、E、F、G、H，共9类，R为无牙囊，H为发育闭合，由R到H发育成熟程度递增。

此外，上述信息的标注可实行多级审核制度，对于有争议的标注结果，交付审核员处理，最后得到准确一致的结果作为最终的标注信息。

接下来，在步骤S102中，可根据目标框标注信息对应的框选区域，对口腔曲面断层影像进行图像裁剪，得到每个恒牙的牙齿影像。

接下来，在步骤S103中，可基于牙位标注信息，对每个恒牙的牙齿影像进行排列处理，得到全恒牙列影像集。这里，任意两个处于左右对称位置的恒牙对应的牙齿影像在全恒牙列影像集中相邻排列。

根据本公开的实施例，准备好一定规模的有标注的数据集后，可对数据进行组织，换言之，可将上述步骤S102和S103作为数据组织阶段，针对标注后的口腔曲面断层影像进行数据组织。

图2是示出根据本公开的实施例的数据组织流程的示意图。

根据本公开的实施例的恒牙成熟度分级模型旨在针对每个恒牙的牙齿影像预测出相应的发育阶段，同时可结合对称位置的牙齿影像的特征信息。因此，如图2所示，在进行数据组织时可涉及到以下两部分操作：

首先，可利用目标框标注信息中的左上角、右下角信息，对原始的口腔曲面断层影像进行牙齿目标区域裁剪处理，得到病例中所有恒牙的牙齿影像，以供输入到恒牙成熟度分级模型中进行后续训练或推理。

其次，可利用牙位标注信息对裁剪出的一系列恒牙列影像进行组织，具体地，可利用牙齿发育的对称性的特质，在进行数据组织时规定处于对称位置的牙齿需相邻。结合牙位标注信息，可将对称位置的牙齿影像相邻排列，从而相应的标签信息也处于相邻排列。若某一恒牙不存在对称位置的牙齿，则将该恒牙的牙齿影像以及标注信息复制一份，以保证牙齿影像成对出现，但是复制的牙齿影像不参与模型训练。

数据组织旨在实现将原始的口腔曲面断层影像转换成有排列规则的全恒牙列影像集，即，利用目标框标注信息和牙位标注信息，基于病例、对称位置相邻等原则将原始的口腔曲面断层影像中每个恒牙的牙齿影像组织在一起，为后续模型训练做好数据准备。

返回参照图1，接下来，在步骤S104中，可将全恒牙列影像集有序输入恒牙成熟度分级模型，得到每个恒牙对应的成熟度预测结果，并基于成熟度预测结果和成熟度标注信息，计算模型损失。

接下来，在步骤S105中，可根据模型损失调整恒牙成熟度分级模型的参数，从而对恒牙成熟度分级模型进行训练。

根据本公开的实施例，恒牙成熟度分级模型可包括特征提取网络，因此，可将全恒牙列影像集输入特征提取网络，利用特征提取网络对全恒牙列影像集中的每个牙齿影像进行特征编码，得到每个牙齿影像对应的特征向量；然后，可基于每个牙齿影像对应的特征向量，确定每个恒牙对应的成熟度预测结果。

图3是示出根据本公开的实施例的特征提取网络的示意图。

由于恒牙成熟度分级模型面向的数据为2D影像，因此特征提取网络可以但不限于采用ResNet网络，该网络包含深度残差网络结构，其中残差结构是指在传统卷积网络结构中加入捷径连接层以消除深度网络在学习过程中梯度回传容易消失的问题，使得网络在越深的情况下越能够学习到更深层的特征。作为示例，可采用ResNet50网络结构，包括50层以及18个残差模块，主要包含1*1和3*3两种卷积核。如图3所示，经过特征提取网络对输入的影像进行特征编码后，送入全连接层进行分级结果预测，在成熟度标注信息按照上述改良Demirjian方法进行标注的情况下，可输出9维向量，每个维度表示属于每个类别的概率，再经过SoftMax函数运算得到最终的分级预测结果作为成熟度预测结果。

根据本公开的实施例，恒牙成熟度分级模型还可包括分类分支模块和回归分支模块。这里，分类分支模块可包括对称融合模块。

图4是示出根据本公开的实施例的模型整体架构的示意图。

如图4所示，恒牙成熟度分级模型可由三个部分组成，一是采用卷积神经网络作为主体的特征提取网络；二是包括对称融合模块的分类分支模块；三是起辅助作用的回归分支模块。进一步地，在通过特征提取网络得到特征向量的基础上，可将每个牙齿影像对应的特征向量输入分类分支模块，利用分类分支模块对每个恒牙进行第一成熟度预测，得到每个恒牙的第一预测结果；以及，将每个牙齿影像对应的特征向量输入回归分支模块，利用回归分支模块对每个恒牙进行第二成熟度预测，得到每个恒牙的第二预测结果。

根据本公开的实施例，可将每个牙齿影像对应的特征向量输入对称融合模块以实现对特征的增强作用，基于增强后的特征向量，利用分类分支模块的后续结构得到每个恒牙的第一预测结果。具体而言，在得到每个恒牙的第一预测结果的过程中，可针对任意一个恒牙和处于该恒牙对称位置的对称恒牙，经特征提取网络编码得到该恒牙的牙齿影像对应的第一特征向量和相邻排列的对称恒牙的牙齿影像对应的第二特征向量；然后，将第一特征向量和第二特征向量输入对称融合模块，利用对称融合模块对第一特征向量和第二特征向量进行特征融合处理，分别得到融合增强后的第一增强特征向量和第二增强特征向量；然后，基于第一增强特征向量，确定该恒牙的第一预测结果，并基于第二增强特征向量，确定对称恒牙的第一预测结果。

图5是示出根据本公开的实施例的对称融合模块的示意图。

大量研究表明，特征融合是一种增强信息表示能力的有效方法，并且大量医学研究表明牙齿的萌出和发育是局部过程，具有双边对称的特性，即双侧对称的恒牙的发育几乎处于相同的Demirjian阶段，此外，由对称恒牙的牙齿影像的成像情况可知，其尺寸大小非常相似。因此，对于一对对称的恒牙，可对其进行编码得到两个特征向量，两者具有相似牙齿成熟度信息表示，可用于特征结合与增强。如图5所示，对称融合模块位于特征提取网络最后一个卷积层之后，旨在利用有更高层抽象语义信息的特征，以同一训练批次的相邻的一对对称牙齿影像为例，对称融合模块的输入可定义为，表示经过特征提取网络编码得到的高维特征向量，即表示第一特征向量，表示第二特征向量；对称融合模块可包括两个1*1的卷积核，分别表示融合的权重，即表示第一融合权重，对应于本侧权重，表示第二融合权重，对应于对侧权重，以实现自适应的权重学习；由于对称位置的语义信息同等重要，因此可采用加法运算来保证特征语义的线性，从而整体融合的计算方式为加权和的形式。换言之，可在对称融合模块中通过以下等式（1）和（2）来对第一特征向量和第二特征向量进行特征融合处理：

 （1）

 （2）

这里，表示卷积操作。如图5所示，经过运算，对称融合模块的输出为，与输入的特征向量的维度保持一致，表示第一增强特征向量，表示第二增强特征向量。融合后的特征向量有效地结合了对侧的相关信息，以增强自身关于发育规律信息的表达能力，提升模型的最终效果，以较小的参数代价和自适应的方式实现了有效的特征结合。

根据本公开的实施例，由于基于卷积神经网络的分类问题方法通常假设类别是无序的，而忽略了分级标签之间的次序性，使得模型对于不同情况的错分并不敏感，例如，一颗牙齿的实际发育阶段为D阶段，由于分级之间的相似性，可能会预测为相邻的E阶段，但预测为H阶段是临床上不可接受的，因为预测结果相距标注信息较远，然而分类模型则认为以上两种情况均为错误分类，并无差别，这对于模型的预测和识别造成了一定的影响。为克服上述问题，可基于多任务学习的策略，引入辅助的回归分支模块为模型提供次序信息。如图4所示，回归分支模块与分类分支模块共享特征提取器，包括一个平均池化层和一个全连接层，旨在预测一维的定量化的Demirjian阶段。具体地，针对回归分支模块，在成熟度标注信息按照上述改良Demirjian方法进行标注的情况下，可将成熟度标注信息(R, A, B, C, D,E, F, G, H)定义为，即用各个阶段对应的数字来表示相应阶段的量化值，数字越大，量化值越大，表示发育程度越高。本公开提出的对称融合模块，以及添加的额外辅助的回归分支模块，在提升特征信息表达能力的通同时，也引入了更多的次序信息，将双边对称和发育次序性的先验知识很好的应用于网络模型的学习过程中，在较小的参数代价前提下，提高了分级精度。

根据本公开的实施例，在恒牙成熟度分级模型包括分类分支模块和回归分支模块两部分的情况下，模型训练的主要内容也相应包括两个部分，具体而言，在计算模型损失时，可基于第一预测结果和成熟度标注信息，利用交叉熵（Cross Entropy Loss）损失函数计算第一损失值；以及，基于第二预测结果和成熟度标注信息，利用均方误差损失函数计算第二损失值；然后，对第一损失值和第二损失值进行加权处理，得到模型损失。作为示例，恒牙成熟度分级模型的损失函数可通过以下等式（3）来表示：

 （3）

这里，表示交叉熵损失函数，对应于分类分支模块，表示的权重；表示均方误差损失函数，对应于回归分支模块，表示的权重。进一步地，和可由本领域技术人员根据实际情况来确定，例如，，然而本公开不限于此。

根据本公开的实施例，分类分支模块利用交叉熵损失函数学习误差，旨在衡量两个分布之间的相似性，作为示例，交叉熵损失函数可通过以下等式（4）来表示：

 （4）

这里，表示成熟度标注信息的独热编码，具体而言，，如果样本属于第 k类，且；表示第一预测结果，表示牙齿影像的数量，表示当前的牙齿影像数，表示当前的成熟度分级数。

根据本公开的实施例，均方误差损失函数可包括常规的均方误差损失函数或者改进的均方误差损失函数，在一种可能的实现中，回归分支模块可利用改进的均方误差损失函数来学习误差，旨在使成熟度标注信息的定量结果与第二预测结果之间的距离最小化，作为示例，改进的均方误差损失函数可通过以下等式（5）和（6）来表示：

 （5）

（6）

这里，表示成熟度标注信息的定量结果与第二预测结果之间的距离。进一步地，。

常规的均方误差损失函数一般定义为，其梯度表示为，但是常规的均方误差损失函数存在一个弊端，就是当较小时，对应的损失函数梯度的量级较小，从而对于网络的监督作用较小，导致模型针对牙齿发育成熟度相邻阶段的准确识别效果欠佳。因此，可采用添加额外项的损失函数，从设计损失函数的梯度出发，额外项的形式为，则损失函数可通过以下等式（7）来表示：

 （7）

这里，额外项采用了指数形式的进行加权，旨在平衡难样本（牙齿发育成熟度的相邻阶段混淆）和易样本，且系数与常规的均方误差的损失梯度一致。额外项的函数特点为：一方面，当时，函数取得最大值；另一方面，当时，函数值较为显著，当时，函数值随着的增加逐渐接近于0。在此基础上，相较于常规的均方误差损失函数，本公开采用的函数在较小的取值区间有更显著的梯度，模型会提升对牙齿发育成熟度相邻阶段之间的错误分类的关注程度，同时仍保留有均方误差损失函数的形式，以确保远离真实标注信息的错误预测仍然有很大的惩罚。进一步地，为的定积分形式，当时，，故可得的函数形式如上述等式（6）所示。根据本公开改进的均方误差损失函数，不同于以往的回归问题的损失函数设计，引入了一个额外项以平衡难易样本的回归问题，提升了模型对牙齿发育成熟度相邻阶段之间的错误分类的关注程度，从一个新的额外损失计算的角度进行学习优化，减缓了模型对于牙齿发育成熟度的相邻阶段的混淆问题，增强了网络模型的分级性能。

根据本公开的实施例，在训练恒牙成熟度分级模型时，可将输入的牙齿影像设置为，训练过程中的数据动态增广采用随机水平翻转、旋转、缩放；训练优化算法可采用Adam优化算法，初始学习率设置为，以0.9倍指数衰减；每一个训练批次大小设置为8，具体地，一个批次读入8张原始的口腔曲面断层影像，学习迭代次数为50。数据集对于训练集、验证级、测试机划分为7:1:2，且年龄分布一致；模型训练采用反向传播算法，并且针对每个批次更新一次参数；经过一次迭代学习之后，评估模型在验证集上的表现，如果当前表现优于之前迭代过程中的最优表现，就保存当前模型参数，然后继续训练并更新迭代过程中的最优表现；若训练达到最大迭代次数，则训练停止。应理解，上述训练设置仅为示例性描述，本领域技术人员可根据实际情况进行调整，本公开对此不做限制。

根据本公开的实施例，在训练停止后，可将训练得到的特征提取网络和分类分支模块作为训练好的恒牙成熟度分级模型，以对训练好的恒牙成熟度分级模型进行模型精简，减小推理阶段的模型体量，节约计算资源。

根据本公开的实施例的恒牙成熟度分级模型，采用基于多任务学习的卷积网络模型，首先利用面部对称性的特性，即，处于对称位置的牙齿多数具有相同的成像情况、发育阶段、以及发育特征，基于对称融合模块，将对称位置的牙齿对应的高维特征进行“加权和”运算生成增强后的特征，其中的权重为网络自适应学习，对称融合模块旨在增强模型关于发育特征的信息抽取能力，提升模型的分级效果；同时，考虑到分级标签内部有很强的次序关系且存在相邻分级易混淆的问题，基于多任务学习策略，引入辅助的回归分支模块，使得模型感知到次序信息。此外，在回归任务中，针对牙齿发育成熟度相邻阶段的混淆问题其对应的损失函数权重较小，容易被忽略使得模型效果不佳，因此本公开针对回归任务提出了新型的损失函数，在均方误差的基础上增加了额外的惩罚项，以缓解牙齿发育成熟度的相邻阶段区分困难的问题，从一个新的额外损失项的设计角度进行学习优化，提升模型的分级表现。

图6是示出根据本公开的实施例的恒牙成熟度分级方法的流程图。

参照图6，在步骤S601中，可获取待分析的口腔曲面断层影像，并确定待分析的口腔曲面断层影像中每个恒牙对应的目标框标注信息和牙位标注信息。

接下来，在步骤S602中，可根据目标框标注信息对应的框选区域，对口腔曲面断层影像进行图像裁剪，得到每个恒牙的牙齿影像。

接下来，在步骤S603中，可基于牙位标注信息，对每个恒牙的牙齿影像进行排列处理，得到待分析的全恒牙列影像集。这里，任意两个处于左右对称位置的恒牙对应的牙齿影像在所述待分析的全恒牙列影像集中相邻排列。

根据本公开的实施例，当模型训练完成后，在实际使用阶段，进行模型推理，输入数据需要先按如上所述的数据组织方式进行裁剪和组织。由于是推理数据，所以不需要对牙齿发育阶段的成熟度进行标注，只需要向模型提供每个恒牙对应的目标框标注信息和牙位标注信息。目标框标注信息和牙位标注信息可以手工标注或者依赖于目标检测网络（例如Yolo、Faster-RCNN）进行自动化预测，由于牙齿定位、牙位编号任务较为简单，所以训练成本较小且可以获得高精确性。

接下来，在步骤S604中，可将待分析的全恒牙列影像集有序输入如上所述的恒牙成熟度分级模型的训练方法训练得到的恒牙成熟度分级模型，以获取待分析的口腔曲面断层影像中每个恒牙对应的成熟度分级预测结果。

根据本公开的实施例的恒牙成熟度分级方法，利用了面部对称性和发育等级间的次序性，基于多任务学习训练好的恒牙成熟度分级模型，将口腔曲面断层影像作为输入，能够自动、快速地预测对应其中包含的全恒牙列发育情况的Demirjian分级。换言之，根据本公开的实施例的恒牙成熟度分级方法，可采用直接对二维曲面断层影像输入进行智能、快速地全恒牙列的发育成熟度分级，只需要提供牙齿的位置和编号信息，且效果准确，其中的牙齿的位置和编号信息可利用现有的目标检测模型自动获取。

由以上描述可知，根据本公开的实施例的恒牙成熟度分级模型，可采用基于多任务学习和对称特征融合的卷积网络模型，模型结构为多任务分支结构，引入回归分支模块用于辅助分类分支模块，旨在提供发育等级间的次序性，两分支共享特征提取器。同时，在分类分支模块中，结合面部对称性的先验知识，利用对称融合模块以增强模型关于发育特征的信息抽取能力，将对称位置的牙齿对应的高维特征进行自适应加权和运算生成增强后的特征。通过利用任务的先验知识的特性，缓解了相同发育阶段内牙齿形态多样性对模型预测的影响，使网络模型能够产生准确的、可靠的发育成熟度分级结果。

根据本公开的实施例的恒牙成熟度分级模型，在训练时，采用引入额外项的改进均方误差损失函数作为回归分支模块的损失函数，提升了模型对牙齿发育成熟度相邻阶段之间的错误分类的关注程度，保持在学习过程中对邻近阶段的错误预测的关注程度的同时，提升了回归分支模块的预测能力，并促进了分类分支模块的学习，有效的遏制了牙齿发育成熟度相邻阶段错误分类的情况，增强了多任务分级网络的精度。对于已经完成训练的模型，结合目标检测网络，可以批量、快速的检测与分级，实现无人值守批量操作，且节省了初级检测的人力物力，使医生工作集中于更高层次的诊断的处置方案设计；得到的分级结果简单处理后可以直接用于各地区人群牙龄计算等相关研究，以及正畸治疗等相关指标的定量评估，用更高的效率为研究和诊断提供更多更丰富的恒压发育情况和等级。

因此，根据本公开的实施例的恒牙成熟度分级模型的训练及恒牙成熟度分级方法，结合了面部对称性的先验知识，通过将处于左右对称位置的恒牙对应的牙齿影像在全恒牙列影像集中相邻排列，能够在模型训练高效地利用对称位置的牙齿对应的高维特征进行特征融合，增强了模型关于发育特征的信息抽取能力，缓解了相同发育阶段内牙齿形态多样性对模型预测的影响，实现了恒牙成熟度分级模型的高效训练，提高了模型成熟度预测结果的准确性，使训练好的模型能够生成准确的、可靠的发育成熟度分级预测结果，从而实现全恒牙列的精准成熟度分级。

虽然已表示和描述了本公开的一些实施例，但本领域技术人员应该理解，在不脱离由权利要求及其等同物限定其范围的本公开的原理和精神的情况下，可以对这些实施例进行修改。

Claims (7)

1.一种恒牙成熟度分级模型的训练方法，其特征在于，包括：

获取口腔曲面断层影像，并确定所述口腔曲面断层影像中每个恒牙对应的目标框标注信息、牙位标注信息和成熟度标注信息；

根据所述目标框标注信息对应的框选区域，对所述口腔曲面断层影像进行图像裁剪，得到每个恒牙的牙齿影像；

基于所述牙位标注信息，对每个恒牙的牙齿影像进行排列处理，得到全恒牙列影像集，其中，任意两个处于左右对称位置的恒牙对应的牙齿影像在所述全恒牙列影像集中相邻排列；

将所述全恒牙列影像集有序输入恒牙成熟度分级模型，得到每个恒牙对应的成熟度预测结果，并基于所述成熟度预测结果和所述成熟度标注信息，计算模型损失；

根据所述模型损失调整所述恒牙成熟度分级模型的参数，从而对所述恒牙成熟度分级模型进行训练；

所述恒牙成熟度分级模型包括特征提取网络，其中，所述将所述全恒牙列影像集有序输入恒牙成熟度分级模型，得到每个恒牙对应的成熟度预测结果，包括：

将所述全恒牙列影像集输入所述特征提取网络，利用所述特征提取网络对所述全恒牙列影像集中的每个牙齿影像进行特征编码，得到每个牙齿影像对应的特征向量；

基于每个牙齿影像对应的特征向量，确定每个恒牙对应的成熟度预测结果；

所述恒牙成熟度分级模型还包括分类分支模块和回归分支模块，其中，所述基于每个牙齿影像对应的特征向量，确定每个恒牙对应的成熟度预测结果，包括：

将每个牙齿影像对应的特征向量输入所述分类分支模块，利用所述分类分支模块对每个恒牙进行第一成熟度预测，得到每个恒牙的第一预测结果；

将每个牙齿影像对应的特征向量输入所述回归分支模块，利用所述回归分支模块对每个恒牙进行第二成熟度预测，得到每个恒牙的第二预测结果；

所述分类分支模块包括对称融合模块，其中，所述将每个牙齿影像对应的特征向量输入所述分类分支模块，利用所述分类分支模块对每个恒牙进行第一成熟度预测，得到每个恒牙的第一预测结果，包括：

针对任意一个恒牙和处于该恒牙对称位置的对称恒牙，经特征提取网络编码得到该恒牙的牙齿影像对应的第一特征向量和相邻排列的所述对称恒牙的牙齿影像对应的第二特征向量；

将所述第一特征向量和所述第二特征向量输入所述对称融合模块，利用所述对称融合模块对所述第一特征向量和所述第二特征向量进行特征融合处理，分别得到融合增强后的第一增强特征向量和第二增强特征向量；

基于所述第一增强特征向量，确定该恒牙的第一预测结果，并基于所述第二增强特征向量，确定所述对称恒牙的第一预测结果。

2.如权利要求1所述的恒牙成熟度分级模型的训练方法，其特征在于，在所述对称融合模块中通过以下等式来对所述第一特征向量和所述第二特征向量进行特征融合处理：

，

，

其中，表示第一特征向量，表示第二特征向量，表示第一增强特征向量，表示第二增强特征向量，表示第一融合权重，表示第二融合权重，表示卷积操作。

3.如权利要求1所述的恒牙成熟度分级模型的训练方法，其特征在于，所述基于所述成熟度预测结果和所述成熟度标注信息，计算模型损失，包括：

基于所述第一预测结果和所述成熟度标注信息，利用交叉熵损失函数计算第一损失值；

基于所述第二预测结果和所述成熟度标注信息，利用均方误差损失函数计算第二损失值；

对所述第一损失值和所述第二损失值进行加权处理，得到所述模型损失。

4.如权利要求3所述的恒牙成熟度分级模型的训练方法，其特征在于，所述交叉熵损失函数通过以下等式来表示：

，

其中，表示交叉熵损失函数，表示成熟度标注信息的独热编码，表示第一预测结果，表示牙齿影像的数量，表示当前的牙齿影像数，表示当前的成熟度分级数。

5.如权利要求3所述的恒牙成熟度分级模型的训练方法，其特征在于，所述均方误差损失函数通过以下等式来表示：

，

，

其中，表示成熟度标注信息的定量结果与第二预测结果之间的距离，表示均方误差损失函数，表示牙齿影像的数量，表示当前的牙齿影像数。

6.如权利要求1所述的恒牙成熟度分级模型的训练方法，其特征在于，还包括：

将训练得到的特征提取网络和分类分支模块作为训练好的恒牙成熟度分级模型。

7.一种恒牙成熟度分级方法，其特征在于，包括：

获取待分析的口腔曲面断层影像，并确定所述待分析的口腔曲面断层影像中每个恒牙对应的目标框标注信息和牙位标注信息；

根据所述目标框标注信息对应的框选区域，对所述口腔曲面断层影像进行图像裁剪，得到每个恒牙的牙齿影像；

基于所述牙位标注信息，对每个恒牙的牙齿影像进行排列处理，得到待分析的全恒牙列影像集，其中，任意两个处于左右对称位置的恒牙对应的牙齿影像在所述待分析的全恒牙列影像集中相邻排列；

将所述待分析的全恒牙列影像集有序输入如权利要求1至6中任一项所述的恒牙成熟度分级模型的训练方法训练得到的恒牙成熟度分级模型，以获取所述待分析的口腔曲面断层影像中每个恒牙对应的成熟度分级预测结果。

Images