CN113065552A - 自动定位头影测量标志点的方法 - Google Patents

Abstract

本发明涉及计算机视觉、医学图像处理、关键点检测等技术领域，为提出自动定位头影定位点的方法，本发明，自动定位头影测量标志点的方法，步骤如下：步骤一，X线头颅侧位片的数据准备；步骤二，在训练集中获取医生的标注点，进行特征选择；步骤三，训练第一层回归树模型，每经过一级级联回归器，对所有标志点的位置更新一次，使其更靠近标注点，计算当前形状与真实形状之间的差值作为残差；步骤四，训练级联网络中每一级的回归器；步骤五，将当前形状更新为当前形状+残差，构造级联残差回归树，直到分裂到叶子节点。本发明主要应用于自动定位头影测量标志点场合。

Description

自动定位头影测量标志点的方法

技术领域

本发明涉及计算机视觉、医学图像处理、关键点检测等技术领域，以口腔医学中头影测量分析为应用场景，使用深度学习方法实现头颅侧位片中解剖学特征点的自动定位。具体涉及自动定位头影测量标志点的方法。

背景技术

随着近年来生活水平的提高，人们对口腔健康的关注度大大提升，一口健康整齐的牙齿成为越来越多人的追求。通过口腔正畸，患者可以改善面型及咬合关系，也有助于维护牙周健康，达到提升自身颜值和保护健康的效果。口腔正畸其实就是矫正牙齿，解决错牙合畸形问题，达到满足正常咬合关系的效果。

口腔正畸学是口腔医学中的一个重要分支。随着X线技术及计算机应用技术的发展，X线头影测量逐渐成为口腔正畸诊断分析的重要手段，其主要应用于研究颅面生长发育，牙颌、颅面畸形的诊断分析，错合畸形的矫治设计，矫治过程中及矫治后的牙合颅面形态结构变化，外科正畸预测手术及矫治效果，下颌功能分析等方面，在口腔正畸的临床诊断及科研工作中具有重要意义。

X线头影测量分析是测量头颅定位仪拍照得到的影像，对牙颌、颅面等标志点描绘特定的线角，计算线距，从而分析相应的解剖结构特征。其整体流程是针对头颅侧位X光片进行分析测量，首先依据病理学特征，在侧位片中标定一定数目的特征点，针对牙颌、颅面软硬组织结构描绘特定的线角，进而分析牙颌、颅面结构，制定矫治方案。头影测量标志点检测是X线头影测量中关键的一环，极大地影响了分析工作的准确性。这些标志点在预测颅面生长发育、正畸诊断和矫正设计中发挥重要作用。

近年来，深度学习在计算机视觉领域蓬勃发展，特别是卷积神经网络已在医学图像处理领域具有广泛应用，在医学图像配准、目标检测、图像分类、图像分割、图像生成与增强等都取得了一定的成果，在神经、数字病理学、乳腺、心脏、肌肉骨骼、皮肤等不同领域仅具有一定的研究进展。

发明内容

为克服现有技术的不足，本发明旨在提出自动定位头影定位点的方法。为此，本发明采取的技术方案是，自动定位头影测量标志点的方法，步骤如下：

步骤一，X线头颅侧位片的数据准备：所标注的数据集以及实验过程中训练集、测试集均来自医院建立的二维X线头颅侧位片数据库；

步骤二，在训练集中获取医生的标注点，进行特征选择：首先将训练集中标注点的平均形状作为模型初始值以便测试，将X线侧位片中像素点的强度作为特征，将医生标注点附近一定范围内的像素点和点之间的距离作为特征池；

步骤三，训练第一层回归树模型，每经过一级级联回归器，对所有标志点的位置更新一次，使其更靠近标注点，计算当前形状与真实形状之间的差值作为残差；

步骤四，训练级联网络中每一级的回归器，使用平均形状对整体的解剖学标志点的位置进行粗略估计，采用梯度提升算法训练回归器，减小初始值与真实值之间的平方误差，得到每一级的级联回归因子，每个回归器由当前形状和残差训练获得；

步骤五，将当前形状更新为当前形状+残差，构造级联残差回归树，根据特征进行节点分裂，在特征池中随机挑选两个点，计算每一张图片在两点的像素值及像素差，随机产生分裂阈值，对阈值进行判断，则一个节点分裂完成，直到分裂到叶子节点。

步骤三和步骤四详细描述如下：

步骤三，第一级回归模型训练过程，对于数据集(I₁，S₁),…(I_n，S_n)，I₁为第i张图片，S_i为标志点的位置，

是第一层级联回归的第t层预测的关键点位置，

是该层回归的结果和真实值的差值，按照如下方式层层迭代，在第t层级联中产生γ_t的回归器，即第一级回归训练得到的模型：

步骤四，用梯度提升树来学习每一级回归器，构造级联残差回归树，减少初始形状和真实值之间的平方误差：

评估方法，由平均径向误差MRE和成功检测率两个方面来评估：

径向误差R由下式得出，

其中Δx和Δy分别为水平和竖直方向所检测到的标志点与真实标志点的绝对差值，平均径向误差MRE的计算公式如下，其中n为图片的数量：

若检测到的标志点与真实标志点绝对差值不大于z mm，则认为该地标的检测是准确的检测；否则，视为误检，准确度小于z mm时成功检测率Pz的公式为：

医学上z一般取2mm，2.5mm，3mm，4mm，通常认为检测的结果点与真实标志点之间距离的绝对差值不大于4mm，则认为此检测为有效的检测；绝对差值不大于2mm，则认为此检测结果准确。

本发明的特点及有益效果是：

本发明针对头影测量分析中的标志点检测问题提出采用深度学习算法，通过建立级联回归网络搭建全自动检测算法框架。核心思想是由粗到细的定位过程，再结合两次回归任务的级联模型作为特征点局部检测器，最终得到特征点定位结果，可以实现解剖学标志点的自动检测。

附图说明：

图1是自动检测标志点的整体流程图。

图2是X线头颅侧位片，红色点为医生标记的解剖学标志点。

图3是部分图片检测结果(浅)与标定值(深)的对比。

具体实施方式

本发明针对头影测量分析中的标志点检测问题提出采用深度学习算法，通过建立级联回归网络搭建全自动检测算法框架。核心思想是由粗到细的定位过程，再结合两次回归任务的级联模型作为特征点局部检测器，最终得到特征点定位结果，以实现解剖学标志点的自动检测。

头影测量标志点的标定在头影测量分析中是极其重要的环节，标志点检测的准确性关系到医生如何为患者制定矫治方案。正畸学上头影测量标志点大约有90个，其中常用的标志点有几十个，根据不同的测量方法需要不同的标志点来计算。图1是头颅定位仪拍摄的X线头颅侧位片，其中红色点为有经验的正畸医生标记的42个头影测量标志点。

标志点的标定工作经历了几十年的漫长发展，早期主要是医生在硫酸纸上手动标注，再进行头影测量分析，随着计算机技术的发展，借助计算机辅助软件进行半自动化标注成为近年来的主流方式，相比于手动定点，计算机辅助软件已大大减少描绘误差，但是操作繁琐且每张图片大约花费一个有经验的正畸医生10到15分钟时间来标注，这是非常繁琐且耗时的，而且不同观察者之间存在一定的差异性，定点的不确定会导致诊断结果产生一定的误差。由于人的头骨是个复杂的三维结构，存在面部不对称、组织结构重叠、射线不均匀等情况，导致左右头骨轮廓不能完全重合、X光片失真等问题，这会使得人为标定特征点的难度大大增加。因此自动定位头影测量标志点具有一定的实际意义以及重要的临床价值。

为了解决医生手动标定解剖学标志点的耗时和准确率问题，方便医生的诊断工作，本系统设计了级联回归框架实现解剖学标志点的自动定位。该方法利用由粗到细的定位思想，使用级联回归树根据像素强度估计头影标志点的位置。此系统具体的技术方案主要包含以下几个步骤：

步骤一，X线头颅侧位片的数据准备。本系统中，所标注的数据集以及实验过程中训练集、测试集均来自天津市口腔医院正畸科(影像科)建立的二维X线头颅侧位片数据库。研究过程中纳入7至50岁患者共400张X线侧位片，每张图片像素大小2808×2136，像素间距为0.1mm，分辨率按照水平和竖直两个方向。每张图片由两名经验丰富的正畸科医生对解剖学特征点进行标注，最终的标准标志点取两位医生标注的位置平均值，每张图片标注了42个头影测量标志点。

步骤二，在训练集中获取医生的标注点，进行特征选择。首先将训练集中标注点的平均形状作为模型初始值以便测试。由于将X线侧位片中人的头颅软硬组织结构较为复杂，难以直接进行精确的形状估计，以及头颅形状角度的不确定性，因此将X线侧位片中像素点的强度作为特征，将医生标注点附近一定范围内的像素点和点之间的距离作为特征池。

步骤三，训练第一层回归树模型。每经过一级级联回归器，对所有标志点的位置更新一次，使其更靠近标注点。计算当前形状与真实形状之间的差值作为残差。

步骤四，训练级联网络中每一级的回归器，使用平均形状对整体的解剖学标志点的位置进行粗略估计。采用梯度提升算法训练回归器，减小初始值与真实值之间的平方误差，得到每一级的级联回归因子。每个回归器由当前形状和残差训练获得。

步骤五，将当前形状更新为当前形状+残差，构造级联残差回归树。根据特征进行节点分裂，在特征池中随机挑选两个点，计算每一张图片在两点的像素值及像素差，随机产生分裂阈值，对阈值进行判断，则一个节点分裂完成，直到分裂到叶子节点。

下面结合附图对本发明做进一步详细地描述。主要包含以下几个步骤：

步骤一，数据准备及数据标注。口腔正畸学中，解剖学标志点是用来构成某些平面或者测量内容的点，不同的测量方法会标注不同的标志点。在临床诊断和科学研究中，最常用的42个点如图1所示，其中1、2号用来做图片校准，40个点为解剖学标志点。表1为42个点的位置说明及医学简称。通过这些标志点的确定，进而描绘出所需要的测量平面、测量项目，根据结果分析牙颌、颅面结构，制定相应的矫治方案。

表1 42个解剖学标志点

步骤二，特征选择和树的分裂。训练集中图片回归的初始形状由训练集的所有图像对应的解剖学标志点计算平均得来。构建级联回归树的过程中，对于每张图片，先将初始形状输入，再根据当前图片的像素强度和作为特征，标注点附近一定范围内的像素点和点之间的距离作为特征池。

步骤三，第一级回归模型训练过程，对于数据集(I₁，S₁),…(I_n，S_n)，I₁为第i张图片，S_i为标志点的位置。

是第一层级联回归的第t层预测的关键点位置，

是该层回归的结果和真实值的差值。按照如下方式层层迭代，在第t层级联中产生γ_t的回归器，即第一级回归训练得到的模型：

步骤四，用梯度提升树来学习每一级回归器，构造级联残差回归树。减少初始形状和真实值之间的平方误差。

步骤五，计算当前形状与真实形状之间的差值作为残差。之后，在同一个叶子节点中的所有图片的差值作平均，即该叶子节点应当保存的残差。当所有叶子节点都保存了残差后，第一棵树构造完成。更新当前形状为当前形状加上残差，最终将所有残差叠加在一起，回归到真实位置，使当前形状更逼近与真实值，即为最终定位结果。

根据特征进行节点分裂，在特征池中随机挑选两个点，计算每一张图片在两点的像素值及像素差，随机产生分裂阈值，对阈值进行判断，则一个节点分裂完成，直到分裂到叶子节点。根据特征来进行节点的分裂，直到到达树的叶子节点。

实验结果主要由平均径向误差(MRE)和成功检测率(P)两个方面来评估：

径向误差R由下式得出，

其中Δx和Δy分别为水平和竖直方向所检测到的标志点与真实标志点的绝对差值，平均径向误差(MRE)的计算公式如下，其中n为图片的数量：

若检测到的标志点与真实标志点绝对差值不大于z mm，则认为该地标的检测是准确的检测；否则，视为误检。准确度小于z mm时成功检测率Pz的公式为：

医学上z一般取2mm，2.5mm，3mm，4mm，通常认为检测的结果点与真实标志点之间距离的绝对差值不大于4mm，则认为此检测为有效的检测；绝对差值不大于2mm，则认为此检测结果准确。

本研究的检测结果如表2、表3中所示，其中表2表示检测到的标志点与真实标志点之间的平均径向误差，单位为mm，42个点的平均MRE为1.057mm。可见检测的平均结果是比较好的。表3展示了所有训练集和测试集的42个点在不同误差范围内的成功检测率。

表2检测结果1

表3检测结果2

z(mm)	42个点成功检测率Pz(％)
		2	88.8
2.5	92.5
		3	94.9
4	97.5

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种自动定位头影测量标志点的方法，其特征是，步骤如下：

步骤一，X线头颅侧位片的数据准备：所标注的数据集以及实验过程中训练集、测试集均来自医院建立的二维X线头颅侧位片数据库；

步骤二，在训练集中获取医生的标注点，进行特征选择：首先将训练集中标注点的平均形状作为模型初始值以便测试，将X线侧位片中像素点的强度作为特征，将医生标注点附近一定范围内的像素点和点之间的距离作为特征池；

步骤三，训练第一层回归树模型，每经过一级级联回归器，对所有标志点的位置更新一次，使其更靠近标注点，计算当前形状与真实形状之间的差值作为残差；

步骤四，训练级联网络中每一级的回归器，使用平均形状对整体的解剖学标志点的位置进行粗略估计，采用梯度提升算法训练回归器，减小初始值与真实值之间的平方误差，得到每一级的级联回归因子，每个回归器由当前形状和残差训练获得；

步骤五，将当前形状更新为当前形状+残差，构造级联残差回归树，根据特征进行节点分裂，在特征池中随机挑选两个点，计算每一张图片在两点的像素值及像素差，随机产生分裂阈值，对阈值进行判断，则一个节点分裂完成，直到分裂到叶子节点。

2.如权利要求1所述的自动定位头影测量标志点的方法，其特征是，步骤三和步骤四详细描述如下：

步骤三，第一级回归模型训练过程，对于数据集(I₁，S₁)，...(I_n，S_n)，I₁为第i张图片，S_i为标志点的位置，

是第一层级联回归的第t层预测的关键点位置，

是该层回归的结果和真实值的差值，按照如下方式层层迭代，在第t层级联中产生γ_t的回归器，即第一级回归训练得到的模型：

步骤四，用梯度提升树来学习每一级回归器，构造级联残差回归树，减少初始形状和真实值之间的平方误差：

评估方法，由平均径向误差MRE和成功检测率两个方面来评估：

径向误差R由下式得出，

其中Δx和Δy分别为水平和竖直方向所检测到的标志点与真实标志点的绝对差值，平均径向误差MRE的计算公式如下，其中n为图片的数量：

若检测到的标志点与真实标志点绝对差值不大于z mm，则认为该地标的检测是准确的检测；否则，视为误检，准确度小于z mm时成功检测率Pz的公式为：

医学上z一般取2mm，2.5mm，3mm，4mm，通常认为检测的结果点与真实标志点之间距离的绝对差值不大于4mm，则认为此检测为有效的检测；绝对差值不大于2mm，则认为此检测结果准确。

Images