CN113822921B - 一种基于深度神经网络的侧位片智能头影测量方法 - Google Patents
一种基于深度神经网络的侧位片智能头影测量方法 Download PDFInfo
- Publication number
- CN113822921B CN113822921B CN202111381788.1A CN202111381788A CN113822921B CN 113822921 B CN113822921 B CN 113822921B CN 202111381788 A CN202111381788 A CN 202111381788A CN 113822921 B CN113822921 B CN 113822921B
- Authority
- CN
- China
- Prior art keywords
- representing
- mark
- point
- module
- mark point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Optics & Photonics (AREA)
- Image Analysis (AREA)
Abstract
本本发明公开了一种基于深度神经网络的侧位片智能头影测量方法,涉及侧位片图像数据的处理技术领域,为了解决现有技术中头影测量方法中存在空间信息缺失和标志点优先级缺失的问题,本发明包括以下步骤:数据准备:导入侧位片图像的数据并对侧位片图像的数据进行标定,以及对侧位片图像的数据划分和预处理;构建端到端模型:包括构建编码器模块、构建关系推理模块、构建解码器模块;端到端模型的训练:优化侧位片图像上的位置、空间和测量指标的损失函数,得到训练好的模型;基于训练好的端到端模型进行标志点检测和头影测量分析。本发明可以学习到更多的空间信息,通过构建关系推理网络模块的隐藏层时充分考虑检测标志点的优先级。
Description
技术领域
本发明涉及侧位片图像数据的处理技术领域,更具体的是涉及一种基于深度神经网络的侧位片智能头影测量方法技术领域。
背景技术
头影测量分析是评估牙齿发育,治疗效果和面部美观程度的基本操作,头影测量分析是口腔医学非常重要的一步,特别是正畸科医生的一个主要工作之一,智能头影测量的关键步骤包括图像获取、智能定点、设置标尺、生成测量、生成报告,智能主要体现在智能定点模块;具体来说,正畸科医生的任务是确定颅颌面部的解剖学标志的位置,然后借助头颅测量技术设计治疗计划,当前的人机交互软件可以自动执行头影测量,但是正畸科医生进行人工定位的工作非常耗时,因此研究高分辨率头颅X射线图像中的智能定点将有助于临床正畸科医生进行头影测量分析,口腔医学在临床上迫切需要高分辨率医学图像中的智能头影测量分析方法。
现有技术中侧位片智能定点分析已经在最近几年被广泛研究,基于机器学习的方法成为主流方法,目前使用较多的一类机器方法是随机森林,通过使用随机森林方法,能够组合一组标志点特征来创建候选标志点检测器,通过具有最大的检测器响应的图像像素用来标识标志点,这种方法依靠标志点之间的空间关系来选择最终的候选点,随机森林也已用于建模标志点子集之间的空间关系;另外,还有通过基于形状和外观的标志点优化的博弈方式优化标志点检测算法,基于外观的标志点优化检测结合了全局和局部强度信息,以实现更准确的检测;目前,已经有人提出了两个阶段优化的框架,其中随机森林就用于第一阶段的训练步骤,他们分别训练了19个标志点探测模型,然后在第二阶段,使用了先前的形状约束来纠正标志点位置,使用随机森林来计算一组提取特征上每个地标的可能性,然后他们使用图片结构算法使用成对正则项对成本函数进行全局优化,这种方法能够获得较高的性能。
其他还有一些传统机器学习方法能够提高标志点检测的性能。例如,通过训练多个随机森林模型,对候选标志点位置进行投票,并基于回归投票结果,优化投票的总体标志点位置,该方法还被应用在受约束的局部模型框架中,作为全自动标志点检测系统的一部分,由于统计的形状模型与标志点的预测相匹配,确保了预测结果的一致性,另外也有一种基于树结构的检测算法,称为极度随机森林法,该方法结合了基于像素的简单的多分辨率特征,为了解决数据不平衡的学习问题,他们随机采样了局部点进行图像的训练,通过学习了每个标志点周围40毫米周围的观察结果;最近有学者提出了一种数据驱动的标志点检测方法,该方法联合估算了所有侧位片的位移,以估计侧位片图像的标志点位移,他们将位移估计概念化为凸优化问题,并考虑了测试集上的几何约束,该方法能够一定程度提高检测性能。
近年来,标志点检测方法中广泛使用了深度卷积神经网络模型,与传统的机器学习方法不同,深度卷积神经网络模型是在原始的未做任何处理的侧位片图像上进行模型的训练,而不是在人工设置的特征集上训练的,卷积神经网络模型一般使用热图回归的方式进行多个标志点的定位,他们通过回归热图而不是使用滑动窗口方法来生成多个标志点候选,来对单个卷积神经网络模型进行端到端的训练;热图回归的方法还广泛用于类似的相关任务中,大量的文献研究表明,热图回归是一种有效的侧位片标志点智能检测方法,另外通过将空间配置整合到热图回归中来优化该方法,采用全卷积结构进行预测,其中一个组件用来生成候选标志点,而另一个组件通过合并标志点的空间配置来提高模型的鲁棒性,卷积神经网络模型也可以直接用来回归标志点位置,用来定量的估计下颌和颅底区域的病理轮廓。
最近的一些方法已经建立了特定的神经网络模块,这些模块配置在深度神经网络模型中以提高侧位片标志点检测的性能,一种带有注意力机制的特征金字塔融合模块被提出来配备在深度卷积神经网络模型中,以在语义上增强融合特征并显式塑造高分辨率的输入,通过将偏移量地图作为多个模块投票进行回归学习,并使用逐像素投票来选择最可能的标志点位置;一种基于Faster R-CNN的卷积神经网络结构也被用于头影标志点检测,最新的研究成果中,多任务学习和多尺度训练策略也被用来减少类别内部变化并检测出具有较小误差的标志点,另外通过异常检测删除错误检测的标志点也对于结果的修正非常重要。
头影测量分析是以测量分析指标为导向的,这些指标由经典可靠的分析法决定,通常定位出的颅颌面部标志点最终用来进行头影测量分析,分析方法常见的如华西综合分析法(WCCA)、Tweed分析法和Downs分析法等,分析法中除了计算了标志点的位置信息外,还包括标志点间的距离、角度等潜在关系,下颌骨、上颌骨、牙齿、颅骨基底和颅骨区域之间有七种类型的相关关系;例如,颅骨基底角由前颅骨基底面和后颅骨基底面之间的角度组成,反映了前颅骨基底面和后颅骨基底面之间的相互位置关系,并且多个测量指标使用各个标志点来说明各种组织结构或其解剖学形式之间的相互关系,测量值可以反映出这些标志点在整个解剖结构中的关系,目前的基于深度学习的标志点检测方法只考虑了标志点的位置信息,具体分为高斯热图回归和偏移量回归两类方法;然而这些方法没有考虑标志点之间潜在的空间依赖关系,同时由于角度型测量指标和距离型测量指标的差异性,标志点的误差无法直观的反应到测量指标的误差,因此头影测量方法中存在空间信息缺失的问题。
已有的头影测量方法将所有标志点优先级归为同一等级考虑,这是不理想的,如说明书中表1列出了三种常见的X线头影测量分析方法中每个标志点的使用次数,这三种分析法分别是WCCA、Tweed和Downs分析法,该表显示在这三种分析法测量指标中共计18次被使用到,因此标志点N显然是最经常被使用的点,同样的标志点Or、Po、LI、Go、Gn、S、Pog、UI和A都被三种方法的测量指标所广泛使用,而一些标志点(Ar、SPr、Id、G、Si、Gns、Mes、C)则未被上述三种方法的任何一种方法使用;在此基础上,还有经常使用的基准线或基准平面所使用的标志点,基准线或基准平面在口腔正畸中十分重要,常被用于指示关键解剖结构和相对关系。基准线或基准平面中所使用到的标志点见说明书中的表3,表3中的缩写对应的基线见表5;说明书中的表2显示了基准线或基准平面中各个标志点的使用次数统计,可以发现标志点N依旧被频繁使用,其它如Pog和LI在说明书中的表1中也是被高频使用的标志点,在常见的分析法中,优先级高的标志点被广泛应用在各项测量分析指标中,目前已有的智能定点方法基本没有考虑到标志点的优先级问题,因此头影测量方法中存在标志点优先级缺失的问题。
综上,现有技术中头影测量方法中存在空间信息缺失和标志点优先级缺失的问题。为解决该技术问题,我们特别提出了一种基于深度神经网络的侧位片智能头影测量方法。
发明内容
本发明的目的在于:为了解决现有技术中头影测量方法中存在空间信息缺失和标志点优先级缺失的问题,本发明提供一种基于深度神经网络的侧位片智能头影测量方法,通过关系推理模块来融合成对的标志点间的潜在关系特征,在模型训练阶段融合标志点特征图的回归学习和直接的测量值的回归学习来使得模型学习到更多的空间信息;构建关系推理网络模块的隐藏层时充分考虑检测标志点的优先级,从而能更快速、准确和智能化地进行头影测量分析。
本发明为了实现上述目的具体采用以下技术方案:
一种基于深度神经网络的侧位片智能头影测量方法,包括以下步骤:
数据准备:导入侧位片图像的数据并对侧位片图像的数据进行标定,以及对侧位片图像的数据划分和预处理;
构建端到端模型:先进行侧位片图像特征提取,再构建编码器模块用于生成整体热图和所有标志点热图的骨干网络,然后构建关系推理模块用于推断出标志点关系的存在和含义,接着构建解码器模块用于利用所有标志点的位置和空间信息,选择核心的关键标志点提高优先级以提升预测精确度;
侧位片图像特征提取中,在提取的不同标志点的潜在特征图的基础上,将每两个标志点的特征图和所有标志点的整体特征图进行拼接,然后形成统一的表达来学习到标志点间的空间关系,设标志点共计n个,标志点检测模型使用统一的网络骨架进行图像特征的提取,并根据以下公式进行计算:
Rij=gθ(Oi,Oj,H)
其中,Oi表示第i个标志点的热图特征,Oj表示第j个标志点的热图特征;H代表整体性热图特征,由所有n个热图进行叠加起来编码得到;gθ()表示一个四层轻量级CNN模块,Rij是学习到的标志点包含所有n×(n-1)个可能的标志点的关系特征图;
标志点优先级计算中,通过统计不同标志点在三个主流的头影测量分析法中的应用,通过使用次数来标识标志点的优先级,然后通过归一化处理来构建隐藏层,将Rij按照如下公式选择核心的关键标志点对应的Rij,提高优先级后拼接作为一个三层轻量级CNNfη函数的输入:
其中,括号内fη()函数表示三层轻量级CNN模块,通过考虑每个输入的关系Rij来计算;aij表示第i个关键标志点在头影测量分析法中被使用到的次数和第j个关键标志点在头影测量分析法中被使用的次数之和;apq表示第p个关键标志点在头影测量分析法中被使用到的次数和第q个关键标志点在头影测量分析法中被使用的次数之和;∑p,q∈{1...n}apq表示对所有apq相加求和,得到所有标志点在头影测量分析法中被使用的总次数;βij表示第i个关键标志点在基准线或平面中被使用到的次数和第j个关键标志点在基准线或平面中被使用的次数之和;βpq表示第p个关键标志点在基准线或平面中被使用到的次数和第q个关键标志点在基准线或平面中被使用的次数之和;∑p,q∈{1...n}βpq表示对所有βpq相加求和,得到所有标志点在基准线或平面中被使用的总次数;C表示一个单通道聚合特征图,被用作上采样解码器的特征输入;Rij表示学习到的标志点包含n×(n-1)个标志点的关系特征图;
构建编码器模块中,数据准备好后,编码器模块以准备好的侧位片图像作为其输入,并将侧位片图像进行缩放处理,这个适当的分辨率为低于640的分辨率,通过编码器提取侧位片图像的热图特征和整体几何表征,并将热图特征和整体几何表征输入关系推理模块中以捕捉潜在的标志点关系;
构建关系推理模块中,关系推理模块由一个具有整流线性单位函数的四层轻量级CNN和一个三层轻量级CNN构成,四层轻量级CNN用于将由第i个标志点热图特征Oi、第j个标志点热图特征Oj和内嵌的整体热图特征H组成的三通道特征图卷积起来,得到一个单通道关系特征图;三层轻量级CNN以所有可能的经过优先级处理拼接后的单通道关系特征图为输入,将输入进行卷积处理,输出单通道聚合特征图,并将单通道聚合特征图用作上采样解码器的输入。
构建解码器模块中,解码器模块由轻量级卷积神经网络组成,解码器模块使用随机梯度下降法进行优化,在上采样解码器阶段,一个基于双线性插值的平均上采样层被用来生成上采样特征图,在下采样编码器阶段,通过对输入侧位片图像进行卷积特征提取,生成下采样特征图,相应的下采样特征图和上采样特征图被连接起来。
端到端模型的训练:优化侧位片图像上的位置、空间和测量指标的损失函数,得到训练好的模型;端到端模型的训练包括损失函数计算和参数设置与更新;
损失函数计算中,通过优化图像上的位置、空间和测量指标的损失函数,共同训练出端到端模型,其中,损失函数分为三个部分,表达式如下:
Ptotal=Ph+u·Pc+v·Pm
其中,Ph表示所有标志点位置的热图回归损失函数;Pc表示角度型测量指标的回归损失函数;Pm表示距离型测量指标的回归损失函数;u和v用于平衡损失函数项,u=0.01,v=0.05。
所有标志点位置的热图回归损失函数Ph的表达式为:
其中,j表示特征图上每个位置的第j行,k表示特征图上每个位置的第k列;Mjk表示特征图上的第j行、第k列用来标识是否进行计算的掩码;表示第i个标志点标签生成的对应的第j行、第k列的热图的像素值;表示第i个标志点标签的行坐标;表示第i个标志点标签的列坐标;是第i个标志点对应的网络输出的特征图在第j行、第k列的激活值;exp[]表示以常数e为底的指数函数;α和σ均表示高斯分布的超参数,一般设置为α=0.1,σ=20;
角度型测量指标的回归损失函数Pc的表达式为:
其中,γ()函数表示softargmax函数,表示将标志点的特征图映射为潜在的标志点;d()表示两个点之间的距离;θi表示相应的角度型测量指标标签;COS()表示余弦函数;Li表示第i个标志点的输出特征图;Lx表示第x个标志点的输出特征图;Ly表示第y个标志点的输出特征图;
距离型测量指标的回归损失函数Pm的表达式为:
其中,tix表示相应的距离型测量指标的标签。
基于训练好的模型进行标志点检测和头影测量分析中,具体包括如下步骤:
给定测试图像,将图像按照一定的比例缩小、裁剪和旋转;
将所有编码器模块生成的热图两两组合,再额外给每一个关系对拼接一个整体高斯热图特征;
拼接好之后的所有关系组合都作为关系推理模块的输入,并得到学习到的标志点的所有n×(n-1)个关系特征图Rij,然后将所有的关系特征图Rij拼接后作为三层轻量级CNN的输入,得到单通道聚合特征图C;
上采样解码器接收输入单通道聚合特征图C,生成预测的高斯热图,对生成的高斯热图求掩码区域的最大值来确定标志点的位置;
根据模型预测的标志点位置计算头影测量指标。
本发明的有益效果如下:
(1)本发明中通过关系推理模块来融合成对的标志点间的潜在关系特征,在模型训练阶段融合标志点特征图的回归学习和直接的测量值的回归学习来使得模型学习到更多的空间信息;构建关系推理网络模块的隐藏层时充分考虑检测标志点的优先级,从而能更快速、准确和智能化地进行头影测量分析。
(2)本发明中通过该方法提高了关键标志点的准确性,同时保持了非关键标志点的准确性。
(3)本发明中将关系推理模块引入X线头影测量中,以确定标志点的潜在关系,并提高测量性能。
(4)本发明中该方法具有强大的鲁棒性,在多个数据集上进行了验证,证明了本发明的方法比基准方法具有更强大的性能。
附图说明
图1为本发明的流程图;
图2为本发明构建端到端模型的简图;
图3为本发明关系推理模块的简图;
图4为本发明全部标志点的预测结果对比的折线图;
图5为本发明关键标志点的预测结果对比的折线图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。
实施例
如图1所示,本实施例提供一种基于深度神经网络的侧位片智能头影测量方法,包括以下步骤:
数据准备:导入侧位片图像的数据并对侧位片图像的数据进行标定,以及对侧位片图像的数据划分和预处理;深度神经网络方法需要大量的数据用于训练,因此首先需要准备好数据用于模型的训练,本发明使用的方法是一种端到端深度神经网络侧位片智能头影测量方法,因此在数据准备阶段需要对训练数据进行标定,对于每一例侧位片图像,都由多名正畸专家交叉进行标定,对于有争议的标志点位置,本发明不采用该结果,标定的工作在每一个侧位片图像上完成,口腔正畸医生标注时间平均一例30分钟;对于有重影的侧位片,标志点标注在中心点位置,本发明要求标注数据500例以上,并将数据按照比例划分为:70%用于模型训练,15%用于模型验证,15%用于模型测试;
不同仪器不同环境采集得到的侧位片图像在像素间隔,图像对比度等方面有很大的不同,本步骤通过线性插值、数值归一化的手段预处理侧位片图像,来得到各方面一致的数据,该步骤能够使得后续检测的步骤中侧位片图像的空间信息和强度信息保持一致,并保证了后续机器学习步骤能提取到有用的特征,获得更好的效果。
如图2-图3所示,构建端到端模型:先进行侧位片图像特征提取,再构建编码器模块用于生成整体热图和所有标志点热图的骨干网络,然后构建关系推理模块用于推断出标志点关系的存在和含义,接着构建解码器模块用于利用所有标志点的位置和空间信息,选择核心的关键标志点提高优先级以提升预测精确度。
图2-图3中I,I/4,I/8…表示特征图大小相对于输入特征图大小的比率,假设原图大小为576*512,I则表示和原图大小相当,I/4表示是原图的1/4,I/8表示是原图的1/8…以此类推,Softargmax是指的一种过程可导的指数归一化函数,图3中的省略点表示多个四层轻量级CNN和关系对,是指第i个标志点的热图特征,是指第j个标注点的热图特征,ri,j是指第i个标志点,第j个标志点以及整体标志点约束组成的关系对,rn-1,n表示提取的第n-1个标志点和第n个标志点组成的关系对,表示第n-1个标志点的热图特征,表示第n个标志点的热图特征,Hl表示一系列标志点热图,表示元素求和。
侧位片图像特征提取中,给定一张侧位片图像,本发明的目的是为了自动检测标志点,然后生成对应分析法的测量指标,本发明考虑到标志点间的空间关系,在提取的不同标志点的潜在特征图的基础上,将每两个标志点的特征图和所有标志点的整体特征图进行拼接,然后形成统一的表达来学习到标志点间的空间关系,设标志点共计n个,标志点检测模型使用统一的网络骨架进行图像特征的提取,并根据以下公式进行计算:
Rij=gθ(Oi,Oj,H)
其中,Oi表示第i个标志点的热图特征,Oj表示第j个标志点的热图特征;H代表整体性热图特征,由所有n个热图进行叠加起来编码得到;gθ()表示一个四层轻量级CNN模块,Rij是学习到的标志点包含所有n×(n-1)个可能的标志点关系的特征图;
标志点优先级计算中,本发明考虑到标志点的优先级问题,通过统计不同标志点在三个主流的头影测量分析法中的应用,通过使用次数来标识标志点的优先级,然后通过归一化处理来构建隐藏层,这种设计能够让模型在训练阶段对关键的标志点学习更容易收敛,最终的关键标志点的定位效果也会更好,具体来说,将Rij按照如下公式选择核心的关键标志点对应的Rij,提高其优先级后拼接作为一个三层轻量级CNNfη函数的输入:
其中,fη()函数表示三层轻量级CNN模块,通过考虑每个输入的关系Rij来计算;aij表示第i个关键标志点在头影测量分析法中被使用到的次数和第j个关键标志点在头影测量分析法中被使用的次数之和;apq表示第p个关键标志点在头影测量分析法中被使用到的次数和第q个关键标志点在头影测量分析法中被使用的次数之和;∑p,q∈{1...n}apq表示对所有apq相加求和,得到所有标志点在头影测量分析法中被使用的总次数,见表1,表1中缩写所对应的标志点名称见表4;βij表示第i个关键标志点在基准线或平面中被使用到的次数和第j个关键标志点在基准线或平面中被使用的次数之和;βpq表示第p个关键标志点在基准线或平面中被使用到的次数和第q个关键标志点在基准线或平面中被使用的次数之和;∑p,q∈{1...n}βpq表示对所有βpq相加求和,得到所有标志点在基准线或平面中被使用的总次数,见表2;C表示一个单通道聚合特征图,被用作上采样解码器的特征输入,为了优化本模型的损失函数,训练过程使用端到端学习方法来调整编码器、关系推理模块和解码器的参数;Rij表示学习到的标志点包含n×(n-1)个标志点关系的特征图;
表1为标志点在三种常用的分析方法中被使用的次数
表2为标志点在基准线中被使用的次数
表3为华西综合分析法、Tweed分析法和Downs分析方法中使用的基线定义
表4为表1中标志点名称的对照表
表5为表3中基线名称的对照表
构建编码器模块用于生成整体热图和所有标志点热图的骨干网络,编码器使用ResNet结构作为主干神经网络,数据准备好后,编码器模块以准备好的侧位片图像作为其输入,并将侧位片图像进行缩放处理,通过编码器提取侧位片图像的热图特征和整体几何表征,并将热图特征和整体几何表征输入关系推理模块中以捕捉潜在的标志点关系,编码器获得四个不同大小的特征图,通过对这些特征图进行1x1卷积,得到四个特征图,上述提到的“适当的分辨率”指低于640的分辨率;
构建关系推理模块用于推断出标志点关系的存在和含义,并且标志点的先后顺序对关系推理不产生影响,关系推理模块由一个具有整流线性单位函数(ReLU)的四层轻量级CNN和一个三层轻量级CNN构成,四层轻量级CNN的目标是将由第i个标志点热图特征Oi、第j个标志点热图特征Oj和内嵌的整体热图特征H组成的三通道特征图卷积起来,得到一个单通道关系特征图,三层轻量级CNN以所有可能的经过优先级处理拼接后的单通道关系特征图为输入,将输入进行卷积处理,输出单通道聚合特征图,并将单通道聚合特征图用作上采样解码器的输入;此外H是通过对所有n个热图进行叠加起来编码,由此学习到的标志点的所有n×(n-1)个可能的关系描述了标志点以及它们与其他标志点的相互作用,并被作为网络下一部分(三层轻量级CNN)的输入,在那里学习组合标志点关系;
构建解码器模块用于利用所有标志点的位置和空间信息,选择核心的关键标志点提高优先级以提升预测精确度,解码模块与编码器类似,均由轻量级卷积神经网络组成,解码器模块使用随机梯度下降法进行优化,在上采样解码器阶段,一个基于双线性插值的平均上采样层被用来生成上采样特征图,在下采样编码器阶段,通过对输入侧位片图像进行卷积特征提取,生成下采样特征图,同时相应的下采样特征图和上采样特征图被连接起来。
端到端模型的训练:优化侧位片图像上的位置、空间和测量指标的损失函数,得到训练好的模型;端到端模型的训练包括损失函数计算和参数设置与更新;
损失函数计算中,通过优化图像上的位置、空间和测量指标的损失函数,共同训练出端到端模型,其中,损失函数分为三个部分,表达式如下:
Ptotal=Ph+u·Pc+v·Pm
其中,Ph表示所有标志点位置的热图回归损失函数;Pc表示角度型测量指标的回归损失函数;Pm表示距离型测量指标的回归损失函数;u和v用于平衡损失函数项,u=0.01,v=0.05。
所有标志点位置的热图回归损失函数Ph的表达式为:
其中,j表示特征图上每个位置的第j行,k表示特征图上每个位置的第k列;Mjk表示特征图上的第j行、第k列用来标识是否进行计算的掩码;表示第i个标志点标签生成的对应的第j行、第k列的热图的像素值;表示第i个标志点标签的行坐标;表示第i个标志点标签的列坐标;是第i个标志点对应的网络输出的特征图在第j行、第k列的激活值;exp[]表示以常数e为底的指数函数;α和σ均表示高斯分布的超参数,一般设置为α=0.1,σ=20;
角度型测量指标的回归损失函数Pc的表达式为:
其中,γ()函数表示softargmax函数,表示将标志点的特征图映射为潜在的标志点;d()表示两个点之间的距离;θi表示相应的角度型测量指标标签;COS()表示余弦函数;Li表示第i个标志点的输出特征图;Lx表示第x个标志点的输出特征图;Ly表示第y个标志点的输出特征图;
距离型测量指标的回归损失函数Pm的表达式为:
其中,tix表示相应的距离型测量指标的标签。
参数设置与更新中,本发明主要使用的硬件是12GB显存的NVIDIATitan XP GPU,采用了比例系数在0.5和1之间的随机裁剪方法,用于数据增广,使用动量为0.92的随机梯度下降法进行训练,学习率被初始化为0.15,并以0.96的系数进行指数衰减,权重衰减值为1e3,模型参数每8个批量更新一次,总的模型训练周期设置为200,每经过一个迭代周期学习之后,模型判断各级的总误差大小,如果当前误差小于上一个迭代的误差,就保存当前级的当前模型,然后继续训练,若训练达到最大迭代次数或者总误差连续经过10迭代没有都下降,则训练停止。
基于训练好的模型进行标志点检测和头影测量分析中,具体包括如下步骤:
给定测试图像,将图像根据实际情况按照一定的比例缩小、裁剪和旋转;
将所有编码器模块生成的热图两两组合,再额外给每一个关系对拼接一个整体高斯热图特征;
拼接好之后的所有关系组合都作为关系推理模块的输入,并得到学习到的标志点的所有n×(n-1)个可能的关系特征图Rij,然后将所有的关系特征图Rij拼接后作为三层轻量级CNN的输入,得到单通道聚合特征图C;
上采样解码器接收输入单通道聚合特征图C,生成预测的高斯热图,对生成的高斯热图求掩码区域的最大值来确定标志点的位置;
根据模型预测的标志点位置计算头影测量指标。
实验结果如表6:
表6使用临床数据测试得到的结果
表6中,MRE是指平均径向误差,SDR是指成功检测率,BASE表示网络只包含编码器模块和解码器模块,+KEY表示增加关键标志点的优先级,+RN表示使用了关系推理模块。
如图3所示,其中横坐标表示第i个标志点,纵坐标表示评价指标平均径向误差MRE,单位为毫米(mm),MRE的值越小越好,表示预测越精准,图4显示了在使用本发明提出的端到端深度神经网络模型后,评价指标平均径向误差(MRE)和未使用端到端深度神经网络模型的结果相比下降了,在优先考虑了关键标志点和测量指标后,总体预测精度仍然维持稳定的同时,关键标志点的MRE更低,见图5,图5中横坐标表示第i个关键标志点,纵坐标表示MRE(mm),该方法在临床数据上取得了出色的结果,预测的MRE最佳可达1.054毫米,能完全满足正畸医生的临床需求。
通过上述技术方案,本发明为了解决标志点间空间信息缺失的问题和标志点优先级缺失的问题,本发明提出了一种端到端深度神经网络侧位片智能头影测量方法,该模型是一个端到端的框架,包括一个基于完全卷积网络的编码器模块、解码器模块和一个关系推理模块,标志点之间的相对距离以及角度关系被用来建立一个新的损失函数,该损失函数能在所有可能的标志点和标志点之间的关系中,优先考虑关键标志点,并捕捉到具有鉴别性和独特的潜在标志点关系;本发明在两个角度来提高模型学习空间关系的能力,在模型构建阶段,通过关系推理模块来融合成对的标志点间的潜在关系特征,在模型训练阶段融合标志点特征图的回归学习和直接的测量值的回归学习来使得模型学习到更多的空间信息;本发明关注的侧位片智能头影测量分析就是在模型特征提取阶段(即在关系推理网络模块隐藏层构建阶段,本发明通过统计不同标志点在三个主流的头影测量分析法中的应用,通过使用次数来标识标志点的优先级)充分考虑检测标志点(尤其是关键标志点)的优先级,帮助牙医(特别是正畸科牙医)更快速、准确和智能化地进行头影测量分析。
Claims (10)
1.一种基于深度神经网络的侧位片智能头影测量方法,其特征在于:包括以下步骤:
数据准备:导入侧位片图像的数据并对侧位片图像的数据进行标定,以及对侧位片图像的数据划分和预处理;
构建端到端模型:先构建编码器模块,并通过编码器模块对侧位片图像进行特征提取,再通过编码器模块生成整体热图和所有标志点热图,然后由一个四层轻量级和一个三层轻量级卷积神经网络构建关系推理模块,关系推理模块以任意两个标志点热图和一个整体热图拼接成的所有的关系对作为输入来推断出标志点关系的存在和含义,利用所有标志点的位置和空间信息,并选择核心的关键标志点提高优先级,接着通过轻量级卷积神经网络构建解码器模块;
端到端模型的训练:优化侧位片图像上的位置、空间和测量指标的损失函数,得到训练好的模型;
基于训练好的端到端模型进行标志点检测和头影测量分析。
2.根据权利要求1所述的一种基于深度神经网络的侧位片智能头影测量方法,其特征在于:通过编码器模块进行侧位片图像特征提取,并输出编码器模块提取的不同标志点的潜在特征图和整体标志点特征图,再在关系推理模块中将编码器模块输出的每两个标志点的特征图和整体标志点特征图进行拼接,然后形成统一的表达以通过四层轻量级CNN学习到标志点间的空间关系,该统一的表达为关系推理模块的输入,设标志点共计n个,标志点检测模型使用统一的网络骨架进行图像特征的提取,并根据以下公式进行计算:Rij=gθ(Oi,Oj,H)其中,Oi表示第i个标志点的热图特征,Oj表示第j个标志点的热图特征;H代表整体性热图特征,由n个热图进行叠加起来编码得到;gθ()表示一个四层轻量级CNN模块,Rij是学习到的标志点包含n×(n-1)个标志点关系的特征图。
3.根据权利要求1所述的一种基于深度神经网络的侧位片智能头影测量方法,其特征在于:标志点优先级计算中,通过统计不同标志点在三个头影测量分析法中的应用,通过使用次数来标识标志点的优先级,然后通过归一化处理来构建隐藏层,将Rij按照以下公式选择核心的关键标志点对应的Rij,提高优先级后拼接作为一个三层轻量级CNN fη函数的输入:
其中,fη()函数表示三层轻量级CNN模块;aij表示第i个关键标志点在头影测量分析法中被使用到的次数和第j个关键标志点在头影测量分析法中被使用的次数之和;apq表示第p个关键标志点在头影测量分析法中被使用到的次数和第q个关键标志点在头影测量分析法中被使用的次数之和;∑p,q∈{1...n}apq表示对所有apq相加求和,得到所有标志点在头影测量分析法中被使用的总次数;βij表示第i个关键标志点在基准线或平面中被使用到的次数和第j个关键标志点在基准线或平面中被使用的次数之和;βpq表示第p个关键标志点在基准线或平面中被使用到的次数和第q个关键标志点在基准线或平面中被使用的次数之和;∑p,q∈{1...n}βpq表示对所有βpq相加求和,得到所有标志点在基准线或平面中被使用的总次数;C表示一个单通道聚合特征图,被用作上采样解码器的特征输入;Rij表示学习到的标志点包含n×(n-1)个标志点关系的特征图。
4.根据权利要求1所述的一种基于深度神经网络的侧位片智能头影测量方法,其特征在于:构建编码器模块中,数据准备好后,编码器模块以准备好的侧位片图像作为其输入,并将侧位片图像进行缩放处理,通过编码器模块提取侧位片图像的热图特征和整体几何表征,并将热图特征和整体几何表征输入关系推理模块中。
5.根据权利要求1所述的一种基于深度神经网络的侧位片智能头影测量方法,其特征在于:构建关系推理模块中,关系推理模块由一个具有整流线性单位函数的四层轻量级CNN和一个三层轻量级CNN构成,四层轻量级CNN用于将由第i个标志点热图特征Oi、第j个标志点热图特征Oj和内嵌的整体热图特征H组成的三通道特征图卷积起来,得到一个单通道关系特征图;三层轻量级CNN以经过优先级处理拼接后的单通道关系特征图为输入,将输入进行卷积处理,输出单通道聚合特征图,并将单通道聚合特征图用作上采样解码器的输入。
6.根据权利要求1所述的一种基于深度神经网络的侧位片智能头影测量方法,其特征在于:构建解码器模块中,解码器模块由轻量级卷积神经网络组成,解码器模块使用随机梯度下降法进行优化,在上采样解码器阶段,一个基于双线性插值的平均上采样层被用来生成上采样特征图,在下采样编码器阶段,通过对输入侧位片图像进行卷积特征提取,生成下采样特征图,相应的下采样特征图和上采样特征图被连接起来。
7.根据权利要求1所述的一种基于深度神经网络的侧位片智能头影测量方法,其特征在于:端到端模型的训练包括损失函数计算和参数设置与更新。
8.根据权利要求7所述的一种基于深度神经网络的侧位片智能头影测量方法,其特征在于:损失函数计算中,通过优化图像上的位置、空间和测量指标的损失函数,共同训练出端到端模型,其中,损失函数分为三个部分,表达式如下:
Ptotal=Ph+u·Pc+v·Pm
其中,Ph表示所有标志点位置的热图回归损失函数;Pc表示角度型测量指标的回归损失函数;Pm表示距离型测量指标的回归损失函数;u和v用于平衡损失函数项,u=0.01,v=0.05。
9.根据权利要求8所述的一种基于深度神经网络的侧位片智能头影测量方法,其特征在于:所有标志点位置的热图回归损失函数Ph的表达式为:
其中,j表示特征图上每个位置的第j行,k表示特征图上每个位置的第k列;Mjk表示特征图上的第j行、第k列用来标识是否进行计算的掩码;表示第i个标志点标签生成的对应的第j行、第k列的热图的像素值;表示第i个标志点标签的行坐标,row表示行;表示第i个标志点标签的列坐标,col表示列;是第i个标志点对应的网络输出的特征图在第j行、第k列的激活值;exp[]表示以常数e为底的指数函数;α和σ均表示高斯分布的超参数;
角度型测量指标的回归损失函数Pc的表达式为:
其中,γ()函数表示softargmax函数,表示将标志点的特征图映射为潜在的标志点;d()表示两个点之间的距离;θi表示相应的角度型测量指标标签;COS()表示余弦函数;Li表示第i个标志点的输出特征图;Lx表示第x个标志点的输出特征图;Ly表示第y个标志点的输出特征图;
距离型测量指标的回归损失函数Pm的表达式为:
其中,tix表示相应的距离型测量指标的标签。
10.根据权利要求1所述的一种基于深度神经网络的侧位片智能头影测量方法,其特征在于:基于训练好的模型进行标志点检测和头影测量分析中,具体包括如下步骤:
给定测试图像,将图像按照比例缩小、裁剪和旋转;
将编码器模块生成的热图两两组合,再给每一个关系对拼接一个整体高斯热图特征;
拼接好之后的关系组合作为关系推理模块的输入,并得到学习到的标志点的所有n×(n-1)个关系特征图Rij,然后将关系特征图Rij拼接后作为三层轻量级CNN的输入,得到单通道聚合特征图C;
上采样解码器接收输入单通道聚合特征图C,生成预测的高斯热图,对生成的高斯热图求掩码区域的最大值来确定标志点的位置;
根据模型预测的标志点位置计算头影测量指标。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111381788.1A CN113822921B (zh) | 2021-11-22 | 2021-11-22 | 一种基于深度神经网络的侧位片智能头影测量方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111381788.1A CN113822921B (zh) | 2021-11-22 | 2021-11-22 | 一种基于深度神经网络的侧位片智能头影测量方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113822921A CN113822921A (zh) | 2021-12-21 |
CN113822921B true CN113822921B (zh) | 2022-03-04 |
Family
ID=78917911
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111381788.1A Active CN113822921B (zh) | 2021-11-22 | 2021-11-22 | 一种基于深度神经网络的侧位片智能头影测量方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113822921B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114947902A (zh) * | 2022-05-16 | 2022-08-30 | 天津大学 | 基于强化学习的x射线头影测量标志点自动定位方法 |
CN115345938B (zh) * | 2022-10-18 | 2023-03-28 | 汉斯夫(杭州)医学科技有限公司 | 基于全局到局部的头影标记点定位方法、设备及介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109145983A (zh) * | 2018-08-21 | 2019-01-04 | 电子科技大学 | 一种基于轻量化网络的实时场景图像语义分割方法 |
CN109657534A (zh) * | 2018-10-30 | 2019-04-19 | 百度在线网络技术(北京)有限公司 | 对图像中人体进行分析的方法、装置及电子设备 |
CN111599432A (zh) * | 2020-05-29 | 2020-08-28 | 上海优医基医疗影像设备有限公司 | 一种三维颅面影像特征点标记分析系统及方法 |
CN112734755A (zh) * | 2021-03-15 | 2021-04-30 | 四川大学 | 基于3d全卷积神经网络与多任务学习的肺叶分割方法 |
CN112738647A (zh) * | 2020-12-28 | 2021-04-30 | 中山大学 | 一种基于多层级编码-解码器的视频描述方法及系统 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200372301A1 (en) * | 2019-05-21 | 2020-11-26 | Retrace Labs | Adversarial Defense Platform For Automated Dental Image Classification |
US11398013B2 (en) * | 2019-10-18 | 2022-07-26 | Retrace Labs | Generative adversarial network for dental image super-resolution, image sharpening, and denoising |
CN212037803U (zh) * | 2020-03-12 | 2020-12-01 | 四川大学 | 一种自动化头影测量系统 |
CN113065552A (zh) * | 2021-03-29 | 2021-07-02 | 天津大学 | 自动定位头影测量标志点的方法 |
-
2021
- 2021-11-22 CN CN202111381788.1A patent/CN113822921B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109145983A (zh) * | 2018-08-21 | 2019-01-04 | 电子科技大学 | 一种基于轻量化网络的实时场景图像语义分割方法 |
CN109657534A (zh) * | 2018-10-30 | 2019-04-19 | 百度在线网络技术(北京)有限公司 | 对图像中人体进行分析的方法、装置及电子设备 |
CN111599432A (zh) * | 2020-05-29 | 2020-08-28 | 上海优医基医疗影像设备有限公司 | 一种三维颅面影像特征点标记分析系统及方法 |
CN112738647A (zh) * | 2020-12-28 | 2021-04-30 | 中山大学 | 一种基于多层级编码-解码器的视频描述方法及系统 |
CN112734755A (zh) * | 2021-03-15 | 2021-04-30 | 四川大学 | 基于3d全卷积神经网络与多任务学习的肺叶分割方法 |
Non-Patent Citations (5)
Title |
---|
A Hierarchical Feature Extraction Network for Fast Scene Segmentation;Liu Miao、Yi Zhang;《sensors》;20211120;1-17 * |
An Attention-Guided Deep Regression Model for Landmark Detection in Cephalograms;Zhusi Zhong 等;《MICCAI 2019》;20191010;540-548 * |
Quaternion Convolutional Neural Networks for Heterogeneous Image Processing;Titouan Parcollet 等;《ICASSP 2019 - 2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)》;20190417;8514-8518 * |
Relational Reasoning Network (RRN) for Anatomical Landmarking;Neslisah Torosdagli 等;《https://arxiv.org/pdf/1904.04354.pdf》;20190408;1-10 * |
结合视觉特征和场景语义的图像描述生成;李志欣 等;《计算机学报》;20200930;第43卷(第9期);1624-1640 * |
Also Published As
Publication number | Publication date |
---|---|
CN113822921A (zh) | 2021-12-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113822921B (zh) | 一种基于深度神经网络的侧位片智能头影测量方法 | |
US11430140B2 (en) | Medical image generation, localizaton, registration system | |
CN109141248B (zh) | 基于图像的猪体重测算方法及系统 | |
Wang et al. | Automatic analysis of lateral cephalograms based on multiresolution decision tree regression voting | |
CN109461188B (zh) | 一种二维x射线头影测量图像解剖特征点自动定位方法 | |
CN107563383A (zh) | 一种医学影像辅助诊断及半监督样本生成系统 | |
CN106456098A (zh) | 衰减图的生成方法及系统 | |
CN112991273B (zh) | 三维牙齿模型的正畸特征自动检测方法及系统 | |
CN110246580B (zh) | 基于神经网络和随机森林的颅侧面影像分析方法和系统 | |
CN107203988B (zh) | 一种由二维x光图像重建三维体图像的方法及其应用 | |
CN112614133B (zh) | 一种无锚点框的三维肺结节检测模型训练方法及装置 | |
CN106157295A (zh) | 用于医学图像中分割不确定度的计算和可视化的系统和方法 | |
US20130004049A1 (en) | Systems and methods for improved tractographic processing | |
CN109920002B (zh) | 基于三维随机森林模型的头影测量图像中特征点定位方法 | |
KR20140061380A (ko) | 이미지 처리 방법 | |
CN117224115A (zh) | 一种基于图像测量人体四肢长骨与身高比例的方法及系统 | |
CN117456183A (zh) | 一种多层级特征提取融合注意力机制的医学图像分割方法 | |
CN115439478B (zh) | 基于肺灌注的肺叶灌注强度评估方法、系统、设备及介质 | |
CN116778587A (zh) | 一种基于深度学习的活体年龄推断方法、设备、存储介质 | |
CN107977991A (zh) | 基于空间距离与数据分布相似性度量的医学图像配准方法 | |
CN115702365A (zh) | 吸收系数图像生成方法、核医学诊断装置以及学习完毕模型的制作方法 | |
CN112734814A (zh) | 三维颅面锥形束ct图像配准方法 | |
CN115375787A (zh) | 伪影校正方法、计算机设备及可读存储介质 | |
Croquet et al. | Automated landmarking for palatal shape analysis using geometric deep learning | |
CN113487579A (zh) | 自动勾画模型的多模态迁移方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |