CN113822921A - 一种基于深度神经网络的侧位片智能头影测量方法 - Google Patents

一种基于深度神经网络的侧位片智能头影测量方法 Download PDF

Info

Publication number
CN113822921A
CN113822921A CN202111381788.1A CN202111381788A CN113822921A CN 113822921 A CN113822921 A CN 113822921A CN 202111381788 A CN202111381788 A CN 202111381788A CN 113822921 A CN113822921 A CN 113822921A
Authority
CN
China
Prior art keywords
mark
points
neural network
point
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111381788.1A
Other languages
English (en)
Other versions
CN113822921B (zh
Inventor
章毅
何涛
张强
郭际香
徐蕾
董雯萱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN202111381788.1A priority Critical patent/CN113822921B/zh
Publication of CN113822921A publication Critical patent/CN113822921A/zh
Application granted granted Critical
Publication of CN113822921B publication Critical patent/CN113822921B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Image Analysis (AREA)

Abstract

本本发明公开了一种基于深度神经网络的侧位片智能头影测量方法，涉及侧位片图像数据的处理技术领域，为了解决现有技术中头影测量方法中存在空间信息缺失和标志点优先级缺失的问题，本发明包括以下步骤：数据准备：导入侧位片图像的数据并对侧位片图像的数据进行标定，以及对侧位片图像的数据划分和预处理；构建端到端模型：包括构建编码器模块、构建关系推理模块、构建解码器模块；端到端模型的训练：优化侧位片图像上的位置、空间和测量指标的损失函数，得到训练好的模型；基于训练好的端到端模型进行标志点检测和头影测量分析。本发明可以学习到更多的空间信息，通过构建关系推理网络模块的隐藏层时充分考虑检测标志点的优先级。

Description

一种基于深度神经网络的侧位片智能头影测量方法
技术领域
本发明涉及侧位片图像数据的处理技术领域，更具体的是涉及一种基于深度神经网络的侧位片智能头影测量方法技术领域。
背景技术
头影测量分析是评估牙齿发育，治疗效果和面部美观程度的基本操作，头影测量分析是口腔医学非常重要的一步，特别是正畸科医生的一个主要工作之一，智能头影测量的关键步骤包括图像获取、智能定点、设置标尺、生成测量、生成报告，智能主要体现在智能定点模块；具体来说，正畸科医生的任务是确定颅颌面部的解剖学标志的位置，然后借助头颅测量技术设计治疗计划，当前的人机交互软件可以自动执行头影测量，但是正畸科医生进行人工定位的工作非常耗时，因此研究高分辨率头颅X射线图像中的智能定点将有助于临床正畸科医生进行头影测量分析，口腔医学在临床上迫切需要高分辨率医学图像中的智能头影测量分析方法。
现有技术中侧位片智能定点分析已经在最近几年被广泛研究，基于机器学习的方法成为主流方法，目前使用较多的一类机器方法是随机森林，通过使用随机森林方法，能够组合一组标志点特征来创建候选标志点检测器，通过具有最大的检测器响应的图像像素用来标识标志点，这种方法依靠标志点之间的空间关系来选择最终的候选点，随机森林也已用于建模标志点子集之间的空间关系；另外，还有通过基于形状和外观的标志点优化的博弈方式优化标志点检测算法，基于外观的标志点优化检测结合了全局和局部强度信息，以实现更准确的检测；目前，已经有人提出了两个阶段优化的框架，其中随机森林就用于第一阶段的训练步骤，他们分别训练了19个标志点探测模型，然后在第二阶段，使用了先前的形状约束来纠正标志点位置，使用随机森林来计算一组提取特征上每个地标的可能性，然后他们使用图片结构算法使用成对正则项对成本函数进行全局优化，这种方法能够获得较高的性能。
其他还有一些传统机器学习方法能够提高标志点检测的性能。例如，通过训练多个随机森林模型，对候选标志点位置进行投票，并基于回归投票结果，优化投票的总体标志点位置，该方法还被应用在受约束的局部模型框架中，作为全自动标志点检测系统的一部分，由于统计的形状模型与标志点的预测相匹配，确保了预测结果的一致性，另外也有一种基于树结构的检测算法，称为极度随机森林法，该方法结合了基于像素的简单的多分辨率特征，为了解决数据不平衡的学习问题，他们随机采样了局部点进行图像的训练，通过学习了每个标志点周围40毫米周围的观察结果；最近有学者提出了一种数据驱动的标志点检测方法，该方法联合估算了所有侧位片的位移，以估计侧位片图像的标志点位移，他们将位移估计概念化为凸优化问题，并考虑了测试集上的几何约束，该方法能够一定程度提高检测性能。
近年来，标志点检测方法中广泛使用了深度卷积神经网络模型，与传统的机器学习方法不同，深度卷积神经网络模型是在原始的未做任何处理的侧位片图像上进行模型的训练，而不是在人工设置的特征集上训练的，卷积神经网络模型一般使用热图回归的方式进行多个标志点的定位，他们通过回归热图而不是使用滑动窗口方法来生成多个标志点候选，来对单个卷积神经网络模型进行端到端的训练；热图回归的方法还广泛用于类似的相关任务中，大量的文献研究表明，热图回归是一种有效的侧位片标志点智能检测方法，另外通过将空间配置整合到热图回归中来优化该方法，采用全卷积结构进行预测，其中一个组件用来生成候选标志点，而另一个组件通过合并标志点的空间配置来提高模型的鲁棒性，卷积神经网络模型也可以直接用来回归标志点位置，用来定量的估计下颌和颅底区域的病理轮廓。
最近的一些方法已经建立了特定的神经网络模块，这些模块配置在深度神经网络模型中以提高侧位片标志点检测的性能，一种带有注意力机制的特征金字塔融合模块被提出来配备在深度卷积神经网络模型中，以在语义上增强融合特征并显式塑造高分辨率的输入，通过将偏移量地图作为多个模块投票进行回归学习，并使用逐像素投票来选择最可能的标志点位置；一种基于Faster R-CNN的卷积神经网络结构也被用于头影标志点检测，最新的研究成果中，多任务学习和多尺度训练策略也被用来减少类别内部变化并检测出具有较小误差的标志点，另外通过异常检测删除错误检测的标志点也对于结果的修正非常重要。
头影测量分析是以测量分析指标为导向的，这些指标由经典可靠的分析法决定，通常定位出的颅颌面部标志点最终用来进行头影测量分析，分析方法常见的如华西综合分析法（WCCA）、Tweed分析法和Downs分析法等，分析法中除了计算了标志点的位置信息外，还包括标志点间的距离、角度等潜在关系，下颌骨、上颌骨、牙齿、颅骨基底和颅骨区域之间有七种类型的相关关系；例如，颅骨基底角由前颅骨基底面和后颅骨基底面之间的角度组成，反映了前颅骨基底面和后颅骨基底面之间的相互位置关系，并且多个测量指标使用各个标志点来说明各种组织结构或其解剖学形式之间的相互关系，测量值可以反映出这些标志点在整个解剖结构中的关系，目前的基于深度学习的标志点检测方法只考虑了标志点的位置信息，具体分为高斯热图回归和偏移量回归两类方法；然而这些方法没有考虑标志点之间潜在的空间依赖关系，同时由于角度型测量指标和距离型测量指标的差异性，标志点的误差无法直观的反应到测量指标的误差，因此头影测量方法中存在空间信息缺失的问题。
已有的头影测量方法将所有标志点优先级归为同一等级考虑，这是不理想的，如说明书中表1列出了三种常见的X线头影测量分析方法中每个标志点的使用次数，这三种分析法分别是WCCA、Tweed和Downs分析法，该表显示在这三种分析法测量指标中共计18次被使用到，因此标志点N显然是最经常被使用的点，同样的标志点Or、Po、LI、Go、Gn、S、Pog、UI和A都被三种方法的测量指标所广泛使用，而一些标志点（Ar、SPr、Id、G、Si、Gns、Mes、C）则未被上述三种方法的任何一种方法使用；在此基础上，还有经常使用的基准线或基准平面所使用的标志点，基准线或基准平面在口腔正畸中十分重要，常被用于指示关键解剖结构和相对关系。基准线或基准平面中所使用到的标志点见说明书中的表3，表3中的缩写对应的基线见表5；说明书中的表2显示了基准线或基准平面中各个标志点的使用次数统计，可以发现标志点N依旧被频繁使用，其它如Pog和LI在说明书中的表1中也是被高频使用的标志点，在常见的分析法中，优先级高的标志点被广泛应用在各项测量分析指标中，目前已有的智能定点方法基本没有考虑到标志点的优先级问题，因此头影测量方法中存在标志点优先级缺失的问题。
综上，现有技术中头影测量方法中存在空间信息缺失和标志点优先级缺失的问题。为解决该技术问题，我们特别提出了一种基于深度神经网络的侧位片智能头影测量方法。
发明内容
本发明的目的在于：为了解决现有技术中头影测量方法中存在空间信息缺失和标志点优先级缺失的问题，本发明提供一种基于深度神经网络的侧位片智能头影测量方法，通过关系推理模块来融合成对的标志点间的潜在关系特征，在模型训练阶段融合标志点特征图的回归学习和直接的测量值的回归学习来使得模型学习到更多的空间信息；构建关系推理网络模块的隐藏层时充分考虑检测标志点的优先级，从而能更快速、准确和智能化地进行头影测量分析。
本发明为了实现上述目的具体采用以下技术方案：
一种基于深度神经网络的侧位片智能头影测量方法，包括以下步骤：
数据准备：导入侧位片图像的数据并对侧位片图像的数据进行标定，以及对侧位片图像的数据划分和预处理；
构建端到端模型：先进行侧位片图像特征提取，再构建编码器模块用于生成整体热图和所有标志点热图的骨干网络，然后构建关系推理模块用于推断出标志点关系的存在和含义，接着构建解码器模块用于利用所有标志点的位置和空间信息，选择核心的关键标志点提高优先级以提升预测精确度；
侧位片图像特征提取中，在提取的不同标志点的潜在特征图的基础上，将每两个标志点的特征图和所有标志点的整体特征图进行拼接，然后形成统一的表达来学习到标志点间的空间关系，设标志点共计n个，标志点检测模型使用统一的网络骨架进行图像特征的提取，并根据以下公式进行计算：
Figure 651501DEST_PATH_IMAGE001
其中，
Figure 490013DEST_PATH_IMAGE002
表示第
Figure 800908DEST_PATH_IMAGE003
个标志点的热图特征,
Figure 602642DEST_PATH_IMAGE004
表示第j个标志点的热图特征；
Figure 151435DEST_PATH_IMAGE005
代表整体性热图特征，由所有n个热图进行叠加起来编码得到；
Figure 505056DEST_PATH_IMAGE006
（）表示一个四层轻量级CNN模块，
Figure 716899DEST_PATH_IMAGE007
是学习到的标志点包含所有
Figure 446957DEST_PATH_IMAGE008
个标志点关系的特征图；
标志点优先级计算中，通过统计不同标志点在三个主流的头影测量分析法中的应用，通过使用次数来标识标志点的优先级，然后通过归一化处理来构建隐藏层，将
Figure 522361DEST_PATH_IMAGE009
按照以下公式选择核心的关键标志点对应的
Figure 250145DEST_PATH_IMAGE009
，提高优先级后拼接作为一个三层轻量级CNN
Figure 535633DEST_PATH_IMAGE010
函数的输入：
Figure 928437DEST_PATH_IMAGE012
其中，括号内
Figure 248560DEST_PATH_IMAGE013
（）函数表示三层轻量级CNN模块，通过考虑每个输入的关系
Figure 84929DEST_PATH_IMAGE009
来计算；
Figure 857713DEST_PATH_IMAGE014
表示第
Figure 788629DEST_PATH_IMAGE003
个关键标志点在头影测量分析法中被使用到的次数和第j个关键标志点在头影测量分析法中被使用的次数之和；
Figure 166520DEST_PATH_IMAGE015
表示第
Figure 32845DEST_PATH_IMAGE016
个关键标志点在头影测量分析法中被使用到的次数和第
Figure 168291DEST_PATH_IMAGE017
个关键标志点在头影测量分析法中被使用的次数之和；
Figure 778264DEST_PATH_IMAGE018
表示对所有
Figure 197613DEST_PATH_IMAGE019
相加求和，得到所有标志点在头影测量分析法中被使用的总次数；
Figure 500419DEST_PATH_IMAGE020
表示第
Figure 185478DEST_PATH_IMAGE003
个关键标志点在基准线或平面中被使用到的次数和第
Figure 474508DEST_PATH_IMAGE021
个关键标志点在基准线或平面中被使用的次数之和；
Figure 623729DEST_PATH_IMAGE022
表示第
Figure 222070DEST_PATH_IMAGE023
个关键标志点在基准线或平面中被使用到的次数和第
Figure 394425DEST_PATH_IMAGE024
个关键标志点在基准线或平面中被使用的次数之；
Figure 346201DEST_PATH_IMAGE025
表示对所有
Figure 225295DEST_PATH_IMAGE022
相加求和，得到所有标志点在基准线或平面中被使用的总次数；C表示一个单通道聚合特征图，被用作上采样解码器的特征输入；
构建编码器模块中，数据准备好后，编码器模块以准备好的侧位片图像作为其输入，并将侧位片图像进行缩放处理，这个适当的分辨率为低于640的分辨率，通过编码器提取侧位片图像的热图特征和整体几何表征，并将热图特征和整体几何表征输入关系推理模块中以捕捉潜在的标志点关系；
构建关系推理模块中，关系推理模块由一个具有整流线性单位函数的四层轻量级CNN和一个三层轻量级CNN构成，四层轻量级CNN用于将由第i个标志点热图特征Oi、第j个标志点热图特征Oj和内嵌的整体热图特征H组成的三通道特征图卷积起来，得到一个单通道关系特征图；三层轻量级CNN以所有经过优先级处理拼接后的单通道关系特征图为输入，将输入进行卷积处理，输出单通道聚合特征图，并将单通道聚合特征图用作上采样解码器的输入。
构建解码器模块中，解码器模块由轻量级卷积神经网络组成，解码器模块使用随机梯度下降法进行优化，在上采样解码器阶段，一个基于双线性插值的平均上采样层被用来生成上采样特征图，在下采样编码器阶段，通过对输入侧位片图像进行卷积特征提取，生成下采样特征图，相应的下采样特征图和上采样特征图被连接起来。
端到端模型的训练：优化侧位片图像上的位置、空间和测量指标的损失函数，得到训练好的模型；端到端模型的训练包括损失函数计算和参数设置与更新；
损失函数计算中，通过优化图像上的位置、空间和测量指标的损失函数，共同训练出端到端模型，其中，损失函数分为三个部分，表达式如下:
Figure 135482DEST_PATH_IMAGE026
其中，P h 表示所有标志点位置的热图回归损失函数；
Figure 716505DEST_PATH_IMAGE027
表示角度型测量指标的回归损失函数；
Figure 675234DEST_PATH_IMAGE028
表示距离型测量指标的回归损失函数；
Figure 267889DEST_PATH_IMAGE029
和
Figure 958765DEST_PATH_IMAGE030
用于平衡损失函数项，
Figure 168029DEST_PATH_IMAGE029
= 0.01，
Figure 851820DEST_PATH_IMAGE030
= 0.05。
所有标志点位置的热图回归损失函数P h 的表达式为：
Figure 564561DEST_PATH_IMAGE032
其中，j表示特征图上每个位置的第j行, k表示特征图上每个位置的第k列；
Figure 488655DEST_PATH_IMAGE033
表示特征图上的第j行、第k列用来标识是否进行计算的掩码；
Figure 795003DEST_PATH_IMAGE034
表示第
Figure 892272DEST_PATH_IMAGE035
个标志点标签生成的对应的第j行、第k列的热图的像素值；
Figure 115311DEST_PATH_IMAGE036
表示第
Figure 210306DEST_PATH_IMAGE037
个标志点标签的行坐标，row表示行；
Figure 128584DEST_PATH_IMAGE038
表示第
Figure 904910DEST_PATH_IMAGE037
个标志点标签的列坐标，col表示列；
Figure 592243DEST_PATH_IMAGE039
是第
Figure 45090DEST_PATH_IMAGE003
个标志点对应的网络输出的特征图在第j行、第k列的激活值；exp[]表示以常数e为底的指数函数；
Figure 388347DEST_PATH_IMAGE040
和
Figure 92998DEST_PATH_IMAGE041
均表示高斯分布的超参数，一般设置为
Figure 510204DEST_PATH_IMAGE040
=0.1，
Figure 274897DEST_PATH_IMAGE041
=20；
角度型测量指标的回归损失函数
Figure 26821DEST_PATH_IMAGE027
的表达式为：
Figure 472846DEST_PATH_IMAGE042
其中，
Figure 869193DEST_PATH_IMAGE043
（）函数表示softargmax函数，表示将标志点的特征图映射为潜在的标志点；d（）表示两个点之间的距离；
Figure 414575DEST_PATH_IMAGE044
表示相应的角度型测量指标标签；COS（）表示余弦函数；
Figure 794740DEST_PATH_IMAGE045
表示第i个标志点的输出特征图；
Figure 778877DEST_PATH_IMAGE046
表示第j个标志点的输出特征图；
Figure 419943DEST_PATH_IMAGE047
表示第k个标志点的输出特征图；
距离型测量指标的回归损失函数
Figure 260860DEST_PATH_IMAGE028
的表达式为：
Figure 3688DEST_PATH_IMAGE049
其中，
Figure 588253DEST_PATH_IMAGE050
表示相应的距离型测量指标的标签。
基于训练好的端到端模型进行标志点检测和头影测量分析；
基于训练好的模型进行标志点检测和头影测量分析中，具体包括如下步骤：
给定测试图像，将图像按照一定的比例缩小、裁剪和旋转；
将所有编码器模块生成的热图两两组合，再额外给每一个关系对拼接一个整体高斯热图特征；
拼接好之后的所有关系组合都作为关系推理模块的输入，并得到学习到的标志点的所有
Figure 83825DEST_PATH_IMAGE051
个关系特征图
Figure 95643DEST_PATH_IMAGE009
，然后将所有的关系特征图
Figure 122505DEST_PATH_IMAGE009
拼接后作为三层轻量级CNN的输入，得到单通道聚合特征图C；
上采样解码器接收输入单通道聚合特征图 C，生成预测的高斯热图，对生成的高斯热图求掩码区域的最大值来确定标志点的位置；
根据模型预测的标志点位置计算头影测量指标。
本发明的有益效果如下：
（1）本发明中通过关系推理模块来融合成对的标志点间的潜在关系特征，在模型训练阶段融合标志点特征图的回归学习和直接的测量值的回归学习来使得模型学习到更多的空间信息；构建关系推理网络模块的隐藏层时充分考虑检测标志点的优先级，从而能更快速、准确和智能化地进行头影测量分析。
（2）本发明中通过该方法提高了关键标志点的准确性，同时保持了非关键标志点的准确性。
（3）本发明中将关系推理模块引入X线头影测量中，以确定标志点的潜在关系，并提高测量性能。
（4）本发明中该方法具有强大的鲁棒性，在多个数据集上进行了验证，证明了本发明的方法比基准方法具有更强大的性能。
附图说明
图1为本发明的流程图；
图2为本发明构建端到端模型的简图；
图3为本发明关系推理模块的简图；
图4为本发明全部标志点的预测结果对比的折线图；
图5为本发明关键标志点的预测结果对比的折线图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。
实施例
如图1所示，本实施例提供一种基于深度神经网络的侧位片智能头影测量方法，包括以下步骤：
数据准备：导入侧位片图像的数据并对侧位片图像的数据进行标定，以及对侧位片图像的数据划分和预处理；深度神经网络方法需要大量的数据用于训练，因此首先需要准备好数据用于模型的训练，本发明使用的方法是一种端到端深度神经网络侧位片智能头影测量方法，因此在数据准备阶段需要对训练数据进行标定，对于每一例侧位片图像，都由多名正畸专家交叉进行标定，对于有争议的标志点位置，本发明不采用该结果，标定的工作在每一个侧位片图像上完成，口腔正畸医生标注时间平均一例30分钟；对于有重影的侧位片，标志点标注在中心点位置，本发明要求标注数据500例以上，并将数据按照比例划分为：70%用于模型训练，15%用于模型验证，15%用于模型测试；
不同仪器不同环境采集得到的侧位片图像在像素间隔，图像对比度等方面有很大的不同，本步骤通过线性插值、数值归一化的手段预处理侧位片图像，来得到各方面一致的数据，该步骤能够使得后续检测的步骤中侧位片图像的空间信息和强度信息保持一致，并保证了后续机器学习步骤能提取到有用的特征，获得更好的效果。
如图2-图3所示，构建端到端模型：先进行侧位片图像特征提取，再构建编码器模块用于生成整体热图和所有标志点热图的骨干网络，然后构建关系推理模块用于推断出标志点关系的存在和含义，接着构建解码器模块用于利用所有标志点的位置和空间信息，选择核心的关键标志点提高优先级以提升预测精确度。
图2-图3中I，I/4，I/8…表示特征图大小相对于输入特征图大小的比率，假设原图大小为576*512，I 则表示和原图大小相当，I/4表示是原图的1/4，I/8表示是原图的1/8…以此类推，Softargmax是指的一种过程可导的指数归一化函数，图3中的省略点表示多个四层轻量级CNN和关系对，
Figure 651707DEST_PATH_IMAGE052
是指第i个标志点的热图特征，
Figure 877152DEST_PATH_IMAGE053
是指第j个标注点，
Figure 184505DEST_PATH_IMAGE054
是指第i个标志点，第j个标志点以及整体标志点约束组成的关系对，
Figure 964242DEST_PATH_IMAGE055
表示提取的第n-1个标志点和第n个标志点组成的关系对，
Figure 890610DEST_PATH_IMAGE056
表示第n-1个标志点的热图特征，
Figure 845928DEST_PATH_IMAGE057
表示第n个标志点的热图特征，
Figure 730707DEST_PATH_IMAGE058
表示一系列标志点热图，
Figure 732161DEST_PATH_IMAGE059
表示元素求和。
侧位片图像特征提取中，给定一张侧位片图像，本发明的目的是为了自动检测标志点，然后生成对应分析法的测量指标，本发明考虑到标志点间的空间关系，在提取的不同标志点的潜在特征图的基础上，将每两个标志点的特征图和所有标志点的整体特征图进行拼接，然后形成统一的表达来学习到标志点间的空间关系，设标志点共计n个，标志点检测模型使用统一的网络骨架进行图像特征的提取，并根据以下公式进行计算：
Figure 586854DEST_PATH_IMAGE060
其中，
Figure 521311DEST_PATH_IMAGE002
表示第
Figure 452358DEST_PATH_IMAGE003
个标志点的热图特征,
Figure 737846DEST_PATH_IMAGE004
表示第j个标志点的热图特征；
Figure 209279DEST_PATH_IMAGE005
代表整体性热图特征，由所有n个热图进行叠加起来编码得到；
Figure 388456DEST_PATH_IMAGE006
（）表示一个四层轻量级CNN模块，
Figure 349459DEST_PATH_IMAGE009
是学习到的标志点包含所有
Figure 997609DEST_PATH_IMAGE061
个标志点关系的特征图；
标志点优先级计算中，本发明考虑到标志点的优先级问题，通过统计不同标志点在三个主流的头影测量分析法中的应用，通过使用次数来标识标志点的优先级，然后通过归一化处理来构建隐藏层，这种设计能够让模型在训练阶段对关键的标志点学习更容易收敛，最终的关键标志点的定位效果也会更好，具体来说，将
Figure 69470DEST_PATH_IMAGE062
按照以下公式选择核心的关键标志点对应的
Figure 368734DEST_PATH_IMAGE062
，提高其优先级后拼接作为一个三层轻量级CNN
Figure 438321DEST_PATH_IMAGE010
函数的输入：
Figure 698401DEST_PATH_IMAGE011
其中，括号内
Figure 183740DEST_PATH_IMAGE063
函数表示三层轻量级CNN模块，通过考虑每个输入的关系
Figure 478455DEST_PATH_IMAGE064
来计算；
Figure 640315DEST_PATH_IMAGE014
表示第
Figure 387691DEST_PATH_IMAGE003
个关键标志点在头影测量分析法中被使用到的次数和第j个关键标志点在头影测量分析法中被使用的次数之和；
Figure 4617DEST_PATH_IMAGE015
表示第
Figure 763626DEST_PATH_IMAGE016
个关键标志点在头影测量分析法中被使用到的次数和第
Figure 502912DEST_PATH_IMAGE017
个关键标志点在头影测量分析法中被使用的次数之和；
Figure 596639DEST_PATH_IMAGE065
表示对所有
Figure 548414DEST_PATH_IMAGE019
相加求和，得到所有标志点在头影测量分析法中被使用的总次数，见表1，表1中缩写所对应的标志点名称见表4；
Figure 755404DEST_PATH_IMAGE066
表示第
Figure 9799DEST_PATH_IMAGE003
个关键标志点在基准线或平面中被使用到的次数和第
Figure 466188DEST_PATH_IMAGE021
个关键标志点在基准线或平面中被使用的次数之和；
Figure 611868DEST_PATH_IMAGE067
表示第
Figure 470102DEST_PATH_IMAGE023
个关键标志点在基准线或平面中被使用到的次数和第
Figure 488874DEST_PATH_IMAGE024
个关键标志点在基准线或平面中被使用的次数之；
Figure 307926DEST_PATH_IMAGE025
表示对所有
Figure 601504DEST_PATH_IMAGE067
相加求和，得到所有标志点在基准线或平面中被使用的总次数，见表2；C表示一个单通道聚合特征图，被用作上采样解码器的特征输入，为了优化本模型的损失函数，训练过程使用端到端学习方法来调整编码器、关系推理模块和解码器的参数；
Figure 704458DEST_PATH_IMAGE069
表1 为标志点在三种常用的分析方法中被使用的次数
Figure 690868DEST_PATH_IMAGE070
表2 为标志点在基准线中被使用的次数
Figure 997216DEST_PATH_IMAGE072
表3 为华西综合分析法、Tweed分析法和Downs分析方法中使用的基线定义
Figure 297747DEST_PATH_IMAGE074
表4为表1中标志点名称的对照表
Figure 864995DEST_PATH_IMAGE076
表5为表3中基线名称的对照表
构建编码器模块用于生成整体热图和所有标志点热图的骨干网络，编码器使用ResNet结构作为主干神经网络，数据准备好后，编码器模块以准备好的侧位片图像作为其输入，并将侧位片图像进行缩放处理，通过编码器提取侧位片图像的热图特征和整体几何表征，并将热图特征和整体几何表征输入关系推理模块中以捕捉潜在的标志点关系，编码器获得四个不同大小的特征图，通过对这些特征图进行1 x 1卷积，得到四个特征图，上述提到的“适当的分辨率”指低于640的分辨率；
构建关系推理模块用于推断出标志点关系的存在和含义，并且标志点的先后顺序对关系推理不产生影响，关系推理模块由一个具有整流线性单位函数（ReLU）的四层轻量级CNN和一个三层轻量级CNN构成，四层轻量级CNN的目标是将由第i个标志点热图特征Oi、第j个标志点热图特征Oj和内嵌的整体热图特征H组成的三通道特征图卷积起来，得到一个单通道关系特征图，三层轻量级CNN以所有经过优先级处理拼接后的单通道关系特征图为输入，将输入进行卷积处理，输出单通道聚合特征图，并将单通道聚合特征图用作上采样解码器的输入；此外H是通过对所有n个热图进行叠加起来编码，由此学习到的标志点的所有n×(n-1)个关系描述了标志点以及它们与其他标志点的相互作用，并被作为网络下一部分（三层轻量级CNN）的输入，在那里学习组合标志点关系；
构建解码器模块用于利用所有标志点的位置和空间信息，选择核心的关键标志点提高优先级以提升预测精确度，解码模块与编码器类似，均由轻量级卷积神经网络组成，解码器模块使用随机梯度下降法进行优化，在上采样解码器阶段，一个基于双线性插值的平均上采样层被用来生成上采样特征图，在下采样编码器阶段，通过对输入侧位片图像进行卷积特征提取，生成下采样特征图，同时相应的下采样特征图和上采样特征图被连接起来。
端到端模型的训练：优化侧位片图像上的位置、空间和测量指标的损失函数，得到训练好的模型；端到端模型的训练包括损失函数计算和参数设置与更新；
损失函数计算中，通过优化图像上的位置、空间和测量指标的损失函数，共同训练出端到端模型，其中，损失函数分为三个部分，表达式如下:
Figure 146940DEST_PATH_IMAGE026
其中，P h 表示所有标志点位置的热图回归损失函数；
Figure 65218DEST_PATH_IMAGE027
表示角度型测量指标的回归损失函数；
Figure 575965DEST_PATH_IMAGE028
表示距离型测量指标的回归损失函数；
Figure 528877DEST_PATH_IMAGE029
和
Figure 981724DEST_PATH_IMAGE030
用于平衡损失函数项，
Figure 121718DEST_PATH_IMAGE029
= 0.01，
Figure 29632DEST_PATH_IMAGE030
= 0.05。
所有标志点位置的热图回归损失函数P h 的表达式为：
Figure 446838DEST_PATH_IMAGE077
其中，j表示特征图上每个位置的第j行, k表示特征图上每个位置的第k列；
Figure 945952DEST_PATH_IMAGE033
表示特征图上的第j行、第k列用来标识是否进行计算的掩码；
Figure 963455DEST_PATH_IMAGE034
表示第
Figure 940639DEST_PATH_IMAGE035
个标志点标签生成的对应的第j行、第k列的热图的像素值；
Figure 477930DEST_PATH_IMAGE036
表示第
Figure 147946DEST_PATH_IMAGE037
个标志点标签的行坐标，row表示行；
Figure 465795DEST_PATH_IMAGE038
表示第
Figure 371303DEST_PATH_IMAGE037
个标志点标签的列坐标，col表示列；
Figure 153314DEST_PATH_IMAGE039
是第
Figure 869598DEST_PATH_IMAGE003
个标志点对应的网络输出的特征图在第j行、第k列的激活值；exp[]表示以常数e为底的指数函数；
Figure 674743DEST_PATH_IMAGE040
和
Figure 259308DEST_PATH_IMAGE041
均表示高斯分布的超参数，一般设置为
Figure 20459DEST_PATH_IMAGE040
=0.1，
Figure 32277DEST_PATH_IMAGE041
=20；
角度型测量指标的回归损失函数
Figure 731243DEST_PATH_IMAGE027
的表达式为：
Figure 322762DEST_PATH_IMAGE042
其中，
Figure 548207DEST_PATH_IMAGE043
（）函数表示softargmax函数，表示将标志点的特征图映射为潜在的标志点；d（）表示两个点之间的距离；
Figure 121139DEST_PATH_IMAGE044
表示相应的角度型测量指标标签；COS（）表示余弦函数；
Figure 697614DEST_PATH_IMAGE045
表示第i个标志点的输出特征图；
Figure 499348DEST_PATH_IMAGE046
表示第j个标志点的输出特征图；
Figure 782562DEST_PATH_IMAGE047
表示第k个标志点的输出特征图；
距离型测量指标的回归损失函数
Figure 401762DEST_PATH_IMAGE028
的表达式为：
Figure 324587DEST_PATH_IMAGE048
其中，
Figure 54646DEST_PATH_IMAGE050
表示相应的距离型测量指标的标签。
参数设置与更新中，本发明主要使用的硬件是12GB显存的NVIDIA Titan XP GPU，采用了比例系数在0.5和1之间的随机裁剪方法，用于数据增广，使用动量为0.92的随机梯度下降法进行训练，学习率被初始化为0.15，并以0.96的系数进行指数衰减，权重衰减值为1e3，模型参数每 8 个批量更新一次，总的模型训练周期设置为200，每经过一个迭代周期学习之后，模型判断各级的总误差大小，如果当前误差小于上一个迭代的误差，就保存当前级的当前模型，然后继续训练，若训练达到最大迭代次数或者总误差连续经过10迭代没有都下降，则训练停止。
基于训练好的模型进行标志点检测和头影测量分析中，具体包括如下步骤：
给定测试图像，将图像根据实际情况按照一定的比例缩小、裁剪和旋转；
将所有编码器模块生成的热图两两组合，再额外给每一个关系对拼接一个整体高斯热图特征；
拼接好之后的所有关系组合都作为关系推理模块的输入，并得到学习到的标志点的所有
Figure 130049DEST_PATH_IMAGE008
个关系特征图
Figure 920151DEST_PATH_IMAGE007
，然后将所有的关系特征图
Figure 64693DEST_PATH_IMAGE078
拼接后作为三层轻量级CNN的输入，得到单通道聚合特征图C；
上采样解码器接收输入单通道聚合特征图 C，生成预测的高斯热图，对生成的高斯热图求掩码区域的最大值来确定标志点的位置；
根据模型预测的标志点位置计算头影测量指标。
实验结果如表6：
Figure 801705DEST_PATH_IMAGE080
表6使用临床数据测试得到的结果
表6中，MRE是指平均径向误差，SDR是指成功检测率，BASE表示网络只包含编码器模块和解码器模块，+KEY表示增加关键标志点的优先级，+RN表示使用了关系推理模块。
如图3所示，其中横坐标表示第i个标志点，纵坐标表示评价指标平均径向误差MRE，单位为毫米（mm），MRE的值越小越好，表示预测越精准，图4显示了在使用本发明提出的端到端深度神经网络模型后，评价指标平均径向误差（MRE）和未使用端到端深度神经网络模型的结果相比下降了，在优先考虑了关键标志点和测量指标后，总体预测精度仍然维持稳定的同时，关键标志点的MRE更低，见图5，图5中横坐标表示第i个关键标志点，纵坐标表示MRE（mm），该方法在临床数据上取得了出色的结果，预测的MRE最佳可达1.054毫米，能完全满足正畸医生的临床需求。
通过上述技术方案，本发明为了解决标志点间空间信息缺失的问题和标志点优先级缺失的问题，本发明提出了一种端到端深度神经网络侧位片智能头影测量方法，该模型是一个端到端的框架，包括一个基于完全卷积网络的编码器模块、解码器模块和一个关系推理模块，标志点之间的相对距离以及角度关系被用来建立一个新的损失函数，该损失函数能在所有标志点和标志点之间的关系中，优先考虑关键标志点，并捕捉到具有鉴别性和独特的潜在标志点关系；本发明在两个角度来提高模型学习空间关系的能力，在模型构建阶段，通过关系推理模块来融合成对的标志点间的潜在关系特征，在模型训练阶段融合标志点特征图的回归学习和直接的测量值的回归学习来使得模型学习到更多的空间信息；本发明关注的侧位片智能头影测量分析就是在模型特征提取阶段（即在关系推理网络模块隐藏层构建阶段，本发明通过统计不同标志点在三个主流的头影测量分析法中的应用，通过使用次数来标识标志点的优先级）充分考虑检测标志点（尤其是关键标志点）的优先级，帮助牙医（特别是正畸科牙医）更快速、准确和智能化地进行头影测量分析。

Claims (10)

1.一种基于深度神经网络的侧位片智能头影测量方法，其特征在于：包括以下步骤：
数据准备：导入侧位片图像的数据并对侧位片图像的数据进行标定，以及对侧位片图像的数据划分和预处理；
构建端到端模型：先进行侧位片图像特征提取，再构建编码器模块用于生成整体热图和所有标志点热图的骨干网络，然后构建关系推理模块用于推断出标志点关系的存在和含义，接着构建解码器模块用于利用所有标志点的位置和空间信息，选择核心的关键标志点提高优先级以提升预测精确度；
端到端模型的训练：优化侧位片图像上的位置、空间和测量指标的损失函数，得到训练好的模型；
基于训练好的端到端模型进行标志点检测和头影测量分析。
2.根据权利要求1所述的一种基于深度神经网络的侧位片智能头影测量方法，其特征在于：侧位片图像特征提取中，在提取的不同标志点的潜在特征图的基础上，将每两个标志点的特征图和所有标志点的整体特征图进行拼接，然后形成统一的表达来学习到标志点间的空间关系，设标志点共计n个，标志点检测模型使用统一的网络骨架进行图像特征的提取，并根据以下公式进行计算：
Figure 838466DEST_PATH_IMAGE001
其中，
Figure 70995DEST_PATH_IMAGE002
表示第
Figure 15817DEST_PATH_IMAGE003
个标志点的热图特征,
Figure 899460DEST_PATH_IMAGE004
表示第j个标志点的热图特征；
Figure 920636DEST_PATH_IMAGE005
代表整体性热图特征，由n个热图进行叠加起来编码得到；
Figure 889729DEST_PATH_IMAGE006
（）表示一个四层轻量级CNN模块，
Figure 575926DEST_PATH_IMAGE007
是学习到的标志点包含
Figure 330386DEST_PATH_IMAGE008
个标志点关系的特征图。
3.根据权利要求1所述的一种基于深度神经网络的侧位片智能头影测量方法，其特征在于：通过统计不同标志点在三个头影测量分析法中的应用，通过使用次数来标识标志点的优先级，然后通过归一化处理来构建隐藏层，将
Figure 709415DEST_PATH_IMAGE007
按照以下公式选择核心的关键标志点对应的
Figure 962542DEST_PATH_IMAGE007
，提高优先级后拼接作为一个三层轻量级CNN
Figure 468740DEST_PATH_IMAGE009
函数的输入：
Figure 326975DEST_PATH_IMAGE010
其中，
Figure 876905DEST_PATH_IMAGE009
（）函数表示三层轻量级CNN模块；
Figure 368060DEST_PATH_IMAGE011
表示第
Figure 396059DEST_PATH_IMAGE012
个关键标志点在头影测量分析法中被使用到的次数和第j个关键标志点在头影测量分析法中被使用的次数之和；
Figure 108800DEST_PATH_IMAGE013
表示第
Figure 642681DEST_PATH_IMAGE014
个关键标志点在头影测量分析法中被使用到的次数和第
Figure 73662DEST_PATH_IMAGE015
个关键标志点在头影测量分析法中被使用的次数之和；
Figure 170931DEST_PATH_IMAGE016
表示对所有
Figure 738179DEST_PATH_IMAGE017
相加求和，得到所有标志点在头影测量分析法中被使用的总次数；
Figure 380644DEST_PATH_IMAGE018
表示第
Figure 830080DEST_PATH_IMAGE012
个关键标志点在基准线或平面中被使用到的次数和第j个关键标志点在基准线或平面中被使用的次数之和；
Figure 12931DEST_PATH_IMAGE019
表示第
Figure 700264DEST_PATH_IMAGE020
个关键标志点在基准线或平面中被使用到的次数和第
Figure 28477DEST_PATH_IMAGE021
个关键标志点在基准线或平面中被使用的次数之；
Figure 168471DEST_PATH_IMAGE022
表示对所有
Figure 674453DEST_PATH_IMAGE023
相加求和，得到所有标志点在基准线或平面中被使用的总次数；C表示一个单通道聚合特征图，被用作上采样解码器的特征输入。
4.根据权利要求1所述的一种基于深度神经网络的侧位片智能头影测量方法，其特征在于：构建编码器模块中，数据准备好后，编码器模块以准备好的侧位片图像作为其输入，并将侧位片图像进行缩放处理，通过编码器模块提取侧位片图像的热图特征和整体几何表征，并将热图特征和整体几何表征输入关系推理模块中。
5.根据权利要求1所述的一种基于深度神经网络的侧位片智能头影测量方法，其特征在于：构建关系推理模块中，关系推理模块由一个具有整流线性单位函数的四层轻量级CNN和一个三层轻量级CNN构成，四层轻量级CNN用于将由第i个标志点热图特征
Figure 216293DEST_PATH_IMAGE024
、第j个标志点热图特征
Figure 466139DEST_PATH_IMAGE025
和内嵌的整体热图特征H组成的三通道特征图卷积起来，得到一个单通道关系特征图；三层轻量级CNN以经过优先级处理拼接后的单通道关系特征图为输入，将输入进行卷积处理，输出单通道聚合特征图，并将单通道聚合特征图用作上采样解码器的输入。
6.根据权利要求1所述的一种基于深度神经网络的侧位片智能头影测量方法，其特征在于：构建解码器模块中，解码器模块由轻量级卷积神经网络组成，解码器模块使用随机梯度下降法进行优化，在上采样解码器阶段，一个基于双线性插值的平均上采样层被用来生成上采样特征图，在下采样编码器阶段，通过对输入侧位片图像进行卷积特征提取，生成下采样特征图，相应的下采样特征图和上采样特征图被连接起来。
7.根据权利要求1所述的一种基于深度神经网络的侧位片智能头影测量方法，其特征在于：端到端模型的训练包括损失函数计算和参数设置与更新。
8.根据权利要求7所述的一种基于深度神经网络的侧位片智能头影测量方法，其特征在于：损失函数计算中，通过优化图像上的位置、空间和测量指标的损失函数，共同训练出端到端模型，其中，损失函数分为三个部分，表达式如下:
Figure 93430DEST_PATH_IMAGE026
其中，P h 表示所有标志点位置的热图回归损失函数；
Figure 805034DEST_PATH_IMAGE027
表示角度型测量指标的回归损失函数；
Figure 14430DEST_PATH_IMAGE028
表示距离型测量指标的回归损失函数；
Figure 684445DEST_PATH_IMAGE029
和
Figure 799032DEST_PATH_IMAGE030
用于平衡损失函数项，
Figure 314327DEST_PATH_IMAGE029
= 0.01，
Figure 581491DEST_PATH_IMAGE030
= 0.05。
9.根据权利要求8所述的一种基于深度神经网络的侧位片智能头影测量方法，其特征在于：所有标志点位置的热图回归损失函数P h 的表达式为：
Figure 422408DEST_PATH_IMAGE031
其中，j表示特征图上每个位置的第j行, k表示特征图上每个位置的第k列；
Figure 821029DEST_PATH_IMAGE032
表示特征图上的第j行、第k列用来标识是否进行计算的掩码；
Figure 890747DEST_PATH_IMAGE033
表示第
Figure 261685DEST_PATH_IMAGE012
个标志点标签生成的对应的第j行、第k列的热图的像素值；
Figure 70241DEST_PATH_IMAGE034
表示第
Figure 378994DEST_PATH_IMAGE012
个标志点标签的行坐标，row表示行；
Figure 767250DEST_PATH_IMAGE035
表示第
Figure 789433DEST_PATH_IMAGE012
个标志点标签的列坐标，col表示列；
Figure 722885DEST_PATH_IMAGE036
是第
Figure 33780DEST_PATH_IMAGE012
个标志点对应的网络输出的特征图在第j行、第k列的激活值；exp[]表示以常数e为底的指数函数；
Figure 960148DEST_PATH_IMAGE037
和
Figure 587570DEST_PATH_IMAGE038
均表示高斯分布的超参数；
角度型测量指标的回归损失函数
Figure 206770DEST_PATH_IMAGE039
的表达式为：
Figure 4962DEST_PATH_IMAGE040
其中，
Figure 469441DEST_PATH_IMAGE041
（）函数表示softargmax函数，表示将标志点的特征图映射为潜在的标志点；d（）表示两个点之间的距离；
Figure 154631DEST_PATH_IMAGE042
表示相应的角度型测量指标标签；COS（）表示余弦函数；
Figure 944733DEST_PATH_IMAGE043
表示第i个标志点的输出特征图；
Figure 761379DEST_PATH_IMAGE044
表示第j个标志点的输出特征图；
Figure 780282DEST_PATH_IMAGE045
表示第k个标志点的输出特征图；
距离型测量指标的回归损失函数
Figure 834825DEST_PATH_IMAGE046
的表达式为：
Figure 530249DEST_PATH_IMAGE047
其中，
Figure 850503DEST_PATH_IMAGE048
表示相应的距离型测量指标的标签。
10.根据权利要求1所述的一种基于深度神经网络的侧位片智能头影测量方法，其特征在于：基于训练好的模型进行标志点检测和头影测量分析中，具体包括如下步骤：
给定测试图像，将图像按照比例缩小、裁剪和旋转；
将编码器模块生成的热图两两组合，再给每一个关系对拼接一个整体高斯热图特征；
拼接好之后的关系组合作为关系推理模块的输入，并得到学习到的标志点的所有
Figure 922364DEST_PATH_IMAGE049
个关系特征图
Figure 565835DEST_PATH_IMAGE050
，然后将关系特征图
Figure 245209DEST_PATH_IMAGE050
拼接后作为三层轻量级CNN的输入，得到单通道聚合特征图C；
上采样解码器接收输入单通道聚合特征图 C，生成预测的高斯热图，对生成的高斯热图求掩码区域的最大值来确定标志点的位置；
根据模型预测的标志点位置计算头影测量指标。
CN202111381788.1A 2021-11-22 2021-11-22 一种基于深度神经网络的侧位片智能头影测量方法 Active CN113822921B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111381788.1A CN113822921B (zh) 2021-11-22 2021-11-22 一种基于深度神经网络的侧位片智能头影测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111381788.1A CN113822921B (zh) 2021-11-22 2021-11-22 一种基于深度神经网络的侧位片智能头影测量方法

Publications (2)

Publication Number Publication Date
CN113822921A true CN113822921A (zh) 2021-12-21
CN113822921B CN113822921B (zh) 2022-03-04

Family

ID=78917911

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111381788.1A Active CN113822921B (zh) 2021-11-22 2021-11-22 一种基于深度神经网络的侧位片智能头影测量方法

Country Status (1)

Country Link
CN (1) CN113822921B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114947902A (zh) * 2022-05-16 2022-08-30 天津大学 基于强化学习的x射线头影测量标志点自动定位方法
CN115345938A (zh) * 2022-10-18 2022-11-15 汉斯夫(杭州)医学科技有限公司 基于全局到局部的头影标记点定位方法、设备及介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109145983A (zh) * 2018-08-21 2019-01-04 电子科技大学 一种基于轻量化网络的实时场景图像语义分割方法
CN109657534A (zh) * 2018-10-30 2019-04-19 百度在线网络技术（北京）有限公司 对图像中人体进行分析的方法、装置及电子设备
CN111599432A (zh) * 2020-05-29 2020-08-28 上海优医基医疗影像设备有限公司 一种三维颅面影像特征点标记分析系统及方法
US20200372301A1 (en) * 2019-05-21 2020-11-26 Retrace Labs Adversarial Defense Platform For Automated Dental Image Classification
CN212037803U (zh) * 2020-03-12 2020-12-01 四川大学 一种自动化头影测量系统
US20210118099A1 (en) * 2019-10-18 2021-04-22 Retrace Labs Generative Adversarial Network for Dental Image Super-Resolution, Image Sharpening, and Denoising
CN112734755A (zh) * 2021-03-15 2021-04-30 四川大学 基于3d全卷积神经网络与多任务学习的肺叶分割方法
CN112738647A (zh) * 2020-12-28 2021-04-30 中山大学 一种基于多层级编码-解码器的视频描述方法及系统
CN113065552A (zh) * 2021-03-29 2021-07-02 天津大学 自动定位头影测量标志点的方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109145983A (zh) * 2018-08-21 2019-01-04 电子科技大学 一种基于轻量化网络的实时场景图像语义分割方法
CN109657534A (zh) * 2018-10-30 2019-04-19 百度在线网络技术（北京）有限公司 对图像中人体进行分析的方法、装置及电子设备
US20200372301A1 (en) * 2019-05-21 2020-11-26 Retrace Labs Adversarial Defense Platform For Automated Dental Image Classification
US20210118099A1 (en) * 2019-10-18 2021-04-22 Retrace Labs Generative Adversarial Network for Dental Image Super-Resolution, Image Sharpening, and Denoising
CN212037803U (zh) * 2020-03-12 2020-12-01 四川大学 一种自动化头影测量系统
CN111599432A (zh) * 2020-05-29 2020-08-28 上海优医基医疗影像设备有限公司 一种三维颅面影像特征点标记分析系统及方法
CN112738647A (zh) * 2020-12-28 2021-04-30 中山大学 一种基于多层级编码-解码器的视频描述方法及系统
CN112734755A (zh) * 2021-03-15 2021-04-30 四川大学 基于3d全卷积神经网络与多任务学习的肺叶分割方法
CN113065552A (zh) * 2021-03-29 2021-07-02 天津大学 自动定位头影测量标志点的方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
LIU MIAO、YI ZHANG: "A Hierarchical Feature Extraction Network for Fast Scene Segmentation", 《SENSORS》 *
NESLISAH TOROSDAGLI 等: "Relational Reasoning Network (RRN) for Anatomical Landmarking", 《HTTPS://ARXIV.ORG/PDF/1904.04354.PDF》 *
TITOUAN PARCOLLET 等: "Quaternion Convolutional Neural Networks for Heterogeneous Image Processing", 《ICASSP 2019 - 2019 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH AND SIGNAL PROCESSING (ICASSP)》 *
ZHUSI ZHONG 等: "An Attention-Guided Deep Regression Model for Landmark Detection in Cephalograms", 《MICCAI 2019》 *
李志欣 等: "结合视觉特征和场景语义的图像描述生成", 《计算机学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114947902A (zh) * 2022-05-16 2022-08-30 天津大学 基于强化学习的x射线头影测量标志点自动定位方法
CN115345938A (zh) * 2022-10-18 2022-11-15 汉斯夫(杭州)医学科技有限公司 基于全局到局部的头影标记点定位方法、设备及介质

Also Published As

Publication number Publication date
CN113822921B (zh) 2022-03-04

Similar Documents

Publication Publication Date Title
CN113822921B (zh) 一种基于深度神经网络的侧位片智能头影测量方法
Wang et al. Automatic analysis of lateral cephalograms based on multiresolution decision tree regression voting
CN109141248B (zh) 基于图像的猪体重测算方法及系统
CN109461188B (zh) 一种二维x射线头影测量图像解剖特征点自动定位方法
CN107563383A (zh) 一种医学影像辅助诊断及半监督样本生成系统
CN112991273B (zh) 三维牙齿模型的正畸特征自动检测方法及系统
CN110246580B (zh) 基于神经网络和随机森林的颅侧面影像分析方法和系统
CN106157295A (zh) 用于医学图像中分割不确定度的计算和可视化的系统和方法
Yuan et al. Personalized design technique for the dental occlusal surface based on conditional generative adversarial networks
CN112790879B (zh) 一种牙齿模型的牙轴坐标系构建方法及系统
CN113205535A (zh) 一种x光片脊椎自动分割及标识方法
CN113744275B (zh) 一种基于特征变换的三维cbct牙齿图像的分割方法
CN113065552A (zh) 自动定位头影测量标志点的方法
CN109920002B (zh) 基于三维随机森林模型的头影测量图像中特征点定位方法
CN117838097A (zh) 一种基于关键点检测的脊柱畸形分析系统
Ramos et al. A new method to geometrically represent bite marks in human skin for comparison with the suspected dentition
Murray et al. Applying artificial intelligence to determination of legal age of majority from radiographic
CN117456183A (zh) 一种多层级特征提取融合注意力机制的医学图像分割方法
CN115439478B (zh) 基于肺灌注的肺叶灌注强度评估方法、系统、设备及介质
CN116778587A (zh) 一种基于深度学习的活体年龄推断方法、设备、存储介质
CN112734814A (zh) 三维颅面锥形束ct图像配准方法
Rodriguez‐Vila et al. Three‐dimensional quantitative evaluation method of nonrigid registration algorithms for adaptive radiotherapy
Croquet et al. Automated landmarking for palatal shape analysis using geometric deep learning
CN112150422B (zh) 一种基于多任务学习的口腔健康自我检测模型的建模方法
CN111091910B (zh) 基于画钟测试的智能评估系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant