CN115797730B

CN115797730B - 模型训练方法及装置、头影测量关键点定位方法及装置

Info

Publication number: CN115797730B
Application number: CN202310043755.9A
Authority: CN
Inventors: 汪令行; 余文锐; 马骏骑; 姚玉成
Original assignee: Hefei Yofo Medical Technology Co ltd
Current assignee: Hefei Yofo Medical Technology Co ltd
Priority date: 2023-01-29
Filing date: 2023-01-29
Publication date: 2023-06-23
Anticipated expiration: 2043-01-29
Also published as: CN115797730A

Abstract

本发明涉及头影测量领域，具体提供了一种模型训练方法及装置、头影测量关键点定位方法及装置。该模型训练方法获取多个包括人体目标位置的样本图像，样本图像上标注有关键点，依据标注的关键点生成对应于样本图像的目标输出，依据多个样本图像和相应的目标输出对关键点识别模型进行训练，通过预先标注有关键点的图像对识别模型进行训练。根据该模型训练方法，解决了训练模型时需要的样本数量较多的问题，在较少学习样本时获得可靠的输出。此外根据训练后的关键点识别模型，能够实现头影测量关键点自动定位，解决了关键点识别耗时长问题，在极短时间内在头颅侧位片中自动确定头影测量所需的关键点，提高了识别效率、识别准确率和诊断效率。

Description

模型训练方法及装置、头影测量关键点定位方法及装置

技术领域

本发明涉及头影测量领域，尤其涉及模型训练方法及装置、头影测量关键点定位方法及装置。

背景技术

随着成像技术的普及，对目标物体投射X射线或进行断层扫描来实现对目标物体的成像也愈加常见。通过对拍摄得到的影像进行分析和处理，从而对患者的病症进行识别和诊断。对于一些身体部位的影像图像，分析和处理的方式中涉及到一些关键点的定位。

以头影测量分析为例，头影测量分析是正畸诊断治疗的主要手段，当前已经有很多种头影测量分析法，这些方法基本都需要在头颅侧位片中标定一些关键点，依托于关键点和关键点确定的平面之间的位置和角度关系等信息来进行正畸诊断。目前主要采用的关键点定位方式主要包括手动定位方式和模型定位方式。在手动定位方式中，头颅侧位片拍摄在胶片上，医生用半透明纸蒙在胶片上完成关键点的定点，之后在半透明纸上进行后续分析，医生手动进行定点较为耗费时间，降低了头影测量过程的效率，并且定点工作对医生的能力要求比较高。在模型定位方式中，例如在公开号为CN113065552A的中国专利公开中，通过建立级联回归网络搭建检测算法框架，结合两次回归任务的级联模型作为特征点局部检测器，最终得到特征点定位结果，但是特征点定位的耗时较长，并且需要较多数量的学习样本进行训练。

发明内容

为了解决上述技术问题中的至少一个，本发明提供了模型训练方法及装置、头影测量关键点定位方法及装置。

本发明的第一方面提供了一种模型训练方法，包括：获取多个包括人体目标位置的样本图像，所述样本图像上标注有关键点；依据标注的关键点生成对应于所述样本图像的目标输出；以及依据多个所述样本图像和相应的所述目标输出对关键点识别模型进行训练。

根据本发明第一方面的模型训练方法，依据标注的关键点生成对应于所述样本图像的目标输出，包括：按预设尺寸对样本图像进行划分得到多个图像块；对标注的关键点进行划分得到多个组；生成每个所述图像块中每个组对应的多个输出，其中，所述多个输出包括坐标特征，置信度以及与所述坐标特征和所述置信度对应的关键点。

根据本发明第一方面的模型训练方法，所述多个输出包括q个关键点识别值，q为所有组中包含关键点数量最多的组中包含的关键点数量，所述q个关键点识别值中的最大值对应的关键点为第一关键点，所述第一关键点为所述多个输出中与所述坐标特征和所述置信度对应的关键点。

根据本发明第一方面的模型训练方法，每个组中至多有一个关键点位于同一图像块中。

根据本发明第一方面的模型训练方法，所述关键点识别模型包括特征提取子模型和关键点检测子模型，依据多个所述样本图像和相应的所述目标输出对关键点识别模型进行训练，包括：所述特征提取子模型从输入的样本图像中提取特征数据；所述关键点检测子模型依据所述特征数据得到输出；比较所述目标输出和所述关键点识别模型的输出，并依据比较结果训练所述关键点识别模型。

本发明的第二方面提供了一种模型训练装置，包括：存储器，所述存储器存储执行指令；以及处理器，所述处理器执行所述存储器存储的执行指令，使得所述处理器执行本发明第一方面的模型训练方法。

本发明的第三方面提供了一种头影测量关键点定位方法，包括：获取待识别的头颅图像；将所述头颅图像输入关键点识别模型得到多个位置输出，其中，所述关键点识别模型为根据本发明第一方面的模型训练方法进行训练得到的关键点识别模型；依据所述多个位置输出确定关键点的坐标。

根据本发明第三方面的头影测量关键点定位方法，依据所述多个位置输出确定关键点的坐标，包括：依据关键点的坐标特征和所述待识别的头颅图像的尺寸确定关键点的坐标，其中，所述坐标特征表征了关键点在所述待识别的头颅图像的坐标轴方向上的长度比值；或者，依据关键点的坐标特征和相应图像块在所述头颅图像上的位置确定关键点的坐标，其中，所述坐标特征表征了关键点在相应图像块的坐标轴方向上的长度比值。

根据本发明第三方面的头影测量关键点定位方法，在确定出关键点的坐标之后，所述头影测量关键点定位方法还包括：按预设的分组方式对所述待识别的头颅图像的各关键点进行分组；依据所述待识别的头颅图像的关键点分组情况和所述关键点的坐标确定所述关键点相对于所在组的位置特征；分别将各关键点的位置特征与相应的标准位置特征进行比较，得到偏差值；将所述偏差值大于预设偏差阈值的关键点筛除。

根据本发明第三方面的头影测量关键点定位方法，所述标准位置特征的获取方式包括：按预设的分组方式分别对多个已标注关键点的头颅图像的各关键点进行分组；对于每个已标注关键点的头颅图像的每个关键点组，确定组内各关键点与组的中心点之间距离的平均值；确定每个关键点与组的中心点之间距离与所述平均值的距离比值；确定所有已标注关键点的头颅图像中同一关键点的所述距离比值的方差；依据所述方差对所述关键点所在的组进行调整，以使每个关键点的方差值最小；对于每个关键点，依据调整后的分组情况确定标准位置特征，所述标准位置特征包括所述距离比值的平均值以及中心点到所述关键点的方向向量。

根据本发明第三方面的头影测量关键点定位方法，在得到的所述关键点的坐标中缺少部分关键点时，在确定所述关键点相对于所在组的位置特征之后，所述头影测量关键点定位方法还包括：依据各组的中心点、组内各关键点与中心点的距离平均值以及相应的标准位置特征对缺少的关键点的位置进行估计，得到缺少的关键点的估计坐标。

根据本发明第四方面提供了一种头影测量关键点定位装置，包括：存储器，所述存储器存储执行指令；以及处理器，所述处理器执行所述存储器存储的执行指令，使得所述处理器执行本发明第三方面的头影测量关键点定位方法。

附图说明

附图示出了本发明的示例性实施方式，并与其说明一起用于解释本发明的原理，其中包括了这些附图以提供对本发明的进一步理解，并且附图包括在本说明书中并构成本说明书的一部分。

图1是根据本发明的一个实施方式的模型训练方法的流程示意图。

图2是根据本发明的一个实施方式的采用处理系统的硬件实现方式的模型训练装置的示意图。

图3是根据本发明的一个实施方式的头影测量关键点定位方法的流程示意图。

图4是根据本发明的另一个实施方式的头影测量关键点定位方法的流程示意图。

图5是根据本发明的一个实施方式的标准位置特征的获取方式的流程示意图。

图6是根据本发明的一个实施方式的采用处理系统的硬件实现方式的头影测量关键点定位装置的示意图。

实施方式

下面结合附图和实施方式对本发明作进一步的详细说明。可以理解地是，此处所描述的具体实施方式仅用于解释相关内容，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分。

需要说明的是，在不冲突的情况下，本发明中的实施方式及实施方式中的特征可以相互组合。下面将参考附图并结合实施方式来详细说明本发明的技术方案。

除非另有说明，否则示出的示例性实施方式/实施例将被理解为提供可以在实践中实施本发明的技术构思的一些方式的各种细节的示例性特征。因此，除非另有说明，否则在不脱离本发明的技术构思的情况下，各种实施方式/实施例的特征可以另外地组合、分离、互换和/或重新布置。

本文使用的术语是为了描述具体实施例的目的，而不是限制性的。如这里所使用的，除非上下文另外清楚地指出，否则单数形式“一个(种、者)”和“所述(该)”也意图包括复数形式。此外，当在本说明书中使用术语“包含”和/或“包括”以及它们的变型时，说明存在所陈述的特征、整体、步骤、操作、部件、组件和/或它们的组，但不排除存在或附加一个或更多个其它特征、整体、步骤、操作、部件、组件和/或它们的组。还要注意的是，如这里使用的，术语“基本上”、“大约”和其它类似的术语被用作近似术语而不用作程度术语，如此，它们被用来解释本领域普通技术人员将认识到的测量值、计算值和/或提供的值的固有偏差。

下面以医学正畸的头影测量分析的应用场景为例，参考附图描述本发明的模型训练方法及装置、头影测量关键点定位方法及装置。

图1是根据本发明的一个实施方式的模型训练方法的流程示意图。参阅图1，本实施方式的模型训练方法S100，可以包括以下内容。

在步骤S102中，获取多个包括人体目标位置的样本图像，样本图像上标注有关键点。在对识别模型进行训练之前，需要预先采集一些样本图像，通过样本图像作为识别模型的训练输入。若该识别模型是应用于头影测量分析的，则可以采集一定数量的头颅侧位片作为样本图像，头颅侧位片可以从日常头影测量过程中进行获取，也可以通过爬虫从互联网上爬得。侧位片可以直接采用X光片，也可以是基于CBCT（Cone Beam ComputerTomography，锥形束CT）图像生成的。由于不同型号的成像设备产生的X光片或CT影像可能不同，因此若训练好的识别模型仅需要能够针对具有特定尺寸或其他特点的图像进行关键点的正确识别和输出，则可以仅采集具有该特定尺寸或相应特点的侧位片作为样本图像进行训练。

采集到样本图像后，可以对样本图像进行关键点标注，关键点又称标志点，是头影测量分析或其他医学影像分析中的数据基础。对于头影测量来说，关键点可以包括颅面关键点、上颌关键点和下颌关键点。其中，颅面关键点可以包括蝶鞍点、鼻根点、耳点和颅底点等点位，上颌关键点可以包括眶点、翼上颌裂点、前鼻棘、后鼻棘、上牙槽座点、上牙槽缘点和上中切牙点等点位，下颌关键点可以包括下牙槽座点、下牙槽缘点、下中切牙点、颏前点、颏下点、颏顶点和下颌角点等点位。

关键点的标注可以通过使用标注工具实现。标注工具可以采用开源的标注工具，例如采用图像标注工具labelme，还可以采用针对该标注任务进行开发的标注工具。标注工具需要能够显示出头颅侧位片，并能够在图片上进行关键点的定点，也就是记录关键点类别及其在侧位片上对应的位置（图像上的坐标）。标注时需要标注出所有关键点，标注结果需要准确。同时采用支持缩放和旋转等功能的标注工具能够使定点工作更加方便地进行。

在步骤S104中，依据标注的关键点生成对应于样本图像的目标输出。目标输出可以包含多个输出数据，通过对这些输出数据进行转换能够确定出关键点的坐标。可以理解地是，在生成样本图像的目标输出之前，可以先对样本图像进行归一化，并且还可以对样本图像进行缩放、裁剪、旋转和亮度调节中的一项或多项，得到新的样本图像。对样本图像进行归一化的过程，主要包括将所有样本图像的尺寸调整为相同大小，并只保留与人体目标位置相关的部分，例如对于头影测量来说，仅保留样本图像中包含头颅的部分，从而实现对样本图像的归一化。

步骤S104具体可以包括：按预设尺寸对样本图像进行划分得到多个图像块；对标注的关键点进行划分得到多个组；以及生成每个图像块中每个组对应的多个输出。

按预设尺寸对样本图像进行划分得到多个图像块。例如样本图像经归一化后调整为416*416的尺寸大小，预设尺寸为16*16，也就是每个图像块尺寸为16*16，则划分后得到26*26个图像块。

对标注的关键点进行划分得到多个组。关键点的划分依据可以是依据解剖结构进行划分。在对待检测关键点进行分组时，可以使每组中至多有一个关键点位于同一图像块中，也就是同一个图像块中包含的关键点分别属于不同的组，这样可以在进行关键点检测时，使得每个图像块中每组关键点至多对应输出一个检测结果，也就是每个图像块的多个输出只能表征至多一个关键点的参数信息，参数信息可以包括关键点的位置信息，但是一个图像块可能包括有多个关键点，因此通过分组使得这些关键点位于不同的组中。具体可以通过对标注数据的统计实现，即计算每两个关键点之间在标注数据中出现的最小距离，将最小距离小于预设距离值（例如图像块的边长的二倍）的两个关键点分别划分到不同的组中。若划分之后每组只包含一个关键点，则不会出现同一组中有多个关键点出现在同一图像块中的情况。例如，关键点共有8个，分别为p1～p8，经划分后得到三个组，第一组Z1包括p1和p2，第二组Z2包括p3至p6，第三组Z3包括p7和p8。由于样本图像有多个，因此每个样本图像的划分方式可以均相同，每个样本图像中标注的关键点的划分方式可以均相同。也就是说，所有样本图像划分后得到的图像块数量可以相同，所有关键点被分组后得到的组数量均可以相同，以便于后续的模型训练。

生成每个图像块中每个组对应的多个输出。多个输出包括坐标特征，置信度以及与坐标特征和置信度对应的关键点。

每个图像块均对应有同样的三个组Z1、Z2和Z3，而每个组均会对应有多个输出，因此整个样本图像的目标输出对应有b*g*(r+q)个输出。其中，b为图像块的数量，g为组的数量，q为所有组中包含关键点数量最多的组中包含的关键点数量，r为当前图像块中当前组的q个关键点识别值中，最大的关键点识别值对应的关键点的参数数量，参数数量可以包括两个坐标特征和一个置信度。坐标特征可以包括关键点相对于所在图像块上的预设原点的两个坐标轴的坐标信息，这些坐标信息能够通过转换算出实际的X轴坐标和Y轴坐标。其中，坐标信息可以直接采用像素坐标来表示，也可以采用归一化之后的坐标，也就是两轴的像素坐标分别除以图像的长和宽之后的坐标。置信度用于表征该关键点是正确关键点的概率，如果特征图中未存在关键点对应的结构或者结构清晰度较差时，可以将该关键点筛除。q为关键点识别值的数量，也就是所有组中包含关键点数量最多的组中包含的关键点数量，例如q=4。q个关键点识别值中的最大值对应的关键点为第一关键点，第一关键点为多个输出中与坐标特征和置信度对应的关键点。

具体的，若划分后得到26*26个图像块，关键点分为三组，其中包含关键点数量最多的组中包含的关键点数量为4个，则整个样本图像的目标输出有(26*26)*3*(3+4)个。某个图像块的Z1组对应有7个输出，2个坐标轴的坐标信息为2个输出，置信度为1个输出，剩下4个输出为关键点识别值中。由于Z2组中仅包括两个关键点，因此4个输出中仅有前2个值为有效的关键点识别值。该2个值中的最大值即为当前图像块的Z1组中的2个坐标信息、1个置信度对应的关键点。例如若p1的关键点识别值为最大值，则该7个输出中的坐标信息和置信度均对应于关键点p1，坐标信息是p1的坐标信息，置信度也是当前图像块里的关键点是p1的概率。

另外，若样本图像的数量较少，则为了扩充训练用图像的多样性，增加训练效果，可以通过对已有样本图像进行缩放、裁剪、旋转和亮度调节中的一种或多种操作，从而得到新的样本图像。新的样本图像与已有样本图像相比，图像的尺寸类型、图像形状类型、图像视角类型或图像亮度类型有所不同。由此使得训练完成后的关键点识别模型能够对不同尺寸、形状、视角和亮度的输入图像有着较强的适应性，增加分类识别结果的准确性。

在步骤S106中，依据多个样本图像和相应的目标输出对关键点识别模型进行训练。

在训练关键点识别模型的过程中，将样本图像输入关键点识别模型之后，得到关键点识别模型的实际输出，然后会将目标输出（即期望的输出）作为本次的训练目标，并依据实际输出与目标输出之间的差异来对模型进行训练。具体的，关键点识别模型可以包括特征提取部分和关键点检测部分共两个部分，其中，特征提取部分为特征提取子模型，关键点检测部分为关键点检测子模型。

具体的，步骤S106可以包括：特征提取子模型从输入的样本图像中提取特征数据；关键点检测子模型依据特征数据得到输出；以及比较目标输出和关键点识别模型的输出，并依据比较结果训练关键点识别模型。

特征提取子模型从输入的样本图像中提取特征数据。具体的，特征提取子模型可以采用卷积神经网络或者注意力机制模型，例如采用CSPDarkNet53网络模型。CSPDarkNet53网络模型是一种53层的卷积神经网络，能够用于提取目标特征。CSPDarkNet53模型的主干网络结构可以包含5个CSP（跨阶段局部）模块，每个CSP模块可以通过3×3的卷积核来进行下采样。将样本图像输入CSPDarkNet53模型之后，经过五个CSP模型进行特征化提取，特征图的尺寸经过5次变化，得到输入图像的高级特征。

采用CSPDarkNet53网络模型来进行特征提取，对特征提取的能力和速度较高，并且不会损失检测精度，同时模型的计算损耗较低，使得模型能够在较低配置的系统上进行训练。在利用样本图像对CSPDarkNet53网络模型进行训练之前，可以先在GitHub平台上获取公开的初始参数，并先使用这些初始参数对CSPDarkNet53网络模型进行配置，其中GitHub平台是一个面向开源及私有软件项目的托管平台。

关键点检测子模型依据特征数据得到输出。关键点检测子模型的实际输出与目标输出均为多个输出，且输出的数量相同。关键点检测子模型在接收到CSPDarkNet53网络模型输出的特征数据之后，可以采用以下两种方式的任一种来利用特征数据得到关键点的坐标特征。可以理解地是，在不同的方式下，采用的关键点检测子模型的模型结构可能不同，第一种方式下采用的模型为第一关键点检测子模型，第二种方式下采用的模型为第二关键点检测子模型。

第一种方式中，第一关键点检测子模型将CSPDarkNet53网络模型输出的特征数据作为输入，通过第一关键点检测子模型的若干卷积层和/或若干全连接层，得到b*g*(r+q)个输出。第一关键点检测子模型的输出的数量可以通过模型的结构进行设置从而实现。可以理解地是，本方式中对于每个样本图像，得到其目标输出的方式均相同，也就是均按照步骤S104得到，并且过程中划分样本图像得到的图像块数量相同，划分标注的关键点得到的组数量相同。

本方式对关键点进行分组结合输出图像分块处理的方法，将模型的输出细化到对应于组的一个关键点，检测结果的准确性更高，并且在样本较少时也能够完成对关键点识别模型的训练，从而获得可靠的输出。

第二种方式中，第二关键点检测子模型将CSPDarkNet53网络模型输出的特征数据作为输入，通过第二关键点检测子模型的若干卷积层和/或若干全连接层，得到n*r个输出，其中，n为待检测关键点的数量，在输出中仅包含两个轴的坐标信息时，r=2，在输出中还包含置信度时，r=3。当用于训练的样本图像的数量较为充足时，采用本方式更为便捷，计算量较少。

比较目标输出和关键点识别模型的输出，并依据比较结果训练关键点识别模型。在对关键点识别模型进行训练时，可以将包括已有样本图像和新样本图像在内的全部样本图像分别输入关键点识别模型，并以在步骤S104中确定出的与输入的样本图像对应的目标输出作为训练目标。在训练过程中，关键点识别模型计算在当前参数下的输出和目标输出（训练目标）之间的差值，利用优化算法优化参数，直至分类模型的输出与目标输出之间差异小于预设值，则说明该关键点识别模型能够进行准确的关键点识别，代表关键点识别模型的训练完成。

另外，在对关键点识别模型进行训练时，也可以是仅以全部样本图像中的一部分的样本图像作为输入，例如使用全部样本图像的80%~90%进行训练。在完成对关键点识别模型的训练之后，可以将另一部分的样本图像输入训练完成的关键点识别模型，依据关键点识别模型的输出对关键点识别模型进行评估，例如使用剩余的10%~20%的样本图像对关键点识别模型进行测试。在测试过程中，比较关键点识别模型的输出和目标输出是否相一致，若一致则说明关键点识别模型训练成功，若不一致则可以扩大训练数据以及调整模型结构并进行重新训练。

根据本发明的实施方式提出的模型训练方法，通过预先标注有关键点的图像对识别模型进行训练，训练完成的识别模型能够用于自动识别X光片或CT图像中的关键点，相比于医生人工进行关键点的识别和标注来说，可以在极短时间内在头颅侧位片中自动确定头影测量所需要的关键点，提高了识别效率、识别准确率和诊断效率，结合了深度学习方法和统计学习方法，可以在较少学习样本时获得可靠的输出，能够实现头影测量关键点自动定位，降低了对医生能力的要求。

图2是根据本发明的一个实施方式的采用处理系统的硬件实现方式的模型训练装置的示意图。参阅图2，本实施方式的模型训练装置1000，可以包括存储器1300和处理器1200。存储器1300存储执行指令，处理器1200执行存储器1300存储的执行指令，使得处理器1200执行上述任一实施方式的模型训练方法。

该装置1000可以包括执行上述方法中各个或几个步骤的相应模块。因此，可以由相应模块执行上述流程图中的每个步骤或几个步骤，并且该装置可以包括这些模块中的一个或多个模块。模块可以是专门被配置为执行相应步骤的一个或多个硬件模块、或者由被配置为执行相应步骤的处理器来实现、或者存储在计算机可读介质内用于由处理器来实现、或者通过某种组合来实现。

例如，模型训练装置1000可以包括样本图像获取模块1002、目标输出生成模块1004和模型训练模块1006。样本图像获取模块1002被配置为获取多个包括人体目标位置的样本图像，样本图像上标注有关键点。目标输出生成模块1004被配置为依据标注的关键点生成对应于样本图像的目标输出。模型训练模块1006被配置为依据多个样本图像和相应的目标输出对关键点识别模型进行训练。

该硬件结构可以利用总线架构来实现。总线架构可以包括任何数量的互连总线和桥接器，这取决于硬件的特定应用和总体设计约束。总线1100将包括一个或多个处理器1200、存储器1300和/或硬件模块的各种电路连接到一起。总线1100还可以将诸如外围设备、电压调节器、功率管理电路、外部天线等的各种其他电路1400连接。

总线1100可以是工业标准体系结构(ISA，Industry Standard Architecture)总线、外部设备互连(PCI，Peripheral Component)总线或扩展工业标准体系结构(EISA，Extended Industry Standard Component)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，该图中仅用一条连接线表示，但并不表示仅有一根总线或一种类型的总线。

根据本发明的实施方式提出的模型训练装置，通过预先标注有关键点的图像对识别模型进行训练，训练完成的识别模型能够用于自动识别X光片或CT图像中的关键点，相比于医生人工进行关键点的识别和标注来说，可以在极短时间内在头颅侧位片中自动确定头影测量所需要的关键点，提高了识别效率、识别准确率和诊断效率，结合了深度学习方法和统计学习方法，可以在较小学习样本时获得可靠的输出，能够实现头影测量关键点自动定位，降低了对医生能力的要求。

需要说明的是，本实施方式的模型训练装置1000中未披露的细节，可参照本发明提出的上述实施方式的模型训练方法S100中所披露的细节，此处不再赘述。

图3是根据本发明的一个实施方式的头影测量关键点定位方法的流程示意图。参阅图3，本实施方式的头影测量关键点定位方法S200，可以包括以下步骤。

S201，获取待识别的头颅图像。头颅图像可以是头颅侧位片图像，头颅侧位片图像可以通过正侧位设备拍摄得到，也可以通过CBCT设备拍摄得到CBCT图像后进行进一步生成得到。

S202，将头颅图像输入关键点识别模型得到多个位置输出，关键点识别模型为根据本发明任一实施方式的模型训练方法进行训练得到的关键点识别模型。在将待识别头颅图像输入关键点识别模型之前，可以先对待识别图像进行归一化，调整图像尺寸，得到与关键点识别模型的训练图像规格相同的待识别头颅图像。

S203，依据上述多个位置输出确定关键点的坐标。然后将待识别头颅图像输入关键点识别模型，并对模型的输出进行解析，得到待识别头颅图像中各关键点的坐标。具体的，每个位置输出对应于待识别的头颅图像的一个图像块的一个关键点组，每个位置输出包括坐标特征，置信度以及与坐标特征和置信度对应的关键点。关键点识别模型的所有位置输出的输出数量对应于上述b*g*(r+q)个输出，每个位置输出的输出数量对应于(r+q)个输出，其中，b为图像块的数量，g为组的数量，q为所有组中包含关键点数量最多的组中包含的关键点数量，r为当前图像块中当前组的q个关键点识别值中，最大的关键点识别值对应的关键点的参数数量，参数数量可以包括两个坐标特征和一个置信度。

步骤S203可以包括：依据关键点的坐标特征和待识别的头颅图像的尺寸确定关键点的坐标。其中，坐标特征表征了关键点在待识别的头颅图像的坐标轴方向上的长度比值。或者，依据关键点的坐标特征和相应图像块在头颅图像上的位置确定关键点的坐标，其中，坐标特征表征了关键点在相应图像块的坐标轴方向上的长度比值。

具体的，通过坐标特征来确定关键点具体坐标位置的方式可以有两种。

第一种是利用关键点在X轴和Y轴上的长度比值以及整幅图像的尺寸来确定，假设关键点在X轴方向上的长度比值为x，关键点在Y轴方向上的长度比值为y，输入图像的宽度为w，高度为h，则关键点的坐标为(x*w，y*h)。

第二种是利用关键点在图像块的X轴和Y轴上的长度比值以及图像块在图像中的位置来确定，假设图像块的边长为s，关键点在图像块的X轴方向上的长度比值为x’，关键点在图像块的Y轴方向上的长度比值为y’，则关键点相对于图像块左上角坐标的偏移量为(x’*s，y’*s)，依据图像块在整幅图像中的编号或其他类型的信息获取到图像块在整幅图像中的第i行和第j列，则关键点的坐标为[(j+ x’)*s，(i+ y’)*s]。其中，行和列的序号均从0开始标序。

由于关键点之间的位置关系通常是相对固定的，位置变化是较小的，难以出现较大偏差，因此可以预先对一些关键点正确识别和标注的头颅图像进行关键点坐标特征的统计，得到的统计特征可以作为头颅图像关键点识别的对比标准或基准。在通过模型识别出关键点的坐标特征之后，可以将对比标准和得到的坐标特征进行对比分析，利用两者的差异来识别出一些偏差较大的识别结果，由于对比标准中的坐标特征为高置信度结果，因此将这些偏差较大的识别结果作为低置信度结果进行筛除。

图4是根据本发明的另一个实施方式的头影测量关键点定位方法的流程示意图。参阅图4，在得到关键点识别结果之后，头影测量关键点定位方法S200还可以包括以下步骤。

S205，按预设的分组方式对待识别的头颅图像的各关键点进行分组。预设的分组方式指的是在后续进行位置特征比较时，待识别的头颅图像的关键点分组方式与相比较的位置特征对应的关键点分组方式相同，便于对在相同的分组方式下得到的位置特征进行比较。

S206，依据待识别的头颅图像的关键点分组情况和关键点的坐标确定关键点相对于所在组的位置特征。

具体的，可以先算出待识别图像的每组关键点的中心点坐标，具体算式可以为：

其中，

为组内关键点的中心点坐标，m为相应组内的关键点数量，/>

为组内关键点的坐标。若待识别图像中的关键点共分为5个组，则会得到5个/>

。

然后，对于每个组，可以算出组内各关键点到相应中心点的距离的平均值，具体算式可以为：

其中，

为组内关键点与相应中心点的距离平均值，/>

为组内关键点的坐标。相应的，5个组对应有5个平均值。

之后，可以算出每个关键点到相应中心点之间的距离与距离平均值

的比值/>

，具体算式可以为：

得到

之后，将/>

作为待识别图像中的关键点相对于所在组的位置特征。可以理解地是，/>

、/>

、/>

和/>

均是对应于待识别图像的参数。

S207，分别将各关键点的位置特征与相应的标准位置特征进行比较，得到偏差值。

S208，将偏差值大于预设偏差阈值的关键点筛除。

标准位置特征即为能够表征关键点正确识别和标注的头颅图像中统计的关键点位置的特征，也就是前文中提及的对比标准，此处用

表示标准位置特征，/>

为关键点正确识别和标注的多个头颅图像中，关键点到相应中心点之间的距离与相应距离平均值的比值的均值。比较/>

与/>

，确定出组内偏差最大的关键点，将偏差最大的关键点的偏差值与偏差阈值相比较，若偏差值大于偏差阈值，说明该关键点的位置与高置信度的位置之间差距较大，因此该关键点的位置为低置信度的位置，可以将该关键点筛除。重复该步骤，直至所有关键点的偏差值均小于等于偏差阈值。偏差阈值可以根据工况进行设置。

在进行

与/>

的比较时，是将相同的关键点对应的/>

与/>

进行比较，也就是将相同取值的i对应的/>

与/>

进行比较，例如将/>

与/>

比较，将/>

与/>

比较，依次类推。

图5是根据本发明的一个实施方式的标准位置特征的获取方式的流程示意图。参阅图5，标准位置特征的获取方式S300可以包括以下步骤。

S301，按预设的分组方式分别对多个已标注关键点的头颅图像的各关键点进行分组。

对于多个已正确识别关键点的头颅图像，可以根据随机选择的一个识别标注结果的关键点位置坐标进行聚类分组，得到初始分组。

S302，对于每个已标注关键点的头颅图像的每个关键点组，确定组内各关键点与组的中心点之间距离的平均值。

具体的，可以先算出已标注关键点图像在当前分组下每组关键点的中心点坐标，具体算式可以为：

其中，

为组内关键点的中心点坐标，n为相应组内的关键点数量，/>

为组内关键点的坐标。

S303，确定每个关键点与组的中心点之间距离与平均值的距离比值。

具体的，可以先算出各关键点到中心点的距离平均值

，具体算式可以为：

然后，可以算出每个已标注关键点图像中每个关键点到中心点的距离与距离平均值的距离比值，具体算式可以为：

其中，

为第j个识别结果中第i个关键点在当前分组下到相应中心点的距离与距离平均值/>

的距离比值，一个识别结果对应一个已标注关键点图像。

S304，确定所有已标注关键点的头颅图像中同一关键点的距离比值的方差。

具体的，可以先算出第i个关键点在不同识别结果下的距离比值

的均值/>

，具体算式可以为：/>

其中，n为识别结果的数量。

然后，可以算出第i个关键点的距离比值

在所有识别结果下的方差/>

，具体算式可以为：

S305，依据方差对关键点所在的组进行调整，以使每个关键点的方差值最小。

确定出每组关键点中方差最大的关键点，将该关键点归入其它组，并重复步骤S302至S304，从而计算得到该关键点在其它各关键点组内的方差，比较改关键点在所有组内的方差，确定出最小的方差值对应的组，将该关键点归入该最小的方差值对应的关键点组，直至分组情况不再发生变化，也就是每个关键点在当前所在的关键点组内的相应方差值均为该关键点在所有关键点组内的各方差值中的最小值，由此不再进行关键点分组的调整，得到确定的分组情况。

此外，标准位置特征的获取方式S300还可以包括：对于每个关键点，依据调整后的分组情况确定标准位置特征，标准位置特征包括距离比值的平均值以及中心点到关键点的方向向量。

标准位置特征中，第i个关键点在不同识别结果下的到中心点的距离与距离平均值的距离比值的平均值即为均值

，中心点到关键点的方向向量/>

的算式可以为：

可以理解地是，

、/>

、/>

、/>

、/>

、/>

和/>

均是对应于已正确识别关键点位置的图像的参数。

目前很多基于CBCT图像生成的侧位片也被用于正畸，由于CT视野的限制，部分关键点不在视野内，导致一些分析法无法使用，因此一些关键点的位置是缺失的。为了估计不在视野内关键点的位置，从而得到估计的分析法结果，在得到的关键点的坐标中缺少部分关键点时，在确定关键点相对于所在组的位置特征之后，头影测量关键点定位方法S200还可以包括：依据各组的中心点、组内各关键点与中心点的距离平均值以及相应的标准位置特征对缺少的关键点的位置进行估计，得到缺少的关键点的估计坐标。

具体的，对缺少的关键点的位置进行估计的算式可以为：

其中，

为估计的关键点坐标，/>

为对应于待识别图像的组内关键点的中心点坐标，/>

为对应于待识别图像的组内关键点与相应中心点的距离平均值，/>

为记录的均值，/>

为中心点到关键点的方向向量，通过距离和方向来对缺少的关键点进行位置预测。由此通过标准位置特征进行推算和估计，来补充待识别图像中没有检测出的关键点。

根据本发明的实施方式提出的头影测量关键点定位方法，通过训练完成的关键点是被模型自动识别头颅图像中的关键点位置，相比于医生人工进行关键点的识别和标注来说，可以在极短时间内在头颅侧位片中自动确定头影测量所需要的关键点，提高了识别效率、识别准确率和诊断效率，结合了深度学习方法和统计学习方法，可以在较小学习样本时获得可靠的输出，能够实现头影测量关键点自动定位，降低了对医生能力的要求。并且，对于头颅图像中缺失的关键点，能够使用可信的输出点和统计的特征进行预测，补全所有特征点，解决了生成全景中部分关键点不在图像中导致分析法无法使用的问题。

图6是根据本发明的一个实施方式的采用处理系统的硬件实现方式的头影测量关键点定位装置的示意图。参阅图6，本实施方式的头影测量关键点定位装置2000，可以包括存储器2300和处理器2200。存储器2300存储执行指令，处理器2200执行存储器2300存储的执行指令，使得处理器2200执行上述任一实施方式的头影测量关键点定位方法。

该装置2000可以包括执行上述流程图中各个或几个步骤的相应模块。因此，可以由相应模块执行上述流程图中的每个步骤或几个步骤，并且该装置可以包括这些模块中的一个或多个模块。模块可以是专门被配置为执行相应步骤的一个或多个硬件模块、或者由被配置为执行相应步骤的处理器来实现、或者存储在计算机可读介质内用于由处理器来实现、或者通过某种组合来实现。

例如，头影测量关键点定位装置2000可以包括头颅图像获取模块2002、位置信息识别模块2004和坐标确定模块2005。头颅图像获取模块2002被配置为获取待识别的头颅图像。位置信息识别模块2004被配置为将头颅图像输入关键点识别模型得到关键点的坐标特征，关键点识别模型为根据本发明任一实施方式的模型训练方法进行训练得到的关键点识别模型。坐标确定模块2005被配置为依据所述多个位置输出确定关键点的坐标。

头影测量关键点定位装置2000还可以包括关键点分组模块2006、位置特征确定模块2008、偏差值获取模块2010和关键点筛除模块2012。关键点分组模块2006被配置为按预设的分组方式对待识别的头颅图像的各关键点进行分组。位置特征确定模块2008被配置为依据待识别的头颅图像的关键点分组情况和关键点的坐标确定关键点相对于所在组的位置特征。偏差值获取模块2010被配置为分别将各关键点的位置特征与相应的标准位置特征进行比较，得到偏差值。关键点筛除模块2012被配置为将偏差值大于预设偏差阈值的关键点筛除。

该硬件结构可以利用总线架构来实现。总线架构可以包括任何数量的互连总线和桥接器，这取决于硬件的特定应用和总体设计约束。总线2100将包括一个或多个处理器2200、存储器2300和/或硬件模块的各种电路连接到一起。总线2100还可以将诸如外围设备、电压调节器、功率管理电路、外部天线等的各种其他电路2400连接。

总线2100可以是工业标准体系结构(ISA，Industry Standard Architecture)总线、外部设备互连(PCI，Peripheral Component)总线或扩展工业标准体系结构(EISA，Extended Industry Standard Component)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，该图中仅用一条连接线表示，但并不表示仅有一根总线或一种类型的总线。

根据本发明的实施方式提出的头影测量关键点定位装置，通过训练完成的关键点是被模型自动识别头颅图像中的关键点位置，相比于医生人工进行关键点的识别和标注来说，可以在极短时间内在头颅侧位片中自动确定头影测量所需要的关键点，提高了识别效率、识别准确率和诊断效率，结合了深度学习方法和统计学习方法，可以在较小学习样本时获得可靠的输出，能够实现头影测量关键点自动定位，降低了对医生能力的要求。并且，对于头颅图像中缺失的关键点，能够使用可信的输出点和统计的特征进行预测，补全所有特征点，解决了生成全景中部分关键点不在图像中导致分析法无法使用的问题。

需要说明的是，本实施方式的头影测量关键点定位装置2000中未披露的细节，可参照本发明提出的上述实施方式的头影测量关键点定位方法中所披露的细节，此处不再赘述。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施方式所属技术领域的技术人员所理解。处理器执行上文所描述的各个方法和处理。例如，本发明中的方法实施方式可以被实现为软件程序，其被有形地包含于机器可读介质，例如存储器。在一些实施方式中，软件程序的部分或者全部可以经由存储器和/或通信接口而被载入和/或安装。当软件程序加载到存储器并由处理器执行时，可以执行上文描述的方法中的一个或多个步骤。备选地，在其他实施方式中，处理器可以通过其他任何适当的方式而被配置为执行上述方法之一。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，可以具体实现在任何可读存储介质中，以供指令执行系统、装置或设备使用，或结合这些指令执行系统、装置或设备而使用。

应当理解，本发明的各部分可以用硬件、软件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施方式方法的全部或部分步骤是可以通过程序来指令相关的硬件完成，的程序可以存储于一种可读存储介质中，该程序在执行时，包括方法实施方式的步骤之一或其组合。

此外，在本发明各个实施方式中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个可读存储介质中。存储介质可以是只读存储器，磁盘或光盘等。

在本说明书的描述中，参考术语“一个实施方式/方式”、“一些实施方式/方式”、“具体示例”、或“一些示例”等的描述意指结合该实施方式/方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式/方式或示例中。在本说明书中，对上述术语的示意性表述不必须是相同的实施方式/方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施方式/方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施方式/方式或示例以及不同实施方式/方式或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

本领域的技术人员应当理解，上述实施方式仅仅是为了清楚地说明本发明，而并非是对本发明的范围进行限定。对于所属领域的技术人员而言，在上述公开的基础上还可以做出其它变化或变型，并且这些变化或变型仍处于本发明的范围内。

Claims

1.一种头影测量关键点定位方法，其特征在于，包括：

获取待识别的头颅图像；

将所述头颅图像输入关键点识别模型得到多个位置输出；

依据所述多个位置输出确定关键点的坐标；其中，所述关键点识别模型的模型训练方法包括：

获取多个包括人体目标位置的样本图像，所述样本图像上标注有关键点；

依据标注的关键点生成对应于所述样本图像的目标输出；以及

依据多个所述样本图像和相应的所述目标输出对关键点识别模型进行训练；

其中，依据标注的关键点生成对应于所述样本图像的目标输出，包括：按预设尺寸对样本图像进行划分得到多个图像块；对标注的关键点进行划分得到多个组；生成每个图像块中每个组对应的多个输出，其中，所述多个输出包括坐标特征，置信度以及与所述坐标特征和所述置信度对应的关键点；

在确定出关键点的坐标之后，所述头影测量关键点定位方法还包括：按聚类分组方式对所述待识别的头颅图像的各关键点进行分组；依据所述待识别的头颅图像的关键点分组情况和所述关键点的坐标确定所述关键点相对于所在组的位置特征；

在得到的所述关键点的坐标中缺少部分关键点时，在确定所述关键点相对于所在组的位置特征之后，所述头影测量关键点定位方法还包括：依据各组的中心点、组内各关键点与中心点的距离平均值以及相应的标准位置特征对缺少的关键点的位置进行估计，得到缺少的关键点的估计坐标。

2.根据权利要求1所述的头影测量关键点定位方法，其特征在于，所述多个输出包括q个关键点识别值，q为所有组中包含关键点数量最多的组中包含的关键点数量，所述q个关键点识别值中的最大值对应的关键点为第一关键点，所述第一关键点为所述多个输出中与所述坐标特征和所述置信度对应的关键点。

3.根据权利要求1所述的头影测量关键点定位方法，其特征在于，每个组中至多有一个关键点位于同一图像块中。

4.根据权利要求1或2所述的头影测量关键点定位方法，其特征在于，所述关键点识别模型包括特征提取子模型和关键点检测子模型，依据多个所述样本图像和相应的所述目标输出对关键点识别模型进行训练，包括：

所述特征提取子模型从输入的样本图像中提取特征数据；

所述关键点检测子模型依据所述特征数据得到输出；

比较所述目标输出和所述关键点识别模型的输出，并依据比较结果训练所述关键点识别模型。

5.根据权利要求1所述的头影测量关键点定位方法，其特征在于，依据所述多个位置输出确定关键点的坐标，包括：

依据关键点的坐标特征和所述待识别的头颅图像的尺寸确定关键点的坐标，其中，所述坐标特征表征关键点在所述待识别的头颅图像的坐标轴方向上的长度比值；或者，

依据关键点的坐标特征和相应图像块在所述头颅图像上的位置确定关键点的坐标，其中，所述坐标特征表征关键点在相应图像块的坐标轴方向上的长度比值。

6.根据权利要求1或5所述的头影测量关键点定位方法，其特征在于，在确定所述关键点相对于所在组的位置特征之后，所述头影测量关键点定位方法还包括：

分别将各关键点的位置特征与相应的标准位置特征进行比较，得到偏差值；

将所述偏差值大于预设偏差阈值的关键点筛除。

7.根据权利要求6所述的头影测量关键点定位方法，其特征在于，所述标准位置特征的获取方式包括：

按所述聚类分组方式分别对多个已标注关键点的头颅图像的各关键点进行分组；

对于每个已标注关键点的头颅图像的每个关键点组，确定组内各关键点与组的中心点之间距离的平均值；

确定每个关键点与组的中心点之间距离与所述平均值的距离比值；

确定所有已标注关键点的头颅图像中同一关键点的所述距离比值的方差；

依据所述方差对所述关键点所在的组进行调整，以使每个关键点的方差值最小；

对于每个关键点，依据调整后的分组情况确定标准位置特征，所述标准位置特征包括所述距离比值的平均值以及中心点到所述关键点的方向向量。

8.一种头影测量关键点定位装置，其特征在于，包括：

存储器，所述存储器存储执行指令；以及

处理器，所述处理器执行所述存储器存储的执行指令，使得所述处理器执行如权利要求1所述的头影测量关键点定位方法。