CN111028212B - 关键点检测方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本发明涉及一种关键点检测方法、装置、计算机设备和存储介质，通过获取原始图像和原始图像中待预测的多个关键点的当前位置坐标，再将原始图像和各关键点的当前位置坐标，输入至预设的检测网络，得到各关键点的位移向量，然后根据各关键点的位移向量更新各关键点的当前位置坐标，得到各关键点的目标位置坐标。上述关键点检测过程并没有限定原始图像中各关键点的排列方式，即说明本申请提出的关键点检测方法可以适用于对任何规格的硅酸盐晶体阵列产生的光信号得到的原始图像中的关键点检测，极大的提升了该关键点检测方法的普及应用性。

Description

关键点检测方法、装置、计算机设备和存储介质

技术领域

本申请涉及医疗图像成像技术领域，尤其涉及一种关键点检测方法、装置、计算机设备和存储介质。

背景技术

正电子发射型计算机断层(Positron Emission Tomography，PET)成像是目前肿瘤、脑和心脏等领域重大疾病早期发现和诊断的极其重要的检查手段。

目前，传统的PET成像过程包括：人体注射造影剂后，造影物质在肿瘤区域富集并产生伽马射线，采用硅酸盐晶体吸收伽马射线并转换成光信号，再使用光电增强传感器将伽马射线吸收晶体产生的光信号转化成电信号，并将电信号作为构建图像的原始输入信号，进一步的通过分割、模版拟合等检测方式确定与伽马射线位置对应的关键点的信息，最后基于检测出的关键点的信息重建得到PET图像。

但是，上述PET成像过程中关键点的检测方法只能检测一种规格硅酸盐晶体阵列产生的光信号得到的输入图像中的关键点，因此，其普及应用性较低。

发明内容

基于此，有必要针对上述技术问题，提供一种能够有效提高普及应用性的关键点检测方法、装置、计算机设备和存储介质。

第一方面，一种关键点检测方法，所述方法包括：

获取原始图像和原始图像中待预测的多个关键点的当前位置坐标；

将原始图像和各关键点的当前位置坐标，输入至预设的检测网络，得到各关键点的位移向量；

根据各关键点的位移向量更新各关键点的当前位置坐标，得到各关键点的目标位置坐标。

在其中一个实施例中，根据各关键点的位移向量更新各关键点的当前位置坐标，得到各关键点的目标位置坐标，包括：

根据各关键点的位移向量更新各关键点的当前位置坐标；

判断各关键点的位移向量是否小于预设阈值；

若大于，则基于更新后的各关键点的当前位置坐标，返回执行将原始图像和各关键点的当前位置坐标，输入至预设的检测网络，得到各关键点的位移向量的步骤；

若小于，则将更新后的各关键点的当前位置坐标确定为各关键点的目标位置坐标。

在其中一个实施例中，检测网络包括图像特征提取网络、区域特征提取网络和预测位移网络，将原始图像和各关键点的当前位置坐标输入至预设的检测网络，得到各关键点的位移向量，包括：

将原始图像输入至图像特征提取网络，得到原始图像的特征图像；

将特征图像和各关键点的当前位置坐标输入至区域特征提取网络，得到各关键点对应的感兴趣区域特征图像；

将各感兴趣区域特征图像和各关键点的位置特征输入至预测位移网络，得到各关键点的位移向量；关键点的位置特征为与关键点相邻关键点的位置坐标。

在其中一个实施例中，将特征图像和各关键点的当前位置坐标输入至区域特征提取网络，得到各关键点对应的感兴趣区域特征图像，包括：

根据各关键点的当前位置坐标和各关键点的类型，确定各关键点对应的感兴趣区域；关键点的类型用于表示关键点在原始图像中的位置；

将各关键点对应的感兴趣区域和特征图像输入至区域特征提取网络，得到各感兴趣区域特征图像。

在其中一个实施例中，预测位移网络包括多个不同类型的预测位移子网络，将各感兴趣区域特征图像和各关键点的位置特征输入至预测位移网络，得到各关键点的位移向量，包括：

将各感兴趣区域特征图像和各关键点的位置特征输入至与各关键点的类型对应的预测位移子网络，得到各关键点的位移向量；关键点的类型与预测位移子网络的类型对应。

在其中一个实施例中，根据各关键点的位移向量更新各关键点的当前位置坐标，包括：

将各关键点的位移向量与各关键点的当前位置坐标进行加法运算，得到更新后的各关键点的当前位置坐标。

在其中一个实施例中，获取原始图像中待预测的多个关键点的当前位置坐标，包括：

根据原始图像中多个关键点的排布规格确定各关键点的类型；

根据各关键点的类型预测各关键点的当前位置坐标。

在其中一个实施例中，将原始图像和各关键点的当前位置坐标输入至预设的检测网络之前，还包括：

对原始图像进行预处理；预处理包括图像归一化、高斯滤波、降噪处理中的至少一种。

在其中一个实施例中，训练检测网络的方法，包括：

获取样本图像；样本图像中标记有多个关键点的位置坐标；

获取各关键点的先验位置坐标；

将样本图像和各关键点的先验位置坐标输入至待训练的检测网络，训练待训练的检测网络，直至待训练的检测网络输出的位移结果与标记的各关键点的位置坐标的差别小于预设阈值为止，得到检测网络。

第二方面，一种关键点检测装置，所述装置包括：

第一获取模块，用于获取原始图像和原始图像中待预测的多个关键点的当前位置坐标；

检测模块，用于将原始图像和各关键点的当前位置坐标，输入至预设的检测网络，得到各关键点的位移向量；

更新模块，用于根据各关键点的位移向量更新各关键点的当前位置坐标，得到各关键点的目标位置坐标。

第三方面，一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现第一方面任一实施例所述的关键点检测方法。

第四方面，一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面任一实施例所述的关键点检测方法。

本申请提供的一种关键点检测方法、装置、计算机设备和存储介质，通过获取原始图像和原始图像中待预测的多个关键点的当前位置坐标，再将原始图像和各关键点的当前位置坐标，输入至预设的检测网络，得到各关键点的位移向量，然后根据各关键点的位移向量更新各关键点的当前位置坐标，得到各关键点的目标位置坐标。上述关键点检测过程并没有限定原始图像中各关键点的排列方式，即说明本申请提出的关键点检测方法可以适用于对任何规格的硅酸盐晶体阵列产生的光信号得到的原始图像中的关键点检测，相比于现有的必须基于一种规格硅酸盐晶体阵列产生的光信号得到的原始图像进行关键点检测的方法，本申请提出的关键点检测方法，极大的提升了该关键点检测方法的普及应用性。

附图说明

图1为一个实施例提供的一种计算机设备的内部结构示意图；

图2为一个实施例提供的一种关键点检测方法的流程图；

图3为图2实施例中S103的另一种实现方式的流程图；

图4为图2实施例中S102的另一种实现方式的流程图；

图5为图4实施例中S302的另一种实现方式的流程图；

图6为图2实施例中S101的另一种实现方式的流程图；

图7为一个实施例提供的一种检测网络的结构示意图；

图8为一个实施例提供的一种检测网络的训练方法的流程图；

图9为一个实施例提供的一种训练网络的结构示意图；

图10为一个实施例提供的一种关键点检测装置的结构示意图；

图11为一个实施例提供的一种关键点检测装置的结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅用以解释本申请，并不用于限定本申请。

本申请提供的关键点检测方法，可以应用于如图1所示的计算机设备中。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种关键点检测方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图1中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

下面将通过实施例并结合附图具体地对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。

图2为一个实施例提供的一种关键点检测方法的流程图，该方法的执行主体为图1中的计算机设备，该方法涉及的是计算机设备检测输入图像中关键点位置，从而得到清晰的成像图像的具体过程。如图2所示，该方法具体包括以下步骤：

S101、获取原始图像和原始图像中待预测的多个关键点的当前位置坐标。

其中，原始图像表示当前需要进行关键点检测的图像，可以为一种包含任一组织结构的图像，本实施例中的该原始图像为采用正电子发射型计算机断层显像(PositronEmission Tomography,PET)设备成像时，其设备内部光电传感器采集到的光信号形成的图像，其图像上的关键点是不清楚的。多个关键点可以构成原始图像中包含的组织结构，以便之后根据关键点识别组织结构。

本实施例中，计算机设备可以安装相应的光电传感器或传感装置(例如，光电倍增传感器)采集人体内部硅酸盐晶体产生的光信号，然后将该光信号转换成电信号，之后计算机设备可以根据该电信号的强度生成原始图像。可选的，计算机设备也可以通过另外方法获取到原始图像，例如，通过类似于CT、磁共振等扫描设备直接获取原始图像，或是通过网络下载的方式获取原始图像，对此本实施例不做限定。当计算机设备获取到原始图像时，可以进一步的针对该原始图像，对该原始图像中待检测的多个关键点的位置进行预测，得到预测的多个关键点的当前位置坐标，以便之后使用。需要说明的是，当预测各关键点时，计算机设备可以根据原始图像上的各像素值的大小进行预测，可选的，计算机设备也可以根据原始图像中可能包含的组织结构的形态进行测，可选的，计算机设备也可以在原始图像上随机选取几个点的坐标位置作为多个关键点的当前坐标位置，预测关键点的当前坐标位置的方法，本实施例不做限定。

S102、将原始图像和各关键点的当前位置坐标，输入至预设的检测网络，得到各关键点的位移向量。

其中，各关键点的位移向量表示各关键点需要被移动的距离。检测网络用于检测出原始图像中的各关键点需要移动的距离，从而得到各关键点的位移向量。该检测网络可以具体采用各种类型的机器学习网络，或神经网络。在实际应用中，当计算机设备获取到原始图像和各关键点的当前位置坐标时，可以进一步的将该原始图像和各关键点的当前位置坐标，输入至预先训练好的检测网络进行各关键点的位移检测，从而得到原始图像上各关键点的位移向量，以便之后计算机设备可以根据该位移向量得到各关键点的具体位置坐标。

S103、根据各关键点的位移向量更新各关键点的当前位置坐标，得到各关键点的目标位置坐标。

其中，目标位置坐标为检测出的原始图像中各关键点的真实位置坐标。本实施例中，当计算机设备基于上述步骤得到各关键点的位移向量后，说明计算机设备获得了各关键点需要被移动的距离，因此，计算机设备即可直接根据各关键点的当前位置坐标和各关键点的位移向量，得到移动后的各关键点的目标位置坐标，相当于使用各关键点的位移向量更新各关键点的当前位置坐标，即可得到各关键点的目标位置坐标。

本实施例提供的一种关键点检测方法，通过获取原始图像和原始图像中待预测的多个关键点的当前位置坐标，再将原始图像和各关键点的当前位置坐标，输入至预设的检测网络，得到各关键点的位移向量，然后根据各关键点的位移向量更新各关键点的当前位置坐标，得到各关键点的目标位置坐标。上述关键点检测过程并没有限定原始图像中各关键点的排列方式，即说明本申请提出的关键点检测方法可以适用于对任何规格的硅酸盐晶体阵列产生的光信号得到的原始图像中的关键点检测，相比于现有的必须基于一种规格硅酸盐晶体阵列产生的光信号得到的原始图像进行关键点检测的方法，本申请提出的关键点检测方法，极大的提升了该关键点检测方法的普及应用性。

图3为图2实施例中S103的另一种实现方式的流程图，如图3所示，上述S103“根据各关键点的位移向量更新各关键点的当前位置坐标，得到各关键点的目标位置坐标”，包括：

S201、根据各关键点的位移向量更新各关键点的当前位置坐标。

当计算机设备得到各关键点的位移向量时，即可根据各关键点的位移向量更新各关键点的当前位置坐标，具体的更新方法可以是将各关键点的当前位置坐标与各关键点的位移向量进行加法运算，加法运算后的结果即为更新后的各关键点的当前位置坐标。可选地，更新方法也可以是将各关键点的当前位置坐标与各关键点的位移向量进行加权求和运算，加权求和运算后的结果即为更新后的各关键点的当前位置坐标。

S202、判断各关键点的位移向量是否小于预设阈值，若大于，则执行步骤S203，若小于或等于，则执行步骤S204。

其中，预设阈值可以由计算机设备预先根据实际应用需求定义。本实施例中，当计算机设备采用检测网络检测出原始图像中各关键点的位移向量后，还可以进一步的判断各关键点的位移向量是否小于预设阈值，然后根据判断结果，执行不同的步骤得到各关键点的目标位置坐标。

S203、基于更新后的各关键点的当前位置坐标，返回执行将原始图像和各关键点的当前位置坐标，输入至预设的检测网络，得到各关键点的位移向量的步骤。

本实施例涉及上述判断结果为各关键点的位移向量大于预设阈值的应用场景，在该种应用下，说明计算机设备此时采用检测网络检测出的各关键点的位移向量还不能满足用户需求或期望的检测精度，计算机设备还需要继续检测各关键点的位移向量，直到检测出能够满足用户需求或期望的检测精度的位移向量。在该种应用下的具体执行过程为：当计算机设备判断出各关键点的位移向量大于预设阈值时，可以将更新后的各关键点的当前位置坐标替代S102步骤中的各关键点的当前位置坐标，并返回执行S102的步骤。

S204、将更新后的各关键点的当前位置坐标确定为各关键点的目标位置坐标。

本实施例涉及上述判断结果为各关键点的位移向量小于或等于预设阈值的应用场景，在该种应用下，说明计算机设备此时采用检测网络检测出的各关键点的位移向量可以满足用户需求或期望的检测精度，那么计算机设备即可将之后基于该位移向量更新后的各关键点的当前位置坐标直接确定为各关键点的目标位置坐标。

上述实施例是一个不断将更新后的各关键点的当前位置坐标代入检测网络检测各关键点位移向量的迭代过程，该过程使更新后的各关键点的当前位置逐渐靠近各关键点的真实值，直到等于其真实值或无限的靠近了真实值为止。上述迭代过程进一步的提高了检测精度。

在一些应用环境中，上述检测网络具体包括图像特征提取网络、区域特征提取网络和预测位移网络，在该种应用下，上述S102“将原始图像和各关键点的当前位置坐标输入至预设的检测网络，得到各关键点的位移向量”，如图4所示，可以具体包括：

S301、将原始图像输入至图像特征提取网络，得到原始图像的特征图像。

其中，图像特征提取网络用于对原始图像进行特征提取，其具体可以包括卷积神经网络、深度卷积神经网络等各种类型的神经网络，对此本实施例不作限定。本实施例中，当计算机设备获取到原始图像时，可以将该原始图像输入至预先训练好的图像特征提取网络，得到输出的原始图像的特征图像。

S302、将特征图像和各关键点的当前位置坐标输入至区域特征提取网络，得到各关键点对应的感兴趣区域特征图像。

其中，区域特征提取网络用于对特征图像中的感兴趣区域图像进行提取，其具体可以包括卷积神经网络、深度卷积神经网络等各种类型的神经网络，，对此本实施例不作限定。本实施例中，当计算机设备获取到原始图像中各关键点的当前位置坐标时，可以进一步的根据各关键点的当前位置坐标确定各关键点的感兴趣区域，然后将该感兴趣区域和获取到的原始图像的特征图像输入至预先训练好的区域特征提取网络，得到各关键点对应的感兴趣区域特征图像。

S303、将各感兴趣区域特征图像和各关键点的位置特征输入至预测位移网络，得到各关键点的位移向量；关键点的位置特征为与关键点相邻关键点的位置坐标。

其中，预测位移网络用于根据各关键点对应的感兴趣区域特征图像和各关键点的位置特征，预测各关键点的位移向量，其具体可以包括卷积神经网络、深度卷积神经网络等各种类型的神经网络，对此本实施例不作限定。

本实施例中，计算机设备可以先根据原始图像中各关键点的当前位置坐标得到与各关键点相邻关键点的位置坐标，再根据与各关键点相邻关键点的位置坐标得到各关键点的位置特征。当计算机设备获取到各关键点的位置特征和各关键点对应的感兴趣区域特征图像后，可以进一步的将各感兴趣区域特征图像和各关键点的位置特征输入至预先训练好的预测位移网络，得到各关键点的位移向量。

图5为图4实施例中S302的另一种实现方式的流程图，如图5所示，上述S302“将特征图像和各关键点的当前位置坐标输入至区域特征提取网络，得到各关键点对应的感兴趣区域特征图像”，包括：

S401、根据各关键点的当前位置坐标和各关键点的类型，确定各关键点对应的感兴趣区域；关键点的类型用于表示关键点在原始图像中的位置。

其中，关键点的类型可以根据实际定义需求包括多种类型，例如，关键点的类型可以包括角点类型的关键点、左右边界点类型的关键点、上下边界点类型的关键点、内部点类型的关键点等。本实施例中，当计算机设备获取到原始图像中各关键点的当前位置坐标时，还可以根据各关键点的当前位置坐标确定各关键点的类型，再相应的根据各关键点的类型和各关键点的当前位置坐标确定各关键点对应的感兴趣区域，例如，有一个关键点的当前位置坐标为(0,0)，且该关键点为内部中心点类型的关键点，则其对应的感兴趣区域可以是以点(0,0)为中心，r＝2为半径的矩形区域。

S402、将各关键点对应的感兴趣区域和特征图像输入至区域特征提取网络，得到各感兴趣区域特征图像。

当计算机设备基于上述方法获取到各关键点对应的感兴趣区域时，可以进一步的将各关键点对应的感兴趣区域和获取到的原始图像的特征图像输入至预先训练好的区域特征提取网络进行区域图像提取，得到各关键点对应的感兴趣区域特征图像。

在一些应用环境中，上述预测位移网络包括多个不同类型的预测位移子网络，在该种应用下，上述S303“将各感兴趣区域特征图像和各关键点的位置特征输入至预测位移网络，得到各关键点的位移向量”，可以具体包括步骤：将各感兴趣区域特征图像和各关键点的位置特征输入至与各关键点的类型对应的预测位移子网络，得到各关键点的位移向量；关键点的类型与预测位移子网络的类型对应。

本实施例涉及的应用场景为：预测位移网络包括多个不同类型的预测位移子网络，在该种应用下，当计算机设备基于上述S402的步骤获取到各关键点对应的感兴趣区域特征图像，以及获取到各关键点的位置特征时，可以先根据各关键点的位置特征确定与各关键点的位置特征对应的预测位移子网络，然后将各关键点对应的感兴趣区域特征图像输入至与各关键点的位置特征对应的预测位移子网络进行位移预测，得到各关键点的位移向量。本实施例中，计算机设备根据不同的关键点的位置特征对应选择不同的预测位移子网络进行位移预测，使得每种类型的预测位移子网络与每种关键点的位置特征匹配，使得各预测位移子网络预测出的关键点的位移向量更加靠近该关键点的真实位置，提高了各关键点位移向量的预测准确度，同时也提高了关键点的检测效率。

在一个实施例中，本申请给出了上述S103的具体实现方式，上述S103“根据各关键点的位移向量更新各关键点的当前位置坐标”，包括：将各关键点的位移向量与各关键点的当前位置坐标进行加法运算，得到更新后的各关键点的当前位置坐标。可选的，上述S103“根据各关键点的位移向量更新各关键点的当前位置坐标”，也可以包括：将各关键点的位移向量进行加权后，再与各关键点的当前位置坐标进行加法运算，得到更新后的各关键点的当前位置坐标。可选的，也可以将各关键点的当前位置坐标进行加权后，再与各关键点的位移向量进行加法运算，得到更新后的各关键点的当前位置坐标。

图6为图2实施例中S101的另一种实现方式的流程图，如图6所示，上述S101“获取原始图像中待预测的多个关键点的当前位置坐标”，包括：

S501、根据原始图像中多个关键点的排布规格确定各关键点的类型。

其中，原始图像中多个关键点的排布规格与硅酸盐晶体阵列或光电传感器阵列的类型相关，例如，若硅酸盐晶体阵列为5×6的阵列，则对应的原始图像中多个关键点的排布规格为5×6，若硅酸盐晶体阵列为7×8的阵列，则对应的原始图像中多个关键点的排布规格为7×8。当计算机设备根据硅酸盐晶体阵列或光电传感器阵列的类型确定原始图像中多个关键点的排布规格后，即可根据多个关键点的排布规格确定各关键点的类型，例如，若多个关键点的排布规格为3×3，则对应的各关键点的类型包括：4个角点、4个边缘点、1个内部点。

S502、根据各关键点的类型预测各关键点的当前位置坐标。

当计算机设备确定原始图像中各关键点的类型后，即可根据各关键点的类型，以及结合原始图像的尺寸，预测各关键点的当前位置坐标。例如，若多个关键点的排布规格为3×3，则对应的各关键点的类型包括：4个角点、4个边缘点、1个内部点，若内部点的位置坐标为(0,0)，则预测4个角点的位置坐标为(-1,1)、(-1,-1)、(1,-1)、(1,1)；4个边缘点的位置坐标为(0,1)、(-1,0)、(1,0)、(0,-1)。

在实际应用中，计算机设备在执行上述S102的步骤之前，计算机设备还需要对输入的原始图像进行图像处理，因此，上述S102“将原始图像和各关键点的当前位置坐标输入至预设的检测网络”之前，图2实施例所述的关键点检测方法还包括：对原始图像进行预处理；预处理包括图像归一化、高斯滤波、降噪处理中的至少一种。

在实际应用中，上述原始图像的数据是通过光电传感器采集的光信号转换为电信号得到的。但是，光信号的强度往往变化比较大，光电传感器位置的偏差，设备的老化，患者注射造影剂的时间不同，都会导致光信号的强度发生较大变化，导致电信号的强度变化较大。此外，由于PET往往结合CT同时工作，采集到的信号受强磁场和其他复杂扰动的影响，也会产生高频率的小幅噪声，不利于神经网络的学习。本实施例在对原始图像进行检测之前，需要对采集的原始图像进行预处理，包括图像归一化，和高斯滤波，降噪处理等，使原始图像的图像特征更加鲜明，降低检测难度。

基于上述实施例所述的方法，本申请还提供了一种检测网络，如图7所示，该检测网络包括：图像特征提取网络、区域特征提取网络、预测位移网络、加法器，其中预测位移网络包括多个分支的预测位移子网络。图像特征提取网络用于对输入的原始图像进行特征提取，得到原始图像的特征图像；区域特征提取网络用于根据输入的特征图像和各关键点的当前位置坐标，对输入的特征图像中各关键点的感兴趣区域图像进行提取，得到各关键点的感兴趣区域特征图像；预测位移网络用于预测各关键点的位移向量，各预测位移子网络用于针对各关键点的感兴趣区域特征图像和各关键点的位置特征，对各关键点进行位移向量预测，得到各关键点的位移向量；加法器用于将各关键点的位移向量与各关键点的当前位置坐标进行加法运算，以更新各关键点的当前位置坐标。关于应用上述检测网络进行检测的方法可参见前述实施例的说明，在此不重复累赘说明。

上述图2-6实施例为应用方法的实施例，本申请还提供了一种训练方法的实施例，如图8所示，图8为一个实施例提供的一种检测网络的训练方法的流程图，该方法包括：

S601、获取样本图像；样本图像中标记有多个关键点的位置坐标。

其中，样本图像表示当前需要进行训练时使用的图像，其上预先由计算机设备标记了多个关键点的位置坐标。本实施例中，计算机设备获取需要训练的图像和图2实施例中获取样本图像的方式一致，详细内容请参见前述说明，在此不重复累赘说明。需要说明的是，当计算机设备获取到需要训练的图像时，进行标记后即可得到样本图像。

S602、获取各关键点的先验位置坐标。

其中，各关键点的先验位置坐标等同于图2实施例中S101中的待预测的多个关键点的当前位置坐标，因此，获取各关键点的先验位置坐标的方式请参见前述S101的步骤说明，在此不重复累赘说明。

S603、将样本图像和各关键点的先验位置坐标输入至待训练的检测网络，训练待训练的检测网络，直至待训练的检测网络输出的位移结果与标记的各关键点的位置坐标的差别小于预设阈值为止，得到检测网络。

其中，待训练的检测网络输出的位移结果为当前检测出的各关键点的位置坐标。当计算机设备获取到样本图像和各关键点的先验位置坐标时，可以将该样本图像和各关键点的先验位置坐标输入至待训练的检测网络，开始训练待训练的检测网络，在训练的过程中，每次待训练的检测网络输出各关键点的位移结果时，将各关键点的位移结果与真实值，即样本图像中标记的各关键点的位置坐标进行比较，若各关键点的位移结果与真实值之间的偏差小于预设阈值，停止训练，若各关键点的位移结果的偏差大于或等于预设阈值，继续调整检测网络中的参数，训练检测网络，直至各关键点的位移结果与真实值之间的偏差小于预设阈值为止。

基于上述实施例所述的方法，本申请还提供了一种训练网络，如图9所示，该训练网络包括：待训练的特征提取网络、待训练的区域特征提取网络、待训练的预测位移网络。各网络的功能参见图7实施例的说明，在此不重复累赘说明。

应该理解的是，虽然图2-6、图8的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-6、图8中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行。

在一个实施例中，如图10所示，提供了一种关键点检测装置，包括：第一获取模块11、检测模块12和更新模块13，其中：

第一获取模块11，用于获取原始图像和原始图像中待预测的多个关键点的当前位置坐标；

检测模块12，用于将原始图像和各关键点的当前位置坐标，输入至预设的检测网络，得到各关键点的位移向量；

更新模块13，用于根据各关键点的位移向量更新各关键点的当前位置坐标，得到各关键点的目标位置坐标。

上述实施例提供的一种关键点检测装置，其实现原理和技术效果与上述方法实施例类似，在此不在累赘。

在一个实施例中，如图11所示，提供了一种检测网络的训练装置，该装置包括：第二获取模块21、第三获取模块22和训练模块23，其中：

第二获取模块21，用于获取样本图像；样本图像中标记有多个关键点的位置坐标；

第三获取模块22，用于获取各关键点的先验位置坐标；

训练模块23，用于将样本图像和各关键点的先验位置坐标输入至待训练的检测网络，训练待训练的检测网络，直至待训练的检测网络输出的位移结果与标记的各关键点的位置坐标的差别小于预设阈值为止，得到检测网络。

上述实施例提供的一种检测网络的训练装置，其实现原理和技术效果与上述方法实施例类似，在此不在累赘。

关于关键点检测装置的具体限定可以参见上文中对于一种关键点检测方法的限定，在此不再赘述。上述关键点检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

获取原始图像和原始图像中待预测的多个关键点的当前位置坐标；

将原始图像和各关键点的当前位置坐标，输入至预设的检测网络，得到各关键点的位移向量；

根据各关键点的位移向量更新各关键点的当前位置坐标，得到各关键点的目标位置坐标。

上述实施例提供的一种计算机设备，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时还实现以下步骤：

获取原始图像和原始图像中待预测的多个关键点的当前位置坐标；

将原始图像和各关键点的当前位置坐标，输入至预设的检测网络，得到各关键点的位移向量；

根据各关键点的位移向量更新各关键点的当前位置坐标，得到各关键点的目标位置坐标。

上述实施例提供的一种计算机可读存储介质，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双倍数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种关键点检测方法，其特征在于，所述方法包括：

获取原始图像和所述原始图像中待预测的多个关键点的当前位置坐标；

将所述原始图像、各所述关键点的位置特征和各所述关键点的当前位置坐标，输入至预设的检测网络，得到各所述关键点的位移向量；所述关键点的位置特征为与所述关键点相邻关键点的位置坐标；所述检测网络包括图像特征提取网络、区域特征提取网络和预测位移网络；

根据各所述关键点的位移向量更新各所述关键点的当前位置坐标，得到各所述关键点的目标位置坐标；

所述将所述原始图像、各所述关键点的位置特征和各所述关键点的当前位置坐标，输入至预设的检测网络，得到各所述关键点的位移向量，包括：

将所述原始图像输入至所述图像特征提取网络，得到所述原始图像的特征图像；

将所述特征图像和各所述关键点的当前位置坐标输入至所述区域特征提取网络，得到各所述关键点对应的感兴趣区域特征图像；

将各所述感兴趣区域特征图像和各所述关键点的位置特征输入至所述预测位移网络，得到各所述关键点的位移向量。

2.根据权利要求1所述的方法，其特征在于，所述根据各所述关键点的位移向量更新各所述关键点的当前位置坐标，得到各所述关键点的目标位置坐标，包括：

根据各所述关键点的位移向量更新各所述关键点的当前位置坐标；

判断各所述关键点的位移向量是否小于预设阈值；

若大于，则基于更新后的各所述关键点的当前位置坐标，返回执行所述将所述原始图像、各所述关键点的位置特征和各所述关键点的当前位置坐标，输入至预设的检测网络，得到各所述关键点的位移向量的步骤；

若小于或等于，则将更新后的各所述关键点的当前位置坐标确定为各所述关键点的目标位置坐标。

3.根据权利要求1所述的方法，其特征在于，所述将所述特征图像和各所述关键点的当前位置坐标输入至所述区域特征提取网络，得到各所述关键点对应的感兴趣区域特征图像，包括：

根据各所述关键点的当前位置坐标和各所述关键点的类型，确定各所述关键点对应的感兴趣区域；所述关键点的类型用于表示所述关键点在所述原始图像中的位置；

将各所述关键点对应的感兴趣区域和所述特征图像输入至所述区域特征提取网络，得到各所述感兴趣区域特征图像。

4.根据权利要求1所述的方法，其特征在于，所述预测位移网络包括多个不同类型的预测位移子网络，所述将各所述感兴趣区域特征图像和各所述关键点的位置特征输入至所述预测位移网络，得到各所述关键点的位移向量，包括：

将各所述感兴趣区域特征图像和各所述关键点的位置特征输入至与各所述关键点的类型对应的预测位移子网络，得到各所述关键点的位移向量；所述关键点的类型与所述预测位移子网络的类型对应。

5.根据权利要求1或2所述的方法，其特征在于，所述根据各所述关键点的位移向量更新各所述关键点的当前位置坐标，包括：

将各所述关键点的位移向量与各所述关键点的当前位置坐标进行加法运算，得到更新后的各所述关键点的当前位置坐标。

6.根据权利要求1所述的方法，其特征在于，获取所述原始图像中待预测的多个关键点的当前位置坐标，包括：

根据所述原始图像中多个关键点的排布规格确定各所述关键点的类型；

根据各所述关键点的类型预测各所述关键点的当前位置坐标。

7.根据权利要求1所述的方法，其特征在于，所述将所述原始图像和各所述关键点的当前位置坐标输入至预设的检测网络之前，还包括：

对所述原始图像进行预处理；所述预处理包括图像归一化、高斯滤波、降噪处理中的至少一种。

8.根据权利要求1所述的方法，其特征在于，训练所述检测网络的方法，包括：

获取样本图像；所述样本图像中标记有多个关键点的位置坐标；

获取各所述关键点的先验位置坐标；

将所述样本图像和各所述关键点的先验位置坐标输入至待训练的检测网络，训练所述待训练的检测网络，直至所述待训练的检测网络输出的位置坐标与标记的各关键点的位置坐标的差别小于预设阈值为止，得到所述检测网络。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。