CN108230390B - 训练方法、关键点检测方法、装置、存储介质和电子设备 - Google Patents

Abstract

本发明实施例提供一种训练方法、关键点检测方法、装置、存储介质和电子设备。一种深度神经网络的训练方法包括：通过深度神经网络获取样本图像的第一特征数据和第二特征数据；根据样本图像的物体关键点的位置标注信息以及第一特征数据、第二特征数据，确定第一差异和第二差异，第一差异用于表征关键点所在区域的检测误差，第二差异用于表征关键点位置的检测误差；根据第一差异和所述第二差异，训练所述深度神经网络。训练得到的深度神经网络能够在实际执行物体检测前，先行较准确地进行一种或多种物体的物体关键点的检测。在物体关键点的检测中，不需要受限于在现有物体关键点检测方式中在前的物体检测的准确性，并且具有通用性。

Description

训练方法、关键点检测方法、装置、存储介质和电子设备

技术领域

本发明实施例涉及图像处理技术，尤其涉及一种深度神经网络的训练方 法、物体关键点检测方法、计算机可读存储介质、装置和电子设备。

背景技术

物体关键点检测涉及从给定的图像检测出图像中物体的关键点位置。对 于在图像中存在多个物体的情况，既要确定关键点的位置，还要确定哪些关 键点属于哪个物体。对于人和动物来说，通常将人/动物的重要部位和关节处 确定为人/动物的关键点。

在当前的物体关键点检测方法中，先通过物体检测方法检测出每个物体 的外接矩形框的位置，基于这些外接矩形框将各个物体从图像中切出，再逐 一对各个物体进行关键点检测。这种关键点检测方法依赖于物体检测的结果， 其准确率也直接受到物体检测准确率的影响。

发明内容

本发明实施例的目的在于，提供一种物体关键点检测技术。

根据本发明实施例的第一方面，提供一种深度神经网络的训练方法，包 括：通过深度神经网络获取样本图像的第一特征数据和第二特征数据，所述 样本图像携带有目标物体的物体关键点的位置标注信息，所述第一特征数据 用于表征各图像区域内含有物体关键点的概率信息，所述第二特征数据用于 表征预测点的位置信息，所述预测点为预测作为所述物体关键点的像素点； 根据所述位置标注信息以及第一特征数据、第二特征数据，确定第一差异和 第二差异，所述第一差异用于表征关键点所在区域的检测误差，所述第二差 异用于表征关键点位置的检测误差；根据所述第一差异和所述第二差异，训 练所述深度神经网络。

可选地，所述第一特征数据包括第一特征图，所述第一特征图中的各个 第一特征点指示所述第一特征点对应的图像区域内含有物体关键点的概率信 息。

可选地，所述根据所述位置标注信息以及第一特征数据，确定第一差异 包括：根据所述物体关键点的位置标注信息，确定所述第一特征点对应的图 像区域内是否含有所述物体关键点；根据所述图像区域内是否含有所述物体 关键点的确认结果确定所述第一差异。

可选地，所述根据物体关键点的位置标注信息以及相应的第二特征数据， 确定指示关键点位置检测的第二差异包括：对于确定含有所述物体关键点的 图像区域，根据所述物体关键点的位置标注信息以及对应于所述图像区域中 预测点的位置信息确定所述第二差异。

可选地，所述通过所述深度神经网络获取样本图像的第一特征数据包括： 通过所述深度神经网络获取样本图像的第一个数的第一特征图，所述第一个 数为所述目标物体的物体关键点的个数，每个目标物体的物体关键点对应于 一个第一特征图。

可选地，所述通过所述深度神经网络获取样本图像的第二特征数据包括： 通过所述深度神经网络获取样本图像的第二个数的第二特征图，所述第二个 数为所述第一个数的两倍，每个物体关键点对应两个第二特征图，所述两个 第二特征图分别指示所述样本图像中的预测点在水平方向和竖直方向上的位 置信息。

可选地，所述预测点的位置信息包括所述预测点相对于其在所述样本图 像中对应的图像区域的中心的横坐标和/或纵坐标的信息。

可选地，所述样本图像还携带有一个或多个目标物体的外接矩形框的区 域标注信息；所述通过用于检测物体关键点的深度神经网络获取样本图像的 第一特征数据和第二特征数据还包括：通过所述深度神经网络获取样本图像 的第三特征数据，所述第三特征数据用于表征各个图像区域内含有所述目标 物体的中心点的概率信息。

可选地，所述第三特征数据包括第三特征图，所述第三特征图中的各个 第三特征点指示所述第三特征点对应的图像区域内含有所述目标物体的中心 点的概率信息。

可选地，根据物体关键点的位置标注信息以及相应的第一特征数据和第 二特征数据，确定用于指示关键点所在区域检测的第一差异以及用于指示关 键点位置检测的第二差异包括：根据所述目标物体的外接矩形框的区域标注 信息确定所述第三特征图中的各个第三特征点对应的图像区域内是否含有所 述目标物体的中心点；如果确定所述第三特征图中的任一第三特征点对应的 所述样本图像中的图像区域内含有所述目标物体的中心点，则根据所述物体 关键点的位置标注信息确定所述第一特征图中的各个第一特征点对应的图像 区域内是否含有所述物体关键点；如果确定所述第三特征图中的任一第三特征点对应的所述样本图像中的图像区域内含有所述目标物体的中心点并且第 一特征图中存在其对应的所述样本图像中的图像区域含有所述物体关键点的 第一特征点，则生成指示检测正确的第一差异的信息；如果确定所述第三特 征图中的全部第三特征点对应的图像区域均不含有所述目标物体的中心点或 者第一特征图中的全部第三特征点对应的所述样本图像中的图像区域内均不 含有所述物体关键点，则生成指示检测错误的第一差异的信息；对于确定含 有所述物体关键点的图像区域，根据所述物体关键点的位置标注信息以及所 述第二特征数据中对应于所述图像区域中预测点的位置信息确定所述第二差 异。

根据本发明实施例的第二方面，还提供一种物体关键点检测方法，包括： 通过深度神经网络获取待检图像的第一特征数据和第二特征数据，所述第一 特征数据用于表征各图像区域内含有物体关键点的概率信息，所述第二特征 数据用于表征预测点的位置信息，所述预测点为预测作为所述物体关键点的 像素点，所述深度神经网络通过前述任一训练方法训练获得；根据所述第一 特征数据和所述第二特征数据，确定物体关键点的位置，其中，根据所述第 一特征数据，确定所述待检图像中含有所述物体关键点的图像区域，则根据 含有所述物体关键点的图像区域以及所述第二特征数据，确定相应的预测点 的位置。

可选地，所述通过深度神经网络获取待检图像的第一特征数据包括：通 过所述深度神经网络获取待检图像的第一个数的第一特征图，所述第一个数 为所述目标物体的物体关键点的个数，每个所述目标物体的物体关键点对应 于一个所述第一特征图。

可选地，所述通过深度神经网络获取待检图像的第二特征数据包括：通 过所述深度神经网络获取待检图像的第二个数的第二特征图，所述第二个数 为所述第一个数的两倍，每个物体关键点对应两个第二特征图，所述两个特 征图分别指示所述预测点在水平方向和竖直方向上的位置信息。

可选地，所述预测点的位置信息包括所述预测点相对于其在所述待检图 像中对应的图像区域的中心的横坐标或纵坐标的信息。

可选地，所述根据所述第一特征数据和所述第二特征数据，确定物体关 键点的位置包括：根据各个所述第一特征图中各个第一特征点对应的图像区 域内含有相应的物体关键点的概率信息，确定所述待检图像中含有所述物体 关键点的图像区域；根据所述图像区域对应的所述第二特征图中的预测点的 位置信息确定所述物体关键点的位置。

可选地，所述通过深度神经网络获取待检图像的第一特征数据和第二特 征数据还包括：通过所述深度神经网络获取待检图像的第三特征图，所述第 三特征图指示所述待检图像中的各个图像区域内含有所述目标物体的中心点 的概率信息。

可选地，在根据所述第一特征数据，确定所述待检图像中是否含有所述 物体关键点之前，还包括：根据所述第三特征图中的各个第三特征点对应的 待检图像中的图像区域内含有所述目标物体的中心点的概率信息，确定所述 待检图像中是否存在所述目标物体；如果确定不存在所述目标物体，则结束 所述方法的处理。

可选地，所述方法还包括：如果确定所述待检图像中存在所述目标物体， 则根据所述第一特征数据和所述第二特征数据，确定第三特征点对应的图像 区域内物体关键点的位置。

可选地，所述根据所述第一特征数据和所述第二特征数据，确定第三特 征点对应的图像区域内物体关键点的位置包括：如果确定所述待检图像中存 在多于一个所述目标物体，则迭代地执行以下操作：选择在第三特征图中尚 未被选取的概率信息最大的第三特征点，根据所述第一特征图和所述第二特 征图确定第三特征点对应的待检图像中的图像区域内各个预测点的位置，计 算各个预测点之间的距离以及计算出的距离的平均值；如果任一预测点与相 邻预测点之间的距离小于所述平均值，则确定在所述任一预测点的位置不存 在物体关键点。

根据本发明实施例的第四方面，还提供一种深度神经网络的训练装置， 包括：特征检测模块，用于通过深度神经网络获取样本图像的第一特征数据 和第二特征数据，所述样本图像携带有目标物体的物体关键点的位置标注信 息，所述第一特征数据用于表征各图像区域内含有物体关键点的概率信息， 所述第二特征数据用于表征预测点的位置信息，所述预测点为预测作为所述 物体关键点的像素点；差异确定模块，用于根据所述位置标注信息以及第一 特征数据、第二特征数据，确定第一差异和第二差异，所述第一差异用于表征关键点所在区域的检测误差，所述第二差异用于表征关键点位置的检测误 差；训练模块，用于根据所述第一差异和所述第二差异，训练所述深度神经 网络。

可选地，所述第一特征数据包括第一特征图，所述第一特征图中的各个 第一特征点指示所述第一特征点对应的图像区域内含有物体关键点的概率信 息。

可选地，所述差异确定模块包括：关键点区域检测单元，用于根据所述 物体关键点的位置标注信息，确定所述第一特征点对应的图像区域内是否含 有所述物体关键点；第一差异确定单元，用于根据所述图像区域内是否含有 所述物体关键点的确认结果确定所述第一差异。

可选地，所述差异确定模块还包括：第二差异确定单元，用于对于确定 含有所述物体关键点的图像区域，根据所述物体关键点的位置标注信息以及 对应于所述图像区域中预测点的位置信息确定所述第二差异。

可选地，所述特征检测模块包括：第一特征图检测单元，用于通过所述 深度神经网络获取样本图像的第一个数的第一特征图，所述第一个数为所述 目标物体的物体关键点的个数，每个目标物体的物体关键点对应于一个第一 特征图。

可选地，所述特征检测模块还包括：第二特征图检测单元，用于通过所 述深度神经网络获取样本图像的第二个数的第二特征图，所述第二个数为所 述第一个数的两倍，每个物体关键点对应两个第二特征图，所述两个第二特 征图分别指示所述样本图像中的预测点在水平方向和竖直方向上的位置信息。

可选地，所述预测点的位置信息包括所述预测点相对于其在所述样本图 像中对应的图像区域的中心的横坐标和/或纵坐标的信息。

可选地，所述样本图像还携带有一个或多个目标物体的外接矩形框的区 域标注信息；所述特征检测模块还包括：第三特征图检测单元，用于通过所 述深度神经网络获取样本图像的第三特征数据，所述第三特征数据用于表征 各个图像区域内含有所述目标物体的中心点的概率信息。

可选地，所述第三特征数据包括第三特征图，所述第三特征图中的各个 第三特征点指示所述第三特征点对应的图像区域内含有所述目标物体的中心 点的概率信息。

可选地，所述差异确定模块包括：中心点检测单元，用于根据所述目标 物体的外接矩形框的区域标注信息确定所述第三特征图中的各个第三特征点 对应的图像区域内是否含有所述目标物体的中心点；第一处理单元，用于如 果确定所述第三特征图中的任一第三特征点对应的所述样本图像中的图像区 域内含有所述目标物体的中心点，则根据所述物体关键点的位置标注信息确 定所述第一特征图中的各个第一特征点对应的图像区域内是否含有所述物体 关键点；第二处理单元，用于如果确定所述第三特征图中的任一第三特征点 对应的所述样本图像中的图像区域内含有所述目标物体的中心点并且第一特 征图中存在其对应的所述样本图像中的图像区域含有所述物体关键点的第一 特征点，则生成指示检测正确的第一差异的信息；第三处理单元，用于如果 确定所述第三特征图中的全部第三特征点对应的图像区域均不含有所述目标 物体的中心点或者第一特征图中的全部第三特征点对应的所述样本图像中的 图像区域内均不含有所述物体关键点，则生成指示检测错误的第一差异的信 息；第四处理单元，用于对于确定含有所述物体关键点的图像区域，根据所 述物体关键点的位置标注信息以及所述第二特征数据中对应于所述图像区域中预测点的位置信息确定所述第二差异。

根据本发明实施例的第三方面，还提供一种物体关键点检测装置，包括： 特征获取模块，用于通过深度神经网络获取待检图像的第一特征数据和第二 特征数据，所述第一特征数据用于表征各图像区域内含有物体关键点的概率 信息，所述第二特征数据用于表征预测点的位置信息，所述预测点为预测作 为所述物体关键点的像素点，所述深度神经网络通过前述任一训练方法训练 获得；关键点检测模块，用于根据所述第一特征数据和所述第二特征数据， 确定物体关键点的位置，包括：区域检测单元，用于根据所述第一特征数据， 确定所述待检图像中含有所述物体关键点的图像区域；位置确定单元，用于 根据含有所述物体关键点的图像区域以及所述第二特征数据，确定所述物体 关键点的位置。

可选地，所述特征获取模块包括：第一特征图获取单元，用于通过所述 深度神经网络获取待检图像的第一个数的第一特征图，所述第一个数为所述 目标物体的物体关键点的个数，每个所述目标物体的物体关键点对应于一个 所述第一特征图。

可选地，，所述特征获取模块还包括：第二特征图获取单元，用于通过 所述深度神经网络获取待检图像的第二个数的第二特征图，所述第二个数为 所述第一个数的两倍，每个物体关键点对应两个第二特征图，所述两个特征 图分别指示所述预测点在水平方向和竖直方向上的位置信息。

可选地，所述预测点的位置信息包括所述预测点相对于其在所述待检图 像中对应的图像区域的中心的横坐标或纵坐标的信息。

可选地，所述区域检测单元用于根据各个所述第一特征图中各个第一特 征点对应的图像区域内含有相应的物体关键点的概率信息，确定所述待检图 像中含有所述物体关键点的图像区域；所述位置确定单元用于根据所述图像 区域对应的所述第二特征图中的预测点的位置信息确定所述物体关键点的位 置。

可选地，所述特征获取模块还包括：第三特征图获取单元，用于通过所 述深度神经网络获取待检图像的第三特征图，所述第三特征图指示所述待检 图像中的各个图像区域内含有所述目标物体的中心点的概率信息。

可选地，在所述区域检测单元根据所述第一特征数据，确定所述待检图 像中含有所述物体关键点的图像区域之前，所述装置还包括：物体预测模块， 用于根据所述第三特征图中的各个第三特征点对应的图像区域内含有所述目 标物体的中心点的概率信息，确定所述待检图像中是否存在所述目标物体； 预测结束处理模块，用于如果确定不存在所述目标物体，则结束所述方法的 处理。

可选地，所述装置还包括：预测处理控制模块，用于如果确定所述待检 图像中存在所述目标物体，则根据所述第一特征数据和所述第二特征数据， 确定第三特征点对应的图像区域内物体关键点的位置。

可选地，所述预测处理控制模块用于：如果确定所述待检图像中存在多 于一个所述目标物体，则迭代地执行以下操作：选择在第三特征图中尚未被 选取的概率信息最大的第三特征点，根据所述第一特征图和所述第二特征图 确定第三特征点对应的待检图像中的图像区域内各个预测点的位置，计算各 个预测点之间的距离以及计算出的距离的平均值；如果任一预测点与相邻预 测点之间的距离小于所述平均值，则确定在所述任一预测点的位置不存在物 体关键点。

根据本发明实施例的第五方面，还提供一种计算机可读存储介质，其上 存储有计算机程序指令，其中，所述程序指令被处理器执行时实现前述任一 深度神经网络的训练方法的步骤。

根据本发明实施例的第六方面，还提供一种计算机可读存储介质，其上 存储有计算机程序指令，其中，所述程序指令被处理器执行时实现前述任一 述物体关键点检测方法的步骤。

根据本发明实施例的第七方面，还提供一种电子设备，包括：处理器、 存储器、通信元件和通信总线，所述处理器、所述存储器和所述通信元件通 过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令， 所述可执行指令使所述处理器执行前述任一深度神经网络的训练方法对应的 操作。

根据本发明实施例的第八方面，还提供一种电子设备，包括：处理器、 存储器、通信元件和通信总线，所述处理器、所述存储器和所述通信元件通 过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令， 所述可执行指令使所述处理器执行前述任一物体关键点检测方法对应的操作。

根据本发明实施例提供的深度神经网络的训练方案，通过为每个样本图 像生成用于表征各图像区域内含有物体关键点的概率信息的第一特征数据和 用于表征预测点的位置信息的第二特征数据；再根据样本图像的位置标注信 息以及第一特征数据、第二特征数据，确定表征关键点所在区域的检测误差 的第一差异和表征关键点位置的检测误差的第二差异；最后，根据所述第一 差异和所述第二差异，训练所述深度神经网络，从而使得训练得到的深度神 经网络能够在实际执行物体检测前，准确地检测物体关键点，先行较准确地 进行一种或多种物体的物体关键点的检测。在物体关键点的检测中，不需要 受限于在现有物体关键点检测方式中在前的物体检测的准确性，并且具有通 用性。

根据本发明实施例的物体关键点检测方案，通过使用前述训练方法训练 得到的用于检测物体关键点的深度神经网络，能够在对待检图像进行物体检 测之前，先行从待检图像较准确地检测出一种或多种目标物体的物体关键点。 在物体关键点的检测中，不需要受限于在前物体检测的准确性，并且具有通 用性。

附图说明

图1是示出根据本发明实施例一的深度神经网络的训练方法的流程图；

图2是示出根据本发明实施例二的深度神经网络的训练方法的流程图；

图3是示出根据本发明实施例三的深度神经网络的训练方法的流程图；

图4是示出根据本发明实施例四的物体关键点检测方法的流程图；

图5是示出根据本发明实施例五的物体关键点检测方法的流程图；

图6是示出根据本发明实施例六的物体关键点检测方法的流程图；

图7是示出根据本发明实施例七的深度神经网络的训练装置的逻辑框图；

图8是示出根据本发明实施例八的深度神经网络的训练装置的逻辑框图；

图9是示出根据本发明实施例九的深度神经网络的训练装置的逻辑框图；

图10是示出根据本发明实施例十的物体关键点检测装置的逻辑框图；

图11是示出根据本发明实施例十一的物体关键点检测装置的逻辑框图；

图12是示出根据本发明实施例十二的物体关键点检测装置的逻辑框图；

图13是示出根据本发明实施例十四的第一电子设备的结构示意图；

图14是示出根据本发明实施例十五的第二电子设备的结构示意图。

具体实施方式

下面结合附图详细描述本发明实施例的示例性实施例。

在本申请中，“多个”指两个或两个以上，“至少一个”指一个、两个 或两个以上。对于本申请中提及的任一部件、数据或结构，在没有明确限定 一个的情况下，可理解为一个或多个。

实施例一

图1是示出根据本发明实施例一的深度神经网络的训练方法的流程图。

根据本发明实施例一的深度神经网络的训练方法用于训练从图像检测物 体关键点的深度神经网络，该深度神经网络能够在尚未检测物体框的情况下 检测出物体关键点。

参照图1，在步骤S110，通过深度神经网络获取样本图像的第一特征数 据和第二特征数据，所述样本图像携带有目标物体的物体关键点的位置标注 信息，所述第一特征数据用于表征各图像区域内含有物体关键点的概率信息， 所述第二特征数据用于表征预测点的位置信息，所述预测点为预测作为所述 物体关键点的像素点。

这里，该样本图像携带有一个或多个目标物体的物体关键点的位置标注信息，其中，目标物体可以是一个或多个类别的物体，如人和狗，或人、狗和猫等，标注的物体关键点是一个或多个类别的物体的物体关键点。也就是说，本发明提出的物体关键点的检测技术适用于一种或多种物体的关键点检测，而不限于某个特定类别的物体关键点的检测。此外，该检测技术也适用 于一个或多个同种物体的关键点检测。

由于在神经网络中，任何图像经过多次的特征提取、映射、池化等处理 后，由产生的特征数据预测到的物体关键点的位置信息往往不够精准，例如 特征图中的特征点对应原始图像中的一定大小的区域，而不能够精准地对应 到原始图像中的确切位置。因此，根据本发明的总体构思，在该步骤，通过 该深度神经网络为每个样本图像获取第一特征数据和第二特征数据，第一特 征数据和第二特征数据各自与某个物体关键点对应。这里，所述第一特征数 据用于表征各样本图像的图像区域内含有物体关键点的概率信息，所述第二特征数据用于表征在样本图像内的预测点的位置信息，所述预测点为预测作 为所述物体关键点的像素点。

例如，第一特征数据可表征样本图像中的图像区域对该物体关键点的响 应程度。该响应程度与物体关键点的预测概率相应。响应程度越高，说明该 图像区域含有物体关键点的概率越大；响应程度越低，说明该图像区域含有 物体关键点的概率越小。如果第一特征数据对物体关键点响应程度高，则与 该第一特征数据相应的第二特征数据指示在前述图像区域中的预测点的位置 信息，例如预测点在该图像区域中的坐标(如相对于图像区域的左上角处、 中心点或左下角处的坐标)，该预测点为预测到的在样本图像中作为某个物体 关键点的可能性较高的像素点。另一方面，如果第一特征数据指示样本图像 的各个图像区域对物体关键点响应程度均不高，则第二特征数据不具有实际 的使用意义。

因此，第一特征数据用于表征样本图像中是否含有某个物体关键点，第 二特征数据用于表征该物体关键点的准确位置。

在步骤S120，根据所述位置标注信息以及第一特征数据、第二特征数据， 确定第一差异和第二差异，所述第一差异用于表征关键点所在区域的检测误 差，所述第二差异用于表征关键点位置的检测误差。

具体地，先根据物体关键点的位置标注信息以及前述获取的相应的第一 特征数据来计算指示关键点所在区域检测误差的第一差异，即指示是否正确 地检测到物体关键点所在的图像区域。由于第一特征数据指示样本图像中的 各个图像区域内含有所述物体关键点的概率信息，因此，可根据物体关键点 的位置标注信息和前述概率信息计算该第一差异。例如，如果第一特征数据 指示样本图像中的图像区域内含有所述物体关键点的概率信息超过预定的关 键点预测概率阈值，则可生成指示检测正确的第一差异的数据；如果第一特 征数据指示图像区域内含有所述物体关键点的概率信息均低于该关键点预测 概率阈值，则可生成指示检测错误的第一差异的数据。

在此基础上，如果生成了指示检测正确的第一差异数据，则再根据物体 关键点的位置标注信息以及第二特征数据来计算指示关键点位置检测误差的 第二差异。具体地，根据物体关键点的位置标注信息确定物体关键点的实际 位置，再根据第二特征数据中相应的预测点的位置信息与物体关键点的实际 位置计算该第二差异。如果生成了指示检测错误的第一差异数据，则可将第 二差异设定为预定的差异值或随机值，或者不计算相应的第二差异。

在步骤S130，根据所述第一差异和第二差异，训练所述深度神经网络。

具体地，可根据第一差异和第二差异确定综合差异值，例如将第一差异 和第二差异的和、平均值或加权平均值等作为综合差异值，再将该综合差异 值反传给该深度神经网络来训练深度神经网络，直到训练的深度神经网络达 到预期的训练条件。

根据本发明实施例一的深度神经网络的训练方法，通过为每个样本图像 生成用于表征各图像区域内含有物体关键点的概率信息的第一特征数据和用 于表征预测点的位置信息的第二特征数据；再根据样本图像的位置标注信息 以及第一特征数据、第二特征数据，确定表征关键点所在区域的检测误差的 第一差异和表征关键点位置的检测误差的第二差异；最后，根据所述第一差 异和所述第二差异，训练所述深度神经网络，从而使得训练得到的深度神经 网络能够在实际执行物体检测前，准确地检测物体关键点，先行较准确地进 行一种或多种物体的物体关键点的检测。在物体关键点的检测中，不需要受 限于在现有物体关键点检测方式中在前的物体检测的准确性，并且具有通用 性。

实施例二

图2是示出根据本发明实施例二的深度神经网络的训练方法的流程图。

根据本发明实施例二，前述第一特征数据包括从样本图像获取的第一特 征图，所述第一特征图中的各个第一特征点指示所述第一特征点对应的图像 区域内含有物体关键点的概率信息。

参照图2，在步骤S210，通过用于检测物体关键点的深度神经网络获取 样本图像各自的第一个数的第一特征图和第二个数的第二特征图。

根据本实施例，将各个样本图像划分为多个图像区域，将该深度神经网 络设计为，为每个样本图像生成第一特征图和第二特征图。其中，第一特征 图中的各个第一特征点分别与样本图像中的多个图像区域对应，第二特征图 中的各个第二特征点也分别与样本图像中的多个图像区域对应。第一特征图 和第二特征图中的特征点可对应于样本图像中的相同大小的图像区域，也可 以对应于样本图像中的不同大小的图像区域，可通过预定的比例关系对第一 特征图和第二特征图中各个特征点对应的图像区域进行换算。

为此，将该深度神经网络设计为全卷积神经网络，包括多个卷积层和至 少一个下采样层。通过多个卷积层来对样本图像进行特征映射和特征提取， 再通过下采样层将从卷积层获得的特征数据池化、缩小。至少一个下采样层 可设置在多个卷积层之间，也可以设置在多个卷积层之后。由于该深度神经 网络无全连接层，因此对输出的每个特征图及输入图像的大小无具体限制。 最终输出的特征图上每个位置的响应对应于原图的一个小区域，这种特性使 得全卷积神经网络非常适合物体分割、关键点检测等细粒度的任务。

此外，可在深度神经网络的末端，设置两个输出分支，分别用于输出各 个样本图像的多个第一特征图和多个第二特征图。可例如，将该两个输出分 支分别设置为输出与输入相同大小的卷积层。

具体地，通过所述深度神经网络获取样本图像各自的第一个数的第一特 征图，所述第一个数为所述目标物体的物体关键点的个数，每个物体关键点 对应于一个第一特征图，每个所述第一特征图分别指示其各个第一特征点对 应的样本图像中的图像区域内含有相应的物体关键点的概率信息。

也就是说，与目标物体的各个物体关键点的个数(第一个数)相应地为 每个样本图像生成多个(第一个数)的第一特征图，其每个第一特征图用于 指示其中每个第一特征点对应的样本图像的图像区域内含有该物体关键点的 概率信息，从而预测是否含有该物体关键点。例如，假设确定的人体关键点 为14个，则为每个样本图像生成14个第一特征图，首个第一特征图与首个 人体关键点对应，用于预测该样本图像中是否含有首个人体关键点。

其中，第一特征图中每个第一特征点对应的图像区域的大小与所述至少 一个下采样层的总下采样比相应。例如，假设该深度神经网络的图像输入(例 如样本图像或待检图像)大小(高×宽)是256×512，下采样层的总下采样 比为16，则从该深度神经网络获得的第一特征图和第二特征图的大小均为16 ×32，第一特征图和第二特征图中每个特征点对应的图像区域的大小为16× 16。

具体地，通过所述深度神经网络获取样本图像各自的第二个数的第二特 征图，所述第二个数为所述第一个数的两倍，每个物体关键点对应两个第二 特征图，所述两个第二特征图分别指示所述样本图像中作为所述物体关键点 的可能性高的预测点在水平方向和竖直方向上的位置信息。

也就是说，与目标物体的各个物体关键点的个数(第一个数)相应地为 每个样本图像生成多个(第一个数的双倍)的第二特征图，其中，每两个第 二特征图与一个物体关键点(及第一特征图)对应，分别用于预测该物体关 键点在水平方向和竖直方向上的位置。例如，假设确定的人体关键点为14个， 则可为每个样本图像生成28个第二特征图或14对第二特征图，前两个或第1 对第二特征图与首个人体关键点对应，分别用于预测该首个物体关键点在水 平方向和竖直方向上的位置。

如前所述，预测点是指根据第一特征图和第二特征图预测到的样本图像 中作为某个物体关键点的可能性较高的像素点。所述预测点的位置信息可包 括，但不限于，所述预测点相对于其在所述样本图像中对应的图像区域的中 心的横坐标或纵坐标的信息。

步骤S220与步骤S120相应，具体包括操作S221、S223和S225。

在操作S221，根据所述物体关键点的位置标注信息，确定所述第一特征 点对应的图像区域内是否含有所述物体关键点。

如前所述，第一特征图指示其各个第一特征点对应的样本图像中的图像 区域内含有所述物体关键点的概率信息，例如第一特征点对应的样本图像中 的图像区域对所述物体关键点的响应程度，因此可根据物体关键点的位置标 注信息和各个第一特征点对应的概率信息的数据确定各个第一特征点对应的 图像区域内是否含有该物体关键点，从而确定样本图像中是否含有该物体关 键点。

例如，对于第一特征图中的任一第一特征点，如果该第一特征点对应的 样本图像的图像区域内含有物体关键点的概率信息超过预定的关键点预测概 率阈值，则确定该第一特征点对应的样本图像的图像区域内含有该物体关键 点。

在操作S223，根据图像区域内是否含有所述物体关键点的确认结果确定 所述第一差异。

具体地，如果确定第一特征图中存在对应的图像区域含有所述物体关键 点的第一特征点，则生成指示检测正确的第一差异的信息；如果确定者第一 特征图中的全部第一特征点对应的图像区域均不含有所述物体关键点，则为 指示检测错误的第一差异的信息。

在操作S225，对于确定含有所述物体关键点的图像区域，根据所述物体 关键点的位置标注信息以及对应于所述图像区域中预测点的位置信息确定所 述第二差异，所述预测点的位置信息为与所述物体关键点对应的第二特征图 中对应于所述图像区域的预测点的位置信息。

具体地，首先，获取与该物体关键点的水平位置对应的第二特征图，根 据该第二特征图中对应于所述图像区域的预测点的水平方向上的位置信息计 算所述预测点在样本图像中的预测水平位置；类似地，获取与该物体关键点 的竖直位置对应的第二特征图，根据该第二特征图中对应于所述图像区域的 预测点的竖直方向上的位置信息计算所述预测点在样本图像中的预测竖直位 置，由此获得预测点在样本图像中的预测位置的数据。然后，根据全部物体 关键点的位置标注信息和相应的预测点的预测位置的数据计算该第二差异。

例如，可计算各个物体关键点的预测差异的平均值或总和值，将该平均 值或总和值作为该第二差异。

另一方面，对于确定不含有所述物体关键点的图像区域，可将第二差异 设定为预定的差异值或随机值，或者不计算相应的第二差异。

在步骤S230，根据所述第一差异和第二差异，训练所述深度神经网络。 该步骤的处理与前述步骤S130的处理类似，在此不予赘述。

根据本发明实施例二的深度神经网络的训练方法，通过为每个样本图像 生成与预期物体关键点的个数相应的多个第一特征图和双倍个数的多个第二 特征图，第一特征图分别用于检测目标物体的物体关键点所在图像区域，第 二特征图分别用于定位对物体关键点具有高响应度的预测点在水平方向和竖 直方向的确切位置，从而使得训练得到的用于检测物体关键点的深度神经网 络能够在进行物体检测前，先行准确地检测出一种或多种物体的各个物体关 键点。在物体关键点的检测中，不需要受限于在现有检测方式中在前物体检 测的准确性，具有通用性。

实施例三

图3是示出根据本发明实施例三的深度神经网络的训练方法的流程图。

根据本发明实施例三，前述样本图像还携带有一个或多个目标物体的外 接矩形框的区域标注信息。目标物体的外接矩形框可总体用于限定目标物体 占据的图像区域，外接矩形框的区域标注信息可用于预测目标物体的存在以 及其位置限定信息，例如目标物体图像区域(外接矩形框)的中心、左上角 等，其附近(如中心周围)的物体关键点将与该目标物体紧密相关。在图像 中存在多个物体的情况下，该位置限定信息有助于区分哪些关键点与某个物 体相关，又有哪些关键点与另一个物体相关。

为此，还通过前述深度神经网络获取样本图像的第三特征数据，所述第 三特征数据用于表征各个图像区域内含有所述目标物体的中心点的概率信息， 例如样本图像的各个图像区域对目标物体的中心点的响应程度。

可选地，所述第三特征数据包括第三特征图，所述第三特征图中的各个 第三特征点指示所述第三特征点对应的图像区域内含有所述目标物体的中心 点的概率信息。该目标物体的中心点与前述外接矩形框的中心对应。例如， 所述第三特征图中的各个第三特征点可指示对应的样本图像中的图像区域对 所述目标物体的中心点(外接矩形框的中心点)的响应程度。

相应地，为所述深度神经网络设置第一输出分支和第二输出分支，第一 输出分支用于输出多个第一特征图和第三特征图，第二输出分支用于输出多 个第二特征图。当然，也可为第一特征图、第二特征图和第三特征图分别设 置输出分支。

参照图3，在步骤S310，通过深度神经网络获取样本图像各自的多个第 一特征图、多个第二特征图和第三特征图。

可如前述S210的处理获取样本图像各自的多个第一特征图和多个第二特 征图。

在此基础上，获取的第三特征图中的每个第三特征点指示其对应的样本 图像中的图像区域内是否含有目标物体的中心点的概率信息，例如，该图像 区域对目标物体的中心点(即外接矩形框的中心)的响应程度。响应程度越 高，说明该图像区域含有该中心点的概率越大；响应程度越低，说明该图像 区域含有中心点的概率越小。

步骤S320具体包括操作S321、S323、S325、S327和S329。

在操作S321，根据所述目标物体的外接矩形框的区域标注信息确定所述 第三特征图中的各个第三特征点对应的图像区域内是否含有所述目标物体的 中心点。

具体地，根据所述目标物体的外接矩形框的区域标注信息可确定外接矩 形框的中心点的位置，该位置可被解释或表征为目标物体的中心点。

对于第三特征图中的任一第三特征点，如果确定该第三特征点对应的样 本图像中的图像区域内含有该中心点的概率信息超过预定的中心点预测概率 阈值，则确定该第三特征点对应的图像区域内含有该中心点。

在该深度神经网络的训练过程中，如果无法检测到该中心点，则可推定 检测结果是错误的。只有在能够检测到该中心点的前提下，其他与物体关键 点的检测才是有效的，由此对物体关键点的检测与目标物体相关联。

如果在操作S321，确定所述第三特征图中的任一第三特征点对应的样本 图像中的图像区域内含有所述目标物体的中心点，则根据所述物体关键点的 位置标注信息确定所述第一特征图中的各个第一特征点对应的图像区域内是 否含有所述物体关键点(操作S323)。操作S323的处理与前述操作S221的 处理类似，在此不予赘述。

如果在操作S323，确定第一特征图中存在对应的样本图像中的图像区域 含有所述物体关键点的第一特征点，则生成指示检测正确的第一差异的信息 (操作S325)。

另一方面，如果在操作S321确定所述第三特征图中的全部第三特征点对 应的样本图像中的图像区域均不含有所述目标物体的中心点，或者根据操作 S323，第一特征图中的全部第一特征点对应的样本图像中的图像区域均不含 有所述物体关键点，则生成指示检测错误的第一差异的信息(操作S327)。

在执行操作S325或S327后，执行操作S329：对于确定含有所述物体关 键点的图像区域，根据所述物体关键点的位置标注信息以及相应的预测点的 位置信息确定所述第二差异，所述预测点的位置信息为与所述物体关键点对 应的第二特征图中，对应于所述图像区域的预测点的位置信息。该操作的处 理与前述操作S225的处理类似，在此不予赘述。

需要指出，如果在操作S321，确定第三特征图中存在有多个第三特征点 对应图像区域内含有目标物体的中心点，则可推定样本图像中含有多个目标 物体，并且针对每个目标物体执行操作S323～S325的处理。

在完成步骤S320的处理后，执行步骤S330。该步骤的处理与前述步骤 S130的处理类似，在此不予赘述。

根据本发明实施例三的深度神经网络的训练方法，通过为每个样本图像 生成与预期物体关键点的个数相应的多个第一特征图、双倍个数的多个第二 特征图以及用于预测目标物体的存在的第三特征图，在训练过程中，通过第 三特征图的检测结果对第一特征图和第二特征图的检测结果进行约束，从而 使得训练得到的用于检测物体关键点的深度神经网络能够在进行物体检测前， 先行准确地检测出各个物体关键点。通过同一深度神经网络对属于多个目标 物体的物体关键点分别进行聚类，也避免重复地对同一物体的关键点进行检 测，在实现物体关键点检测的准确性的同时，与现有的物体检测方式相较， 运算量明显降低，并且适合应用到对处理速度要求较高的场景中。

实施例四

图4是示出根据本发明实施例四的物体关键点检测方法的流程图。

在步骤S410，通过前述用于检测物体关键点的深度神经网络获取待检图 像的第一特征数据和第二特征数据，所述第一特征数据用于表征各图像区域 内含有物体关键点的概率信息，所述第二特征数据用于表征预测点的位置信 息，所述预测点为预测作为所述物体关键点的像素点。

可通过如前述实施例一～实施例三中描述的任一种训练方法训练得到的 深度神经网络获取待检图像的第一特征数据和第二特征数据。

第一特征数据可表征待检图像中的图像区域内含有物体关键点的概率信 息，例如该图像区域对该物体关键点的响应程度；所述第二特征数据用于表 征在待检图像内的预测点的位置信息，该预测点为预测到的在待检图像中作 为某个物体关键点的可能性较高的像素点。因此，第一特征数据用于预测待 检图像中是否含有某个物体关键点；第二特征数据用于预测物体关键点的确 切位置。

在步骤S420，根据所述第一特征数据和所述第二特征数据，确定物体关 键点的位置。

具体地，步骤S420包括操作S421和操作S423。

在操作S421，根据所述第一特征数据，确定所述待检图像中含有所述物 体关键点的图像区域。

例如，如果第一特征数据指示某个图像区域内含有物体关键点的概率信 息超过前述的关键点预测概率阈值，则确定该图像区域内含有所述物体关键 点；反之，如果第一特征数据指示待检图像中的全部图像区域内含有物体关 键点的概率信息均不超过前述的关键点预测概率阈值，则确定该待检图像中 不含有该物体关键点。

在操作S423，根据含有所述物体关键点的图像区域以及所述第二特征数 据，确定相应的预测点的位置。如前所述，该预测点即为预测得到的物体关 键点的像素点。

例如，可将第二特征数据中的预测点的位置信息换算成为对应的待检图 像中的位置数据，将换算得到的位置数据确定为物体关键点的位置。

如果在操作S421，确定待检图像中存在多个含有物体关键点的图像区域， 则可对每个含有物体关键点的图像区域执行操作S423的处理，从而确定多个 预测点的位置。

相反，如果在操作421，确定该待检图像中不含有该物体关键点，则无需 执行步骤S423的处理，而结束该方法的处理。

根据本发明实施例四的物体关键点检测方法，通过使用前述训练方法训 练得到的用于检测物体关键点的深度神经网络，能够在对待检图像进行物体 检测之前，先行从待检图像较准确地检测出一种或多种目标物体的物体关键 点。在物体关键点的检测中，不需要受限于在前物体检测的准确性，并且具 有通用性。

实施例五

图5是示出根据本发明实施例五的物体关键点检测方法的流程图。

与前述实施例二中的描述类似，根据本发明的示例性实施例，将待检图 像划分为多个图像区域，通过该深度神经网络为待检图像生成第一特征图和 第二特征图。其中，第一特征图中的各个第一特征点分别与待检图像中的多 个图像区域对应，第二特征图中的各个第二特征点也分别与待检图像中的多 个图像区域对应。第一特征图中的各个第一特征点分别对应于待检图像中的 图像区域，第二特征图中的各个第二特征点也分别对应于待检图像中的相应 图像区域。

第一特征图中的各个第一特征点指示其对应的待检图像中的图像区域内 含有物体关键点的概率信息，例如，该第一特征点对应的待检图像中的图像 区域对该物体关键点的响应程度，该响应程度与物体关键点的预测概率相应。 如果某个第一特征图中含有对物体关键点响应程度高的第一特征点，则与该 第一特征图相应的第二特征图指示在前述图像区域中的预测点的位置信息， 例如预测点在该图像区域中的坐标(如相对于图像区域的左上角处、中心点 或左下角处的坐标)。

参照图5，在步骤S510，通过所述深度神经网络获取待检图像的第一个 数的第一特征图以及第二个数的第二特征图。所述第一个数为所述目标物体 的物体关键点的个数，所述第二个数为所述第一个数的两倍。每个所述目标 物体的物体关键点对应于一个所述第一特征图，每个物体关键点对应两个第 二特征图，所述两个特征图分别指示前述预测点在水平方向和竖直方向上的 位置信息。

如前所述，所述预测点是指根据获取到的第一特征图和第二特征图预测 到的在待检图像中作为某个物体关键点的可能性较高的像素点，即预测到的 物体关键点。

可选地，所述预测点的位置信息包括所述预测点相对于其在所述待检图 像中对应的图像区域的中心的横坐标和/或纵坐标的信息。

此后，对与每个物体关键点对应的第一特征图和相应的第二特征图执行 以下处理。

在步骤S520，根据各个所述第一特征图中各个第一特征点对应的图像区 域内含有相应的物体关键点的概率信息，确定所述待检图像中含有所述物体 关键点的图像区域。

例如，如果第一特征图中的任一第一特征点对应的待检图像中的图像区 域内含有物体关键点的概率信息超过前述的关键点预测概率阈值，则确定该 图像区域内含有所述物体关键点；反之，如果第一特征图中的全部第一特征 点对应的待检图像中的图像区域内含有物体关键点的概率信息均不超过前述 的关键点预测概率阈值，则确定该待检图像中不含有该物体关键点。

在步骤S530，根据相应的第二特征图中的预测点的位置信息确定所述物 体关键点的位置。

具体地，首先，获取与该物体关键点的水平位置对应的第二特征图，根 据该第二特征图中对应于所述图像区域的预测点的水平方向上的位置信息计 算所述预测点在待检图像中的预测水平位置；类似地，获取与该物体关键点 的竖直位置对应的第二特征图，根据该第二特征图中对应于所述图像区域的 预测点的竖直方向上的位置信息计算所述预测点在待检图像中的预测竖直位 置，由此获得预测点在待检图像中的预测位置的数据。

如果在步骤S520，从第一特征图检测到多个含有物体关键点(如多个人 的肘部关键点)的图像区域，则可对每个含有物体关键点的图像区域执行步 骤S530的处理，从而确定多个预测点的位置，以预测得到多个同类物体关键 点的位置。

另一方面，如果在步骤S520，确定待检图像中不含有所述物体关键点， 则结束对当前的第一特征图相关的处理。

通过对与每个物体关键点对应的第一特征图和相应的第二特征图执行前 述处理，获得待检图像中的目标物体的物体关键点的预测位置。

根据本发明实施例五的物体关键点检测方法，通过前述训练得到的深度 神经网络为待检图像生成与预期物体关键点的个数相应的多个第一特征图和 双倍个数的多个第二特征图，第一特征图分别用于检测目标物体的物体关键 点所在图像区域，第二特征图分别用于定位作为物体关键点的可能性高的预 测点在水平方向和竖直方向的确切位置，从而能够在对待检图像进行物体检 测前，先行准确地检测一种或多种目标物体的各个物体关键点。在物体关键 点的检测中，不需要受限于在前物体检测的准确性，具有通用性。

实施例六

图6是示出根据本发明实施例六的物体关键点检测方法的流程图。

参照图6，在步骤S610，通过所述深度神经网络获取待检图像的多个第 一特征图、多个第二特征图和第三特征图，所述第三特征图用于指示所述待 检图像中的各个图像区域内含有所述目标物体的中心点的概率信息。

也就是说，第三特征图中的各个第三特征点含有其对应的待检图像中的 图像区域内含有所述目标物体的中心点的概率信息。例如，第三特征点在待 检图像中对应的图像区域对该中心点的响应程度。

在步骤S620，根据所述第三特征图中的各个第三特征点在待检图像中对 应的图像区域内含有目标物体的中心点的概率信息，确定待检图像中是否存 在所述目标物体。

具体地，对于第三特征图中的任一第三特征点，如果确定该第三特征点 在待检图像中对应的图像区域内含有目标物体的中心点的概率信息超过中心 点预测概率阈值，则确定该待检图像中含有该中心点，也就是说，在待检图 像中存在目标物体，而该第三特征点对应的图像区域可被认定为含有目标物 体的外接矩形框的图像区域。

可以理解，如果待检图像中存在多于一个(相同种类或不同种类的)目 标物体，则在第三特征图中存在多个满足前述条件的第三特征点。相反，如 果在第三特征图中存在多个满足前述条件的第三特征点，则可确定待检图像 中存在多个目标物体。

如果在步骤S620，确定待检图像中不存在目标物体，则结束所述方法的 处理。

如果在步骤S620，确定待检图像中存在所述目标物体，则执行步骤S630。

在步骤S630，根据所述第一特征数据和所述第二特征数据，确定第三特 征点对应的图像区域内物体关键点的位置。

具体地，针对各个第一特征图和第二特征图，确定第三特征点对应的待 检图像中的图像区域内各个预测点的位置，从而获取到目标物体的各个物体 关键点的位置。可参照步骤S520和S530的处理执行确定目标物体的各个物 体关键点的位置的处理。

如果在步骤S620，确定待检图像中存在多于一个目标物体，则对各个目 标物体的图像区域(外接矩形框)执行步骤S630的处理，从而获得各个目标 物体的物体关键点的位置。

由于获取到的第一特征图和第二特征图中相邻的位置(特征点)在原待 检图像中对应的区域相邻且会存在一定程度的重合，因此，可能会发生同一 个目标物体(如人体)的一套物体关键点(如人体的14个关键点)被多次预 测到的情形。

相应地，根据本发明的一种可选实施方式，提供一种基于非极大值抑制 的针对物体关键点的去重检测方式。具体地，如果在步骤S620，确定所述待 检图像中存在多于一个所述目标物体，则在步骤S630，迭代地执行以下操作： 选择在第三特征图中尚未被选取的概率信息最大的第三特征点，根据所述第 一特征图和所述第二特征图确定第三特征点对应的待检图像中的图像区域内 各个预测点的位置，计算各个预测点之间的距离以及计算出的距离的平均值； 如果任一预测点与相邻预测点之间的距离小于所述平均值，则确定在所述任 一预测点的位置不存在物体关键点。

也就是说，从预测概率最大的目标物体对应的图像区域(即外接矩形框) 开始，确定该图像区域内的预测点的位置，再将这些预测点中，与相邻的预 测点之间的距离小于该目标物体的预测点间距离平均值的预测点丢弃，从而 有效地避免重复预测物体关键点。

根据本发明实施例六的物体关键点检测方法，通过前述训练得到的深度 神经网络为待检图像生成与预期物体关键点的个数相应的多个第一特征图、 双倍个数的多个第二特征图以及第三特征图，第三特征图指示其各个第三特 征点在待检图像中对应的图像区域内含有所述目标物体的中心点的概率信息。 通过第三特征图的检测结果对第一特征图和第二特征图的检测结果进行约束， 通过一个深度神经网络对属于多个目标物体的物体关键点分别进行聚类归属。 在实现物体关键点检测的准确性的同时，与现有先检测物体、再检测物体关 键点的检测方式相较，运算量明显降低，并且适合应用到对处理速度要求较 高的场景中。

实施例七

图7是示出根据本发明实施例七的深度神经网络的训练装置的逻辑框图。

参照图7，实施例七的深度神经网络的训练装置包括特征检测模块710、 差异确定模块720和训练模块730。

特征检测模块710用于通过深度神经网络获取样本图像的第一特征数据 和第二特征数据，所述样本图像携带有目标物体的物体关键点的位置标注信 息，所述第一特征数据用于表征各图像区域内含有物体关键点的概率信息， 所述第二特征数据用于表征预测点的位置信息，所述预测点为预测作为所述 物体关键点的像素点。

差异确定模块720用于根据所述位置标注信息以及第一特征数据、第二 特征数据，确定第一差异和第二差异，所述第一差异用于表征关键点所在区 域的检测误差，所述第二差异用于表征关键点位置的检测误差。

训练模块730用于根据所述第一差异和所述第二差异，训练所述深度神 经网络。

本实施例的深度神经网络的训练装置用于实现前述方法实施例中相应的 深度神经网络的训练方法，并具有相应的方法实施例的有益效果，在此不再 赘述。

实施例八

图8示出根据本发明实施例八的深度神经网络的训练装置的逻辑框图。

根据本发明实施例八，所述第一特征数据包括第一特征图，所述第一特 征图中的各个第一特征点指示所述第一特征点对应的图像区域内含有物体关 键点的概率信息。

可选地，参照图8，差异确定模块720包括：关键点区域检测单元721， 用于根据所述物体关键点的位置标注信息，确定所述第一特征点对应的图像 区域内是否含有所述物体关键点；第一差异确定单元723，用于根据所述图像 区域内是否含有所述物体关键点的确认结果确定所述第一差异。

可选地，差异确定模块720还包括：第二差异确定单元725，用于对于确 定含有所述物体关键点的图像区域，根据所述物体关键点的位置标注信息以 及对应于所述图像区域中预测点的位置信息确定所述第二差异。

可选地，特征检测模块710包括：第一特征图检测单元711，用于通过所 述深度神经网络获取样本图像的第一个数的第一特征图，所述第一个数为所 述目标物体的物体关键点的个数，每个目标物体的物体关键点对应于一个第 一特征图。

可选地，特征检测模块710还包括：第二特征图检测单元713，用于通过 所述深度神经网络获取样本图像的第二个数的第二特征图，所述第二个数为 所述第一个数的两倍，每个物体关键点对应两个第二特征图，所述两个第二 特征图分别指示所述样本图像中的预测点在水平方向和竖直方向上的位置信 息。

可选地，所述预测点的位置信息包括所述预测点相对于其在所述样本图 像中对应的图像区域的中心的横坐标和/或纵坐标的信息。

本实施例的深度神经网络的训练装置用于实现前述方法实施例中相应的 深度神经网络的训练方法，并具有相应的方法实施例的有益效果，在此不再 赘述。

实施例九

图9是示出根据本发明实施例九的深度神经网络的训练装置的逻辑框图。

根据本发明实施例九，所述样本图像还携带有一个或多个目标物体的外 接矩形框的区域标注信息。

可选地，参照图9，特征检测模块710还包括：第三特征图检测单元715， 用于通过所述深度神经网络获取样本图像的第三特征数据，所述第三特征数 据用于表征各个图像区域内含有所述目标物体的中心点的概率信息。

可选地，所述第三特征数据包括第三特征图，所述第三特征图中的各个 第三特征点指示所述第三特征点对应的图像区域内含有所述目标物体的中心 点的概率信息。

可选地，差异确定模块720包括：

中心点检测单元721，用于根据所述目标物体的外接矩形框的区域标注信 息确定所述第三特征图中的各个第三特征点对应的图像区域内是否含有所述 目标物体的中心点；

第一处理单元723，用于如果确定所述第三特征图中的任一第三特征点对 应的所述样本图像中的图像区域内含有所述目标物体的中心点，则根据所述 物体关键点的位置标注信息确定所述第一特征图中的各个第一特征点对应的 图像区域内是否含有所述物体关键点；

第二处理单元725，用于如果确定所述第三特征图中的任一第三特征点对 应的所述样本图像中的图像区域内含有所述目标物体的中心点并且第一特征 图中存在其对应的所述样本图像中的图像区域含有所述物体关键点的第一特 征点，则生成指示检测正确的第一差异的信息；

第三处理单元727，用于如果确定所述第三特征图中的全部第三特征点对 应的图像区域均不含有所述目标物体的中心点或者第一特征图中的全部第三 特征点对应的所述样本图像中的图像区域内均不含有所述物体关键点，则生 成指示检测错误的第一差异的信息；

第四处理单元729，用于对于确定含有所述物体关键点的图像区域，根据 所述物体关键点的位置标注信息以及所述第二特征数据中对应于所述图像区 域中预测点的位置信息确定所述第二差异。

本实施例的深度神经网络的训练装置用于实现前述方法实施例中相应的 深度神经网络的训练方法，并具有相应的方法实施例的有益效果，在此不再 赘述。

实施例十

图10是示出根据本发明实施例十的物体关键点检测装置的逻辑框图。

参照图10，实施例十的物体关键点检测装置包括特征获取模块1010和关 键点检测模块1020。

特征获取模块1010用于通过深度神经网络获取待检图像的第一特征数据 和第二特征数据，所述第一特征数据用于表征各图像区域内含有物体关键点 的概率信息，所述第二特征数据用于表征预测点的位置信息，所述预测点为 预测作为所述物体关键点的像素点，所述深度神经网络通过前述任一训练方 法训练获得。

关键点检测模块1020，用于根据所述第一特征数据和所述第二特征数据， 确定物体关键点的位置。

具体地，关键点检测模块1020包括：区域检测单元1021，用于根据所述 第一特征数据，确定所述待检图像中含有所述物体关键点的图像区域；位置 确定单元1023，用于根据含有所述物体关键点的图像区域以及所述第二特征 数据，确定所述物体关键点的位置。

本实施例的物体关键点检测装置用于实现前述方法实施例中相应的物体 关键点检测方法，并具有相应的方法实施例的有益效果，在此不再赘述。

实施例十一

图11是示出根据本发明实施例十一的物体关键点检测装置的逻辑框图。

参照图11，根据本发明实施例十一，特征获取模块1010包括：第一特征 图获取单元1011，用于通过所述深度神经网络获取待检图像的第一个数的第 一特征图，所述第一个数为所述目标物体的物体关键点的个数，每个所述目 标物体的物体关键点对应于一个所述第一特征图。

可选地，特征获取模块1010还包括：第二特征图获取单元1013，用于通 过所述深度神经网络获取待检图像的第二个数的第二特征图，所述第二个数 为所述第一个数的两倍，每个物体关键点对应两个第二特征图，所述两个特 征图分别指示所述预测点在水平方向和竖直方向上的位置信息。

可选地，所述预测点的位置信息包括所述预测点相对于其在所述待检图 像中对应的图像区域的中心的横坐标或纵坐标的信息。

可选地，区域检测单元1021用于根据各个所述第一特征图中各个第一特 征点对应的图像区域内含有相应的物体关键点的概率信息，确定所述待检图 像中含有所述物体关键点的图像区域；位置确定单元1023用于根据所述图像 区域对应的所述第二特征图中的预测点的位置信息确定所述物体关键点的位 置。

本实施例的物体关键点检测装置用于实现前述方法实施例中相应的物体 关键点检测方法，并具有相应的方法实施例的有益效果，在此不再赘述。

实施例十二

图12是示出根据本发明实施例十二的物体关键点检测装置的逻辑框图。

参照图12，根据本发明实施例十二，特征获取模块1010还包括：第三特 征图获取单元1015，用于通过所述深度神经网络获取待检图像的第三特征图， 所述第三特征图指示所述待检图像中的各个图像区域内含有所述目标物体的 中心点的概率信息。

可选地，在区域检测单元1021根据所述第一特征数据，确定所述待检图 像中含有所述物体关键点的图像区域之前，所述装置还包括：物体预测模块 1030，用于根据所述第三特征图中的各个第三特征点对应的图像区域内含有 所述目标物体的中心点的概率信息，确定所述待检图像中是否存在所述目标 物体；预测结束处理模块1040，用于如果确定不存在所述目标物体，则结束 所述方法的处理。

可选地，所述装置还包括：预测处理控制模块1050，用于如果确定所述 待检图像中存在所述目标物体，则根据所述第一特征数据和所述第二特征数 据，确定第三特征点对应的图像区域内物体关键点的位置。

可选地，预测处理控制模块1050用于：如果确定所述待检图像中存在多 于一个所述目标物体，则迭代地执行以下操作：选择在第三特征图中尚未被 选取的概率信息最大的第三特征点，根据所述第一特征图和所述第二特征图 确定第三特征点对应的待检图像中的图像区域内各个预测点的位置，计算各 个预测点之间的距离以及计算出的距离的平均值；如果任一预测点与相邻预 测点之间的距离小于所述平均值，则确定在所述任一预测点的位置不存在物 体关键点。

本实施例的物体关键点检测装置用于实现前述方法实施例中相应的物体 关键点检测方法，并具有相应的方法实施例的有益效果，在此不再赘述。

实施例十三

根据本发明实施例十三提供一种计算机可读存储介质，其上存储有计算 机程序指令，其中，所述程序指令被处理器执行时实现前述任一深度神经网 络的训练方法的步骤。

该计算机可读存储介质用于实现前述方法实施例中相应的深度神经网络 的训练方法，并具有相应的方法实施例的有益效果，在此不再赘述。

根据本发明实施例十三还提供一种计算机可读存储介质，其上存储有计 算机程序指令，其中，所述程序指令被处理器执行时实现前述任一物体关键 点检测方法的步骤。

该计算机可读存储介质用于实现前述方法实施例中相应的物体关键点检 测方法，并具有相应的方法实施例的有益效果，在此不再赘述。

实施例十四

图13是示出根据本发明实施例十四的第一电子设备的结构示意图。

本发明实施例还提供了一种电子设备，例如可以是移动终端、个人计算 机(PC)、平板电脑、服务器等。下面参考图13，其示出了适于用来实现本 发明实施例的终端设备或服务器的第一电子设备1300的结构示意图。

如图13所示，第一电子设备1300包括一个或多个第一处理器、第一通 信元件等，所述一个或多个第一处理器例如：一个或多个第一中央处理单元 (CPU)1301，和/或一个或多个第一图像处理器(GPU)1313等，第一处理 器可以根据存储在第一只读存储器(ROM)1302中的可执行指令或者从第一 存储部分1308加载到第一随机访问存储器(RAM)1303中的可执行指令而 执行各种适当的动作和处理。第一通信元件包括第一通信组件1312和第一通 信接口1309。其中，第一通信组件1312可包括但不限于网卡，所述网卡可包 括但不限于IB(Infiniband)网卡，第一通信接口1409包括诸如LAN卡、调 制解调器等的网络接口卡的通信接口，第一通信接口1409经由诸如因特网的 网络执行通信处理。

第一处理器可与第一只读存储器1402和/或第一随机访问存储器1430中 通信以执行可执行指令，通过第一总线1404与第一通信组件1412相连、并 经第一通信组件1412与其他目标设备通信，从而完成本发明实施例提供的任 一项方法对应的操作，例如，通过深度神经网络获取样本图像的第一特征数 据和第二特征数据，所述样本图像携带有目标物体的物体关键点的位置标注 信息，所述第一特征数据用于表征各图像区域内含有物体关键点的概率信息， 所述第二特征数据用于表征预测点的位置信息，所述预测点为预测作为所述 物体关键点的像素点；根据所述位置标注信息以及第一特征数据、第二特征 数据，确定第一差异和第二差异，所述第一差异用于表征关键点所在区域的 检测误差，所述第二差异用于表征关键点位置的检测误差；根据所述第一差 异和所述第二差异，训练所述深度神经网络。

此外，在第一RAM 1303中，还可存储有装置操作所需的各种程序和数 据。第一CPU1301、第一ROM1302以及第一RAM1303通过第一总线1304 彼此相连。在有第一RAM1303的情况下，第一ROM1302为可选模块。第一 RAM1303存储可执行指令，或在运行时向第一ROM1302中写入可执行指令， 可执行指令使第一处理器1301执行上述通信方法对应的操作。第一输入/输出 (I/O)接口1305也连接至第一总线1304。第一通信组件1312可以集成设置， 也可以设置为具有多个子模块(例如多个IB网卡)，并在总线链接上。

以下部件连接至第一I/O接口1305：包括键盘、鼠标等的第一输入部分 1306；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等 的第一输出部分1307；包括硬盘等的第一存储部分1308；以及包括诸如LAN 卡、调制解调器等的网络接口卡的第一通信接口1309。第一驱动器1310也根 据需要连接至第一I/O接口1305。第一可拆卸介质1311，诸如磁盘、光盘、 磁光盘、半导体存储器等等，根据需要安装在第一驱动器1310上，以便于从 其上读出的计算机程序根据需要被安装入第一存储部分1308。

需要说明的是，如图13所示的架构仅为一种可选实现方式，在具体实践 过程中，可根据实际需要对上述图13的部件数量和类型进行选择、删减、增 加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方 式，例如GPU和CPU可分离设置或者可将GPU集成在CPU上，第一通信组 件1312可分离设置，也可集成设置在CPU或GPU上，等等。这些可替换的 实施方式均落入本发明的保护范围。

特别地，根据本发明实施例，上文参考流程图描述的过程可以被实现为 计算机软件程序。例如，本发明实施例包括一种计算机程序产品，其包括有 形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图 所示的方法的程序代码，程序代码可包括对应执行本发明实施例提供的方法 步骤对应的指令，例如，用于通过深度神经网络获取样本图像的第一特征数 据和第二特征数据的可执行代码，所述样本图像携带有目标物体的物体关键 点的位置标注信息，所述第一特征数据用于表征各图像区域内含有物体关键 点的概率信息，所述第二特征数据用于表征预测点的位置信息，所述预测点 为预测作为所述物体关键点的像素点；用于根据所述位置标注信息以及第一 特征数据、第二特征数据，确定第一差异和第二差异，所述第一差异用于表 征关键点所在区域的检测误差，所述第二差异用于表征关键点位置的检测误 差的可执行代码；用于根据所述第一差异和所述第二差异，训练所述深度神 经网络的可执行代码。在这样的实施例中，该计算机程序可以通过通信元件 从网络上被下载和安装，和/或从第一可拆卸介质1311被安装。在该计算机程 序被第一中央处理单元(CPU)1301执行时，执行本发明实施例的方法中限 定的上述功能。

本发明实施例十四提供的电子设备，根据本发明实施例一的深度神经网 络的训练方法，通过为每个样本图像生成用于表征各图像区域内含有物体关 键点的概率信息的第一特征数据和用于表征预测点的位置信息的第二特征数 据；再根据样本图像的位置标注信息以及第一特征数据、第二特征数据，确 定表征关键点所在区域的检测误差的第一差异和表征关键点位置的检测误差 的第二差异；最后，根据所述第一差异和所述第二差异，训练所述深度神经 网络，从而使得训练得到的深度神经网络能够在实际执行物体检测前，准确 地检测物体关键点，先行较准确地进行一种或多种物体的物体关键点的检测。 在物体关键点的检测中，不需要受限于在现有物体关键点检测方式中在前的 物体检测的准确性，并且具有通用性。

实施例十五

图14是示出根据本发明实施例十五的第二电子设备的结构示意图。

本发明实施例还提供了一种电子设备，例如可以是移动终端、个人计算 机(PC)、平板电脑、服务器等。下面参考图14，其示出了适于用来实现本 发明实施例的终端设备或服务器的第二电子设备1400的结构示意图。

如图14所示，第二电子设备1400包括一个或多个第二处理器、第二通 信元件等，所述一个或多个第二处理器例如：一个或多个第二中央处理单元 (CPU)1401，和/或一个或多个第二图像处理器(GPU)1413等，第二处理 器可以根据存储在第二只读存储器(ROM)1402中的可执行指令或者从第二 存储部分1408加载到第二随机访问存储器(RAM)1403中的可执行指令而 执行各种适当的动作和处理。第二通信元件包括第二通信组件1412和第二通 信接口1409。其中，第二通信组件1412可包括但不限于网卡，所述网卡可包 括但不限于IB(Infiniband)网卡，第二通信接口1409包括诸如LAN卡、调 制解调器等的网络接口卡的通信接口，第二通信接口1409经由诸如因特网的 网络执行通信处理。

第二处理器可与第二只读存储器1402和/或第二随机访问存储器1430中 通信以执行可执行指令，通过第二总线1404与第二通信组件1412相连、并 经第二通信组件1412与其他目标设备通信，从而完成本发明实施例提供的任 一项方法对应的操作，例如，通过深度神经网络获取待检图像的第一特征数 据和第二特征数据，所述第一特征数据用于表征各图像区域内含有物体关键 点的概率信息，所述第二特征数据用于表征预测点的位置信息，所述预测点 为预测作为所述物体关键点的像素点，所述深度神经网络通过前述任一训练 方法训练获得；根据所述第一特征数据和所述第二特征数据，确定物体关键 点的位置，其中，根据所述第一特征数据，确定所述待检图像中含有所述物 体关键点的图像区域，则根据含有所述物体关键点的图像区域以及所述第二 特征数据，确定相应的预测点的位置。

此外，在第二RAM 1403中，还可存储有装置操作所需的各种程序和数 据。第二CPU1401、第二ROM1402以及第二RAM1403通过第二总线1404 彼此相连。在有第二RAM1403的情况下，第二ROM1402为可选模块。第二 RAM1403存储可执行指令，或在运行时向第二ROM1402中写入可执行指令， 可执行指令使第二处理器1401执行上述通信方法对应的操作。第二输入/输出 (I/O)接口1405也连接至第二总线1404。第二通信组件1412可以集成设置， 也可以设置为具有多个子模块(例如多个IB网卡)，并在总线链接上。

以下部件连接至第二I/O接口1405：包括键盘、鼠标等的第二输入部分 1406；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等 的第二输出部分1407；包括硬盘等的第二存储部分1408；以及包括诸如LAN 卡、调制解调器等的网络接口卡的第二通信接口1409。第二驱动器1410也根 据需要连接至第二I/O接口1405。第二可拆卸介质1411，诸如磁盘、光盘、 磁光盘、半导体存储器等等，根据需要安装在第二驱动器1410上，以便于从 其上读出的计算机程序根据需要被安装入第二存储部分1408。

需要说明的是，如图14所示的架构仅为一种可选实现方式，在具体实践 过程中，可根据实际需要对上述图14的部件数量和类型进行选择、删减、增 加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方 式，例如GPU和CPU可分离设置或者可将GPU集成在CPU上，第二通信组 件1412可分离设置，也可集成设置在CPU或GPU上，等等。这些可替换的 实施方式均落入本发明的保护范围。

特别地，根据本发明实施例，上文参考流程图描述的过程可以被实现为 计算机软件程序。例如，本发明实施例包括一种计算机程序产品，其包括有 形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图 所示的方法的程序代码，程序代码可包括对应执行本发明实施例提供的方法 步骤对应的指令，例如，用于通过深度神经网络获取待检图像的第一特征数 据和第二特征数据的可执行代码，所述第一特征数据用于表征各图像区域内 含有物体关键点的概率信息，所述第二特征数据用于表征预测点的位置信息， 所述预测点为预测作为所述物体关键点的像素点，所述深度神经网络通过前 述任一训练方法训练获得；用于根据所述第一特征数据和所述第二特征数据， 确定物体关键点的位置的可执行代码，其中，根据所述第一特征数据，确定 所述待检图像中含有所述物体关键点的图像区域，则根据含有所述物体关键 点的图像区域以及所述第二特征数据，确定相应的预测点的位置。在这样的 实施例中，该计算机程序可以通过通信元件从网络上被下载和安装，和/或从 第二可拆卸介质1411被安装。在该计算机程序被第二中央处理单元(CPU)1401执行时，执行本发明实施例的方法中限定的上述功能。

本发明实施例十五提供的电子设备，通过使用前述训练方法训练得到的 用于检测物体关键点的深度神经网络，能够在对待检图像进行物体检测之前， 先行从待检图像较准确地检测出一种或多种目标物体的物体关键点。在物体 关键点的检测中，不需要受限于在前物体检测的准确性，并且具有通用性。

需要指出，根据实施的需要，可将本申请中描述的各个部件/步骤拆分为 更多部件/步骤，也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成 新的部件/步骤，以实现本发明实施例的目的。

可能以许多方式来实现本发明的方法和装置、设备。例如，可通过软件、 硬件、固件或者软件、硬件、固件的任何组合来实现本发明实施例的方法和 装置、设备。用于方法的步骤的上述顺序仅是为了进行说明，本发明实施例 的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外， 在一些实施例中，还可将本发明实施为记录在记录介质中的程序，这些程序 包括用于实现根据本发明实施例的方法的机器可读指令。因而，本发明还覆 盖存储用于执行根据本发明的方法的程序的记录介质。

本发明实施例的描述是为了示例和描述起见而给出的，而并不是无遗漏 的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术 人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际 应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途 的带有各种修改的各种实施例。

Claims (42)

1.一种深度神经网络的训练方法，包括：

通过深度神经网络获取样本图像的第一特征数据和第二特征数据，所述样本图像携带有目标物体的物体关键点的位置标注信息，所述目标物体是一个或多个类别的物体，所述第一特征数据用于表征各图像区域内含有物体关键点的概率信息，所述第二特征数据用于表征预测点的位置信息，所述预测点为预测作为所述物体关键点的像素点；

根据所述位置标注信息以及第一特征数据、第二特征数据，确定第一差异和第二差异，所述第一差异用于表征关键点所在区域的检测误差，所述第二差异用于表征关键点位置的检测误差；

根据所述第一差异和所述第二差异，训练所述深度神经网络。

2.根据权利要求1所述的方法，其中，所述第一特征数据包括第一特征图，所述第一特征图中的各个第一特征点指示所述第一特征点对应的图像区域内含有物体关键点的概率信息。

3.根据权利要求2所述的方法，其中，所述根据所述位置标注信息以及第一特征数据，确定第一差异包括：

根据所述物体关键点的位置标注信息，确定所述第一特征点对应的图像区域内是否含有所述物体关键点；

根据所述图像区域内是否含有所述物体关键点的确认结果确定所述第一差异。

4.根据权利要求3所述的方法，其中，所述根据所述位置标注信息以及第二特征数据，确定第二差异包括：

对于确定含有所述物体关键点的图像区域，根据所述物体关键点的位置标注信息以及对应于所述图像区域中预测点的位置信息确定所述第二差异。

5.根据权利要求2～4中任一项所述的方法，其中，所述通过深度神经网络获取样本图像的第一特征数据包括：

通过所述深度神经网络获取样本图像的第一个数的第一特征图，所述第一个数为所述目标物体的物体关键点的个数，每个目标物体的物体关键点对应于一个第一特征图。

6.根据权利要求5所述的方法，其中，所述通过深度神经网络获取样本图像的第二特征数据包括：

通过所述深度神经网络获取样本图像的第二个数的第二特征图，所述第二个数为所述第一个数的两倍，每个物体关键点对应两个第二特征图，所述两个第二特征图分别指示所述样本图像中的预测点在水平方向和竖直方向上的位置信息。

7.根据权利要求6所述的方法，其中，所述预测点的位置信息包括所述预测点相对于其在所述样本图像中对应的图像区域的中心的横坐标和/或纵坐标的信息。

8.根据权利要求1所述的方法，其中，所述样本图像还携带有一个或多个目标物体的外接矩形框的区域标注信息，

所述通过深度神经网络获取样本图像的第一特征数据和第二特征数据还包括：

通过所述深度神经网络获取样本图像的第三特征数据，所述第三特征数据用于表征各个图像区域内含有所述目标物体的中心点的概率信息。

9.根据权利要求8所述的方法，其中，所述第三特征数据包括第三特征图，所述第三特征图中的各个第三特征点指示所述第三特征点对应的图像区域内含有所述目标物体的中心点的概率信息。

10.根据权利要求9所述的方法，其中，根据所述位置标注信息以及第一特征数据、第二特征数据，确定第一差异和第二差异包括：

根据所述目标物体的外接矩形框的区域标注信息确定所述第三特征图中的各个第三特征点对应的图像区域内是否含有所述目标物体的中心点；

如果确定所述第三特征图中的任一第三特征点对应的所述样本图像中的图像区域内含有所述目标物体的中心点，则根据所述物体关键点的位置标注信息确定所述第一特征图中的各个第一特征点对应的图像区域内是否含有所述物体关键点；

如果确定所述第三特征图中的任一第三特征点对应的所述样本图像中的图像区域内含有所述目标物体的中心点并且第一特征图中存在其对应的所述样本图像中的图像区域含有所述物体关键点的第一特征点，则生成指示检测正确的第一差异的信息；

如果确定所述第三特征图中的全部第三特征点对应的图像区域均不含有所述目标物体的中心点或者第三特征图中的全部第三特征点对应的所述样本图像中的图像区域内均不含有所述物体关键点，则生成指示检测错误的第一差异的信息；

对于确定含有所述物体关键点的图像区域，根据所述物体关键点的位置标注信息以及所述第二特征数据中对应于所述图像区域中预测点的位置信息确定所述第二差异。

11.一种物体关键点检测方法，包括：

通过深度神经网络获取待检图像的第一特征数据和第二特征数据，所述第一特征数据用于表征各图像区域内含有物体关键点的概率信息，所述第二特征数据用于表征预测点的位置信息，所述预测点为预测作为所述物体关键点的像素点，所述深度神经网络通过如权利要求1～10中任一项所述的训练方法训练获得；

根据所述第一特征数据和所述第二特征数据，确定物体关键点的位置，其中，如果根据所述第一特征数据，确定所述待检图像中含有所述物体关键点的图像区域，则根据含有所述物体关键点的图像区域以及所述第二特征数据，确定相应的预测点的位置。

12.根据权利要求11所述的方法，其中，所述通过深度神经网络获取待检图像的第一特征数据包括：

通过所述深度神经网络获取待检图像的第一个数的第一特征图，所述第一个数为目标物体的物体关键点的个数，每个所述目标物体的物体关键点对应于一个所述第一特征图。

13.根据权利要求12所述的方法，其中，所述通过深度神经网络获取待检图像的第二特征数据包括：

通过所述深度神经网络获取待检图像的第二个数的第二特征图，所述第二个数为所述第一个数的两倍，每个物体关键点对应两个第二特征图，所述两个第二特征图分别指示所述预测点在水平方向和竖直方向上的位置信息。

14.根据权利要求13所述的方法，其中，所述预测点的位置信息包括所述预测点相对于其在所述待检图像中对应的图像区域的中心的横坐标或纵坐标的信息。

15.根据权利要求14所述的方法，其中，所述根据所述第一特征数据和所述第二特征数据，确定物体关键点的位置包括：

根据各个所述第一特征图中各个第一特征点对应的图像区域内含有相应的物体关键点的概率信息，确定所述待检图像中含有所述物体关键点的图像区域；

根据所述图像区域对应的所述第二特征图中的预测点的位置信息确定所述物体关键点的位置。

16.根据权利要求15所述的方法，其中，所述通过深度神经网络获取待检图像的第一特征数据和第二特征数据还包括：

通过所述深度神经网络获取待检图像的第三特征图，所述第三特征图指示所述待检图像中的各个图像区域内含有所述目标物体的中心点的概率信息。

17.根据权利要求16所述的方法，其中，在根据所述第一特征数据和所述第二特征数据，确定物体关键点的位置之前，还包括：

根据所述第三特征图中的各个第三特征点对应的待检图像中的图像区域内含有所述目标物体的中心点的概率信息，确定所述待检图像中是否存在所述目标物体；

如果确定不存在所述目标物体，则结束所述方法的处理。

18.根据权利要求17所述的方法，其中，所述方法还包括：

如果确定所述待检图像中存在所述目标物体，则根据所述第一特征数据和所述第二特征数据，确定第三特征点对应的图像区域内物体关键点的位置。

19.根据权利要求18所述的方法，其中，所述根据所述第一特征数据和所述第二特征数据，确定第三特征点对应的图像区域内物体关键点的位置包括：

如果确定所述待检图像中存在多于一个所述目标物体，则迭代地执行以下操作：

选择在第三特征图中尚未被选取的概率信息最大的第三特征点，根据所述第一特征图和所述第二特征图确定第三特征点对应的待检图像中的图像区域内各个预测点的位置，计算各个预测点之间的距离以及计算出的距离的平均值；

如果任一预测点与相邻预测点之间的距离小于所述平均值，则确定在所述任一预测点的位置不存在物体关键点。

20.一种深度神经网络的训练装置，包括：

特征检测模块，用于通过深度神经网络获取样本图像的第一特征数据和第二特征数据，所述样本图像携带有目标物体的物体关键点的位置标注信息，所述目标物体是一个或多个类别的物体，所述第一特征数据用于表征各图像区域内含有物体关键点的概率信息，所述第二特征数据用于表征预测点的位置信息，所述预测点为预测作为所述物体关键点的像素点；

差异确定模块，用于根据所述位置标注信息以及第一特征数据、第二特征数据，确定第一差异和第二差异，所述第一差异用于表征关键点所在区域的检测误差，所述第二差异用于表征关键点位置的检测误差；

训练模块，用于根据所述第一差异和所述第二差异，训练所述深度神经网络。

21.根据权利要求20所述的装置，其中，所述第一特征数据包括第一特征图，所述第一特征图中的各个第一特征点指示所述第一特征点对应的图像区域内含有物体关键点的概率信息。

22.根据权利要求21所述的装置，其中，所述差异确定模块包括：

关键点区域检测单元，用于根据所述物体关键点的位置标注信息，确定所述第一特征点对应的图像区域内是否含有所述物体关键点；

第一差异确定单元，用于根据所述图像区域内是否含有所述物体关键点的确认结果确定所述第一差异。

23.根据权利要求22所述的装置，其中，所述差异确定模块还包括：

第二差异确定单元，用于对于确定含有所述物体关键点的图像区域，根据所述物体关键点的位置标注信息以及对应于所述图像区域中预测点的位置信息确定所述第二差异。

24.根据权利要求21～23中任一项所述的装置，其中，所述特征检测模块包括：

第一特征图检测单元，用于通过所述深度神经网络获取样本图像的第一个数的第一特征图，所述第一个数为所述目标物体的物体关键点的个数，每个目标物体的物体关键点对应于一个第一特征图。

25.根据权利要求24所述的装置，其中，所述特征检测模块还包括：

第二特征图检测单元，用于通过所述深度神经网络获取样本图像的第二个数的第二特征图，所述第二个数为所述第一个数的两倍，每个物体关键点对应两个第二特征图，所述两个第二特征图分别指示所述样本图像中的预测点在水平方向和竖直方向上的位置信息。

26.根据权利要求25所述的装置，其中，所述预测点的位置信息包括所述预测点相对于其在所述样本图像中对应的图像区域的中心的横坐标和/或纵坐标的信息。

27.根据权利要求20所述的装置，其中，所述样本图像还携带有一个或多个目标物体的外接矩形框的区域标注信息，

所述特征检测模块还包括：

第三特征图检测单元，用于通过所述深度神经网络获取样本图像的第三特征数据，所述第三特征数据用于表征各个图像区域内含有所述目标物体的中心点的概率信息。

28.根据权利要求27所述的装置，其中，所述第三特征数据包括第三特征图，所述第三特征图中的各个第三特征点指示所述第三特征点对应的图像区域内含有所述目标物体的中心点的概率信息。

29.根据权利要求28所述的装置，其中，所述差异确定模块包括：

中心点检测单元，用于根据所述目标物体的外接矩形框的区域标注信息确定所述第三特征图中的各个第三特征点对应的图像区域内是否含有所述目标物体的中心点；

第一处理单元，用于如果确定所述第三特征图中的任一第三特征点对应的所述样本图像中的图像区域内含有所述目标物体的中心点，则根据所述物体关键点的位置标注信息确定所述第一特征图中的各个第一特征点对应的图像区域内是否含有所述物体关键点；

第二处理单元，用于如果确定所述第三特征图中的任一第三特征点对应的所述样本图像中的图像区域内含有所述目标物体的中心点并且第一特征图中存在其对应的所述样本图像中的图像区域含有所述物体关键点的第一特征点，则生成指示检测正确的第一差异的信息；

第三处理单元，用于如果确定所述第三特征图中的全部第三特征点对应的图像区域均不含有所述目标物体的中心点或者第三特征图中的全部第三特征点对应的所述样本图像中的图像区域内均不含有所述物体关键点，则生成指示检测错误的第一差异的信息；

第四处理单元，用于对于确定含有所述物体关键点的图像区域，根据所述物体关键点的位置标注信息以及所述第二特征数据中对应于所述图像区域中预测点的位置信息确定所述第二差异。

30.一种物体关键点检测装置，包括：

特征获取模块，用于通过深度神经网络获取待检图像的第一特征数据和第二特征数据，所述第一特征数据用于表征各图像区域内含有物体关键点的概率信息，所述第二特征数据用于表征预测点的位置信息，所述预测点为预测作为所述物体关键点的像素点，所述深度神经网络通过如权利要求1～10中任一项所述的训练方法训练获得；

关键点检测模块，用于根据所述第一特征数据和所述第二特征数据，确定物体关键点的位置，包括：

区域检测单元，用于根据所述第一特征数据，确定所述待检图像中含有所述物体关键点的图像区域；

位置确定单元，用于根据含有所述物体关键点的图像区域以及所述第二特征数据，确定所述物体关键点的位置。

31.根据权利要求30所述的装置，其中，所述特征获取模块包括：

第一特征图获取单元，用于通过所述深度神经网络获取待检图像的第一个数的第一特征图，所述第一个数为所述目标物体的物体关键点的个数，每个所述目标物体的物体关键点对应于一个所述第一特征图。

32.根据权利要求31所述的装置，其中，所述特征获取模块还包括：

第二特征图获取单元，用于通过所述深度神经网络获取待检图像的第二个数的第二特征图，所述第二个数为所述第一个数的两倍，每个物体关键点对应两个第二特征图，所述两个第二特征图分别指示所述预测点在水平方向和竖直方向上的位置信息。

33.根据权利要求32所述的装置，其中，所述预测点的位置信息包括所述预测点相对于其在所述待检图像中对应的图像区域的中心的横坐标或纵坐标的信息。

34.根据权利要求33所述的装置，其中，

所述区域检测单元用于根据各个所述第一特征图中各个第一特征点对应的图像区域内含有相应的物体关键点的概率信息，确定所述待检图像中含有所述物体关键点的图像区域；

所述位置确定单元用于根据所述图像区域对应的所述第二特征图中的预测点的位置信息确定所述物体关键点的位置。

35.根据权利要求34所述的装置，其中，所述特征获取模块还包括：

第三特征图获取单元，用于通过所述深度神经网络获取待检图像的第三特征图，所述第三特征图指示所述待检图像中的各个图像区域内含有所述目标物体的中心点的概率信息。

36.根据权利要求35所述的装置，其中，所述装置还包括：

物体预测模块，用于根据所述第三特征图中的各个第三特征点对应的图像区域内含有所述目标物体的中心点的概率信息，确定所述待检图像中是否存在所述目标物体；

预测结束处理模块，用于如果确定不存在所述目标物体，则结束处理。

37.根据权利要求36所述的装置，其中，所述装置还包括：

预测处理控制模块，用于如果确定所述待检图像中存在所述目标物体，则根据所述第一特征数据和所述第二特征数据，确定第三特征点对应的图像区域内物体关键点的位置。

38.根据权利要求37所述的装置，其中，所述预测处理控制模块用于：

如果确定所述待检图像中存在多于一个所述目标物体，则迭代地执行以下操作：

选择在第三特征图中尚未被选取的概率信息最大的第三特征点，根据所述第一特征图和所述第二特征图确定第三特征点对应的待检图像中的图像区域内各个预测点的位置，计算各个预测点之间的距离以及计算出的距离的平均值；

如果任一预测点与相邻预测点之间的距离小于所述平均值，则确定在所述任一预测点的位置不存在物体关键点。

39.一种计算机可读存储介质，其上存储有计算机程序指令，其中，所述程序指令被处理器执行时实现权利要求1～10中任一项所述深度神经网络的训练方法的步骤。

40.一种计算机可读存储介质，其上存储有计算机程序指令，其中，所述程序指令被处理器执行时实现权利要求11～19中任一项所述物体关键点检测方法的步骤。

41.一种电子设备，包括：处理器、存储器、通信元件和通信总线，所述处理器、所述存储器和所述通信元件通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1～10中任一项所述深度神经网络的训练方法对应的操作。

42.一种电子设备，包括：处理器、存储器、通信元件和通信总线，所述处理器、所述存储器和所述通信元件通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求11～19中任一项所述物体关键点检测方法对应的操作。

Images