CN110765898A - 一种图像中物体及其关键点的确定方法和装置 - Google Patents

一种图像中物体及其关键点的确定方法和装置 Download PDF

Info

Publication number
CN110765898A
CN110765898A CN201910954556.7A CN201910954556A CN110765898A CN 110765898 A CN110765898 A CN 110765898A CN 201910954556 A CN201910954556 A CN 201910954556A CN 110765898 A CN110765898 A CN 110765898A
Authority
CN
China
Prior art keywords
target object
image
position information
detection
loss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910954556.7A
Other languages
English (en)
Other versions
CN110765898B (zh
Inventor
周婷
吕晋
周伟杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dongsoft Ruichi Automotive Technology (shenyang) Co Ltd
Original Assignee
Dongsoft Ruichi Automotive Technology (shenyang) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongsoft Ruichi Automotive Technology (shenyang) Co Ltd filed Critical Dongsoft Ruichi Automotive Technology (shenyang) Co Ltd
Priority to CN201910954556.7A priority Critical patent/CN110765898B/zh
Publication of CN110765898A publication Critical patent/CN110765898A/zh
Priority to PCT/CN2020/102518 priority patent/WO2021068589A1/zh
Application granted granted Critical
Publication of CN110765898B publication Critical patent/CN110765898B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种图像中物体及其关键点的确定方法和装置，在从待检测图像中提取到该待检测图像对应的图像特征后，直接根据该待检测图像对应的图像特征，确定目标物体在待检测图像上的位置信息以及该目标物体的关键点位置信息。其中，由于目标物体在待检测图像上的位置信息能够准确地表征待检测图像中目标物体的位置，且目标物体的关键点位置信息能够准确地表征待检测图像中目标物体的关键点位置，因而，本申请实施例提供的图像中物体及其关键点的确定方法能够有效地从待检测图像中确定出目标物体的位置信息及其关键点的位置信息，从而能够准确地检测出图像中物体及其关键点。

Description

一种图像中物体及其关键点的确定方法和装置
技术领域
本申请涉及图像处理技术领域，尤其涉及一种图像中物体及其关键点的确定方法和装置。
背景技术
随着车辆的普及，车辆驾驶安全越来越重要。其中，驾驶员的疲劳驾驶是一种能够影响驾驶安全的重要因素。
目前，通常使用车辆的疲劳驾驶检测系统确定驾驶员是否处于疲劳驾驶状态，以便在确定驾驶员处于疲劳驾驶状态时对驾驶员采取相应的提醒措施。其中，为了能够有效地确定出驾驶员是否处于疲劳驾驶状态，需要根据包括驾驶员脸部的图像，进行人脸检测以及人脸关键点检测，以便后续能够利用人脸检测结果以及人脸关键点检测结果确定驾驶员的精神状态。
有上述分析可知，为了提高驾驶安全性，需要准确地检测出图像中人脸以及关键点，以便能够基于该检测所得的人脸及其关键点准确地判断驾驶员的精神状态。然而，如何根据准确地检测出图像中物体(例如，人脸)及其关键点却是一个亟待解决的技术问题。
发明内容
为了解决现有技术中存在的以上技术问题，本申请提供一种图像中物体及其关键点的确定方法和装置，能够有效地确定出图像中物体位置及其关键点位置，从而能够准确地检测出图像中物体及其关键点。
为了实现上述目的，本申请实施例提供的技术方案如下：
本申请实施例提供一种图像中物体及其关键点的确定方法，包括：
对待检测图像进行特征提取，得到所述待检测图像对应的图像特征；
根据所述待检测图像对应的图像特征，确定目标物体在待检测图像上的位置信息以及所述目标物体的关键点位置信息；其中，所述目标物体的关键点用于表征所述目标物体的结构特征。
可选的，所述根据所述待检测图像对应的图像特征，确定目标物体在待检测图像上的位置信息以及所述目标物体的关键点位置信息，具体为：
根据所述待检测图像对应的图像特征，确定目标物体在待检测图像上的位置信息，并根据所述待检测图像对应的图像特征和所述目标物体在待检测图像上的位置信息，确定目标物体的关键点位置信息。
可选的，所述根据所述待检测图像对应的图像特征，确定目标物体在待检测图像上的位置信息，并根据所述待检测图像对应的图像特征和所述目标物体在待检测图像上的位置信息，确定目标物体的关键点位置信息，具体包括：
根据所述待检测图像对应的图像特征，利用预先构建的第一检测模型对目标物体及其关键点进行检测，确定目标物体在待检测图像上的位置信息以及目标物体的关键点位置信息；
其中，所述第一检测模型包括第一物体位置检测网络层和第一关键点位置检测网络层，且所述第一物体位置检测网络层的输出结果是所述第一关键点位置检测网络层的输入数据，且所述第一物体位置检测网络层用于根据所述待检测图像对应的图像特征确定目标物体在待检测图像上的位置信息，所述第一关键点位置检测网络层用于根据所述待检测图像对应的图像特征和所述目标物体在待检测图像上的位置信息，确定目标物体的关键点位置信息。
可选的，所述第一检测模型的训练过程，具体包括：
获取训练图像对应的图像特征、目标物体在训练图像上的实际位置信息以及目标物体的实际关键点位置信息；
根据所述训练图像对应的图像特征，利用第一检测模型对目标物体及其关键点进行检测，确定目标物体在待检测图像上的预测位置信息以及目标物体的预测关键点位置信息；
根据所述目标物体在训练图像上的实际位置信息、所述目标物体的实际关键点位置信息、所述目标物体在待检测图像上的预测位置信息以及所述目标物体的预测关键点位置信息，判断所述第一检测模型是否达到第一预设条件；
若确定所述第一检测模型未达到第一预设条件，则更新第一检测模型，继续执行“根据所述训练图像对应的图像特征，利用第一检测模型对目标物体及其关键点进行检测，确定目标物体在待检测图像上的预测位置信息以及目标物体的预测关键点位置信息”。
可选的，所述第一预设条件为：第一检测模型的检测损失的变化率低于第一预设损失阈值，和/或，第一检测模型的训练轮数达到第一预设轮数阈值。
可选的，当所述第一预设条件包括第一检测模型的检测损失的变化率低于第一预设损失阈值时，所述根据所述目标物体在训练图像上的实际位置信息、所述目标物体的实际关键点位置信息、所述目标物体在待检测图像上的预测位置信息以及所述目标物体的预测关键点位置信息，判断所述第一检测模型是否达到第一预设条件，具体包括：
根据所述目标物体在训练图像上的实际位置信息以及目标物体在待检测图像上的预测位置信息，确定目标物体的检测损失；其中，所述目标物体的检测损失包括目标物体的识别损失和目标物体的位置检测损失；
根据所述目标物体的实际关键点位置信息以及所述目标物体的预测关键点位置信息，确定目标物体的关键点位置检测损失；
根据所述目标物体的识别损失、所述目标物体的位置检测损失和所述目标物体的关键点位置检测损失，确定第一检测模型的检测损失；
根据所述第一检测模型的检测损失以及第一检测模型的历史检测损失，确定第一检测模型的检测损失变化率；所述第一检测模型的历史检测损失是在历史训练过程中确定的第一检测模型的检测损失；
若所述第一检测模型的检测损失变化率低于第一预设损失阈值，则确定所述第一检测模型达到第一预设条件；
若所述第一检测模型的检测损失变化率不低于第一预设损失阈值，则确定所述第一检测模型未达到第一预设条件。
可选的，所述根据所述目标物体在训练图像上的实际位置信息、所述目标物体的实际关键点位置信息、所述目标物体在待检测图像上的预测位置信息以及所述目标物体的预测关键点位置信息，判断所述第一检测模型是否达到第一预设条件，具体包括：
根据所述目标物体在训练图像上的实际位置信息以及目标物体在待检测图像上的预测位置信息，确定目标物体的检测损失；其中，所述目标物体的检测损失包括目标物体的识别损失和目标物体的位置检测损失；
根据所述目标物体的实际关键点位置信息以及所述目标物体的预测关键点位置信息，确定目标物体的关键点位置检测损失；
根据所述目标物体的识别损失、所述目标物体的位置检测损失和所述目标物体的关键点位置检测损失，确定第一检测模型的检测损失；
根据所述第一检测模型的检测损失以及第一检测模型的历史检测损失，确定第一检测模型的检测损失变化率；所述第一检测模型的历史检测损失是在历史训练过程中确定的第一检测模型的检测损失；
若所述第一检测模型的检测损失变化率低于第一预设损失阈值，或第一检测模型的训练轮数达到第一预设轮数阈值，则确定所述第一检测模型达到第一预设条件；
若所述第一检测模型的检测损失变化率不低于第一预设损失阈值，且第一检测模型的训练轮数未达到第一预设轮数阈值，则确定所述第一检测模型未达到第一预设条件。
可选的，所述根据所述待检测图像对应的图像特征，确定目标物体在待检测图像上的位置信息以及所述目标物体的关键点位置信息，具体为：
根据所述待检测图像对应的图像特征，确定目标物体在待检测图像上的位置信息和待检测图像上各个图像子区域内的关键点位置信息，并根据所述目标物体在待检测图像上的位置信息和所述待检测图像上各个图像子区域内的关键点位置信息，确定所述目标物体的关键点位置信息；所述图像子区域是锚点对应的感兴趣区域。
可选的，所述根据所述待检测图像对应的图像特征，确定目标物体在待检测图像上的位置信息和待检测图像上各个图像子区域内的关键点位置信息，并根据所述目标物体在待检测图像上的位置信息和所述待检测图像上各个图像子区域内的关键点位置信息，确定所述目标物体的关键点位置信息，具体为：
根据所述待检测图像对应的图像特征，利用预先构建的第二检测模型对目标物体及其关键点进行检测，确定目标物体在待检测图像上的位置信息以及目标物体的关键点位置信息；
其中，所述第二检测模型包括第二物体位置检测网络层、第二关键点位置检测网络层和物体关键点位置确定网络层，且所述第二物体位置检测网络层的输出结果和所述第二关键点位置检测网络层的输出结果是所述物体关键点位置确定网络层的输入数据，且所述第二物体位置检测网络层用于根据所述待检测图像对应的图像特征确定目标物体在待检测图像上的位置信息；且所述第二关键点位置检测网络层用于根据所述待检测图像对应的图像特征确定待检测图像上各个图像子区域内的关键点位置信息；且所述物体关键点位置确定网络层用于根据所述目标物体在待检测图像上的位置信息和所述待检测图像上各个图像子区域内的关键点位置信息，确定所述目标物体的关键点位置信息。
可选的，所述第二检测模型的训练过程，具体包括：
获取训练图像对应的图像特征、目标物体在训练图像上的实际位置信息以及目标物体的实际关键点位置信息；
根据所述训练图像对应的图像特征，利用第二检测模型对目标物体及其关键点进行检测，确定目标物体在待检测图像上的预测位置信息以及目标物体的预测关键点位置信息；
根据所述目标物体在训练图像上的实际位置信息、所述目标物体的实际关键点位置信息、所述目标物体在待检测图像上的预测位置信息以及所述目标物体的预测关键点位置信息，判断所述第二检测模型是否达到第二预设条件；
若确定所述第二检测模型未达到第二预设条件，则更新第二检测模型，继续执行“根据所述训练图像对应的图像特征，利用第二检测模型对目标物体及其关键点进行检测，确定目标物体在待检测图像上的预测位置信息以及目标物体的预测关键点位置信息”。
可选的，所述第二预设条件为：第二检测模型的检测损失的变化率低于第二预设损失阈值，和/或，第二检测模型的训练轮数达到第二预设轮数阈值。
可选的，当所述第二预设条件包括第二检测模型的检测损失的变化率低于第二预设损失阈值时，所述根据所述目标物体在训练图像上的实际位置信息、所述目标物体的实际关键点位置信息、所述目标物体在待检测图像上的预测位置信息以及所述目标物体的预测关键点位置信息，判断所述第二检测模型是否达到第二预设条件，具体包括：
根据所述目标物体在训练图像上的实际位置信息以及目标物体在待检测图像上的预测位置信息，确定目标物体的检测损失；其中，所述目标物体的检测损失包括目标物体的识别损失和目标物体的位置检测损失；
根据所述目标物体的实际关键点位置信息以及所述目标物体的预测关键点位置信息，确定目标物体的关键点位置检测损失；
根据所述目标物体的识别损失、所述目标物体的位置检测损失和所述目标物体的关键点位置检测损失，确定第二检测模型的检测损失；
根据所述第二检测模型的检测损失以及第二检测模型的历史检测损失，确定第二检测模型的检测损失变化率；所述第二检测模型的历史检测损失是在历史训练过程中确定的第二检测模型的检测损失；
若所述第二检测模型的检测损失变化率低于第二预设损失阈值，则确定所述第二检测模型达到第二预设条件；
若所述第二检测模型的检测损失变化率不低于第二预设损失阈值，则确定所述第二检测模型未达到第二预设条件。
可选的，所述根据所述目标物体在训练图像上的实际位置信息、所述目标物体的实际关键点位置信息、所述目标物体在待检测图像上的预测位置信息以及所述目标物体的预测关键点位置信息，判断所述第二检测模型是否达到第二预设条件，具体包括：
根据所述目标物体在训练图像上的实际位置信息以及目标物体在待检测图像上的预测位置信息，确定目标物体的检测损失；其中，所述目标物体的检测损失包括目标物体的识别损失和目标物体的位置检测损失；
根据所述目标物体的实际关键点位置信息以及所述目标物体的预测关键点位置信息，确定目标物体的关键点位置检测损失；
根据所述目标物体的识别损失、所述目标物体的位置检测损失和所述目标物体的关键点位置检测损失，确定第二检测模型的检测损失；
根据所述第二检测模型的检测损失以及第二检测模型的历史检测损失，确定第二检测模型的检测损失变化率；所述第二检测模型的历史检测损失是在历史训练过程中确定的第二检测模型的检测损失；
若所述第二检测模型的检测损失变化率低于第二预设损失阈值，或第二检测模型的训练轮数达到第二预设轮数阈值，则确定所述第二检测模型达到第二预设条件；
若所述第二检测模型的检测损失变化率不低于第二预设损失阈值，且第二检测模型的训练轮数未达到第二预设轮数阈值，则确定所述第二检测模型未达到第二预设条件。
本申请实施例还提供了一种图像中物体及其关键点的确定装置，包括：
提取单元，用于对待检测图像进行特征提取，得到所述待检测图像对应的图像特征；
确定单元，用于根根据所述待检测图像对应的图像特征，确定目标物体在待检测图像上的位置信息以及所述目标物体的关键点位置信息；其中，所述目标物体的关键点用于表征所述目标物体的结构特征。
本申请实施例还提供了一种设备，所述设备包括处理器以及存储器：
所述存储器用于存储计算机程序；
所述处理器用于根据所述计算机程序执行上述提供的图像中物体及其关键点的确定方法的任一实施方式。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行上述提供的图像中物体及其关键点的确定方法的任一实施方式。
与现有技术相比，本申请实施例至少具有以下优点：
本申请实施例提供的图像中物体及其关键点的确定方法中，在从待检测图像中提取到该待检测图像对应的图像特征之后，直接根据该待检测图像对应的图像特征，确定目标物体在待检测图像上的位置信息以及该目标物体的关键点位置信息。其中，由于目标物体在待检测图像上的位置信息能够准确地表征待检测图像中目标物体的位置，且目标物体的关键点位置信息能够准确地表征待检测图像中目标物体的关键点位置，因而，本申请实施例提供的图像中物体及其关键点的确定方法能够有效地从待检测图像中确定出目标物体的位置信息及其关键点的位置信息，从而能够准确地检测出图像中物体及其关键点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本申请实施例提供的利用级联的两个模型确定图像中物体及其关键点的示意图；
图2为本申请方法实施例一提供的图像中物体及其关键点的确定方法流程图；
图3为本申请方法实施例二提供的图像中物体及其关键点的确定方法流程图；
图4为本申请实施例提供的第一检测模型应用于人脸位置及其关键点检测时的示意图；
图5为本申请实施例提供的第一检测模型的训练过程流程图；
图6为本申请实施例提供的步骤S53的一种实施方式的流程图；
图7为本申请实施例提供的步骤S53的另一种实施方式的流程图；
图8为本申请方法实施例四提供的图像中物体及其关键点的确定方法流程图；
图9为本申请实施例提供的第二检测模型应用于人脸位置及其关键点检测时的示意图；
图10为本申请实施例提供的第二检测模型的训练过程流程图；
图11为本申请实施例提供的步骤S103的一种实施方式的流程图；
图12为本申请实施例提供的步骤S103的另一种实施方式的流程图；
图13为本申请实施例提供的图像中物体及其关键点的确定装置的结构示意图；
图14为本申请实施例提供的设备结构示意图。
具体实施方式
为了解决背景技术部分的技术问题，发明人经过研究发现：可以利用级联的物体检测模型(例如，人脸检测模型)以及物体的关键点检测模型(例如，人脸关键点检测模型)，来依次确定目标物体(例如，人脸)在待检测图像上的位置信息和目标物体的关键点位置信息。其中，由于物体检测模型包括图像特征提取网络和物体位置检测网络，而且物体的关键点检测模型包括图像特征提取网络和物体关键点检测网络，因而，在利用级联的物体检测模型以及物体的关键点检测模型确定目标物体及其关键点时，需要依次经过以下步骤：对待检测图像进行图像特征提取→检测目标物体的位置信息→对目标物体的图像进行图像特征提取→检测目标物体的关键点的位置信息。
为了便于理解和解释上述过程，下面结合人脸及其关键点的检测过程进行说明。
作为示例，如图1所示，当目标物体为人脸时，则利用级联的人脸检测模型以及人脸关键点检测模型确定人脸及其关键点的过程，具体为：首先，对待检测图像进行特征提取，获取第一图像特征；其次，利用人脸检测网络对第一图像特征进行检测，得到人脸图像(也就是，人脸检测结果)；然后，对人脸图像进行特征提取，获取第二图像特征；最后，利用人脸关键点检测网络对第二图像特征进行检测，得到携带有人脸关键点信息的图像(也就是，人脸关键点检测结果)。
基于背景技术部分的技术问题以及上述技术方案，发明人进行了进一步研究发现：在利用级联的物体检测模型以及物体的关键点检测模型确定物体及其关键点时，需要进行两次图像特征提取，增加了图像中物体及其关键点的确定过程的复杂性，降低了图像中物体及其关键点的确定效率，还增加了确定图像中物体及其关键点时的内存消耗。另外，由于物体检测模型和物体的关键点检测模型均需要利用深度神经网络进行实现，而且每个深度神经网络在使用以及训练时均会消耗较大的内存以及时间，因而，级联的物体检测模型以及物体的关键点检测模型的使用过程以及训练过程均需要消耗较大的内存以及时间，从而增加了图像中物体及其关键点的获取成本，限制了基于级联的物体检测模型以及物体的关键点检测模型的图像中物体及其关键点的检测方法的应用范围。
为了解决背景技术部分的技术问题以及克服上述级联的两个模型的技术方案所存在的缺陷，本申请实施例提供了一种图像中物体及其关键点的确定方法，该方法具体包括：在从待检测图像中提取到该待检测图像对应的图像特征之后，直接根据该待检测图像对应的图像特征，确定目标物体在待检测图像上的位置信息以及该目标物体的关键点位置信息。
在本申请实施例提供的图像中物体及其关键点的确定方法中，由于目标物体在待检测图像上的位置信息能够准确地表征待检测图像中目标物体的位置，且目标物体的关键点位置信息能够准确地表征待检测图像中目标物体的关键点位置，因而，本申请实施例提供的图像中物体及其关键点的确定方法能够有效地从待检测图像中确定出目标物体的位置信息及其关键点的位置信息，从而能够准确地检测出图像中物体及其关键点。另外，由于在获取到待检测图像对应的图像特征之后，直接基于该待检测图像对应的图像特征确定目标物体在待检测图像上的位置信息以及所述目标物体的关键点位置信息即可，无需进行将目标物体在待检测图像上的位置信息还原为物体检测图像以及对该物体检测图像进行特征提取的过程，使得在确定目标物体在待检测图像上的位置信息以及目标物体的关键点位置信息过程中只需进行一次图像特征提取过程，如此简化了图像中物体及其关键点的确定过程，提高了图像中物体及其关键点的确定效率，并降低了在确定图像中物体及其关键点时的内存损耗。
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
方法实施例一
参见图2，该图为本申请方法实施例一提供的图像中物体及其关键点的确定方法流程图。
本申请实施例提供的图像中物体及其关键点的确定方法，具体包括步骤S21-S22：
S21：对待检测图像进行特征提取，得到所述待检测图像对应的图像特征。
待检测图像是指需要进行物体检测的图像。
待检测图像对应的图像特征用于表征该待检测图像自身所具有的特征信息。
本申请实施例不限定图像特征提取方法，可以采用任一种现有或未来出现的能够从待检测图像中进行特征提取的图像特征提取方法。例如，图像特征提取方法可以是卷积算法。
S22：根据所述待检测图像对应的图像特征，确定目标物体在待检测图像上的位置信息以及所述目标物体的关键点位置信息；其中，所述目标物体的关键点用于表征所述目标物体的结构特征。
目标物体是指需要在图像上进行识别的对象；而且，本申请实施例不限定目标物体，目标物体可以是人脸、车辆、茶杯、以及其他物体。另外，目标物体可以提前设定，尤其可以根据应用场景设定。
目标物体在待检测图像上的位置信息用于记录在待检测图像中，目标物体所处区域的位置相关信息；而且，本申请实施例不限定目标物体在待检测图像上的位置信息的表示形式，可以采用文字、数字、符号等中的至少一个进行表示。例如，目标物体在待检测图像上的位置信息可以利用锚点(anchor)对应的感兴趣区域(region of interest，roi)以及待检测图像中目标物体所处区域相对于该anchor对应的roi的偏移参数来进行描述。其中，每个anchor对应的roi可以利用区域参数(x，y，w，h)，且x和y用于表示该anchor对应的roi的中心点像素坐标；w用于表示该anchor对应的roi的宽度；h用于表示该anchor对应的roi的高度。偏移参数可以利用区域偏移参数(△x，△y，△w，△h)，且△x和△y用于表示待检测图像中目标物体所处区域的中心点像素坐标相对于该anchor对应的roi的中心点像素坐标的偏移量；△w用于表示待检测图像中目标物体所处区域的宽度相对于该anchor对应的roi的宽度偏移量；△h用于表示待检测图像中目标物体所处区域的高度相对于该anchor对应的roi的高度偏移量。
为了便于理解和解释目标物体在待检测图像上的位置信息，下面结合示例进行说明。
作为示例，假设，目标物体为人脸；且待检测图像包括第1个anchor至第N个anchor；且第1个anchor对应的roi的区域参数为(x1，y1，w1，h1)，第2个anchor对应的roi的区域参数为(x2，y2，w2，h2)，……，第N个anchor对应的roi的区域参数为(xN，yN，wN，hN)；且第T个anchor对应的roi中携带有人脸；且待检测图像中人脸所处区域相对于第T个anchor对应的roi的偏移参数为(△x，△y，△w，△h)，且1≤T≤N。基于上述假设可知，人脸在待检测图像上的位置信息可以利用待检测图像中人脸所处区域的区域参数(xN+△x，yN+△y，wN+△w，hN+△h)表示。
目标物体的关键点用于表征目标物体的结构特征。例如，当目标物体为人脸时，则目标物体的关键点可以包括能够表征人脸五官位置以及脸部轮廓位置的相关点。
在本申请实施例中，在获取到待检测图像对应的图像特征之后，可以依据待检测图像对应的图像特征，直接确定目标物体在待检测图像上的位置信息以及所述目标物体的关键点位置信息。
另外，本申请实施例还提供了步骤S22的两种具体实施方式，且步骤S22这两种具体实施方式将分别在下文方法实施例二和下文方法实施例四中进行介绍，也就是说，步骤S22这两种具体实施方式分别是下文方法实施例二中的步骤S32和下文方法实施例四中的步骤S82，技术详情请参见下文。
以上为方法实施例一提供的图像中物体及其关键点的确定方法的具体实施方式，在该实施方式中，在从待检测图像中提取到该待检测图像对应的图像特征之后，直接根据该待检测图像对应的图像特征，确定目标物体在待检测图像上的位置信息以及该目标物体的关键点位置信息。其中，由于目标物体在待检测图像上的位置信息能够准确地表征待检测图像中目标物体的位置，且目标物体的关键点位置信息能够准确地表征待检测图像中目标物体的关键点位置，因而，本申请实施例提供的图像中物体及其关键点的确定方法能够有效地从待检测图像中确定出目标物体的位置信息及其关键点的位置信息，从而能够准确地检测出图像中物体及其关键点。另外，由于在获取到待检测图像对应的图像特征之后，直接基于该待检测图像对应的图像特征确定目标物体在待检测图像上的位置信息以及所述目标物体的关键点位置信息即可，无需进行将目标物体在待检测图像上的位置信息还原为物体检测图像以及对该物体检测图像进行特征提取的过程，使得在确定目标物体在待检测图像上的位置信息以及目标物体的关键点位置信息过程中只需进行一次图像特征提取过程，如此简化了图像中物体及其关键点的确定过程，提高了图像中物体及其关键点的确定效率，并降低了在确定图像中物体及其关键点时的内存损耗。
为了提高图像中物体及其关键点的位置检测准确性，基于上述方法实施例一提供的图像中物体及其关键点的确定方法，本申请实施例还提供了图像中物体及其关键点的确定方法的另一种实施方式，下面结合附图进行解释和说明。
方法实施例二
方法实施例二是在方法实施例一的基础上进行的改进，为了简要起见，方法实施例二中与方法实施例一中内容相同的部分，在此不再赘述。
参见图3，该图为本申请方法实施例二提供的图像中物体及其关键点的确定方法流程图。
本申请实施例提供的图像中物体及其关键点的确定方法，具体包括步骤S31-S32：
S31：对待检测图像进行特征提取，得到所述待检测图像对应的图像特征。
需要说明的是，步骤S31的具体内容与上述方法实施例一中步骤S21的内容相同，为了简要起见，在此不再赘述。
S32：根据所述待检测图像对应的图像特征，确定目标物体在待检测图像上的位置信息，并根据所述待检测图像对应的图像特征和所述目标物体在待检测图像上的位置信息，确定目标物体的关键点位置信息；其中，所述目标物体的关键点用于表征所述目标物体的结构特征。
在本申请实施例中，在获取到待检测图像对应的图像特征之后，需要先利用该待检测图像对应的图像特征确定目标物体在待检测图像上的位置信息，再利用该目标物体在待检测图像上的位置信息以及待检测图像对应的图像特征，确定目标物体的关键点位置信息。
另外，为了提高图像中物体及其关键点的确定效率，可以利用由物体位置检测网络和物体关键点检测网络融合而成的第一检测模型确定物体及其关键点。基于此，本申请实施例还提供了步骤S32的一种实施方式，在该实施方式中，步骤S32具体可以为：根据所述待检测图像对应的图像特征，利用预先构建的第一检测模型对目标物体及其关键点进行检测，确定目标物体在待检测图像上的位置信息以及目标物体的关键点位置信息。
第一检测模型用于根据待检测图像对应的图像特征对目标物体在待检测图像上的位置信息以及目标物体的关键点位置信息进行检测。
第一检测模型包括第一物体位置检测网络层和第一关键点位置检测网络层，且所述第一物体位置检测网络层的输出结果是所述第一关键点位置检测网络层的输入数据，且所述第一物体位置检测网络层用于根据所述待检测图像对应的图像特征确定目标物体在待检测图像上的位置信息，所述第一关键点位置检测网络层用于根据所述待检测图像对应的图像特征和所述目标物体在待检测图像上的位置信息，确定目标物体的关键点位置信息。也就是，在第一检测模型中，第一检测模型的输入数据“待检测图像对应的图像特征”就是第一物体位置检测网络层的输入数据，而且第一物体位置检测网络层的输出数据就是第一关键点位置检测网络层的输入数据。例如，当目标物体为人脸时，如图4所示，第一检测模型的输入数据“待检测图像对应的图像特征”就是人脸检测网络层的输入数据，而且人脸检测网络层的输出数据就是人脸关键点检测网络层的输入数据。需要说明的是：在图4中，“人脸检测网络层”用于表示应用于人脸位置及其关键点检测时的“第一物体位置检测网络层”；“人脸关键点检测网络层”用于表示应用于人脸位置及其关键点检测时的“第一关键点位置检测网络层”。
需要说明的是，本申请实施例不限定第一检测模型中第一关键点位置检测网络层对第一物体位置检测网络层的输出数据的使用方式，例如，可以由第一关键点位置检测网络层直接使用第一物体位置检测网络层的输出数据；还可以先根据第一物体位置检测网络层的输出数据确定包括目标物体的图像区域相关信息，再将由第一关键点位置检测网络层使用包括目标物体的图像区域相关信息，本申请实施例对此不做具体限定。
需要说明的是，在本申请实施例中，第一检测模型是一个深度神经网络，而且该深度神经网络是由第一物体位置检测网络层和第一关键点位置检测网络层构成的。如此，在使用第一检测模型进行物体及其关键点检测时，只需运行一个深度神经网络即可，节约了运行内存以及运行时间。
还需要说明的是，在本申请实施例中还提供了一种第一检测模型的训练过程，且该训练过程将在方法实施例三中进行详细说明，技术详情请参照方法实施例三。
以上为方法实施例二提供的图像中物体及其关键点的确定方法的具体实施方式，在该实施方式中，在从待检测图像中提取到该待检测图像对应的图像特征之后，先根据该待检测图像对应的图像特征，确定目标物体在待检测图像上的位置信息，再直接根据该目标物体在待检测图像上的位置信息以及待检测图像对应的图像特征，确定目标物体的关键点位置信息。其中，由于目标物体在待检测图像上的位置信息能够准确地表征待检测图像中目标物体的位置，且目标物体的关键点位置信息能够准确地表征待检测图像中目标物体的关键点位置，因而，本申请实施例提供的图像中物体及其关键点的确定方法能够有效地从待检测图像中确定出目标物体的位置信息及其关键点的位置信息，从而能够准确地检测出图像中物体及其关键点。另外，由于在获取到目标物体在待检测图像上的位置信息之后，直接将目标物体在待检测图像上的位置信息作为确定目标物体的关键点位置信息的依据即可，无需进行将目标物体在待检测图像上的位置信息还原为物体检测图像以及对该物体检测图像进行特征提取的过程，使得在确定目标物体在待检测图像上的位置信息以及目标物体的关键点位置信息过程中只需进行一次图像特征提取过程，如此简化了图像中物体及其关键点的确定过程，提高了图像中物体及其关键点的确定效率，并降低了在确定图像中物体及其关键点时的内存损耗。
另外，为了进一步降低确定图像中物体及其关键点时的内存以及时间消耗，可以将利用第一检测模型对目标物体及其关键点进行检测，确定目标物体在待检测图像上的位置信息以及目标物体的关键点位置信息。其中，由于在该第一检测模型是一个包括了第一物体位置检测网络层和第一关键点位置检测网络层的深度神经网络，因而，在对该第一检测模型进行训练时只需训练一个深度神经网络即可，减少了训练第一检测模型时的内存以及时间消耗；而且，在使用该第一检测模型进行物体及其关键点检测时，只需运行一个深度神经网络即可，降低了确定物体及其关键点时的内存以及时间损耗。
基于上述方法实施例一和方法实施例二提供的图像中物体及其关键点的确定方法，为了进一步提高确定的图像中物体及其检测点的准确性，可以对第一检测模型进行训练，以便提高第一检测模型的检测效果。基于此，本申请实施例还提供了一种第一检测模型的训练过程，下面结合附图进行解释和说明。
方法实施例三
参见图5，该图为本申请实施例提供的第一检测模型的训练过程流程图。
本申请实施例提供的第一检测模型的训练过程，包括步骤S51-S55：
S51：获取训练图像对应的图像特征、目标物体在训练图像上的实际位置信息以及目标物体的实际关键点位置信息。
训练图像用于表示在对第一检测模型进行训练时所使用的图像；而且，本申请不限定训练图像的类型，例如，训练图像可以是通过图像采集设备(例如，照相机)采集的图像，也可以是携带有目标物体位置信息的图像，还可以是携带有目标物体的关键点位置信息的图像。另外，本申请实施例不限定训练图像的个数，而且训练图像的个数可以预先设定，尤其可以根据应用场景设定。
目标物体在训练图像上的实际位置信息用于记录训练图像中目标物体的实际位置相关信息。
目标物体的实际关键点位置信息用于记录训练图像中目标物体的关键点的实际位置相关信息。
需要说明的是，本申请实施例不限定训练图像对应的图像特征的获取方法，可以采用任一种能够获取训练图像对应的图像特征的获取方法；本申请实施例不限定目标物体在训练图像上的实际位置信息的获取方法，可以采用任一种能够获取目标物体在训练图像上的实际位置信息的获取方法；本申请实施例不限定目标物体的实际关键点位置信息的获取方法，可以采用任一种能够获取目标物体的实际关键点位置信息的获取方法。
S52：根据所述训练图像对应的图像特征，利用第一检测模型对目标物体及其关键点进行检测，确定目标物体在待检测图像上的预测位置信息以及目标物体的预测关键点位置信息。
目标物体在待检测图像上的预测位置信息用于记录利用第一检测模型检测获得的目标物体在待检测图像上的位置相关信息。
目标物体的预测关键点位置信息用于记录利用第一检测模型检测获得的待检测图像中目标物体的预测关键点位置相关信息。
在本申请实施例中，在获取到训练图像对应的图像特征之后，将该训练图像对应的图像特征输入到第一检测模型中，以便该第一检测模型根据该训练图像对应的图像特征对目标物体及其关键点进行检测，确定目标物体在待检测图像上的预测位置信息以及目标物体的预测关键点位置信息，并由第一检测模型将目标物体在待检测图像上的预测位置信息以及目标物体的预测关键点位置信息进行输出。
S53：根据所述目标物体在训练图像上的实际位置信息、所述目标物体的实际关键点位置信息、所述目标物体在待检测图像上的预测位置信息以及所述目标物体的预测关键点位置信息，判断所述第一检测模型是否达到第一预设条件；若是，则执行步骤S55；若否，则执行步骤S54。
第一预设条件用于记录第一检测模型的训练过程的训练截止条件信息；而且，第一预设条件可以预先设定，也可以根据应用场景设定。例如，第一预设条件可以具体包括：第一检测模型的检测损失的变化率低于第一预设损失阈值，和/或，第一检测模型的训练轮数达到第一预设轮数阈值。
在本申请实施例中，可以将由第一检测模型检测所得的物体及其关键点的预测位置信息与物体及其关键点的实际位置信息进行比较，以便根据比较结果确定第一检测模型的预测准确性，其具体为：根据所述目标物体在训练图像上的实际位置信息、所述目标物体的实际关键点位置信息、所述目标物体在待检测图像上的预测位置信息以及所述目标物体的预测关键点位置信息，判断所述第一检测模型是否达到第一预设条件，若第一检测模型达到第一预设条件，则表示由第一检测模型检测所得的物体及其关键点的预测位置信息十分接近于物体及其关键点的实际位置信息，从而表示该第一检测模型的预测准确性较高，无需再对该第一检测模型进行训练，此时可以结束对该第一检测模型的训练过程；若第一检测模型未达到第一预设条件，则表示由第一检测模型检测所得的物体及其关键点的预测位置信息与物体及其关键点的实际位置信息之间的差距较大，从而表示该第一检测模型的预测准确性较低，还需对该第一检测模型进行进一步训练，此时需要更新第一检测模型，以便提高更新后的第一检测模型的预测准确性。
另外，为了提高对第一检测模型的检测效果的评价准确性，本申请实施例还提供了步骤S53的一种具体实施方式，如图6所示，在该实施方式中，当第一预设条件包括第一检测模型的检测损失的变化率低于第一预设损失阈值时，步骤S53具体可以包括步骤S53A1-S53A7：
S53A1：根据所述目标物体在训练图像上的实际位置信息以及目标物体在待检测图像上的预测位置信息，确定目标物体的检测损失。
目标物体的检测损失用于记录第一检测模型在获取目标物体在待检测图像上的位置信息的过程中所造成的损失；而且，所述目标物体的检测损失包括目标物体的识别损失(L-softmax)和目标物体的位置检测损失(L-regression)。
其中，目标物体的识别损失用于记录第一检测模型在识别图像中目标物体时所造成的损失。也就是说，目标物体的识别损失用于记录第一检测模型是否能够从图像中识别出目标物体。另外，目标物体的识别损失可以包括因未识别出图像中目标物体而造成的损失、因将图像中的其他物体识别为目标物体而造成的损失、因将待检测图像中的目标物体识别为其他物体而造成的损失等。
目标物体的位置检测损失用于记录第一检测模型在确定目标物体在待检测图像上的位置信息的过程中所造成的损失；而且，所述目标物体的位置检测损失可以包括因目标物体在待检测图像上的预测位置信息不准确导致的损失。需要说明的是，在确定目标物体的位置检测损失时通常可以利用二维损失函数(l2-loss)进行计算，也就是计算预测位置坐标与实际位置坐标之间的距离差。
基于上述内容可知，在获取到目标物体在训练图像上的实际位置信息以及目标物体在待检测图像上的预测位置信息之后，可以将实际位置信息与预测位置信息进行比较，来确定第一检测模型的目标物体的识别损失；同时，还可以计算实际位置信息与预测位置信息之间的距离差，来确定第一检测模型的目标物体的位置检测损失。
需要说明的是，本申请实施例不限定目标物体的识别损失的计算方法，可以采用现有的或未来出现的任一种能够衡量图像中目标物体识别效果的计算方法，来确定目标物体的识别损失。另外，本申请实施例不限定目标物体的位置检测损失的计算方法，可以采用现有的或未来出现的任一种能够衡量目标物体的位置检测效果的计算方法，来确定目标物体的位置检测损失。
S53A2：根据所述目标物体的实际关键点位置信息以及所述目标物体的预测关键点位置信息，确定目标物体的关键点位置检测损失。
目标物体的关键点位置检测损失(loss-dpoint)用于记录第一检测模型在获取目标物体的关键点位置信息的过程中所造成的损失；而且，目标物体的关键点位置检测损失包括因目标物体的预测关键点位置信息不准确导致的损失。需要说明的是，在确定目标物体的关键点位置检测损失时通常可以利用二维损失函数(l2-loss)进行计算，也就是计算预测位置坐标与实际位置坐标之间的距离差。
需要说明的是，本申请实施例不限定目标物体的关键点位置检测损失的计算方法，可以采用现有的或未来出现的任一种能够衡量目标物体的关键点的位置检测效果的计算方法，来确定目标物体的关键点位置检测损失。
S53A3：根据所述目标物体的识别损失、所述目标物体的位置检测损失和所述目标物体的关键点位置检测损失，确定第一检测模型的检测损失。
第一检测模型的检测损失(loss-detect)用于记录第一检测模型在获取目标物体在待检测图像上的位置信息以及目标物体的关键点位置信息的过程中所造成的损失。
在本申请实施例中，为了提高对模型检测效果的评价准确性，可以利用预先设定的损失函数来确定第一检测模型的检测损失，且该损失函数为：
loss-detect＝α×L-softmax+β×L-regression+F×σ×loss-dpoint，
式中，loss-detect表示第一检测模型的检测损失；α表示目标物体的识别损失的影响权重；L-softmax表示目标物体的识别损失；β表示目标物体的位置检测损失的影响权重；L-regression表示目标物体的位置检测损失；F表示目标物体的关键点位置检测损失的存在标识，若训练图像中包括目标物体(也就是，正样本训练图像)，则该训练图像对应的F值为1，若训练图像中不包括目标物体(也就是，负样本训练图像)，则该训练图像对应的F值为0；σ表示目标物体的关键点位置检测损失的影响权重；loss-dpoint表示目标物体的关键点位置检测损失。
需要说明的是，F的值是根据训练图像中是否包括目标物体确定的，具体为：若一个训练图像中包括目标物体，则需要考虑目标物体的关键点相关信息，此时在衡量第一检测模型对该训练图像的检测损失时需要考虑目标物体的识别损失、目标物体的位置检测损失和目标物体的关键点位置检测损失；若一个训练图像中不包括目标物体，则无需考虑目标物体的关键点相关信息，此时在衡量第一检测模型对该训练图像的检测损失时只需要考虑目标物体的识别损失和目标物体的位置检测损失即可。
在本申请实施例中，由于上述损失函数是通过利用目标物体的识别损失、目标物体的位置检测损失和目标物体的关键点位置检测损失这三个损失指标来共同监督第一检测模型的检测效果的，因而在利用上述损失函数评价第一检测模型的对物体及其关键点的检测效果时，能够有效地确定出当前第一检测模型是否能够准确地检测出图像中的物体及其关键点，从而提高了训练好的第一检测模型的检测准确性。
S53A4：根据所述第一检测模型的检测损失以及第一检测模型的历史检测损失，确定第一检测模型的检测损失变化率。
第一检测模型的历史检测损失是在历史训练过程中确定的第一检测模型的检测损失。例如，假设对第一检测模型依次进行了第1轮训练至第Y轮训练，且第1轮训练早于第2轮训练、第2轮训练早于第3轮训练、……、第Y-1轮训练早于第Y轮训练，且第Y轮训练是当前正在执行的训练过程，此时，对于第Y轮训练来说，第1轮训练至第Y-1轮训练均是第Y轮训练的历史训练过程，那么，在第1轮训练中确定的第一检测模型的检测损失至在第Y-1轮训练中确定的第一检测模型的检测损失均是第Y轮训练的历史检测损失。
第一检测模型的检测损失变化率用于表征第一检测模型在多轮训练过程中检测效果的变化信息；而且，第一检测模型的检测损失变化率越小表示第一检测模型的检测效果越好，且第一检测模型的检测损失变化率越大表示第一检测模型的检测效果越差。
S53A5：判断所述第一检测模型的检测损失变化率是否低于第一预设损失阈值，若是，则执行步骤S53A6；若否，则执行步骤S53A7。
第一预设损失阈值可以预先设定，尤其可以根据应用场景设定。
在本申请实施例中，在根据目标物体的识别损失、目标物体的位置检测损失和目标物体的关键点位置检测损失这三个监督因素确定出第一检测模型的检测损失后，再基于第一检测模型的检测损失确定第一检测模型的检测损失变化率。此时，如果第一检测模型的检测损失变化率低于第一预设损失阈值，则表示该第一检测模型检测损失变化较小且接近于稳定的最优模型，从而表示利用该第一检测模型检测所得的图像中物体及其关键点准确性较高，从而确定该第一检测模型已达到第一预设条件，进而可以确定该第一检测模型无需再进行训练；如果第一检测模型的检测损失变化率不低于第一预设损失阈值，则表示该第一检测模型检测损失变化较大且距离稳定的最优模型较远，从而表示利用该第一检测模型检测所得的图像中物体及其关键点准确性较低，从而确定该第一检测模型未达到第一预设条件，进而可以确定该第一检测模型仍需再次进行训练。
S53A6：确定所述第一检测模型达到第一预设条件。
S53A7：确定所述第一检测模型未达到第一预设条件。
需要说明的是，步骤S53A1和步骤S53A2之间没有固定的执行顺序，可以依次执行步骤S53A1和步骤S53A2，也可以依次执行步骤S53A2和步骤S53A1，还可以同时执行步骤S53A1和步骤S53A2。
以上为步骤S53的一种实施方式，该实施方式将第一检测模型的检测损失变化率低于第一预设损失阈值作为了第一检测模型的训练截止条件。
另外，为了提高对第一检测模型的检测效果的评价准确性，本申请实施例还提供了步骤S53的另一种具体实施方式，如图7所示，在该实施方式中，当第一预设条件包括第一检测模型的检测损失的变化率低于第一预设损失阈值时，步骤S53具体可以包括步骤S53B1-S53B7：
S53B1：根据所述目标物体在训练图像上的实际位置信息以及目标物体在待检测图像上的预测位置信息，确定目标物体的检测损失。
其中，所述目标物体的检测损失包括目标物体的识别损失和目标物体的位置检测损失。
需要说明的是，步骤S53B1的内容与上述步骤S53A1的内容相同，为了简要起见，在此不再赘述，步骤S53B1的技术详情请参照上述步骤S53A1的内容。
S53B2：根据所述目标物体的实际关键点位置信息以及所述目标物体的预测关键点位置信息，确定目标物体的关键点位置检测损失。
需要说明的是，步骤S53B2的内容与上述步骤S53A2的内容相同，为了简要起见，在此不再赘述，步骤S53B2的技术详情请参照上述步骤S53A2的内容。
S53B3：根据所述目标物体的识别损失、所述目标物体的位置检测损失和所述目标物体的关键点位置检测损失，确定第一检测模型的检测损失。
需要说明的是，步骤S53B3的内容与上述步骤S53A3的内容相同，为了简要起见，在此不再赘述，步骤S53B3的技术详情请参照上述步骤S53A3的内容。
S53B4：根据所述第一检测模型的检测损失以及第一检测模型的历史检测损失，确定第一检测模型的检测损失变化率。
第一检测模型的历史检测损失是在历史训练过程中确定的第一检测模型的检测损失。
需要说明的是，步骤S53B4的内容与上述步骤S53A4的内容相同，为了简要起见，在此不再赘述，步骤S53B4的技术详情请参照上述步骤S53A4的内容。
S53B5：判断是否满足以下两个条件中的至少一个条件，且该两个条件为：第一检测模型的检测损失变化率低于第一预设损失阈值和第一检测模型的训练轮数达到第一预设轮数阈值；若是，则执行步骤S53B6；若否，则执行步骤S53B7。
在本申请实施例中，在获取到第一检测模型的检测损失变化率以及第一检测模型的训练轮数之后，需要分别进行执行动作“判断第一检测模型的检测损失变化率是否低于第一预设损失阈值”以及动作“第一检测模型的训练轮数是否达到第一预设轮数阈值”。其中，只要确定了第一检测模型的检测损失变化率低于第一预设损失阈值时，无论有没有执行动作“第一检测模型的训练轮数是否达到第一预设轮数阈值”，均直接则执行步骤S53B6；而且，只要确定了第一检测模型的训练轮数达到第一预设轮数阈值，无论有没有执行动作“判断第一检测模型的检测损失变化率是否低于第一预设损失阈值”，均直接则执行步骤S53B6；而且，只有确定了第一检测模型的检测损失变化率不低于第一预设损失阈值，且第一检测模型的训练轮数未达到第一预设轮数阈值时，才执行步骤S53B7。
需要说明的是，在本申请实施例不限定动作“判断第一检测模型的检测损失变化率是否低于第一预设损失阈值”和动作“第一检测模型的训练轮数是否达到第一预设轮数阈值”的执行顺序，可以依次执行动作“判断第一检测模型的检测损失变化率是否低于第一预设损失阈值”和动作“第一检测模型的训练轮数是否达到第一预设轮数阈值”，也可以依次执行动作“第一检测模型的训练轮数是否达到第一预设轮数阈值”和动作“判断第一检测模型的检测损失变化率是否低于第一预设损失阈值”，还可以同时执行该两个动作。
S53B6：确定所述第一检测模型达到第一预设条件。
S53B7：确定所述第一检测模型未达到第一预设条件。
需要说明的是，步骤S53B1和步骤S53B2之间没有固定的执行顺序，可以依次执行步骤S53B1和步骤S53B2，也可以依次执行步骤S53B2和步骤S53B1，还可以同时执行步骤S53B1和步骤S53B2。
以上为步骤S53的另一种实施方式，该实施方式将第一检测模型的检测损失变化率低于第一预设损失阈值以及第一检测模型的训练轮数达到第一预设轮数阈值共同作为了第一检测模型的训练截止条件。
以上为步骤S53的相关内容。
S54：更新第一检测模型，继续执行步骤S52。
在本申请实施例中，在确定第一检测模型未达到第一预设条件时，可以根据由第一检测模型检测所得的目标物体在待检测图像上的预测位置信息与目标物体在训练图像上的实际位置信息之间的差距，以及目标物体的预测关键点位置信息与目标物体的实际关键点位置信息之间的差距，来对第一检测模型进行更新，使得更新后的第一检测模型检测所得的目标物体在待检测图像上的预测位置信息更接近与目标物体在训练图像上的实际位置信息，并使得目标物体的预测关键点位置信息更接近于标物体的实际关键点位置信息，从而使得更新后的第一检测模型能够更准确地检测出图像中物体及其关键点。
S55：结束对第一检测模型的训练过程。
上述为方法实施例三提供的第一检测模型的训练过程的具体实施方式，在该实施方式中，在获取到训练图像对应的图像特征、目标物体在训练图像上的实际位置信息以及目标物体的实际关键点位置信息之后，先根据所述训练图像对应的图像特征，利用第一检测模型对目标物体及其关键点进行检测，确定目标物体在待检测图像上的预测位置信息以及目标物体的预测关键点位置信息；再根据所述目标物体在训练图像上的实际位置信息、所述目标物体的实际关键点位置信息、所述目标物体在待检测图像上的预测位置信息以及所述目标物体的预测关键点位置信息，判断所述第一检测模型是否达到第一预设条件，以便根据该判断结果确定是否继续对该第一检测模型进行训练。其中，因本申请实施例是根据目标物体在训练图像上的实际位置信息、所述目标物体的实际关键点位置信息、所述目标物体在待检测图像上的预测位置信息以及所述目标物体的预测关键点位置信息这四个信息来评价第一检测模型的检测效果的，使得该评价结果更合理有效，从而使得满足第一预设条件的第一检测模型的检测效果更好。
另外，为了进一步提高对第一检测模型的检测效果的评价准确性，本申请实施例还利用目标物体的识别损失、目标物体的位置检测损失和目标物体的关键点位置检测损失这三个损失因素来共同监督第一检测模型的检测效果，使得该评价结果更合理有效，从而使得满足第一预设条件的第一检测模型的检测效果更好。
为了提高图像中物体及其关键点的位置检测准确性，基于上述方法实施例提供的图像中物体及其关键点的确定方法，本申请实施例还提供了图像中物体及其关键点的确定方法的又一种实施方式，下面结合附图进行解释和说明。
方法实施例四
方法实施例四是在方法实施例一至方法实施例三的基础上进行的改进，为了简要起见，方法实施例二中与方法实施例一至方法实施例三中内容相同的部分，在此不再赘述。
参见图8，该图为本申请方法实施例四提供的图像中物体及其关键点的确定方法流程图。
本申请实施例提供的图像中物体及其关键点的确定方法，具体包括步骤S81-S82：
S81：对待检测图像进行特征提取，得到所述待检测图像对应的图像特征。
需要说明的是，步骤S81的具体内容与上述方法实施例一中步骤S21的内容相同，为了简要起见，在此不再赘述。
S82：根据所述待检测图像对应的图像特征，确定目标物体在待检测图像上的位置信息和待检测图像上各个图像子区域内的关键点位置信息，并根据所述目标物体在待检测图像上的位置信息和所述待检测图像上各个图像子区域内的关键点位置信息，确定所述目标物体的关键点位置信息。
其中，图像子区域是锚点对应的感兴趣区域。需要说明的是，“锚点对应的感兴趣区域”的技术详情请参照方法实施例一的步骤S22中相关内容。另外，在待检测图像中通常包括至少一个图像子区域。
在本申请实施例中，在获取到待检测图像对应的图像特征之后，先根据该待检测图像对应的图像特征分别确定目标物体在待检测图像上的位置信息和待检测图像上各个图像子区域内的关键点位置信息，再根据目标物体在待检测图像上的位置信息和所述待检测图像上各个图像子区域内的关键点位置信息，确定所述目标物体的关键点位置信息。作为示例，假设待检测图像包括第1个图像子区域至第P个图像子区域，且目标物体位于第W个图像子区域内。基于该假设，步骤S82具体为：根据待检测图像对应的图像特征分别确定目标物体在待检测图像上的位置信息和待检测图像上第1个图像子区域内的关键点位置信息至第P个图像子区域内的关键点位置信息，此时，由于目标物体位于第W个图像子区域内，因而，在根据目标物体在待检测图像上的位置信息和待检测图像上各个图像子区域内的关键点位置信息，确定目标物体的关键点位置信息，也就是，确定目标物体在第W个图像子区域内的关键点位置信息。
需要说明的是，在本申请实施例中，在获取到目标物体在待检测图像上的位置信息和待检测图像上各个图像子区域内的关键点位置信息之后，需要将目标物体所在图像子区域内的关键点位置作为该目标物体的关键点位置信息。
另外，为了提高图像中物体及其关键点的确定效率，可以利用由物体位置检测网络和物体关键点检测网络融合而成的第二检测模型确定物体及其关键点。基于此，本申请实施例还提供了步骤S82的一种实施方式，在该实施方式中，步骤S82具体可以为：根据所述待检测图像对应的图像特征，利用预先构建的第二检测模型对目标物体及其关键点进行检测，确定目标物体在待检测图像上的位置信息以及目标物体的关键点位置信息。
第二检测模型用于根据待检测图像对应的图像特征对目标物体在待检测图像上的位置信息以及目标物体的关键点位置信息进行检测。
第二检测模型包括第二物体位置检测网络层、第二关键点位置检测网络层和物体关键点位置确定网络层，且所述第二物体位置检测网络层的输出结果和所述第二关键点位置检测网络层的输出结果是所述物体关键点位置确定网络层的输入数据，且所述第二物体位置检测网络层用于根据所述待检测图像对应的图像特征确定目标物体在待检测图像上的位置信息；且所述第二关键点位置检测网络层用于根据所述待检测图像对应的图像特征确定待检测图像上各个图像子区域内的关键点位置信息；且所述物体关键点位置确定网络层用于根据所述目标物体在待检测图像上的位置信息和所述待检测图像上各个图像子区域内的关键点位置信息，确定所述目标物体的关键点位置信息。也就是，在第二检测模型中，第二检测模型的输入数据“待检测图像对应的图像特征”分别是第二物体位置检测网络层的输入数据和第二关键点位置检测网络层的输入数据，而且第二物体位置检测网络层的输出数据和第二关键点位置检测网络层的输出数据是物体关键点位置确定网络层的输入数据。例如，当目标物体为人脸时，如图9所示，第二检测模型的输入数据“待检测图像对应的图像特征”就是人脸检测网络层的输入数据和人脸关键点检测网络层的输入数据，而且人脸检测网络层的输出数据和人脸关键点检测网络层的输出数据是人脸关键点确定网络层的输入数据。需要说明的是：在图9中，“人脸检测网络层”用于表示应用于人脸位置及其关键点检测时的“第二物体位置检测网络层”；“人脸关键点检测网络层”用于表示应用于人脸位置及其关键点检测时的“第二关键点位置检测网络层”；“人脸关键点确定网络层”用于表示应用于人脸位置及其关键点检测时的“物体关键点位置确定网络层”。
需要说明的是，在本申请实施例中，第二检测模型是一个深度神经网络，而且该深度神经网络是由第二物体位置检测网络层和第二关键点位置检测网络层构成的。如此，在使用第二检测模型进行物体及其关键点检测时，只需运行一个深度神经网络即可，节约了运行内存以及运行时间。
还需要说明的是，在本申请实施例中还提供了一种第二检测模型的训练过程，且该训练过程将在方法实施例五中进行详细说明，技术详情请参照方法实施例五。
以上为方法实施例四提供的图像中物体及其关键点的确定方法的具体实施方式，在该实施方式中，在从待检测图像中提取到该待检测图像对应的图像特征之后，先根据所述待检测图像对应的图像特征，确定目标物体在待检测图像上的位置信息和待检测图像上各个图像子区域内的关键点位置信息，再根据所述目标物体在待检测图像上的位置信息和所述待检测图像上各个图像子区域内的关键点位置信息，确定所述目标物体的关键点位置信息。其中，由于目标物体在待检测图像上的位置信息能够准确地表征待检测图像中目标物体的位置，且目标物体的关键点位置信息能够准确地表征待检测图像中目标物体的关键点位置，因而，本申请实施例提供的图像中物体及其关键点的确定方法能够有效地从待检测图像中确定出目标物体的位置信息及其关键点的位置信息，从而能够准确地检测出图像中物体及其关键点。另外，在获取到待检测图像对应的图像特征之后，直接根据该待检测图像对应的图像特征确定目标物体在待检测图像上的位置信息和待检测图像上各个图像子区域内的关键点位置信息，并基于目标物体在待检测图像上的位置信息和待检测图像上各个图像子区域内的关键点位置信息，确定目标物体的关键点位置信息即可，无需进行将目标物体在待检测图像上的位置信息还原为物体检测图像以及对该物体检测图像进行特征提取的过程，使得在确定目标物体在待检测图像上的位置信息以及目标物体的关键点位置信息过程中只需进行一次图像特征提取过程，如此简化了图像中物体及其关键点的确定过程，提高了图像中物体及其关键点的确定效率，并降低了在确定图像中物体及其关键点时的内存损耗。
另外，为了进一步降低确定图像中物体及其关键点时的内存以及时间消耗，可以将利用第二检测模型对目标物体及其关键点进行检测，确定目标物体在待检测图像上的位置信息以及目标物体的关键点位置信息。其中，由于在该第二检测模型是一个包括了第二物体位置检测网络层和第二关键点位置检测网络层的深度神经网络，因而，在对该第二检测模型进行训练时只需训练一个深度神经网络即可，减少了训练第二检测模型时的内存以及时间消耗；而且，在使用该第二检测模型进行物体及其关键点检测时，只需运行一个深度神经网络即可，降低了确定物体及其关键点时的内存以及时间损耗。
基于上述方法实施例一至方法实施例四提供的图像中物体及其关键点的确定方法，为了进一步提高确定的图像中物体及其检测点的准确性，可以对第二检测模型进行训练，以便提高第二检测模型的检测效果。基于此，本申请实施例还提供了一种第二检测模型的训练过程，下面结合附图进行解释和说明。
方法实施例五
参见图10，该图为本申请实施例提供的第二检测模型的训练过程流程图。
本申请实施例提供的第二检测模型的训练过程，包括步骤S101-S105：
S101：获取训练图像对应的图像特征、目标物体在训练图像上的实际位置信息以及目标物体的实际关键点位置信息。
需要说明的是，步骤S101的内容与上述方法实施例三的步骤S51的内容相同，技术详情请参见上述方法实施例三的步骤S51。
S102：根据所述训练图像对应的图像特征，利用第二检测模型对目标物体及其关键点进行检测，确定目标物体在待检测图像上的预测位置信息以及目标物体的预测关键点位置信息。
目标物体在待检测图像上的预测位置信息用于记录利用第二检测模型检测获得的目标物体在待检测图像上的位置相关信息。
目标物体的预测关键点位置信息用于记录利用第二检测模型检测获得的待检测图像中目标物体的预测关键点位置相关信息。
在本申请实施例中，在获取到训练图像对应的图像特征之后，将该训练图像对应的图像特征输入到第二检测模型中，以便该第二检测模型根据该训练图像对应的图像特征对目标物体及其关键点进行检测，确定目标物体在待检测图像上的预测位置信息以及目标物体的预测关键点位置信息，并由第二检测模型将目标物体在待检测图像上的预测位置信息以及目标物体的预测关键点位置信息进行输出。
S103：根据所述目标物体在训练图像上的实际位置信息、所述目标物体的实际关键点位置信息、所述目标物体在待检测图像上的预测位置信息以及所述目标物体的预测关键点位置信息，判断所述第二检测模型是否达到第二预设条件；若是，则执行步骤S105；若否，则执行步骤S104。
第二预设条件用于记录第二检测模型的训练过程的训练截止条件信息；而且，第二预设条件可以预先设定，也可以根据应用场景设定。例如，第二预设条件可以具体包括：第二检测模型的检测损失的变化率低于第二预设损失阈值，和/或，第二检测模型的训练轮数达到第二预设轮数阈值。
在本申请实施例中，可以将由第二检测模型检测所得的物体及其关键点的预测位置信息与物体及其关键点的实际位置信息进行比较，以便根据比较结果确定第二检测模型的预测准确性，其具体为：根据所述目标物体在训练图像上的实际位置信息、所述目标物体的实际关键点位置信息、所述目标物体在待检测图像上的预测位置信息以及所述目标物体的预测关键点位置信息，判断所述第二检测模型是否达到第二预设条件，若第二检测模型达到第二预设条件，则表示由第二检测模型检测所得的物体及其关键点的预测位置信息十分接近于物体及其关键点的实际位置信息，从而表示该第二检测模型的预测准确性较高，无需再对该第二检测模型进行训练，此时可以结束对该第二检测模型的训练过程；若第二检测模型未达到第二预设条件，则表示由第二检测模型检测所得的物体及其关键点的预测位置信息与物体及其关键点的实际位置信息之间的差距较大，从而表示该第二检测模型的预测准确性较低，还需对该第二检测模型进行进一步训练，此时需要更新第二检测模型，以便提高更新后的第二检测模型的预测准确性。
另外，为了提高对第二检测模型的检测效果的评价准确性，本申请实施例还提供了步骤S103的一种具体实施方式，如图11所示，在该实施方式中，当第二预设条件包括第二检测模型的检测损失的变化率低于第二预设损失阈值时，步骤S103具体可以包括步骤S103A1-S103A7：
S103A1：根据所述目标物体在训练图像上的实际位置信息以及目标物体在待检测图像上的预测位置信息，确定目标物体的检测损失。
目标物体的检测损失用于记录第二检测模型在获取目标物体在待检测图像上的位置信息的过程中所造成的损失；而且，所述目标物体的检测损失包括目标物体的识别损失(L-softmax)和目标物体的位置检测损失(L-regression)。
其中，目标物体的识别损失用于记录第二检测模型在识别图像中目标物体时所造成的损失。也就是说，目标物体的识别损失用于记录第二检测模型是否能够从图像中识别出目标物体。另外，目标物体的识别损失可以包括因未识别出图像中目标物体而造成的损失、因将图像中的其他物体识别为目标物体而造成的损失、因将待检测图像中的目标物体识别为其他物体而造成的损失等。
目标物体的位置检测损失用于记录第二检测模型在确定目标物体在待检测图像上的位置信息的过程中所造成的损失；而且，所述目标物体的位置检测损失可以包括因目标物体在待检测图像上的预测位置信息不准确导致的损失。需要说明的是，在确定目标物体的位置检测损失时通常可以利用二维损失函数(l2-loss)进行计算，也就是计算预测位置坐标与实际位置坐标之间的距离差。
基于上述内容可知，在获取到目标物体在训练图像上的实际位置信息以及目标物体在待检测图像上的预测位置信息之后，可以将实际位置信息与预测位置信息进行比较，来确定第二检测模型的目标物体的识别损失；同时，还可以计算实际位置信息与预测位置信息之间的距离差，来确定第二检测模型的目标物体的位置检测损失。
需要说明的是，本申请实施例不限定目标物体的识别损失的计算方法，可以采用现有的或未来出现的任一种能够衡量图像中目标物体识别效果的计算方法，来确定目标物体的识别损失。另外，本申请实施例不限定目标物体的位置检测损失的计算方法，可以采用现有的或未来出现的任一种能够衡量目标物体的位置检测效果的计算方法，来确定目标物体的位置检测损失。
S103A2：根据所述目标物体的实际关键点位置信息以及所述目标物体的预测关键点位置信息，确定目标物体的关键点位置检测损失。
目标物体的关键点位置检测损失(loss-dpoint)用于记录第二检测模型在获取目标物体的关键点位置信息的过程中所造成的损失；而且，目标物体的关键点位置检测损失包括因目标物体的预测关键点位置信息不准确导致的损失。需要说明的是，在确定目标物体的关键点位置检测损失时通常可以利用二维损失函数(l2-loss)进行计算，也就是计算预测位置坐标与实际位置坐标之间的距离差。
需要说明的是，本申请实施例不限定目标物体的关键点位置检测损失的计算方法，可以采用现有的或未来出现的任一种能够衡量目标物体的关键点的位置检测效果的计算方法，来确定目标物体的关键点位置检测损失。
S103A3：根据所述目标物体的识别损失、所述目标物体的位置检测损失和所述目标物体的关键点位置检测损失，确定第二检测模型的检测损失。
第二检测模型的检测损失(loss-detect)用于记录第二检测模型在获取目标物体在待检测图像上的位置信息以及目标物体的关键点位置信息的过程中所造成的损失。
在本申请实施例中，为了提高对模型检测效果的评价准确性，可以利用预先设定的损失函数来确定第二检测模型的检测损失，且该损失函数为：
loss-detect＝α×L-softmax+β×L-regression+F×σ×loss-dpoint，
式中，loss-detect表示第二检测模型的检测损失；α表示目标物体的识别损失的影响权重；L-softmax表示目标物体的识别损失；β表示目标物体的位置检测损失的影响权重；L-regression表示目标物体的位置检测损失；F表示目标物体的关键点位置检测损失的存在标识，若训练图像中包括目标物体(也就是，正样本训练图像)，则该训练图像对应的F值为1，若训练图像中不包括目标物体(也就是，负样本训练图像)，则该训练图像对应的F值为0；σ表示目标物体的关键点位置检测损失的影响权重；loss-dpoint表示目标物体的关键点位置检测损失。
需要说明的是，F的值是根据训练图像中是否包括目标物体确定的，具体为：若一个训练图像中包括目标物体，则需要考虑目标物体的关键点相关信息，此时在衡量第二检测模型对该训练图像的检测损失时需要考虑目标物体的识别损失、目标物体的位置检测损失和目标物体的关键点位置检测损失；若一个训练图像中不包括目标物体，则无需考虑目标物体的关键点相关信息，此时在衡量第二检测模型对该训练图像的检测损失时只需要考虑目标物体的识别损失和目标物体的位置检测损失即可。
在本申请实施例中，由于上述损失函数是通过利用目标物体的识别损失、目标物体的位置检测损失和目标物体的关键点位置检测损失这三个损失指标来共同监督第二检测模型的检测效果的，因而在利用上述损失函数评价第二检测模型的对物体及其关键点的检测效果时，能够有效地确定出当前第二检测模型是否能够准确地检测出图像中的物体及其关键点，从而提高了训练好的第二检测模型的检测准确性。
S103A4：根据所述第二检测模型的检测损失以及第二检测模型的历史检测损失，确定第二检测模型的检测损失变化率。
第二检测模型的历史检测损失是在历史训练过程中确定的第二检测模型的检测损失。例如，假设对第二检测模型依次进行了第1轮训练至第Y轮训练，且第1轮训练早于第2轮训练、第2轮训练早于第3轮训练、……、第Y-1轮训练早于第Y轮训练，且第Y轮训练是当前正在执行的训练过程，此时，对于第Y轮训练来说，第1轮训练至第Y-1轮训练均是第Y轮训练的历史训练过程，那么，在第1轮训练中确定的第二检测模型的检测损失至在第Y-1轮训练中确定的第二检测模型的检测损失均是第Y轮训练的历史检测损失。
第二检测模型的检测损失变化率用于表征第二检测模型在多轮训练过程中检测效果的变化信息；而且，第二检测模型的检测损失变化率越小表示第二检测模型的检测效果越好，且第二检测模型的检测损失变化率越大表示第二检测模型的检测效果越差。
S103A5：判断所述第二检测模型的检测损失变化率是否低于第二预设损失阈值，若是，则执行步骤S103A6；若否，则执行步骤S103A7。
第二预设损失阈值可以预先设定，尤其可以根据应用场景设定。
在本申请实施例中，在根据目标物体的识别损失、目标物体的位置检测损失和目标物体的关键点位置检测损失这三个监督因素确定出第二检测模型的检测损失后，再基于第二检测模型的检测损失确定第二检测模型的检测损失变化率。此时，如果第二检测模型的检测损失变化率低于第二预设损失阈值，则表示该第二检测模型检测损失变化较小且接近于稳定的最优模型，从而表示利用该第二检测模型检测所得的图像中物体及其关键点准确性较高，从而确定该第二检测模型已达到第二预设条件，进而可以确定该第二检测模型无需再进行训练；如果第二检测模型的检测损失变化率不低于第二预设损失阈值，则表示该第二检测模型检测损失变化较大且距离稳定的最优模型较远，从而表示利用该第二检测模型检测所得的图像中物体及其关键点准确性较低，从而确定该第二检测模型未达到第二预设条件，进而可以确定该第二检测模型仍需再次进行训练。
S103A6：确定所述第二检测模型达到第二预设条件。
S103A7：确定所述第二检测模型未达到第二预设条件。
需要说明的是，步骤S103A1和步骤S103A2之间没有固定的执行顺序，可以依次执行步骤S103A1和步骤S103A2，也可以依次执行步骤S103A2和步骤S103A1，还可以同时执行步骤S103A1和步骤S103A2。
以上为步骤S103的一种实施方式，该实施方式将第二检测模型的检测损失变化率低于第二预设损失阈值作为了第二检测模型的训练截止条件。
另外，为了提高对第二检测模型的检测效果的评价准确性，本申请实施例还提供了步骤S103的另一种具体实施方式，如图12所示，在该实施方式中，当第二预设条件包括第二检测模型的检测损失的变化率低于第二预设损失阈值时，步骤S103具体可以包括步骤S103B1-S103B7：
S103B1：根据所述目标物体在训练图像上的实际位置信息以及目标物体在待检测图像上的预测位置信息，确定目标物体的检测损失。
其中，所述目标物体的检测损失包括目标物体的识别损失和目标物体的位置检测损失。
需要说明的是，步骤S103B1的内容与上述步骤S103A1的内容相同，为了简要起见，在此不再赘述，步骤S103B1的技术详情请参照上述步骤S103A1的内容。
S103B2：根据所述目标物体的实际关键点位置信息以及所述目标物体的预测关键点位置信息，确定目标物体的关键点位置检测损失。
需要说明的是，步骤S103B2的内容与上述步骤S103A2的内容相同，为了简要起见，在此不再赘述，步骤S103B2的技术详情请参照上述步骤S103A2的内容。
S103B3：根据所述目标物体的识别损失、所述目标物体的位置检测损失和所述目标物体的关键点位置检测损失，确定第二检测模型的检测损失。
需要说明的是，步骤S103B3的内容与上述步骤S103A3的内容相同，为了简要起见，在此不再赘述，步骤S103B3的技术详情请参照上述步骤S103A3的内容。
S103B4：根据所述第二检测模型的检测损失以及第二检测模型的历史检测损失，确定第二检测模型的检测损失变化率。
第二检测模型的历史检测损失是在历史训练过程中确定的第二检测模型的检测损失。
需要说明的是，步骤S103B4的内容与上述步骤S103A4的内容相同，为了简要起见，在此不再赘述，步骤S103B4的技术详情请参照上述步骤S103A4的内容。
S103B5：判断是否满足以下两个条件中的至少一个条件，且该两个条件为：第二检测模型的检测损失变化率低于第二预设损失阈值和第二检测模型的训练轮数达到第二预设轮数阈值；若是，则执行步骤S103B6；若否，则执行步骤S103B7。
在本申请实施例中，在获取到第二检测模型的检测损失变化率以及第二检测模型的训练轮数之后，需要分别进行执行动作“判断第二检测模型的检测损失变化率是否低于第二预设损失阈值”以及动作“第二检测模型的训练轮数是否达到第二预设轮数阈值”。其中，只要确定了第二检测模型的检测损失变化率低于第二预设损失阈值时，无论有没有执行动作“第二检测模型的训练轮数是否达到第二预设轮数阈值”，均直接则执行步骤S103B6；而且，只要确定了第二检测模型的训练轮数达到第二预设轮数阈值，无论有没有执行动作“判断第二检测模型的检测损失变化率是否低于第二预设损失阈值”，均直接则执行步骤S103B6；而且，只有确定了第二检测模型的检测损失变化率不低于第二预设损失阈值，且第二检测模型的训练轮数未达到第二预设轮数阈值时，才执行步骤S103B7。
需要说明的是，在本申请实施例不限定动作“判断第二检测模型的检测损失变化率是否低于第二预设损失阈值”和动作“第二检测模型的训练轮数是否达到第二预设轮数阈值”的执行顺序，可以依次执行动作“判断第二检测模型的检测损失变化率是否低于第二预设损失阈值”和动作“第二检测模型的训练轮数是否达到第二预设轮数阈值”，也可以依次执行动作“第二检测模型的训练轮数是否达到第二预设轮数阈值”和动作“判断第二检测模型的检测损失变化率是否低于第二预设损失阈值”，还可以同时执行该两个动作。
S103B6：确定所述第二检测模型达到第二预设条件。
S103B7：确定所述第二检测模型未达到第二预设条件。
需要说明的是，步骤S103B1和步骤S103B2之间没有固定的执行顺序，可以依次执行步骤S103B1和步骤S103B2，也可以依次执行步骤S103B2和步骤S103B1，还可以同时执行步骤S103B1和步骤S103B2。
以上为步骤S103的另一种实施方式，该实施方式将第二检测模型的检测损失变化率低于第二预设损失阈值以及第二检测模型的训练轮数达到第二预设轮数阈值共同作为了第二检测模型的训练截止条件。
以上为步骤S103的相关内容。
S104：更新第二检测模型，继续执行步骤S102。
在本申请实施例中，在确定第二检测模型未达到第二预设条件时，可以根据由第二检测模型检测所得的目标物体在待检测图像上的预测位置信息与目标物体在训练图像上的实际位置信息之间的差距，以及目标物体的预测关键点位置信息与目标物体的实际关键点位置信息之间的差距，来对第二检测模型进行更新，使得更新后的第二检测模型检测所得的目标物体在待检测图像上的预测位置信息更接近与目标物体在训练图像上的实际位置信息，并使得目标物体的预测关键点位置信息更接近于标物体的实际关键点位置信息，从而使得更新后的第二检测模型能够更准确地检测出图像中物体及其关键点。
S105：结束对第二检测模型的训练过程。
上述为方法实施例五提供的第二检测模型的训练过程的具体实施方式，在该实施方式中，在获取到训练图像对应的图像特征、目标物体在训练图像上的实际位置信息以及目标物体的实际关键点位置信息之后，先根据所述训练图像对应的图像特征，利用第二检测模型对目标物体及其关键点进行检测，确定目标物体在待检测图像上的预测位置信息以及目标物体的预测关键点位置信息；再根据所述目标物体在训练图像上的实际位置信息、所述目标物体的实际关键点位置信息、所述目标物体在待检测图像上的预测位置信息以及所述目标物体的预测关键点位置信息，判断所述第二检测模型是否达到第二预设条件，以便根据该判断结果确定是否继续对该第二检测模型进行训练。其中，因本申请实施例是根据目标物体在训练图像上的实际位置信息、所述目标物体的实际关键点位置信息、所述目标物体在待检测图像上的预测位置信息以及所述目标物体的预测关键点位置信息这四个信息来评价第二检测模型的检测效果的，使得该评价结果更合理有效，从而使得满足第二预设条件的第二检测模型的检测效果更好。
另外，为了进一步提高对第二检测模型的检测效果的评价准确性，本申请实施例还利用目标物体的识别损失、目标物体的位置检测损失和目标物体的关键点位置检测损失这三个损失因素来共同监督第二检测模型的检测效果，使得该评价结果更合理有效，从而使得满足第二预设条件的第二检测模型的检测效果更好。
需要说明的是，在本申请实施例中“图像中物体及其关键点的确定方法”的执行主体与“检测模型的训练过程”的执行主体可以是同一个执行主体，也可以是不同的执行主体，本申请实施例对此不做具体限定。其中，“图像中物体及其关键点的确定方法”的执行主体可以是终端、服务器、车辆以及其他能够执行“图像中物体及其关键点的确定方法”的设备。“检测模型的训练过程”的执行主体可以是终端、服务器、车辆以及其他能够执行“检测模型的训练过程”的设备。
基于上述方法实施例提供的图像中物体及其关键点的确定方法的具体实施方式，本申请实施例还提供了一种图像中物体及其关键点的确定装置，下面结合附图进行解释和说明。
装置实施例
装置实施例提供的图像中物体及其关键点的确定装置的技术详情，请参照上述方法实施例。
参见图13，该图为本申请实施例提供的图像中物体及其关键点的确定装置的结构示意图。
本申请实施例提供的图像中物体及其关键点的确定装置130，包括：
提取单元131，用于对待检测图像进行特征提取，得到所述待检测图像对应的图像特征；
确定单元132，用于根据所述待检测图像对应的图像特征，确定目标物体在待检测图像上的位置信息以及所述目标物体的关键点位置信息；其中，所述目标物体的关键点用于表征所述目标物体的结构特征。
作为一种实施方式，为了提高图像中物体及其关键点的确定准确性，所述确定单元132，具体用于：根据所述待检测图像对应的图像特征，确定目标物体在待检测图像上的位置信息，并根据所述待检测图像对应的图像特征和所述目标物体在待检测图像上的位置信息，确定目标物体的关键点位置信息。
作为一种实施方式，为了提高图像中物体及其关键点的确定准确性，所述确定单元132，具体用于：
根据所述待检测图像对应的图像特征，利用预先构建的第一检测模型对目标物体及其关键点进行检测，确定目标物体在待检测图像上的位置信息以及目标物体的关键点位置信息；
其中，所述第一检测模型包括第一物体位置检测网络层和第一关键点位置检测网络层，且所述第一物体位置检测网络层的输出结果是所述第一关键点位置检测网络层的输入数据，且所述第一物体位置检测网络层用于根据所述待检测图像对应的图像特征确定目标物体在待检测图像上的位置信息，所述第一关键点位置检测网络层用于根据所述待检测图像对应的图像特征和所述目标物体在待检测图像上的位置信息，确定目标物体的关键点位置信息。
作为一种实施方式，为了提高图像中物体及其关键点的确定准确性，所述第一检测模型的训练过程，具体包括：
获取训练图像对应的图像特征、目标物体在训练图像上的实际位置信息以及目标物体的实际关键点位置信息；
根据所述训练图像对应的图像特征，利用第一检测模型对目标物体及其关键点进行检测，确定目标物体在待检测图像上的预测位置信息以及目标物体的预测关键点位置信息；
根据所述目标物体在训练图像上的实际位置信息、所述目标物体的实际关键点位置信息、所述目标物体在待检测图像上的预测位置信息以及所述目标物体的预测关键点位置信息，判断所述第一检测模型是否达到第一预设条件；
若确定所述第一检测模型未达到第一预设条件，则更新第一检测模型，继续执行“根据所述训练图像对应的图像特征，利用第一检测模型对目标物体及其关键点进行检测，确定目标物体在待检测图像上的预测位置信息以及目标物体的预测关键点位置信息”。
作为一种实施方式，为了提高图像中物体及其关键点的确定准确性，所述第一预设条件为：第一检测模型的检测损失的变化率低于第一预设损失阈值，和/或，第一检测模型的训练轮数达到第一预设轮数阈值。
作为一种实施方式，为了提高图像中物体及其关键点的确定准确性，当所述第一预设条件包括第一检测模型的检测损失的变化率低于第一预设损失阈值时，所述根据所述目标物体在训练图像上的实际位置信息、所述目标物体的实际关键点位置信息、所述目标物体在待检测图像上的预测位置信息以及所述目标物体的预测关键点位置信息，判断所述第一检测模型是否达到第一预设条件，具体包括：
根据所述目标物体在训练图像上的实际位置信息以及目标物体在待检测图像上的预测位置信息，确定目标物体的检测损失；其中，所述目标物体的检测损失包括目标物体的识别损失和目标物体的位置检测损失；
根据所述目标物体的实际关键点位置信息以及所述目标物体的预测关键点位置信息，确定目标物体的关键点位置检测损失；
根据所述目标物体的识别损失、所述目标物体的位置检测损失和所述目标物体的关键点位置检测损失，确定第一检测模型的检测损失；
根据所述第一检测模型的检测损失以及第一检测模型的历史检测损失，确定第一检测模型的检测损失变化率；所述第一检测模型的历史检测损失是在历史训练过程中确定的第一检测模型的检测损失；
若所述第一检测模型的检测损失变化率低于第一预设损失阈值，则确定所述第一检测模型达到第一预设条件；
若所述第一检测模型的检测损失变化率不低于第一预设损失阈值，则确定所述第一检测模型未达到第一预设条件。
作为一种实施方式，为了提高图像中物体及其关键点的确定准确性，所述根据所述目标物体在训练图像上的实际位置信息、所述目标物体的实际关键点位置信息、所述目标物体在待检测图像上的预测位置信息以及所述目标物体的预测关键点位置信息，判断所述第一检测模型是否达到第一预设条件，具体包括：
根据所述目标物体在训练图像上的实际位置信息以及目标物体在待检测图像上的预测位置信息，确定目标物体的检测损失；其中，所述目标物体的检测损失包括目标物体的识别损失和目标物体的位置检测损失；
根据所述目标物体的实际关键点位置信息以及所述目标物体的预测关键点位置信息，确定目标物体的关键点位置检测损失；
根据所述目标物体的识别损失、所述目标物体的位置检测损失和所述目标物体的关键点位置检测损失，确定第一检测模型的检测损失；
根据所述第一检测模型的检测损失以及第一检测模型的历史检测损失，确定第一检测模型的检测损失变化率；所述第一检测模型的历史检测损失是在历史训练过程中确定的第一检测模型的检测损失；
若所述第一检测模型的检测损失变化率低于第一预设损失阈值，或第一检测模型的训练轮数达到第一预设轮数阈值，则确定所述第一检测模型达到第一预设条件；
若所述第一检测模型的检测损失变化率不低于第一预设损失阈值，且第一检测模型的训练轮数未达到第一预设轮数阈值，则确定所述第一检测模型未达到第一预设条件。
作为一种实施方式，为了提高图像中物体及其关键点的确定准确性，所述确定单元132，具体用于：
根据所述待检测图像对应的图像特征，确定目标物体在待检测图像上的位置信息和待检测图像上各个图像子区域内的关键点位置信息，并根据所述目标物体在待检测图像上的位置信息和所述待检测图像上各个图像子区域内的关键点位置信息，确定所述目标物体的关键点位置信息；所述图像子区域是锚点对应的感兴趣区域。
作为一种实施方式，为了提高图像中物体及其关键点的确定准确性，所述确定单元132，具体用于：
根据所述待检测图像对应的图像特征，利用预先构建的第二检测模型对目标物体及其关键点进行检测，确定目标物体在待检测图像上的位置信息以及目标物体的关键点位置信息；
其中，所述第二检测模型包括第二物体位置检测网络层、第二关键点位置检测网络层和物体关键点位置确定网络层，且所述第二物体位置检测网络层的输出结果和所述第二关键点位置检测网络层的输出结果是所述物体关键点位置确定网络层的输入数据，且所述第二物体位置检测网络层用于根据所述待检测图像对应的图像特征确定目标物体在待检测图像上的位置信息；且所述第二关键点位置检测网络层用于根据所述待检测图像对应的图像特征确定待检测图像上各个图像子区域内的关键点位置信息；且所述物体关键点位置确定网络层用于根据所述目标物体在待检测图像上的位置信息和所述待检测图像上各个图像子区域内的关键点位置信息，确定所述目标物体的关键点位置信息。
作为一种实施方式，为了提高图像中物体及其关键点的确定准确性，所述第二检测模型的训练过程，具体包括：
获取训练图像对应的图像特征、目标物体在训练图像上的实际位置信息以及目标物体的实际关键点位置信息；
根据所述训练图像对应的图像特征，利用第二检测模型对目标物体及其关键点进行检测，确定目标物体在待检测图像上的预测位置信息以及目标物体的预测关键点位置信息；
根据所述目标物体在训练图像上的实际位置信息、所述目标物体的实际关键点位置信息、所述目标物体在待检测图像上的预测位置信息以及所述目标物体的预测关键点位置信息，判断所述第二检测模型是否达到第二预设条件；
若确定所述第二检测模型未达到第二预设条件，则更新第二检测模型，继续执行“根据所述训练图像对应的图像特征，利用第二检测模型对目标物体及其关键点进行检测，确定目标物体在待检测图像上的预测位置信息以及目标物体的预测关键点位置信息”。
作为一种实施方式，为了提高图像中物体及其关键点的确定准确性，所述第二预设条件为：第二检测模型的检测损失的变化率低于第二预设损失阈值，和/或，第二检测模型的训练轮数达到第二预设轮数阈值。
作为一种实施方式，为了提高图像中物体及其关键点的确定准确性，当所述第二预设条件包括第二检测模型的检测损失的变化率低于第二预设损失阈值时，所述根据所述目标物体在训练图像上的实际位置信息、所述目标物体的实际关键点位置信息、所述目标物体在待检测图像上的预测位置信息以及所述目标物体的预测关键点位置信息，判断所述第二检测模型是否达到第二预设条件，具体包括：
根据所述目标物体在训练图像上的实际位置信息以及目标物体在待检测图像上的预测位置信息，确定目标物体的检测损失；其中，所述目标物体的检测损失包括目标物体的识别损失和目标物体的位置检测损失；
根据所述目标物体的实际关键点位置信息以及所述目标物体的预测关键点位置信息，确定目标物体的关键点位置检测损失；
根据所述目标物体的识别损失、所述目标物体的位置检测损失和所述目标物体的关键点位置检测损失，确定第二检测模型的检测损失；
根据所述第二检测模型的检测损失以及第二检测模型的历史检测损失，确定第二检测模型的检测损失变化率；所述第二检测模型的历史检测损失是在历史训练过程中确定的第二检测模型的检测损失；
若所述第二检测模型的检测损失变化率低于第二预设损失阈值，则确定所述第二检测模型达到第二预设条件；
若所述第二检测模型的检测损失变化率不低于第二预设损失阈值，则确定所述第二检测模型未达到第二预设条件。
作为一种实施方式，为了提高图像中物体及其关键点的确定准确性，所述根据所述目标物体在训练图像上的实际位置信息、所述目标物体的实际关键点位置信息、所述目标物体在待检测图像上的预测位置信息以及所述目标物体的预测关键点位置信息，判断所述第二检测模型是否达到第二预设条件，具体包括：
根据所述目标物体在训练图像上的实际位置信息以及目标物体在待检测图像上的预测位置信息，确定目标物体的检测损失；其中，所述目标物体的检测损失包括目标物体的识别损失和目标物体的位置检测损失；
根据所述目标物体的实际关键点位置信息以及所述目标物体的预测关键点位置信息，确定目标物体的关键点位置检测损失；
根据所述目标物体的识别损失、所述目标物体的位置检测损失和所述目标物体的关键点位置检测损失，确定第二检测模型的检测损失；
根据所述第二检测模型的检测损失以及第二检测模型的历史检测损失，确定第二检测模型的检测损失变化率；所述第二检测模型的历史检测损失是在历史训练过程中确定的第二检测模型的检测损失；
若所述第二检测模型的检测损失变化率低于第二预设损失阈值，或第二检测模型的训练轮数达到第二预设轮数阈值，则确定所述第二检测模型达到第二预设条件；
若所述第二检测模型的检测损失变化率不低于第二预设损失阈值，且第二检测模型的训练轮数未达到第二预设轮数阈值，则确定所述第二检测模型未达到第二预设条件。
以上为装置实施例提供的图像中物体及其关键点的确定装置130的具体实施方式，在该实施方式中，在从待检测图像中提取到该待检测图像对应的图像特征之后，直接根据该待检测图像对应的图像特征，确定目标物体在待检测图像上的位置信息以及该目标物体的关键点位置信息。其中，由于目标物体在待检测图像上的位置信息能够准确地表征待检测图像中目标物体的位置，且目标物体的关键点位置信息能够准确地表征待检测图像中目标物体的关键点位置，因而，本申请实施例提供的图像中物体及其关键点的确定方法能够有效地从待检测图像中确定出目标物体的位置信息及其关键点的位置信息，从而能够准确地检测出图像中物体及其关键点。另外，由于在获取到待检测图像对应的图像特征之后，直接基于该待检测图像对应的图像特征确定目标物体在待检测图像上的位置信息以及所述目标物体的关键点位置信息即可，无需进行将目标物体在待检测图像上的位置信息还原为物体检测图像以及对该物体检测图像进行特征提取的过程，使得在确定目标物体在待检测图像上的位置信息以及目标物体的关键点位置信息过程中只需进行一次图像特征提取过程，如此简化了图像中物体及其关键点的确定过程，提高了图像中物体及其关键点的确定效率，并降低了在确定图像中物体及其关键点时的内存损耗。
基于上述方法实施例提供的图像中物体及其关键点的确定方法的具体实施方式，本申请实施例还提供了一种设备，下面结合附图进行解释和说明。
设备实施例
设备实施例提供的设备技术详情，请参照上述方法实施例。
参见图14，该图为本申请实施例提供的设备结构示意图。
本申请实施例提供的设备140，包括处理器141以及存储器142：
所述存储器142用于存储计算机程序；
所述处理器141用于根据所述计算机程序执行上述方法实施例提供的图像中物体及其关键点的确定方法的任一实施方式。也就是说，处理器141用于执行以下步骤：
对待检测图像进行特征提取，得到所述待检测图像对应的图像特征；
根据所述待检测图像对应的图像特征，确定目标物体在待检测图像上的位置信息以及所述目标物体的关键点位置信息；其中，所述目标物体的关键点用于表征所述目标物体的结构特征。
可选的，所述根据所述待检测图像对应的图像特征，确定目标物体在待检测图像上的位置信息以及所述目标物体的关键点位置信息，具体为：
根据所述待检测图像对应的图像特征，确定目标物体在待检测图像上的位置信息，并根据所述待检测图像对应的图像特征和所述目标物体在待检测图像上的位置信息，确定目标物体的关键点位置信息。
可选的，所述根据所述待检测图像对应的图像特征，确定目标物体在待检测图像上的位置信息，并根据所述待检测图像对应的图像特征和所述目标物体在待检测图像上的位置信息，确定目标物体的关键点位置信息，具体包括：
根据所述待检测图像对应的图像特征，利用预先构建的第一检测模型对目标物体及其关键点进行检测，确定目标物体在待检测图像上的位置信息以及目标物体的关键点位置信息；
其中，所述第一检测模型包括第一物体位置检测网络层和第一关键点位置检测网络层，且所述第一物体位置检测网络层的输出结果是所述第一关键点位置检测网络层的输入数据，且所述第一物体位置检测网络层用于根据所述待检测图像对应的图像特征确定目标物体在待检测图像上的位置信息，所述第一关键点位置检测网络层用于根据所述待检测图像对应的图像特征和所述目标物体在待检测图像上的位置信息，确定目标物体的关键点位置信息。
可选的，所述第一检测模型的训练过程，具体包括：
获取训练图像对应的图像特征、目标物体在训练图像上的实际位置信息以及目标物体的实际关键点位置信息；
根据所述训练图像对应的图像特征，利用第一检测模型对目标物体及其关键点进行检测，确定目标物体在待检测图像上的预测位置信息以及目标物体的预测关键点位置信息；
根据所述目标物体在训练图像上的实际位置信息、所述目标物体的实际关键点位置信息、所述目标物体在待检测图像上的预测位置信息以及所述目标物体的预测关键点位置信息，判断所述第一检测模型是否达到第一预设条件；
若确定所述第一检测模型未达到第一预设条件，则更新第一检测模型，继续执行“根据所述训练图像对应的图像特征，利用第一检测模型对目标物体及其关键点进行检测，确定目标物体在待检测图像上的预测位置信息以及目标物体的预测关键点位置信息”。
可选的，所述第一预设条件为：第一检测模型的检测损失的变化率低于第一预设损失阈值，和/或，第一检测模型的训练轮数达到第一预设轮数阈值。
可选的，当所述第一预设条件包括第一检测模型的检测损失的变化率低于第一预设损失阈值时，所述根据所述目标物体在训练图像上的实际位置信息、所述目标物体的实际关键点位置信息、所述目标物体在待检测图像上的预测位置信息以及所述目标物体的预测关键点位置信息，判断所述第一检测模型是否达到第一预设条件，具体包括：
根据所述目标物体在训练图像上的实际位置信息以及目标物体在待检测图像上的预测位置信息，确定目标物体的检测损失；其中，所述目标物体的检测损失包括目标物体的识别损失和目标物体的位置检测损失；
根据所述目标物体的实际关键点位置信息以及所述目标物体的预测关键点位置信息，确定目标物体的关键点位置检测损失；
根据所述目标物体的识别损失、所述目标物体的位置检测损失和所述目标物体的关键点位置检测损失，确定第一检测模型的检测损失；
根据所述第一检测模型的检测损失以及第一检测模型的历史检测损失，确定第一检测模型的检测损失变化率；所述第一检测模型的历史检测损失是在历史训练过程中确定的第一检测模型的检测损失；
若所述第一检测模型的检测损失变化率低于第一预设损失阈值，则确定所述第一检测模型达到第一预设条件；
若所述第一检测模型的检测损失变化率不低于第一预设损失阈值，则确定所述第一检测模型未达到第一预设条件。
可选的，所述根据所述目标物体在训练图像上的实际位置信息、所述目标物体的实际关键点位置信息、所述目标物体在待检测图像上的预测位置信息以及所述目标物体的预测关键点位置信息，判断所述第一检测模型是否达到第一预设条件，具体包括：
根据所述目标物体在训练图像上的实际位置信息以及目标物体在待检测图像上的预测位置信息，确定目标物体的检测损失；其中，所述目标物体的检测损失包括目标物体的识别损失和目标物体的位置检测损失；
根据所述目标物体的实际关键点位置信息以及所述目标物体的预测关键点位置信息，确定目标物体的关键点位置检测损失；
根据所述目标物体的识别损失、所述目标物体的位置检测损失和所述目标物体的关键点位置检测损失，确定第一检测模型的检测损失；
根据所述第一检测模型的检测损失以及第一检测模型的历史检测损失，确定第一检测模型的检测损失变化率；所述第一检测模型的历史检测损失是在历史训练过程中确定的第一检测模型的检测损失；
若所述第一检测模型的检测损失变化率低于第一预设损失阈值，或第一检测模型的训练轮数达到第一预设轮数阈值，则确定所述第一检测模型达到第一预设条件；
若所述第一检测模型的检测损失变化率不低于第一预设损失阈值，且第一检测模型的训练轮数未达到第一预设轮数阈值，则确定所述第一检测模型未达到第一预设条件。
可选的，所述根据所述待检测图像对应的图像特征，确定目标物体在待检测图像上的位置信息以及所述目标物体的关键点位置信息，具体为：
根据所述待检测图像对应的图像特征，确定目标物体在待检测图像上的位置信息和待检测图像上各个图像子区域内的关键点位置信息，并根据所述目标物体在待检测图像上的位置信息和所述待检测图像上各个图像子区域内的关键点位置信息，确定所述目标物体的关键点位置信息；所述图像子区域是锚点对应的感兴趣区域。
可选的，所述根据所述待检测图像对应的图像特征，确定目标物体在待检测图像上的位置信息和待检测图像上各个图像子区域内的关键点位置信息，并根据所述目标物体在待检测图像上的位置信息和所述待检测图像上各个图像子区域内的关键点位置信息，确定所述目标物体的关键点位置信息，具体为：
根据所述待检测图像对应的图像特征，利用预先构建的第二检测模型对目标物体及其关键点进行检测，确定目标物体在待检测图像上的位置信息以及目标物体的关键点位置信息；
其中，所述第二检测模型包括第二物体位置检测网络层、第二关键点位置检测网络层和物体关键点位置确定网络层，且所述第二物体位置检测网络层的输出结果和所述第二关键点位置检测网络层的输出结果是所述物体关键点位置确定网络层的输入数据，且所述第二物体位置检测网络层用于根据所述待检测图像对应的图像特征确定目标物体在待检测图像上的位置信息；且所述第二关键点位置检测网络层用于根据所述待检测图像对应的图像特征确定待检测图像上各个图像子区域内的关键点位置信息；且所述物体关键点位置确定网络层用于根据所述目标物体在待检测图像上的位置信息和所述待检测图像上各个图像子区域内的关键点位置信息，确定所述目标物体的关键点位置信息。
可选的，所述第二检测模型的训练过程，具体包括：
获取训练图像对应的图像特征、目标物体在训练图像上的实际位置信息以及目标物体的实际关键点位置信息；
根据所述训练图像对应的图像特征，利用第二检测模型对目标物体及其关键点进行检测，确定目标物体在待检测图像上的预测位置信息以及目标物体的预测关键点位置信息；
根据所述目标物体在训练图像上的实际位置信息、所述目标物体的实际关键点位置信息、所述目标物体在待检测图像上的预测位置信息以及所述目标物体的预测关键点位置信息，判断所述第二检测模型是否达到第二预设条件；
若确定所述第二检测模型未达到第二预设条件，则更新第二检测模型，继续执行“根据所述训练图像对应的图像特征，利用第二检测模型对目标物体及其关键点进行检测，确定目标物体在待检测图像上的预测位置信息以及目标物体的预测关键点位置信息”。
可选的，所述第二预设条件为：第二检测模型的检测损失的变化率低于第二预设损失阈值，和/或，第二检测模型的训练轮数达到第二预设轮数阈值。
可选的，当所述第二预设条件包括第二检测模型的检测损失的变化率低于第二预设损失阈值时，所述根据所述目标物体在训练图像上的实际位置信息、所述目标物体的实际关键点位置信息、所述目标物体在待检测图像上的预测位置信息以及所述目标物体的预测关键点位置信息，判断所述第二检测模型是否达到第二预设条件，具体包括：
根据所述目标物体在训练图像上的实际位置信息以及目标物体在待检测图像上的预测位置信息，确定目标物体的检测损失；其中，所述目标物体的检测损失包括目标物体的识别损失和目标物体的位置检测损失；
根据所述目标物体的实际关键点位置信息以及所述目标物体的预测关键点位置信息，确定目标物体的关键点位置检测损失；
根据所述目标物体的识别损失、所述目标物体的位置检测损失和所述目标物体的关键点位置检测损失，确定第二检测模型的检测损失；
根据所述第二检测模型的检测损失以及第二检测模型的历史检测损失，确定第二检测模型的检测损失变化率；所述第二检测模型的历史检测损失是在历史训练过程中确定的第二检测模型的检测损失；
若所述第二检测模型的检测损失变化率低于第二预设损失阈值，则确定所述第二检测模型达到第二预设条件；
若所述第二检测模型的检测损失变化率不低于第二预设损失阈值，则确定所述第二检测模型未达到第二预设条件。
可选的，所述根据所述目标物体在训练图像上的实际位置信息、所述目标物体的实际关键点位置信息、所述目标物体在待检测图像上的预测位置信息以及所述目标物体的预测关键点位置信息，判断所述第二检测模型是否达到第二预设条件，具体包括：
根据所述目标物体在训练图像上的实际位置信息以及目标物体在待检测图像上的预测位置信息，确定目标物体的检测损失；其中，所述目标物体的检测损失包括目标物体的识别损失和目标物体的位置检测损失；
根据所述目标物体的实际关键点位置信息以及所述目标物体的预测关键点位置信息，确定目标物体的关键点位置检测损失；
根据所述目标物体的识别损失、所述目标物体的位置检测损失和所述目标物体的关键点位置检测损失，确定第二检测模型的检测损失；
根据所述第二检测模型的检测损失以及第二检测模型的历史检测损失，确定第二检测模型的检测损失变化率；所述第二检测模型的历史检测损失是在历史训练过程中确定的第二检测模型的检测损失；
若所述第二检测模型的检测损失变化率低于第二预设损失阈值，或第二检测模型的训练轮数达到第二预设轮数阈值，则确定所述第二检测模型达到第二预设条件；
若所述第二检测模型的检测损失变化率不低于第二预设损失阈值，且第二检测模型的训练轮数未达到第二预设轮数阈值，则确定所述第二检测模型未达到第二预设条件。
以上为本申请实施例提供的设备140的相关内容。
基于上述方法实施例提供的图像中物体及其关键点的确定方法，本申请实施例还提供了一种计算机可读存储介质。
介质实施例
介质实施例提供的计算机可读存储介质的技术详情，请参照上述方法实施例。
本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行上述方法实施例提供的图像中物体及其关键点的确定方法的任一实施方式。也就是说，该计算机程序用于执行以下步骤：
对待检测图像进行特征提取，得到所述待检测图像对应的图像特征；
根据所述待检测图像对应的图像特征，确定目标物体在待检测图像上的位置信息以及所述目标物体的关键点位置信息；其中，所述目标物体的关键点用于表征所述目标物体的结构特征。
可选的，所述根据所述待检测图像对应的图像特征，确定目标物体在待检测图像上的位置信息以及所述目标物体的关键点位置信息，具体为：
根据所述待检测图像对应的图像特征，确定目标物体在待检测图像上的位置信息，并根据所述待检测图像对应的图像特征和所述目标物体在待检测图像上的位置信息，确定目标物体的关键点位置信息。
可选的，所述根据所述待检测图像对应的图像特征，确定目标物体在待检测图像上的位置信息，并根据所述待检测图像对应的图像特征和所述目标物体在待检测图像上的位置信息，确定目标物体的关键点位置信息，具体包括：
根据所述待检测图像对应的图像特征，利用预先构建的第一检测模型对目标物体及其关键点进行检测，确定目标物体在待检测图像上的位置信息以及目标物体的关键点位置信息；
其中，所述第一检测模型包括第一物体位置检测网络层和第一关键点位置检测网络层，且所述第一物体位置检测网络层的输出结果是所述第一关键点位置检测网络层的输入数据，且所述第一物体位置检测网络层用于根据所述待检测图像对应的图像特征确定目标物体在待检测图像上的位置信息，所述第一关键点位置检测网络层用于根据所述待检测图像对应的图像特征和所述目标物体在待检测图像上的位置信息，确定目标物体的关键点位置信息。
可选的，所述第一检测模型的训练过程，具体包括：
获取训练图像对应的图像特征、目标物体在训练图像上的实际位置信息以及目标物体的实际关键点位置信息；
根据所述训练图像对应的图像特征，利用第一检测模型对目标物体及其关键点进行检测，确定目标物体在待检测图像上的预测位置信息以及目标物体的预测关键点位置信息；
根据所述目标物体在训练图像上的实际位置信息、所述目标物体的实际关键点位置信息、所述目标物体在待检测图像上的预测位置信息以及所述目标物体的预测关键点位置信息，判断所述第一检测模型是否达到第一预设条件；
若确定所述第一检测模型未达到第一预设条件，则更新第一检测模型，继续执行“根据所述训练图像对应的图像特征，利用第一检测模型对目标物体及其关键点进行检测，确定目标物体在待检测图像上的预测位置信息以及目标物体的预测关键点位置信息”。
可选的，所述第一预设条件为：第一检测模型的检测损失的变化率低于第一预设损失阈值，和/或，第一检测模型的训练轮数达到第一预设轮数阈值。
可选的，当所述第一预设条件包括第一检测模型的检测损失的变化率低于第一预设损失阈值时，所述根据所述目标物体在训练图像上的实际位置信息、所述目标物体的实际关键点位置信息、所述目标物体在待检测图像上的预测位置信息以及所述目标物体的预测关键点位置信息，判断所述第一检测模型是否达到第一预设条件，具体包括：
根据所述目标物体在训练图像上的实际位置信息以及目标物体在待检测图像上的预测位置信息，确定目标物体的检测损失；其中，所述目标物体的检测损失包括目标物体的识别损失和目标物体的位置检测损失；
根据所述目标物体的实际关键点位置信息以及所述目标物体的预测关键点位置信息，确定目标物体的关键点位置检测损失；
根据所述目标物体的识别损失、所述目标物体的位置检测损失和所述目标物体的关键点位置检测损失，确定第一检测模型的检测损失；
根据所述第一检测模型的检测损失以及第一检测模型的历史检测损失，确定第一检测模型的检测损失变化率；所述第一检测模型的历史检测损失是在历史训练过程中确定的第一检测模型的检测损失；
若所述第一检测模型的检测损失变化率低于第一预设损失阈值，则确定所述第一检测模型达到第一预设条件；
若所述第一检测模型的检测损失变化率不低于第一预设损失阈值，则确定所述第一检测模型未达到第一预设条件。
可选的，所述根据所述目标物体在训练图像上的实际位置信息、所述目标物体的实际关键点位置信息、所述目标物体在待检测图像上的预测位置信息以及所述目标物体的预测关键点位置信息，判断所述第一检测模型是否达到第一预设条件，具体包括：
根据所述目标物体在训练图像上的实际位置信息以及目标物体在待检测图像上的预测位置信息，确定目标物体的检测损失；其中，所述目标物体的检测损失包括目标物体的识别损失和目标物体的位置检测损失；
根据所述目标物体的实际关键点位置信息以及所述目标物体的预测关键点位置信息，确定目标物体的关键点位置检测损失；
根据所述目标物体的识别损失、所述目标物体的位置检测损失和所述目标物体的关键点位置检测损失，确定第一检测模型的检测损失；
根据所述第一检测模型的检测损失以及第一检测模型的历史检测损失，确定第一检测模型的检测损失变化率；所述第一检测模型的历史检测损失是在历史训练过程中确定的第一检测模型的检测损失；
若所述第一检测模型的检测损失变化率低于第一预设损失阈值，或第一检测模型的训练轮数达到第一预设轮数阈值，则确定所述第一检测模型达到第一预设条件；
若所述第一检测模型的检测损失变化率不低于第一预设损失阈值，且第一检测模型的训练轮数未达到第一预设轮数阈值，则确定所述第一检测模型未达到第一预设条件。
可选的，所述根据所述待检测图像对应的图像特征，确定目标物体在待检测图像上的位置信息以及所述目标物体的关键点位置信息，具体为：
根据所述待检测图像对应的图像特征，确定目标物体在待检测图像上的位置信息和待检测图像上各个图像子区域内的关键点位置信息，并根据所述目标物体在待检测图像上的位置信息和所述待检测图像上各个图像子区域内的关键点位置信息，确定所述目标物体的关键点位置信息；所述图像子区域是锚点对应的感兴趣区域。
可选的，所述根据所述待检测图像对应的图像特征，确定目标物体在待检测图像上的位置信息和待检测图像上各个图像子区域内的关键点位置信息，并根据所述目标物体在待检测图像上的位置信息和所述待检测图像上各个图像子区域内的关键点位置信息，确定所述目标物体的关键点位置信息，具体为：
根据所述待检测图像对应的图像特征，利用预先构建的第二检测模型对目标物体及其关键点进行检测，确定目标物体在待检测图像上的位置信息以及目标物体的关键点位置信息；
其中，所述第二检测模型包括第二物体位置检测网络层、第二关键点位置检测网络层和物体关键点位置确定网络层，且所述第二物体位置检测网络层的输出结果和所述第二关键点位置检测网络层的输出结果是所述物体关键点位置确定网络层的输入数据，且所述第二物体位置检测网络层用于根据所述待检测图像对应的图像特征确定目标物体在待检测图像上的位置信息；且所述第二关键点位置检测网络层用于根据所述待检测图像对应的图像特征确定待检测图像上各个图像子区域内的关键点位置信息；且所述物体关键点位置确定网络层用于根据所述目标物体在待检测图像上的位置信息和所述待检测图像上各个图像子区域内的关键点位置信息，确定所述目标物体的关键点位置信息。
可选的，所述第二检测模型的训练过程，具体包括：
获取训练图像对应的图像特征、目标物体在训练图像上的实际位置信息以及目标物体的实际关键点位置信息；
根据所述训练图像对应的图像特征，利用第二检测模型对目标物体及其关键点进行检测，确定目标物体在待检测图像上的预测位置信息以及目标物体的预测关键点位置信息；
根据所述目标物体在训练图像上的实际位置信息、所述目标物体的实际关键点位置信息、所述目标物体在待检测图像上的预测位置信息以及所述目标物体的预测关键点位置信息，判断所述第二检测模型是否达到第二预设条件；
若确定所述第二检测模型未达到第二预设条件，则更新第二检测模型，继续执行“根据所述训练图像对应的图像特征，利用第二检测模型对目标物体及其关键点进行检测，确定目标物体在待检测图像上的预测位置信息以及目标物体的预测关键点位置信息”。
可选的，所述第二预设条件为：第二检测模型的检测损失的变化率低于第二预设损失阈值，和/或，第二检测模型的训练轮数达到第二预设轮数阈值。
可选的，当所述第二预设条件包括第二检测模型的检测损失的变化率低于第二预设损失阈值时，所述根据所述目标物体在训练图像上的实际位置信息、所述目标物体的实际关键点位置信息、所述目标物体在待检测图像上的预测位置信息以及所述目标物体的预测关键点位置信息，判断所述第二检测模型是否达到第二预设条件，具体包括：
根据所述目标物体在训练图像上的实际位置信息以及目标物体在待检测图像上的预测位置信息，确定目标物体的检测损失；其中，所述目标物体的检测损失包括目标物体的识别损失和目标物体的位置检测损失；
根据所述目标物体的实际关键点位置信息以及所述目标物体的预测关键点位置信息，确定目标物体的关键点位置检测损失；
根据所述目标物体的识别损失、所述目标物体的位置检测损失和所述目标物体的关键点位置检测损失，确定第二检测模型的检测损失；
根据所述第二检测模型的检测损失以及第二检测模型的历史检测损失，确定第二检测模型的检测损失变化率；所述第二检测模型的历史检测损失是在历史训练过程中确定的第二检测模型的检测损失；
若所述第二检测模型的检测损失变化率低于第二预设损失阈值，则确定所述第二检测模型达到第二预设条件；
若所述第二检测模型的检测损失变化率不低于第二预设损失阈值，则确定所述第二检测模型未达到第二预设条件。
可选的，所述根据所述目标物体在训练图像上的实际位置信息、所述目标物体的实际关键点位置信息、所述目标物体在待检测图像上的预测位置信息以及所述目标物体的预测关键点位置信息，判断所述第二检测模型是否达到第二预设条件，具体包括：
根据所述目标物体在训练图像上的实际位置信息以及目标物体在待检测图像上的预测位置信息，确定目标物体的检测损失；其中，所述目标物体的检测损失包括目标物体的识别损失和目标物体的位置检测损失；
根据所述目标物体的实际关键点位置信息以及所述目标物体的预测关键点位置信息，确定目标物体的关键点位置检测损失；
根据所述目标物体的识别损失、所述目标物体的位置检测损失和所述目标物体的关键点位置检测损失，确定第二检测模型的检测损失；
根据所述第二检测模型的检测损失以及第二检测模型的历史检测损失，确定第二检测模型的检测损失变化率；所述第二检测模型的历史检测损失是在历史训练过程中确定的第二检测模型的检测损失；
若所述第二检测模型的检测损失变化率低于第二预设损失阈值，或第二检测模型的训练轮数达到第二预设轮数阈值，则确定所述第二检测模型达到第二预设条件；
若所述第二检测模型的检测损失变化率不低于第二预设损失阈值，且第二检测模型的训练轮数未达到第二预设轮数阈值，则确定所述第二检测模型未达到第二预设条件。
以上为本申请实施例提供的计算机可读存储介质的相关内容。
应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制。虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明。任何熟悉本领域的技术人员，在不脱离本发明技术方案范围情况下，都可利用上述揭示的方法和技术内容对本发明技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。

Claims (16)

1.一种图像中物体及其关键点的确定方法，其特征在于，包括：
对待检测图像进行特征提取，得到所述待检测图像对应的图像特征；
根据所述待检测图像对应的图像特征，确定目标物体在待检测图像上的位置信息以及所述目标物体的关键点位置信息；其中，所述目标物体的关键点用于表征所述目标物体的结构特征。
2.根据权利要求1所述的方法，其特征在于，所述根据所述待检测图像对应的图像特征，确定目标物体在待检测图像上的位置信息以及所述目标物体的关键点位置信息，具体为：
根据所述待检测图像对应的图像特征，确定目标物体在待检测图像上的位置信息，并根据所述待检测图像对应的图像特征和所述目标物体在待检测图像上的位置信息，确定目标物体的关键点位置信息。
3.根据权利要求2所述的方法，其特征在于，所述根据所述待检测图像对应的图像特征，确定目标物体在待检测图像上的位置信息，并根据所述待检测图像对应的图像特征和所述目标物体在待检测图像上的位置信息，确定目标物体的关键点位置信息，具体包括：
根据所述待检测图像对应的图像特征，利用预先构建的第一检测模型对目标物体及其关键点进行检测，确定目标物体在待检测图像上的位置信息以及目标物体的关键点位置信息；
其中，所述第一检测模型包括第一物体位置检测网络层和第一关键点位置检测网络层，且所述第一物体位置检测网络层的输出结果是所述第一关键点位置检测网络层的输入数据，且所述第一物体位置检测网络层用于根据所述待检测图像对应的图像特征确定目标物体在待检测图像上的位置信息，所述第一关键点位置检测网络层用于根据所述待检测图像对应的图像特征和所述目标物体在待检测图像上的位置信息，确定目标物体的关键点位置信息。
4.根据权利要求3所述的方法，其特征在于，所述第一检测模型的训练过程，具体包括：
获取训练图像对应的图像特征、目标物体在训练图像上的实际位置信息以及目标物体的实际关键点位置信息；
根据所述训练图像对应的图像特征，利用第一检测模型对目标物体及其关键点进行检测，确定目标物体在待检测图像上的预测位置信息以及目标物体的预测关键点位置信息；
根据所述目标物体在训练图像上的实际位置信息、所述目标物体的实际关键点位置信息、所述目标物体在待检测图像上的预测位置信息以及所述目标物体的预测关键点位置信息，判断所述第一检测模型是否达到第一预设条件；
若确定所述第一检测模型未达到第一预设条件，则更新第一检测模型，继续执行“根据所述训练图像对应的图像特征，利用第一检测模型对目标物体及其关键点进行检测，确定目标物体在待检测图像上的预测位置信息以及目标物体的预测关键点位置信息”。
5.根据权利要求4所述的方法，其特征在于，所述第一预设条件为：第一检测模型的检测损失的变化率低于第一预设损失阈值，和/或，第一检测模型的训练轮数达到第一预设轮数阈值。
6.根据权利要求5所述的方法，其特征在于，当所述第一预设条件包括第一检测模型的检测损失的变化率低于第一预设损失阈值时，所述根据所述目标物体在训练图像上的实际位置信息、所述目标物体的实际关键点位置信息、所述目标物体在待检测图像上的预测位置信息以及所述目标物体的预测关键点位置信息，判断所述第一检测模型是否达到第一预设条件，具体包括：
根据所述目标物体在训练图像上的实际位置信息以及目标物体在待检测图像上的预测位置信息，确定目标物体的检测损失；其中，所述目标物体的检测损失包括目标物体的识别损失和目标物体的位置检测损失；
根据所述目标物体的实际关键点位置信息以及所述目标物体的预测关键点位置信息，确定目标物体的关键点位置检测损失；
根据所述目标物体的识别损失、所述目标物体的位置检测损失和所述目标物体的关键点位置检测损失，确定第一检测模型的检测损失；
根据所述第一检测模型的检测损失以及第一检测模型的历史检测损失，确定第一检测模型的检测损失变化率；所述第一检测模型的历史检测损失是在历史训练过程中确定的第一检测模型的检测损失；
若所述第一检测模型的检测损失变化率低于第一预设损失阈值，则确定所述第一检测模型达到第一预设条件；
若所述第一检测模型的检测损失变化率不低于第一预设损失阈值，则确定所述第一检测模型未达到第一预设条件。
7.根据权利要求4所述的方法，其特征在于，所述根据所述目标物体在训练图像上的实际位置信息、所述目标物体的实际关键点位置信息、所述目标物体在待检测图像上的预测位置信息以及所述目标物体的预测关键点位置信息，判断所述第一检测模型是否达到第一预设条件，具体包括：
根据所述目标物体在训练图像上的实际位置信息以及目标物体在待检测图像上的预测位置信息，确定目标物体的检测损失；其中，所述目标物体的检测损失包括目标物体的识别损失和目标物体的位置检测损失；
根据所述目标物体的实际关键点位置信息以及所述目标物体的预测关键点位置信息，确定目标物体的关键点位置检测损失；
根据所述目标物体的识别损失、所述目标物体的位置检测损失和所述目标物体的关键点位置检测损失，确定第一检测模型的检测损失；
根据所述第一检测模型的检测损失以及第一检测模型的历史检测损失，确定第一检测模型的检测损失变化率；所述第一检测模型的历史检测损失是在历史训练过程中确定的第一检测模型的检测损失；
若所述第一检测模型的检测损失变化率低于第一预设损失阈值，或第一检测模型的训练轮数达到第一预设轮数阈值，则确定所述第一检测模型达到第一预设条件；
若所述第一检测模型的检测损失变化率不低于第一预设损失阈值，且第一检测模型的训练轮数未达到第一预设轮数阈值，则确定所述第一检测模型未达到第一预设条件。
8.根据权利要求1所述的方法，其特征在于，所述根据所述待检测图像对应的图像特征，确定目标物体在待检测图像上的位置信息以及所述目标物体的关键点位置信息，具体为：
根据所述待检测图像对应的图像特征，确定目标物体在待检测图像上的位置信息和待检测图像上各个图像子区域内的关键点位置信息，并根据所述目标物体在待检测图像上的位置信息和所述待检测图像上各个图像子区域内的关键点位置信息，确定所述目标物体的关键点位置信息；所述图像子区域是锚点对应的感兴趣区域。
9.根据权利要求8所述的方法，其特征在于，所述根据所述待检测图像对应的图像特征，确定目标物体在待检测图像上的位置信息和待检测图像上各个图像子区域内的关键点位置信息，并根据所述目标物体在待检测图像上的位置信息和所述待检测图像上各个图像子区域内的关键点位置信息，确定所述目标物体的关键点位置信息，具体为：
根据所述待检测图像对应的图像特征，利用预先构建的第二检测模型对目标物体及其关键点进行检测，确定目标物体在待检测图像上的位置信息以及目标物体的关键点位置信息；
其中，所述第二检测模型包括第二物体位置检测网络层、第二关键点位置检测网络层和物体关键点位置确定网络层，且所述第二物体位置检测网络层的输出结果和所述第二关键点位置检测网络层的输出结果是所述物体关键点位置确定网络层的输入数据，且所述第二物体位置检测网络层用于根据所述待检测图像对应的图像特征确定目标物体在待检测图像上的位置信息；且所述第二关键点位置检测网络层用于根据所述待检测图像对应的图像特征确定待检测图像上各个图像子区域内的关键点位置信息；且所述物体关键点位置确定网络层用于根据所述目标物体在待检测图像上的位置信息和所述待检测图像上各个图像子区域内的关键点位置信息，确定所述目标物体的关键点位置信息。
10.根据权利要求9所述的方法，其特征在于，所述第二检测模型的训练过程，具体包括：
获取训练图像对应的图像特征、目标物体在训练图像上的实际位置信息以及目标物体的实际关键点位置信息；
根据所述训练图像对应的图像特征，利用第二检测模型对目标物体及其关键点进行检测，确定目标物体在待检测图像上的预测位置信息以及目标物体的预测关键点位置信息；
根据所述目标物体在训练图像上的实际位置信息、所述目标物体的实际关键点位置信息、所述目标物体在待检测图像上的预测位置信息以及所述目标物体的预测关键点位置信息，判断所述第二检测模型是否达到第二预设条件；
若确定所述第二检测模型未达到第二预设条件，则更新第二检测模型，继续执行“根据所述训练图像对应的图像特征，利用第二检测模型对目标物体及其关键点进行检测，确定目标物体在待检测图像上的预测位置信息以及目标物体的预测关键点位置信息”。
11.根据权利要求10所述的方法，其特征在于，所述第二预设条件为：第二检测模型的检测损失的变化率低于第二预设损失阈值，和/或，第二检测模型的训练轮数达到第二预设轮数阈值。
12.根据权利要求11所述的方法，其特征在于，当所述第二预设条件包括第二检测模型的检测损失的变化率低于第二预设损失阈值时，所述根据所述目标物体在训练图像上的实际位置信息、所述目标物体的实际关键点位置信息、所述目标物体在待检测图像上的预测位置信息以及所述目标物体的预测关键点位置信息，判断所述第二检测模型是否达到第二预设条件，具体包括：
根据所述目标物体在训练图像上的实际位置信息以及目标物体在待检测图像上的预测位置信息，确定目标物体的检测损失；其中，所述目标物体的检测损失包括目标物体的识别损失和目标物体的位置检测损失；
根据所述目标物体的实际关键点位置信息以及所述目标物体的预测关键点位置信息，确定目标物体的关键点位置检测损失；
根据所述目标物体的识别损失、所述目标物体的位置检测损失和所述目标物体的关键点位置检测损失，确定第二检测模型的检测损失；
根据所述第二检测模型的检测损失以及第二检测模型的历史检测损失，确定第二检测模型的检测损失变化率；所述第二检测模型的历史检测损失是在历史训练过程中确定的第二检测模型的检测损失；
若所述第二检测模型的检测损失变化率低于第二预设损失阈值，则确定所述第二检测模型达到第二预设条件；
若所述第二检测模型的检测损失变化率不低于第二预设损失阈值，则确定所述第二检测模型未达到第二预设条件。
13.根据权利要求10所述的方法，其特征在于，所述根据所述目标物体在训练图像上的实际位置信息、所述目标物体的实际关键点位置信息、所述目标物体在待检测图像上的预测位置信息以及所述目标物体的预测关键点位置信息，判断所述第二检测模型是否达到第二预设条件，具体包括：
根据所述目标物体在训练图像上的实际位置信息以及目标物体在待检测图像上的预测位置信息，确定目标物体的检测损失；其中，所述目标物体的检测损失包括目标物体的识别损失和目标物体的位置检测损失；
根据所述目标物体的实际关键点位置信息以及所述目标物体的预测关键点位置信息，确定目标物体的关键点位置检测损失；
根据所述目标物体的识别损失、所述目标物体的位置检测损失和所述目标物体的关键点位置检测损失，确定第二检测模型的检测损失；
根据所述第二检测模型的检测损失以及第二检测模型的历史检测损失，确定第二检测模型的检测损失变化率；所述第二检测模型的历史检测损失是在历史训练过程中确定的第二检测模型的检测损失；
若所述第二检测模型的检测损失变化率低于第二预设损失阈值，或第二检测模型的训练轮数达到第二预设轮数阈值，则确定所述第二检测模型达到第二预设条件；
若所述第二检测模型的检测损失变化率不低于第二预设损失阈值，且第二检测模型的训练轮数未达到第二预设轮数阈值，则确定所述第二检测模型未达到第二预设条件。
14.一种图像中物体及其关键点的确定装置，其特征在于，包括：
提取单元，用于对待检测图像进行特征提取，得到所述待检测图像对应的图像特征；
确定单元，用于根据所述待检测图像对应的图像特征，确定目标物体在待检测图像上的位置信息以及所述目标物体的关键点位置信息；其中，所述目标物体的关键点用于表征所述目标物体的结构特征。
15.一种设备，其特征在于，所述设备包括处理器以及存储器：
所述存储器用于存储计算机程序；
所述处理器用于根据所述计算机程序执行权利要求1-13中任一项所述的方法。
16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行权利要求1-13中任一项所述的方法。
CN201910954556.7A 2019-10-09 2019-10-09 一种图像中物体及其关键点的确定方法和装置 Active CN110765898B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910954556.7A CN110765898B (zh) 2019-10-09 2019-10-09 一种图像中物体及其关键点的确定方法和装置
PCT/CN2020/102518 WO2021068589A1 (zh) 2019-10-09 2020-07-17 一种图像中物体及其关键点的确定方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910954556.7A CN110765898B (zh) 2019-10-09 2019-10-09 一种图像中物体及其关键点的确定方法和装置

Publications (2)

Publication Number Publication Date
CN110765898A true CN110765898A (zh) 2020-02-07
CN110765898B CN110765898B (zh) 2022-11-22

Family

ID=69331015

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910954556.7A Active CN110765898B (zh) 2019-10-09 2019-10-09 一种图像中物体及其关键点的确定方法和装置

Country Status (2)

Country Link
CN (1) CN110765898B (zh)
WO (1) WO2021068589A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021068589A1 (zh) * 2019-10-09 2021-04-15 东软睿驰汽车技术（沈阳）有限公司 一种图像中物体及其关键点的确定方法和装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115083020B (zh) * 2022-07-22 2022-11-01 海易科技(北京)有限公司 信息生成方法、装置、电子设备和计算机可读介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107590482A (zh) * 2017-09-29 2018-01-16 百度在线网络技术（北京）有限公司 信息生成方法和装置
CN108121951A (zh) * 2017-12-11 2018-06-05 北京小米移动软件有限公司 特征点定位方法及装置
CN108121952A (zh) * 2017-12-12 2018-06-05 北京小米移动软件有限公司 人脸关键点定位方法、装置、设备及存储介质
CN109460704A (zh) * 2018-09-18 2019-03-12 厦门瑞为信息技术有限公司 一种基于深度学习的疲劳检测方法、系统和计算机设备
CN109617909A (zh) * 2019-01-07 2019-04-12 福州大学 一种基于smote和bi-lstm网络的恶意域名检测方法
CN109934129A (zh) * 2019-02-27 2019-06-25 嘉兴学院 一种人脸特征点定位方法、装置、计算机设备及存储介质
US20190303677A1 (en) * 2018-03-30 2019-10-03 Naver Corporation System and method for training a convolutional neural network and classifying an action performed by a subject in a video using the trained convolutional neural network

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108205655B (zh) * 2017-11-07 2020-08-11 北京市商汤科技开发有限公司 一种关键点预测方法、装置、电子设备及存储介质
CN108256431B (zh) * 2017-12-20 2020-09-25 中车工业研究院有限公司 一种手部位置标识方法及装置
CN108038469B (zh) * 2017-12-27 2019-10-25 百度在线网络技术（北京）有限公司 用于检测人体的方法和装置
CN108985259B (zh) * 2018-08-03 2022-03-18 百度在线网络技术（北京）有限公司 人体动作识别方法和装置
CN109598234B (zh) * 2018-12-04 2021-03-23 深圳美图创新科技有限公司 关键点检测方法和装置
CN110765898B (zh) * 2019-10-09 2022-11-22 东软睿驰汽车技术（沈阳）有限公司 一种图像中物体及其关键点的确定方法和装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107590482A (zh) * 2017-09-29 2018-01-16 百度在线网络技术（北京）有限公司 信息生成方法和装置
CN108121951A (zh) * 2017-12-11 2018-06-05 北京小米移动软件有限公司 特征点定位方法及装置
CN108121952A (zh) * 2017-12-12 2018-06-05 北京小米移动软件有限公司 人脸关键点定位方法、装置、设备及存储介质
US20190303677A1 (en) * 2018-03-30 2019-10-03 Naver Corporation System and method for training a convolutional neural network and classifying an action performed by a subject in a video using the trained convolutional neural network
CN109460704A (zh) * 2018-09-18 2019-03-12 厦门瑞为信息技术有限公司 一种基于深度学习的疲劳检测方法、系统和计算机设备
CN109617909A (zh) * 2019-01-07 2019-04-12 福州大学 一种基于smote和bi-lstm网络的恶意域名检测方法
CN109934129A (zh) * 2019-02-27 2019-06-25 嘉兴学院 一种人脸特征点定位方法、装置、计算机设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021068589A1 (zh) * 2019-10-09 2021-04-15 东软睿驰汽车技术（沈阳）有限公司 一种图像中物体及其关键点的确定方法和装置

Also Published As

Publication number Publication date
CN110765898B (zh) 2022-11-22
WO2021068589A1 (zh) 2021-04-15

Similar Documents

Publication Publication Date Title
CN108550259B (zh) 道路拥堵判断方法、终端设备及计算机可读存储介质
CN110020592B (zh) 物体检测模型训练方法、装置、计算机设备及存储介质
CN108090508B (zh) 一种分类训练方法、装置及存储介质
CN107609555B (zh) 车牌检测方法、应用其的车型识别方法及相关装置
CN113742387A (zh) 数据处理方法、设备及计算机可读存储介质
CN111797829A (zh) 一种车牌检测方法、装置、电子设备和存储介质
CN109740609B (zh) 一种轨距检测方法及装置
CN110807491A (zh) 车牌图像清晰度模型训练方法、清晰度检测方法及装置
KR20140028809A (ko) 이미지 피라미드의 적응적 이미지 처리 장치 및 방법
CN111582358B (zh) 户型识别模型的训练方法及装置、户型判重的方法及装置
CN110765898B (zh) 一种图像中物体及其关键点的确定方法和装置
CN112560584A (zh) 一种人脸检测方法及装置、存储介质、终端
CN113076922A (zh) 一种物体检测方法及装置
CN111382638B (zh) 一种图像检测方法、装置、设备和存储介质
CN110827327B (zh) 一种基于融合的长期目标跟踪方法
CN113065379B (zh) 融合图像质量的图像检测方法、装置、电子设备
JP6405603B2 (ja) 情報処理装置、情報処理システム及びプログラム
CN110675382A (zh) 基于CNN-LapsELM的铝电解过热度识别方法
CN110751623A (zh) 基于联合特征的缺陷检测方法、装置、设备及存储介质
CN113706580B (zh) 一种基于相关滤波跟踪器的目标跟踪方法、系统、设备及介质
CN111860289B (zh) 一种时序动作检测方法、装置及计算机设备
CN111723719B (zh) 基于类别外部记忆的视频目标检测方法、系统、装置
JP4894747B2 (ja) 部分領域検出装置、対象物識別装置、及びプログラム
CN114120097A (zh) 一种基于机器视觉的配网工程现场变压器检测方法和系统
CN113591839A (zh) 一种特征提取模型构建方法、目标检测方法及其设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant