CN111179419A - 三维关键点预测及深度学习模型训练方法、装置及设备 - Google Patents

三维关键点预测及深度学习模型训练方法、装置及设备 Download PDF

Info

Publication number
CN111179419A
CN111179419A CN201911414537.1A CN201911414537A CN111179419A CN 111179419 A CN111179419 A CN 111179419A CN 201911414537 A CN201911414537 A CN 201911414537A CN 111179419 A CN111179419 A CN 111179419A
Authority
CN
China
Prior art keywords
key point
sample
image
dimensional key
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911414537.1A
Other languages
English (en)
Other versions
CN111179419B (zh
Inventor
刘思阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN201911414537.1A priority Critical patent/CN111179419B/zh
Publication of CN111179419A publication Critical patent/CN111179419A/zh
Application granted granted Critical
Publication of CN111179419B publication Critical patent/CN111179419B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例提供了三维关键点预测及深度学习模型训练方法、装置及设备，该方法包括：获取包含待检测对象的RGB图像及深度图像；基于RGB图像，得到待检测对象的二维关键点信息及每个二维关键点对应的热度图像；利用预先训练的深度学习模型，对RGB图像、二维关键点信息、深度图像及热度图像进行关联分析，得到待检测对象的三维关键点信息的预测值。利用深度学习模型对待检测对象的RGB图像、二维关键点信息、深度图像及热度图像进行关联分析，相比于仅对二维关键点信息进行分析，能够从RGB图像、热度图像及深度图像中获取除二维关键点信息外的其他用于预测三维关键点信息的数据，从而能够提高三维关键点信息预测的准确性。

Description

三维关键点预测及深度学习模型训练方法、装置及设备
技术领域
本申请涉及计算机技术领域，特别是涉及三维关键点预测及深度学习模型 训练方法、装置及设备。
背景技术
随着计算机视觉技术的发展，特别是深度学习算法的出现，基于图像的人 工智能技术快速崛起。
3D(Dimension，维度)关键点的识别是计算机视觉领域中的一个分支算 法，可用于人体意图识别，人体3D重建，人体动作捕捉等应用。随着深度学习 算法的发展，2D关键点算法逐渐成熟，但在预测人体的3D关键点任务上，仍 存在很多问题。
现有利用2D图像提取3D关键点的技术中，首先对2D图像进行分析获取2D 关键点，然后通过将2D关键点的坐标信息输入到预先训练的深度学习算法中去 预测3D关键点的位置坐标，但是因为2D关键点本身包含的信息有限，导致3D 关键点信息的预测准确性差。
发明内容
本申请实施例的目的在于提供一种三维关键点预测及深度学习模型训练 方法、装置及设备，以实现提高3D关键点信息预测的准确度。具体技术方案 如下：
第一方面，本申请实施例提供了一种三维关键点预测方法，所述方法包括：
获取包含待检测对象的RGB图像及深度图像；
基于所述RGB图像，得到所述待检测对象的二维关键点信息及每个二维 关键点对应的热度图像；
利用预先训练的深度学习模型，对所述RGB图像、所述二维关键点信息、 所述深度图像及所述热度图像进行关联分析，得到所述待检测对象的三维关键 点信息的预测值。
在一种可能的实施方式中，所述利用预先训练的深度学习模型，对所述 RGB图像、所述二维关键点信息、所述深度图像及所述热度图像进行关联分 析，得到所述待检测对象的三维关键点信息的预测值，包括：
利用预先训练的深度学习模型，对所述RGB图像的矩阵及所述热度图像 的矩阵进行拼接，得到目标拼接矩阵；
对所述目标拼接矩阵进行特征提取，得到初始图像特征；
对所述初始图像特征进行维度变换，得到目标图像特征；
根据所述深度图像及所述二维关键点信息，获取所述二维关键点信息中各 关键点的深度信息，并对各所述关键点的深度信息进行特征提取，得到目标深 度特征；
对所述二维关键点信息进行特征提取，得到目标关键点特征；
对所述目标图像特征、所述目标深度特征及所述目标关键点特征进行拼接， 并利用拼接后的特征进行预测，得到所述待检测对象的三维关键点信息的预测 值。
第二方面，本申请实施例提供了一种深度学习模型训练方法，所述方法包 括：
获取待训练的深度学习模型；
在预设样本集合中选取一组样本图像组，其中，所述样本图像组包括样本 RGB图像、样本深度图像、样本二维关键点信息、每个样本二维关键点对应 的样本热度图像及真值三维关键点信息，所述样本二维关键点信息通过对所述 样本RGB图像进行二维关键点检测得到；
利用所述深度学习模型，对当前选取的样本RGB图像、样本深度图像、 样本热度图像及样本二维关键点信息进行关联分析，得到预测三维关键点信息；
根据所述真值三维关键点信息及所述预设三维关键点信息，计算所述深度 学习模型的当前损失；
在所述深度学习模型的当前损失未收敛时，按照所述当前损失，调整所述 深度学习模型的参数，并在所述预设样本集合中选取一组样本图像组继续训练， 直至所述深度学习模型的损失收敛，得到训练好的深度学习模型。
在一种可能的实施方式中，所述利用所述深度学习模型，对当前选取的样 本RGB图像、样本深度图像、样本热度图像及样本二维关键点信息进行关联 分析，得到预测三维关键点信息，包括：
利用预先训练的深度学习模型，对所述样本RGB图像的矩阵及所述样本 热度图像的矩阵进行拼接，得到样本拼接矩阵；
对所述样本拼接矩阵进行特征提取，得到初始样本图像特征；
对所述初始样本图像特征进行维度变换，得到目标样本图像特征；
根据所述样本深度图像及所述样本二维关键点信息，获取所述样本二维关 键点信息中各关键点的深度信息，并对各所述关键点的深度信息进行特征提取， 得到目标样本深度特征；
对所述样本二维关键点信息进行特征提取，得到目标样本关键点特征；
对所述目标样本图像特征、所述目标样本深度特征及所述目标样本关键点 特征进行拼接，并利用拼接后的特征进行预测，得到预测三维关键点信息。
在一种可能的实施方式中，所述根据所述真值三维关键点信息及所述预设 三维关键点信息，计算所述深度学习模型的当前损失，包括：
对所述预测三维关键点信息进行投影，得到预测二维关键点信息；
基于所述样本二维关键点信息及所述预测二维关键点信息，计算二维关键 点损失；
基于所述真值三维关键点信息及所述预测三维关键点信息，计算三维关键 点损失；
基于所述二维关键点损失及所述三维关键点损失，计算所述深度学习模型 的当前损失。
在一种可能的实施方式中，所述基于所述二维关键点损失及所述三维关键 点损失，计算所述深度学习模型的当前损失，包括：
利用预设二维关键点权重乘以所述二维关键点损失，利用预设三维关键点 权重乘以所述三维关键点损失，并对得到的乘积求和，得到所述深度学习模型 的当前损失。
第三方面，本申请实施例提供了一种三维关键点预测装置，所述装置包括：
图像数据获取单元，用于获取包含待检测对象的RGB图像及深度图像；
图像数据转换单元，用于基于所述RGB图像，得到所述待检测对象的二 维关键点信息及每个二维关键点对应的热度图像；
三维关键点预测单元，用于利用预先训练的深度学习模型，对所述RGB 图像、所述二维关键点信息、所述深度图像及所述热度图像进行关联分析，得 到所述待检测对象的三维关键点信息的预测值。
在一种可能的实施方式中，所述三维关键点预测单元，具体用于：利用预 先训练的深度学习模型，对所述RGB图像的矩阵及所述热度图像的矩阵进行 拼接，得到目标拼接矩阵；对所述目标拼接矩阵进行特征提取，得到初始图像 特征；对所述初始图像特征进行维度变换，得到目标图像特征；根据所述深度 图像及所述二维关键点信息，获取所述二维关键点信息中各关键点的深度信息， 并对各所述关键点的深度信息进行特征提取，得到目标深度特征；对所述二维 关键点信息进行特征提取，得到目标关键点特征；对所述目标图像特征、所述 目标深度特征及所述目标关键点特征进行拼接，并利用拼接后的特征进行预测， 得到所述待检测对象的三维关键点信息的预测值。
第四方面，本申请实施例提供了一种深度学习模型训练装置，所述装置包 括：
初始模型获取单元，用于获取待训练的深度学习模型；
样本图像组获取单元，用于在预设样本集合中选取一组样本图像组，其中， 所述样本图像组包括样本RGB图像、样本深度图像、样本二维关键点信息、 每个样本二维关键点对应的样本热度图像及真值三维关键点信息，所述样本二 维关键点信息通过对所述样本RGB图像进行二维关键点检测得到；
关键点信息预测单元，用于利用所述深度学习模型，对当前选取的样本 RGB图像、样本深度图像、样本热度图像及样本二维关键点信息进行关联分 析，得到预测三维关键点信息；
模型损失计算单元，用于根据所述真值三维关键点信息及所述预设三维关 键点信息，计算所述深度学习模型的当前损失；
深度学习模型获取单元，用于在所述深度学习模型的当前损失未收敛时， 按照所述当前损失，调整所述深度学习模型的参数，并在所述预设样本集合中 选取一组样本图像组继续训练，直至所述深度学习模型的损失收敛，得到训练 好的深度学习模型。
在一种可能的实施方式中，所述关键点信息预测单元，具体用于：利用预 先训练的深度学习模型，对所述样本RGB图像的矩阵及所述样本热度图像的 矩阵进行拼接，得到样本拼接矩阵；对所述样本拼接矩阵进行特征提取，得到 初始样本图像特征；对所述初始样本图像特征进行维度变换，得到目标样本图 像特征；根据所述样本深度图像及所述样本二维关键点信息，获取所述样本二 维关键点信息中各关键点的深度信息，并对各所述关键点的深度信息进行特征 提取，得到目标样本深度特征；对所述样本二维关键点信息进行特征提取，得 到目标样本关键点特征；对所述目标样本图像特征、所述目标样本深度特征及所述目标样本关键点特征进行拼接，并利用拼接后的特征进行预测，得到预测 三维关键点信息。
在一种可能的实施方式中，所述模型损失计算单元，包括：
关键点投影子单元，用于对所述预测三维关键点信息进行投影，得到预测 二维关键点信息；
二维损失计算子单元，用于基于所述样本二维关键点信息及所述预测二维 关键点信息，计算二维关键点损失；
三维损失计算子单元，用于基于所述真值三维关键点信息及所述预测三维 关键点信息，计算三维关键点损失；
模型损失计算子单元，用于基于所述二维关键点损失及所述三维关键点损 失，计算所述深度学习模型的当前损失。
在一种可能的实施方式中，所述模型损失计算子单元，具体用于：利用预 设二维关键点权重乘以所述二维关键点损失，利用预设三维关键点权重乘以所 述三维关键点损失，并对得到的乘积求和，得到所述深度学习模型的当前损失。
第五方面，本申请实施例提供了一种电子设备，包括处理器及存储器；所 述存储器，用于存放计算机程序；所述处理器，用于执行所述存储器上所存放 的程序时，实现上述任一所述的三维关键点预测方法。
第六方面，本申请实施例提供了一种电子设备，包括处理器及存储器；所 述存储器，用于存放计算机程序；所述处理器，用于执行所述存储器上所存放 的程序时，实现上述任一所述的深度学习模型训练方法。
在本申请实施例的又一方面，还提供了一种计算机可读存储介质，所述计 算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上 述任一所述的三维关键点预测方法。
在本申请实施例的又一方面，还提供了一种计算机可读存储介质，所述计 算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上 述任一所述的度学习模型训练方法。
在本申请实施例的又一方面，还提供了一种包含指令的计算机程序产品， 当其在计算机上运行时，使得计算机执行上述任一所述的三维关键点预测方法。
在本申请实施例的又一方面，还提供了一种包含指令的计算机程序产品， 当其在计算机上运行时，使得计算机执行上述任一所述的度学习模型训练方法。
本申请实施例提供的三维关键点预测及深度学习模型训练方法、装置及设 备，获取包含待检测对象的RGB图像及深度图像；基于RGB图像，得到待检 测对象的二维关键点信息及每个二维关键点对应的热度图像；利用预先训练的 深度学习模型，对RGB图像、二维关键点信息、深度图像及热度图像进行关 联分析，得到待检测对象的三维关键点信息的预测值。利用预先训练的深度学 习模型对待检测对象的RGB图像、二维关键点信息、深度图像及热度图像进 行关联分析，相比于仅对二维关键点信息进行分析，能够从RGB图像、热度 图像及深度图像中获取除二维关键点信息外的其他用于预测三维关键点信息 的数据，从而能够提高三维关键点信息预测的准确性。当然，实施本申请的任 一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施 例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述 中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付 出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例的三维关键点预测方法的第一种示意图；
图2为本申请实施例的三维关键点预测方法的第二种示意图；
图3为本申请实施例的三维关键点预测方法的第三种示意图；
图4为本申请实施例的预测三维关键点信息的方法的一种示意图；
图5为本申请实施例的深度学习模型训练方法的第一种示意图；
图6为本申请实施例的深度学习模型的一种示意图；
图7为本申请实施例的预测三维关键点信息的方法的另一种示意图；
图8为本申请实施例的计算深度学习模型当前损失的一种示意图；
图9为本申请实施例的深度学习模型训练方法的第二种示意图；
图10为本申请实施例的三维关键点预测装置的第一种示意图；
图11为本申请实施例的深度学习模型训练装置的一种示意图；
图12为本申请实施例的模型损失计算单元的一种示意图；
图13为本申请实施例的电子设备的一种示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清 楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是 全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造 性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了提高预测的3D关键点信息的准确度，本申请实施例提供了一种三维 关键点预测方法，该方法包括：获取包含待检测对象的RGB图像及深度图像； 基于RGB图像，得到待检测对象的二维关键点信息及每个二维关键点对应的 热度图像；利用预先训练的深度学习模型，对RGB图像、二维关键点信息、 深度图像及热度图像进行关联分析，得到待检测对象的三维关键点信息的预测 值。
在本申请实施例中，利用预先训练的深度学习模型对待检测对象的RGB图 像、二维关键点信息、深度图像及热度图像进行关联分析，相比于仅对二维关 键点信息进行分析，能够从RGB图像、热度图像及深度图像中获取除二维关键 点信息外的其他用于预测三维关键点信息的数据，从而能够提高三维关键点信 息预测的准确性。
下面进行具体说明：
参见图1，图1为本申请实施例的一种三维关键点预测方法的示意图，该 方法包括：
S11，获取包含待检测对象的RGB图像及深度图像。
本申请实施例的三维关键点预测方法可以通过电子设备实现，具体的，该 电子设备可以为服务器、个人计算机或智能手机等。
待检测对象为需要预测三维关键点的对象，例如待检测对象可以为人体、 动物或车辆等。深度图像表示待检测对象的深度信息。待检测对象在RGB图 像及深度图像中的姿势及位置均相同，为了保证待检测对象在RGB图像及深 度图像中的位置及姿态均相同，可以在同一位置及角度，同时采集待检测对象 的RGB图像及深度图像。本领域技术人员可以理解的是，因为图像采集设备 体积的关系，两个设备的光轴不会完全重合，可以通过相关坐标计算方法，将 RGB图像及深度图像转化到同一采集位置即可。
S12，基于RGB图像，得到待检测对象的二维关键点信息及每个二维关键 点对应的热度图像。
通过预设二维关键点检测技术对RGB图像进行分析，得到待检测对象的 二维关键点信息。预设二维关键点检测技术可以为CPM(Convolutional Pose Machines，卷积姿态机)，CPN(Cascaded Pyramid Network，级联金字塔网络)， PoseNet，OpenPose等二维关键点识别技术。根据二维关键点信息，利用相关 的热度图像转换技术，例如，采用高斯热度图的生成方式等，得到各二维关键 点对应的热度图像。
S13，利用预先训练的深度学习模型，对RGB图像、二维关键点信息、深 度图像及热度图像进行关联分析，得到待检测对象的三维关键点信息的预测值。
利用预先训练的深度学习模型对RGB图像、二维关键点信息、深度图像 及热度图像进行关联分析，结合RGB图像中待检测对象的光学信息、二维关 键点信息中待检测对象的二维关键点信息、深度图像中待检测对象的深度信息 及热度图像中待检测对象的热度信息，预测待检测对象的三维关键点信息。具 体的，待检测对象的三维关键点信息可以为待检测对象关键点的三维坐标，或 待检测对象的三维关键点图像等。
在本申请实施例中，利用预先训练的深度学习模型对待检测对象的RGB图 像、二维关键点信息、深度图像及热度图像进行关联分析，相比于仅对二维关 键点信息进行分析，能够从RGB图像、热度图像及深度图像中获取除二维关键 点信息外的其他用于预测三维关键点信息的数据，从而能够提高三维关键点信 息预测的准确性。
预先训练的深度学习模型的架构可以根据实际情况进行设定，例如该深度 学习模型可以包括四个特征提取网络及一个预测网络，四个特征提取网络分别 提取RGB图像、二维关键点信息、深度图像及热度图像的特征，预测网络对 提取的四个特征进行融合分析，从而得到待检测对象的三维关键点信息。
考虑到采用四个特征提取网络会导致深度学习模型的复杂度高，数据量及 计算量大，本申请实施例中的深度学习模型可以采用三个特征提取网络，即图 像特征提取网络、二维关键点特征提取网络、深度特征提取网络。
在一种可能的实施方式中，参见图2，上述利用预先训练的深度学习模型， 对RGB图像、二维关键点信息、深度图像及热度图像进行关联分析，得到待 检测对象的三维关键点信息的预测值，包括：
S131，对RGB图像及热度图像进行关联分析，得到目标图像特征。
图像特征提取网络可以包括卷积层及池化层，利用深度学习模型的图像特 征提取网络，提取RGB图像及热度图像中的目标图像特征。
S132，根据深度图像及二维关键点信息，获取二维关键点信息中各关键点 的深度信息，并对各关键点的深度信息进行特征提取，得到目标深度特征。
深度特征提取网络可以包括一个全连接网络，该全连接网络由多个全连接 层组成，利用深度学习模型的深度特征提取网络，根据深度图像及二维关键点 信息，获取各关键点深度信息，并对各关键点深度信息进行特征提取，得到目 标深度特征。
S133，对二维关键点信息进行特征提取，得到目标关键点特征。
二维关键点特征提取网络具体可以为一个全连接网络，由多个全连接层组 成，利用深度学习模型的二维关键点特征提取网络，提取二维关键点信息的目 标关键点特征。例如，二维关键点信息的维度为2×K，经过全连接网络，输 出维度为1×1×chs2目标关键点特征，其中，K表示二维关键点信息的通道 数为K，即二维关键点的个数，chs2为目标关键点特征的通道数。
S134，对目标图像特征、目标深度特征及目标关键点特征进行拼接，并利 用拼接后的特征进行预测，得到待检测对象的三维关键点信息的预测值。
三维关键点信息输出网络可以包括多个全连接层，利用深度学习模型的三 维关键点信息输出网络，基于目标图像特征、目标深度特征及目标关键点特征， 得到待检测对象的三维关键点信息。
目标图像特征既包括RGB图像中待检测对象的光学信息，又包括热度图 像中待检测对象的热度信息。目标深度特征包括各关键点的深度信息。目标关 键点特征包括二维关键点信息中待检测对象的二维关键点信息。结合待检测对 象的光学信息、热度信息、各关键点的深度信息及二维关键点信息，预测得到 待检测对象的三维关键点信息。
在本申请实施例中，利用深度学习模型的图像特征提取网络对RGB图像 及热度图像进行关联分析，得到目标图像特征，相比于利用两个特征提取网络 分别提取RGB图像及热度图像的图像特征，能够减少计算复杂度，节约计算 资源，并且能够减少深度学习模型的复杂程度。
在一种可能的实施方式中，参见图3，上述对RGB图像及热度图像进行 关联分析，得到目标图像特征，包括：
S1311，利用预先训练的深度学习模型，对RGB图像的矩阵及热度图像的 矩阵进行拼接，得到目标拼接矩阵。
深度学习模型的图像特征提取网络可以包括图像拼模块、特征提取模块及 特征变换模块；利用图像特征提取网络的图像拼模块，将RGB图像及热度图 像均调整为指定的分辨率大小，指定的分辨率大小与深度学习模型训练过程中 使用的样本RGB图像及样本热度图像的分辨率大小相同。当RGB图像与热度 图像分辨率大小相同时，可以直接对RGB图像及热度图像进行拼接，得到目 标拼接矩阵。
例如，指定的分辨率大小为W×H，则RGB图像的矩阵可以表示为W×H×3， 热度图像的矩阵可以表示为W×H×K，其中，3表示RGB图像的通道数为3， 即R(Red，红)、G(Green，绿)、B(Blue，蓝)三个通道，K表示热度图像 的通道数为K，即二维关键点的个数，则目标拼接矩阵可以为W×H×(3+K)。
S1312，对目标拼接矩阵进行特征提取，得到初始图像特征。
特征提取模块具体可以为特征提取网络，可以由多个卷积层组成。将目标 拼接矩阵输入到图像特征提取网络的特征提取模块，特征提取模块的输出强化 了二维关键点信息的初始图像特征，其维度为
Figure BDA0002350854850000111
其中s为特征提取 模块的Stride参数，chs1为提取的初始图像特征的通道数。
S1313，对初始图像特征进行维度变换，得到目标图像特征。
特征变换模块具体可以为池化层。将初始图像特征输入到图像特征提取网 络的特征变换模块，得到维度为1×1×chs2的目标图像特征，其中，chs2为 目标图像特征的通道数。
在一种可能的实施方式中，参见图4，上述对目标图像特征、目标深度特 征及目标关键点特征进行拼接，并利用拼接后的特征进行预测，得到待检测对 象的三维关键点信息的预测值，包括：
S1341，将目标图像特征、目标深度特征及目标关键点特征进行拼接，得 到目标拼接特征。
三维关键点信息输出网络可以包括特征拼模块及全连接层模块；目标深度 特征及目标关键点特征的维度数均可以为1×1×chs2，利用三维关键点信息 输出网络的特征拼模块，将目标图像特征、目标深度特征及目标关键点特征进 行拼接，得到维度为1×1×(chs2×3)的目标拼接特征。
S1342，对目标拼接特征进行处理，得到待检测对象的三维关键点信息的 预测值。
全连接层模块可以为一个全连接网络，由多个全连接层组成，利用三维关 键点信息输出网络的全连接层模块，对拼接特征进行分析，得到待检测对象的 三维关键点信息的预测值。
本申请实施例还提供了一种深度学习模型训练方法，参见图5，该方法包 括：
S51，获取待训练的深度学习模型。
本申请实施例的深度学习模型训练方法可以通过电子设备实现，具体的， 该电子设备可以为服务器或个人电脑等。
深度学习模型可以包括图像特征提取网络、二维关键点特征提取网络、深 度特征提取网络及三维关键点信息输出网络；特征提取网络用于对输入的RGB 图像及热度图像进行关联分析，输出目标图像特征；二维关键点特征提取网络 用于对输入的二维关键点信息进行分析，输出目标关键点特征；深度特征提取 网络用于对输入的二维关键点信息及深度图像进行关联分析，输出目标深度特 征；三维关键点信息输出网络用于对输入的目标图像特征、目标深度特征及目 标关键点特征进行关联分析，输出三维关键点信息。
S52，在预设样本集合中选取一组样本图像组，其中，样本图像组包括样 本RGB图像、样本深度图像、样本二维关键点信息、每个样本二维关键点对 应的样本热度图像及真值三维关键点信息，样本二维关键点信息通过对样本 RGB图像进行二维关键点检测得到。
样本RGB图像中包括样本对象，样本对象为希望预测三维关键点信息的 对象，例如，可以为人体、动物或汽车等。同一样本图像组中样本二维关键点 信息是基于该组中的样本RGB图像得到的。具体的，可以根据样本RGB图像 利用二维关键点检测技术得到样本二维关键点信息，采用高斯热度图的生成方 式得到样本二维关键点信息中的各样本二维关键点对应的样本热度图像。当然 样本二维关键点信息也可以由真值三维关键点信息投影得到。同一样本图像组 中，同一样本图像组中，真值三维关键点信息、样本深度图像与样本RGB图 像相对于样本对象的采集位置及视角均相同，样本对象在样本RGB图像、真 值三维关键点信息及样本深度图像中的位置及姿态均相同。
S53，利用深度学习模型，对当前选取的样本RGB图像、样本深度图像、 样本热度图像及样本二维关键点信息进行关联分析，得到预测三维关键点信息。
将样本RGB图像及样本热度图像输入到图像特征提取网络中，将样本二 维关键点信息输入到二维关键点特征提取网络中，将样本二维关键点信息及样 本深度图像输入到深度特征提取网络中，通过三维关键点信息输出网络，得到 预测三维关键点信息。
S54，根据真值三维关键点信息及预设三维关键点信息，计算深度学习模 型的当前损失。
可以利用相关技术中三维关键点损失的计算方法，计算三维关键点损失， 例如，可以计算真值三维关键点信息及预测三维关键点信息中各相对应的三维 关键点差异的期望，作为三维关键点损失。
S55，在深度学习模型的当前损失未收敛时，按照当前损失，调整深度学 习模型的参数，并在预设样本集合中选取一组样本图像组继续训练，直至深度 学习模型的损失收敛，得到训练好的深度学习模型。
在深度学习模型的当前损失未收敛时，将当前损失反向传导至网络，以减 少当前损失为调整目标，对深度学习模型的参数进行更新，然后选取下一组样 本图像组继续训练。具体的，可以通过反向传播算法求当前损失对深度学习模 型中各参数的导数，然后通过随机梯度下降算法更新深度学习模型的中各参数。 在深度学习模型的损失收敛时，则得到训练好的深度学习模型。
本申请实施例中，给出了深度学习模型的训练方法，利用深度学习模型对 样本RGB图像、样本热度图像、样本深度图像及样本二维关键点信息进行关 联分析，得到预测三维关键点信息，能够从RGB图像、深度图像及热度图像 中获取除二维关键点信息外的其他用于预测三维关键点信息的数据，从而能够 提高三维关键点信息预测的准确性。
在一种可能的实施方式中，本申请实施例的深度学习模型具体可以如图6 所示，图像特征提取网络(图中为示出)包括图像拼模块、特征提取模块及特 征变换模块，深度特征提取网络(图中为示出)包括关键点深度提取模块及全 连接模块1，二维关键点特征提取网络(图中为示出)包括全连接模块2，三 维关键点信息输出网络(图中为示出)包括特征拼模块及全连接层模块3。
图像拼模块用于对RGB图像及热度图像进行拼接，得到拼接矩阵。特征 提取模块具体可以为特征提取网络，可以由多个卷积层组成。特征提取模块用 于对拼接矩阵进行特征提取，得到初始图像特征。特征变换模块具体可以为池 化层用于初始图像特征进行变换，得到目标图像特征。关键点深度提取模块用 于根据二维关键点信息及深度图像，获取各二维关键点的深度信息。全连接模 块1具体可以为全连接网络，由多个全连接层构成，用于对输入的二维关键点 的深度信息进行分析，得到并输出目标深度特征。全连接模块2具体可以为全 连接网络，由多个全连接层构成，用于对输入的二维关键点信息进行分析，得到并输出关键点特征。特征拼模块用于将目标图像特征及关键点特征进行拼接， 得到拼接特征。全连接层模块3具体可以为全连接网络，由多个全连接层构成， 用于对拼接特征进行处理，得到并输出上预测三维关键点信息。
本申请实施例中，给出了深度学习模型的训练方法，利用深度学习模型的 图像特征提取网络对RGB图像及热度图像进行关联分析，得到目标图像特征， 相比于利用两个特征提取网络分别提取RGB图像及热度图像的图像特征，能 够减少计算复杂度，节约计算资源，并且能够减少深度学习模型的复杂程度。
在一种可能的实施方式中，参见图7，上述利用深度学习模型，对当前选 取的样本RGB图像、样本深度图像、样本热度图像及样本二维关键点信息进 行关联分析，得到预测三维关键点信息，包括：
S531，利用预先训练的深度学习模型，对样本RGB图像的矩阵及样本热 度图像的矩阵进行拼接，得到样本拼接矩阵。
S532，对样本拼接矩阵进行特征提取，得到初始样本图像特征。
S533，对初始样本图像特征进行维度变换，得到目标样本图像特征。
S534，根据样本深度图像及样本二维关键点信息，获取样本二维关键点信 息中各关键点的深度信息，并对各关键点的深度信息进行特征提取，得到目标 样本深度特征。
S535，对样本二维关键点信息进行特征提取，得到目标样本关键点特征。
S536，对目标样本图像特征、目标样本深度特征及目标样本关键点特征进 行拼接，并利用拼接后的特征进行预测，得到预测三维关键点信息。
在一种可能的实施方式中，参见图8，上述根据真值三维关键点信息及预 设三维关键点信息，计算深度学习模型的当前损失，包括：
S541，对预测三维关键点信息进行投影，得到预测二维关键点信息。
例如图9所示，可以利用样本RGB图像得到样本二维关键点信息，当然 样本二维关键点信息也可以由真值三维关键点信息投影得到，然后由样本二维 关键点信息可以变换得到样本热度图像。将样本RGB图像、样本热度图像及 样本二维关键点信息输入的到深度学习模型中，得到预测三维关键点信息。将 预测三维关键点信息进行二维投影，例如，提取预测三维关键点信息中各关键 点的X、Y坐标，得到预测二维关键点信息。
S542，基于样本二维关键点信息及预测二维关键点信息，计算二维关键点 损失。
样本二维关键点信息中二维关键点信息与预测二维关键点信息之间的差 异越大，表示二维关键点损失越大。例如图9所示，可以利用相关技术中二维 关键点损失的计算方法，计算二维关键点损失，例如，可以计算样本二维关键 点信息各关键点与预测二维关键点信息中相应关键点差异的期望，作为二维关 键点损失。
S543，基于真值三维关键点信息及预测三维关键点信息，计算三维关键点 损失。
真值三维关键点信息与预测三维关键点信息之间的差异越大三维关键点 损失越大。例如图9所示，可以利用相关技术中三维关键点损失的计算方法， 计算三维关键点损失，例如，可以计算真值三维关键点信息及预测三维关键点 信息中各相对应的三维关键点差异的期望，作为三维关键点损失。
S544，基于二维关键点损失及三维关键点损失，计算深度学习模型的当前 损失。
深度学习模型的当前损失由例如二维关键点损失及三维关键点损失共同 表示，在计算得到深度学习模型的当前损失后，例如图9所示，将深度学习模 型的当前损失反向传导至网络，以减少当前损失为调整目标，对深度学习模型 参数的进行更新。
在本申请实施例中，结合二维关键点损失及三维关键点损失得到当前损失， 利用当前损失指导深度学习模型的参数调整，能够增强相机视角的推理能，让 用户感受更直观，能够减少Z轴预测对X、Y轴结果的影响。
在一种可能的实施方式中，上述基于二维关键点损失及三维关键点损失， 计算深度学习模型的当前损失，包括：
利用预设二维关键点权重乘以二维关键点损失，利用预设三维关键点权重 乘以三维关键点损失，并对得到的乘积求和，得到深度学习模型的当前损失。
例如，当前损失可以表示为Losstotal＝α×Loss2d+β×Loss3d，其中， α及β分别为预设二维关键点权重及预设三维关键点权重，Loss2d为二维关键 点损失，Loss3d为三维关键点损失，Losstotal为当前损失。
在可选的，预设二维关键点权重大于预设三维关键点权重，即α>β。经 过发明人的研究发现，在预设二维关键点权重大于预设三维关键点权重时，预 测三维关键点信息转化为三维关键点图像后，其视觉效果与真实视觉效果更加 接近。
本申请实施例还提供了一种三维关键点预测装置，参见图10，该装置包括：
图像数据获取单元701，用于获取包含待检测对象的RGB图像及深度图 像。
图像数据转换单元702，用于基于RGB图像，得到待检测对象的二维关 键点信息及每个二维关键点对应的热度图像。
三维关键点预测单元703，用于利用预先训练的深度学习模型，对RGB 图像、二维关键点信息、深度图像及热度图像进行关联分析，得到待检测对象 的三维关键点信息的预测值。
在一种可能的实施方式中，三维关键点预测单元703，具体用于：利用预 先训练的深度学习模型，对RGB图像的矩阵及热度图像的矩阵进行拼接，得 到目标拼接矩阵；对目标拼接矩阵进行特征提取，得到初始图像特征；对初始 图像特征进行维度变换，得到目标图像特征；根据深度图像及二维关键点信息， 获取二维关键点信息中各关键点的深度信息，并对各关键点的深度信息进行特 征提取，得到目标深度特征；对二维关键点信息进行特征提取，得到目标关键 点特征；对目标图像特征、目标深度特征及目标关键点特征进行拼接，并利用 拼接后的特征进行预测，得到待检测对象的三维关键点信息的预测值。
本申请实施例还提供了一种深度学习模型训练装置，参见图11，该装置包 括：
初始模型获取单元801，用于获取待训练的深度学习模型；
样本图像组获取单元802，用于在预设样本集合中选取一组样本图像组， 其中，样本图像组包括样本RGB图像、样本深度图像、样本二维关键点信息、 每个样本二维关键点对应的样本热度图像及真值三维关键点信息，样本二维关 键点信息通过对样本RGB图像进行二维关键点检测得到；
关键点信息预测单元803，用于利用深度学习模型，对当前选取的样本 RGB图像、样本深度图像、样本热度图像及样本二维关键点信息进行关联分 析，得到预测三维关键点信息；
模型损失计算单元804，用于根据真值三维关键点信息及预设三维关键点 信息，计算深度学习模型的当前损失；
深度学习模型获取单元805，用于在深度学习模型的当前损失未收敛时， 按照当前损失，调整深度学习模型的参数，并在预设样本集合中选取一组样本 图像组继续训练，直至深度学习模型的损失收敛，得到训练好的深度学习模型。
在一种可能的实施方式中，关键点信息预测单元803，具体用于：利用预 先训练的深度学习模型，对样本RGB图像的矩阵及样本热度图像的矩阵进行 拼接，得到样本拼接矩阵；对样本拼接矩阵进行特征提取，得到初始样本图像 特征；对初始样本图像特征进行维度变换，得到目标样本图像特征；根据样本 深度图像及样本二维关键点信息，获取样本二维关键点信息中各关键点的深度 信息，并对各关键点的深度信息进行特征提取，得到目标样本深度特征；对样 本二维关键点信息进行特征提取，得到目标样本关键点特征；对目标样本图像 特征、目标样本深度特征及目标样本关键点特征进行拼接，并利用拼接后的特征进行预测，得到预测三维关键点信息。
在一种可能的实施方式中，参见图12，模型损失计算单元804，包括：
关键点投影子单元8041，用于对预测三维关键点信息进行投影，得到预测 二维关键点信息；
二维损失计算子单元8042，用于基于样本二维关键点信息及预测二维关键 点信息，计算二维关键点损失；
三维损失计算子单元8043，用于基于真值三维关键点信息及预测三维关键 点信息，计算三维关键点损失；
模型损失计算子单元8044，用于基于二维关键点损失及三维关键点损失， 计算深度学习模型的当前损失。
在一种可能的实施方式中，模型损失计算子单元8044，具体用于：利用预 设二维关键点权重乘以二维关键点损失，利用预设三维关键点权重乘以三维关 键点损失，并对得到的乘积求和，得到深度学习模型的当前损失。
本申请实施例还提供了一种电子设备，包括：处理器及存储器；上述存储 器，用于存放计算机程序；上述处理器用于执行上述存储器存放的计算机程序 时，实现如下步骤：
获取包含待检测对象的RGB图像及深度图像；基于RGB图像，得到待检 测对象的二维关键点信息及每个二维关键点对应的热度图像；利用预先训练的 深度学习模型，对RGB图像、二维关键点信息、深度图像及热度图像进行关 联分析，得到待检测对象的三维关键点信息的预测值。
可选的，参见图13，本申请实施例的电子设备还包括通信接口902和通信 总线904，其中，处理器901，通信接口902，存储器903通过通信总线904 完成相互间的通信。
可选的，上述处理器用于执行上述存储器存放的计算机程序时，还能够实 现上述任一三维关键点预测方法。
本申请实施例还提供了一种电子设备，包括：处理器及存储器；上述存储 器，用于存放计算机程序；上述处理器用于执行上述存储器存放的计算机程序 时，实现上述任一深度学习模型训练方法。
上述电子设备提到的通信总线可以是PCI(Peripheral ComponentInterconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。该通信总线可以分为地址总线、数 据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有 一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括RAM(Random Access Memory，随机存取存储器)，也可 以包括NVM(Non-Volatile Memory，非易失性存储器)，例如至少一个磁盘存 储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括CPU(Central Processing Unit，中 央处理器)、NP(Network Processor，网络处理器)等；还可以是DSP(Digital SignalProcessing，数字信号处理器)、ASIC(Application Specific Integrated Circuit，专用集成电路)、FPGA(Field-Programmable Gate Array，现场可编程 门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组 件。
本申请实施例还提供了一种计算机可读存储介质，上述计算机可读存储介 质内存储有计算机程序，上述计算机程序被处理器执行时实现上述任一三维关 键点预测方法。
本申请实施例还提供了一种计算机可读存储介质，上述计算机可读存储介 质内存储有计算机程序，上述计算机程序被处理器执行时实现上述任一深度学 习模型训练方法。
本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上 运行时，使得计算机执行上述任一所述的三维关键点预测方法。
本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上 运行时，使得计算机执行上述任一所述的度学习模型训练方法。
需要说明的是，在本文中，各个可选方案中的技术特征只要不矛盾均可组 合来形成方案，这些方案均在本申请公开的范围内。诸如第一和第二等之类的 关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一 定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且， 术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得 包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括 没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所 固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素， 并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要 素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相 似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。 尤其，对于装置、电子设备及存储介质的实施例而言，由于其基本相似于方法 实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。 凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在 本申请的保护范围内。

Claims (10)

1.一种三维关键点预测方法，其特征在于，所述方法包括：
获取包含待检测对象的RGB图像及深度图像；
基于所述RGB图像，得到所述待检测对象的二维关键点信息及每个二维关键点对应的热度图像；
利用预先训练的深度学习模型，对所述RGB图像、所述二维关键点信息、所述深度图像及所述热度图像进行关联分析，得到所述待检测对象的三维关键点信息的预测值。
2.根据权利要求1所述的方法，其特征在于，所述利用预先训练的深度学习模型，对所述RGB图像、所述二维关键点信息、所述深度图像及所述热度图像进行关联分析，得到所述待检测对象的三维关键点信息的预测值，包括：
利用预先训练的深度学习模型，对所述RGB图像的矩阵及所述热度图像的矩阵进行拼接，得到目标拼接矩阵；
对所述目标拼接矩阵进行特征提取，得到初始图像特征；
对所述初始图像特征进行维度变换，得到目标图像特征；
根据所述深度图像及所述二维关键点信息，获取所述二维关键点信息中各关键点的深度信息，并对各所述关键点的深度信息进行特征提取，得到目标深度特征；
对所述二维关键点信息进行特征提取，得到目标关键点特征；
对所述目标图像特征、所述目标深度特征及所述目标关键点特征进行拼接，并利用拼接后的特征进行预测，得到所述待检测对象的三维关键点信息的预测值。
3.一种深度学习模型训练方法，其特征在于，所述方法包括：
获取待训练的深度学习模型；
在预设样本集合中选取一组样本图像组，其中，所述样本图像组包括样本RGB图像、样本深度图像、样本二维关键点信息、每个样本二维关键点对应的样本热度图像及真值三维关键点信息，所述样本二维关键点信息通过对所述样本RGB图像进行二维关键点检测得到；
利用所述深度学习模型，对当前选取的样本RGB图像、样本深度图像、样本热度图像及样本二维关键点信息进行关联分析，得到预测三维关键点信息；
根据所述真值三维关键点信息及所述预设三维关键点信息，计算所述深度学习模型的当前损失；
在所述深度学习模型的当前损失未收敛时，按照所述当前损失，调整所述深度学习模型的参数，并在所述预设样本集合中选取一组样本图像组继续训练，直至所述深度学习模型的损失收敛，得到训练好的深度学习模型。
4.根据权利要求3所述的方法，其特征在于，所述利用所述深度学习模型，对当前选取的样本RGB图像、样本深度图像、样本热度图像及样本二维关键点信息进行关联分析，得到预测三维关键点信息，包括：
利用预先训练的深度学习模型，对所述样本RGB图像的矩阵及所述样本热度图像的矩阵进行拼接，得到样本拼接矩阵；
对所述样本拼接矩阵进行特征提取，得到初始样本图像特征；
对所述初始样本图像特征进行维度变换，得到目标样本图像特征；
根据所述样本深度图像及所述样本二维关键点信息，获取所述样本二维关键点信息中各关键点的深度信息，并对各所述关键点的深度信息进行特征提取，得到目标样本深度特征；
对所述样本二维关键点信息进行特征提取，得到目标样本关键点特征；
对所述目标样本图像特征、所述目标样本深度特征及所述目标样本关键点特征进行拼接，并利用拼接后的特征进行预测，得到预测三维关键点信息。
5.根据权利要求3所述的方法，其特征在于，所述根据所述真值三维关键点信息及所述预设三维关键点信息，计算所述深度学习模型的当前损失，包括：
对所述预测三维关键点信息进行投影，得到预测二维关键点信息；
基于所述样本二维关键点信息及所述预测二维关键点信息，计算二维关键点损失；
基于所述真值三维关键点信息及所述预测三维关键点信息，计算三维关键点损失；
基于所述二维关键点损失及所述三维关键点损失，计算所述深度学习模型的当前损失。
6.根据权利要求5所述的方法，其特征在于，所述基于所述二维关键点损失及所述三维关键点损失，计算所述深度学习模型的当前损失，包括：
利用预设二维关键点权重乘以所述二维关键点损失，利用预设三维关键点权重乘以所述三维关键点损失，并对得到的乘积求和，得到所述深度学习模型的当前损失。
7.一种三维关键点预测装置，其特征在于，所述装置包括：
图像数据获取单元，用于获取包含待检测对象的RGB图像及深度图像；
图像数据转换单元，用于基于所述RGB图像，得到所述待检测对象的二维关键点信息及每个二维关键点对应的热度图像；
三维关键点预测单元，用于利用预先训练的深度学习模型，对所述RGB图像、所述二维关键点信息、所述深度图像及所述热度图像进行关联分析，得到所述待检测对象的三维关键点信息的预测值。
8.一种深度学习模型训练装置，其特征在于，所述装置包括：
初始模型获取单元，用于获取待训练的深度学习模型；
样本图像组获取单元，用于在预设样本集合中选取一组样本图像组，其中，所述样本图像组包括样本RGB图像、样本深度图像、样本二维关键点信息、每个样本二维关键点对应的样本热度图像及真值三维关键点信息，所述样本二维关键点信息通过对所述样本RGB图像进行二维关键点检测得到；
关键点信息预测单元，用于利用所述深度学习模型，对当前选取的样本RGB图像、样本深度图像、样本热度图像及样本二维关键点信息进行关联分析，得到预测三维关键点信息；
模型损失计算单元，用于根据所述真值三维关键点信息及所述预设三维关键点信息，计算所述深度学习模型的当前损失；
深度学习模型获取单元，用于在所述深度学习模型的当前损失未收敛时，按照所述当前损失，调整所述深度学习模型的参数，并在所述预设样本集合中选取一组样本图像组继续训练，直至所述深度学习模型的损失收敛，得到训练好的深度学习模型。
9.一种电子设备，其特征在于，包括处理器及存储器；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现权利要求1或2所述的三维关键点预测方法。
10.一种电子设备，其特征在于，包括处理器及存储器；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现权利要求3-6任一所述的深度学习模型训练方法。
CN201911414537.1A 2019-12-31 2019-12-31 三维关键点预测及深度学习模型训练方法、装置及设备 Active CN111179419B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911414537.1A CN111179419B (zh) 2019-12-31 2019-12-31 三维关键点预测及深度学习模型训练方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911414537.1A CN111179419B (zh) 2019-12-31 2019-12-31 三维关键点预测及深度学习模型训练方法、装置及设备

Publications (2)

Publication Number Publication Date
CN111179419A true CN111179419A (zh) 2020-05-19
CN111179419B CN111179419B (zh) 2023-09-05

Family

ID=70652360

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911414537.1A Active CN111179419B (zh) 2019-12-31 2019-12-31 三维关键点预测及深度学习模型训练方法、装置及设备

Country Status (1)

Country Link
CN (1) CN111179419B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111814588A (zh) * 2020-06-18 2020-10-23 浙江大华技术股份有限公司 行为检测方法以及相关设备、装置
CN112069994A (zh) * 2020-09-04 2020-12-11 北京百度网讯科技有限公司 信息预测方法、装置、设备及存储介质
CN112184611A (zh) * 2020-11-03 2021-01-05 支付宝(杭州)信息技术有限公司 图像生成模型训练方法以及装置
CN112287867A (zh) * 2020-11-10 2021-01-29 上海依图网络科技有限公司 一种多摄像头的人体动作识别方法及装置
CN112287868A (zh) * 2020-11-10 2021-01-29 上海依图网络科技有限公司 一种人体动作识别方法及装置
CN112287866A (zh) * 2020-11-10 2021-01-29 上海依图网络科技有限公司 一种基于人体关键点的人体动作识别方法及装置
CN112364807A (zh) * 2020-11-24 2021-02-12 深圳市优必选科技股份有限公司 图像识别方法、装置、终端设备及计算机可读存储介质
CN115861400A (zh) * 2023-02-15 2023-03-28 北京百度网讯科技有限公司 目标对象检测方法、训练方法、装置以及电子设备
CN116386016A (zh) * 2023-05-22 2023-07-04 杭州睿影科技有限公司 一种异物处理方法、装置、电子设备及存储介质
WO2024120096A1 (zh) * 2022-12-09 2024-06-13 腾讯科技（深圳）有限公司 关键点检测方法、训练方法、装置、电子设备、计算机可读存储介质及计算机程序产品

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830150A (zh) * 2018-05-07 2018-11-16 山东师范大学 一种基于三维人体姿态估计方法及装置
CN108960036A (zh) * 2018-04-27 2018-12-07 北京市商汤科技开发有限公司 三维人体姿态预测方法、装置、介质及设备
US20190278983A1 (en) * 2018-03-12 2019-09-12 Nvidia Corporation Three-dimensional (3d) pose estimation from a monocular camera
CN110334587A (zh) * 2019-05-23 2019-10-15 北京市威富安防科技有限公司 人脸关键点定位模型的训练方法、装置及关键点定位方法
CN110334599A (zh) * 2019-05-31 2019-10-15 北京奇艺世纪科技有限公司 深度学习网络的训练方法、装置、设备和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190278983A1 (en) * 2018-03-12 2019-09-12 Nvidia Corporation Three-dimensional (3d) pose estimation from a monocular camera
CN108960036A (zh) * 2018-04-27 2018-12-07 北京市商汤科技开发有限公司 三维人体姿态预测方法、装置、介质及设备
CN108830150A (zh) * 2018-05-07 2018-11-16 山东师范大学 一种基于三维人体姿态估计方法及装置
CN110334587A (zh) * 2019-05-23 2019-10-15 北京市威富安防科技有限公司 人脸关键点定位模型的训练方法、装置及关键点定位方法
CN110334599A (zh) * 2019-05-31 2019-10-15 北京奇艺世纪科技有限公司 深度学习网络的训练方法、装置、设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
冯龙飞: "基于深度学习的人脸3D关键点检测方法研究", 《中国硕士电子期刊信息科技辑》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111814588A (zh) * 2020-06-18 2020-10-23 浙江大华技术股份有限公司 行为检测方法以及相关设备、装置
CN111814588B (zh) * 2020-06-18 2023-08-01 浙江大华技术股份有限公司 行为检测方法以及相关设备、装置
CN112069994A (zh) * 2020-09-04 2020-12-11 北京百度网讯科技有限公司 信息预测方法、装置、设备及存储介质
CN112184611A (zh) * 2020-11-03 2021-01-05 支付宝(杭州)信息技术有限公司 图像生成模型训练方法以及装置
CN112287868B (zh) * 2020-11-10 2021-07-13 上海依图网络科技有限公司 一种人体动作识别方法及装置
CN112287866A (zh) * 2020-11-10 2021-01-29 上海依图网络科技有限公司 一种基于人体关键点的人体动作识别方法及装置
CN112287867B (zh) * 2020-11-10 2021-06-08 上海依图网络科技有限公司 一种多摄像头的人体动作识别方法及装置
CN112287868A (zh) * 2020-11-10 2021-01-29 上海依图网络科技有限公司 一种人体动作识别方法及装置
CN112287867A (zh) * 2020-11-10 2021-01-29 上海依图网络科技有限公司 一种多摄像头的人体动作识别方法及装置
CN112287866B (zh) * 2020-11-10 2024-05-31 上海依图网络科技有限公司 一种基于人体关键点的人体动作识别方法及装置
CN112364807A (zh) * 2020-11-24 2021-02-12 深圳市优必选科技股份有限公司 图像识别方法、装置、终端设备及计算机可读存储介质
CN112364807B (zh) * 2020-11-24 2023-12-15 深圳市优必选科技股份有限公司 图像识别方法、装置、终端设备及计算机可读存储介质
WO2024120096A1 (zh) * 2022-12-09 2024-06-13 腾讯科技（深圳）有限公司 关键点检测方法、训练方法、装置、电子设备、计算机可读存储介质及计算机程序产品
CN115861400A (zh) * 2023-02-15 2023-03-28 北京百度网讯科技有限公司 目标对象检测方法、训练方法、装置以及电子设备
CN116386016A (zh) * 2023-05-22 2023-07-04 杭州睿影科技有限公司 一种异物处理方法、装置、电子设备及存储介质
CN116386016B (zh) * 2023-05-22 2023-10-10 杭州睿影科技有限公司 一种异物处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN111179419B (zh) 2023-09-05

Similar Documents

Publication Publication Date Title
CN111160375B (zh) 三维关键点预测及深度学习模型训练方法、装置及设备
CN111179419B (zh) 三维关键点预测及深度学习模型训练方法、装置及设备
CN112750140B (zh) 基于信息挖掘的伪装目标图像分割方法
CN111160269A (zh) 一种人脸关键点检测方法及装置
CN109902548B (zh) 一种对象属性识别方法、装置、计算设备及系统
CN109960742B (zh) 局部信息的搜索方法及装置
CN112446270A (zh) 行人再识别网络的训练方法、行人再识别方法和装置
CN111709268B (zh) 一种深度图像中的基于人手结构指导的人手姿态估计方法和装置
CN111062263A (zh) 手部姿态估计的方法、设备、计算机设备和存储介质
CN111738270B (zh) 模型生成方法、装置、设备和可读存储介质
CN112966574A (zh) 人体三维关键点预测方法、装置及电子设备
CN111126249A (zh) 一种大数据和贝叶斯相结合的行人重识别方法及装置
CN115171149A (zh) 基于单目rgb图像回归的实时人体2d/3d骨骼关键点识别方法
CN114641799A (zh) 对象检测设备、方法和系统
CN115761393A (zh) 一种基于模板在线学习的无锚目标跟踪方法
CN109784295B (zh) 视频流特征识别方法、装置、设备及存储介质
CN115063526A (zh) 二维图像的三维重建方法、系统、终端设备及存储介质
CN112329662B (zh) 基于无监督学习的多视角显著性估计方法
CN117636298A (zh) 基于多尺度特征学习的车辆重识别方法、系统及存储介质
CN114792401A (zh) 行为识别模型的训练方法、装置、设备及存储介质
CN117058235A (zh) 跨多种室内场景的视觉定位方法
CN116704554A (zh) 一种基于深度学习的手姿估计与识别的方法、设备及介质
CN111291611A (zh) 一种基于贝叶斯查询扩展的行人重识别方法及装置
CN117011566A (zh) 一种目标检测方法、检测模型训练方法、装置及电子设备
CN110826726B (zh) 目标处理方法、目标处理装置、目标处理设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant