CN111160375B - 三维关键点预测及深度学习模型训练方法、装置及设备 - Google Patents
三维关键点预测及深度学习模型训练方法、装置及设备 Download PDFInfo
- Publication number
- CN111160375B CN111160375B CN201911417835.6A CN201911417835A CN111160375B CN 111160375 B CN111160375 B CN 111160375B CN 201911417835 A CN201911417835 A CN 201911417835A CN 111160375 B CN111160375 B CN 111160375B
- Authority
- CN
- China
- Prior art keywords
- key point
- sample
- dimensional key
- point information
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013136 deep learning model Methods 0.000 title claims abstract description 151
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000012549 training Methods 0.000 title claims abstract description 33
- 238000012098 association analyses Methods 0.000 claims abstract description 38
- 239000011159 matrix material Substances 0.000 claims description 57
- 230000009466 transformation Effects 0.000 claims description 19
- 238000004364 calculation method Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 17
- 238000001514 detection method Methods 0.000 claims description 8
- 238000004458 analytical method Methods 0.000 abstract description 5
- 238000000605 extraction Methods 0.000 description 39
- 230000000875 corresponding effect Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 101150085479 CHS2 gene Proteins 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 101100167214 Emericella nidulans (strain FGSC A4 / ATCC 38163 / CBS 112.46 / NRRL 194 / M139) chsA gene Proteins 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 238000010219 correlation analysis Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 101150026868 CHS1 gene Proteins 0.000 description 1
- 101100495935 Emericella nidulans (strain FGSC A4 / ATCC 38163 / CBS 112.46 / NRRL 194 / M139) chsC gene Proteins 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请实施例提供了三维关键点预测及深度学习模型训练方法、装置及设备，该方法包括：获取包含待检测对象的RGB图像；基于RGB图像，获取待检测对象的二维关键点信息及每个二维关键点对应的热度图像；利用预先训练的深度学习模型，对RGB图像、二维关键点信息及热度图像进行关联分析，得到待检测对象的三维关键点信息的预测值。利用预先训练的深度学习模型对待检测对象的RGB图像、二维关键点信息及热度图像进行关联分析，相比于仅对二维关键点信息进行分析，能够从RGB图像及热度图像中获取除二维关键点信息外的其他用于预测三维关键点信息的数据，从而能够提高三维关键点信息预测的准确性。
Description
技术领域
本申请涉及计算机技术领域，特别是涉及三维关键点预测及深度学习模型训练方法、装置及设备。
背景技术
随着计算机视觉技术的发展，特别是深度学习算法的出现，基于图像的人工智能技术快速崛起。
3D(Dimension，维度)关键点的识别是计算机视觉领域中的一个分支算法，可用于人体意图识别，人体3D重建，人体动作捕捉等应用。随着深度学习算法的发展，2D关键点算法逐渐成熟，但在预测人体的3D关键点任务上，仍存在很多问题。
现有利用2D图像提取3D关键点的技术中，首先对2D图像进行分析获取2D关键点，然后通过将2D关键点的坐标信息输入到预先训练的深度学习算法中去预测3D关键点的位置坐标，但是因为2D关键点本身包含的信息有限，导致3D关键点信息的预测准确性差。
发明内容
本申请实施例的目的在于提供一种三维关键点预测及深度学习模型训练方法、装置及设备，以实现提高3D关键点信息预测的准确度。具体技术方案如下：
第一方面，本申请实施例提供了一种三维关键点预测方法，所述方法包括：
获取包含待检测对象的RGB图像；
基于所述RGB图像，获取所述待检测对象的二维关键点信息及每个二维关键点对应的热度图像；
利用预先训练的深度学习模型，对所述RGB图像、所述二维关键点信息及所述热度图像进行关联分析，得到所述待检测对象的三维关键点信息的预测值。
在一种可能的实施方式中，所述利用预先训练的深度学习模型，对所述RGB图像、所述二维关键点信息及所述热度图像进行关联分析，得到所述待检测对象的三维关键点信息的预测值，包括：
利用所述深度学习模型，对所述RGB图像的矩阵及所述热度图像的矩阵进行拼接，得到目标拼接矩阵；
对所述目标拼接矩阵进行特征提取，得到初始图像特征；
对所述初始图像特征进行维度变换，得到目标图像特征；
对所述二维关键点信息进行分析，得到目标关键点特征；
对所述目标图像特征及所述目标关键点特征进行关联分析，得到所述待检测对象的三维关键点信息的预测值。
第二方面，本申请实施例提供了一种深度学习模型训练方法，所述方法包括：
获取待训练的深度学习模型；
在预设样本集合中选取一组样本图像组，其中，所述样本图像组包括样本RGB图像、样本二维关键点信息、每个样本二维关键点对应的样本热度图像及真值三维关键点信息，所述样本二维关键点信息通过对所述样本RGB图像进行二维关键点检测得到；
利用所述深度学习模型，对当前选取的样本RGB图像、样本热度图像及样本二维关键点信息进行关联分析，得到预测三维关键点信息；
根据所述真值三维关键点信息及所述预设三维关键点信息，计算所述深度学习模型的当前损失；
在所述深度学习模型的当前损失未收敛时，按照所述当前损失，调整所述深度学习模型的参数，并在所述预设样本集合中选取一组样本图像组继续训练，直至所述深度学习模型的损失收敛，得到训练好的深度学习模型。
在一种可能的实施方式中，所述利用所述深度学习模型，对当前选取的样本RGB图像、样本热度图像及样本二维关键点信息进行关联分析，得到预设三维关键点信息，包括：
利用所述深度学习模型，对当前选取的样本RGB图像的矩阵及所述样本热度图像的矩阵进行拼接，得到样本拼接矩阵；
对所述样本拼接矩阵进行特征提取，得到初始样本图像特征；
对所述初始样本图像特征进行维度变换，得到目标样本图像特征；
对所述样本二维关键点信息进行分析，得到目标样本关键点特征；
利用所述深度学习模型，将所述目标样本图像特征及所述目标样本关键点特征进行拼接，得到目标样本拼接特征；
对所述目标样本拼接特征进行分析，得到预测三维关键点信息。
在一种可能的实施方式中，所述根据所述真值三维关键点信息及所述预设三维关键点信息，计算所述深度学习模型的当前损失，包括：
对所述预测三维关键点信息进行投影，得到预测二维关键点信息；
基于所述样本二维关键点信息及所述预测二维关键点信息，计算二维关键点损失；
基于所述真值三维关键点信息及所述预测三维关键点信息，计算三维关键点损失；
基于所述二维关键点损失及所述三维关键点损失，计算所述深度学习模型的当前损失。
在一种可能的实施方式中，所述基于所述二维关键点损失及所述三维关键点损失，计算所述深度学习模型的当前损失，包括：
利用预设二维关键点权重乘以所述二维关键点损失，利用预设三维关键点权重乘以所述三维关键点损失，并对得到的乘积求和，得到所述深度学习模型的当前损失。
第三方面，本申请实施例提供了一种三维关键点预测装置，所述装置包括：
RGB图像获取单元，用于获取包含待检测对象的RGB图像；
待检测数据获取单元，用于基于所述RGB图像，获取所述待检测对象的二维关键点信息及每个二维关键点对应的热度图像；
三维关键点预测单元，用于利用预先训练的深度学习模型，对所述RGB图像、所述二维关键点信息及所述热度图像进行关联分析，得到所述待检测对象的三维关键点信息的预测值。
在一种可能的实施方式中，所述三维关键点预测单元，具体用于：利用所述深度学习模型，对所述RGB图像的矩阵及所述热度图像的矩阵进行拼接，得到目标拼接矩阵；对所述目标拼接矩阵进行特征提取，得到初始图像特征；对所述初始图像特征进行维度变换，得到目标图像特征；对所述二维关键点信息进行分析，得到目标关键点特征；对所述目标图像特征及所述目标关键点特征进行关联分析，得到所述待检测对象的三维关键点信息的预测值。
第四方面，本申请实施例提供了一种深度学习模型训练装置，所述装置包括：
初始模型获取单元，用于获取待训练的深度学习模型；
样本数据获取单元，用于在预设样本集合中选取一组样本图像组，其中，所述样本图像组包括样本RGB图像、样本二维关键点信息、每个样本二维关键点对应的样本热度图像及真值三维关键点信息，所述样本二维关键点信息通过对所述样本RGB图像进行二维关键点检测得到；
关键点信息预测单元，用于利用所述深度学习模型，对当前选取的样本RGB图像、样本热度图像及样本二维关键点信息进行关联分析，得到预测三维关键点信息；
模型损失计算单元，用于根据所述真值三维关键点信息及所述预设三维关键点信息，计算所述深度学习模型的当前损失；
深度学习模型获取单元，用于在所述深度学习模型的当前损失未收敛时，按照所述当前损失，调整所述深度学习模型的参数，并在所述预设样本集合中选取一组样本图像组继续训练，直至所述深度学习模型的损失收敛，得到训练好的深度学习模型。
在一种可能的实施方式中，所述关键点信息预测单元，具体用于：利用所述深度学习模型，对当前选取的样本RGB图像的矩阵及所述样本热度图像的矩阵进行拼接，得到样本拼接矩阵；对所述样本拼接矩阵进行特征提取，得到初始样本图像特征；对所述初始样本图像特征进行维度变换，得到目标样本图像特征；对所述样本二维关键点信息进行分析，得到目标样本关键点特征；利用所述深度学习模型，将所述目标样本图像特征及所述目标样本关键点特征进行拼接，得到目标样本拼接特征；对所述目标样本拼接特征进行分析，得到预测三维关键点信息。
在一种可能的实施方式中，所述模型损失计算单元，包括：
关键点投影子单元，用于对所述预测三维关键点信息进行投影，得到预测二维关键点信息；
二维损失计算子单元，用于基于所述样本二维关键点信息及所述预测二维关键点信息，计算二维关键点损失；
三维损失计算子单元，用于基于所述真值三维关键点信息及所述预测三维关键点信息，计算三维关键点损失；
模型损失计算子单元，用于基于所述二维关键点损失及所述三维关键点损失，计算所述深度学习模型的当前损失。
在一种可能的实施方式中，所述模型损失计算子单元，具体用于：利用预设二维关键点权重乘以所述二维关键点损失，利用预设三维关键点权重乘以所述三维关键点损失，并对得到的乘积求和，得到所述深度学习模型的当前损失。
第五方面，本申请实施例提供了一种电子设备，包括处理器及存储器；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现上述任一所述的三维关键点预测方法。
第六方面，本申请实施例提供了一种电子设备，包括处理器及存储器；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现上述任一所述的深度学习模型训练方法。
在本申请实施例的又一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述任一所述的三维关键点预测方法。
在本申请实施例的又一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述任一所述的度学习模型训练方法。
在本申请实施例的又一方面，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的三维关键点预测方法。
在本申请实施例的又一方面，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的度学习模型训练方法。
本申请实施例提供的三维关键点预测及深度学习模型训练方法、装置及设备，获取包含待检测对象的RGB图像；基于RGB图像，获取待检测对象的二维关键点信息及每个二维关键点对应的热度图像；利用预先训练的深度学习模型，对RGB图像、二维关键点信息及热度图像进行关联分析，得到待检测对象的三维关键点信息的预测值。利用预先训练的深度学习模型对待检测对象的RGB图像、二维关键点信息及热度图像进行关联分析，相比于仅对二维关键点信息进行分析，能够从RGB图像及热度图像中获取除二维关键点信息外的其他用于预测三维关键点信息的数据，从而能够提高三维关键点信息预测的准确性。当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例的三维关键点预测方法的第一种示意图；
图2为本申请实施例的三维关键点预测方法的第二种示意图；
图3为本申请实施例的三维关键点预测方法的第三种示意图；
图4为本申请实施例的预测三维关键点信息的方法的一种示意图；
图5为本申请实施例的深度学习模型训练方法的第一种示意图；
图6为本申请实施例的深度学习模型的一种示意图；
图7为本申请实施例的预测三维关键点信息的方法的另一种示意图；
图8为本申请实施例的计算深度学习模型当前损失的一种示意图；
图9为本申请实施例的深度学习模型训练方法的第二种示意图；
图10为本申请实施例的三维关键点预测装置的第一种示意图；
图11为本申请实施例的深度学习模型训练装置的一种示意图；
图12为本申请实施例的模型损失计算单元的一种示意图；
图13为本申请实施例的电子设备的一种示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了提高预测的3D关键点信息的准确度，本申请实施例提供了一种三维关键点预测方法，该方法包括：获取包含待检测对象的RGB图像；基于RGB图像，获取待检测对象的二维关键点信息及每个二维关键点对应的热度图像；利用预先训练的深度学习模型，对RGB图像、二维关键点信息及热度图像进行关联分析，得到待检测对象的三维关键点信息的预测值。
在本申请实施例中，利用预先训练的深度学习模型对待检测对象的RGB图像、二维关键点信息及热度图像进行关联分析，相比于仅对二维关键点信息进行分析，能够从RGB图像及热度图像中获取除二维关键点信息外的其他用于预测三维关键点信息的数据，从而能够提高三维关键点信息预测的准确性。
下面进行具体说明：
参见图1，图1为本申请实施例的一种三维关键点预测方法的示意图，该方法包括：
S11，获取包含待检测对象的RGB图像。
本申请实施例的三维关键点预测方法可以通过电子设备实现，具体的，该电子设备可以为服务器、个人计算机或智能手机等。
待检测对象为需要预测三维关键点的对象，例如待检测对象可以为人体、动物或车辆等。
S12，基于RGB图像，获取待检测对象的二维关键点信息及每个二维关键点对应的热度图像。
二维关键点信息表示待检测对象的各关键点在RGB图像中的坐标，具体的，二维关键点信息可以为各关键点在RGB图像中的坐标组成的矩阵。利用RGB图像获取二维关键点信息，可以通过相关的2D关键点检测技术实现，例如：可以通过CPM(Convolutional PoseMachines，卷积姿态机)，CPN(Cascaded Pyramid Network，级联金字塔网络)，PoseNet，OpenPose等2D关键点识别技术获取。基于二维关键点信息，生成各二维关键点对应的热度图像。可以利用相关的热度图像转换技术，例如，采用高斯热度图的生成方式，通过各二维关键点的坐标得到热度图像。
S13，利用预先训练的深度学习模型，对RGB图像、二维关键点信息及热度图像进行关联分析，得到待检测对象的三维关键点信息的预测值。
利用预先训练的深度学习模型对RGB图像、二维关键点信息及热度图像进行关联分析，结合RGB图像中待检测对象的光学信息、二维关键点信息中待检测对象的二维关键点信息及热度图像中待检测对象的热度信息，预测待检测对象的三维关键点信息。具体的，待检测对象的三维关键点信息可以为待检测对象关键点的三维坐标，或待检测对象的三维关键点图像等。
在本申请实施例中，利用预先训练的深度学习模型对待检测对象的RGB图像、二维关键点信息及热度图像进行关联分析，相比于仅对二维关键点信息进行分析，能够从RGB图像及热度图像中获取除二维关键点信息外的其他用于预测三维关键点信息的数据，从而能够提高三维关键点信息预测的准确性。
预先训练的深度学习模型的架构可以根据实际情况进行设定，例如该深度学习模型可以包括三个特征提取网络及一个预测网络，三个特征提取网络分别提取RGB图像、二维关键点信息及热度图像的特征，预测网络对三个特征进行融合分析，从而得到待检测对象的三维关键点信息。
考虑到采用三个特征提取网络会导致深度学习模型的复杂度高，数据量及计算量大，本申请实施例中的深度学习模型也可以采用两个特征提取网络，即图像特征提取网络、二维关键点特征提取网络。
在一种可能的实施方式中，参见图2，上述利用预先训练的深度学习模型，对RGB图像、二维关键点信息及热度图像进行关联分析，得到待检测对象的三维关键点信息的预测值，包括：
S131，对RGB图像及热度图像进行关联分析，得到目标图像特征。
预先训练的深度学习模型可以包括图像特征提取网络、二维关键点特征提取网络及三维关键点信息输出网络。图像特征提取网络可以包括卷积层及池化层，利用预先训练的深度学习模型的图像特征提取网络，关联提取RGB图像及热度图像的目标图像特征。
S132，对二维关键点信息进行分析，得到目标关键点特征。
二维关键点特征提取网络具体可以为一个全连接网络，由多个全连接层组成，利用预先训练的深度学习模型的二维关键点特征提取网络，提取二维关键点信息的目标关键点特征。
S133，对目标图像特征及目标关键点特征进行关联分析，得到待检测对象的三维关键点信息的预测值。
三维关键点信息输出网络可以包括多个全连接层，利用预先训练的深度学习模型的三维关键点信息输出网络，基于目标图像特征及目标关键点特征，得到待检测对象的三维关键点信息的预测值。
目标图像特征既包括RGB图像中待检测对象的光学信息，又包括热度图像中待检测对象的热度信息。目标关键点特征包括二维关键点信息中待检测对象的二维关键点信息。结合待检测对象的光学信息、热度信息及二维关键点信息，预测得到待检测对象的三维关键点信息。
在本申请实施例中，利用深度学习模型的图像特征提取网络对RGB图像及热度图像进行关联分析，得到目标图像特征，相比于利用两个特征提取网络分别提取RGB图像及热度图像的图像特征，能够减少计算复杂度，节约计算资源，并且能够减少深度学习模型的复杂程度。
在一种可能的实施方式中，参见图3，上述对上述RGB图像及上述热度图像进行关联分析，得到目标图像特征，包括：
S1311，利用深度学习模型，对RGB图像的矩阵及热度图像的矩阵进行拼接，得到目标拼接矩阵。
深度学习模型的图像特征提取网络包括图像拼模块、特征提取模块及特征变换模块。利用图像特征提取网络的图像拼模块，将RGB图像及热度图像均调整为指定的分辨率大小，指定的分辨率大小与深度学习模型训练过程中使用的样本RGB图像及样本热度图像的分辨率大小相同。当RGB图像与热度图像分辨率大小相同时，可以直接对RGB图像的矩阵及热度图像的矩阵进行拼接，得到目标拼接矩阵。
例如，指定的分辨率大小为W×H，则RGB图像可以表示为W×H×3，热度图像可以表示为W×H×K，其中，3表示RGB图像的通道数为3，即R(Red，红)、G(Green，绿)、B(Blue，蓝)三个通道，K表示热度图像的通道数为K，即二维关键点的个数，则目标拼接矩阵可以为W×H×(3+K)。
S1312，对目标拼接矩阵进行特征提取，得到初始图像特征。
可以利用图像特征提取网络的特征提取模块，提取目标拼接矩阵的初始图像特征。特征提取模块具体可以为特征提取网络，可以由多个卷积层组成。将目标拼接矩阵输入到图像特征提取网络的特征提取模块，特征提取模块输出强化了2D关键点信息的初始图像特征，其维度可以为其中s为特征提取模块的Stride参数，chs1为提取的初始图像特征的通道数。
S1313，对初始图像特征进行维度变换，得到目标图像特征。
可以利用图像特征提取网络的特征变换模块对初始图像特征进行维度变换，得到目标图像特征。特征变换模块具体可以为池化层。将初始图像特征输入到图像特征提取网络的特征变换模块，得到维度为1×1×chs2的目标图像特征，其中，chs2为目标图像特征的通道数。
在一种可能的实施方式中，参见图4，上述对目标图像特征及目标关键点特征进行关联分析，得到待检测对象的三维关键点信息的预测值，包括：
S1331，将目标图像特征及目标关键点特征进行拼接，得到目标拼接特征。
三维关键点信息输出网络可以包括特征拼模块及全连接层模块；目标关键点特征的维度数也可以为1×1×chs2，利用三维关键点信息输出网络的特征拼模块，将目标图像特征及目标关键点特征进行拼接，得到维度为1×1×(chs2×2)的目标拼接特征。
S1332，对目标拼接特征进行处理，得到待检测对象的三维关键点信息的预测值。
全连接层模块可以为一个全连接网络，由多个全连接层组成，利用三维关键点信息输出网络的全连接层模块，对拼接特征进行分析，得到待检测对象的三维关键点信息。
本申请实施例还提供了一种深度学习模型训练方法，参见图5，该方法包括：
S51，获取待训练的深度学习模型。
本申请实施例的深度学习模型训练方法可以通过电子设备实现，具体的，该电子设备可以为服务器或个人电脑等。
深度学习模型可以包括图像特征提取网络、二维关键点特征提取网络及三维关键点信息输出网络；特征提取网络用于对输入的RGB图像及热度图像进行关联分析，输出目标图像特征；二维关键点特征提取网络用于对输入的二维关键点信息进行分析，输出目标关键点特征；三维关键点信息输出网络用于对输入的目标图像特征及目标关键点特征进行关联分析，输出三维关键点信息。
S52，在预设样本集合中选取一组样本图像组，其中，样本图像组包括样本RGB图像、样本二维关键点信息、每个样本二维关键点对应的样本热度图像及真值三维关键点信息，样本二维关键点信息通过对样本RGB图像进行二维关键点检测得到。
样本RGB图像中包括样本对象，样本对象为希望预测三维关键点信息的对象，例如。可以为人体、动物或汽车等。同一样本图像组中样本二维关键点信息是基于该组中的样本RGB图像得到的。具体的，可以根据样本RGB图像利用二维关键点检测技术得到样本二维关键点信息，采用高斯热度图的生成方式得到样本二维关键点信息中的各样本二维关键点对应的样本热度图像。当然样本二维关键点信息也可以由真值三维关键点信息投影得到。
S53，利用深度学习模型，对当前选取的样本RGB图像、样本热度图像及样本二维关键点信息进行关联分析，得到预测三维关键点信息。
每次训练的过程中，深度学习模型中输入的为同一样本图像组中的数据。
S54，根据真值三维关键点信息及预设三维关键点信息，计算深度学习模型的当前损失。
可以利用相关技术中三维关键点损失的计算方法，计算三维关键点损失，例如，可以计算真值三维关键点信息及预测三维关键点信息中各相对应的三维关键点差异的期望，作为三维关键点损失。
S55，在深度学习模型的当前损失未收敛时，按照当前损失，调整深度学习模型的参数，并在预设样本集合中选取一组样本图像组继续训练，直至深度学习模型的损失收敛，得到训练好的深度学习模型。
在深度学习模型的当前损失未收敛时，将当前损失反向传导至网络，以减少当前损失为调整目标，对深度学习模型的参数进行更新，然后选取下一组样本图像组继续训练。具体的，可以通过反向传播算法求当前损失对深度学习模型中各参数的导数，然后通过随机梯度下降算法更新深度学习模型的中各参数。在深度学习模型的损失收敛时，则得到训练好的深度学习模型。
本申请实施例中，给出了深度学习模型的训练方法，利用深度学习模型对样本RGB图像、样本热度图像及样本二维关键点信息进行关联分析，得到预测三维关键点信息，能够从RGB图像及热度图像中获取除二维关键点信息外的其他用于预测三维关键点信息的数据，从而能够提高三维关键点信息预测的准确性。
在一种可能的实施方式中，本申请实施例的深度学习模型具体可以如图6所示，图像特征提取网络(图中为示出)包括图像拼模块、特征提取模块及特征变换模块，二维关键点特征提取网络(图中为示出)包括全连接模块1，三维关键点信息输出网络(图中为示出)包括特征拼模块及全连接层模块2。
图像拼模块用于对RGB图像及热度图像进行拼接，得到拼接矩阵。特征提取模块具体可以为特征提取网络，可以由多个卷积层组成。特征提取模块用于对拼接矩阵进行特征提取，得到初始图像特征。特征变换模块具体可以为池化层用于初始图像特征进行变换，得到目标图像特征。全连接模块1具体可以为全连接网络，由多个全连接层构成，用于对输入的二维关键点信息进行分析，得到并输出关键点特征。特征拼模块用于将目标图像特征及关键点特征进行拼接，得到拼接特征。全连接层模块2具体可以为全连接网络，由多个全连接层构成，用于对拼接特征进行处理，得到并输出上预测三维关键点信息。
在一种可能的实施方式中，参见图7，上述利用深度学习模型，对当前选取的样本RGB图像、样本热度图像及样本二维关键点信息进行关联分析，得到预设三维关键点信息，包括：
S531，利用深度学习模型，对当前选取的样本RGB图像的矩阵及样本热度图像的矩阵进行拼接，得到样本拼接矩阵。
S532，对样本拼接矩阵进行特征提取，得到初始样本图像特征。
S533，对初始样本图像特征进行维度变换，得到目标样本图像特征。
S534，对样本二维关键点信息进行分析，得到目标样本关键点特征。
S535，利用深度学习模型，将目标样本图像特征及目标样本关键点特征进行拼接，得到目标样本拼接特征。
S536，对目标样本拼接特征进行分析，得到预测三维关键点信息。
将当前选取的样本RGB图像及样本热度图像输入到图像特征提取网络中，将当前选取的样本二维关键点信息输入到二维关键点特征提取网络中，得到预测三维关键点信息。
在一种可能的实施方式中，参见图8，上述根据真值三维关键点信息及预设三维关键点信息，计算深度学习模型的当前损失，包括：
S541，对预测三维关键点信息进行投影，得到预测二维关键点信息。
例如图9所示，可以利用样本RGB图像得到样本二维关键点信息，当然样本二维关键点信息也可以由真值三维关键点信息投影得到，然后由样本二维关键点信息可以变换得到样本热度图像。将样本RGB图像、样本热度图像及样本二维关键点信息输入的到深度学习模型中，得到预测三维关键点信息。将预测三维关键点信息进行二维投影，例如，提取预测三维关键点信息中各关键点的X、Y坐标，得到预测二维关键点信息。
S542，基于样本二维关键点信息及预测二维关键点信息，计算二维关键点损失。
样本二维关键点信息中二维关键点信息与预测二维关键点信息之间的差异越大，表示二维关键点损失越大。例如图9所示，可以利用相关技术中二维关键点损失的计算方法，计算二维关键点损失，例如，可以计算样本二维关键点信息各关键点与预测二维关键点信息中相应关键点差异的期望，作为二维关键点损失。
S543基于真值三维关键点信息及预测三维关键点信息，计算三维关键点损失。
真值三维关键点信息与预测三维关键点信息之间的差异越大三维关键点损失越大。例如图9所示，可以利用相关技术中三维关键点损失的计算方法，计算三维关键点损失，例如，可以计算真值三维关键点信息及预测三维关键点信息中各相对应的三维关键点差异的期望，作为三维关键点损失。
S544，基于二维关键点损失及三维关键点损失，计算深度学习模型的当前损失。
深度学习模型的当前损失由例如二维关键点损失及三维关键点损失共同表示，在计算得到深度学习模型的当前损失后，例如图9所示，将深度学习模型的当前损失反向传导至网络，以减少当前损失为调整目标，对深度学习模型参数的进行更新。
在本申请实施例中，结合二维关键点损失及三维关键点损失得到当前损失，利用当前损失指导深度学习模型的参数调整，能够增强相机视角的推理能，让用户感受更直观，能够减少Z轴预测对X、Y轴结果的影响。
在一种可能的实施方式中，上述基于二维关键点损失及三维关键点损失，计算深度学习模型的当前损失，包括：
利用预设二维关键点权重乘以二维关键点损失，利用预设三维关键点权重乘以三维关键点损失，并对得到的乘积求和，得到深度学习模型的当前损失。
例如，当前损失可以表示为Losstotal＝α×Loss2d+β×Loss3d，其中，α及β分别为预设二维关键点权重及预设三维关键点权重，Loss2d为二维关键点损失，Loss3d为三维关键点损失，Losstotal为当前损失。
可选的，预设二维关键点权重大于预设三维关键点权重，即α>β。经过发明人的研究发现，在预设二维关键点权重大于预设三维关键点权重时，预测三维关键点信息转化为三维关键点图像后，其视觉效果与真实视觉效果更加接近。
本申请实施例还提供了一种三维关键点预测装置，参见图10，该装置包括：
RGB图像获取单元701，用于获取包含待检测对象的RGB图像；
待检测数据获取单元702，用于基于上述RGB图像，获取上述待检测对象的二维关键点信息及每个二维关键点对应的热度图像；
三维关键点预测单元703，用于利用预先训练的深度学习模型，对上述RGB图像、上述二维关键点信息及上述热度图像进行关联分析，得到上述待检测对象的三维关键点信息的预测值。
在一种可能的实施方式中，上述三维关键点预测单元703，具体用于：利用上述深度学习模型，对上述RGB图像的矩阵及上述热度图像的矩阵进行拼接，得到目标拼接矩阵；对上述目标拼接矩阵进行特征提取，得到初始图像特征；对上述初始图像特征进行维度变换，得到目标图像特征；对上述二维关键点信息进行分析，得到目标关键点特征；对上述目标图像特征及上述目标关键点特征进行关联分析，得到上述待检测对象的三维关键点信息的预测值。
本申请实施例还提供了一种深度学习模型训练装置，参见图11，该装置包括：
初始模型获取单元801，用于获取待训练的深度学习模型；
样本数据获取单元802，用于在预设样本集合中选取一组样本图像组，其中，上述样本图像组包括样本RGB图像、样本二维关键点信息、每个样本二维关键点对应的样本热度图像及真值三维关键点信息，上述样本二维关键点信息通过对上述样本RGB图像进行二维关键点检测得到；
关键点信息预测单元803，用于利用上述深度学习模型，对当前选取的样本RGB图像、样本热度图像及样本二维关键点信息进行关联分析，得到预测三维关键点信息；
模型损失计算单元804，用于根据上述真值三维关键点信息及上述预设三维关键点信息，计算上述深度学习模型的当前损失；
深度学习模型获取单元805，用于在上述深度学习模型的当前损失未收敛时，按照上述当前损失，调整上述深度学习模型的参数，并在上述预设样本集合中选取一组样本图像组继续训练，直至上述深度学习模型的损失收敛，得到训练好的深度学习模型。
在一种可能的实施方式中，上述关键点信息预测单元803，具体用于：利用上述深度学习模型，对当前选取的样本RGB图像的矩阵及上述样本热度图像的矩阵进行拼接，得到样本拼接矩阵；对上述样本拼接矩阵进行特征提取，得到初始样本图像特征；对上述初始样本图像特征进行维度变换，得到目标样本图像特征；对上述样本二维关键点信息进行分析，得到目标样本关键点特征；利用上述深度学习模型，将上述目标样本图像特征及上述目标样本关键点特征进行拼接，得到目标样本拼接特征；对上述目标样本拼接特征进行分析，得到预测三维关键点信息。
在一种可能的实施方式中，参见图12，上述模型损失计算单元804，包括：
关键点投影子单元8041，用于对上述预测三维关键点信息进行投影，得到预测二维关键点信息；
二维损失计算子单元8042，用于基于上述样本二维关键点信息及上述预测二维关键点信息，计算二维关键点损失；
三维损失计算子单元8043，用于基于上述真值三维关键点信息及上述预测三维关键点信息，计算三维关键点损失；
模型损失计算子单元8044，用于基于上述二维关键点损失及上述三维关键点损失，计算上述深度学习模型的当前损失。
在一种可能的实施方式中，上述模型损失计算子单元8044，具体用于：利用预设二维关键点权重乘以上述二维关键点损失，利用预设三维关键点权重乘以上述三维关键点损失，并对得到的乘积求和，得到上述深度学习模型的当前损失。
本申请实施例还提供了一种电子设备，包括：处理器及存储器；上述存储器，用于存放计算机程序；上述处理器用于执行上述存储器存放的计算机程序时，实现如下步骤：
获取包含待检测对象的RGB图像；基于RGB图像，获取待检测对象的二维关键点信息及每个二维关键点对应的热度图像；利用预先训练的深度学习模型，对RGB图像、二维关键点信息及热度图像进行关联分析，得到待检测对象的三维关键点信息的预测值。
可选的，参见图13，本申请实施例的电子设备还包括通信接口902和通信总线904，其中，处理器901，通信接口902，存储器903通过通信总线904完成相互间的通信。
可选的，上述处理器用于执行上述存储器存放的计算机程序时，还能够实现上述任一三维关键点预测方法。
本申请实施例还提供了一种电子设备，包括：处理器及存储器；上述存储器，用于存放计算机程序；上述处理器用于执行上述存储器存放的计算机程序时，实现上述任一深度学习模型训练方法。
上述电子设备提到的通信总线可以是PCI(Peripheral ComponentInterconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括RAM(Random Access Memory，随机存取存储器)，也可以包括NVM(Non-Volatile Memory，非易失性存储器)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括CPU(Central Processing Unit，中央处理器)、NP(Network Processor，网络处理器)等；还可以是DSP(Digital Signal Processing，数字信号处理器)、ASIC(Application Specific Integrated Circuit，专用集成电路)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本申请实施例还提供了一种计算机可读存储介质，上述计算机可读存储介质内存储有计算机程序，上述计算机程序被处理器执行时实现上述任一三维关键点预测方法。
本申请实施例还提供了一种计算机可读存储介质，上述计算机可读存储介质内存储有计算机程序，上述计算机程序被处理器执行时实现上述任一深度学习模型训练方法。
本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的三维关键点预测方法。
本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的度学习模型训练方法。
需要说明的是，在本文中，各个可选方案中的技术特征只要不矛盾均可组合来形成方案，这些方案均在本申请公开的范围内。诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备及存储介质的实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。
Claims (8)
1.一种三维关键点预测方法，其特征在于，所述方法包括：
获取包含待检测对象的RGB图像；
基于所述RGB图像，获取所述待检测对象的二维关键点信息及每个二维关键点对应的热度图像；
利用预先训练的深度学习模型，对所述RGB图像、所述二维关键点信息及所述热度图像进行关联分析，得到所述待检测对象的三维关键点信息的预测值；
所述利用预先训练的深度学习模型，对所述RGB图像、所述二维关键点信息及所述热度图像进行关联分析，得到所述待检测对象的三维关键点信息的预测值，包括：
利用所述深度学习模型，对所述RGB图像的矩阵及所述热度图像的矩阵进行拼接，得到目标拼接矩阵；
对所述目标拼接矩阵进行特征提取，得到初始图像特征；
对所述初始图像特征进行维度变换，得到目标图像特征；
对所述二维关键点信息进行分析，得到目标关键点特征；
对所述目标图像特征及所述目标关键点特征进行关联分析，得到所述待检测对象的三维关键点信息的预测值。
2.一种深度学习模型训练方法，其特征在于，所述方法包括：
获取待训练的深度学习模型；
在预设样本集合中选取一组样本图像组，其中，所述样本图像组包括样本RGB图像、样本二维关键点信息、每个样本二维关键点对应的样本热度图像及真值三维关键点信息，所述样本二维关键点信息通过对所述样本RGB图像进行二维关键点检测得到；
利用所述深度学习模型，对当前选取的样本RGB图像、样本热度图像及样本二维关键点信息进行关联分析，得到预测三维关键点信息；
根据所述真值三维关键点信息及所述预测三维关键点信息，计算所述深度学习模型的当前损失；
在所述深度学习模型的当前损失未收敛时，按照所述当前损失，调整所述深度学习模型的参数，并在所述预设样本集合中选取一组样本图像组继续训练，直至所述深度学习模型的损失收敛，得到训练好的深度学习模型；
所述利用所述深度学习模型，对当前选取的样本RGB图像、样本热度图像及样本二维关键点信息进行关联分析，得到预测三维关键点信息，包括：
利用所述深度学习模型，对当前选取的样本RGB图像的矩阵及所述样本热度图像的矩阵进行拼接，得到样本拼接矩阵；
对所述样本拼接矩阵进行特征提取，得到初始样本图像特征；
对所述初始样本图像特征进行维度变换，得到目标样本图像特征；
对所述样本二维关键点信息进行分析，得到目标样本关键点特征；
利用所述深度学习模型，将所述目标样本图像特征及所述目标样本关键点特征进行拼接，得到目标样本拼接特征；
对所述目标样本拼接特征进行分析，得到预测三维关键点信息。
3.根据权利要求2所述的方法，其特征在于，所述根据所述真值三维关键点信息及所述预测三维关键点信息，计算所述深度学习模型的当前损失，包括：
对所述预测三维关键点信息进行投影，得到预测二维关键点信息；
基于所述样本二维关键点信息及所述预测二维关键点信息，计算二维关键点损失；
基于所述真值三维关键点信息及所述预测三维关键点信息，计算三维关键点损失；
基于所述二维关键点损失及所述三维关键点损失，计算所述深度学习模型的当前损失。
4.根据权利要求3所述的方法，其特征在于，所述基于所述二维关键点损失及所述三维关键点损失，计算所述深度学习模型的当前损失，包括：
利用预设二维关键点权重乘以所述二维关键点损失，利用预设三维关键点权重乘以所述三维关键点损失，并对得到的乘积求和，得到所述深度学习模型的当前损失。
5.一种三维关键点预测装置，其特征在于，所述装置包括：
RGB图像获取单元，用于获取包含待检测对象的RGB图像；
待检测数据获取单元，用于基于所述RGB图像，获取所述待检测对象的二维关键点信息及每个二维关键点对应的热度图像；
三维关键点预测单元，用于利用预先训练的深度学习模型，对所述RGB图像、所述二维关键点信息及所述热度图像进行关联分析，得到所述待检测对象的三维关键点信息的预测值；
所述三维关键点预测单元，具体用于：利用所述深度学习模型，对所述RGB图像的矩阵及所述热度图像的矩阵进行拼接，得到目标拼接矩阵；对所述目标拼接矩阵进行特征提取，得到初始图像特征；对所述初始图像特征进行维度变换，得到目标图像特征；对所述二维关键点信息进行分析，得到目标关键点特征；对所述目标图像特征及所述目标关键点特征进行关联分析，得到所述待检测对象的三维关键点信息的预测值。
6.一种深度学习模型训练装置，其特征在于，所述装置包括：
初始模型获取单元，用于获取待训练的深度学习模型；
样本数据获取单元，用于在预设样本集合中选取一组样本图像组，其中，所述样本图像组包括样本RGB图像、样本二维关键点信息、每个样本二维关键点对应的样本热度图像及真值三维关键点信息，所述样本二维关键点信息通过对所述样本RGB图像进行二维关键点检测得到；
关键点信息预测单元，用于利用所述深度学习模型，对当前选取的样本RGB图像、样本热度图像及样本二维关键点信息进行关联分析，得到预测三维关键点信息；
模型损失计算单元，用于根据所述真值三维关键点信息及所述预测三维关键点信息，计算所述深度学习模型的当前损失；
深度学习模型获取单元，用于在所述深度学习模型的当前损失未收敛时，按照所述当前损失，调整所述深度学习模型的参数，并在所述预设样本集合中选取一组样本图像组继续训练，直至所述深度学习模型的损失收敛，得到训练好的深度学习模型；
所述关键点信息预测单元，具体用于：利用所述深度学习模型，对当前选取的样本RGB图像的矩阵及所述样本热度图像的矩阵进行拼接，得到样本拼接矩阵；对所述样本拼接矩阵进行特征提取，得到初始样本图像特征；对所述初始样本图像特征进行维度变换，得到目标样本图像特征；对所述样本二维关键点信息进行分析，得到目标样本关键点特征；利用所述深度学习模型，将所述目标样本图像特征及所述目标样本关键点特征进行拼接，得到目标样本拼接特征；对所述目标样本拼接特征进行分析，得到预测三维关键点信息。
7.一种电子设备，其特征在于，包括处理器及存储器；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现权利要求1所述的三维关键点预测方法。
8.一种电子设备，其特征在于，包括处理器及存储器；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现权利要求2-4任一所述的深度学习模型训练方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911417835.6A CN111160375B (zh) | 2019-12-31 | 2019-12-31 | 三维关键点预测及深度学习模型训练方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911417835.6A CN111160375B (zh) | 2019-12-31 | 2019-12-31 | 三维关键点预测及深度学习模型训练方法、装置及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111160375A CN111160375A (zh) | 2020-05-15 |
| CN111160375B true CN111160375B (zh) | 2024-01-23 |
Family
ID=70560411
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911417835.6A Active CN111160375B (zh) | 2019-12-31 | 2019-12-31 | 三维关键点预测及深度学习模型训练方法、装置及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111160375B (zh) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111680596B (zh) * | 2020-05-29 | 2023-10-13 | 北京百度网讯科技有限公司 | 基于深度学习的定位真值校验方法、装置、设备及介质 |
| CN111797745A (zh) * | 2020-06-28 | 2020-10-20 | 北京百度网讯科技有限公司 | 一种物体检测模型的训练及预测方法、装置、设备及介质 |
| CN111881804B (zh) * | 2020-07-22 | 2023-07-28 | 汇纳科技股份有限公司 | 基于联合训练的姿态估计模型训练方法、系统、介质及终端 |
| CN112069994A (zh) * | 2020-09-04 | 2020-12-11 | 北京百度网讯科技有限公司 | 信息预测方法、装置、设备及存储介质 |
| CN112163480B (zh) * | 2020-09-16 | 2022-09-13 | 北京邮电大学 | 一种行为识别方法及装置 |
| CN112270669B (zh) * | 2020-11-09 | 2024-03-01 | 北京百度网讯科技有限公司 | 人体3d关键点检测方法、模型训练方法及相关装置 |
| CN112527113A (zh) * | 2020-12-09 | 2021-03-19 | 北京地平线信息技术有限公司 | 手势识别及手势识别网络的训练方法和装置、介质和设备 |
| CN113421182B (zh) * | 2021-05-20 | 2023-11-28 | 北京达佳互联信息技术有限公司 | 三维重建方法、装置、电子设备及存储介质 |
| CN113392795B (zh) * | 2021-06-29 | 2023-07-04 | 北京百度网讯科技有限公司 | 联合检测模型训练、联合检测方法、装置、设备及介质 |
| CN114066986B (zh) * | 2022-01-11 | 2022-04-19 | 南昌虚拟现实研究院股份有限公司 | 三维坐标的确定方法、装置、电子设备及存储介质 |
| CN115223267A (zh) * | 2022-07-18 | 2022-10-21 | 徐州医科大学 | 基于深度学习的3d打印构件表面粗糙度预测方法和装置 |
| CN115661577B (zh) * | 2022-11-01 | 2024-04-16 | 吉咖智能机器人有限公司 | 用于对象检测的方法、设备和计算机可读存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107992858A (zh) * | 2017-12-25 | 2018-05-04 | 深圳市唯特视科技有限公司 | 一种基于单一rgb帧的实时三维手势估计方法 |
| CN108830150A (zh) * | 2018-05-07 | 2018-11-16 | 山东师范大学 | 一种基于三维人体姿态估计方法及装置 |
| CN109241910A (zh) * | 2018-09-07 | 2019-01-18 | 高新兴科技集团股份有限公司 | 一种基于深度多特征融合级联回归的人脸关键点定位方法 |
| CN109508681A (zh) * | 2018-11-20 | 2019-03-22 | 北京京东尚科信息技术有限公司 | 生成人体关键点检测模型的方法和装置 |
| JP2019096113A (ja) * | 2017-11-24 | 2019-06-20 | Kddi株式会社 | キーポイントデータに関する加工装置、方法及びプログラム |
| DE102019106123A1 (de) * | 2018-03-12 | 2019-09-12 | Nvidia Corporation | Dreidimensionale (3D) Posenschätzung von Seiten einer monokularen Kamera |
| CN110348524A (zh) * | 2019-07-15 | 2019-10-18 | 深圳市商汤科技有限公司 | 一种人体关键点检测方法及装置、电子设备和存储介质 |
| CN110516643A (zh) * | 2019-08-30 | 2019-11-29 | 电子科技大学 | 一种基于联合热力图的人脸3d关键点检测方法及系统 |
-
2019
- 2019-12-31 CN CN201911417835.6A patent/CN111160375B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019096113A (ja) * | 2017-11-24 | 2019-06-20 | Kddi株式会社 | キーポイントデータに関する加工装置、方法及びプログラム |
| CN107992858A (zh) * | 2017-12-25 | 2018-05-04 | 深圳市唯特视科技有限公司 | 一种基于单一rgb帧的实时三维手势估计方法 |
| DE102019106123A1 (de) * | 2018-03-12 | 2019-09-12 | Nvidia Corporation | Dreidimensionale (3D) Posenschätzung von Seiten einer monokularen Kamera |
| CN108830150A (zh) * | 2018-05-07 | 2018-11-16 | 山东师范大学 | 一种基于三维人体姿态估计方法及装置 |
| CN109241910A (zh) * | 2018-09-07 | 2019-01-18 | 高新兴科技集团股份有限公司 | 一种基于深度多特征融合级联回归的人脸关键点定位方法 |
| CN109508681A (zh) * | 2018-11-20 | 2019-03-22 | 北京京东尚科信息技术有限公司 | 生成人体关键点检测模型的方法和装置 |
| CN110348524A (zh) * | 2019-07-15 | 2019-10-18 | 深圳市商汤科技有限公司 | 一种人体关键点检测方法及装置、电子设备和存储介质 |
| CN110516643A (zh) * | 2019-08-30 | 2019-11-29 | 电子科技大学 | 一种基于联合热力图的人脸3d关键点检测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111160375A (zh) | 2020-05-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111160375B (zh) | 三维关键点预测及深度学习模型训练方法、装置及设备 | |
| CN111179419B (zh) | 三维关键点预测及深度学习模型训练方法、装置及设备 | |
| CN110473141B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN111950453B (zh) | 一种基于选择性注意力机制的任意形状文本识别方法 | |
| CN109740534B (zh) | 图像处理方法、装置及处理设备 | |
| CN108960211B (zh) | 一种多目标人体姿态检测方法以及系统 | |
| CN109902548B (zh) | 一种对象属性识别方法、装置、计算设备及系统 | |
| CN112446270A (zh) | 行人再识别网络的训练方法、行人再识别方法和装置 | |
| CN109871821B (zh) | 自适应网络的行人重识别方法、装置、设备及存储介质 | |
| CN108875487B (zh) | 行人重识别网络的训练及基于其的行人重识别 | |
| CN111797983A (zh) | 一种神经网络构建方法以及装置 | |
| CN113869282B (zh) | 人脸识别方法、超分模型训练方法及相关设备 | |
| CN113326930A (zh) | 数据处理方法、神经网络的训练方法及相关装置、设备 | |
| CN111709268B (zh) | 一种深度图像中的基于人手结构指导的人手姿态估计方法和装置 | |
| CN113221645B (zh) | 目标模型训练方法、人脸图像生成方法以及相关装置 | |
| CN116958687A (zh) | 一种基于改进detr的面向无人机的小目标检测方法及装置 | |
| CN113936138A (zh) | 基于多源图像融合的目标检测方法、系统、设备、介质 | |
| CN117636298A (zh) | 基于多尺度特征学习的车辆重识别方法、系统及存储介质 | |
| CN112699809B (zh) | 痘痘类别识别方法、装置、计算机设备及存储介质 | |
| CN114820755A (zh) | 一种深度图估计方法及系统 | |
| WO2020224244A1 (zh) | 一种景深图获取方法及装置 | |
| CN112016571A (zh) | 一种基于注意力机制的特征提取方法、装置及电子设备 | |
| KR102382883B1 (ko) | 3차원 손 자세 인식 장치 및 방법 | |
| CN115909255B (zh) | 图像生成、图像分割方法、装置、设备、车载终端及介质 | |
| CN114549591B (zh) | 时空域行为的检测和跟踪方法、装置、存储介质及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |