CN111985414B - 一种关节点位置确定方法及装置 - Google Patents

一种关节点位置确定方法及装置 Download PDF

Info

Publication number
CN111985414B
CN111985414B CN202010853713.8A CN202010853713A CN111985414B CN 111985414 B CN111985414 B CN 111985414B CN 202010853713 A CN202010853713 A CN 202010853713A CN 111985414 B CN111985414 B CN 111985414B
Authority
CN
China
Prior art keywords
detection
joint point
detection module
image
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010853713.8A
Other languages
English (en)
Other versions
CN111985414A (zh
Inventor
何翔
刘雨航
刘宇
胡海
覃小春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Digital Sky Technology Co ltd
Original Assignee
Chengdu Digital Sky Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Digital Sky Technology Co ltd filed Critical Chengdu Digital Sky Technology Co ltd
Priority to CN202010853713.8A priority Critical patent/CN111985414B/zh
Publication of CN111985414A publication Critical patent/CN111985414A/zh
Application granted granted Critical
Publication of CN111985414B publication Critical patent/CN111985414B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种关节点位置确定方法及装置，包括：获取目标图像；利用预先训练的关节点检测模型中的特征提取模块对目标图像进行特征提取，获得特征图；利用预先训练的关节点检测模型中的第一检测模块对特征图进行关节点检测，获得第一检测模块输出的中间图像，并将中间图像和特征图输入到第二检测模块，获得目标图像中多个关节点的位置信息。在上述方案中，关节点检测模型中的检测模块采用轻量级卷积网络结构，实现对关节点位置的检测，从而降低了检测过程中的参数量以及计算量，提高了关节点位置检测的效率。此外，将第一检测模块输出的中间图像与特征提取得到的特征图同时输入第二检测模块进行检测，可以提高检测的准确性。

Description

一种关节点位置确定方法及装置
技术领域
本申请涉及图像识别领域，具体而言，涉及一种关节点位置确定方法及装置。
背景技术
传统手势关节点获取方法，多数基于RGB-D相机，常见的方法有生成方法和判别方法。但是生成方法需要创建大量的手势，且存在初始化复杂、容易陷入局部最优，精度有限；判别方法在自我遮挡或快速移动时会产生大量错误，难以广泛应用。
最近几年，基于深度神经网络的手势关节点获取方法发展迅速，但是，现有的基于深度神经网络的手势关节点获取方法采用的卷积神经网络结构中，存在大量卷积核尺寸较大的卷积结构，因此，其参数量和计算量均较大，导致手势关节点获取效率较低。
发明内容
本申请实施例的目的在于提供一种关节点位置确定方法及装置，用以解决参数量和计算量较大以及手势关节点获取效率较低的技术问题。
为了实现上述目的，本申请实施例所提供的技术方案如下所示：
第一方面，本申请实施例提供一种关节点位置确定方法，包括：获取目标图像；利用预先训练的关节点检测模型中的特征提取模块对所述目标图像进行特征提取，获得特征图；利用所述预先训练的关节点检测模型中的第一检测模块对所述特征图进行关节点检测，获得所述第一检测模块输出的中间图像，并将所述中间图像和所述特征图输入到第二检测模块，获得所述目标图像中多个关节点的位置信息；其中，所述中间图像包括多个关节点热力图，每个关节点热力图与一个关节点对应，所述第一检测模块以及每个所述第二检测模块均包括多个检测单元、一个第一卷积层以及一个第二卷积层，多个所述检测单元、所述第一卷积层以及所述第二卷积层依次连接。在上述方案中，关节点检测模型中的第一检测模块以及第二检测模块采用轻量级卷积网络结构，即利用卷积核尺寸较小的卷积结构，实现对关节点位置的检测，从而降低了检测过程中的参数量以及计算量，提高了关节点位置检测的效率。此外，将第一检测模块输出的中间图像与特征提取得到的特征图同时输入第二检测模块进行检测，可以提高检测的准确性。
在本申请的可选实施例中，所述关节点检测模型包括多个第二检测模块，每一所述第二检测模块的输入包括所述特征图和上一模块输出的中间图像。在上述方案中，关节点检测模型中可以包括多个第二检测模块，以通过多次检测，提高检测的准确性。
在本申请的可选实施例中，所述中间图像还包括轮廓热力图。在上述方案中，第一检测模块以及第二检测模块输出的中间图像不仅包括多个关节点热力图，还包括轮廓热力图，从而实现对关节点位置检测过程增加轮廓约束条件，从而增加检测过程的抗干扰能力。
在本申请的可选实施例中，所述关节点检测模型还包括第三检测模块；所述将所述中间图像和所述特征图输入到第二检测模块，获得所述目标图像中多个关节点的位置信息，包括：将所述中间图像和所述特征图输入到所述第二检测模块，获得所述第二检测模块输出的中间图像；将所述第二检测模块输出的中间图像和所述特征图输入到所述第三检测模块，获得所述目标图像中多个关节点的位置信息。在上述方案中，关节点检测模型还包括第三检测模块，将第二检测模块输出的中间图像以及特征提取得到的特征图输入第三检测模块进行关节点检测，以获得关节点的位置信息。
在本申请的可选实施例中，每个所述检测单元包括：多个残差单元连接构成，每个残差单元包括一个三乘一卷积层以及一个一乘三卷积层。在上述方案中，检测单元可以利用卷积核尺寸较小的卷积结构，实现对关节点位置的检测，从而降低了检测过程中的参数量以及计算量，提高了关节点位置检测的效率。
在本申请的可选实施例中，在所述获取目标图像之前，所述方法还包括：获取多个第一样本图像；其中，所述第一样本图像包括第一样本图像中多个关节点的实际位置信息；将多个所述第一样本图像输入预先建立的神经网络模型中，并输出每个所述第一样本图像对应的多个关节点的预测位置信息；根据所述预测位置信息以及实际位置信息计算均方误差损失；根据所述均方误差损失调整所述预先建立的神经网络模型的参数，以获得所述关节点检测模型。在上述方案中，可以通过计算预测位置信息以及实际位置信息之间的均方误差损失，实现对预先建立的神经网络模型进行训练的过程，从而得到检测准确性较高的预先训练的关节点检测模型。
在本申请的可选实施例中，在所述获取目标图像之前，所述方法还包括：获取多个第二样本图像；其中，所述第二样本图像包括第二样本图像中多个关节点的实际位置信息以及多个真实轮廓热力图；将多个所述第二样本图像输入预先建立的神经网络模型中，并输出每个所述第二样本图像对应的多个关节点的预测位置信息以及多个预测轮廓热力图；根据所述预测位置信息以及实际位置信息计算均方误差损失以及根据所述真实轮廓热力图以及所述预测轮廓热力图计算生成式对抗网络损失；根据所述均方误差损失以及所述生成式对抗网络损失调整所述预先建立的神经网络模型的参数，以获得所述关节点检测模型。在上述方案中，可以通过计算预测位置信息以及实际位置信息之间的均方误差损失以及真实轮廓热力图以及预测轮廓热力图之间的生成式对抗网络损失，实现对预先建立的神经网络模型进行训练的过程，从而得到检测准确性较高的预先训练的关节点检测模型。
在本申请的可选实施例中，所述获取多个第二样本图像，包括：获取手部图像；根据所述手部图像确定每根手指对应的二值热力图；对单根手指对应的所述二值热力图进行距离变换，得到距离映射图；利用高斯表达式将所述距离映射图转换为单根手指对应的轮廓热力图；融合每根手指对应的所述轮廓热力图，得到所述真实轮廓热力图。在上述方案中，以单根手指关节点及手掌根点按顺序连接的连接线为参照，以高斯函数为表示方法，生成五条轮廓线作为约束条件，得到真实轮廓热力图，以对预先建立的神经网络模型进行训练。
第二方面，本申请实施例提供一种关节点位置确定装置，包括：第一获取模块，用于获取目标图像；提取模块，用于利用预先训练的关节点检测模型中的特征提取模块对所述目标图像进行特征提取，获得特征图；检测模块，用于利用所述预先训练的关节点检测模型中的第一检测模块对所述特征图进行关节点检测，获得所述第一检测模块输出的中间图像，并将所述中间图像和所述特征图输入到第二检测模块，获得所述目标图像中多个关节点的位置信息；其中，所述中间图像包括多个关节点热力图，每个关节点热力图与一个关节点对应，所述第一检测模块以及每个所述第二检测模块均包括多个检测单元、一个第一卷积层以及一个第二卷积层，多个所述检测单元、所述第一卷积层以及所述第二卷积层依次连接。在上述方案中，关节点检测模型中的第一检测模块以及第二检测模块采用轻量级卷积网络结构，即利用卷积核尺寸较小的卷积结构，实现对关节点位置的检测，从而降低了检测过程中的参数量以及计算量，提高了关节点位置检测的效率。此外，将第一检测模块输出的中间图像与特征提取得到的特征图同时输入第二检测模块进行检测，可以提高检测的准确性。
在本申请的可选实施例中，所述关节点检测模型包括多个第二检测模块，每一所述第二检测模块的输入包括所述特征图和上一模块输出的中间图像。在上述方案中，关节点检测模型中可以包括多个第二检测模块，以通过多次检测，提高检测的准确性。
在本申请的可选实施例中，所述中间图像还包括轮廓热力图。在上述方案中，第一检测模块以及第二检测模块输出的中间图像不仅包括多个关节点热力图，还包括轮廓热力图，从而实现对关节点位置检测过程增加轮廓约束条件，从而增加检测过程的抗干扰能力。
在本申请的可选实施例中，所述关节点检测模型还包括第三检测模块；所述检测模块还用于：将所述中间图像和所述特征图输入到所述第二检测模块，获得所述第二检测模块输出的中间图像；将所述第二检测模块输出的中间图像和所述特征图输入到所述第三检测模块，获得所述目标图像中多个关节点的位置信息。在上述方案中，关节点检测模型还包括第三检测模块，将第二检测模块输出的中间图像以及特征提取得到的特征图输入第三检测模块进行关节点检测，以获得关节点的位置信息。
在本申请的可选实施例中，每个所述检测单元包括：多个残差单元连接构成，每个残差单元包括一个三乘一卷积层以及一个一乘三卷积层。在上述方案中，检测单元可以利用卷积核尺寸较小的卷积结构，实现对关节点位置的检测，从而降低了检测过程中的参数量以及计算量，提高了关节点位置检测的效率。
在本申请的可选实施例中，所述装置还包括：第二获取模块，用于获取多个第一样本图像；其中，所述第一样本图像包括第一样本图像中多个关节点的实际位置信息；第一输入输出模块，用于将多个所述第一样本图像输入预先建立的神经网络模型中，并输出每个所述第一样本图像对应的多个关节点的预测位置信息；第一计算模块，用于根据所述预测位置信息以及实际位置信息计算均方误差损失；第一调整模块，用于根据所述均方误差损失调整所述预先建立的神经网络模型的参数，以获得所述关节点检测模型。在上述方案中，可以通过计算预测位置信息以及实际位置信息之间的均方误差损失，实现对预先建立的神经网络模型进行训练的过程，从而得到检测准确性较高的预先训练的关节点检测模型。
在本申请的可选实施例中，所述装置还包括：第三获取模块，用于获取多个第二样本图像；其中，所述第二样本图像包括第二样本图像中多个关节点的实际位置信息以及多个真实轮廓热力图；第二输入输出模块，用于将多个所述第二样本图像输入预先建立的神经网络模型中，并输出每个所述第二样本图像对应的多个关节点的预测位置信息以及多个预测轮廓热力图；第二计算模块，用于根据所述预测位置信息以及实际位置信息计算均方误差损失以及根据所述真实轮廓热力图以及所述预测轮廓热力图计算生成式对抗网络损失；第二调整模块，用于根据所述均方误差损失以及所述生成式对抗网络损失调整所述预先建立的神经网络模型的参数，以获得所述关节点检测模型。在上述方案中，可以通过计算预测位置信息以及实际位置信息之间的均方误差损失以及真实轮廓热力图以及预测轮廓热力图之间的生成式对抗网络损失，实现对预先建立的神经网络模型进行训练的过程，从而得到检测准确性较高的预先训练的关节点检测模型。
在本申请的可选实施例中，所述第三获取模块还用于：获取手部图像；根据所述手部图像确定每根手指对应的二值热力图；对单根手指对应的所述二值热力图进行距离变换，得到距离映射图；利用高斯表达式将所述距离映射图转换为单根手指对应的轮廓热力图；融合每根手指对应的所述轮廓热力图，得到所述真实轮廓热力图。在上述方案中，以单根手指关节点及手掌根点按顺序连接的连接线为参照，以高斯函数为表示方法，生成五条轮廓线作为约束条件，得到真实轮廓热力图，以对预先建立的神经网络模型进行训练。
第三方面，本申请实施例提供一种电子设备，包括：处理器、存储器和总线；所述处理器和所述存储器通过所述总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如第一方面中的关节点位置确定方法。
第四方面，本申请实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如第一方面中的关节点位置确定方法。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举本申请实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的手势关节点示意图；
图2为本申请实施例提供的一种关节点位置确定方法的流程图；
图3为本申请实施例提供的一种关节点检测模型的结构框图；
图4为本申请实施例提供的第一检测模块的结构示意图；
图5为本申请实施例提供的检测单元的结构示意图；
图6为本申请实施例提供的一种关节点检测模型检测过程的示意图；
图7为本申请实施例提供的步骤S203的具体实施方式的流程图；
图8为本申请实施例提供的另一种关节点检测模型检测过程的示意图；
图9为本申请实施例提供的一种关节点检测模型的训练过程的流程图；
图10为本申请实施例提供的另一种关节点检测模型的训练过程的流程图；
图11为本申请实施例提供的一种关节点位置确定装置的结构框图；
图12为本申请实施例提供的一种电子设备的结构框图。
具体实施方式
手势关节点检测，是指在人手的手势发生变化时，对人手的关节点位置进行检测的方法。由于人手的手势变化多样，且会存在手指间相互遮挡、不同手之间相互干扰等问题，因此，对手势关节点进行检测的难度较高。
请参照图1，图1为本申请实施例提供的手势关节点示意图，可以看出，图1中的手势包括五根手指，每根手指各有四个关节点，再加上手掌根部的一个点，共计二十一个关节点。
基于五根手指以及二十一个关节点，本申请实施例提供一种关节点位置确定方法，在该关节点位置确定方法中，关节点检测模型中的第一检测模块以及第二检测模块采用轻量级卷积网络结构，即利用卷积核尺寸较小的卷积结构，实现对关节点位置的检测，从而降低了检测过程中的参数量以及计算量，提高了关节点位置检测的效率。此外，将第一检测模块输出的中间图像与特征提取得到的特征图同时输入第二检测模块进行检测，可以提高检测的准确性。
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
请参照图2，图2为本申请实施例提供的一种关节点位置确定方法的流程图，该关节点位置确定方法可以包括如下步骤：
步骤S201：获取目标图像。
步骤S202：利用预先训练的关节点检测模型中的特征提取模块对目标图像进行特征提取，获得特征图。
步骤S203：利用预先训练的关节点检测模型中的第一检测模块对特征图进行关节点检测，获得第一检测模块输出的中间图像，并将中间图像和特征图输入到第二检测模块，获得目标图像中多个关节点的位置信息。
在具体的实施过程中，电子设备可以检测目标图像中关节点的位置，因此，首先，电子设备可以获取待检测的目标图像。其中，电子设备获取目标图像的方式，本申请实施例对此不作具体的限定，本领域技术人员可以根据实际情况进行合适的选择。举例来说，电子设备可以从数据库读取预先存储的目标图像；或者，电子设备可以获取外部设备发送的目标图像，其中，外部设备可以为图像采集设备、可移动存储介质、移动终端等。
电子设备在获取到待检测的目标图像之后，可以利用预先训练好的关节点检测模型对目标图像中的关节点位置进行检测。
下面对本申请实施例提供的关节点检测模型进行详细的介绍。
请参照图3，图3为本申请实施例提供的一种关节点检测模型的结构框图，该关节点检测模型可以包括特征提取模块、第一检测模块以及第二检测模块。
电子设备可以利用上述特征提取模块执行上述步骤S202，即利用预先训练的关节点检测模型中的特征提取模块对目标图像进行特征提取，获得特征图。其中，特征提取模块可以采用超分辨率测试序列(Visual Geometry Group，VGG)结构。举例来说，特征提取模块可以采用VGG-16结构，VGG-16结构有十六个卷积层或全连接层，包括五组卷积层和三个全连接层；或者，特征提取模块还可以采用VGG-19结构等，本申请实施例对此不作具体的限定。
然后，电子设备可以利用上述第一检测模块以及第二检测模块执行上述步骤S203。首先，电子设备将特征提取模块输出的特征图输入第一检测模块中，第一检测模块对特征图进行关节点检测，并输出中间图像；然后，电子设备将特征提取模块输出的特征图以及第一检测模块输出的中间图像输入第二检测模块中，第二检测模块对特征图以及中间图像进行关节点检测，并输出多个关节点热力图，根据第二检测模块输出的多个关节点热力图，可以确定目标图像中多个关节点的位置信息。
其中，第一检测模块输出的中间图像可以包括多个关节点热力图，每个关节点热力图与一个关节点对应，也就是说，中间图像可以包括二十一通道热力图。
为了降低了检测过程中的参数量以及计算量，提高了关节点位置检测的效率，第一检测模块可以采用轻量级卷积神经网络(Convolutional Neural Networks，CNN)结构。
在具体的实施过程中，第一检测模块可以包括多个检测单元(称为BaseStage)、一个第一卷积层以及一个第二卷积层，多个检测单元、第一卷积层以及第二卷积层依次连接。请参照图4，图4为本申请实施例提供的第一检测模块的结构示意图，该第一检测模块包括五个检测单元、一个三乘三卷积层以及一个一乘一卷积层，五个检测单元、三乘三卷积层以及一乘一卷积层依次连接。可以理解的是，本申请实施例对检测单元的个数、第一卷积层的尺寸以及第二卷积层的尺寸均不作具体的限定，本领域技术人员可以根据实际情况进行合适的调整。
作为一种实施方式，上述第一检测模块中的检测单元可以包括：多个残差单元连接构成，每个残差单元包括一个三乘一卷积层以及一个一乘三卷积层。请参照图5，图5为本申请实施例提供的检测单元的结构示意图，可以看出，该检测单元包括三个残差单元，三个残差单元采用残差网络结构的思想进行连接：第一个残差单元的输出输入第二个残差单元，第二个残差单元的输出输入第三个残差单元，第一个残差单元的输出、第二个残差单元的输出以及第三个残差单元的输出整合后作为检测单元的输出。
类似的，为了降低了检测过程中的参数量以及计算量，提高了关节点位置检测的效率，第二检测模块可以采用与第一检测模块相同的轻量级CNN结构，此处不再赘述。
作为一种实施方式，本申请实施例提供的关节点检测模型可以包括多个第二检测模块，每一第二检测模块的输入包括特征图和上一模块输出的中间图像。
请参照图6，图6为本申请实施例提供的一种关节点检测模型检测过程的示意图，图6以五个第二检测模块为例：首先，电子设备将特征提取模块输出的特征图输入第一检测模块中，第一检测模块对特征图进行关节点检测，并输出二十一通道热力图；然后，电子设备将特征提取模块输出的特征图以及第一检测模块输出的二十一通道热力图输入第一个第二检测模块中，第一个第二检测模块对特征图以及二十一通道热力图进行关节点检测，并输出新的二十一通道热力图；然后，电子设备将特征提取模块输出的特征图以及第二检测模块输出的二十一通道热力图输入第二个第二检测模块中，第二个第二检测模块对特征图以及二十一通道热力图进行关节点检测，并输出新的二十一通道热力图；以此类推，最终，可以根据第五个第二检测模块输出的二十一通道热力图，确定目标图像中多个关节点的位置信息。
除了图6示出的关节点检测模型检测过程，本申请实施例还提供另一种关节点检测模型检测过程(同样以五个第二检测模块为例进行说明)。该关节点检测模型检测过程与图6示出的关节点检测模型检测过程不同的是：中间图像除了包括多个关节点热力图，还包括轮廓热力图，从而实现对关节点位置检测过程增加轮廓约束条件，从而增加检测过程的抗干扰能力。
作为一种实施方式，该关节点检测模型检测过程与图6示出的关节点检测模型检测过程的步骤相同，即：首先，电子设备将特征提取模块输出的特征图输入第一检测模块中，第一检测模块对特征图进行关节点检测，并输出二十一通道热力图和轮廓热力图；然后，电子设备将特征提取模块输出的特征图以及第一检测模块输出的二十一通道热力图和轮廓热力图输入第一个第二检测模块中，第一个第二检测模块对特征图以及二十一通道热力图进行关节点检测，并输出新的二十一通道热力图和轮廓热力图；然后，电子设备将特征提取模块输出的特征图以及第二检测模块输出的二十一通道热力图和轮廓热力图输入第二个第二检测模块中，第二个第二检测模块对特征图以及二十一通道热力图和轮廓热力图进行关节点检测，并输出新的二十一通道热力图和轮廓热力图；以此类推，最终，可以根据第五个第二检测模块输出的二十一通道热力图和轮廓热力图，确定目标图像中多个关节点的位置信息。
作为另一种实施方式，该关节点检测模型检测过程与图6示出的关节点检测模型检测过程的步骤略有不同。此时，关节点检测模型还包括第三检测模块，该第三检测模块可以采用与第一检测模块相同的轻量级CNN结构，此处不再赘述。
请参照图7，图7为本申请实施例提供的步骤S203的具体实施方式的流程图，步骤S203可以包括如下步骤：
步骤S701：利用预先训练的关节点检测模型中的第一检测模块对特征图进行关节点检测，获得第一检测模块输出的中间图像。
步骤S702：将中间图像和特征图输入到第二检测模块，获得第二检测模块输出的中间图像。
步骤S703：将第二检测模块输出的中间图像和特征图输入到第三检测模块，获得目标图像中多个关节点的位置信息。
在具体的实施过程中，首先，电子设备将特征提取模块输出的特征图输入第一检测模块中，第一检测模块对特征图进行关节点检测，并输出中间图像；然后，电子设备将特征提取模块输出的特征图以及第一检测模块输出的中间图像输入第二检测模块中，第二检测模块对特征图以及中间图像进行关节点检测，并输出新的中间图像；然后，电子设备将特征提取模块输出的特征图以及第二检测模块输出的中间图像输入第三检测模块中，第三检测模块对特征图以及中间图像进行关节点检测，并输出多个关节点热力图，根据第三检测模块输出的多个关节点热力图，可以确定目标图像中多个关节点的位置信息。
其中，第一检测模块输出的中间图像可以包括多个关节点热力图以及轮廓热力图，关节点检测模型可以包括多个第二检测模块，每一第二检测模块的输入包括特征图和上一模块输出的中间图像。
请参照图8，图8为本申请实施例提供的另一种关节点检测模型检测过程的示意图，图8以五个第二检测模块为例：首先，电子设备将特征提取模块输出的特征图输入第一检测模块中，第一检测模块对特征图进行关节点检测，并输出二十一通道热力图和轮廓热力图；然后，电子设备将特征提取模块输出的特征图以及第一检测模块输出的二十一通道热力图和轮廓热力图输入第一个第二检测模块中，第一个第二检测模块对特征图以及二十一通道热力图进行关节点检测，并输出新的二十一通道热力图和轮廓热力图；然后，电子设备将特征提取模块输出的特征图以及第二检测模块输出的二十一通道热力图和轮廓热力图输入第二个第二检测模块中，第二个第二检测模块对特征图以及二十一通道热力图和轮廓热力图进行关节点检测，并输出新的二十一通道热力图和轮廓热力图；以此类推，最终，可以根据第五个第二检测模块输出的二十一通道热力图，确定目标图像中多个关节点的位置信息。
在上述方案中，关节点检测模型中的第一检测模块以及第二检测模块采用轻量级卷积网络结构，即利用卷积核尺寸较小的卷积结构，实现对关节点位置的检测，从而降低了检测过程中的参数量以及计算量，提高了关节点位置检测的效率。此外，将第一检测模块输出的中间图像与特征提取得到的特征图同时输入第二检测模块进行检测，可以提高检测的准确性。
下面对本申请实施例提供关节点检测模型的训练过程进行详细的介绍。
首先介绍基于图6的关节点检测模型检测过程对应的训练过程。
请参照图9，图9为本申请实施例提供的一种关节点检测模型的训练过程的流程图，该关节点检测模型的训练过程可以包括如下步骤：
步骤S901：获取多个第一样本图像。
步骤S902：将多个第一样本图像输入预先建立的神经网络模型中，并输出每个第一样本图像对应的多个关节点的预测位置信息。
步骤S903：根据预测位置信息以及实际位置信息计算均方误差损失。
步骤S904：根据均方误差损失调整预先建立的神经网络模型的参数，以获得关节点检测模型。
在具体的实施过程中，电子设备可以首先获取第一样本图像，其中，电子设备获取第一样本图像的方式，本申请实施例对此不作具体的限定，本领域技术人员可以根据实际情况进行合适的选择。举例来说，电子设备可以从数据库读取预先存储的第一样本图像；或者，电子设备可以获取外部设备发送的第一样本图像，其中，外部设备可以为图像采集设备、可移动存储介质、移动终端等。
第一样本图像可以包括第一样本图像中多个关节点的实际位置信息，将第一样本图像输入至预先建立的神经网络模型中，可以得到上述神经网络模型中输出的多个关节点的预测位置信息。然后，可以根据预测位置信息以及实际位置信息计算均方误差(MeanSquare Error，MSE)损失(LOSS)，并根据MSE LOSS调整预先建立的神经网络模型的参数，以获得关节点检测模型。
在上述方案中，可以通过计算预测位置信息以及实际位置信息之间的均方误差损失，实现对预先建立的神经网络模型进行训练的过程，从而得到检测准确性较高的预先训练的关节点检测模型。
其次介绍基于图8的关节点检测模型检测过程对应的训练过程。
请参照图10，图10为本申请实施例提供的另一种关节点检测模型的训练过程的流程图，该关节点检测模型的训练过程可以包括如下步骤：
步骤S1001：获取多个第二样本图像。
步骤S1002：将多个第二样本图像输入预先建立的神经网络模型中，并输出每个第二样本图像对应的多个关节点的预测位置信息以及多个预测轮廓热力图。
步骤S1003：根据预测位置信息以及实际位置信息计算均方误差损失以及根据真实轮廓热力图以及预测轮廓热力图计算生成式对抗网络损失。
步骤S1004：根据均方误差损失以及生成式对抗网络损失调整预先建立的神经网络模型的参数，以获得关节点检测模型。
在具体的实施过程中，电子设备可以首先获取第二样本图像，其中，电子设备获取第二样本图像的方式，本申请实施例对此不作具体的限定，本领域技术人员可以根据实际情况进行合适的选择。举例来说，电子设备可以从数据库读取预先存储的第二样本图像；或者，电子设备可以获取外部设备发送的第二样本图像，其中，外部设备可以为图像采集设备、可移动存储介质、移动终端等。
第二样本图像可以包括多个关节点的实际位置信息以及多个真实轮廓热力图，将第二样本图像输入至预先建立的神经网络模型中，可以得到上述神经网络模型中输出的多个关节点的预测位置信息以及多个预测轮廓热力图。然后，可以根据预测位置信息以及实际位置信息计算MSE LOSS，以及根据真实轮廓热力图以及预测轮廓热力图计算生成式对抗网络(Generative Adversarial Networks，GAN)损失，并根据MSE LOSS以及GAN损失调整预先建立的神经网络模型的参数，以获得关节点检测模型。
也就是说，整个关节点检测模型可以采用多级监督形式，进行端到端的关节点估计，以图8中的关节检测过程为例，前五级(第一检测模块以及四个第二检测模块)可以均同时对多关节点和轮廓约束进行监督，最后一级仅仅学习关节点。其中，对于关节点监督，采用MSE Loss对手势关节点进行监督学习；对于轮廓约束采用GAN思想进行监督学习，即将关节点检测模型的轮廓生成视作GAN中生成器G，再用一个二分类网络作为GAN的判别网络D，训练中G的输出和真实轮廓作为D网络的输入，进行对抗学习训练，使得生成的轮廓更佳，损失函数可以如下：
在上述方案中，可以通过计算预测位置信息以及实际位置信息之间的均方误差损失以及真实轮廓热力图以及预测轮廓热力图之间的生成式对抗网络损失，实现对预先建立的神经网络模型进行训练的过程，从而得到检测准确性较高的预先训练的关节点检测模型。
在上述对关节点检测模型进行训练的过程中，第二样本图像可以包括多个真实轮廓热力图，其中，真实轮廓热力图可以采用以下方式得到：
第一步，获取手部图像：定义I为手部图像，L表示关键点个数，pm和pn分别表示同一手指上(包含手掌根点)的相邻两个关节点，K表示轮廓线数，表示由一根手指关节点之间进行线性插值生成的密集点集，即轮廓线。
第二步，根据手部图像确定每根手指对应的二值热力图：定义二值热力图Bi，其大小与I相同，设置其属于轮廓线Si的点为1，其余点为0。
第三步：对单根手指对应的二值热力图进行距离变换，得到距离映射图：相对每个进行距离变换，得到距离映射图Di，即计算Bi中点p与线段的距离。
第四步，利用高斯表达式将距离映射图转换为单根手指对应的轮廓热力图：然后用标准方差为σ的高斯表示式将Di转化为单根手指轮廓热力图Mi，以3σ为阈值，距离在3σ内的取高斯值，其他为0，公式如下：
第五步，融合每根手指对应的轮廓热力图，得到真实轮廓热力图：最后融合各轮廓为最终真实轮廓热力图M，公式如下：
M＝max(M1,M2,M3,M4,M5)。
在上述方案中，以单根手指关节点及手掌根点按顺序连接的连接线为参照，以高斯函数为表示方法，生成五条轮廓线作为约束条件，得到真实轮廓热力图，以对预先建立的神经网络模型进行训练。
请参照图11，图11为本申请实施例提供的一种关节点位置确定装置的结构框图，该关节点位置确定装置1100可以包括：第一获取模块1101，用于获取目标图像；提取模块1102，用于利用预先训练的关节点检测模型中的特征提取模块对所述目标图像进行特征提取，获得特征图；检测模块1103，用于利用所述预先训练的关节点检测模型中的第一检测模块对所述特征图进行关节点检测，获得所述第一检测模块输出的中间图像，并将所述中间图像和所述特征图输入到第二检测模块，获得所述目标图像中多个关节点的位置信息；其中，所述中间图像包括多个关节点热力图，每个关节点热力图与一个关节点对应，所述第一检测模块以及每个所述第二检测模块均包括多个检测单元、一个第一卷积层以及一个第二卷积层，多个所述检测单元、所述第一卷积层以及所述第二卷积层依次连接。
在本申请实施例中，关节点检测模型中的第一检测模块以及第二检测模块采用轻量级卷积网络结构，即利用卷积核尺寸较小的卷积结构，实现对关节点位置的检测，从而降低了检测过程中的参数量以及计算量，提高了关节点位置检测的效率。此外，将第一检测模块输出的中间图像与特征提取得到的特征图同时输入第二检测模块进行检测，可以提高检测的准确性。
进一步的，所述关节点检测模型包括多个第二检测模块，每一所述第二检测模块的输入包括所述特征图和上一模块输出的中间图像。
在本申请实施例中，关节点检测模型中可以包括多个第二检测模块，以通过多次检测，提高检测的准确性。
进一步的，所述中间图像还包括轮廓热力图。
在本申请实施例中，第一检测模块以及第二检测模块输出的中间图像不仅包括多个关节点热力图，还包括轮廓热力图，从而实现对关节点位置检测过程增加轮廓约束条件，从而增加检测过程的抗干扰能力。
进一步的，所述关节点检测模型还包括第三检测模块；所述检测模块1103还用于：将所述中间图像和所述特征图输入到所述第二检测模块，获得所述第二检测模块输出的中间图像；将所述第二检测模块输出的中间图像和所述特征图输入到所述第三检测模块，获得所述目标图像中多个关节点的位置信息。
在本申请实施例中，关节点检测模型还包括第三检测模块，将第二检测模块输出的中间图像以及特征提取得到的特征图输入第三检测模块进行关节点检测，以获得关节点的位置信息。
进一步的，每个所述检测单元包括：多个残差单元连接构成，每个残差单元包括一个三乘一卷积层以及一个一乘三卷积层。
在本申请实施例中，检测单元可以利用卷积核尺寸较小的卷积结构，实现对关节点位置的检测，从而降低了检测过程中的参数量以及计算量，提高了关节点位置检测的效率。
进一步的，所述关节点位置确定装置1100还包括：第二获取模块，用于获取多个第一样本图像；其中，所述第一样本图像包括第一样本图像中多个关节点的实际位置信息；第一输入输出模块，用于将多个所述第一样本图像输入预先建立的神经网络模型中，并输出每个所述第一样本图像对应的多个关节点的预测位置信息；第一计算模块，用于根据所述预测位置信息以及实际位置信息计算均方误差损失；第一调整模块，用于根据所述均方误差损失调整所述预先建立的神经网络模型的参数，以获得所述关节点检测模型。
在本申请实施例中，可以通过计算预测位置信息以及实际位置信息之间的均方误差损失，实现对预先建立的神经网络模型进行训练的过程，从而得到检测准确性较高的预先训练的关节点检测模型。
进一步的，所述关节点位置确定装置1100还包括：第三获取模块，用于获取多个第二样本图像；其中，所述第二样本图像包括第二样本图像中多个关节点的实际位置信息以及多个真实轮廓热力图；第二输入输出模块，用于将多个所述第二样本图像输入预先建立的神经网络模型中，并输出每个所述第二样本图像对应的多个关节点的预测位置信息以及多个预测轮廓热力图；第二计算模块，用于根据所述预测位置信息以及实际位置信息计算均方误差损失以及根据所述真实轮廓热力图以及所述预测轮廓热力图计算生成式对抗网络损失；第二调整模块，用于根据所述均方误差损失以及所述生成式对抗网络损失调整所述预先建立的神经网络模型的参数，以获得所述关节点检测模型。
在本申请实施例中，可以通过计算预测位置信息以及实际位置信息之间的均方误差损失以及真实轮廓热力图以及预测轮廓热力图之间的生成式对抗网络损失，实现对预先建立的神经网络模型进行训练的过程，从而得到检测准确性较高的预先训练的关节点检测模型。
进一步的，所述第三获取模块还用于：获取手部图像；根据所述手部图像确定每根手指对应的二值热力图；对单根手指对应的所述二值热力图进行距离变换，得到距离映射图；利用高斯表达式将所述距离映射图转换为单根手指对应的轮廓热力图；融合每根手指对应的所述轮廓热力图，得到所述真实轮廓热力图。
在本申请实施例中，以单根手指关节点及手掌根点按顺序连接的连接线为参照，以高斯函数为表示方法，生成五条轮廓线作为约束条件，得到真实轮廓热力图，以对预先建立的神经网络模型进行训练。
请参照图12，图12为本申请实施例提供的一种电子设备的结构框图，该电子设备1200包括：至少一个处理器1201，至少一个通信接口1202，至少一个存储器1203和至少一个通信总线1204。其中，通信总线1204用于实现这些组件直接的连接通信，通信接口1202用于与其他节点设备进行信令或数据的通信，存储器1203存储有处理器1201可执行的机器可读指令。当电子设备1200运行时，处理器1201与存储器1203之间通过通信总线1204通信，机器可读指令被处理器1201调用时执行上述关节点位置确定方法。
例如，本申请实施例的处理器1201通过通信总线1204从存储器1203读取计算机程序并执行该计算机程序可以实现如下方法：步骤S201：获取目标图像。步骤S202：利用预先训练的关节点检测模型中的特征提取模块对目标图像进行特征提取，获得特征图。步骤S203：利用预先训练的关节点检测模型中的第一检测模块对特征图进行关节点检测，获得第一检测模块输出的中间图像，并将中间图像和特征图输入到第二检测模块，获得目标图像中多个关节点的位置信息。
处理器1201可以是一种集成电路芯片，具有信号处理能力。上述处理器1201可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。其可以实现或者执行本申请实施例中公开的各种方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器1203可以包括但不限于随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。
可以理解，图12所示的结构仅为示意，电子设备1200还可包括比图12中所示更多或者更少的组件，或者具有与图12所示不同的配置。图12中所示的各组件可以采用硬件、软件或其组合实现。于本申请实施例中，电子设备1200可以是，但不限于台式机、笔记本电脑、智能手机、智能穿戴设备、车载设备等实体设备，还可以是虚拟机等虚拟设备。另外，电子设备1200也不一定是单台设备，还可以是多台设备的组合，例如服务器集群，等等。
本申请实施例还提供一种计算机程序产品，包括存储在非暂态计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令被计算机执行时，计算机能够执行上述实施例中关节点位置确定方法的步骤，例如包括：获取目标图像；利用预先训练的关节点检测模型中的特征提取模块对所述目标图像进行特征提取，获得特征图；利用所述预先训练的关节点检测模型中的第一检测模块对所述特征图进行关节点检测，获得所述第一检测模块输出的中间图像，并将所述中间图像和所述特征图输入到第二检测模块，获得所述目标图像中多个关节点的位置信息；其中，所述中间图像包括多个关节点热力图，每个关节点热力图与一个关节点对应，所述第一检测模块以及每个所述第二检测模块均包括多个检测单元、一个第一卷积层以及一个第二卷积层，多个所述检测单元、所述第一卷积层以及所述第二卷积层依次连接。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (8)

1.一种关节点位置确定方法，其特征在于，包括：
获取目标图像；
利用预先训练的关节点检测模型中的特征提取模块对所述目标图像进行特征提取，获得特征图；
利用所述预先训练的关节点检测模型中的第一检测模块对所述特征图进行关节点检测，获得所述第一检测模块输出的中间图像，并将所述中间图像和所述特征图输入到第二检测模块，获得所述目标图像中多个关节点的位置信息；
其中，所述中间图像包括多个关节点热力图，每个关节点热力图与一个关节点对应，所述第一检测模块以及每个所述第二检测模块均采用轻量级卷积神经网络，包括多个检测单元、一个第一卷积层以及一个第二卷积层，多个所述检测单元、所述第一卷积层以及所述第二卷积层依次连接，每个所述检测单元包括：多个残差单元连接构成，每个残差单元包括一个三乘一卷积层以及一个一乘三卷积层；
所述中间图像还包括轮廓热力图，在所述获取目标图像之前，所述方法还包括：
获取多个第二样本图像；其中，所述第二样本图像包括第二样本图像中多个关节点的实际位置信息以及多个真实轮廓热力图；
将多个所述第二样本图像输入预先建立的神经网络模型中，并输出每个所述第二样本图像对应的多个关节点的预测位置信息以及多个预测轮廓热力图；
根据所述预测位置信息以及实际位置信息计算均方误差损失以及根据所述真实轮廓热力图以及所述预测轮廓热力图计算生成式对抗网络损失；
根据所述均方误差损失以及所述生成式对抗网络损失调整所述预先建立的神经网络模型的参数，以获得所述关节点检测模型。
2.根据权利要求1所述的关节点位置确定方法，其特征在于，所述关节点检测模型包括多个第二检测模块，每一所述第二检测模块的输入包括所述特征图和上一模块输出的中间图像。
3.根据权利要求1所述的关节点位置确定方法，其特征在于，所述关节点检测模型还包括第三检测模块；
所述将所述中间图像和所述特征图输入到第二检测模块，获得所述目标图像中多个关节点的位置信息，包括：
将所述中间图像和所述特征图输入到所述第二检测模块，获得所述第二检测模块输出的中间图像；
将所述第二检测模块输出的中间图像和所述特征图输入到所述第三检测模块，获得所述目标图像中多个关节点的位置信息。
4.根据权利要求1或2所述的关节点位置确定方法，其特征在于，在所述获取目标图像之前，所述方法还包括：
获取多个第一样本图像；其中，所述第一样本图像包括第一样本图像中多个关节点的实际位置信息；
将多个所述第一样本图像输入预先建立的神经网络模型中，并输出每个所述第一样本图像对应的多个关节点的预测位置信息；
根据所述预测位置信息以及实际位置信息计算均方误差损失；
根据所述均方误差损失调整所述预先建立的神经网络模型的参数，以获得所述关节点检测模型。
5.根据权利要求1所述的关节点位置确定方法，其特征在于，所述获取多个第二样本图像，包括：
获取手部图像；
根据所述手部图像确定每根手指对应的二值热力图；
对单根手指对应的所述二值热力图进行距离变换，得到距离映射图；
利用高斯表达式将所述距离映射图转换为单根手指对应的轮廓热力图；
融合每根手指对应的所述轮廓热力图，得到所述真实轮廓热力图。
6.一种关节点位置确定装置，其特征在于，包括：
第一获取模块，用于获取目标图像；
提取模块，用于利用预先训练的关节点检测模型中的特征提取模块对所述目标图像进行特征提取，获得特征图；
检测模块，用于利用所述预先训练的关节点检测模型中的第一检测模块对所述特征图进行关节点检测，获得所述第一检测模块输出的中间图像，并将所述中间图像和所述特征图输入到第二检测模块，获得所述目标图像中多个关节点的位置信息；
其中，所述中间图像包括多个关节点热力图，每个关节点热力图与一个关节点对应，所述第一检测模块以及每个所述第二检测模块均采用轻量级卷积神经网络，包括多个检测单元、一个第一卷积层以及一个第二卷积层，多个所述检测单元、所述第一卷积层以及所述第二卷积层依次连接，每个所述检测单元包括：多个残差单元连接构成，每个残差单元包括一个三乘一卷积层以及一个一乘三卷积层；
所述中间图像还包括轮廓热力图，所述装置还包括：
第三获取模块，用于获取多个第二样本图像；其中，所述第二样本图像包括第二样本图像中多个关节点的实际位置信息以及多个真实轮廓热力图；
第二输入输出模块，用于将多个所述第二样本图像输入预先建立的神经网络模型中，并输出每个所述第二样本图像对应的多个关节点的预测位置信息以及多个预测轮廓热力图；
第二计算模块，用于根据所述预测位置信息以及实际位置信息计算均方误差损失以及根据所述真实轮廓热力图以及所述预测轮廓热力图计算生成式对抗网络损失；
第二调整模块，用于根据所述均方误差损失以及所述生成式对抗网络损失调整所述预先建立的神经网络模型的参数，以获得所述关节点检测模型。
7.一种电子设备，其特征在于，包括：处理器、存储器和总线；
所述处理器和所述存储器通过所述总线完成相互间的通信；
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1-5任一项所述的关节点位置确定方法。
8.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令被计算机运行时，使所述计算机执行如权利要求1-5任一项所述的关节点位置确定方法。
CN202010853713.8A 2020-08-21 2020-08-21 一种关节点位置确定方法及装置 Active CN111985414B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010853713.8A CN111985414B (zh) 2020-08-21 2020-08-21 一种关节点位置确定方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010853713.8A CN111985414B (zh) 2020-08-21 2020-08-21 一种关节点位置确定方法及装置

Publications (2)

Publication Number Publication Date
CN111985414A CN111985414A (zh) 2020-11-24
CN111985414B true CN111985414B (zh) 2024-02-23

Family

ID=73443099

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010853713.8A Active CN111985414B (zh) 2020-08-21 2020-08-21 一种关节点位置确定方法及装置

Country Status (1)

Country Link
CN (1) CN111985414B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112651345B (zh) * 2020-12-29 2023-11-10 深圳市优必选科技股份有限公司 一种人体姿态识别模型优化方法、装置和终端设备
CN113012229A (zh) * 2021-03-26 2021-06-22 北京华捷艾米科技有限公司 人体关节点的定位方法及装置
CN113436143A (zh) * 2021-05-24 2021-09-24 北京医准智能科技有限公司 基于人工智能的关节检测方法、装置及电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108875523A (zh) * 2017-12-28 2018-11-23 北京旷视科技有限公司 人体关节点检测方法、装置、系统和存储介质
CN108898556A (zh) * 2018-05-24 2018-11-27 麒麟合盛网络技术股份有限公司 一种三维人脸的图像处理方法及装置
CN109685023A (zh) * 2018-12-27 2019-04-26 深圳开立生物医疗科技股份有限公司 一种超声图像的面部关键点检测方法及相关装置
CN109726659A (zh) * 2018-12-21 2019-05-07 北京达佳互联信息技术有限公司 人体骨骼关键点的检测方法、装置、电子设备和可读介质
CN109948526A (zh) * 2019-03-18 2019-06-28 北京市商汤科技开发有限公司 图像处理方法及装置、检测设备及存储介质
CN110619316A (zh) * 2019-09-26 2019-12-27 联想(北京)有限公司 人体关键点检测方法、装置和电子设备
CN110969124A (zh) * 2019-12-02 2020-04-07 重庆邮电大学 基于轻量级多分支网络的二维人体姿态估计方法及系统
CN111523480A (zh) * 2020-04-24 2020-08-11 北京嘀嘀无限科技发展有限公司 一种面部遮挡物的检测方法、装置、电子设备及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10776903B2 (en) * 2017-07-17 2020-09-15 Open Text Corporation Systems and methods for image modification and image based content capture and extraction in neural networks
EP3813661A4 (en) * 2018-06-29 2022-04-06 WRNCH Inc. SYSTEM AND METHOD FOR ANALYZING HUMAN POSES
CN110163048B (zh) * 2018-07-10 2023-06-02 腾讯科技（深圳）有限公司 手部关键点的识别模型训练方法、识别方法及设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108875523A (zh) * 2017-12-28 2018-11-23 北京旷视科技有限公司 人体关节点检测方法、装置、系统和存储介质
CN108898556A (zh) * 2018-05-24 2018-11-27 麒麟合盛网络技术股份有限公司 一种三维人脸的图像处理方法及装置
CN109726659A (zh) * 2018-12-21 2019-05-07 北京达佳互联信息技术有限公司 人体骨骼关键点的检测方法、装置、电子设备和可读介质
CN109685023A (zh) * 2018-12-27 2019-04-26 深圳开立生物医疗科技股份有限公司 一种超声图像的面部关键点检测方法及相关装置
CN109948526A (zh) * 2019-03-18 2019-06-28 北京市商汤科技开发有限公司 图像处理方法及装置、检测设备及存储介质
CN110619316A (zh) * 2019-09-26 2019-12-27 联想(北京)有限公司 人体关键点检测方法、装置和电子设备
CN110969124A (zh) * 2019-12-02 2020-04-07 重庆邮电大学 基于轻量级多分支网络的二维人体姿态估计方法及系统
CN111523480A (zh) * 2020-04-24 2020-08-11 北京嘀嘀无限科技发展有限公司 一种面部遮挡物的检测方法、装置、电子设备及存储介质

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
DeepFinger: A Cascade Convolutional Neuron Network Approach to Finger Key Point Detection in Egocentric Vision with Mobile Camera;Yichao Huang等;《2015 IEEE International Conference on Systems, Man, and Cybernetics》;2944-2949 *
人体关节点多视角融合和人体姿态估计;王梓任;《中国优秀硕士学位论文全文数据库 信息科技辑》;I138-902 *
基于热力图的手部姿态识别研究;欧攀;计算机应用研究(第S1期);326-328 *
基于轻量级神经网络的人脸检测算法;尹茜;常州信息职业技术学院学报(第06期);23-27、32 *
深度学习的单人姿态估计方法综述;张锋;叶茂;曾凡玉;;小型微型计算机系统(第07期);1501-1507 *
赵威驰.基于沙漏网络的人脸面部特征点检测.光学学报.2019,第39卷(第11期),243-252. *
非约束场景下的人脸关键点检测算法研究;苏晨;《中国优秀硕士学位论文全文数据库 信息科技辑》;I138-943 *

Also Published As

Publication number Publication date
CN111985414A (zh) 2020-11-24

Similar Documents

Publication Publication Date Title
CN110020620B (zh) 一种大姿态下的人脸识别方法、装置及设备
CN111985414B (zh) 一种关节点位置确定方法及装置
CN109740534B (zh) 图像处理方法、装置及处理设备
CN108416327B (zh) 一种目标检测方法、装置、计算机设备及可读存储介质
CN111401406B (zh) 一种神经网络训练方法、视频帧处理方法以及相关设备
JP6812086B2 (ja) 網状パターン除去システムのトレーニング方法、網状パターン除去方法、装置、機器及び媒体
CN111480169B (zh) 用于模式识别的方法、系统和装置
CN111860398B (zh) 遥感图像目标检测方法、系统及终端设备
CN113792526B (zh) 字符生成模型的训练方法、字符生成方法、装置和设备和介质
CN114677565B (zh) 特征提取网络的训练方法和图像处理方法、装置
CN113792853B (zh) 字符生成模型的训练方法、字符生成方法、装置和设备
CN113435520A (zh) 神经网络的训练方法、装置、设备及计算机可读存储介质
CN114066987B (zh) 一种相机位姿估计方法、装置、设备及存储介质
CN113095370A (zh) 图像识别方法、装置、电子设备及存储介质
CN111079507A (zh) 一种行为识别方法及装置、计算机装置及可读存储介质
CN111598087A (zh) 不规则文字的识别方法、装置、计算机设备及存储介质
CN114821096A (zh) 一种图像处理方法、神经网络的训练方法以及相关设备
CN112613541A (zh) 目标检测方法及装置、存储介质及电子设备
Niu et al. Boundary-aware RGBD salient object detection with cross-modal feature sampling
WO2021259336A1 (zh) 一种模态信息补全方法、装置及设备
CN113936138A (zh) 基于多源图像融合的目标检测方法、系统、设备、介质
CN117894038A (zh) 一种图像中对象姿态生成方法和装置
CN114913330B (zh) 点云部件分割方法、装置、电子设备与存储介质
CN113792849B (zh) 字符生成模型的训练方法、字符生成方法、装置和设备
CN113591969B (zh) 面部相似度评测方法、装置、设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant