CN111626105A - 姿态估计方法、装置及电子设备 - Google Patents

姿态估计方法、装置及电子设备 Download PDF

Info

Publication number
CN111626105A
CN111626105A CN202010297991.XA CN202010297991A CN111626105A CN 111626105 A CN111626105 A CN 111626105A CN 202010297991 A CN202010297991 A CN 202010297991A CN 111626105 A CN111626105 A CN 111626105A
Authority
CN
China
Prior art keywords
key point
neural network
key
point information
keypoint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010297991.XA
Other languages
English (en)
Other versions
CN111626105B (zh
Inventor
魏秀参
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xuzhou Kuangshi Data Technology Co ltd
Nanjing Kuangyun Technology Co ltd
Beijing Megvii Technology Co Ltd
Original Assignee
Xuzhou Kuangshi Data Technology Co ltd
Nanjing Kuangyun Technology Co ltd
Beijing Megvii Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xuzhou Kuangshi Data Technology Co ltd, Nanjing Kuangyun Technology Co ltd, Beijing Megvii Technology Co Ltd filed Critical Xuzhou Kuangshi Data Technology Co ltd
Priority to CN202010297991.XA priority Critical patent/CN111626105B/zh
Publication of CN111626105A publication Critical patent/CN111626105A/zh
Application granted granted Critical
Publication of CN111626105B publication Critical patent/CN111626105B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种姿态估计方法、装置及电子设备，首先获取包含目标对象的待处理图像；将该待处理图像输入至关键点识别模型中，输出该目标对象的关键点信息；然后根据该目标对象的关键点信息确定该目标对象的关键点的位置；进而根据该目标对象的关键点的位置以及该关键点之间的连接关系，确定该目标对象的姿态。本发明实施例通过结合肢体结构中关键点之间的连接关系，预先建立关键点识别模型并对其进行训练，基于该模型在对关键点进行识别时，可以根据关键点之间的相互关系对关键点位置进行调整和推理，从而提高关键点位置的估计精度，进而提高人体姿态的估计精度。

Description

姿态估计方法、装置及电子设备
技术领域
本发明涉及计算机视觉技术领域，尤其是涉及一种姿态估计方法、装置及电子设备。
背景技术
人体姿态估计作为计算机视觉研究领域的一个重要研究方向，以及体感技术领域中的一个关键问题，广泛应用于人体活动分析、智能视频监控及高级人机交互等领域。其中，人体姿态估计技术可以通过计算机在一幅包含人体的图像中自动地检测出人体，包括定位人体的关节点。
目前，现有的人体姿态估计方法通常是对人体的各个关节点进行独立的定位，这种方式导致估计出的关节点位置精度较低，使得人体姿态的估计精度也较低。
发明内容
有鉴于此，本发明的目的在于提供一种姿态估计方法、装置及电子设备，可以提高人体姿态估计中，关键点位置的估计精度，进而提高人体姿态的估计精度。
第一方面，本发明实施例提供了一种姿态估计方法，包括：获取包含目标对象的待处理图像；将该待处理图像输入至关键点识别模型中，输出该目标对象的关键点信息；该关键点识别模型基于预设的肢体结构建立，该肢体结构包括肢体中指定的关键点，以及该指定的关键点之间的连接关系；该关键点信息包括：该目标对象的关键点位于图中各个像素点的概率；根据该目标对象的关键点信息确定该目标对象的关键点的位置；根据该目标对象的关键点的位置以及该关键点之间的连接关系，确定该目标对象的姿态。
在本发明较佳的实施例中，上述关键点识别模型通过下述方式进行训练：根据预设的肢体结构实例化神经网络模型；将当前训练图片输入实例化的该神经网络模型中，输出该当前训练图片中该关注对象的关键点信息；该关键点信息包括：该关注对象的关键点位于图中各个像素点的概率；基于该关键点信息、该当前训练图片的标注值，确定该神经网络模型对应的损失值；根据该损失值，对该神经网络模型的参数进行迭代更新，得到关键点识别模型。
在本发明较佳的实施例中，上述神经网络模型包括全卷积神经网络模块和图卷积神经网络模块；上述将当前训练图片输入实例化的该神经网络模型中，输出该当前训练图片中该关注对象的关键点信息的步骤，包括：将当前训练图片输入该全卷积神经网络模块，输出该当前训练图片中该关注对象的关键点的卷积特征图；将该关注对象的关键点的卷积特征图输入该图卷积神经网络模块，输出该当前训练图片中该关注对象的关键点信息。
在本发明较佳的实施例中，上述图卷积神经网络模块包括第一图卷积神经网络单元和第二图卷积神经网络单元；该第一图卷积神经网络单元基于该关注对象的关键点在局部感受野内的相关关系建立；该第二图卷积神经网络单元基于该关注对象的关键点彼此之间的相关关系建立；该将该关注对象的关键点的卷积特征图输入该图卷积神经网络模块，输出该当前训练图片中该关注对象的关键点信息的步骤，包括：将该关注对象的关键点的卷积特征图分别输入该第一图卷积神经网络单元、该第二图卷积神经网络单元，对应输出该关键点的第一卷积特征图、第二卷积特征图；分别对该第一卷积特征图和该第二卷积特征图进行1×1卷积处理，对应得到该关键点的第一关键点信息、第二关键点信息；根据第一关键点信息和第二关键点信息，输出当前训练图片中关注对象的关键点信息。
在本发明较佳的实施例中，上述根据第一关键点信息和第二关键点信息，输出当前训练图片中关注对象的关键点信息的步骤，包括：对该第一关键点信息和该第二关键点信息进行特征融合，得到该关键点的第三关键点信息；输出该关键点的第一关键点信息、第二关键点信息和第三关键点信息。
在本发明较佳的实施例中，上述第一图卷积神经网络单元的网络结构根据下述公式构建：
Figure BDA0002451953530000031
其中，
Figure BDA0002451953530000032
式中，
Figure BDA0002451953530000033
表示该第一图卷积神经网络单元的第l层网络中关键点u的输入卷积特征图；
Figure BDA0002451953530000034
表示该关键点u的隐藏特征表示；沿着channel方向将
Figure BDA0002451953530000035
分成K份，每一份特征
Figure BDA0002451953530000036
attu,v代表卷积参数；*代表卷积操作；Nu代表该关键点u的邻接关键点集合；concate(·)代表沿channel方向串联特征图；σ代表RELU激活函数；
Figure BDA0002451953530000037
表示3×3的卷积层。
在本发明较佳的实施例中，上述第二图卷积神经网络单元的网络结构根据下述公式构建：
Figure BDA0002451953530000038
其中，
Figure BDA0002451953530000039
式中，
Figure BDA00024519535300000310
表示该第二图卷积神经网络单元的第l层网络中关键点u的输入特征表示；
Figure BDA00024519535300000311
表示该关键点u的隐藏特征表示；Nu代表节点u的邻接节点集合；
Figure BDA00024519535300000312
和
Figure BDA00024519535300000313
均表示3×3的卷积层；βu,v∈RHW×HW为该第二图卷积神经网络单元中关键点u对关键点v的注意力图。
在本发明较佳的实施例中，上述对该第一关键点信息和该第二关键点信息进行特征融合，得到该关键点的第三关键点信息的步骤，包括：根据预设的特征融合公式对该第一关键点信息、该第二关键点信息进行特征融合，得到该关键点的第三关键点信息；其中，该特征融合公式为：
Figure BDA00024519535300000314
Figure BDA0002451953530000041
式中，Pu表示任意关键点u的第三关键点信息，
Figure BDA0002451953530000042
表示该关键点u的第一关键点信息，
Figure BDA0002451953530000043
表示该关键点u的第二关键点信息。
在本发明较佳的实施例中，上述基于该关键点信息、该当前训练图片的标注值，确定该神经网络模型对应的损失值的步骤，包括：根据该当前训练图片中该关注对象的关键点的标注值，计算该关注对象的真实热图；该真实热图包括该关注对象的关键点位于该当前训练图片中各个像素点的概率；计算该真实热图与该关键点信息之间的平方误差；根据该平方误差确定该神经网络模型对应的损失值。
在本发明较佳的实施例中，上述根据平方误差确定该神经网络模型对应的损失值的计算公式为：
Figure BDA0002451953530000044
Figure BDA0002451953530000045
其中，lm表示该神经网络模型对应的损失值；
Figure BDA0002451953530000046
表示该肢体结构；
Figure BDA0002451953530000047
表示该关键点u的第一关键点信息；
Figure BDA0002451953530000048
表示该关键点u的第二关键点信息；Pu表示该关键点u的第三关键点信息；Gu表示该关键点u的真实热图；||·||2表示求平方误差。
在本发明较佳的实施例中，上述根据该目标对象的关键点信息确定该目标对象的关键点的位置的步骤，包括：对于该目标对象的每一个关键点，将该关键点对应的关键点信息中，概率最大值对应的像素点的坐标，确定为该关键点的位置。
第二方面，本发明实施例还提供了一种姿态估计装置，包括：待处理图像获取模块，用于获取包含目标对象的待处理图像；关键点信息输出模块，用于将该待处理图像输入至关键点识别模型中，输出该目标对象的关键点信息；该关键点识别模型基于预设的肢体结构建立，该肢体结构包括肢体中指定的关键点，以及各个该关键点之间的连接关系；该关键点信息包括：该目标对象的关键点位于图中各个像素点的概率；关键点位置确定模块，用于根据该目标对象的关键点信息确定该目标对象的关键点的位置；目标对象姿态确定模块，用于根据该目标对象的关键点的位置以及该关键点之间的连接关系，确定该目标对象的姿态。
第二方面，本发明实施例还提供了一种电子设备，该电子设备包括处理器和存储器，该存储器存储有能够被该处理器执行的计算机可执行指令，该处理器执行该计算机可执行指令以实现上述姿态估计方法。
第三方面，本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现上述姿态估计方法。
本发明实施例带来了以下有益效果：
本发明实施例提供的一种姿态估计方法、装置及电子设备，首先获取包含目标对象的待处理图像；将该待处理图像输入至关键点识别模型中，输出该目标对象的关键点信息；该关键点识别模型基于预设的肢体结构建立，该肢体结构包括肢体中指定的关键点，以及该指定的关键点之间的连接关系；该关键点信息包括：该目标对象的关键点位于图中各个像素点的概率；然后根据该目标对象的关键点信息确定该目标对象的关键点的位置；进而根据该目标对象的关键点的位置以及该关键点之间的连接关系，确定该目标对象的姿态。该方式中，通过结合肢体结构中各个指定的关键点，以及各个关键点之间的连接关系，预先建立关键点识别模型并对其进行训练，基于该模型在对关键点进行识别时，可以根据关键点之间的相互关系对关键点位置进行调整和推理，相比于传统的对各个关键点进行独立定位的方式，本发明可以提高关键点位置的估计精度，进而提高人体姿态的估计精度。
本公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本公开的上述技术即可得知。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种电子系统的结构示意图；
图2为本发明实施例提供的一种姿态估计方法的流程示意图；
图3为本发明实施例提供的一种姿态估计方法中的训练关键点识别模型的流程示意图；
图4a和图4b均为本发明实施例提供的一种图卷积神经网络通过局部空间注意力机制进行网络更新的示意图；
图5为本发明实施例提供的一种图卷积神经网络通过全局空间注意力机制进行网络更新的示意图；
图6为本发明实施例提供的一种通过关键点识别模型识别人体关键点的过程示意图；
图7为本发明实施例提供的一种关键点识别模型中图卷积神经网络模块的工作过程示意图；
图8为本发明实施例提供的一种通过关键点识别模型识别人体关键点的效果示意图；
图9为本发明实施例提供的一种姿态估计装置的结构示意图；
图10为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
考虑到现有的人体姿态估计方法对关节点位置估计精度较低的问题，本发明实施例提供的一种姿态估计方法、装置及电子设备，该技术可以应用于对人、动物或其他可移动物体(例如机器人、虚拟人物、机械臂等)进行关键点定位或姿态估计的场景中。为便于对本实施例进行理解，首先对本发明实施例所公开的一种姿态估计方法进行详细介绍。
这里，参照图1来描述用于实现本发明实施例的态估计方法、装置及电子设备的示例电子系统100。
如图1所示的一种电子系统的结构示意图，电子系统100包括一个或多个处理设备102、一个或多个存储装置104、输入装置106、输出装置108以及一个或多个图像采集设备110，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子系统100的组件和结构只是示例性的，而非限制性的，根据需要，电子系统也可以具有其他组件和结构。
处理设备102可以为智能终端，或者是包含中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元的设备，可以对电子系统100中的其它组件的数据进行处理，还可以控制电子系统100中的其它组件以执行目标对象统计的功能。
存储装置104可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理设备102可以运行程序指令，以实现下文的本发明实施例中(由处理设备实现)的客户端功能以及/或者其它期望的功能。在计算机可读存储介质中还可以存储各种应用程序和各种数据，例如应用程序使用和/或产生的各种数据等。
输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。
输出装置108可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。
图像采集设备110可以采集训练图片，并且将采集到的预览视频帧或图像数据存储在存储装置104中以供其它组件使用。
示例性地，用于实现根据本发明实施例的态估计方法、装置及电子设备中的各器件可以集成设置，也可以分散设置，诸如将处理设备102、存储装置104、输入装置106和输出装置108集成设置于一体，而将图像采集设备110设置于可以采集到图片的指定位置。当上述电子系统中的各器件集成设置时，该电子系统可以被实现为诸如相机、智能手机、平板电脑、计算机、车载终端等智能终端。
参见图2，所示为本发明实施例提供的一种姿态估计方法的流程示意图，由图2可见，该方法包括以下步骤：
步骤S102：获取包含目标对象的待处理图像。
这里，目标对象可以是人、动物或者其他可以移动的物体，例如，机器人、叉车、机械臂、虚拟人物等等。并且，待处理图像中可以是包含目标对象的整体，也可以是该目标对象的局部，例如，该目标对象为某人物A，并且待处理图像中只包含该人物A的上半身，而该人物B的下半身可能被遮挡。
步骤S104：将该待处理图像输入至关键点识别模型中，输出该目标对象的关键点信息；该关键点识别模型基于预设的肢体结构建立，该肢体结构包括肢体中指定的关键点，以及该指定的关键点之间的连接关系；该关键点信息包括：该目标对象的关键点位于图中各个像素点的概率。
其中，该关键点识别模型可以预先通过神经网络的学习训练得到，并且，该关键点识别模型的网络结构基于预设的肢体结构建立。这里，肢体结构可以是人的人体结构，动物的肢体结构，或者机器人的机械结构等。
并且，该肢体结构包括肢体中指定的关键点，以及指定的关键点自己的连接关系。其中，上述关键点可以是关节点，例如，以人体结构为例，可以是人体的肩关节、颈关节、膝关节、肘关节等等；此外，该关键点还可以是肢体结构中的重要部位，仍以人体结构为例，可以以头部整体作为一个关键点。在其它应用场景中，可以根据实际需求灵活设置肢体结构的关键点，在此不作限制。
另外，对于该肢体结构中的关键点，彼此之间有相互联系，而各个关键点之间的联系又有所区别，例如，有的关键点是直接相连接，而有的关键点是间接相连，并且各个关键点之间有距离远近的差异，以及在实际活动场景中，关键点之间相互影响的差异。
例如，仍以人体结构为例，若以人体的各个主要关节点作为人体结构的关键点，假设包括以下7个关键点：颈关节、肩关节、肘关节、腕关节、臀关节、膝关节和踝关节，基于人体本身的固有结构，颈关节与肩关节是直接相连的，而与肘关节是间接相连(通过肩关节再连接到肘关节)。并且，肘关节与肩关节和臀关节的距离有远近差异，在实际人体的活动中，肘关节与肩关节、肘关节与臀关节这两组关节之间的相互影响也不同，例如，人在坐着的情况下伸懒腰，则肩关节和肘关节的活动相互影响，而臀关节可以保持不动。
在本实施例中，基于肢体结构的关键点和关键点之间的连接关系构建关键点识别模型，因此，该关键点识别模型在进行关键点的识别时，不是对各个关键点进行独立地定位，而是结合了各个关键点之间彼此的内在联系，基于该肢体结构的整体角度，对各个关键点的位置进行估计，使得各个关键点的估计位置符合彼此之间的连接关系。
例如，假设图像中某人物的肘关节比较清晰，而腕关节有所遮挡，传统方法对腕关节进行独立定位则会因为图像中的遮挡导致腕关节的定位估计不准确，而本实施例中的关键点识别模型，还可以结合肘关节的估计位置，以及肘关节与腕关节之间的彼此连接关系，对腕关节的位置进行精修和推理，从而可以缓解因为腕关节被遮挡而导致其估计精度较差的问题。
可见，通过本实施例中的关键点识别模型对人体姿态进行估计时，是将人体姿态看作一个多任务模型，其中，定位不同的关节点相当于多个不同的子任务，并且不同的子任务之间具有不同的相关性。由于人体的关节点之间是相互连接的，因此，本实施例的关键点识别模型将这种连接关系(也即人体结构关系)，表示为子任务之间的相关关系，使得各个关节点的位置估计不是相互独立，而是彼此影响，彼此修正调整，从而提高关节点的位置估计精度。
对于上述关键点识别模型，输入待处理图像，并输出该待处理图像中目标对象的关键点信息，其中，该关键点信息包括该目标对象的关键点位于图中各个像素点的概率，这里，该关键点信息可以输出为数据表格、图像或者文本文档等。在至少一种可能的实施方式中，该关键点信息可以以热图的方式输出。这里，热图反映关键点的估计位置在图中各个像素点的概率分布情况，并以颜色差异反映概率的高低，更加直观。
步骤S106：根据该目标对象的关键点信息确定该目标对象的关键点的位置。
在其中一种可能的实施方式中，对于该目标对象的每一个关键点，将该关键点对应的关键点信息中，概率最大值对应的像素点的坐标，确定为该关键点的位置。
步骤S108：根据该目标对象的关键点的位置以及该关键点之间的连接关系，确定该目标对象的姿态。
根据关键点之间的连接关系，将前述步骤中确定出的目标对象的关键点进行连接，即得到该目标对象的姿态。
本发明实施例提供的一种姿态估计方法，首先获取包含目标对象的待处理图像；将该待处理图像输入至关键点识别模型中，输出该目标对象的关键点信息；该关键点识别模型基于预设的肢体结构建立，该肢体结构包括肢体中指定的关键点，以及该指定的关键点之间的连接关系；该关键点信息包括：该目标对象的关键点位于图中各个像素点的概率；然后根据该目标对象的关键点信息确定该目标对象的关键点的位置；进而根据该目标对象的关键点的位置以及该关键点之间的连接关系，确定该目标对象的姿态。该方式中，通过结合肢体结构中各个指定的关键点，以及各个关键点之间的连接关系，预先建立关键点识别模型并对其进行训练，基于该模型在对关键点进行识别时，可以根据关键点之间的相互关系对关键点位置进行调整和推理，相比于传统的对各个关键点进行独立定位的方式，本发明可以提高关键点位置的估计精度，进而提高人体姿态的估计精度。
在图2所示姿态估计方法的基础上，本实施例还提供了另一种姿态估计方法，该方法重点描述了前述实施例中训练关键点识别模型的具体实现过程，如图3所示，其为一种姿态估计方法中的训练关键点识别模型的流程示意图，由图3可见，该训练过程包括以下步骤：
步骤S202：根据预设的肢体结构实例化神经网络模型。
这里，肢体结构包括肢体中指定的关键点，以及该指定的关键点之间的连接关系。并且，实例化是指在面向对象的编程中，把用类创建对象的过程称为实例化，它是将一个抽象的概念类，具体到该类实物的过程。
步骤S204：将当前训练图片输入实例化的该神经网络模型中，输出该当前训练图片中该关注对象的关键点信息；该关键点信息包括：该关注对象的关键点位于图中各个像素点的概率。
在实际操作中，可以基于预设的训练集合确定当前训练图片；在其中一种可能的实施方式中，该当前训练图片预先标注有该关注对象的标注框和该关注对象的关键点。
以该关注对象为人进行说明，确定的当前训练图片中预先标注有人体标注框，以及人体的指定关键点，例如，可以是人体的关节点。在其中一种可能的实施方式中，仅对于该当前训练图片中显示的关节点进行标注，例如，假设图片中只显示目标对象的头颈部，其他部分被遮挡，则仅标注颈关节位置。
对于每一张当前训练图片，均执行以下训练操作：将该当前训练图片输入实例化的该神经网络模型中，输出该当前训练图片中该关注对象的关键点信息；该关键点信息包括：该关注对象的关键点位于图中各个像素点的概率；基于该关键点信息、该当前训练图片的标注值，确定该神经网络模型对应的损失值；根据该损失值调整该神经网络模型的参数。
在至少一种可能的实施方式中，上述神经网络模型包括全卷积神经网络模块和图卷积神经网络模块；其中，上述将当前训练图片输入实例化的该神经网络模型中，输出该当前训练图片中该关注对象的关键点信息的步骤，可以通过下述步骤21-22实现：
(21)将该当前训练图片输入该全卷积神经网络模块，输出该当前训练图片中该关注对象的关键点的卷积特征图。
(22)将该关注对象的关键点的卷积特征图输入该图卷积神经网络模块，输出该当前训练图片中该关注对象的关键点信息。
在其中一种可能的实施方式中，上述图卷积神经网络模块包括第一图卷积神经网络单元和第二图卷积神经网络单元。其中，该第一图卷积神经网络单元基于该关注对象的关键点在局部感受野内的相关关系建立，例如，可以通过局部空间注意力机制，使该第一图卷积神经网络单元专注于关键点在局部感受野内的特征相关关系。并且，上述第二图卷积神经网络单元基于该关注对象的关键点彼此之间的相关关系建立，例如，可以通过全局空间注意力机制，使该第二图卷积神经网络单元关注关键点在全局像素点的信息交互。
这里，上述将该关注对象的关键点的卷积特征图输入该图卷积神经网络模块，输出该当前训练图片中该关注对象的关键点信息的步骤，可以通过可下述步骤31-33实现：
(31)将该关注对象的关键点的卷积特征图分别输入该第一图卷积神经网络单元、该第二图卷积神经网络单元，对应输出该关键点的第一卷积特征图、第二卷积特征图。
在本实施例中，该第一图卷积神经网络单元的网络结构根据下述公式构建：
Figure BDA0002451953530000131
其中，
Figure BDA0002451953530000132
上述公式1中，
Figure BDA0002451953530000133
表示该第一图卷积神经网络单元的第l层网络中关键点u的输入卷积特征图；
Figure BDA0002451953530000134
表示该关键点u的隐藏特征表示；沿着channel方向将
Figure BDA0002451953530000135
分成K份，每一份特征
Figure BDA0002451953530000136
attu,v代表卷积参数；*代表卷积操作；Nu代表该关键点u的邻接关键点集合；concate(·)代表沿channel方向串联特征图；σ代表RELU激活函数；
Figure BDA0002451953530000137
表示3×3的卷积层。
为了更清楚理解第一图卷积神经网络单元的网络结构，参见图4a和图4b，所示均为本发明实施例提供的图卷积神经网络通过局部空间注意力机制进行网络更新的示意图，其中，图4a和图4b均表示了该图卷积神经网络单元的关键点u的特征从第l层网络到第l+1层网络的更新过程，通过局部注意力机制，关键点u融合了其相邻关键点v的特征，并与关键点u所在位置的局部像素点进行了信息交互。具体地，图4a展示了关键点u的单个特征的更新方式，图4b展示了关键点u的两个特征同时更新的方式。
另外，上述第二图卷积神经网络单元的网络结构根据下述公式构建：
Figure BDA0002451953530000141
其中，
Figure BDA0002451953530000142
上述公式2中，
Figure BDA0002451953530000143
表示该第二图卷积神经网络单元的第l层网络中关键点u的输入特征表示；
Figure BDA0002451953530000144
表示该关键点u的隐藏特征表示；Nu代表节点u的邻接节点集合；
Figure BDA0002451953530000145
和
Figure BDA0002451953530000146
均表示3×3的卷积层；βu,v∈RHW×HW为该第二图卷积神经网络单元中关键点u对关键点v的注意力图。
这里，参见图5，所示为一种图卷积神经网络通过全局空间注意力机制进行网络更新的示意图，其中，通过全局空间注意力机制得到了HW×HW的注意力图，使得该图卷积神经网络中的关键点u的特征，在从第l层网络到第l+1层网络的更新过程中，融合了其相邻关键点v的特征，并与全局的像素点进行信息交互。
(32)分别对该第一卷积特征图和该第二卷积特征图进行1×1卷积处理，对应得到该关键点的第一关键点信息、第二关键点信息。
这里，通过1×1卷积处理，由三维的卷积特征图得到二维的关键点信息。
(33)根据第一关键点信息和第二关键点信息，输出当前训练图片中关注对象的关键点信息。
这里，可以先对该第一关键点信息和该第二关键点信息进行特征融合，得到该关键点的第三关键点信息；然后，输出该关键点的第一关键点信息、第二关键点信息和第三关键点信息。
在至少一种可能的实施方式中，可以根据预设的特征融合公式对该第一关键点信息、该第二关键点信息进行特征融合，得到该关键点的第三关键点信息；其中，该特征融合公式为：
Figure BDA0002451953530000151
式中，Pu表示任意关键点u的第三关键点信息，
Figure BDA0002451953530000152
表示该关键点u的第一关键点信息，
Figure BDA0002451953530000153
表示该关键点u的第二关键点信息。
并且，上述第一关键点信息、第二关键点信息和第三关键点信息，均包括该关注对象的关键点位于图中各个像素点的概率。
步骤S206：基于该关键点信息、该当前训练图片的标注值，确定该神经网络模型对应的损失值。
在实际操作中，上述基于该关键点信息、该当前训练图片和预设的损失函数计算该当前训练图片的损失值的步骤，可以通过下述步骤41-43实现：
(41)根据该当前训练图片中该关注对象的关键点的标注位置，计算该关注对象的真实热图；该真实热图包括该关注对象的关键点位于该当前训练图片中各个像素点的概率；
(42)计算该真实热图与该关键点信息之间的平方误差；
(43)根据该平方误差确定该神经网络模型对应的损失值。
在其中一种可能的实施方式中，上述根据平方误差确定该神经网络模型对应的损失值的计算公式为：
Figure BDA0002451953530000154
其中，lm表示该神经网络模型对应的损失值；
Figure BDA0002451953530000155
表示该肢体结构；
Figure BDA0002451953530000156
表示该关键点u的第一关键点信息；
Figure BDA0002451953530000157
表示该关键点u的第二关键点信息；Pu表示该关键点u的第三关键点信息；Gu表示该关键点u的真实热图；||·||2表示求平方误差。
步骤S208：根据该损失值，对该神经网络模型的参数进行迭代更新，得到关键点识别模型。
在计算得到当前该神经网络模型对应的损失值之后，根据该损失值调整该神经网络模型的参数，并继续从训练集合中确定当前训练图片，以继续对该神经网络模型进行训练。
当该训练操作满足预设的训练结束条件时，将当前训练得到的该神经网络模型确定为关键点识别模型。这里，训练结束条件可以是预设的训练时长，也可以是整体的训练次数，或者其他终止条件，并且，训练结束得到的神经网络模型即确定为关键点识别模型。
为了验证本实施例训练得到的关键点识别模型的识别效果，以人体姿态识别为例，根据预设的人体关节点和关节点之间的连接关系，设置相应的人体结构，并根据该人体结构构建了关键点识别模型。参见图6和图7，其中，图6为一种通过关键点识别模型识别人体关键点的过程示意图，并且，图7示出了该关键点识别模型中图卷积神经网络模块的工作过程。
另外，还通过三个人体姿态估计权威数据集对本实施例训练得到的关键点识别模型进行了测试，测试结果见下表：
Table 1：Comparisons of PCKh@0.5scoreso on the MPII testing set
Figure BDA0002451953530000171
Table 2：Comparisons of PCK＠0.2 scores on the LSP testing set.
Figure BDA0002451953530000172
Table3：Comparison with Hourglass
Figure BDA0002451953530000173
CPN
Figure BDA0002451953530000174
and SIM
Figure BDA0002451953530000175
on COCO val2017dataset.
Their results are cited from
Figure BDA0002451953530000176
and
Figure BDA0002451953530000177
Figure BDA0002451953530000178
由上述三个表格的测试数据可见，与传统的人体姿态估计方法相比，本发明中基于训练得到的关键点识别模型，对人体关节点进行识别的方法(对应表格中Ours)，其识别结果有更高的精度。另外，参见图8，所示为一种通过关键点识别模型识别人体关键点的效果示意图，由图8可见，本发明实施例提供的姿态估计方法(对应图中Ground-Truth)可同时精修和推理关节点位置，获得更佳的估计效果。
本实施例提供的姿态估计方法，通过结合肢体结构中各个指定的关键点，以及各个关键点之间的连接关系，建立关键点识别模型并对其进行训练，进而根据训练得到的关键点识别模型确定待处理图像中目标对象的关键点，相比于传统的对各个关键点进行独立定位的方式，本发明可以提高人体姿态估计中，关键点位置的估计精度，进而提高人体姿态的估计精度。
对应于图2中所示的姿态估计方法，本发明实施例还提供了一种姿态估计装置，如图9所示，其为该姿态估计装置的结构示意图，由图9可见，该装置包括依次连接的待处理图像获取模块81、关键点信息输出模块82、关键点位置确定模块83和目标对象姿态确定模块84，其中，各个模块的功能如下：
待处理图像获取模块81，用于获取包含目标对象的待处理图像；
关键点信息输出模块82，用于将该待处理图像输入至关键点识别模型中，输出该目标对象的关键点信息；该关键点识别模型基于预设的肢体结构建立，该肢体结构包括肢体中指定的关键点，以及各个该关键点之间的连接关系；该关键点信息包括：该目标对象的关键点位于图中各个像素点的概率；
关键点位置确定模块83，用于根据该目标对象的关键点信息确定该目标对象的关键点的位置；
目标对象姿态确定模块84，用于根据该目标对象的关键点的位置以及该关键点之间的连接关系，确定该目标对象的姿态。
本实施例提供的姿态估计装置，首先获取包含目标对象的待处理图像；将该待处理图像输入至关键点识别模型中，输出该目标对象的关键点信息；该关键点识别模型基于预设的肢体结构建立，该肢体结构包括肢体中指定的关键点，以及该指定的关键点之间的连接关系；该关键点信息包括：该目标对象的关键点位于图中各个像素点的概率；然后根据该目标对象的关键点信息确定该目标对象的关键点的位置；进而根据该目标对象的关键点的位置以及该关键点之间的连接关系，确定该目标对象的姿态。该装置中，通过结合肢体结构中各个指定的关键点，以及各个关键点之间的连接关系，预先建立关键点识别模型并对其进行训练，基于该模型在对关键点进行识别时，可以根据关键点之间的相互关系对关键点位置进行调整和推理，相比于传统的对各个关键点进行独立定位的方式，本发明可以提高关键点位置的估计精度，进而提高人体姿态的估计精度。
在其中一种可能的实施方式中，上述关键点识别模型通过下述方式进行训练：根据预设的肢体结构实例化神经网络模型；将当前训练图片输入实例化的该神经网络模型中，输出该当前训练图片中该关注对象的关键点信息；该关键点信息包括：该关注对象的关键点位于图中各个像素点的概率；基于该关键点信息、该当前训练图片的标注值，确定该神经网络模型对应的损失值；根据该损失值，对该神经网络模型的参数进行迭代更新，得到关键点识别模型。
在另一种可能的实施方式中，上述神经网络模型包括全卷积神经网络模块和图卷积神经网络模块；上述将当前训练图片输入实例化的该神经网络模型中，输出该当前训练图片中该关注对象的关键点信息的步骤，包括：将该当前训练图片输入该全卷积神经网络模块，输出该当前训练图片中该关注对象的关键点的卷积特征图；将该关注对象的关键点的卷积特征图输入该图卷积神经网络模块，输出该当前训练图片中该关注对象的关键点信息。
在另一种可能的实施方式中，上述图卷积神经网络模块包括第一图卷积神经网络单元和第二图卷积神经网络单元；该第一图卷积神经网络单元基于该关注对象的关键点在局部感受野内的相关关系建立；该第二图卷积神经网络单元基于该关注对象的关键点彼此之间的相关关系建立；该将该关注对象的关键点的卷积特征图输入该图卷积神经网络模块，输出该当前训练图片中该关注对象的关键点信息的步骤，包括：将该关注对象的关键点的卷积特征图分别输入该第一图卷积神经网络单元、该第二图卷积神经网络单元，对应输出该关键点的第一卷积特征图、第二卷积特征图；分别对该第一卷积特征图和该第二卷积特征图进行1×1卷积处理，对应得到该关键点的第一关键点信息、第二关键点信息；根据第一关键点信息和第二关键点信息，输出当前训练图片中关注对象的关键点信息。
在另一种可能的实施方式中，上述根据第一关键点信息和第二关键点信息，输出当前训练图片中关注对象的关键点信息的步骤，包括：对该第一关键点信息和该第二关键点信息进行特征融合，得到该关键点的第三关键点信息；输出该关键点的第一关键点信息、第二关键点信息和第三关键点信息。
在另一种可能的实施方式中，上述第一图卷积神经网络单元的网络结构根据下述公式构建：
Figure BDA0002451953530000201
其中，
Figure BDA0002451953530000202
式中，
Figure BDA0002451953530000203
表示该第一图卷积神经网络单元的第l层网络中关键点u的输入卷积特征图；
Figure BDA0002451953530000204
表示该关键点u的隐藏特征表示；沿着channel方向将
Figure BDA0002451953530000205
分成K份，每一份特征
Figure BDA0002451953530000206
attu,v代表卷积参数；*代表卷积操作；Nu代表该关键点u的邻接关键点集合；concate(·)代表沿channel方向串联特征图；σ代表RELU激活函数；
Figure BDA0002451953530000207
表示3×3的卷积层。
在另一种可能的实施方式中，上述第二图卷积神经网络单元的网络结构根据下述公式构建：
Figure BDA0002451953530000208
其中，
Figure BDA0002451953530000209
式中，
Figure BDA00024519535300002010
表示该第二图卷积神经网络单元的第l层网络中关键点u的输入特征表示；
Figure BDA00024519535300002011
表示该关键点u的隐藏特征表示；Nu代表节点u的邻接节点集合；
Figure BDA0002451953530000211
和
Figure BDA0002451953530000212
均表示3×3的卷积层；βu,v∈RHW×HW为该第二图卷积神经网络单元中关键点u对关键点v的注意力图。
在另一种可能的实施方式中，上述对该第一关键点信息和该第二关键点信息进行特征融合，得到该关键点的第三关键点信息的步骤，包括：根据预设的特征融合公式对该第一关键点信息、该第二关键点信息进行特征融合，得到该关键点的第三关键点信息；其中，该特征融合公式为：
Figure BDA0002451953530000213
式中，Pu表示任意关键点u的第三关键点信息，
Figure BDA0002451953530000214
表示该关键点u的第一关键点信息，
Figure BDA0002451953530000215
表示该关键点u的第二关键点信息。
在另一种可能的实施方式中，上述基于该关键点信息、该当前训练图片的标注值，确定该神经网络模型对应的损失值的步骤，包括：根据该当前训练图片中该关注对象的关键点的标注值，计算该关注对象的真实热图；该真实热图包括该关注对象的关键点位于该当前训练图片中各个像素点的概率；计算该真实热图与该关键点信息之间的平方误差；根据该平方误差确定该神经网络模型对应的损失值。
在另一种可能的实施方式中，上述根据平方误差确定该神经网络模型对应的损失值的计算公式为：
Figure BDA0002451953530000216
Figure BDA0002451953530000217
其中，lm表示该神经网络模型对应的损失值；
Figure BDA0002451953530000218
表示该肢体结构；
Figure BDA0002451953530000219
表示该关键点u的第一关键点信息；
Figure BDA00024519535300002110
表示该关键点u的第二关键点信息；Pu表示该关键点u的第三关键点信息；Gu表示该关键点u的真实热图；||·||2表示求平方误差。
在另一种可能的实施方式中，上述关键点位置确定模块83还用于：对于该目标对象的每一个关键点，将该关键点对应的关键点信息中，概率最大值对应的像素点的坐标，确定为该关键点的位置。
本发明实施例提供的姿态估计装置，其实现原理及产生的技术效果和前述姿态估计方法实施例相同，为简要描述，姿态估计装置的实施例部分未提及之处，可参考前述姿态估计方法实施例中相应内容。
本发明实施例还提供了一种电子设备，如图10所示，为该电子设备的结构示意图，其中，该电子设备包括处理器91和存储器92，该存储器92存储有能够被该处理器91执行的机器可执行指令，该处理器91执行该机器可执行指令以实现上述姿态估计方法。
在图10示出的实施方式中，该电子设备还包括总线93和通信接口94，其中，处理器91、通信接口94和存储器92通过总线连接。
其中，存储器92可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口94(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图9中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
处理器91可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器91中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器91可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器91读取存储器92中的信息，结合其硬件完成前述实施例的姿态估计方法的步骤。
本发明实施例还提供了一种机器可读存储介质，该机器可读存储介质存储有机器可执行指令，该机器可执行指令在被处理器调用和执行时，该机器可执行指令促使处理器实现上述姿态估计方法，具体实现可参见前述方法实施例，在此不再赘述。
本发明实施例所提供的姿态估计方法、姿态估计装置和电子设备的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的姿态估计方法，具体实现可参见方法实施例，在此不再赘述。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (14)

1.一种姿态估计方法，其特征在于，包括：
获取包含目标对象的待处理图像；
将所述待处理图像输入至关键点识别模型中，输出所述目标对象的关键点信息；所述关键点识别模型基于预设的肢体结构建立，所述肢体结构包括肢体中指定的关键点，以及所述指定的关键点之间的连接关系；所述关键点信息包括：所述目标对象的关键点位于图中各个像素点的概率；
根据所述目标对象的关键点信息确定所述目标对象的关键点的位置；
根据所述目标对象的关键点的位置以及所述关键点之间的连接关系，确定所述目标对象的姿态。
2.根据权利要求1所述的姿态估计方法，其特征在于，所述关键点识别模型通过下述方式进行训练：
根据预设的肢体结构实例化神经网络模型；
将当前训练图片输入实例化的所述神经网络模型中，输出所述当前训练图片中关注对象的关键点信息；所述关键点信息包括：所述关注对象的关键点位于图中各个像素点的概率；
基于所述关键点信息、所述当前训练图片的标注值，确定所述神经网络模型对应的损失值；
根据所述损失值，对所述神经网络模型的参数进行迭代更新，得到所述关键点识别模型。
3.根据权利要求2所述的姿态估计方法，其特征在于，所述神经网络模型包括全卷积神经网络模块和图卷积神经网络模块；所述将当前训练图片输入实例化的所述神经网络模型中，输出所述当前训练图片中关注对象的关键点信息的步骤，包括：
将当前训练图片输入所述全卷积神经网络模块，输出所述当前训练图片中关注对象的关键点的卷积特征图；
将所述关注对象的关键点的卷积特征图输入所述图卷积神经网络模块，输出所述当前训练图片中所述关注对象的关键点信息。
4.根据权利要求3所述的姿态估计方法，其特征在于，所述图卷积神经网络模块包括第一图卷积神经网络单元和第二图卷积神经网络单元；所述第一图卷积神经网络单元基于所述关注对象的关键点在局部感受野内的相关关系建立；所述第二图卷积神经网络单元基于所述关注对象的关键点彼此之间的相关关系建立；
所述将所述关注对象的关键点的卷积特征图输入所述图卷积神经网络模块，输出所述当前训练图片中所述关注对象的关键点信息的步骤，包括：
将所述关注对象的关键点的卷积特征图分别输入所述第一图卷积神经网络单元、所述第二图卷积神经网络单元，对应输出所述关键点的第一卷积特征图、第二卷积特征图；
分别对所述第一卷积特征图和所述第二卷积特征图进行1×1卷积处理，对应得到所述关键点的第一关键点信息、第二关键点信息；
根据所述第一关键点信息和所述第二关键点信息，输出所述当前训练图片中所述关注对象的关键点信息。
5.根据权利要求4所述的姿态估计方法，其特征在于，所述根据所述第一关键点信息和所述第二关键点信息，输出所述当前训练图片中所述关注对象的关键点信息的步骤，包括：
对所述第一关键点信息和所述第二关键点信息进行特征融合，得到所述关键点的第三关键点信息；
输出所述关键点的第一关键点信息、第二关键点信息和第三关键点信息。
6.根据权利要求4所述的姿态估计方法，其特征在于，所述第一图卷积神经网络单元的网络结构根据下述公式构建：
Figure FDA0002451953520000031
其中，
Figure FDA0002451953520000032
式中，
Figure FDA0002451953520000033
表示所述第一图卷积神经网络单元的第l层网络中关键点u的输入卷积特征图；
Figure FDA0002451953520000034
表示所述关键点u的隐藏特征表示；沿着channel方向将
Figure FDA0002451953520000035
分成K份，每一份特征
Figure FDA0002451953520000036
attu,v代表卷积参数；*代表卷积操作；Nu代表所述关键点u的邻接关键点集合；concate(·)代表沿channel方向串联特征图；σ代表RELU激活函数；
Figure FDA0002451953520000037
表示3×3的卷积层。
7.根据权利要求4所述的姿态估计方法，其特征在于，所述第二图卷积神经网络单元的网络结构根据下述公式构建：
Figure FDA0002451953520000038
其中，
Figure FDA0002451953520000039
式中，
Figure FDA00024519535200000310
表示所述第二图卷积神经网络单元的第l层网络中关键点u的输入特征表示；
Figure FDA00024519535200000311
表示所述关键点u的隐藏特征表示；Nu代表节点u的邻接节点集合；
Figure FDA00024519535200000312
和
Figure FDA00024519535200000313
均表示3×3的卷积层；βu,v∈RHW×HW为所述第二图卷积神经网络单元中关键点u对关键点v的注意力图。
8.根据权利要求5所述的姿态估计方法，其特征在于，所述对所述第一关键点信息和所述第二关键点信息进行特征融合，得到所述关键点的第三关键点信息的步骤，包括：
根据预设的特征融合公式对所述第一关键点信息、所述第二关键点信息进行特征融合，得到所述关键点的第三关键点信息；其中，所述特征融合公式为：
Figure FDA0002451953520000041
式中，Pu表示任意关键点u的第三关键点信息，
Figure FDA0002451953520000042
表示所述关键点u的第一关键点信息，
Figure FDA0002451953520000043
表示所述关键点u的第二关键点信息。
9.根据权利要求2所述的姿态估计方法，其特征在于，所述基于所述关键点信息、所述当前训练图片的标注值，确定所述神经网络模型对应的损失值的步骤，包括：
根据所述当前训练图片中所述关注对象的关键点的标注值，计算所述关注对象的真实热图；所述真实热图包括所述关注对象的关键点位于所述当前训练图片中各个像素点的概率；
计算所述真实热图与所述关键点信息之间的平方误差；
根据所述平方误差确定所述神经网络模型对应的损失值。
10.根据权利要求9所述的姿态估计方法，其特征在于，根据所述平方误差确定所述神经网络模型对应的损失值的计算公式为：
Figure FDA0002451953520000044
其中，lm表示所述神经网络模型对应的损失值；
Figure FDA0002451953520000045
表示所述肢体结构；
Figure FDA0002451953520000046
表示所述关键点u的第一关键点信息；
Figure FDA0002451953520000047
表示所述关键点u的第二关键点信息；Pu表示所述关键点u的第三关键点信息；Gu表示所述关键点u的真实热图；||·||2表示求平方误差。
11.根据权利要求1所述的姿态估计方法，其特征在于，所述根据所述目标对象的关键点信息确定所述目标对象的关键点的位置的步骤，包括：
对于所述目标对象的每一个关键点，将所述关键点对应的关键点信息中，概率最大值对应的像素点的坐标，确定为所述关键点的位置。
12.一种姿态估计装置，其特征在于，包括：
待处理图像获取模块，用于获取包含目标对象的待处理图像；
关键点信息输出模块，用于将所述待处理图像输入至关键点识别模型中，输出所述目标对象的关键点信息；所述关键点识别模型基于预设的肢体结构建立，所述肢体结构包括肢体中指定的关键点，以及各个所述关键点之间的连接关系；所述关键点信息包括：所述目标对象的关键点位于图中各个像素点的概率；
关键点位置确定模块，用于根据所述目标对象的关键点信息确定所述目标对象的关键点的位置；
目标对象姿态确定模块，用于根据所述目标对象的关键点的位置以及所述关键点之间的连接关系，确定所述目标对象的姿态。
13.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现权利要求1至11任一项所述的姿态估计方法。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现权利要求1至11任一项所述的姿态估计方法。
CN202010297991.XA 2020-04-15 2020-04-15 姿态估计方法、装置及电子设备 Active CN111626105B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010297991.XA CN111626105B (zh) 2020-04-15 2020-04-15 姿态估计方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010297991.XA CN111626105B (zh) 2020-04-15 2020-04-15 姿态估计方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN111626105A true CN111626105A (zh) 2020-09-04
CN111626105B CN111626105B (zh) 2024-02-20

Family

ID=72260064

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010297991.XA Active CN111626105B (zh) 2020-04-15 2020-04-15 姿态估计方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN111626105B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111931701A (zh) * 2020-09-11 2020-11-13 平安国际智慧城市科技股份有限公司 基于人工智能的姿态识别方法、装置、终端和存储介质
CN113793250A (zh) * 2021-08-13 2021-12-14 北京迈格威科技有限公司 位姿评价方法、位姿确定方法、对应装置和电子设备
CN115578451A (zh) * 2022-09-30 2023-01-06 北京百度网讯科技有限公司 图像处理方法、图像处理模型的训练方法和装置
CN117854156A (zh) * 2024-03-07 2024-04-09 腾讯科技（深圳）有限公司 一种特征提取模型的训练方法和相关装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108062526A (zh) * 2017-12-15 2018-05-22 厦门美图之家科技有限公司 一种人体姿态估计方法及移动终端
CN110135375A (zh) * 2019-05-20 2019-08-16 中国科学院宁波材料技术与工程研究所 基于全局信息整合的多人姿态估计方法
CN110348335A (zh) * 2019-06-25 2019-10-18 平安科技（深圳）有限公司 行为识别的方法、装置、终端设备及存储介质
CN110443144A (zh) * 2019-07-09 2019-11-12 天津中科智能识别产业技术研究院有限公司 一种人体图像关键点姿态估计方法
CN110889393A (zh) * 2019-12-10 2020-03-17 上海芯翌智能科技有限公司 人体姿态估计方法及设备
CN110969105A (zh) * 2019-11-22 2020-04-07 清华大学深圳国际研究生院 一种人体姿态估计方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108062526A (zh) * 2017-12-15 2018-05-22 厦门美图之家科技有限公司 一种人体姿态估计方法及移动终端
CN110135375A (zh) * 2019-05-20 2019-08-16 中国科学院宁波材料技术与工程研究所 基于全局信息整合的多人姿态估计方法
CN110348335A (zh) * 2019-06-25 2019-10-18 平安科技（深圳）有限公司 行为识别的方法、装置、终端设备及存储介质
CN110443144A (zh) * 2019-07-09 2019-11-12 天津中科智能识别产业技术研究院有限公司 一种人体图像关键点姿态估计方法
CN110969105A (zh) * 2019-11-22 2020-04-07 清华大学深圳国际研究生院 一种人体姿态估计方法
CN110889393A (zh) * 2019-12-10 2020-03-17 上海芯翌智能科技有限公司 人体姿态估计方法及设备

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111931701A (zh) * 2020-09-11 2020-11-13 平安国际智慧城市科技股份有限公司 基于人工智能的姿态识别方法、装置、终端和存储介质
CN111931701B (zh) * 2020-09-11 2021-01-15 平安国际智慧城市科技股份有限公司 基于人工智能的姿态识别方法、装置、终端和存储介质
CN113793250A (zh) * 2021-08-13 2021-12-14 北京迈格威科技有限公司 位姿评价方法、位姿确定方法、对应装置和电子设备
CN115578451A (zh) * 2022-09-30 2023-01-06 北京百度网讯科技有限公司 图像处理方法、图像处理模型的训练方法和装置
CN115578451B (zh) * 2022-09-30 2024-01-23 北京百度网讯科技有限公司 图像处理方法、图像处理模型的训练方法和装置
CN117854156A (zh) * 2024-03-07 2024-04-09 腾讯科技（深圳）有限公司 一种特征提取模型的训练方法和相关装置
CN117854156B (zh) * 2024-03-07 2024-05-07 腾讯科技（深圳）有限公司 一种特征提取模型的训练方法和相关装置

Also Published As

Publication number Publication date
CN111626105B (zh) 2024-02-20

Similar Documents

Publication Publication Date Title
CN111626105A (zh) 姿态估计方法、装置及电子设备
CN107808111B (zh) 用于行人检测和姿态估计的方法和装置
CN108460362B (zh) 一种检测人体部位的系统及方法
JP4951498B2 (ja) 顔画像認識装置、顔画像認識方法、顔画像認識プログラムおよびそのプログラムを記録した記録媒体
US11423699B2 (en) Action recognition method and apparatus and electronic equipment
CN109101901B (zh) 人体动作识别及其神经网络生成方法、装置和电子设备
US11417095B2 (en) Image recognition method and apparatus, electronic device, and readable storage medium using an update on body extraction parameter and alignment parameter
CN109299658B (zh) 脸部检测方法、脸部图像渲染方法、装置及存储介质
WO2021190321A1 (zh) 图像处理方法和装置
US11335025B2 (en) Method and device for joint point detection
US20150002518A1 (en) Image generating apparatus
CN112016371A (zh) 人脸关键点检测方法、装置、设备及存储介质
CN110874865A (zh) 三维骨架生成方法和计算机设备
JP2012022411A (ja) 情報処理装置及びその制御方法、プログラム
WO2022002262A1 (zh) 基于计算机视觉的字符序列识别方法、装置、设备和介质
CN108875506B (zh) 人脸形状点跟踪方法、装置和系统及存储介质
KR20200066405A (ko) 3차원 신체 모델 측정 장치 및 방법
CN114640833A (zh) 投影画面调整方法、装置、电子设备和存储介质
CN110909691B (zh) 动作检测方法、装置、计算机可读存储介质和计算机设备
US11989928B2 (en) Image processing system
CN111931725B (zh) 人体动作识别方法、设备及存储介质
JP2005031044A (ja) 三次元誤差測定装置
CN109657729B (zh) 图像特征融合、特征图处理及姿态识别方法、装置及系统
WO2016136214A1 (ja) 識別器学習装置、滞留物体検出システム、識別器学習方法、滞留物体検出方法およびプログラム記録媒体
US11610385B2 (en) Information processing apparatus, control method, and non-transitory storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant