CN112883761B - 姿态估计模型的构建方法、装置、设备及存储介质 - Google Patents
姿态估计模型的构建方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN112883761B CN112883761B CN201911201383.8A CN201911201383A CN112883761B CN 112883761 B CN112883761 B CN 112883761B CN 201911201383 A CN201911201383 A CN 201911201383A CN 112883761 B CN112883761 B CN 112883761B
- Authority
- CN
- China
- Prior art keywords
- human body
- body posture
- estimation model
- node
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010276 construction Methods 0.000 title claims description 17
- 238000000034 method Methods 0.000 claims abstract description 38
- 230000036544 posture Effects 0.000 claims description 206
- 238000012549 training Methods 0.000 claims description 7
- 108010001267 Protein Subunits Proteins 0.000 claims description 5
- 230000003247 decreasing effect Effects 0.000 claims description 2
- 238000013461 design Methods 0.000 abstract description 14
- 238000010586 diagram Methods 0.000 description 13
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 2
- 210000003423 ankle Anatomy 0.000 description 2
- 210000001513 elbow Anatomy 0.000 description 2
- 210000003127 knee Anatomy 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000037396 body weight Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本公开关于一种姿态估计模型的构建方法、装置、设备及存储介质，该方法包括构建包括多个网络单元的初始姿态估计模型，根据每个节点中不同卷积操作的连接权重进行排序，针对每个节点保留连接权重排序在前N位的卷积操作并对前N位的卷积操作的操作结果进行加权求和作为节点的输出结果；根据每个子单元中多个节点的输入端连接权重进行排序，针对每个子单元保留输入端连接权重排序在前M位的节点；根据与每个人体姿态特征连接的其他人体姿态特征的连接权重进行排序，针对每个人体姿态特征保留连接权重排序在前L位的其他人体姿态特征，获得目标姿态估计模型。本公开实现姿态估计模型的自动设计，避免无效的人工劳动，提高姿态估计模型的设计效率。
Description
技术领域
本公开涉及信息处理技术领域，尤其涉及一种姿态估计模型的构建方法、装置、设备及存储介质。
背景技术
人体姿态估计旨在从单张RGB图像中估计人的各种关键点，如：手腕、胳膊肘、脚踝、膝盖等。人体姿态估计是一个具有重大现实使用意义的研究方向，比如在无人驾驶、虚拟试衣等应用中，人体姿态估计是较为核心的一个技术点。
相关技术中可基于神经网络来实现人体姿态估计。然而，现有的神经网络的设计策略需要由人根据经验决定，导致大量无效的人工劳动，且设计效率低。
发明内容
本公开提供一种姿态估计模型的构建方法、装置及系统，以提高姿态估计模型的设计效率。本公开的技术方案如下：
根据本公开实施例的第一方面，提供一种姿态估计模型的构建方法，所述方法包括：构建包括多个网络单元的初始姿态估计模型，其中，每个所述网络单元用于连接两个人体姿态特征，所述网络单元的输出端连接的人体姿态特征根据输入端连接的人体姿态特征生成；每个所述网络单元包括多个子单元，并且每个子单元包括多个节点，每个节点对输入进行多种不同的卷积操作并对操作结果进行加权求和作为所述节点的输出结果；根据每个节点中不同卷积操作的连接权重进行排序，针对每个节点保留连接权重排序在前N位的卷积操作并对所述前N位的卷积操作的操作结果进行加权求和作为所述节点的输出结果；其中，N为正整数且小于所述节点中卷积操作的总数；根据每个子单元中多个节点的输入端连接权重进行排序，针对每个子单元保留输入端连接权重排序在前M位的节点；其中，M为正整数且小于所述子单元中节点的总数；根据与每个人体姿态特征连接的其他人体姿态特征的连接权重进行排序，针对每个人体姿态特征保留连接权重排序在前L位的其他人体姿态特征，获得目标姿态估计模型；其中，L为正整数且小于所述子单元中节点的总数；其中，每个节点中不同卷积操作的连接权重、每个子单元中每个节点的输入端连接权重以及每个人体姿态特征与其他人体姿态特征的连接权重是根据包含人体关键点标注信息的样本人体图像对所述初始姿态估计模型进行训练得到的，并且是与人体姿态相关的权重。
在本公开实施例中，所述人体姿态特征的输入端特征包括：相同特征层的前一列对应的人体姿态特征和上下两个相邻特征层的前一列对应的人体姿态特征。
在本公开实施例中，每个所述子单元中的多个节点输出之和形成所述子单元的输出，所述子单元的输入端与所在网络单元内位于所述子单元之前的所有子单元的输出端，以及位于所在网络单元之前的多个网络单元的输出端连接。
在本公开实施例中，所述针对每个节点保留连接权重排序在前N位的卷积操作并对所述前N位的卷积操作进行加权求和，包括：保留所述节点中连接权重最大的卷积操作，删除其他卷积操作。
在本公开实施例中，所述针对每个子单元保留输入端连接权重排序在前M位的节点，包括：保留所述子单元中输入端连接权重最大的两个节点，删除其他节点。
在本公开实施例中，所述根据与每个人体姿态特征连接的其他人体姿态特征的连接权重进行排序，针对每个人体姿态特征保留连接权重排序在前L位的其他人体姿态特征，获得目标姿态估计模型，包括：从末端的人体姿态特征开始，保留与所述人体姿态特征的连接权重最大的两个人体姿态特征，删除与所述人体姿态特征连接的其他人体姿态特征。
在本公开实施例中，所述构建包括多个网络单元的初始姿态估计模型，包括：将所述多个网络单元形成倒三角形状，并使每一行所包含的人体姿态特征的数目逐行递减。
根据本公开实施例的第二方面，提供一种姿态估计模型的构建装置，所述装置包括：构建模块，用于构建包括多个网络单元的初始姿态估计模型，其中，每个所述网络单元用于连接两个人体姿态特征，所述网络单元的输出端连接的人体姿态特征根据输入端连接的人体姿态特征生成；每个所述网络单元包括多个子单元，并且每个子单元包括多个节点，每个节点对输入进行多种不同的卷积操作并对操作结果进行加权求和作为所述节点的输出结果；第一简化模块，用于根据每个节点中不同卷积操作的连接权重进行排序，针对每个节点保留连接权重排序在前N位的卷积操作并对所述前N位的卷积操作的操作结果进行加权求和作为所述节点的输出结果；其中，N为正整数且小于所述节点中卷积操作的总数；第二简化模块，用于根据每个子单元中多个节点的输入端连接权重进行排序，针对每个子单元保留输入端连接权重排序在前M位的节点；其中，M为正整数且小于所述子单元中节点的总数；第三简化模块，用于根据与每个人体姿态特征连接的其他人体姿态特征的连接权重进行排序，针对每个人体姿态特征保留连接权重排序在前L位的其他人体姿态特征，获得目标姿态估计模型；其中，L为正整数且小于所述子单元中节点的总数；其中，每个节点中不同卷积操作的连接权重、每个子单元中每个节点的输入端连接权重以及每个人体姿态特征与其他人体姿态特征的连接权重是根据包含人体关键点标注信息的样本人体图像对所述初始姿态估计模型进行训练得到的，并且是与人体姿态相关的权重。
在本公开实施例中，所述人体姿态特征的输入端特征包括：相同特征层的前一列对应的人体姿态特征和上下两个相邻特征层的前一列对应的人体姿态特征。
在本公开实施例中，每个所述子单元中的多个节点输出之和形成所述子单元的输出，所述子单元的输入端与所在网络单元内位于所述子单元之前的所有子单节点中权元的输出端，以及位于所在网络单元之前的多个网络单元的输出端连接。
在本公开实施例中，所述第一简化模块还被配置为执行保留所述重最大的卷积操作，删除其他卷积操作。
在本公开实施例中，所述第二简化模块还被配置为执行保留所述子单元中权重最大的两个节点，删除其他节点。
在本公开实施例中，所述第三简化模块还被配置为执行从末端的人体姿态特征开始，保留与所述人体姿态特征的连接权重最大的两个人体姿态特征，删除与所述人体姿态特征连接的其他人体姿态特征。
在本公开实施例中，所述构建模块还被配置为执行将所述多个网络单元形成倒三角形状，并使每一行所包含的人体姿态特征的数目逐行递减。
根据本公开实施例的第三方面，提供一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现上述任一项所述的姿态估计模型的构建方法。
根据本公开实施例的第四方面，提供一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行上述任一项所述的姿态估计模型的构建方法。
本公开的实施例提供的技术方案至少带来以下有益效果：
本公开通过根据每个节点中不同卷积操作的连接权重排序，对所述节点中的卷积操作进行简化，以及根据每个子单元中多个节点的输入端连接权重排序，对所述子单元的结构进行简化，以及根据每个人体姿态特征与其他人体姿态特征连接的权重进行排序，对人体姿态特征之间的连接进行简化，得到目标姿态估计模型，每个节点中不同卷积操作的连接权重、每个子单元中每个节点的输入端连接权重以及每个特征与其他特征的连接权重与所述输入图像中的人体姿态相关的权重，因而通过上述简化过程可以实现姿态估计模型的自动设计，避免无效的人工劳动，提高姿态估计模型的设计效率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是本公开至少一个实施例提出的一种姿态估计模型的构建方法的流程图；
图2是本公开至少一个实施例提出的网络单元的架构示意图；
图3是本公开至少一个实施例提出的节点操作示意图；
图4是本公开至少一个实施例提出的初始姿态估计模型的架构示意图；
图5是根据本公开至少一个实施例提出的姿态估计模型的构建方法中简化后的网络单元的结构示意图；
图6是根据本公开至少一个实施例提出的姿态估计模型的构建方法中简化后的节点的结构示意图；
图7是本公开至少一个实施例提出的一种姿态估计模型的构建方法中剪枝后的姿态估计模型的结构示意图；
图8是根本公开至少一个实施例提出的一种姿态估计模型的构建装置的框图。
图9是本公开至少一个实施例提出的一种姿态估计模型的构建电子设备的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1是根据第一示例性实施例示出的一种姿态估计模型的构建方法的流程图。本公开实施例的姿态估计模型的构建方法可以用于服务端(如，一台服务器或多台服务器组成的服务器集群等)中，或者，可以用于终端设备(如，笔记本电脑或台式电脑等)。
人体姿态估计旨在从单张RGB图像中估计人的各种关键点，如：手腕、胳膊肘、脚踝、膝盖等。人体姿态估计在无人驾驶、虚拟试衣等应用中具有重要作用。相关技术中的姿态估计模型，无论是沙漏网络(Hourglass)还是CPM(Convolutional Pose Machine，卷积姿态估计器)或者HRNet(Human Pose EstimationNetwork，人体姿态估计网络)，网络的上采样和下采样均由人工设计，是否合理值得怀疑。在本公开实施例中，使用完全可微分的方法，并以网络单元作为基本的搜索单元进行自动化搜索，使网络自动选择各节点中的卷积操作，并使网络自动选择上采样或下采样。
如图1所示，所述的姿态估计模型的构建方法包括以下步骤S101-S104。
在步骤S101中，构建包括多个网络单元的初始姿态估计模型。
在本公开实施例中，每个所述网络单元用于连接两个人体姿态特征，所述网络单元的输出端连接的人体姿态特征根据输入端连接的人体姿态特征生成。例如，所述网络单元用于将人体姿态特征Fij连接至人体姿态特征Fmn，其中，Fij为网络单元输入端连接的人体姿态特征，Fmn为网络单元输出端连接的人体姿态特征，i、m为人体姿态特征所在特征层的层号，j、n为人体姿态特征在所述初始姿态估计模型中对应的列号。
在本公开实施例中，每个所述网络单元包括多个子单元，并且每个子单元包括多个节点(Node)，每个节点对输入进行多种不同的卷积操作并对操作结果进行加权求和作为所述节点的输出结果。
举例来说，图2是根据一示例性实施例示出的网络单元的架构示意图。如图2所示，网络单元(如图中最大的虚线框所示)中包含4个子单元，也可以将其称为块(block)，而这4个子单元分别包含2、3、4、5个节点。其中，Ck-2，Ck-1，Ck表示网络单元。本领域技术应当理解，以上网络单元中包含的子单元数目，以及子单元中包含节点的数目仅为示例，本公开对此不进行限制。
图3是根据一示例性实施例示出的节点操作示意图。如图3所示，节点的输入为I，输出为O，对于输入I进行多种卷积操作，并对多种卷积操作的卷积结果进行加权求和，并可以通过批归一化(BN)处理后得到输出O。数学表达式可以由下式(1)所示：
其中，op表示卷积操作，w为卷积操作所对应的权重。
上述多种卷积操作可以包括1x1卷积、3x卷积、3x3深度(depthwise)卷积、3x3膨胀(dilation)2卷积、5x5卷积、5x5深度卷积、5x5膨胀2卷积、同一化核(Identity)卷积以及不操作(None op)中的至少一种，本公开实施例对此不进行限定。
在构建了初始姿态估计模型后，可以利用包含人体关键点标注信息的样本人体图像对所述初始估计模型进行训练。在所述初始姿态估计模型预测得到的人体关键点与样本人体图像中标注的关键点的损失在设定阈值之内，或者训练达到设定的迭代次数时，完成训练。在完成训练后，可以获得每个节点中不同卷积操作的连接权重、每个子单元中每个节点的输入端连接权重以及每个人体姿态特征与其他人体姿态特征的连接权重，并且这些连接权重是与人体权重相关的权重。在接下来的步骤中，可以利用所得到的权重对所述初始姿态估计模型进行结构上的简化。
在步骤102中，根据每个节点中不同卷积操作的连接权重进行排序，针对每个节点保留连接权重排序在前N位的卷积操作并对所述前N位的卷积操作的操作结果进行加权求和作为所述节点的输出结果；其中，N为正整数且小于所述节点中卷积操作的总数。
在本公开实施例中，可以通过以下方法对每个节点中的卷积操作进行简化：将排序结果中满足设定条件的N个卷积操作进行保留，删除其他不满足设定条件的卷积操作，以达到简化当前节点的目的。值得说明的是，上述L的数值可以根据实际需要进行设置，本公开实施例对此不进行限定。
在步骤S103中，根据每个子单元中多个节点的输入端连接权重进行排序，针对每个子单元保留输入端连接权重排序在前M位的节点；其中，M为正整数且小于所述子单元中节点的总数。
在本公开实施例中，可以通过以下方法对网络单元的结构进行简化：将每个子单元中多个节点的输入端连接权重按照数值大小进行排序，进而可以根据连接权重排序结果，将其中满足预设条件的M个节点进行保留，并删除其他不满足预设条件的节点，以达到简化当前网络单元的目的。值得说明的是，上述M的数值可以根据实际需要进行设置，本公开实施例对此不进行限定。
在步骤S104中，根据与每个人体姿态特征连接的其他人体姿态特征的连接权重进行排序，针对每个人体姿态特征保留连接权重排序在前L位的其他人体姿态特征，获得目标姿态估计模型；其中，L为正整数且小于所述子单元中节点的总数。
在本公开实施例中，可以通过以下方法对姿态估计模型的结构进行简化，也即进行剪枝：针对每个人体姿态特征，保留与该人体姿态特征的连接权重最大的L个人体姿态特征，并删除与该人体姿态特征连接的其他人体姿态特征，以得到目标姿态估计模型。值得说明的是，上述L的数值可以根据实际需要进行设置，本公开实施例对此不进行限定。
在本公开实施例中，在得到目标姿态估计模型后，可以利用包含人体关键点标注的样本人体图像对所述目标姿态估计模型重新进行训练，训练完成的姿态估计模型可用于对输入图像进行人体姿态估计，得到所述输入图像中的人体关键点。
本公开实施例通过根据每个节点中不同卷积操作的连接权重排序，对所述节点中的卷积操作进行简化，以及根据每个子单元中多个节点的输入端连接权重排序，对所述子单元的结构进行简化，以及根据每个人体姿态特征与其他人体姿态特征连接的权重进行排序，对人体姿态特征之间的连接进行简化，得到目标姿态估计模型，每个节点中不同卷积操作的连接权重、每个子单元中每个节点的输入端连接权重以及每个特征与其他特征的连接权重与所述输入图像中的人体姿态相关的权重，因而通过上述简化过程可以实现姿态估计模型的自动设计，避免无效的人工劳动，提高姿态估计模型的设计效率。
在一些实施例中，所构建的初始姿态估计模型中，所述人体姿态特征的输入端特征包括：相同特征层的前一列对应的人体姿态特征和上下两个相邻特征层的前一列对应的人体姿态特征，以及之上的特征层中之前列对应的人体姿态特征。
图4是本公开至少一个实施例提出的初始姿态估计模型的架构示意图。如图4所示，所述多个网络单元形成倒三角形状，并且每一行所包含的人体姿态特征的数目逐行递减。其中，每个节点均表示一个人体姿态特征(Feature Map)，利用网络单元连接两个人体姿态特征，所述网络单元的输出端连接的人体姿态特征根据输入端连接的人体姿态特征生成。以第3行第4列的人体姿态特征F34为例，其输入端特征包括：与相同层的前一列对应的人体姿态特征F33、上下相邻特征层的前一列对应的人体姿态特征F23(下相邻特征层的前一列对应的人体姿态为空)，以及之上特征层之前列对应的人体姿态F22、F11、F12、F13。也即，除了相邻的人体姿态特征的正常连接外，在特征层之上，以及列之前的所有人体姿态特征均可以连接到人体姿态特征F34。其他人体姿态特征类似，在此不进行赘述。
通过利用网络单元构建倒三角形状的神经网络以及利用网络单元接两个人体姿态特征，可以实现对姿态估计模型的合理构造，进而可以为后续对姿态估计模型的简化奠定基础，避免了姿态估计模型的设依依赖于设计人员的经验，导致无效的人工劳动，设计效率低。
本公开实施例中，第(i,j)个人体姿态特征与所有人体姿态特征的关系可以由下式(2)表示：
Fij＝∑l∑kOlk→ij(Flk)wlk→ij (2)
其中Olk→ij表示第lk个人体姿态特征连接到第ij个人体姿态特征用到的网络单元，wlk→ij表示连接权重。以网络单元作为基本的搜索单元，在搜索完成后，对于每个人体姿态特征Fij，所有与它的连接权重的集合可以如下式(3)所示：
{wlk→ij} (3)
在一些实施例中，每个所述子单元中的多个节点输出之和形成所述子单元的输出，所述子单元的输入端与所在网络单元内位于所述子单元之前的所有子单元的输出端，以及位于所在网络单元之前的多个网络单元的输出端连接。
仍参见图2所示的网络单元的架构示意图，节点3、4、5输出之和形成所在的子单元的输出，该子单元的输入端与前一子单元(包含节点1、2的子单元)连接，并且与之前的两个网络单元Ck-1和Ck-2的输出端连接。本领域技术人员应当理解，子单元所连接的之前的网络单元的输出端的数目根据其所包含的节点数目确定，不限于以上所述。
在一些实施例中，对于节点的简化，可以保留所述节点中连接权重最大的卷积操作，删除其他卷积操作。
本公开实施例中，所构建的初始姿态估计模型中节点的初始卷积操作如图3所示。对于每一个节点所对应的一组卷积操作的权重w1,w2,……,wn，可以保留连接权重最大的卷积操作，并删除其他卷积操作。例如，若w1最大，则保留w1所对应的卷积操作1，删除其他的卷积操作，得到的节点的简化结果如图5所示。
在本公开实施例中，对于网络单元的结构简化，可以保留所述子单元中输入端连接权重最大的两个节点，删除其他节点。
仍参见图2所示，对于每个子单元，保留权重最大的两个节点，并删除其他节点，网络单元的简化结果如图6所示。
在一些实施例中，可以利用以下方法对于进行节点卷积操作简化、以及网络单元结构简化后的姿态估计模型进行剪枝：从末端的人体姿态特征开始，保留与所述人体姿态特征的连接权重最大的两个人体姿态特征，删除与所述人体姿态特征连接的其他人体姿态特征。
如图4所示，可以从神经网络末端(例如，人体姿态特征F19)开始，选择与该人体姿态特征的连接权重最大的两个特征(例如，人体姿态特征F18和人体姿态特征F27)，接着递归的处理选取的两个人体姿态特征(即人体姿态特征F18和人体姿态特征F27)，以此类推，直至所有的人体姿态特征均处理完，可以得到如图7所示的目标姿态估计模型。
由上述可知，本公开实施例通过根据每个节点中不同卷积操作的连接权重排序，对所述节点中的卷积操作进行简化，以及根据每个子单元中多个节点的输入端连接权重排序，对所述子单元的结构进行简化，以及根据每个人体姿态特征与其他人体姿态特征连接的权重进行排序，对人体姿态特征之间的连接进行简化，得到目标姿态估计模型，每个节点中不同卷积操作的连接权重、每个子单元中每个节点的输入端连接权重以及每个特征与其他特征的连接权重与所述输入图像中的人体姿态相关的权重，因而通过上述简化过程可以实现姿态估计模型的自动设计，避免无效的人工劳动，提高姿态估计模型的设计效率。
图8是根据一示例性实施例示出的一种姿态估计模型的构建装置的框图。本公开实施例的姿态估计模型的构建装置可以用于服务端(如，一台服务器或多台服务器组成的服务器集群等)中，或者，可以用于终端设备(如，笔记本电脑或台式电脑等)。
如图8所示，本公开实施例的姿态估计模型的构建装置包括：构建模块810、第一简化模块820、第二简化模块830以及第三简化模块840，其中：
构建模块810110，被配置为执行根据每个节点中不同卷积操作的连接权重排序，对所述节点进行简化；
第一简化模块820，被配置为执行根据每个节点中不同卷积操作的连接权重进行排序，针对每个节点保留连接权重排序在前N位的卷积操作并对所述前N位的卷积操作的操作结果进行加权求和作为所述节点的输出结果；其中，N为正整数且小于所述节点中卷积操作的总数；
第二简化模块830，被配置为执行根据每个子单元中多个节点的输入端连接权重进行排序，针对每个子单元保留输入端连接权重排序在前M位的节点；其中，M为正整数且小于所述子单元中节点的总数；
第三简化模块840，被配置为执行根据与每个人体姿态特征连接的其他人体姿态特征的连接权重进行排序，针对每个人体姿态特征保留连接权重排序在前L位的其他人体姿态特征，获得目标姿态估计模型；其中，L为正整数且小于所述子单元中节点的总数。
本公开实施例通过根据每个节点中不同卷积操作的连接权重排序，对所述节点中的卷积操作进行简化，以及根据每个子单元中多个节点的输入端连接权重排序，对所述子单元的结构进行简化，以及根据每个人体姿态特征与其他人体姿态特征连接的权重进行排序，对人体姿态特征之间的连接进行简化，得到目标姿态估计模型，每个节点中不同卷积操作的连接权重、每个子单元中每个节点的输入端连接权重以及每个特征与其他特征的连接权重与所述输入图像中的人体姿态相关的权重，因而通过上述简化过程可以实现姿态估计模型的自动设计，避免无效的人工劳动，提高姿态估计模型的设计效率。
在一些实施例中，所述人体姿态特征的输入端特征包括：相同特征层的前一列对应的人体特征姿态和上下两个相邻特征层的前一列对应的人体特征姿态。
在一些实施例中，每个所述子单元中的多个节点输出之和形成所述子单元的输出，所述子单元的输入端与所在网络单元内位于所述子单元之前的所有子单节点中权元的输出端，以及位于所在网络单元之前的多个网络单元的输出端连接。
在一些实施例中，第一简化模块820还被配置为执行保留所述重最大的卷积操作，删除其他卷积操作。
在一些实施例中，第二简化模块830还被配置为执行保留所述子单元中权重最大的两个节点，删除其他节点。
在一些实施例中，第三简化模块840还被配置为执行从末端的人体姿态特征开始，保留与所述人体姿态特征的连接权重最大的两个人体姿态特征，删除与所述人体姿态特征连接的其他人体姿态特征。
在一些实施例中，构建模块810还被配置为执行将所述多个网络单元形成倒三角形状，并使每一行所包含的人体姿态特征的数目逐行递减。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
值得说明的是，上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。
本发明的姿态估计模型的构建装置的实施例可以应用在电子设备上。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的，其中计算机程序用于执行上述图1所示实施例提供的姿态估计模型的构建方法。从硬件层面而言，如图9所示，为本公开的姿态估计模型的构建设备的硬件结构图，除了图9所示的处理器、网络接口、内存以及非易失性存储器之外，所述设备通常还可以包括其他硬件，如负责处理报文的转发芯片等等；从硬件结构上来讲该设备还可能是分布式的设备，可能包括多个接口卡，以便在硬件层面进行报文处理的扩展。
另一方面，本申请还提供了一种计算机可读存储介质，当该存储介质中存储的计算机程序由姿态估计模型的构建电子设备的处理器执行时，使得姿态估计模型的构建电子设备能够执行上述图1所示实施例提供的姿态估计模型的构建方法。
另一方面，本申请还提供了一种计算机程序产品，当该计算机程序产品由姿态估计模型的构建电子设备的处理器执行时，使得姿态估计模型的构建电子设备能够执行上述图1所示实施例提供的姿态估计模型的构建方法。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (16)
1.一种姿态估计模型的构建方法，其特征在于，所述方法包括：
构建包括多个网络单元的初始姿态估计模型，其中，每个所述网络单元用于连接两个人体姿态特征，所述网络单元的输出端连接的人体姿态特征根据输入端连接的人体姿态特征生成；每个所述网络单元包括多个子单元，并且每个子单元包括多个节点，每个节点对输入进行多种不同的卷积操作并对操作结果进行加权求和作为所述节点的输出结果；
根据每个节点中不同卷积操作的连接权重进行排序，针对每个节点保留连接权重排序在前N位的卷积操作并对所述前N位的卷积操作的操作结果进行加权求和作为所述节点的输出结果；其中，N为正整数且小于所述节点中卷积操作的总数；
根据每个子单元中多个节点的输入端连接权重进行排序，针对每个子单元保留输入端连接权重排序在前M位的节点；其中，M为正整数且小于所述子单元中节点的总数；
根据与每个人体姿态特征连接的其他人体姿态特征的连接权重进行排序，针对每个人体姿态特征保留连接权重排序在前L位的其他人体姿态特征，获得目标姿态估计模型；其中，L为正整数且小于所述子单元中节点的总数；
其中，每个节点中不同卷积操作的连接权重、每个子单元中每个节点的输入端连接权重以及每个人体姿态特征与其他人体姿态特征的连接权重是根据包含人体关键点标注信息的样本人体图像对所述初始姿态估计模型进行训练得到的，并且是与人体姿态相关的权重。
2.根据权利要求1所述的姿态估计模型的构建方法，其特征在于，所述人体姿态特征的输入端特征包括：相同特征层的前一列对应的人体姿态特征和上下两个相邻特征层的前一列对应的人体姿态特征。
3.根据权利要求1所述的姿态估计模型的构建方法，其特征在于，每个所述子单元中的多个节点输出之和形成所述子单元的输出，所述子单元的输入端与所在网络单元内位于所述子单元之前的所有子单元的输出端，以及位于所在网络单元之前的多个网络单元的输出端连接。
4.根据权利要求1至3任一项所述的姿态估计模型的构建方法，其特征在于，所述针对每个节点保留连接权重排序在前N位的卷积操作并对所述前N位的卷积操作进行加权求和，包括：
保留所述节点中连接权重最大的卷积操作，删除其他卷积操作。
5.根据权利要求1至3任一项所述的姿态估计模型的构建方法，其特征在于，所述针对每个子单元保留输入端连接权重排序在前M位的节点，包括：
保留所述子单元中输入端连接权重最大的两个节点，删除其他节点。
6.根据权利要求1至3任一项所述的姿态估计模型的构建方法，其特征在于，所述根据与每个人体姿态特征连接的其他人体姿态特征的连接权重进行排序，针对每个人体姿态特征保留连接权重排序在前L位的其他人体姿态特征，获得目标姿态估计模型，包括：
从末端的人体姿态特征开始，保留与所述人体姿态特征的连接权重最大的两个人体姿态特征，删除与所述人体姿态特征连接的其他人体姿态特征。
7.根据权利要求1至3任一项所述的姿态估计模型的构建方法，其特征在于，所述构建包括多个网络单元的初始姿态估计模型，包括：
将所述多个网络单元形成倒三角形状，并使每一行所包含的人体姿态特征的数目逐行递减。
8.一种姿态估计模型的构建装置，其特征在于，所述装置包括：
构建模块，用于构建包括多个网络单元的初始姿态估计模型，其中，每个所述网络单元用于连接两个人体姿态特征，所述网络单元的输出端连接的人体姿态特征根据输入端连接的人体姿态特征生成；每个所述网络单元包括多个子单元，并且每个子单元包括多个节点，每个节点对输入进行多种不同的卷积操作并对操作结果进行加权求和作为所述节点的输出结果；
第一简化模块，用于根据每个节点中不同卷积操作的连接权重进行排序，针对每个节点保留连接权重排序在前N位的卷积操作并对所述前N位的卷积操作的操作结果进行加权求和作为所述节点的输出结果；其中，N为正整数且小于所述节点中卷积操作的总数；
第二简化模块，用于根据每个子单元中多个节点的输入端连接权重进行排序，针对每个子单元保留输入端连接权重排序在前M位的节点；其中，M为正整数且小于所述子单元中节点的总数；
第三简化模块，用于根据与每个人体姿态特征连接的其他人体姿态特征的连接权重进行排序，针对每个人体姿态特征保留连接权重排序在前L位的其他人体姿态特征，获得目标姿态估计模型；其中，L为正整数且小于所述子单元中节点的总数；
其中，每个节点中不同卷积操作的连接权重、每个子单元中每个节点的输入端连接权重以及每个人体姿态特征与其他人体姿态特征的连接权重是根据包含人体关键点标注信息的样本人体图像对所述初始姿态估计模型进行训练得到的，并且是与人体姿态相关的权重。
9.根据权利要求8所述的姿态估计模型的构建装置，其特征在于，所述人体姿态特征的输入端特征包括：相同特征层的前一列对应的人体姿态特征和上下两个相邻特征层的前一列对应的人体姿态特征。
10.根据权利要求8所述的姿态估计模型的构建装置，其特征在于，每个所述子单元中的多个节点输出之和形成所述子单元的输出，所述子单元的输入端与所在网络单元内位于所述子单元之前的所有子单元的输出端，以及位于所在网络单元之前的多个网络单元的输出端连接。
11.根据权利要求8至10任一项所述的姿态估计模型的构建装置，其特征在于，所述第一简化模块还被配置为执行保留所述节点中连接权重最大的卷积操作，删除其他卷积操作。
12.根据权利要求8至10任一项所述的姿态估计模型的构建装置，其特征在于，所述第二简化模块还被配置为执行保留所述子单元中权重最大的两个节点，删除其他节点。
13.根据权利要求8至10任一项所述的姿态估计模型的构建装置，其特征在于，所述第三简化模块还被配置为执行从末端的人体姿态特征开始，保留与所述人体姿态特征的连接权重最大的两个人体姿态特征，删除与所述人体姿态特征连接的其他人体姿态特征。
14.根据权利要求8至10任一项所述的姿态估计模型的构建装置，其特征在于，所述构建模块还被配置为执行将所述多个网络单元形成倒三角形状，并使每一行所包含的人体姿态特征的数目逐行递减。
15.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至7中任一项所述的姿态估计模型的构建方法。
16.一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至7中任一项所述的姿态估计模型的构建方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911201383.8A CN112883761B (zh) | 2019-11-29 | 2019-11-29 | 姿态估计模型的构建方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911201383.8A CN112883761B (zh) | 2019-11-29 | 2019-11-29 | 姿态估计模型的构建方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112883761A CN112883761A (zh) | 2021-06-01 |
| CN112883761B true CN112883761B (zh) | 2023-12-12 |
Family
ID=76039625
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911201383.8A Active CN112883761B (zh) | 2019-11-29 | 2019-11-29 | 姿态估计模型的构建方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112883761B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106780569A (zh) * | 2016-11-18 | 2017-05-31 | 深圳市唯特视科技有限公司 | 一种人体姿态估计行为分析方法 |
| CN108629797A (zh) * | 2018-04-28 | 2018-10-09 | 四川大学 | 一种基于粒子滤波的视觉目标跟踪方法 |
| CN109711462A (zh) * | 2018-12-25 | 2019-05-03 | 北京迈格威科技有限公司 | 姿态估计及网络训练方法、装置和系统及存储介质 |
| CN109977827A (zh) * | 2019-03-17 | 2019-07-05 | 浙江大学 | 一种使用多视图匹配方法的多人三维姿态估计方法 |
| CN110175575A (zh) * | 2019-05-29 | 2019-08-27 | 南京邮电大学 | 一种基于新型高分辨率网络模型的单人姿态估计方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8837811B2 (en) * | 2010-06-17 | 2014-09-16 | Microsoft Corporation | Multi-stage linear structure from motion |
| US9280827B2 (en) * | 2013-07-03 | 2016-03-08 | Mitsubishi Electric Research Laboratories, Inc. | Method for determining object poses using weighted features |
-
2019
- 2019-11-29 CN CN201911201383.8A patent/CN112883761B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106780569A (zh) * | 2016-11-18 | 2017-05-31 | 深圳市唯特视科技有限公司 | 一种人体姿态估计行为分析方法 |
| CN108629797A (zh) * | 2018-04-28 | 2018-10-09 | 四川大学 | 一种基于粒子滤波的视觉目标跟踪方法 |
| CN109711462A (zh) * | 2018-12-25 | 2019-05-03 | 北京迈格威科技有限公司 | 姿态估计及网络训练方法、装置和系统及存储介质 |
| CN109977827A (zh) * | 2019-03-17 | 2019-07-05 | 浙江大学 | 一种使用多视图匹配方法的多人三维姿态估计方法 |
| CN110175575A (zh) * | 2019-05-29 | 2019-08-27 | 南京邮电大学 | 一种基于新型高分辨率网络模型的单人姿态估计方法 |
Non-Patent Citations (2)
| Title |
|---|
| 基于视频的实时多人姿态估计方法;闫芬婷;王鹏;吕志刚;丁哲;乔梦雨;;激光与光电子学进展(第02期);全文 * |
| 复杂场景下的多人实时姿态估计;华国光;中国优秀硕士学位论文全文数据库信息科技辑;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112883761A (zh) | 2021-06-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110995520B (zh) | 网络流量预测方法、装置、计算机设备及可读存储介质 | |
| CN110428046B (zh) | 神经网络结构的获取方法及装置、存储介质 | |
| TWI361573B (en) | Symbol detector and sphere decoding method | |
| CN111143178B (zh) | 用户行为分析方法、装置及设备 | |
| CN112749723B (zh) | 样本标注方法、装置、计算机设备和存储介质 | |
| CN109241243B (zh) | 候选文档排序方法及装置 | |
| CN109345578A (zh) | 基于贝叶斯优化的点云配准方法、系统及可读存储介质 | |
| CN110349082A (zh) | 图像区域的裁剪方法和装置、存储介质及电子装置 | |
| CN109903100A (zh) | 一种用户流失预测方法、装置及可读存储介质 | |
| CN111861046B (zh) | 基于大数据和深度学习的专利价值智能评估系统 | |
| CN111696661A (zh) | 患者分群模型构建方法、患者分群方法及相关设备 | |
| CN111626489A (zh) | 基于时序差分学习算法的最短路径规划方法和装置 | |
| CN109145107B (zh) | 基于卷积神经网络的主题提取方法、装置、介质和设备 | |
| CN112749726A (zh) | 目标检测模型的训练方法、装置、计算机设备和存储介质 | |
| CN109754135B (zh) | 信用行为数据处理方法、装置、存储介质和计算机设备 | |
| CN113222014A (zh) | 图像分类模型训练方法、装置、计算机设备和存储介质 | |
| CN114254556A (zh) | 光伏发电功率的预测方法、装置、电子设备和存储介质 | |
| TWI297862B (en) | Reference data recognition and learning method and pattern recognition system | |
| CN112883761B (zh) | 姿态估计模型的构建方法、装置、设备及存储介质 | |
| WO2019240047A1 (ja) | 行動学習装置、行動学習方法、行動学習システム、プログラム、及び記録媒体 | |
| JP7073171B2 (ja) | 学習装置、学習方法及びプログラム | |
| CN112559640B (zh) | 图谱表征系统的训练方法及装置 | |
| CN109934845A (zh) | 基于自注意力网络的时序行为捕捉框生成方法及装置 | |
| US20240289602A1 (en) | Macro placement using an artificial intelligence approach | |
| CN115630514B (zh) | 一种无人机集群协同任务分配方法与装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |