CN112651345B - 一种人体姿态识别模型优化方法、装置和终端设备 - Google Patents

一种人体姿态识别模型优化方法、装置和终端设备 Download PDF

Info

Publication number
CN112651345B
CN112651345B CN202011590719.7A CN202011590719A CN112651345B CN 112651345 B CN112651345 B CN 112651345B CN 202011590719 A CN202011590719 A CN 202011590719A CN 112651345 B CN112651345 B CN 112651345B
Authority
CN
China
Prior art keywords
feature
fusion
channels
channel
local
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011590719.7A
Other languages
English (en)
Other versions
CN112651345A (zh
Inventor
孙彬
赵明国
熊友军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Youbixuan Intelligent Robot Co ltd
Original Assignee
Ubtech Robotics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ubtech Robotics Corp filed Critical Ubtech Robotics Corp
Priority to CN202011590719.7A priority Critical patent/CN112651345B/zh
Publication of CN112651345A publication Critical patent/CN112651345A/zh
Priority to PCT/CN2021/132113 priority patent/WO2022142854A1/zh
Priority to US18/214,467 priority patent/US20230334893A1/en
Application granted granted Critical
Publication of CN112651345B publication Critical patent/CN112651345B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供了一种人体姿态识别模型优化方法、装置和终端设备，该方法包括，利用预设的姿态估计算法获取到包括预定数量关节点的人体姿态热图；分别将每个关节点的热图对应的特征图与人体姿态识别模型对应通道的卷积核进行深度可分离卷积以确定各个通道对应的关节点特征图；对各个通道对应的关节点特征图进行局部特征融合处理和/或全局特征融合处理以获取融合姿态特征图；利用融合姿态特征图确定各个通道之间的线性关系；利用各个通道之间的线性关系更新人体姿态识别模型的对应通道的权重系数。本发明可以极大地提升人体姿态识别模型的表达能力，从而提升人体姿态识别模型的性能。

Description

一种人体姿态识别模型优化方法、装置和终端设备
技术领域
本发明涉及人工智能领域，尤其涉及一种人体姿态识别模型优化方法、装置和终端设备。
背景技术
人体姿态估计的主要任务是从输入图像中定位人体关键点(肘部、手腕、膝盖等)的位置，在动作识别、人机交互等多种视觉场景具有一定的实际应用价值。在服务机器人领域，人体姿态估计算法可以让机器人更好的理解人的动作，是机器人理解和分析人的各种行为的基础。然而，目前的方法直接将热图与真值进行误差的计算，并没有对热图进行进一步的分析，因此，目前现有的人体姿态估计方法精度较低。
发明内容
鉴于上述问题，本发明提出一种人体姿态识别模型优化方法、装置和终端设备。
本发明提出一种人体姿态识别模型优化方法，该方法包括：
利用预设的姿态估计算法获取到包括预定数量关节点的人体姿态热图；
分别将每个关节点的热图对应的特征图与人体姿态识别模型对应通道的卷积核进行深度可分离卷积以确定各个通道对应的关节点特征图；
对所述各个通道对应的关节点特征图进行局部特征和/或全局特征融合处理以获取融合姿态特征图；
利用所述融合姿态特征图确定所述各个通道之间的线性关系；
利用所述各个通道之间的线性关系更新所述人体姿态识别模型的对应通道的权重系数。
本发明所述的人体姿态识别模型优化方法，对所述各个通道对应的关节点特征图进行局部特征融合处理包括：
将所述各个通道对应的关节点特征图作为待局部融合处理的特征图；
根据预设的分组规则将所述各个通道对应的待局部融合处理的特征图分为多个特征图组；
利用第g个特征图组内的第i个通道对应的待局部融合处理的特征图与第g个特征图组内除第i个通道对应的待局部融合处理的特征图以外的其他各个通道对应的待局部融合处理的特征图进行局部特征融合以获取所述各个通道对应的关节点局部融合特征图；
利用所述各个通道对应的关节点局部融合特征图确定所述融合姿态特征图。
本发明所述的人体姿态识别模型优化方法，在获取所述各个通道对应的关节点局部融合特征图后，所述全局特征融合处理，包括：
分别对所述各个通道对应的关节点局部融合特征图进行平均池化操作以获取所述各个通道对应的关节点全局融合特征图；
利用所述各个通道对应的关节点全局融合特征图确定所述融合姿态特征图。
本发明实施例所述的人体姿态识别模型优化方法，所述对所述各个通道对应的关节点特征图进行全局特征融合处理，包括：
分别对所述各个通道对应的关节点特征图进行平均池化操作以获取所述各个通道对应的关节点全局融合特征图；
利用所述各个通道对应的关节点全局融合特征图确定所述融合姿态特征图。
本发明所述的人体姿态识别模型优化方法，在获取所述各个通道对应的关节点全局融合特征图后，所述局部特征融合处理，包括：
将所述各个通道对应的关节点全局融合特征图作为待局部融合处理的特征图；
根据预设的分组规则将所述各个通道对应的待局部融合处理的特征图分为多个特征图组；
利用第g个特征图组内的第i个通道对应的待局部融合处理的特征图与第g个特征图组内除第i个通道对应的待局部融合处理的特征图以外的其他各个通道对应的待局部融合处理的特征图进行局部特征融合处理以获取所述各个通道对应的关节点局部融合特征图；
利用所述各个通道对应的关节点局部融合特征图确定所述融合姿态特征图。
本发明所述的人体姿态识别模型优化方法，所述局部特征融合利用以下公式表示：
Ug[i]表示第g个特征图组内的第i个通道对应的关节点局部融合特征图，/>表示第g个特征图组内除第i个通道对应的待局部融合处理的特征图以外的其他各个通道对应的待局部融合处理的特征图，f()表示卷积运算，/>表示第g个特征图组内的第i个通道对应的待局部融合处理的特征图，1≤i≤N，N表示第g个特征图组的关节点集合中包括关节点的总数，g≤G，G表示所述特征图组的数量。
本发明所述的人体姿态识别模型优化方法，所述预设的分组规则包括：
将右耳、左耳、右眼、左眼、鼻和颈对应的关节点作为第一组；
将右肩、右肘和右手对应的关节点作为第二组；
将左肩、左肘和左手对应的关节点作为第三组；
将右臀、右膝和右脚踝对应的关节点作为第四组；
将左臀、左膝和左脚踝对应的关节点作为第五组。
本发明所述的人体姿态识别模型优化方法，基于以下公式确定所述各个通道之间的线性关系：
s＝σ(W2δ(W1z))，s表示所述各个通道之间的线性关系，δ表示ReLU(带泄露随机线性整流，Randomized Leaky ReLU)函数，σ表示sigmoid激活函数，W1∈RC×C，W2∈RC×C，表示两个全连接层，C表示所述人体姿态识别模型的通道总数，z表示融合姿态特征图。
本发明提出一种人体姿态识别模型优化装置，该装置包括：
人体姿态热图获取模块，用于利用预设的姿态估计算法获取到包括预定数量关节点的人体姿态热图；
关节点特征图获取模块，用于分别将每个关节点的热图对应的特征图与人体姿态识别模型对应通道的卷积核进行深度可分离卷积以确定各个通道对应的关节点特征图；
各个通道信息融合模块，用于对所述各个通道对应的关节点特征图进行局部特征和/或全局特征融合处理以获取融合姿态特征图；
通道线性关系确定模块，用于利用所述融合姿态特征图确定所述各个通道之间的线性关系；
通道权重系数更新模块，用于利用所述各个通道之间的线性关系更新所述人体姿态识别模型的对应通道的权重系数。
本发明提出一种终端设备，包括存储器和处理器，所述存储器用于存储计算机程序，所述计算机程序在所述处理器上运行时执行本发明实施例所述的人体姿态识别模型优化方法。
本发明涉及一种可读存储介质，其存储有计算机程序，所述计算机程序在处理器上运行时执行本发明实施例所述的人体姿态识别模型优化方法。
本发明公开的人体姿态识别模型优化方法，利用预设的姿态估计算法获取到包括预定数量关节点的人体姿态热图；分别将每个关节点的热图对应的特征图与所述人体姿态识别模型对应通道的卷积核进行深度可分离卷积以确定各个通道对应的关节点特征图；对所述各个通道对应的关节点特征图进行局部特征融合处理和/或全局特征融合处理以获取融合姿态特征图；利用所述融合姿态特征图确定所述各个通道之间的线性关系；利用所述各个通道之间的线性关系更新所述人体姿态识别模型的对应通道的权重系数。本发明从至少两个层面对关节点特征进行分析：个体层面、局部层面和/或全局层面，可以极大地提升人体姿态识别模型的表达能力，从而提升人体姿态识别模型的性能。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对本发明保护范围的限定。在各个附图中，类似的构成部分采用类似的编号。
图1示出了本发明实施例提出的一种人体姿态识别模型优化方法的流程示意图；
图2示出了本发明实施例提出的一种包括18个关节点的人体姿态示意图；
图3示出了本发明实施例提出的一种包括25个关节点的人体姿态示意图；
图4示出了本发明实施例提出的一种多层特征提取示意图；
图5示出了本发明实施例提出的另一种多层特征提取示意图；
图6示出了本发明实施例提出的第一种人体姿态识别模型优化方法的流程示意图；
图7示出了本发明实施例提出的一种预设的分组规则示意图；
图8示出了本发明实施例提出的第二种人体姿态识别模型优化方法的流程示意图；
图9示出了本发明实施例提出的第三种人体姿态识别模型优化方法的流程示意图；
图10示出了本发明实施例提出的第四种人体姿态识别模型优化方法的流程示意图；
图11示出了本发明实施例提出的一种人体姿态识别模型优化装置的结构示意图。
主要元件符号说明：
10-人体姿态识别模型优化装置；11-人体姿态热图获取模块；12-关节点特征图获取模块；13-各个通道信息融合模块；14-通道线性关系确定模块；15-通道权重系数更新模块。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
在下文中，可在本发明的各种实施例中使用的术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合，并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。
此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
除非另有限定，否则在这里使用的所有术语(包括技术术语和科学术语)具有与本发明的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义，除非在本发明的各种实施例中被清楚地限定。
人体姿态估计算法主要可分为两类：自上而下的方法和自下而上的方法。自上而下的方法主要有两个阶段组成，即目标检测和单人的人体关节点检测。对于目标检测算法，主要使用目标检测算法检测图像中所有的人。单人的人体关节点检测则是对图像中的每个人做姿态估计，在每个裁剪出的人中找出需要的关键点，例如，头部、左手和右脚等。自下而上的方法主要包含两个部分，关键点检测和关键点匹配。关键点检测就是通过预测不同关键点的热图来定位输入图像中所有人的无身份关键点，关键点匹配则是使用一些关联或匹配算法(贪婪算法、动态规划、tag匹配等等)将不同人的不同关键点连接在一起，从而产生不同的个体。无论是自上而下的方法还是自下而上的方法大部分都是基于热图来回归关节点的位置。然而，直接将热图与真值进行误差的计算，并没有对热图进行进一步的分析，例如，对关节点热图的空间信息和热图之间的关系进行分析。
为了能够进一步提升人体姿态识别模型的表达能力，本发明提出了一种多层特征融合的人体姿态识别模型优化方法。本发明按照人体运动的结构将人体关节点分成了五个部分，基于人体关节点的划分，本发明从三个层面对关节点特征进行分析：个体层面、局部层面和全局层面。个体层面主要分析了每个关节点热图内部的空间表达能力；局部层面主要分析了每个关节点特征与其所在区域的关节点特征的信息交流；全局层面主要分析了所有关节点特征之间的信息交流，使得人体姿态识别模型可以直接学习到关节点之间的相互依赖关系。通过这三个层面的分析可以极大地提升人体姿态识别模型的表达能力，从而提升人体姿态识别模型的性能。
实施例1
本实施例，参见图1，示出了一种人体姿态识别模型优化方法包括以下步骤：
S100：利用预设的姿态估计算法获取到包括预定数量关节点的人体姿态热图。
预设的姿态估计算法可以是HRNet、Openpose等，利用预设的姿态估计算法可以获取到包括预定数量关节点的人体姿态热图，例如，Openpose可以获取到包括18个关节点的人体姿态热图，如图2所示，18个关节点分别为右耳、左耳、右眼、左眼、鼻、颈、右肩、右肘、右手、左肩、左肘、左手、右臀、右膝、右脚踝、左臀、左膝和左脚踝；还可以获取到包括25个关节点的人体姿态热图，如图3所示，25个关节点分别为右耳、左耳、右眼、左眼、鼻、颈、右肩、右肘、右手、左肩、左肘、左手、右臀、右膝、右脚踝、左臀、左膝和左脚踝以及左大脚趾、左小脚趾、左脚跟、右大脚趾、右小脚趾和右脚跟。每一个关节点可以坐标的形式表示，每一关节点对应一个特定的序号，每一序号对应一个特定的人体关键部位。
可以根据人体姿态识别模型的识别动作确定预定数量，可以理解，若人体姿态识别模型的识别动作和左大脚趾、左小脚趾、左脚跟、右大脚趾、右小脚趾以及右脚跟无关，则可以利用预设的姿态估计算法获取到包括18个关节点的人体姿态热图；若人体姿态识别模型的识别动作和左大脚趾、左小脚趾、左脚跟、右大脚趾、右小脚趾以及右脚跟相关，例如，需要确定人体姿态的朝向和方位时，则可以利用预设的姿态估计算法获取到包括25个关节点的人体姿态热图，根据左大脚趾、左小脚趾、左脚跟、右大脚趾、右小脚趾以及右脚跟确定人体姿态的朝向和方位。
S200：分别将每个关节点的热图对应的特征图与人体姿态识别模型对应通道的卷积核进行深度可分离卷积以确定各个通道对应的关节点特征图。
热图中关节点的数目与人体姿态识别模型的通道是相同的，人体姿态识别模型的每一个通道对应一个卷积核，每个通道对应的卷积核不同，人体姿态识别模型的每一个通道可以利用对应的卷积核对一个关节点的热图对应的特征图进行深度可分离卷积，以确定各个通道对应的关节点特征图。
示范性的，在热图中关节点的数目为C，人体姿态识别模型的通道数为C时，热图X的大小为C*H*W，X＝[x1，x2，x3，……，xC]，xc的大小为H*W，c≤C。分别将xc与人体姿态识别模型的第c个通道对应的卷积核进行深度可分离卷积，以确定第c个通道对应的关节点特征图U1[c]。
可以理解，该步骤从个体层面进行特征描述，使用深度可分离卷积描述每个关节点的热图对应的特征图内部的空间特征，分析了每个通道的各自的特征。
S300：对所述各个通道对应的关节点特征图进行局部特征融合处理和/或全局特征融合处理以获取融合姿态特征图。
示范性的，在使用深度可分离卷积描述每个关节点的热图对应的特征图内部的空间特征后，可以对所述各个通道对应的关节点特征图进行局部特征融合处理，即各个通道对应的关节点特征图按照人体运动规则分为多个特征图组，分别对每一个特征图组进行特征描述，使用局部特征融合处理描述每组关节点内部的特征信息，可以有效分析每组关节点特征中的信息交互。
示范性的，在使用深度可分离卷积描述每个关节点的热图对应的特征图内部的空间特征后，可以对所述各个通道对应的关节点特征图进行全局特征融合从全局层面进行特征描述，使用全局特征融合描述所有关节点的全局特征，可以有效分析所有关节点特征的信息交互。
进一步的，如图4所示，在对所述各个通道对应的关节点特征图进行局部特征融合处理后，再对局部特征融合处理后的特征图进行全局特征融合处理；或者，如图5所示，在对所述各个通道对应的关节点特征图进行全局特征融合处理后，再对全部特征信息融合处理后的特征图进行局部特征融合处理。既从局部层面进行特征描述，又从全局层面进行特征描述，既可以分析每组关节点特征中的信息交互，又可以有效分析所有关节点特征的信息交互。
S400：利用所述融合姿态特征图确定所述各个通道之间的线性关系。
为了进一步获得不同通道之间的关系，学习到各个通道之间的非线性关系，并且由于学习的关系不是互斥的，因此，可以基于以下公式确定所述各个通道之间的线性关系：
s＝σ(W2δ(W1z))，s表示所述各个通道之间的线性关系，δ表示ReLU函数，σ表示sigmoid激活函数，W1∈RC×C，W2∈RC×C，表示两个全连接层，C表示所述人体姿态识别模型的通道总数，z表示融合姿态特征图。融合姿态特征图由各个通道对应的关节点的融合图组成，可以表示为z＝[z[1]，z[2]，……，z[C]]，C为人体姿态识别模型通道总数，z[c]表示第c个通道对应的关节点的融合图，c≤C。
S500：利用所述各个通道之间的线性关系更新所述人体姿态识别模型的对应通道的权重系数。
各个通道之间的线性关系s＝[s[1]，s[2]，……，s[C]]，可以看成是经过特征选择后的每个特征通道的重要性，然后通过乘法逐通道加权到先前的特征上，完成在通道维度上的对原始特征的更新。可以用下式表示：
进一步的，/>整个操作可以看成学习到了各个通道的权重系数，从而使得模型对各个通道的特征更有辨别能力。
本实施例公开的人体姿态识别模型优化方法，利用预设的姿态估计算法获取到包括预定数量关节点的人体姿态热图；分别将每个关节点的热图对应的特征图与所述人体姿态识别模型对应通道的卷积核进行深度可分离卷积以确定各个通道对应的关节点特征图；对所述各个通道对应的关节点特征图进行局部特征融合处理和/或全局特征融合处理以获取融合姿态特征图；利用所述融合姿态特征图确定所述各个通道之间的线性关系；利用所述各个通道之间的线性关系更新所述人体姿态识别模型的对应通道的权重系数。本实施例的技术方案本发明从至少两个层面对关节点特征进行分析：个体层面、局部层面和/或全局层面。个体层面可以分析每个关节点热图内部的空间表达能力；局部层面可以分析每个关节点特征与其所在区域的关节点特征的信息交流；全局层面可以分析所有关节点特征之间的信息交流，使得人体姿态识别模型可以直接学习到关节点之间的相互依赖关系。通过上述至少两个层面的分析可以极大地提升人体姿态识别模型的表达能力，从而提升人体姿态识别模型的性能。
实施例2
进一步的，参见图6，示出了局部特征融合处理包括以下步骤：
S310：将所述各个通道对应的关节点特征图作为待局部融合处理的特征图。
各个关节点特征图与待局部融合处理的特征图数目相同，且一一对应。
S320：根据预设的分组规则将所述各个通道对应的待局部融合处理的特征图分为多个特征图组。
示范性的，若预设的姿态估计算法获取到包括18个关节点的人体姿态热图，可以将18个关节点分为5组，如图7所示，将右耳、左耳、右眼、左眼、鼻和颈对应的关节点作为第一组；将右肩、右肘和右手对应的关节点作为第二组；将左肩、左肘和左手对应的关节点作为第三组；将右臀、右膝和右脚踝对应的关节点作为第四组；将左臀、左膝和左脚踝对应的关节点作为第五组。
示范性的，若预设的姿态估计算法获取到包括25个关节点的人体姿态热图，可以将25个关节点分为7组，其中5组与18个关节点的5组相同，将左大脚趾、左小脚趾和左脚跟作为第六组，将右大脚趾、右小脚趾和左脚跟作为第七组。
S330：利用第g个特征图组内的第i个通道对应的待局部融合处理的特征图与第g个特征图组内除第i个通道对应的待局部融合处理的特征图以外的其他各个通道对应的待局部融合处理的特征图进行局部特征融合以获取所述各个通道对应的关节点局部融合特征图。
进一步的，局部特征融合利用以下公式表示：
Ug[i]表示第g个特征图组内的第i个通道对应的关节点局部融合特征图，Ωg第g个特征图组的关节点集合，/>表示第g个特征图组内除第i个通道对应的待局部融合处理的特征图以外的其他各个通道对应的待局部融合处理的特征图，f()表示卷积运算，/>表示第g个特征图组内的第i个通道对应的待局部融合处理的特征图，1≤i≤N，N表示第g个特征图组的关节点集合中包括关节点的总数，g≤G，G表示所述特征图组的数量。
第g个特征图组对应的特征图可以表示为Ug＝[Ug[1]，Ug[2]，……，Ug[N]]，G个特征图组对应的特征图可以表示为U＝[U1，U2，……UG]。
S340：利用所述各个通道对应的关节点局部融合特征图确定所述融合姿态特征图。
可以理解，G个特征图组对应的特征图U＝[U1，U2，……UG]是由各个通道对应的关节点局部融合特征图组成的，U的维数与融合姿态特征图的维数相同，可以用U表示融合姿态特征图。
局部特征融合是分别对每一个特征图组进行特征描述，使用局部特征融合处理描述每组关节点内部的特征信息，可以有效分析每组关节点特征中的信息交互。
实施例3
进一步的，参见图8，示出了一种在局部特征融合处理后，进行全局特征融合处理包括以下步骤：
S310：将所述各个通道对应的关节点特征图作为待局部融合处理的特征图。
S320：根据预设的分组规则将所述各个通道对应的待局部融合处理的特征图分为多个特征图组。
S330：利用第g个特征图组内的第i个通道对应的待局部融合处理的特征图与第g个特征图组内除第i个通道对应的待局部融合处理的特征图以外的其他各个通道对应的待局部融合处理的特征图进行局部特征融合以获取所述各个通道对应的关节点局部融合特征图。
S350：分别对所述各个通道对应的关节点局部融合特征图进行平均池化操作以获取所述各个通道对应的关节点全局融合特征图。
对第c个通道对应的关节点局部融合特征图平均池化操作可用下式表示：
uc(h，w)表示第c个通道对应的关节点局部融合特征图的第h行第w列的像素点特征值，第c个通道对应的关节点局部融合特征图的维度是H*W，zc表示第c个通道对应的关节点全局融合特征图。
S360：利用所述各个通道对应的关节点全局融合特征图确定所述融合姿态特征图。
融合姿态特征图由各个通道对应的关节点全局融合特征图组成，可以表示为z＝[z[1]，z[2]，……，z[C]]，C为人体姿态识别模型通道总数，z[c]＝zc，表示第c个通道对应的关节点全局融合特征图，c≤C。
实施例4
进一步的，参见图9，示出了一种全局特征融合处理包括以下步骤：
S311：分别对所述各个通道对应的关节点特征图进行平均池化操作以获取所述各个通道对应的关节点全局融合特征图。
对第c个通道对应的关节点特征图进行平均池化操作可用下式表示：
uc(h，w)表示第c个通道对应的关节点特征图的第h行第w列的像素点特征值，第c个通道对应的关节点特征图的维度是H*W，zc表示第c个通道对应的关节点全局融合特征图。
S321：利用所述各个通道对应的关节点全局融合特征图确定所述融合姿态特征图。
融合姿态特征图z＝[z[1]，z[2]，……，z[C]]，C为人体姿态识别模型通道总数，z[c]＝zc，表示第c个通道对应的关节点全局融合特征图，c≤C。
实施例5
进一步的，参见图10，示出了一种在全局融合特征图后，进行局部特征融合处理包括以下步骤：
S311：分别对所述各个通道对应的关节点特征图进行平均池化操作以获取所述各个通道对应的关节点全局融合特征图。
S331：将所述各个通道对应的关节点全局融合特征图作为待局部融合处理的特征图。
S341：根据预设的分组规则将所述各个通道对应的待局部融合处理的特征图分为多个特征图组。
S351：利用第g个特征图组内的第i个通道对应的待局部融合处理的特征图与第g个特征图组内除第i个通道对应的待局部融合处理的特征图以外的其他各个通道对应的待局部融合处理的特征图进行局部特征融合处理以获取所述各个通道对应的关节点局部融合特征图。
S361：利用所述各个通道对应的关节点局部融合特征图确定所述融合姿态特征图。
实施例6
本实施例，参见图11，示出了一种人体姿态识别模型优化装置10包括：人体姿态热图获取模块11、关节点特征图获取模块12、各个通道信息融合模块13、通道线性关系确定模块14和通道权重系数更新模块15。
人体姿态热图获取模块11，用于利用预设的姿态估计算法获取到包括预定数量关节点的人体姿态热图；关节点特征图获取模块12，用于分别将每个关节点的热图对应的特征图与所述人体姿态识别模型对应通道的卷积核进行深度可分离卷积以确定各个通道对应的关节点特征图；各个通道信息融合模块13，用于对所述各个通道对应的关节点特征图进行局部特征融合处理和/或全局特征融合处理以获取融合姿态特征图；通道线性关系确定模块14，用于利用所述融合姿态特征图确定所述各个通道之间的线性关系；通道权重系数更新模块15，用于利用所述各个通道之间的线性关系更新所述人体姿态识别模型的对应通道的权重系数。
进一步的，各个通道信息融合模块13可以仅用于对所述各个通道对应的关节点特征图进行局部特征融合处理，例如，对所述各个通道对应的关节点特征图进行局部特征融合处理包括：
将所述各个通道对应的关节点特征图作为待局部融合处理的特征图；根据预设的分组规则将所述各个通道对应的待局部融合处理的特征图分为多个特征图组；利用第g个特征图组内的第i个通道对应的待局部融合处理的特征图与第g个特征图组内除第i个通道对应的待局部融合处理的特征图以外的其他各个通道对应的待局部融合处理的特征图进行局部特征融合以获取所述各个通道对应的关节点局部融合特征图；利用所述各个通道对应的关节点局部融合特征图确定所述融合姿态特征图。
进一步的，各个通道信息融合模块13还可以仅用于对所述各个通道对应的关节点特征图进行全局特征融合处理，对所述各个通道对应的关节点特征图进行全局特征融合处理包括：
分别对所述各个通道对应的关节点特征图进行平均池化操作以获取所述各个通道对应的关节点全局融合特征图；利用所述各个通道对应的关节点全局融合特征图确定所述融合姿态特征图。
进一步的，各个通道信息融合模块13还可以用于对所述各个通道对应的关节点特征图进行局部特征融合处理和全局特征融合处理。
示范性的，在对所述各个通道对应的关节点特征图进行局部特征融合处理后，所述全局特征融合处理，包括：
将所述各个通道对应的关节点特征图作为待局部融合处理的特征图；根据预设的分组规则将所述各个通道对应的待局部融合处理的特征图分为多个特征图组；利用第g个特征图组内的第i个通道对应的待局部融合处理的特征图与第g个特征图组内除第i个通道对应的待局部融合处理的特征图以外的其他各个通道对应的待局部融合处理的特征图进行局部特征融合以获取所述各个通道对应的关节点局部融合特征图；分别对所述各个通道对应的关节点局部融合特征图进行平均池化操作以获取所述各个通道对应的关节点全局融合特征图；利用所述各个通道对应的关节点全局融合特征图确定所述融合姿态特征图。
示范性的，在对所述各个通道对应的关节点特征图进行全局特征融合处理后，所述局部特征融合处理，包括：
分别对所述各个通道对应的关节点特征图进行平均池化操作以获取所述各个通道对应的关节点全局融合特征图；将所述各个通道对应的关节点全局融合特征图作为待局部融合处理的特征图；根据预设的分组规则将所述各个通道对应的待局部融合处理的特征图分为多个特征图组；利用第g个特征图组内的第i个通道对应的待局部融合处理的特征图与第g个特征图组内除第i个通道对应的待局部融合处理的特征图以外的其他各个通道对应的待局部融合处理的特征图进行局部特征融合处理以获取所述各个通道对应的关节点局部融合特征图；利用所述各个通道对应的关节点局部融合特征图确定所述融合姿态特征图。
进一步的，局部特征融合利用以下公式表示：
Ug[i]表示第g组内的第i个通道对应的关节点局部融合特征图，/>表示第g组内除第i个通道对应的待局部融合处理的特征图以外的其他各个通道对应的待局部融合处理的特征图，f()表示卷积运算，/>表示第g组内的第i个通道对应的待局部融合处理的特征图，1≤i≤N，N表示第g组关节点集合中包括关节点的总数，g≤G，G表示所述特征图组的数量。
进一步的，基于以下公式确定所述各个通道之间的线性关系：
s＝σ(W2δ(W1z))，s表示所述各个通道之间的线性关系，δ表示ReLU函数，σ表示sigmoid激活函数，W1∈RC×C，W2∈RC×C，表示两个全连接层，C表示所述人体姿态识别模型的通道总数，z表示所述融合姿态特征图。
进一步的，所述预设的分组规则包括：
将右耳、左耳、右眼、左眼、鼻和颈对应的关节点作为第一组；将右肩、右肘和右手对应的关节点作为第二组；将左肩、左肘和左手对应的关节点作为第三组；将右臀、右膝和右脚对应的关节点作为第四组；将左臀、左膝和左脚对应的关节点作为第五组。
本实施例公开的人体姿态识别模型优化装置10通过人体姿态热图获取模块11、关节点特征图获取模块12、各个通道信息融合模块13的配合使用、通道线性关系确定模块14和通道权重系数更新模块15，用于执行上述实施例所述的人体姿态识别模型优化方法，上述实施例所涉及的实施方案以及有益效果在本实施例中同样适用，在此不再赘述。
可以理解，本发明实施例涉及一种终端设备，包括存储器和处理器，所述存储器用于存储计算机程序，所述计算机程序在所述处理器上运行时执行本发明实施例所述的人体姿态识别模型优化方法。
可以理解，本发明实施例涉及一种可读存储介质，其存储有计算机程序，所述计算机程序在处理器上运行时执行本发明实施例所述的人体姿态识别模型优化方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和结构图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，结构图和/或流程图中的每个方框、以及结构图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块或单元可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或更多个模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是智能手机、个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。

Claims (7)

1.一种人体姿态识别模型优化方法，其特征在于，该方法包括：
利用预设的姿态估计算法获取到包括预定数量关节点的人体姿态热图；
分别将每个关节点的热图对应的特征图与人体姿态识别模型对应通道的卷积核进行深度可分离卷积以确定各个通道对应的关节点特征图；
对所述各个通道对应的关节点特征图进行局部特征和/或全局特征融合处理以获取融合姿态特征图；
利用所述融合姿态特征图确定所述各个通道之间的线性关系；
利用所述各个通道之间的线性关系更新所述人体姿态识别模型的对应通道的权重系数；
所述对所述各个通道对应的关节点特征图进行局部特征融合处理包括：将所述各个通道对应的关节点特征图作为待局部融合处理的特征图；根据预设的分组规则将所述各个通道对应的待局部融合处理的特征图分为多个特征图组；利用第g个特征图组内的第i个通道对应的待局部融合处理的特征图与第g个特征图组内除第i个通道对应的待局部融合处理的特征图以外的其他各个通道对应的待局部融合处理的特征图进行局部特征融合以获取所述各个通道对应的关节点局部融合特征图；利用所述各个通道对应的关节点局部融合特征图确定所述融合姿态特征图；
在获取所述各个通道对应的关节点局部融合特征图后，所述全局特征融合处理，包括：分别对所述各个通道对应的关节点局部融合特征图进行平均池化操作以获取所述各个通道对应的关节点全局融合特征图；利用所述各个通道对应的关节点全局融合特征图确定所述融合姿态特征图；
局部特征融合利用以下公式表示：
Ug[i]表示第g个特征图组内的第i个通道对应的关节点局部融合特征图，/>表示第g个特征图组内除第i个通道对应的待局部融合处理的特征图以外的其他各个通道对应的待局部融合处理的特征图，f()表示卷积运算，/>表示第g个特征图组内的第i个通道对应的待局部融合处理的特征图，1≤i≤N，N表示第g个特征图组的关节点集合中包括关节点的总数，g≤G，G表示所述特征图组的数量；
基于以下公式确定所述各个通道之间的线性关系：
s＝σ(W2δ(W1z))，s表示所述各个通道之间的线性关系，δ表示ReLU函数，σ表示sigmoid激活函数，W1∈RC×C，W2∈RC×C，表示两个全连接层，C表示所述人体姿态识别模型的通道总数，z表示融合姿态特征图。
2.根据权利要求1所述的人体姿态识别模型优化方法，其特征在于，所述对所述各个通道对应的关节点特征图进行全局特征融合处理，包括：
分别对所述各个通道对应的关节点特征图进行平均池化操作以获取所述各个通道对应的关节点全局融合特征图；
利用所述各个通道对应的关节点全局融合特征图确定所述融合姿态特征图。
3.根据权利要求2所述的人体姿态识别模型优化方法，其特征在于，在获取所述各个通道对应的关节点全局融合特征图后，局部特征融合处理，包括：
将所述各个通道对应的关节点全局融合特征图作为待局部融合处理的特征图；
根据预设的分组规则将所述各个通道对应的待局部融合处理的特征图分为多个特征图组；
利用第g个特征图组内的第i个通道对应的待局部融合处理的特征图与第g个特征图组内除第i个通道对应的待局部融合处理的特征图以外的其他各个通道对应的待局部融合处理的特征图进行局部特征融合处理以获取所述各个通道对应的关节点局部融合特征图；
利用所述各个通道对应的关节点局部融合特征图确定所述融合姿态特征图。
4.根据权利要求1或3所述的人体姿态识别模型优化方法，其特征在于，所述预设的分组规则包括：
将右耳、左耳、右眼、左眼、鼻和颈对应的关节点作为第一组；
将右肩、右肘和右手对应的关节点作为第二组；
将左肩、左肘和左手对应的关节点作为第三组；
将右臀、右膝和右脚踝对应的关节点作为第四组；
将左臀、左膝和左脚踝对应的关节点作为第五组。
5.一种人体姿态识别模型优化装置，其特征在于，该装置包括：
人体姿态热图获取模块，用于利用预设的姿态估计算法获取到包括预定数量关节点的人体姿态热图；
关节点特征图获取模块，用于分别将每个关节点的热图对应的特征图与人体姿态识别模型对应通道的卷积核进行深度可分离卷积以确定各个通道对应的关节点特征图；
各个通道信息融合模块，用于对所述各个通道对应的关节点特征图进行局部特征和/或全局特征融合处理以获取融合姿态特征图；
通道线性关系确定模块，用于利用所述融合姿态特征图确定所述各个通道之间的线性关系；
通道权重系数更新模块，用于利用所述各个通道之间的线性关系更新所述人体姿态识别模型的对应通道的权重系数；
所述各个通道信息融合模块，还用于将所述各个通道对应的关节点特征图作为待局部融合处理的特征图；根据预设的分组规则将所述各个通道对应的待局部融合处理的特征图分为多个特征图组；利用第g个特征图组内的第i个通道对应的待局部融合处理的特征图与第g个特征图组内除第i个通道对应的待局部融合处理的特征图以外的其他各个通道对应的待局部融合处理的特征图进行局部特征融合以获取所述各个通道对应的关节点局部融合特征图；利用所述各个通道对应的关节点局部融合特征图确定所述融合姿态特征图；
所述各个通道信息融合模块，还用于分别对所述各个通道对应的关节点局部融合特征图进行平均池化操作以获取所述各个通道对应的关节点全局融合特征图；利用所述各个通道对应的关节点全局融合特征图确定所述融合姿态特征图；
所述各个通道信息融合模块，还用于利用以下公式表示局部特征融合：Ug[i]表示第g个特征图组内的第i个通道对应的关节点局部融合特征图，/>表示第g个特征图组内除第i个通道对应的待局部融合处理的特征图以外的其他各个通道对应的待局部融合处理的特征图，f()表示卷积运算，/>表示第g个特征图组内的第i个通道对应的待局部融合处理的特征图，1≤i≤N，N表示第g个特征图组的关节点集合中包括关节点的总数，g≤G，G表示所述特征图组的数量；
所述通道线性关系确定模块，还用于基于以下公式确定所述各个通道之间的线性关系：
s＝σ(W2δ(W1z))，s表示所述各个通道之间的线性关系，δ表示ReLU函数，σ表示sigmoid激活函数，W1∈RC×C，W2∈RC×C，表示两个全连接层，C表示所述人体姿态识别模型的通道总数，z表示融合姿态特征图。
6.一种终端设备，其特征在于，包括存储器和处理器，所述存储器用于存储计算机程序，所述计算机程序在所述处理器上运行时执行权利要求1至4任一项所述的人体姿态识别模型优化方法。
7.一种可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序在处理器上运行时执行权利要求1至4任一项所述的人体姿态识别模型优化方法。
CN202011590719.7A 2020-12-29 2020-12-29 一种人体姿态识别模型优化方法、装置和终端设备 Active CN112651345B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202011590719.7A CN112651345B (zh) 2020-12-29 2020-12-29 一种人体姿态识别模型优化方法、装置和终端设备
PCT/CN2021/132113 WO2022142854A1 (zh) 2020-12-29 2021-11-22 一种人体姿态识别模型优化方法、装置和终端设备
US18/214,467 US20230334893A1 (en) 2020-12-29 2023-06-26 Method for optimizing human body posture recognition model, device and computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011590719.7A CN112651345B (zh) 2020-12-29 2020-12-29 一种人体姿态识别模型优化方法、装置和终端设备

Publications (2)

Publication Number Publication Date
CN112651345A CN112651345A (zh) 2021-04-13
CN112651345B true CN112651345B (zh) 2023-11-10

Family

ID=75363633

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011590719.7A Active CN112651345B (zh) 2020-12-29 2020-12-29 一种人体姿态识别模型优化方法、装置和终端设备

Country Status (3)

Country Link
US (1) US20230334893A1 (zh)
CN (1) CN112651345B (zh)
WO (1) WO2022142854A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112651345B (zh) * 2020-12-29 2023-11-10 深圳市优必选科技股份有限公司 一种人体姿态识别模型优化方法、装置和终端设备
CN116168332B (zh) * 2023-04-19 2023-07-14 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 跛行检测方法、设备及存储介质
CN116959120B (zh) * 2023-09-15 2023-12-01 中南民族大学 一种基于手部关节的人手姿态估计方法及系统
CN117711028A (zh) * 2024-02-06 2024-03-15 深圳大学 一种基于注意力机制模块的人体姿态估计方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108510012A (zh) * 2018-05-04 2018-09-07 四川大学 一种基于多尺度特征图的目标快速检测方法
CN109798888A (zh) * 2019-03-15 2019-05-24 京东方科技集团股份有限公司 移动设备的姿态确定装置、方法和视觉里程计
CN110188700A (zh) * 2019-05-31 2019-08-30 安徽大学 基于分组回归模型的人体三维关节点预测方法
CN110728209A (zh) * 2019-09-24 2020-01-24 腾讯科技（深圳）有限公司 一种姿态识别方法、装置、电子设备及存储介质
CN111523377A (zh) * 2020-03-10 2020-08-11 浙江工业大学 一种多任务的人体姿态估计和行为识别的方法
CN111753643A (zh) * 2020-05-09 2020-10-09 北京迈格威科技有限公司 人物姿态识别方法、装置、计算机设备和存储介质
CN111985414A (zh) * 2020-08-21 2020-11-24 成都数字天空科技有限公司 一种关节点位置确定方法及装置
CN112101326A (zh) * 2020-11-18 2020-12-18 北京健康有益科技有限公司 一种多人姿态识别方法和装置
CN112131965A (zh) * 2020-08-31 2020-12-25 深圳云天励飞技术股份有限公司 一种人体姿态估计方法、装置、电子设备及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108629306B (zh) * 2018-04-28 2020-05-15 京东数字科技控股有限公司 人体姿态识别方法及装置、电子设备、存储介质
CN112052886B (zh) * 2020-08-21 2022-06-03 暨南大学 基于卷积神经网络的人体动作姿态智能估计方法及装置
CN112651345B (zh) * 2020-12-29 2023-11-10 深圳市优必选科技股份有限公司 一种人体姿态识别模型优化方法、装置和终端设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108510012A (zh) * 2018-05-04 2018-09-07 四川大学 一种基于多尺度特征图的目标快速检测方法
CN109798888A (zh) * 2019-03-15 2019-05-24 京东方科技集团股份有限公司 移动设备的姿态确定装置、方法和视觉里程计
CN110188700A (zh) * 2019-05-31 2019-08-30 安徽大学 基于分组回归模型的人体三维关节点预测方法
CN110728209A (zh) * 2019-09-24 2020-01-24 腾讯科技（深圳）有限公司 一种姿态识别方法、装置、电子设备及存储介质
CN111523377A (zh) * 2020-03-10 2020-08-11 浙江工业大学 一种多任务的人体姿态估计和行为识别的方法
CN111753643A (zh) * 2020-05-09 2020-10-09 北京迈格威科技有限公司 人物姿态识别方法、装置、计算机设备和存储介质
CN111985414A (zh) * 2020-08-21 2020-11-24 成都数字天空科技有限公司 一种关节点位置确定方法及装置
CN112131965A (zh) * 2020-08-31 2020-12-25 深圳云天励飞技术股份有限公司 一种人体姿态估计方法、装置、电子设备及存储介质
CN112101326A (zh) * 2020-11-18 2020-12-18 北京健康有益科技有限公司 一种多人姿态识别方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
视频中多特征融合人体姿态跟踪;马淼 等;《中国图象图形学报》;第25卷(第7期);第1459-1472页 *

Also Published As

Publication number Publication date
US20230334893A1 (en) 2023-10-19
WO2022142854A1 (zh) 2022-07-07
CN112651345A (zh) 2021-04-13

Similar Documents

Publication Publication Date Title
CN112651345B (zh) 一种人体姿态识别模型优化方法、装置和终端设备
JP6832504B2 (ja) 物体追跡方法、物体追跡装置およびプログラム
CN112597941B (zh) 一种人脸识别方法、装置及电子设备
CN110688929B (zh) 一种人体骨架关节点定位方法及装置
KR101581112B1 (ko) 계층적 패턴 구조에 기반한 기술자 생성 방법 및 이를 이용한 객체 인식 방법과 장치
CN111723732A (zh) 一种光学遥感图像变化检测方法、存储介质及计算设备
CN110765882B (zh) 一种视频标签确定方法、装置、服务器及存储介质
CN110648289B (zh) 图像的加噪处理方法及装置
CN114494260B (zh) 对象缺陷检测方法、装置、计算机设备和存储介质
CN111914878B (zh) 特征点跟踪训练及跟踪方法、装置、电子设备及存储介质
Filtjens et al. Skeleton-based action segmentation with multi-stage spatial-temporal graph convolutional neural networks
CN114663502A (zh) 物体姿态估计、图像处理方法及相关设备
CN112232134A (zh) 一种基于沙漏网络结合注意力机制的人体姿态估计方法
CN113705596A (zh) 图像识别方法、装置、计算机设备和存储介质
JP6381368B2 (ja) 画像処理装置、画像処理方法、およびプログラム
CN112749726A (zh) 目标检测模型的训练方法、装置、计算机设备和存储介质
CN110992404B (zh) 目标跟踪方法、装置和系统及存储介质
CN114519401A (zh) 一种图像分类方法及装置、电子设备、存储介质
CN111309923B (zh) 对象向量确定、模型训练方法、装置、设备和存储介质
CN117392746A (zh) 康复训练评估辅助方法、装置、计算机设备和存储介质
CN112183315A (zh) 动作识别模型训练方法和动作识别方法及装置
CN111914809A (zh) 目标对象定位方法、图像处理方法、装置和计算机设备
CN115346125B (zh) 一种基于深度学习的目标检测方法
CN115512353A (zh) 一种遥感图像标注方法、装置及设备
CN114648762A (zh) 语义分割方法、装置、电子设备和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20231211

Address after: Room 601, 6th Floor, Building 13, No. 3 Jinghai Fifth Road, Beijing Economic and Technological Development Zone (Tongzhou), Daxing District, Beijing, 100176

Patentee after: Beijing Youbixuan Intelligent Robot Co.,Ltd.

Address before: 518000 16th and 22nd Floors, C1 Building, Nanshan Zhiyuan, 1001 Xueyuan Avenue, Nanshan District, Shenzhen City, Guangdong Province

Patentee before: Shenzhen Youbixuan Technology Co.,Ltd.