CN114913541A - 基于正交匹配追踪的人体关键点检测方法、装置及介质 - Google Patents
基于正交匹配追踪的人体关键点检测方法、装置及介质 Download PDFInfo
- Publication number
- CN114913541A CN114913541A CN202111118582.XA CN202111118582A CN114913541A CN 114913541 A CN114913541 A CN 114913541A CN 202111118582 A CN202111118582 A CN 202111118582A CN 114913541 A CN114913541 A CN 114913541A
- Authority
- CN
- China
- Prior art keywords
- human body
- orthogonal matching
- key point
- key points
- backbone network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于正交匹配追踪的人体关键点检测方法、装置及介质,方法包括:将包含人物的待检测图像输入训练好的目标检测器,获得单个人物的裁剪图;设置人体关键点标注坐标;将裁剪图缩放至设定尺寸,并输入训练好的特征编码主干网络,获得感知矩阵;根据感知矩阵,利用正交匹配追踪算法对人体关键点标注坐标进行稀疏恢复,获取待检测图像中人物的人体关键点位置。与现有技术相比,本发明在保证较高计算精度的情况下减轻了计算负担,检测效率高。
Description
技术领域
本发明涉及一种人体关键点检测技术,尤其是涉及一种基于正交匹配追踪的人体关键点检测方法、装置及介质。
背景技术
随着无人驾驶、人机交互、视频监控、行为识别等领域的蓬勃发展,这些研究的上游,如人体姿态估计显得尤其重要。在现有的姿态检测等任务中,首先需要对图像进行特征提取。之后,将特征信息输入预测网络进行姿态等预测。为了便于完成姿态检测等任务,一般需要确定人体的各个关键点的位置。在现有技术中,往往将人体作为整体确定其各个关键点的位置。现存的人体姿态估计方法可以分为基于Heatmap的方法和基于回归的方法,其中基于Heatmap的方法也可以分为自上而下的方法和自下而上的方法。由于基于Heatmap的方法是基于密集估计的方法具有亚像素级别的精度备受欢迎,但有较大的计算量;基于回归的方法具有计算量小的特点,但精度普遍不及基于Heatmap的方法。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于正交匹配追踪的人体关键点检测方法、装置及介质,在保证较高计算精度的情况下减轻了计算负担,检测效率高。
本发明的目的可以通过以下技术方案来实现:
一种基于正交匹配追踪的人体关键点检测方法,包括:
将包含人物的待检测图像输入训练好的目标检测器,获得单个人物的裁剪图;
设置人体关键点标注坐标;
将裁剪图缩放至设定尺寸,并输入训练好的特征编码主干网络,获得感知矩阵;
根据感知矩阵,利用正交匹配追踪算法对人体关键点标注坐标进行稀疏恢复,获取待检测图像中人物的人体关键点位置;
基于人体关键点稀疏的这一事实,根据信号处理的压缩感知理论:如果信号稀疏可压缩,就可通过远低于奈奎斯特限的采样率对信号进行采样,当采样数据涵盖了原始信号中主要信息时,便可大概率地准确重构原始信号,利用目标检测器分割出单个人物的裁剪图,统一尺寸后输入特征编码主干网络,获得感知矩阵,利用正交匹配追踪算法对人体关键点坐标进行稀疏恢复,实现压缩感知,计算量小,在保证较高计算精度的情况下减轻了计算负担,检测效率高。
进一步地,所述的感知矩阵记为GM×N,表达式为
其中,gj为GM×N的第j列,gij为GM×N的第i行第j列元素,i=1,2,...,M,j=1,2,...,N,M为挑选的关键支持点数,M≥K,N为裁剪图的像素总数。
进一步地,所述的正交匹配追踪算法包括:
循环K次残差更新步骤,所述的残差更新步骤包括:
1)计算与当前残差信号最相关的列向量kmax:
其中,ΛD=[1,2,...,N],rk-1为循环k-1次后的残差信号,gk为GM×N的第k列,k=1,2,...,K;
2)更新支撑集:
Λk=Λk-1∪kmax
其中,Λk和Λk-1分别为循环k次和循环k-1次后的支撑集;
3)对关键点标注坐标进行稀疏分解:
4)更新残差:
其中,qK为循环K次后的稀疏解,即人体关键点的稀疏表达。
进一步地,所述的目标检测器和特征编码主干网络的训练过程包括:
分别对目标检测器和特征编码主干网络进行单独训练;
单独训练完成之后,联立对目标检测器和特征编码主干网络进行联立训练,两个网络互相促进,提高检测精度。
进一步地,单独训练特征编码主干网络的过程中,对特征编码主干网络的输入进行数据增广,以提升网络的鲁棒性。
进一步地,所述的数据增广过程包括随机翻转、随机缩放和随机旋转中的一种或多种。
进一步地,所述的目标检测器为卷积神经网络。
进一步地,所述的卷积神经网络为FasterRCNN。
一种基于正交匹配追踪的人体关键点检测装置,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器调用所述程序指令能够执行所述的检测方法。
一种计算机可读存储介质,包括计算机程序,所述计算机程序能够被处理器执行所述的检测方法。
与现有技术相比,本发明具有以如下有益效果:
(1)本发明将包含人物的待检测图像输入训练好的目标检测器,获得单个人物的裁剪图,设置人体关键点标注坐标,将裁剪图缩放至设定尺寸,并输入训练好的特征编码主干网络,获得感知矩阵,根据感知矩阵,利用正交匹配追踪算法对人体关键点标注坐标进行稀疏恢复,获取待检测图像中人物的人体关键点位置,本发明基于人体关键点稀疏的这一事实,利用目标检测器分割出单个人物的裁剪图,统一尺寸后输入特征编码主干网络,获得感知矩阵,利用正交匹配追踪算法对人体关键点坐标进行稀疏恢复,实现压缩感知,计算量小,在保证较高计算精度的情况下减轻了计算负担,检测效率高;
(2)本发明分别对目标检测器和特征编码主干网络进行单独训练,单独训练完成之后,联立对目标检测器和特征编码主干网络进行联立训练,两个网络互相促进,提高检测精度;
(3)本发明单独训练特征编码主干网络的过程中,对特征编码主干网络的输入进行数据增广,以提升网络的鲁棒性。
附图说明
图1为本发明的结构示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述的实施例。
实施例1
一种基于正交匹配追踪的人体关键点检测方法,如图1,包括:
将包含人物的待检测图像输入训练好的目标检测器,获得单个人物的裁剪图;
设置人体关键点标注坐标GroundTruth;
将裁剪图缩放至设定尺寸,并输入训练好的特征编码主干网络,获得感知矩阵;
根据感知矩阵,利用正交匹配追踪算法对人体关键点标注坐标进行稀疏恢复,获取待检测图像中人物的人体关键点位置;
基于人体关键点稀疏的这一事实,根据信号处理的压缩感知理论:如果信号稀疏可压缩,就可通过远低于奈奎斯特限的采样率对信号进行采样,当采样数据涵盖了原始信号中主要信息时,便可大概率地准确重构原始信号,利用目标检测器分割出单个人物的裁剪图,统一尺寸后输入特征编码主干网络,获得感知矩阵,利用正交匹配追踪算法对人体关键点坐标进行稀疏恢复,实现压缩感知,计算量小,在保证较高计算精度的情况下减轻了计算负担,检测效率高。
感知矩阵记为GM×N,表达式为
其中,gj为GM×N的第j列,gij为GM×N的第i行第j列元素,i=1,2,...,M,j=1,2,...,N,M为挑选的关键支持点数,M≥K,N为裁剪图的像素总数。
正交匹配追踪算法包括:
循环K次残差更新步骤,残差更新步骤包括:
1)从感知矩阵中挑选出与残差信号最相关的列向量,即两者做内积,选出绝对值最大的原子对应的列向量加入支撑集,与当前残差信号最相关的列向量kmax的计算公式为:
其中,ΛD=[1,2,...,N],rk-1为循环k-1次后的残差信号,gk为GM×N的第k列,k=1,2,...,K,“\”表示移除;
2)更新支撑集:
Λk=Λk-1∪kmax
其中,Λk和Λk-1分别为循环k次和循环k-1次后的支撑集,“∪”表示添加;
3)对关键点标注坐标进行稀疏分解:
4)更新残差:
其中,qK为循环K次后的稀疏解,即人体关键点的稀疏表达。
通过正交匹配追踪算法最终得到K列支撑集,人体关键点由支撑集的列向量线性表示。
由于正交匹配追踪算法选取的列向量与残差是正交的,避免了重复选取同一列向量。
对于COCO数据集,K=17,对于CrowdPose数据集,K=14,正交匹配追踪算法的迭代次数通常取决于需求的人体关键点数目K,但是在实际中可见的人体关键点不固定,因此可以采用限定残差的上限来终止迭代,也可以根据求得的关键点的分数来判定是否终止迭代,若分数低于预设的阈值,则终止迭代。
目标检测器和特征编码主干网络的训练过程包括:
分别对目标检测器和特征编码主干网络进行单独训练;
单独训练完成之后,联立对目标检测器和特征编码主干网络进行联立训练,两个网络互相促进,提高检测精度。
单独训练特征编码主干网络的过程中,对特征编码主干网络的输入进行数据增广,以提升网络的鲁棒性。
数据增广过程包括随机翻转、随机缩放和随机旋转中的一种或多种。
目标检测器为卷积神经网络。
卷积神经网络为FasterRCNN。
如图1所示,先采用目标检测器对待检测图中的单个个体进行检测,获得3张单个人物的裁剪图,再将裁剪图同一缩放至设定尺寸,并输入特征编码主干网络,获得感知矩阵,再根据感知矩阵,通过正交匹配追踪算法对人体关键点标注坐标进行稀疏恢复,获取待检测图像中人物的人体关键点位置。
实施例2
一种基于正交匹配追踪的人体关键点检测装置,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器调用所述程序指令能够执行实施例1检测方法。
实施例3
一种计算机可读存储介质,包括计算机程序,所述计算机程序能够被处理器执行实施例1检测方法。
实施例1、实施例2和实施例3提出了一种基于正交匹配追踪的人体关键点检测方法、装置及介质,基于人体关键点稀疏的这一事实,根据信号处理的压缩感知理论,利用目标检测器分割出单个人物的裁剪图,统一尺寸后输入特征编码主干网络,获得感知矩阵,利用正交匹配追踪算法对人体关键点坐标进行稀疏恢复,实现压缩感知,计算量小,在保证较高计算精度的情况下减轻了计算负担,检测效率高。
以上详细描述了本发明的较佳具体实施例。应当理解,本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此,凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案,皆应在由权利要求书所确定的保护范围内。
Claims (10)
1.一种基于正交匹配追踪的人体关键点检测方法,其特征在于,包括:
将包含人物的待检测图像输入训练好的目标检测器,获得单个人物的裁剪图;
设置人体关键点标注坐标;
将裁剪图缩放至设定尺寸,并输入训练好的特征编码主干网络,获得感知矩阵;
根据感知矩阵,利用正交匹配追踪算法对人体关键点标注坐标进行稀疏恢复,获取待检测图像中人物的人体关键点位置。
3.根据权利要求2所述的一种基于正交匹配追踪的人体关键点检测方法,其特征在于,所述的正交匹配追踪算法包括:
循环K次残差更新步骤,所述的残差更新步骤包括:
1)计算与当前残差信号最相关的列向量kmax:
其中,ΛD=[1,2,...,N],rk-1为循环k-1次后的残差信号,gk为GM×N的第k列,k=1,2,...,K;
2)更新支撑集:
Λk=Λk-1∪kmax
其中,Λk和Λk-1分别为循环k次和循环k-1次后的支撑集;
3)对关键点标注坐标进行稀疏分解:
4)更新残差:
其中,qK为循环K次后的稀疏解。
4.根据权利要求1所述的一种基于正交匹配追踪的人体关键点检测方法,其特征在于,所述的目标检测器和特征编码主干网络的训练过程包括:
分别对目标检测器和特征编码主干网络进行单独训练;
单独训练完成之后,联立对目标检测器和特征编码主干网络进行联立训练。
5.根据权利要求4所述的一种基于正交匹配追踪的人体关键点检测方法,其特征在于,单独训练特征编码主干网络的过程中,对特征编码主干网络的输入进行数据增广。
6.根据权利要求5所述的一种基于正交匹配追踪的人体关键点检测方法,其特征在于,所述的数据增广过程包括随机翻转、随机缩放和随机旋转中的一种或多种。
7.根据权利要求1所述的一种基于正交匹配追踪的人体关键点检测方法,其特征在于,所述的目标检测器为卷积神经网络。
8.根据权利要求7所述的一种基于正交匹配追踪的人体关键点检测方法,其特征在于,所述的卷积神经网络为FasterRCNN。
9.一种基于正交匹配追踪的人体关键点检测装置,其特征在于,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器调用所述程序指令能够执行如权利要求1至8任一所述的检测方法。
10.一种计算机可读存储介质,其特征在于,包括计算机程序,所述计算机程序能够被处理器执行以实现如权利要求1-8任一所述的检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111118582.XA CN114913541A (zh) | 2021-09-24 | 2021-09-24 | 基于正交匹配追踪的人体关键点检测方法、装置及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111118582.XA CN114913541A (zh) | 2021-09-24 | 2021-09-24 | 基于正交匹配追踪的人体关键点检测方法、装置及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114913541A true CN114913541A (zh) | 2022-08-16 |
Family
ID=82761470
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111118582.XA Pending CN114913541A (zh) | 2021-09-24 | 2021-09-24 | 基于正交匹配追踪的人体关键点检测方法、装置及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114913541A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115578753A (zh) * | 2022-09-23 | 2023-01-06 | 中国科学院半导体研究所 | 人体关键点检测方法、装置、电子设备及存储介质 |
-
2021
- 2021-09-24 CN CN202111118582.XA patent/CN114913541A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115578753A (zh) * | 2022-09-23 | 2023-01-06 | 中国科学院半导体研究所 | 人体关键点检测方法、装置、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108764048B (zh) | 人脸关键点检测方法及装置 | |
CN106951484B (zh) | 图片检索方法及装置、计算机设备及计算机可读介质 | |
CN107885327B (zh) | 一种基于Kinect深度信息的指尖检测方法 | |
Xia et al. | Loop closure detection for visual SLAM using PCANet features | |
CN111079683A (zh) | 基于卷积神经网络的遥感图像云雪检测方法 | |
CN107067410B (zh) | 一种基于增广样本的流形正则化相关滤波目标跟踪方法 | |
CN114022558B (zh) | 图像定位方法、装置、计算机设备和存储介质 | |
CN111222548A (zh) | 相似图像检测方法、装置、设备及存储介质 | |
CN113255557B (zh) | 一种基于深度学习的视频人群情绪分析方法及系统 | |
WO2023151237A1 (zh) | 人脸位姿估计方法、装置、电子设备及存储介质 | |
CN116091551B (zh) | 一种基于多模态融合的目标检索跟踪方法及系统 | |
CN111508006A (zh) | 一种基于深度学习的运动目标同步检测、识别与跟踪方法 | |
CN111444807A (zh) | 目标检测方法、装置、电子设备和计算机可读介质 | |
US9081800B2 (en) | Object detection via visual search | |
CN116363750A (zh) | 人体姿态预测方法、装置、设备及可读存储介质 | |
WO2020199498A1 (zh) | 指静脉比对方法、装置、计算机设备及存储介质 | |
CN114913541A (zh) | 基于正交匹配追踪的人体关键点检测方法、装置及介质 | |
CN116433722A (zh) | 目标跟踪方法、电子设备、存储介质及程序产品 | |
CN115187660A (zh) | 一种基于知识蒸馏的多人人体姿态估计方法及系统 | |
CN114399729A (zh) | 监控对象移动识别方法、系统、终端及存储介质 | |
CN108564013B (zh) | 一种基于手势轮廓快速匹配的手势识别方法 | |
CN113313126A (zh) | 用于图像识别的方法、计算设备和计算机存储介质 | |
CN112862002A (zh) | 多尺度目标检测模型的训练方法、目标检测方法和装置 | |
CN115082430B (zh) | 图像分析方法、装置及电子设备 | |
CN116030347B (zh) | 一种基于注意力网络的高分辨率遥感影像建筑物提取方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |