CN112668549A - 行人姿态分析方法、系统、及终端、存储介质 - Google Patents

行人姿态分析方法、系统、及终端、存储介质 Download PDF

Info

Publication number
CN112668549A
CN112668549A CN202110054056.5A CN202110054056A CN112668549A CN 112668549 A CN112668549 A CN 112668549A CN 202110054056 A CN202110054056 A CN 202110054056A CN 112668549 A CN112668549 A CN 112668549A
Authority
CN
China
Prior art keywords
pedestrian
camera
key points
preset key
coordinate information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110054056.5A
Other languages
English (en)
Other versions
CN112668549B (zh
Inventor
赵洋洋
牛志博
赵勇
冯子勇
周瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Gelingshentong Information Technology Co ltd
Original Assignee
Beijing Gelingshentong Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Gelingshentong Information Technology Co ltd filed Critical Beijing Gelingshentong Information Technology Co ltd
Priority to CN202110054056.5A priority Critical patent/CN112668549B/zh
Publication of CN112668549A publication Critical patent/CN112668549A/zh
Application granted granted Critical
Publication of CN112668549B publication Critical patent/CN112668549B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Image Analysis (AREA)

Abstract

本申请实施例提供一种行人姿态分析方法、系统及终端、存储介质,用于克服相关技术中由于需要人工标注关键点导致分析结果的精度较低的问题。所述行人姿态分析方法,包括:获取摄像头采集的设定区域内的图像信息;基于深度学习目标检测法对所述图像信息中的行人进行检测,得到行人检测框;根据得到的行人检测框,确定多个预设关键点及其坐标信息;对所述预设关键点的坐标信息进行处理,得到各关键点的姿态数据。

Description

行人姿态分析方法、系统、及终端、存储介质
技术领域
本申请涉及计算机视觉技术,尤其涉及一种行人姿态分析方法、系统及终端、存储介质。
背景技术
竞走是传统田径运动中的项目,是一项通过评判员根据竞走的定义所举行的主观判罚的运动项目。竞走不仅需要很强的体力又要求具备很高的技能和变速能力,使用科学的方法对竞走姿态数据进行处理以指导竞走运动员进行科学训练显得尤其重要。
相关技术中,在对竞走运动员姿态数据获取分析时,主要利用多个相机,在不同角度对竞走运动员训练过程进行同步数据采集,对采集到的数据离线处理。在对数据进行离线处理时,具体是由操作人员先在相机采集到的画面中标注出关键点,再由终端对获取关节角度速度等姿态数据。然而,由于需要人工标注关键点,导致分析结果的精度较低。
发明内容
本申请实施例中提供了一种行人姿态分析方法、系统及终端、存储介质,用于克服相关技术中,由于需要人工标注关键点导致分析结果的精度较低的问题。
本申请第一方面实施例提供一种行人姿态分析方法,包括:
获取摄像头采集的设定区域内的图像信息;
基于深度学习目标检测法对所述图像信息中的行人进行检测,得到行人检测框;
根据得到的行人检测框,确定多个预设关键点及其坐标信息;
对所述预设关键点的坐标信息进行处理,得到各关键点的姿态数据。
在其中一种可能的实现方式中,所述获取摄像头采集的设定区域内的图像信息,包括:
获取摄像头从多角度同步采集设定区域内的图像信息。
在其中一种可能的实现方式中,所述根据得到的行人检测框,确定多个预设关键点及其坐标信息,包括:
根据所述得到的行人检测框,检测多个预设关键点;
根据预先设定的相机内参及外参,将多个所述预设关键点分别对应到真实世界的距离坐标,得到坐标信息。
在其中一种可能的实现方式中,所述姿态数据包括如下至少一种:运动速度、加速度、腾空时间、各个时刻腿的倾角、各个时刻的膝角、各个时刻的踝角、各个时刻的肘角。
在其中一种可能的实现方式中,在得到各关键点的姿态数据之后,还包括:
根据所述姿态数据生成解析报告。
本申请第二方面实施例提供一种行人姿态分析系统,包括:
摄像头,用于采集设定区域内的图像信息;
检测模块,用于基于深度学习目标检测法对所述图像信息中的行人进行检测,得到行人检测框;
确定模块,用于根据得到的行人检测框,确定多个预设关键点及其坐标信息;
处理模块,用于对所述预设关键点的坐标信息进行处理,得到各关键点的姿态数据。
在其中一种可能的实现方式中,所述摄像头包括多个,用于从多角度同步采集设定区域内的图像信息。
在其中一种可能的实现方式中,所述姿态数据包括如下至少一种:运动速度、加速度、腾空时间、各个时刻腿的倾角、各个时刻的膝角、各个时刻的踝角、各个时刻的肘角。
在其中一种可能的实现方式中,所述确定模块用于:
根据所述得到的行人检测框,检测多个预设关键点;
根据预先设定的相机内参及外参,将多个所述预设关键点分别对应到真实世界的距离坐标,得到坐标信息。
在其中一种可能的实现方式中,所述行人姿态分析系统,还包括:
生成报告模块,用于根据所述姿态数据生成解析报告。
本申请第三方面实施例提供一种终端,包括:
存储器;
处理器;以及
计算机程序;
其中,所述计算机程序存储在所述存储器中,并被配置为由所述处理器执行以实现如前述任一项所述的方法
本申请第四方面实施例提供一种计算机可读存储介质,其特征在于,其上存储有计算机程序;所述计算机程序被处理器执行以实现如前述任一项所述的方法。
本实施例提供的行人姿态分析方法、系统及终端、存储介质,通过基于深度学习目标检测法对所述获取的图像信息中的行人进行检测,得到行人检测框,从行人检测框确定多个预设关键点的坐标信息,且对所述预设关键点的坐标信息进行处理,得到各关键点的姿态数据。如此,避免了繁琐的人工标注关键点的过程,避免了人为主观因素对结果的不利影响,不仅利于提高分析效率,还利于提高分析结果的精确性。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为一示例性实施例提供的行人姿态分析方法的流程示意图;
图2为另一示例性实施例提供的行人姿态分析方法的流程示意图;
图3为又一示例性实施例提供的行人姿态分析方法的流程示意图;
图4为一示例性实施例提供的行人姿态分析方法中两视角成像示意图;
图5为一示例性实施例提供的行人姿态分析方法中相机平面与地平面的单应性映射示意图;
图6为一示例性实施例提供的行人姿态分析方法中聚类效果示意图;
图7为一示例性实施例提供的脚点速度曲线示意图;
图8为一示例性实施例提供的行人姿态分析系统的流程示意图;
图9为另一示例性实施例提供的行人姿态分析系统的流程示意图。
具体实施方式
为了使本申请实施例中的技术方案及优点更加清楚明白,以下结合附图对本申请的示例性实施例进行进一步详细的说明,显然,所描述的实施例仅是本申请的一部分实施例,而不是所有实施例的穷举。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
相关技术中,在对竞走运动员姿态数据获取分析时,通常利用多个相机,在不同角度对竞走运动员训练过程进行同步数据采集,对采集到的数据离线处理。在对数据进行离线处理时,具体是由操作人员先在相机采集到的画面中标注出关键点,再由终端对获取关节角度速度等姿态数据。目前,在人工标注关键点的过程中,通常需要多个人员参与人体关键点标注,然而,不同标注员标注结果存在差异,使得数据分析得到的结果波动较大,因此,由人工标注关键点,会导致分析结果的精度较低。
为了克服上述问题,本实施例提供一种行人姿态分析方法、系统及终端、存储介质,能够基于深度学习技术实现对行人的关键点的自动检测,避免了繁琐的人工标注关键点的过程,避免了人为主观因素对结果的不利影响,不仅利于提高分析效率,还利于提高分析结果的精确性。本实施例的行人姿态分析方法、系统及终端、存储介质可适用于对竞走、田径、马拉松、健步走等运动场景中的人员的行为姿态进行分析。
下面结合附图对本实施例提供的行为姿态分析方法进行举例说明。
如图1所示,本实施例提供的行人姿态分析方法,包括:
S101、获取摄像头采集的设定区域内的图像信息;
S102、基于深度学习目标检测法对图像信息中的行人进行检测,得到行人检测框;
S103、根据得到的行人检测框,确定多个预设关键点及其坐标信息;
S104、对预设关键点的坐标信息进行处理,得到各关键点的姿态数据。
为便于描述,本实施例不妨以行人为竞走运动员为例进行举例说明。
在步骤S101中,可预先在竞走运动员的运动路径的设定区域设置摄像头,摄像头具体可以采用高频摄像头。摄像头可以为多个,多个摄像头中有至少部分设置于设定区域的不同位置,以从多个角度同步采集设定区域内的图像信息,从而利于提高分析结果的精确性。其中,设定区域内的图像信息可以为视频流。可选地,多个摄像头以帧同步的方式从多角度采集图像信息。
在步骤S102中,基于深度学习目标检测法从图像信息中检测出具有目标竞走运动员的目标画面,且在目标画面中用于矩形等形状的框将目标竞走运动员框起来,得到得到行人检测框,利于后续再行人检测框内标注关键点。示例性地,目标画面可以由多帧图片组成的;多帧图片中的至少部分图片中具有行人检测框。可选地,深度学习目标检测法的具体实现过程为:标注xmin、ymin、xmax、ymax表示的人体框,通过梯度反传训练得到深度学习模型,使得训深度学习模型具备自识别人体所在位置的能力。
在步骤S103中,根据得到的行人检测框,确定多个预设关键点的坐标信息。具体包括:根据得到的行人检测框,检测多个预设关键点;根据预先设定的相机内参及外参,将多个预设关键点分别对应到真实世界的距离坐标(也即世界坐标系),得到坐标信息。其中,相机内参及外参的具体参数信息科根据实际需要来设置,本实施例此处不做具体限定。
在具体实现过程中,预先使用深度学习技术,训练针对竞走运动员的关键点姿态模型。训练的关键点姿态模型的过程为:标注N个人体关键点位置,每个关键点以(x,y)表示所在位置,通过梯度反传训练得到关键点姿态,使得关键点姿态具备自识别人体关键点所在位置的能力。
基于关键点姿态模型自动对目标画面中竞走运动员的各个关键点进行检测,精度高且速度快。如此,不仅能避免繁琐的人工标注关键点,避免人为主观因素,获取竞走运动员视的分析结果。
基于预先设定的相机内参及外参,将多个摄像头采集到的相同的关键点对应到真实世界的距离坐标,得到该关键点的三位坐标数据也即坐标信息。其中,坐标信息可以为三位坐标数据。如此,获取各关键点的坐标信息。
在一些示例中,多个预设关键点为运动员身体主要运动相关关键点。多个预设关键点可以包括如下中的至少部分:左脚、左脚踝、左膝、左髋关节、左肩关节、左肘关节、左腕关节、左手关节、右脚、右脚踝、右膝、右髋关节、右肩关节、右肘关节、右腕关节、右手关节、头、两肩中心、两髋中心、左脚跟、右脚跟。在具体实现时,预设关键点可不限于此,本实施例此处只是举例说明。
在步骤S104中,分别对多个预设关键点的坐标信息进行处理,得到各关键点的姿态数据。其中,姿态数据,包括如下至少一种:运动速度、加速度、腾空时间、各个时刻腿的倾角、各个时刻的膝角、各个时刻的踝角、各个时刻的肘角。在具体实现时,姿态数据可不限于此,本实施例此处只是举例说明。
本实施例提供的行人姿态分析方法,通过基于深度学习目标检测法对获取的图像信息中的行人进行检测,得到行人检测框,从行人检测框确定多个预设关键点的坐标信息,且对预设关键点的坐标信息进行处理,得到各关键点的姿态数据。如此,避免了繁琐的人工标注关键点的过程,避免了人为主观因素对结果的不利影响,不仅利于提高分析效率,还利于提高分析结果的精确性。
在其中一种可能的实现过程中,如图2所示,在得到各关键点的姿态数据之后,还包括:
S105、根据姿态数据生成解析报告。
在具体实现过程中,需预先获取或选取脚着地离地时刻的数据及单步和双步时间段内的平均量。根据姿态数据、脚着地离地时刻的数据及单步和双步时间段内的平均量生成解析报告。解析报告中的具体信息科根据实际需要来选择或设置。
其中,脚着地离地时刻的数据可以包括:脚着地时刻腿的倾角、膝角、踝角、肘角等;脚离地离地时刻的数据可以包括:脚离地时刻腿的倾角、膝角、踝角、肘角等。
单步时间段内的平均量可以包括:单步时间段内腿的倾角的平均量、膝角的平均量、踝角的平均量、肘角的平均量等;单步时间段内的平均量可以包括:双步时间段内腿的倾角的平均量、膝角的平均量、踝角的平均量、肘角的平均量等。单步时间段是指左(或右)脚离地至下一次左(或右)脚着地所需的时间。双步时间段是指左脚离地至下一次右脚着地所需的时间。
在其中一种可能的实现过程中,如图3所示,步骤S104包括:
S1041、根据多个预设关键点的坐标信息进行多相机多人匹配,得到各相机中相同点在世界平面映射点的多重聚类分组;
S1042、根据多重聚类分组,利用多相机三角化得到多个行人在世界坐标系的三维坐标;
S1043、根据多个行人在世界坐标系的三维坐标,得到各关键点的姿态数据。
其中,步骤S1041中的多相机多人匹配,可以包括:极线与点的约束关系、脚点在相机平面与地平面的单应性约束、多重聚类分组。
具体地,通过极线与点的约束关系识别在同一预设关键点在不同相机的成像。
如图4所述,同一预设关键点X在平面1成像m,在平面2上成像m’;m在平面2上对应极线l’,则l’理论上会经过m’点;m’在平面1上对应极线l,则l理论上会经过m点。也即,预设关键点X在平面1成像m,根据成像点m到极线l的距离可以用来判断点m与m’是否属于同一个点在不同相机的成像。
通过脚点在相机平面与地平面的单应性约束将各相机中的脚点映射回实际平面,在实际平面确定不同相机中多个脚点的匹配关系。其中,脚点为脚部的关键点。具体地,假设脚上的关键点在地平面上,根据多个平面成像的单应性关系,可以建立不同相机平面与地平面的单应性映射。如图5所示,实际平面(Object Plane)上的4个点在两个相机上分别成像image1和image2,其满足一一映射的关系可由单应映射矩阵H1和H2分别表示。利用映射关系可以把不同相机上看到的脚点映射回实际平面,在实际平面确定不同相机中多个点的匹配关系。
聚类方式实现不同相机中相同点在实际平面映射点的聚类分组。但是由于脚点实际不在地平面上,因此导致映射误差使得聚类不能以一个简单的阈值做区分,因此采用多重聚类的方式来解决,即以初始阈值进行聚类,然后检查聚类结果是否有冲突,若有重复以0.6×阈值对冲突子类再次聚类。聚类效果展示如图6所示,图6表示不同相机中的同一点分为同一类。
在步骤S1042中,在多相机多人匹配之后,还可对多人3D坐标还原。根据多相机多人匹配的结果,可以获得实际的世界坐标系中各人在不同相机中的成像的分组关联。从而根据多相机三角化重构出不同人在世界坐标系的三维坐标。
由于多人关联匹配过程中不可避免会发生误匹配,三维重建时采用人体RANSAC方法进一步过滤误匹配人体关节数据。具体方式是:以人体为整体单位做RANSAC算法,每次采样一组匹配人体关键点2维数据中的2个,重建人体关键点坐标后映射回不同相机,计算群内点与离群点,重复N次后记录群内点最大的采样,以所有群内点重建三维坐标。以此方式可以过滤掉组内的误匹配数据,提高分析结果的精确性。
在步骤S1043中,完成各人的身体关键点三维重建后,可以计算运动相关位置、速度、角度等指标随时间、位置变化情况,并可以根据这些指标变化规律计算得出关键帧、频率等关键指标。也即,完成各人的身体关键点三维重建后,可计算得到各关键点的姿态数据。姿态数据还包括:身体重心、重心移动速度、垂直振动幅度、步频、步幅、双脚平衡性。
具体实现时,如图7所示,可根据脚点运动速度最低点出现的时间计算着地点、离地点、步频等,并进一步结合3D位置变化计算步幅、双脚平衡性等。根据身体各主要关节位置计算身体重心,并根据其随时间变化计算身体重心移动速度、垂直震动幅度等。
本示例中,能够自动对视频中运动员的各个关节点进行检测,精度高速度快,避免了繁琐的人工关键点标注,且可自动完成多相机、多人之间的分组关联,从而同时完成多个人的人体关节点三维重建,利于精确地确定各项关键指标。输入运动员视频流可以快速的出各项运动指标解析报告,精度及效率均高于传统方法。
另外,在实际应用中,本实施例提供的方法可以通过计算机程序实现,例如,应用软件等;或者,该方法也可以实现为存储有相关计算机程序的介质,例如,U盘、云盘、硬盘等;再或者,该方法还可以通过集成或安装有相关计算机程序的实体装置实现,例如,芯片、可移动智能设备等。
本实施例还提供一种行人姿态分析系统,可用于执行前述方法实施例中的步骤,气实现过程可与前述实施例,本实施例此处不再赘述。
如图8所示,本实施例提供的行人姿态分析系统,包括:
摄像头11,用于采集设定区域内的图像信息;
检测模块12,用于基于深度学习目标检测法对图像信息中的行人进行检测,得到行人检测框;
确定模块13,用于根据得到的行人检测框,确定多个预设关键点及其坐标信息;
处理模块14,用于对预设关键点的坐标信息进行处理,得到各关键点的姿态数据。
在其中一种可能的实现方式中,处理模块14具体用于:
根据多个预设关键点的坐标信息进行多相机多人匹配,得到各相机中相同点在世界平面映射点的多重聚类分组;
根据所述多重聚类分组,利用多相机三角化得到多个行人在世界坐标系的三维坐标;
根据多个行人在世界坐标系的三维坐标,得到各关键点的姿态数据。
在其中一种可能的实现方式中,摄像头11包括多个,用于从多角度同步采集设定区域内的图像信息。
在其中一种可能的实现方式中,姿态数据包括如下至少一种:运动速度、加速度、腾空时间、各个时刻腿的倾角、各个时刻的膝角、各个时刻的踝角、各个时刻的肘角、身体重心、重心移动速度、垂直振动幅度、步频、步幅、双脚平衡性。
在其中一种可能的实现方式中,确定模块用于:
根据得到的行人检测框,检测多个预设关键点;
根据预先设定的相机内参及外参,将多个预设关键点分别对应到真实世界的距离坐标,得到坐标信息。
在其中一种可能的实现方式中,如图9所示,行人姿态分析系统还包括:生成报告模块15,用于根据姿态数据生成解析报告。
本实施例还提供一种终端,包括:
存储器;
处理器;以及
计算机程序;
其中,计算机程序存储在存储器中,并被配置为由处理器执行以实现如前述实施例中的方法。
存储器用于存储计算机程序,处理器在接收到执行指令后,执行计算机程序,前述相应实施例揭示的流过程定义的装置所执行的方法可以应用于处理器中,或者由处理器实现。
存储器可能包含高速随机存取存储器(RAM:Random Access Memory),也可能还包括非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。存储器可通过至少一个通信接口(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接,可以使用互联网,广域网,本地网,城域网等。
处理器可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,实施例一揭示的方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的相应方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件单元组合执行完成。软件单元可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。
本实施例还提供一种计算机可读存储介质,其上存储有计算机程序;计算机程序被处理器执行以实现如前述实施例中的方法。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。

Claims (12)

1.一种行人姿态分析方法,其特征在于,包括:
获取摄像头采集的设定区域内的图像信息;
基于深度学习目标检测法对所述图像信息中的行人进行检测,得到行人检测框;
根据得到的行人检测框,确定多个预设关键点及其坐标信息;
对所述预设关键点的坐标信息进行处理,得到各关键点的姿态数据。
2.根据权利要求1所述的行人姿态分析方法,其特征在于,所述获取摄像头采集的设定区域内的图像信息,包括:
获取摄像头从多角度同步采集设定区域内的图像信息。
3.根据权利要求1所述的行人姿态分析方法,其特征在于,所述根据得到的行人检测框,确定多个预设关键点及其坐标信息,包括:
根据所述得到的行人检测框,检测多个预设关键点;
根据预先设定的相机内参及外参,将多个所述预设关键点分别对应到真实世界的距离坐标,得到坐标信息。
4.根据权利要求1所述的行人姿态分析方法,其特征在于,在得到各关键点的姿态数据之后,还包括:
根据所述姿态数据生成解析报告。
5.根据权利要求1所述的行人姿态分析方法,其特征在于,所述对所述预设关键点的坐标信息进行处理,得到各关键点的姿态数据,包括:
根据多个预设关键点的坐标信息进行多相机多人匹配,得到各相机中相同点在世界平面映射点的多重聚类分组;其中,所述相机具有所述摄像头;
根据所述多重聚类分组,利用多相机三角化得到多个行人在世界坐标系的三维坐标;
根据多个行人在世界坐标系的三维坐标,得到各关键点的姿态数据。
6.根据权利要求1所述的行人姿态分析方法,其特征在于,所述姿态数据包括如下至少一种:运动速度、加速度、腾空时间、各个时刻腿的倾角、各个时刻的膝角、各个时刻的踝角、各个时刻的肘角、身体重心、重心移动速度、垂直振动幅度、步频、步幅、双脚平衡性。
7.一种行人姿态分析系统,其特征在于,包括:
摄像头,用于采集设定区域内的图像信息;
检测模块,用于基于深度学习目标检测法对所述图像信息中的行人进行检测,得到行人检测框;
确定模块,用于根据得到的行人检测框,确定多个预设关键点及其坐标信息;
处理模块,用于对所述预设关键点的坐标信息进行处理,得到各关键点的姿态数据。
8.根据权利要求7所述的行人姿态分析系统,其特征在于,所述确定模块用于:
根据所述得到的行人检测框,检测多个预设关键点;
根据预先设定的相机内参及外参,将多个所述预设关键点分别对应到真实世界的距离坐标,得到坐标信息;
所述行人姿态分析系统,还包括:
生成报告模块,用于根据所述姿态数据生成解析报告。
9.根据权利要求7所述的行人姿态分析系统,其特征在于,所述处理模块具体用于:
根据多个预设关键点的坐标信息进行多相机多人匹配,得到各相机中相同点在世界平面映射点的多重聚类分组;其中,所述相机具有所述摄像头;
根据所述多重聚类分组,利用多相机三角化得到多个行人在世界坐标系的三维坐标;
根据多个行人在世界坐标系的三维坐标,得到各关键点的姿态数据。
10.根据权利要求7所述的行人姿态分析系统,其特征在于,所述摄像头包括多个,用于从多角度同步采集设定区域内的图像信息;
和/或,所述姿态数据包括如下至少一种:运动速度、加速度、腾空时间、各个时刻腿的倾角、各个时刻的膝角、各个时刻的踝角、各个时刻的肘角、身体重心、重心移动速度、垂直振动幅度、步频、步幅、双脚平衡性。
11.一种终端,其特征在于,包括:
存储器;
处理器;以及
计算机程序;
其中,所述计算机程序存储在所述存储器中,并被配置为由所述处理器执行以实现如权利要求1-6任一项所述的方法。
12.一种计算机可读存储介质,其特征在于,其上存储有计算机程序;所述计算机程序被处理器执行以实现如权利要求1-6任一项所述的方法。
CN202110054056.5A 2021-01-15 2021-01-15 行人姿态分析方法、系统、及终端、存储介质 Active CN112668549B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110054056.5A CN112668549B (zh) 2021-01-15 2021-01-15 行人姿态分析方法、系统、及终端、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110054056.5A CN112668549B (zh) 2021-01-15 2021-01-15 行人姿态分析方法、系统、及终端、存储介质

Publications (2)

Publication Number Publication Date
CN112668549A true CN112668549A (zh) 2021-04-16
CN112668549B CN112668549B (zh) 2023-04-07

Family

ID=75415292

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110054056.5A Active CN112668549B (zh) 2021-01-15 2021-01-15 行人姿态分析方法、系统、及终端、存储介质

Country Status (1)

Country Link
CN (1) CN112668549B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113326793A (zh) * 2021-06-15 2021-08-31 上海有个机器人有限公司 一种远距离行人位置识别方法、系统及存储介质
CN115035546A (zh) * 2022-05-27 2022-09-09 中国科学院半导体研究所 三维人体姿态检测方法、装置及电子设备
WO2023083030A1 (zh) * 2021-11-15 2023-05-19 华为技术有限公司 一种姿态识别方法及其相关设备
WO2023143215A1 (zh) * 2022-01-29 2023-08-03 阿里巴巴(中国)有限公司 人体测量数据的获取方法、处理方法及设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103106659A (zh) * 2013-01-28 2013-05-15 中国科学院上海微系统与信息技术研究所 基于双目视觉稀疏点匹配的空旷区域目标检测与跟踪方法
CN104036488A (zh) * 2014-05-04 2014-09-10 北方工业大学 一种基于双目视觉的人体姿态动作研究方法
US20160212418A1 (en) * 2015-01-19 2016-07-21 Aquifi, Inc. Multiple camera system with auto recalibration
CN108053450A (zh) * 2018-01-22 2018-05-18 浙江大学 一种基于多约束的高精度双目相机标定方法
CN108211318A (zh) * 2018-01-23 2018-06-29 北京易智能科技有限公司 基于多方感知的竞走运动姿态分析方法
CN109341668A (zh) * 2018-10-11 2019-02-15 重庆邮电大学 基于折射投影模型和光束追踪法的多相机测量方法
CN109758756A (zh) * 2019-02-28 2019-05-17 国家体育总局体育科学研究所 基于3d相机的体操视频分析方法及系统
US20190251341A1 (en) * 2017-12-08 2019-08-15 Huawei Technologies Co., Ltd. Skeleton Posture Determining Method and Apparatus, and Computer Readable Storage Medium
CN111724414A (zh) * 2020-06-23 2020-09-29 宁夏大学 一种基于3d姿态估计的篮球运动分析方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103106659A (zh) * 2013-01-28 2013-05-15 中国科学院上海微系统与信息技术研究所 基于双目视觉稀疏点匹配的空旷区域目标检测与跟踪方法
CN104036488A (zh) * 2014-05-04 2014-09-10 北方工业大学 一种基于双目视觉的人体姿态动作研究方法
US20160212418A1 (en) * 2015-01-19 2016-07-21 Aquifi, Inc. Multiple camera system with auto recalibration
US20190251341A1 (en) * 2017-12-08 2019-08-15 Huawei Technologies Co., Ltd. Skeleton Posture Determining Method and Apparatus, and Computer Readable Storage Medium
CN108053450A (zh) * 2018-01-22 2018-05-18 浙江大学 一种基于多约束的高精度双目相机标定方法
CN108211318A (zh) * 2018-01-23 2018-06-29 北京易智能科技有限公司 基于多方感知的竞走运动姿态分析方法
CN109341668A (zh) * 2018-10-11 2019-02-15 重庆邮电大学 基于折射投影模型和光束追踪法的多相机测量方法
CN109758756A (zh) * 2019-02-28 2019-05-17 国家体育总局体育科学研究所 基于3d相机的体操视频分析方法及系统
CN111724414A (zh) * 2020-06-23 2020-09-29 宁夏大学 一种基于3d姿态估计的篮球运动分析方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
林钧斌等: "基于多判据的多目视觉手势立体姿态检测系统研究", 《光学仪器》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113326793A (zh) * 2021-06-15 2021-08-31 上海有个机器人有限公司 一种远距离行人位置识别方法、系统及存储介质
CN113326793B (zh) * 2021-06-15 2024-04-05 上海有个机器人有限公司 一种远距离行人位置识别方法、系统及存储介质
WO2023083030A1 (zh) * 2021-11-15 2023-05-19 华为技术有限公司 一种姿态识别方法及其相关设备
WO2023143215A1 (zh) * 2022-01-29 2023-08-03 阿里巴巴(中国)有限公司 人体测量数据的获取方法、处理方法及设备
CN115035546A (zh) * 2022-05-27 2022-09-09 中国科学院半导体研究所 三维人体姿态检测方法、装置及电子设备

Also Published As

Publication number Publication date
CN112668549B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN112668549B (zh) 行人姿态分析方法、系统、及终端、存储介质
Hesse et al. Computer vision for medical infant motion analysis: State of the art and rgb-d data set
CN103099602B (zh) 基于光学识别的体质检测方法与系统
D’Antonio et al. Validation of a 3D markerless system for gait analysis based on OpenPose and two RGB webcams
CN110544301A (zh) 一种三维人体动作重建系统、方法和动作训练系统
Hanley et al. Differences between motion capture and video analysis systems in calculating knee angles in elite-standard race walking
CN109758756B (zh) 基于3d相机的体操视频分析方法及系统
CN113239797B (zh) 人体动作识别方法、装置及系统
Slembrouck et al. Multiview 3D markerless human pose estimation from openpose skeletons
CN102679964B (zh) 步态参数测量系统及其数据处理装置和方法
CN110910449B (zh) 识别物体三维位置的方法和系统
Bachmann et al. Motion capture from pan-tilt cameras with unknown orientation
Ingwersen et al. SportsPose-A Dynamic 3D sports pose dataset
Cai et al. Single-camera-based method for step length symmetry measurement in unconstrained elderly home monitoring
Yang et al. Upper limb movement analysis via marker tracking with a single-camera system
Pan et al. Study on automatic tracking method of marking points in sports image sequence
Almasi et al. Investigating the Application of Human Motion Recognition for Athletics Talent Identification using the Head-Mounted Camera
CN114052725B (zh) 基于人体关键点检测的步态分析算法设定方法以及装置
CN203630717U (zh) 基于轻型惯导传感输入设备的交互系统
Abd Shattar et al. Experimental Setup for Markerless Motion Capture and Landmarks Detection using OpenPose During Dynamic Gait Index Measurement
Biasi et al. Garment-based motion capture (GaMoCap): high-density capture of human shape in motion
CN116012417A (zh) 目标对象的轨迹确定方法、装置以及电子设备
Almasi Human movement analysis from the egocentric camera view
Liu et al. Learning 3-D Human Pose Estimation from Catadioptric Videos.
Yagi et al. Estimation of runners' number of steps, stride length and speed transition from video of a 100-meter race

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant