CN109344803A - 一种姿态特征提取方法及相关装置 - Google Patents

一种姿态特征提取方法及相关装置 Download PDF

Info

Publication number
CN109344803A
CN109344803A CN201811268495.0A CN201811268495A CN109344803A CN 109344803 A CN109344803 A CN 109344803A CN 201811268495 A CN201811268495 A CN 201811268495A CN 109344803 A CN109344803 A CN 109344803A
Authority
CN
China
Prior art keywords
human body
joint
obtains
group
point coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811268495.0A
Other languages
English (en)
Inventor
丁鹏程
成思源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN201811268495.0A priority Critical patent/CN109344803A/zh
Publication of CN109344803A publication Critical patent/CN109344803A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种姿态特征提取方法,包括:对多帧人体图像进行骨架关节点坐标提取,得到每帧人体图像对应的关节点坐标组;对每个关节点坐标组进行向量计算和关节角计算,得到对应的特征向量组和对应的关节角组;根据每帧人体图像的时间间隔分别对相邻的关节角组进行角加速度计算,得到多个关节角加速度组;根据所有关节点坐标组进行偏置计算;则将所有特征向量组、所有关节角组、所有关节角加速度组以及偏置值以矩阵的形式进行输出,得到骨架姿态特征表征矩阵。通过对向量和关节角的提取,以及计算出关节角加速度,降低了特征数据的数据量。本申请还公开了一种人体骨架特征提取装置、装置以及计算机可读存储介质,具有以上有益效果。

Description

一种姿态特征提取方法及相关装置
技术领域
本申请涉及计算机技术领域,特别涉及一种姿态特征提取方法、人体骨架特征提取装置、装置以及计算机可读存储介质。
背景技术
随着信息技术的不断发展,在计算视觉领域中需要对不同的实体进行识别处理,其中,对人体行为进行识别的人体行为识别,主要是从图像或视频中获取到相应的特征数据,在对该特征数据进行姿态识别,从而估计出人体的行为姿态。在人体行为识别的过程中,从原始的图像数据或视频数据中提取姿态特征数据的精确程度和数据量会严重影响识别过程的性能。
目前,在人体行为识别过程进行姿态特征提取的方法,主要是对人体轮廓数据进行提取,但是人体轮廓数据由于边缘轮廓点相当靠近,使得整体轮廓特征含有丰富的冗余,特征数据的数据量较大,不利于姿态特征数据的处理过程。
因此,如何在保证姿态特征数据的精确程度的情况下降低姿态特征数据的数据量是本领域技术人员关注的重点问题。
发明内容
本申请的目的是提供一种姿态特征提取方法、人体骨架特征提取装置、装置以及计算机可读存储介质,通过对向量和关节角的提取,以及计算出关节角加速度,降低了特征数据的数据量。
为解决上述技术问题,本申请提供一种姿态特征提取方法,包括:
对多帧人体图像进行骨架关节点坐标提取,得到每帧人体图像对应的关节点坐标组;
对每个所述关节点坐标组进行向量计算和关节角计算,得到对应的特征向量组和对应的关节角组;
根据每帧人体图像的时间间隔分别对相邻的关节角组进行角加速度计算,得到多个关节角加速度组;
根据所有关节点坐标组进行偏置计算,根据得到的偏置值判断所述多帧人体图像是否符合特征提取标准;
若是,则将所有所述特征向量组、所有所述关节角组、所有所述关节角加速度组以及所述偏置值以矩阵的形式进行输出,得到骨架姿态特征表征矩阵。
可选的,还包括:
当所述多帧人体图像不符合特征提取标准时,循环获取新的多帧人体图像进行人体骨架特征提取处理,直至循环获取的多帧人体图像符合所述特征提取标准,输出骨架姿态特征表征矩阵。
可选的,对多帧人体图像进行骨架关节点坐标提取,得到每帧所述人体图像对应的关节点坐标组,包括:
对所述多帧人体图像进行去噪滤波处理,得到多帧预处理人体图像;
对每帧预处理人体图像进行关节点坐标提取,得到多个关节点坐标组。
可选的,对每个所述关节点坐标组进行向量计算和关节角计算,得到对应的特征向量组和对应的关节角组,包括:
选取每个所述关节点坐标组中预设数量的目标关节点坐标,对所有所述目标关节点坐标进行特征向量计算,得到特征向量组;
对特征向量组中每个向量进行关节角计算,得到关节角组。
本申请还提供一种人体骨架特征提取装置,包括:
关节点坐标提取模块,用于对多帧人体图像进行骨架关节点坐标提取,得到每帧人体图像对应的关节点坐标组;
静态特征获取模块,用于对每个所述关节点坐标组进行向量计算和关节角计算,得到对应的特征向量组和对应的关节角组;
动态特征获取模块,用于根据每帧人体图像的时间间隔分别对相邻的关节角组进行角加速度计算,得到多个关节角加速度组;
偏置获取模块,用于根据所有关节点坐标组进行偏置计算,根据得到的偏置值判断所述多帧人体图像是否符合特征提取标准;
骨架特征输出模块,用于当所述多帧人体图像符合所述特征提取标准时,将所有所述特征向量组、所有所述关节角组、所有所述关节角加速度组以及所述偏置值以矩阵的形式进行输出,得到骨架姿态特征表征矩阵。
可选的,还包括:
循环提取模块,用于当所述多帧人体图像不符合特征提取标准时,循环获取新的多帧人体图像进行人体骨架特征提取处理,直至循环获取的多帧人体图像符合所述特征提取标准,输出骨架姿态特征表征矩阵。
可选的,所述关节点坐标提取模块,包括:
去噪单元,用于对所述多帧人体图像进行去噪滤波处理,得到多帧预处理人体图像;
坐标获取单元,用于对每帧预处理人体图像进行关节点坐标提取,得到多个关节点坐标组。
可选的,所述静态特征获取模块,包括:
特征向量获取单元,用于选取每个所述关节点坐标组中预设数量的目标关节点坐标,对所有所述目标关节点坐标进行特征向量计算,得到特征向量组;
关节角获取单元,用于对特征向量组中每个向量进行关节角计算,得到关节角组。
本申请还提供一种装置,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如上所述的姿态特征提取方法的步骤。
本申请还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上所述的姿态特征提取方法的步骤。
本申请所提供的一种姿态特征提取方法,包括:对多帧人体图像进行骨架关节点坐标提取,得到每帧人体图像对应的关节点坐标组;对每个所述关节点坐标组进行向量计算和关节角计算,得到对应的特征向量组和对应的关节角组;根据每帧人体图像的时间间隔分别对相邻的关节角组进行角加速度计算,得到多个关节角加速度组;根据所有关节点坐标组进行偏置计算,根据得到的偏置值判断所述多帧人体图像是否符合特征提取标准;若是,则将所有所述特征向量组、所有所述关节角组、所有所述关节角加速度组以及所述偏置值以矩阵的形式进行输出,得到骨架姿态特征表征矩阵。
通过提取的关节点坐标计算出向量特征和关节角特征,用于描述每帧人体图像中的静态特征,再根据每帧人体图像的时间间隔计算出关节角加速度用于描述多帧人体图像中的动态特征,在获取的静态特征和动态特征的基础上,足以实现对人体姿态的描述,保持特征数据的完整性和准确性,同时,只通过骨架信息作为特征数据相比将轮廓数据作为特征数据,极大的降低了特征数据的数据量,减少了使用特征数据时的计算冗余,提高了特征数据被使用的效率。
本申请还提供一种人体骨架特征提取装置、装置以及计算机可读存储介质,具有以上有益效果,在此不做赘述。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请实施例所提供的一种姿态特征提取方法的流程图;
图2为本申请实施例所提供的姿态特征提取方法的坐标点提取方法的流程图;
图3为本申请实施例所提供的一种人体骨架特征提取装置的结构示意图。
具体实施方式
本申请的核心是提供一种姿态特征提取方法、人体骨架特征提取装置、装置以及计算机可读存储介质,通过对向量和关节角的提取,以及计算出关节角加速度,降低了特征数据的数据量。
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
目前,在人体行为识别过程进行姿态特征提取的方法,主要是对人体轮廓数据进行提取,但是人体轮廓数据由于边缘轮廓点相当靠近,使得整体轮廓特征含有丰富的冗余,特征数据的数据量较大,不利于姿态特征数据的处理过程。可见,现有技术为了保持信息获取的完整性,和信息准确性,需要提高特征数据的数据量,同时特征数据的维数也会不断的增加,带来的有益效果是显而易见的,但是数据量增多会显著增加计算时的冗余量,增加计算时长。在当前应用的环境中对于计算的实时新要求较高,可见现有技术中进行的特征提取方法没有办法满足当前要求。
因此,本申请实施例提供的一种姿态特征提取方法,通过提取的关节点坐标计算出向量特征和关节角特征,用于描述每帧人体图像中的静态特征,再根据每帧人体图像的时间间隔计算出关节角加速度用于描述多帧人体图像中的动态特征,在获取的静态特征和动态特征的基础上,足以实现对人体姿态的描述,保持特征数据的完整性和准确性,同时,只通过骨架信息作为特征数据相比将轮廓数据作为特征数据,极大的降低了特征数据的数据量,减少了使用特征数据时的计算冗余,提高了特征数据被使用的效率。
具体的,请参考图1,图1为本申请实施例所提供的一种姿态特征提取方法的流程图。
该方法可以包括:
S101,对多帧人体图像进行骨架关节点坐标提取,得到每帧人体图像对应的关节点坐标组;
S102,对每个关节点坐标组进行向量计算和关节角计算,得到对应的特征向量组和对应的关节角组;
本实施例中主要是从多帧人体图像获取到人体骨架特征数据,而不是单张图像,因为通过时间上连续的特征数据才可以判断出人体姿态的状态,如果是单张图像只能判断近似于什么动作,而无法判断出正在做什么动作。因此,本实施例中需要从多帧人体图像中获取到连续的特征数据,也就是运动特征数据和静态特征数据。
步骤S101与S102先获取静态特征数据,从多帧人体图像中获取关节点坐标,通过坐标计算出特征向量和关节角。
其中,对多帧人体图像进行骨架关节点坐标提取,主要是获取人体骨架中的每个关节点的坐标,例如,人体骨架大腿有两端骨头,股骨和小腿骨(腓骨和胫骨),获取的关节点坐标就是股骨与桡骨之间的关节点坐标、股骨和小腿骨之间的关节点坐标以及小腿骨底侧的(脚踝)关节点坐标。
步骤S101中针对每帧图像都可以提取出对应的关节点坐标组,通过S101相当于将每帧人体图像转成了关节点坐标数据。
步骤S102主要是将每帧的关节点坐标计算出特征向量和关节角。
在人体骨架特征获取的过程中,一般的是直接将人体骨架中的关节点坐标作为描述骨架特征的数据,但是本实施例中为了进一步降低特征数据的数据量,将关节点坐标计算得到的特征向量作为静态特征数据,除了向量同时将每个向量之间的夹角也作为描述形状数据的静态特征数据。
例如,本实施例中将每帧人体图像均提取出头1、颈2、左肩3、右肩4、左肘5、右肘6、左手腕7、右手腕8、左手9、右手10、腰11、臀部12、左膝13、右膝14、左脚踝15、右脚踝16、左脚17、右脚18这18个关节点坐标,可以针对每个相邻的坐标计算出特征向量,再获取到每个特征向量之间的角度,作为关节点角。
可选的,步骤S102可以包括:
步骤1,选取每个关节点坐标组中预设数量的目标关节点坐标,对所有目标关节点坐标进行特征向量计算,得到特征向量组;
步骤2,对特征向量组中每个向量进行关节角计算,得到关节角组。
本可选方案是在关节点坐标组中选取出部分的目标关节点坐标,再进行特征向量计算,减少了特征向量的数量,进一步减少了特征数据在计算时的冗余量。
例如,本实施例中将每帧人体图像均提取出头1、颈2、左肩3、右肩4、左肘5、右肘6、左手腕7、右手腕8、左手9、右手10、腰11、臀部12、左膝13、右膝14、左脚踝15、右脚踝16、左脚17、右脚18这18个关节点坐标,再提取出颈2、左肘5、右肘6、左手9、右手10、腰11、左膝13、右膝14、左脚17、右脚18的坐标,然后计算相邻关节之间的特征向量,最后获取出每条特征向量之间的角度,作为关节角。
S103,根据每帧人体图像的时间间隔分别对相邻的关节角组进行角加速度计算,得到多个关节角加速度组;
步骤S102的基础上,本步骤旨在根据每帧人体图像的时间间隔分别对相邻的关节角组进行角加速度计算,得到多个关节角加速度组。
由于每帧人体图像在时间上是连续的,并且每帧之间间隔一定的时间,因此就可以根据每帧人体图像中对应的关节角的变化计算出多个关节角加速度,每帧人体图像进行角加速度计算后得到对应的关节角加速度组,进一步的,多帧人体图像就可以得到多个关节角加速度组。
S104,根据所有关节点坐标组进行偏置计算,根据得到的偏置值判断多帧人体图像是否符合特征提取标准;若是,则执行S105;若否,则执行S106;
在步骤S103的基础上,本步骤旨在计算获取的关节点坐标组的偏置值,以判断获取的关节点坐标组的数据是否可靠。其中,具体的判断方法可以是设置预设偏置值,判断该偏置值是否小于预设偏置值;若是,则表示符合特征提取标准;若否,则标识不符合特征提取标准。还可以是设置上限偏置值和下限偏置值,当本步骤获取的偏置值小于上限偏置值且大于下限偏置值时,表示符合特征提取标准。
S105,将所有特征向量组、所有关节角组、所有关节角加速度组以及偏置值以矩阵的形式进行输出,得到骨架姿态特征表征矩阵。
本步骤旨在将以上获取的静态特征数据、动态特征数据以及偏置值作为最后的特征数据,以矩阵的形式输出,得到骨架姿态特征表征矩阵。
S106,循环获取新的多帧人体图像进行人体骨架特征提取处理,直至循环获取的多帧人体图像符合特征提取标准,输出骨架姿态特征表征矩阵。
本步骤旨在当多帧人体图像不符合特征提取标准时,重新选取新的多帧人体图像进行人体骨架特征提取处理,直到符合特征提取标准,得到骨架姿态特征表征矩阵。
需要说明的是,本实施例所展示的S104的执行顺序只是多种执行顺序中的一种,例如,S104还可以在S101后直接执行。因此,本实施例中的执行顺序并不唯一,还可以有其他形式,本实施例并不做具体限定。
综上,本实施例通过提取的关节点坐标计算出向量特征和关节角特征,用于描述每帧人体图像中的静态特征,再根据每帧人体图像的时间间隔计算出关节角加速度用于描述多帧人体图像中的动态特征,在获取的静态特征和动态特征的基础上,足以实现对人体姿态的描述,保持特征数据的完整性和准确性,同时,只通过骨架信息作为特征数据相比将轮廓数据作为特征数据,极大的降低了特征数据的数据量,减少了使用特征数据时的计算冗余,提高了特征数据被使用的效率。
在上一实施例的基础上,本实施例主要是对上一实施例中的如何进行骨架关节点坐标提取做一个具体说明,其他部分与上一实施例大体相同,相同部分可以参考上一实施例,在此不做赘述。
请参考图2,图2为本申请实施例所提供的姿态特征提取方法的坐标点提取方法的流程图。
该方法可以包括:
S201,对多帧人体图像进行去噪滤波处理,得到多帧预处理人体图像;
本步骤主要是对原始的多帧人体图像进行去噪滤波处理,得到多帧预处理人体图像。使得去除掉每帧人体图像中目标外孤立的噪声点。
S202,对每帧预处理人体图像进行关节点坐标提取,得到多个关节点坐标组。
在步骤S201的基础上,本步骤旨在对每帧预处理人体图像进行关节点坐标提取,得到多个关节点坐标组。其中,进行关节点坐标提取方法可以采用现有技术提供的任意一种关节点坐标提取方法,在此不做具体限定。其主要目的就是获取到人体骨架中每个关节点的坐标,具体的针对不同的应用环境可以获取全部的关节点坐标,也可以在保证整体性的情况下只获取部分关节点坐标,在此并不唯一,不做具体限定。
通过本实施例就可以针对每帧人体图像获取到对应的关节点坐标组,并且可以只获取到部分的关节点坐标,减少每个关节点坐标组中的关节点坐标数量,减少特征数据的数据量。
在以上所有实施例的基础上,本实施例提供一种更加具体的姿态特征提取方法,如下:
通过网络摄像头拍摄获得人体图像,同时对采集到的图像进行去噪、滤波预处理,去掉目标外孤立的噪声点。
利用人体骨架特征提取软件工具包对处理后的多帧人体图像进行骨架特征提取,得到多个完整清晰的人体骨架特征图。
从人体骨架特征图中得到骨架关节点的坐标,在本实施例中使用了18个关节点来描述人体骨架,分别是:头1、颈2、左肩3、右肩4、左肘5、右肘6、左手腕7、右手腕8、左手9、右手10、腰11、臀部12、左膝13、右膝14、左脚踝15、右脚踝16、左脚17、右脚18。
定义所获取的人体骨架特征图像关节点坐标为Pi(x,y),其中i表示第i个关节点。
向量J为包含人体骨架18个关节点的坐标集合,表示为:
J={p1,p2,…,p18}
两个关节点之间的骨架归一化向量表示为:
如果直接将18个人体骨架关节点作为输入特征,每个关节点有x和y方向的2个空间信息,那么整个特征将是一个36维的特征向量。这种原始的行为特征数据不仅存在大量的冗余,而且大量行为特征数据会使得模型复杂,计算量也会增加。因此,使用骨架关节点之间构成的几个关键的特征向量来进行特征描述,将会减少计算量,提高算法的运算效率。具体的,本实施例使用上肢4个向量,下肢4个向量,躯干1个向量,共9个特征向量来进行人体骨架的特征表征。
所以,人体结构向量的特征向量集合为:
其中,B标识一个特征向量,角标表示进行向量计算的关节点坐标。
人体骨架关节角是指以骨架关节点为顶点,以被关节点连接的两根“骨头”为边所构成的夹角。为了减少冗余计算量,提高运算的效率,本实施例使用上述特征向量之间的夹角作为关节角,用θ表示,且θ∈[0,π],表示为:
θ={θ12345789}
人体骨架关节角加速度是指物体的角速度随时间的变化率,在本方法中,这个“角”指的是关节角。可以描述人体动作的变化频率,也就可以有效地分析出人做某个动作时,身体各个部位的变化情况,包括变化的快慢、方向等,有利于后续的行为识别工作。其中,关节角角速度为:
其中,α为关节角加速度,Δθ为每两帧图像关节角变化量,Δt为每两帧图像之间的时间。
在进行人体行为识别前,需要获取一定量的可靠运动数据帧,也就是数据之间的误差不能过大的数据帧。
因此,假设共采集了N帧数据,每帧的关节点数目为J,本实施例中J取18。第n帧的所有关节点数据可表示为[pn1,pn2,...,pnJ],其中pni表示第n帧的第i个关节点坐标,n∈[1,N],i∈[1,J]。根据人体骨骼结构,设关节点i与关节点j相连,则在第n帧中,关节点i与关节点j之间的距离也即两个关节点之间的骨骼长度为:
Dnij=||pni-pnj||
人体结构的特征向量和骨架关节点之间的夹角描述了整个动作的特征,由于人体结构特征向量在网络摄像头的输入流中是实时变化的,骨架关节点之间的夹角也不是很稳定,因此需要计算出骨架数据的偏置,以判断特征数据的可靠性。
本实施例中以Bias(偏置)表示骨架偏置特征,则对N帧中的所有的骨骼均采用此方法计算得出的偏置为:
其中,Dnij为关节点i与关节点j之间的骨骼长度。
当偏置值满足一定要求时,将完整的人体骨架以人体骨架姿态特征表征矩阵的形式输出,以此表达人体骨架模型。通过对人体结构特征向量、关节角、关节角加速度以及偏置特征的描述,则覆盖了人体行为的各个方面,更加完善,同时在保证准确度的情况下尽可能的减少了特征的维度,使得后续计算更加高效率。
整体的人体骨架姿态特征表征矩阵F为:
本申请实施例提供了一种姿态特征提取方法,可以通过提取的关节点坐标计算出向量特征和关节角特征,用于描述每帧人体图像中的静态特征,再根据每帧人体图像的时间间隔计算出关节角加速度用于描述多帧人体图像中的动态特征,在获取的静态特征和动态特征的基础上,足以实现对人体姿态的描述,保持特征数据的完整性和准确性,同时,只通过骨架信息作为特征数据相比将轮廓数据作为特征数据,极大的降低了特征数据的数据量,减少了使用特征数据时的计算冗余,提高了特征数据被使用的效率。
以下为本申请实施例在具体的设备终端执行的一种具体应用,实现了从人体图像中提取出姿态特征数据,并根据该姿态特征数据进行深度神经网络模型的训练和测试,最后通过得到最优姿态识别模型对待识别人体图像进行识别。
其中,执行本实施例的方案可以基于NVIDIA的TeslaP100DGX-1服务器实现。
具体如下:
通过摄像头获取到300个多帧人体图像,对每个对多帧人体图像进行骨架关节点坐标提取,得到每帧人体图像对应的关节点坐标组;对每个所述关节点坐标组进行向量计算和关节角计算,得到对应的特征向量组和对应的关节角组;根据每帧人体图像的时间间隔分别对相邻的关节角组进行角加速度计算,得到多个关节角加速度组;根据所有关节点坐标组进行偏置计算,根据得到的偏置值判断所述多帧人体图像是否符合特征提取标准;若是,则将所有所述特征向量组、所有所述关节角组、所有所述关节角加速度组以及所述偏置值以矩阵的形式进行输出,得到300个骨架姿态特征表征矩阵。
将300个骨架姿态特征表征矩阵进行姿态分类处理,将所有骨架姿态特征表征矩阵和对应的姿态分类结果作为训练集数据,采用训练集数据进行神经网络训练,得到姿态识别模型;根据获取的测试集数据对姿态识别模型进行测试调整处理,得到最优姿态识别模型;根据所述最优姿态识别模型对待识别人体图像进行识别,得到识别结果。
下面对本申请实施例提供的一种人体骨架特征提取装置进行介绍,下文描述的一种人体骨架特征提取装置与上文描述的一种姿态特征提取方法可相互对应参照。
请参考图3,图3为本申请实施例所提供的一种人体骨架特征提取装置的结构示意图。
该装置可以包括:
关节点坐标提取模块100,用于对多帧人体图像进行骨架关节点坐标提取,得到每帧人体图像对应的关节点坐标组;
静态特征获取模块200,用于对每个关节点坐标组进行向量计算和关节角计算,得到对应的特征向量组和对应的关节角组;
动态特征获取模块300,用于根据每帧人体图像的时间间隔分别对相邻的关节角组进行角加速度计算,得到多个关节角加速度组;
偏置获取模块400,用于根据所有关节点坐标组进行偏置计算,根据得到的偏置值判断多帧人体图像是否符合特征提取标准;
骨架特征输出模块500,用于当多帧人体图像符合特征提取标准时,将所有特征向量组、所有关节角组、所有关节角加速度组以及偏置值以矩阵的形式进行输出,得到骨架姿态特征表征矩阵。
可选的,该装置还可以包括:
循环提取模块,用于当多帧人体图像不符合特征提取标准时,循环获取新的多帧人体图像进行人体骨架特征提取处理,直至循环获取的多帧人体图像符合特征提取标准,输出骨架姿态特征表征矩阵。
可选的,该关节点坐标提取模块100,可以包括:
去噪单元,用于对多帧人体图像进行去噪滤波处理,得到多帧预处理人体图像;
坐标获取单元,用于对每帧预处理人体图像进行关节点坐标提取,得到多个关节点坐标组。
可选的,该静态特征获取模块200,可以包括:
特征向量获取单元,用于选取每个关节点坐标组中预设数量的目标关节点坐标,对所有目标关节点坐标进行特征向量计算,得到特征向量组;
关节角获取单元,用于对特征向量组中每个向量进行关节角计算,得到关节角组。
本申请实施例还提供一种装置,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如上所述的姿态特征提取方法的步骤。
本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上所述的姿态特征提取方法的步骤。
该计算机可读存储介质可以包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本申请所提供的一种姿态特征提取方法、人体骨架特征提取装置、装置以及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以对本申请进行若干改进和修饰,这些改进和修饰也落入本申请权利要求的保护范围内。

Claims (10)

1.一种姿态特征提取方法,其特征在于,包括:
对多帧人体图像进行骨架关节点坐标提取,得到每帧人体图像对应的关节点坐标组;
对每个所述关节点坐标组进行向量计算和关节角计算,得到对应的特征向量组和对应的关节角组;
根据每帧人体图像的时间间隔分别对相邻的关节角组进行角加速度计算,得到多个关节角加速度组;
根据所有关节点坐标组进行偏置计算,根据得到的偏置值判断所述多帧人体图像是否符合特征提取标准;
若是,则将所有所述特征向量组、所有所述关节角组、所有所述关节角加速度组以及所述偏置值以矩阵的形式进行输出,得到骨架姿态特征表征矩阵。
2.根据权利要求1所述的姿态特征提取方法,其特征在于,还包括:
当所述多帧人体图像不符合特征提取标准时,循环获取新的多帧人体图像进行人体骨架特征提取处理,直至循环获取的多帧人体图像符合所述特征提取标准,输出骨架姿态特征表征矩阵。
3.根据权利要求1所述的姿态特征提取方法,其特征在于,对多帧人体图像进行骨架关节点坐标提取,得到每帧所述人体图像对应的关节点坐标组,包括:
对所述多帧人体图像进行去噪滤波处理,得到多帧预处理人体图像;
对每帧预处理人体图像进行关节点坐标提取,得到多个关节点坐标组。
4.根据权利要求1所述的姿态特征提取方法,其特征在于,对每个所述关节点坐标组进行向量计算和关节角计算,得到对应的特征向量组和对应的关节角组,包括:
选取每个所述关节点坐标组中预设数量的目标关节点坐标,对所有所述目标关节点坐标进行特征向量计算,得到特征向量组;
对特征向量组中每个向量进行关节角计算,得到关节角组。
5.一种人体骨架特征提取装置,其特征在于,包括:
关节点坐标提取模块,用于对多帧人体图像进行骨架关节点坐标提取,得到每帧人体图像对应的关节点坐标组;
静态特征获取模块,用于对每个所述关节点坐标组进行向量计算和关节角计算,得到对应的特征向量组和对应的关节角组;
动态特征获取模块,用于根据每帧人体图像的时间间隔分别对相邻的关节角组进行角加速度计算,得到多个关节角加速度组;
偏置获取模块,用于根据所有关节点坐标组进行偏置计算,根据得到的偏置值判断所述多帧人体图像是否符合特征提取标准;
骨架特征输出模块,用于当所述多帧人体图像符合所述特征提取标准时,将所有所述特征向量组、所有所述关节角组、所有所述关节角加速度组以及所述偏置值以矩阵的形式进行输出,得到骨架姿态特征表征矩阵。
6.根据权利要求5所述的人体骨架特征提取装置,其特征在于,还包括:
循环提取模块,用于当所述多帧人体图像不符合特征提取标准时,循环获取新的多帧人体图像进行人体骨架特征提取处理,直至循环获取的多帧人体图像符合所述特征提取标准,输出骨架姿态特征表征矩阵。
7.根据权利要求5所述的人体骨架特征提取装置,其特征在于,所述关节点坐标提取模块,包括:
去噪单元,用于对所述多帧人体图像进行去噪滤波处理,得到多帧预处理人体图像;
坐标获取单元,用于对每帧预处理人体图像进行关节点坐标提取,得到多个关节点坐标组。
8.根据权利要求5所述的人体骨架特征提取装置,其特征在于,所述静态特征获取模块,包括:
特征向量获取单元,用于选取每个所述关节点坐标组中预设数量的目标关节点坐标,对所有所述目标关节点坐标进行特征向量计算,得到特征向量组;
关节角获取单元,用于对特征向量组中每个向量进行关节角计算,得到关节角组。
9.一种装置,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至4任一项所述的姿态特征提取方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至4任一项所述的姿态特征提取方法的步骤。
CN201811268495.0A 2018-10-29 2018-10-29 一种姿态特征提取方法及相关装置 Pending CN109344803A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811268495.0A CN109344803A (zh) 2018-10-29 2018-10-29 一种姿态特征提取方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811268495.0A CN109344803A (zh) 2018-10-29 2018-10-29 一种姿态特征提取方法及相关装置

Publications (1)

Publication Number Publication Date
CN109344803A true CN109344803A (zh) 2019-02-15

Family

ID=65312352

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811268495.0A Pending CN109344803A (zh) 2018-10-29 2018-10-29 一种姿态特征提取方法及相关装置

Country Status (1)

Country Link
CN (1) CN109344803A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110495889A (zh) * 2019-07-04 2019-11-26 平安科技(深圳)有限公司 体态评估方法、电子装置、计算机设备及存储介质
CN112906512A (zh) * 2021-02-03 2021-06-04 北京海迩西医疗科技有限公司 一种确定人体关节的方法、装置以及存储介质
CN112975993A (zh) * 2021-02-22 2021-06-18 北京国腾联信科技有限公司 一种机器人示教方法、装置、存储介质和设备
CN115293299A (zh) * 2022-10-08 2022-11-04 中科物栖(北京)科技有限责任公司 人体姿态特征实时检测方法、装置、设备及介质
CN116597426A (zh) * 2023-05-26 2023-08-15 北京中科睿途科技有限公司 一种司乘人员安全状态的识别方法和装置
CN112906512B (zh) * 2021-02-03 2024-06-11 北京海迩西医疗科技有限公司 一种确定人体关节的方法、装置以及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104899561A (zh) * 2015-05-27 2015-09-09 华南理工大学 一种并行化的人体行为识别方法
US20170161547A1 (en) * 2015-12-04 2017-06-08 Sony Interactive Entertainment Inc. Image processing apparatus and image processing method
CN107194344A (zh) * 2017-05-16 2017-09-22 西安电子科技大学 自适应骨骼中心的人体行为识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104899561A (zh) * 2015-05-27 2015-09-09 华南理工大学 一种并行化的人体行为识别方法
US20170161547A1 (en) * 2015-12-04 2017-06-08 Sony Interactive Entertainment Inc. Image processing apparatus and image processing method
CN107194344A (zh) * 2017-05-16 2017-09-22 西安电子科技大学 自适应骨骼中心的人体行为识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
罗芳: "基于视频监控的人体异常行为识别系统研究", <<中国优秀硕士学位论文全文数据库 信息科技辑>> *
黄莎: "基于骨架的人体动作识别研究", <<中国优秀硕士学位论文全文数据库 信息科技辑>> *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110495889A (zh) * 2019-07-04 2019-11-26 平安科技(深圳)有限公司 体态评估方法、电子装置、计算机设备及存储介质
CN112906512A (zh) * 2021-02-03 2021-06-04 北京海迩西医疗科技有限公司 一种确定人体关节的方法、装置以及存储介质
CN112906512B (zh) * 2021-02-03 2024-06-11 北京海迩西医疗科技有限公司 一种确定人体关节的方法、装置以及存储介质
CN112975993A (zh) * 2021-02-22 2021-06-18 北京国腾联信科技有限公司 一种机器人示教方法、装置、存储介质和设备
CN115293299A (zh) * 2022-10-08 2022-11-04 中科物栖(北京)科技有限责任公司 人体姿态特征实时检测方法、装置、设备及介质
CN115293299B (zh) * 2022-10-08 2023-01-24 中科物栖(北京)科技有限责任公司 人体姿态特征实时检测方法、装置、设备及介质
CN116597426A (zh) * 2023-05-26 2023-08-15 北京中科睿途科技有限公司 一种司乘人员安全状态的识别方法和装置

Similar Documents

Publication Publication Date Title
CN109344803A (zh) 一种姿态特征提取方法及相关装置
US8830269B2 (en) Method and apparatus for deforming shape of three dimensional human body model
KR20220024517A (ko) 2차원 이미지들로부터의 3차원의 장면 재구성
CN107507216A (zh) 图像中局部区域的替换方法、装置及存储介质
CN109829972B (zh) 一种面向连续帧点云的三维人体标准骨架提取方法
CN111862299A (zh) 人体三维模型构建方法、装置、机器人和存储介质
CN111739115B (zh) 基于循环一致性的无监督人体姿态迁移方法、系统及装置
CN113570684A (zh) 图像处理方法、装置、计算机设备和存储介质
CN101533528A (zh) 基于模块分段线性模型的光学运动捕捉数据处理方法
He et al. Challencap: Monocular 3d capture of challenging human performances using multi-modal references
CN113593001A (zh) 目标对象三维重建方法、装置、计算机设备和存储介质
CN114067088A (zh) 虚拟穿戴方法、装置、设备、存储介质及程序产品
CN116884045B (zh) 身份识别方法、装置、计算机设备和存储介质
CN110909621A (zh) 一种基于视觉的健身指导系统
US11354844B2 (en) Digital character blending and generation system and method
KR100602526B1 (ko) 가변 임계치를 이용한 실시간 홍채패턴 검증 방법
Joshi et al. Geodesic curvature flow on surfaces for automatic sulcal delineation
CN108171659A (zh) 一种基于k-svd字典的图像修复方法
CN109598201B (zh) 动作检测方法、装置、电子设备及可读存储介质
CN114724004B (zh) 训练试衣模型的方法、生成试衣图像的方法及相关装置
Wandt et al. 3D human motion capture from monocular image sequences
Xia et al. 3D Information Guided Motion Transfer via Sequential Image based Human Model Refinement and Face-Attention GAN
CN109190686A (zh) 一种基于关节依赖的人体骨架提取方法
Pu et al. Face key point location method based on parallel convolutional neural network
Kerdvibulvech et al. Structural human shape analysis for modeling and recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190215