CN111753643A - 人物姿态识别方法、装置、计算机设备和存储介质 - Google Patents

人物姿态识别方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN111753643A
CN111753643A CN202010386604.XA CN202010386604A CN111753643A CN 111753643 A CN111753643 A CN 111753643A CN 202010386604 A CN202010386604 A CN 202010386604A CN 111753643 A CN111753643 A CN 111753643A
Authority
CN
China
Prior art keywords
human body
joint
person
joint point
feature map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010386604.XA
Other languages
English (en)
Other versions
CN111753643B (zh
Inventor
刘俊琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Megvii Technology Co Ltd
Original Assignee
Beijing Megvii Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Megvii Technology Co Ltd filed Critical Beijing Megvii Technology Co Ltd
Priority to CN202010386604.XA priority Critical patent/CN111753643B/zh
Publication of CN111753643A publication Critical patent/CN111753643A/zh
Application granted granted Critical
Publication of CN111753643B publication Critical patent/CN111753643B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种人物姿态识别方法、装置、计算机设备和存储介质。所述方法包括:采用预设的人体识别网络对人物图像进行特征提取,得到待识别人物的人体特征图;获取所述待识别人物的关节点信息;其中,所述关节点信息包括表征人体各个关节的分布特征的信息;将所述人体特征图和所述关节点信息进行融合,得到融合特征图;采用预设的分类网络对所述融合特征图进行人物姿态分类,得到所述待识别人物的目标人物姿态类别;其中,所述分类网络为采用包括多个类别的人物姿态训练图像集进行训练得到的神经网络模型。采用本方法能够提高人物行为检测的准确性。

Description

人物姿态识别方法、装置、计算机设备和存储介质
技术领域
本申请涉及计算机技术领域,特别是涉及一种人物姿态识别方法、装置、计算机设备和存储介质。
背景技术
随着科技的发展,针对人们的行为检测的应用越来越广泛,因此越来越受到人们的关注。
例如当老人在独处的时候,一旦发生跌倒,则可以通过对老人或者其他行动不便者的异常行为,例如跌倒行为的检测,从而及时提醒看护人员或及时报警;或者在公众场合的人员出现异常行为的时候,能够及时发现,从而避免出现意外。传统的针对人物行为的检测,通常可以采用卷积神经网络模型对图像中的人物的姿态进行识别得到。
然而,传统的采用卷积神经网络模型对人物图像进行识别的方式所得到的姿态准确度不高,导致人物行为的检测结果准确率低。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高行为检测结果准确性的人物姿态识别方法、装置、计算机设备和存储介质。
一种人物姿态识别方法,所述方法包括:
采用预设的人体识别网络对人物图像进行特征提取,得到待识别人物的人体特征图;
获取所述待识别人物的关节点信息;其中,所述关节点信息包括表征人体各个关节的分布特征的信息;
将所述人体特征图和所述关节点信息进行融合,得到融合特征图;
采用预设的分类网络对所述融合特征图进行人物姿态分类,得到所述待识别人物的目标人物姿态类别;其中,所述分类网络为采用包括多个类别的人物姿态训练图像集进行训练得到的神经网络模型。
在其中一个实施例中,所述关节点信息为关节点热力图;所述将所述人体特征图和所述关节点信息进行融合,得到融合特征图,包括:
将每个关节处的关节点热力图按照所述人体特征图的尺寸进行放缩处理,得到与所述人体特征图的尺寸匹配的放缩后关节点热力图;
将所述放缩后关节点热力图和所述人体特征图进行特征融合,得到所述融合特征图。
在其中一个实施例中,所述将每个关节处的关节点热力图按照所述人体特征图的尺寸进行放缩处理,得到与所述人体特征图的尺寸匹配的放缩后关节点热力图,包括:
将所有关节处的关节点热力图进行融合,得到所述待识别人物的全身关节点热力图;
将所述全身关节点热力图进行放缩处理,得到与所述人体特征图的尺寸匹配的放缩后关节点热力图。
在其中一个实施例中,所述将所述放缩后关节点热力图和所述人体特征图进行特征融合,得到所述融合特征图,包括:
将所述放缩后关节点热力图和所述人体特征图按照各自的权重参数进行加权融合,得到所述融合特征图;
其中,所述人体特征图的权重参数大于所述放缩后关节点热力图的权重参数。
在其中一个实施例中,所述采用预设的人体识别网络对人物图像进行特征提取,得到待识别人物的人体特征图之前,包括:
获取包括所述待识别人物的初始图像;
对所述初始图像进行人物目标检测,得到包括所述待识别人物的所述人物图像。
在其中一个实施例中,所述获取所述待识别人物的关节点信息,包括:
采用预设的关节点检测网络对所述人物图像进行关节点检测,得到所述人物图像中所述待识别人物的关节点信息;
其中,所述关节点检测网络为采用包括多个标记关节点类型的关节点训练图像集进行训练得到的神经网络模型。
在其中一个实施例中,所述目标人物姿态类别包括跌倒类别或非跌倒类别。
一种人物姿态识别装置,所述装置包括:
获取模块,用于采用预设的人体识别网络对人物图像进行特征提取,得到待识别人物的人体特征图,以及获取所述待识别人物的关节点信息;其中,所述关节点信息包括表征人体各个关节的分布特征的信息;
融合模块,用于将所述人体特征图和所述关节点信息进行融合,得到融合特征图;
分类模块,用于采用预设的分类网络对所述融合特征图进行人物姿态分类,得到所述待识别人物的目标人物姿态类别;其中,所述分类网络为采用包括多个类别的人物姿态训练图像集进行训练得到的神经网络模型。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
采用预设的人体识别网络对人物图像进行特征提取,得到待识别人物的人体特征图;
获取所述待识别人物的关节点信息;其中,所述关节点信息包括表征人体各个关节的分布特征的信息;
将所述人体特征图和所述关节点信息进行融合,得到融合特征图;
采用预设的分类网络对所述融合特征图进行人物姿态分类,得到所述待识别人物的目标人物姿态类别;其中,所述分类网络为采用包括多个类别的人物姿态训练图像集进行训练得到的神经网络模型。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
采用预设的人体识别网络对人物图像进行特征提取,得到待识别人物的人体特征图;
获取所述待识别人物的关节点信息;其中,所述关节点信息包括表征人体各个关节的分布特征的信息;
将所述人体特征图和所述关节点信息进行融合,得到融合特征图;
采用预设的分类网络对所述融合特征图进行人物姿态分类,得到所述待识别人物的目标人物姿态类别;其中,所述分类网络为采用包括多个类别的人物姿态训练图像集进行训练得到的神经网络模型。
上述人物姿态识别方法、装置、计算机设备和存储介质,计算机设备通过采用预设的人体识别网络对人物图像进行特征提取,得到待识别人物的人体特征图,以及获取待识别人物的关节点信息,并将人体特征图和所述关节点信息进行融合,得到融合特征图,然后采用预设的分类网络对融合特征图进行人物姿态分类,得到所述待识别人物的目标人物姿态类别。该方法中,相比仅采用人物特征图或者仅采用关节点信息对人物的姿态进行获取的方式,计算机设备在表征待识别人物的表观特征人体特征图结合了表征人体各个关节的分布特征关节点信息进行融合,因此,所得到的融合特征图能够更为准确的表达待识别人物的姿态。通过这样准确的融合特征图进行人物姿态分类,所得到的待识别人物的目标人物姿态类别也更为精确。采用该方法,在遇到老人或者公众场合的人员出现异常行为的时候,例如出现跌倒时,能够及时准确的发现,避免了因为异常行为发现不及时可能导致的严重后果,极大的降低了事故率的发生。
附图说明
图1为一个实施例提供的人物姿态识别方法的应用环境图;
图2为一个实施例提供的人物姿态识别方法的流程示意图;
图3为又一个实施例提供的人物姿态识别方法的流程示意图;
图4为又一个实施例提供的人物姿态识别方法的流程示意图;
图5为一个实施例提供的人物姿态识别装置的结构框图;
图6为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的人物姿态识别方法,可以应用于如图1所示的应用环境中。其中,影像设备102通过网络与服务器104通过网络进行通信。其中,影像设备102可以但不限于是监控摄像头、照相机和其他视频录制设备,服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。其中,服务器104可以根据需要进行本地设置或远程设置。
本领域技术人员可以理解,图1中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
下面以具体的实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本申请的实施例进行描述。
需要说明的是,下述方法实施例的执行主体可以是人物姿态识别装置,该装置可以通过软件、硬件或者软硬件结合的方式实现成为上述计算机设备的部分或者全部。下述方法实施例以执行主体为计算机设备为例进行说明。
图2为一个实施例提供的人物姿态识别方法的流程示意图。本实施例涉及的是计算机设备根据获取的图像自动对人物姿态进行分类的具体过程。如图2所示,包括:
S11、采用预设的人体识别网络对人物图像进行特征提取,得到待识别人物的人体特征图。
具体的,计算机设备可以获取待识别人物的人体特征图,可以是读取预先识别处理得到的人体特征图,也可以是采用预设的人体识别网络进对包括待识别人物的人物图像进行识别所得到的人体特征图,对此本实施例不做限定。需要说明的是,该人体特征图包括表征待识别人物的表观特征的特征向量,表观特征能够表征对象的外观的特征,包括但不限于人物的形状、动作等特征。
可选地,上述人体识别网络可以为预先训练好的神经网络模型,该神经网络模型可以包括多个卷积层,通过对上述人物图像进行特征提取,从而得到待识别人物的人体特征图。可选地,该人体识别网络可以是采用标注了大量标注了人物表观特征的训练图像,输入一个分类器进行训练得到的,这个分类器可以采用后文中的分类网络的网络模型结构,也可以采用其他的已经训练好的分类器,由于能够获取初始的人体识别网络的初始参数,因此便于后续训练过程中,使得随机初始化的初始参数能够更快收敛,大大减少训练过程中的运算量和缩短训练时间。因此,采用该人体识别网络对人物图像进行特征提取,所得到的人体特征图能够准确合理的反映出待识别人物的表观特征,进而使得人物的姿态分类结果更为精确。
S12、获取所述待识别人物的关节点信息;其中,所述关节点信息包括表征人体各个关节的分布特征的信息。
具体的,计算机设备获取待识别人物的关节点信息,可以是读取预先识别处理得到的关节点信息,也可以是通过预设的关节点检测网络对人物图像进行检测所得到的关节点信息,对此本实施例不做限定。需要说明的是,该关节点信息用于表征待识别人物的各个部位的不同关节的分布特征,可以包括但不限于各个关节的分布位置以及不同关节之间的位置关系。
S13、将所述人体特征图和所述关节点信息进行融合,得到融合特征图。
具体的,计算机设备可以将上述人体特征图和上述关节点信息进行融合,从而得到融合特征图。可选地,可以是按照上述关节点信息所表征的不同关节的位置对上述人体特征图所表征的位姿进行修正,从而得到表征待识别人物的姿态特征的融合特征图;可选地,还可以是将上述关节点信息图像化,并将图像化后的关节点信息和人体特征图进行特征融合,例如是对应点的像素叠加等操作,或者是对应点的向量叠加,从而得到融合特征图。
S14、采用预设的分类网络对所述融合特征图进行人物姿态分类,得到所述待识别人物的目标人物姿态类别;其中,所述分类网络为采用包括多个类别的人物姿态训练图像集进行训练得到的神经网络模型。
具体的,计算机设备将上述融合特征图输入预设的分类网络,通过该分类网络进行分类,从而得到待识别人物的目标人物姿态类别。需要说明的是,该分类网络为一个神经网络模型,可以是基于深度学习的算法实现的,例如可以是ResNet50或ResNet34结构的网络模型,当然也可以是其他结构的网络模型,本实施例对此并不做限定。其中,该分类网络为预先训练好的神经网络模型,其训练过程可以是将收集多个训练图,该多个训练图中包括多种类型的人物姿态类别,包括但不限于跌倒的姿态、站立的姿态、下蹲的姿态以及弯腰的姿态等,这多个训练图均携带各自对应的人物姿态类别的标签,将这些携带多个人物姿态类别标签的训练图形成人物姿态训练图集,输入初始的分类网络进行训练,当网络收敛的时候,即该分类网络对于人物姿态训练图所得到的交叉商损失函数满足预设的收敛条件时,则确定训练完成,将当前的网络参数更新至初始的分类网络,得到训练好的分类网络。该分类网络由于通过对大量的不同类型的人物姿态进行学习,因此能够实现对人物姿态的准确分类。
本实施例中,计算机设备采用预设的人体识别网络对人物图像进行特征提取,得到待识别人物的人体特征图,以及获取待识别人物的关节点信息,并将人体特征图和所述关节点信息进行融合,得到融合特征图,然后采用预设的分类网络对融合特征图进行人物姿态分类,得到所述待识别人物的目标人物姿态类别。该方法中,相比仅采用人物特征图或者仅采用关节点信息对人物的姿态进行获取的方式,计算机设备在表征待识别人物的表观特征人体特征图结合了表征人体各个关节的分布特征关节点信息进行融合,因此,所得到的融合特征图能够更为准确的表达待识别人物的姿态。通过这样准确的融合特征图进行人物姿态分类,所得到的待识别人物的目标人物姿态类别也更为精确。采用该方法,在遇到老人或者公众场合的人员出现异常行为的时候,例如出现跌倒时,能够及时准确的发现,避免了因为异常行为发现不及时可能导致的严重后果,极大的降低了事故率的发生。
需要说明的是,上述关节点信息可以采用关节点热力图的形式进行表达,该关节点信息可以包括不同关节处的关节点热力图,包括但不限于人的头、脖、肩、肘、手,腿,脚等部位的关节点热力图。具体的,计算机设备根据上述多个关节处的关节点热力图,获取与人体特征图的尺寸匹配的放缩后关节点热力图。
在一个实施例中,所述关节点信息为关节点热力图;上述步骤S13的一种可能的实现方式如图3所示,包括:
S131、将每个关节处的关节点热力图按照所述人体特征图的尺寸进行放缩处理,得到与所述人体特征图的尺寸匹配的放缩后关节点热力图。
具体的,计算机设备可以首先将每个关节处的关节点热力图按照人体特征图的尺寸进行放缩处理,可以是等比例的拉伸处理,也可以是等比例的缩小处理。可选地,放缩处理的比例可以是按照预先设定的比例进行,例如是预先设定的关节点热力图和人体特征更图所表征的相同部位的大小比例来进行;也可以是在比例未知的情况下,通过在两个图中选取表征相同位置的坐标点并计算比例得到。计算机设备通过上述放缩处理,使得各关节处的关节点热力图的大小和人体特征图的尺寸匹配,例如放缩后的关节点热力图的尺寸和人体特征图与这个关节点所表征的部位的尺寸的大小差异小于一定的差值,即可认定二者尺寸匹配,从而得到放缩处理后的多个放缩后关节点热力图。可选地,当然也可以是将人体特征图按照不同关节处的关节点热力图的尺寸进行放缩处理,具体实现过程详见上述描述,只是放缩处理的基准对象可以调换,此处不再赘述。
S132、将所述放缩后关节点热力图和所述人体特征图进行特征融合,得到所述融合特征图。
具体的,计算机设备将上述不同关节处的放缩后关节点热力图按照人体结构的组成进行融合,从而生成与人体特征图的尺寸匹配的放缩后全局关节点热力图。
可选地,计算机设备将上述放缩后关节点热力图和人体特征图,按照各自的权重参数进行加权融合,即将放缩后关节点热力图乘以对应的权重参数,和人体特征图乘以对应的权重参数进行向量叠加,从而得到融合特征图。需要说明的是,该权重参数的分配可以根据经验或者需要进行设置,并不进行限定。计算机设备按照预设的各自对应的权重参数进行加权融合,得到融合特征图,实现了特征融合的同时进一步提高了人物姿态中人体特征图和关节点信息的占比的灵活度,使得所得到的融合特征图能够准确表达人物姿态的情况下,能够适用于不同的需求,因此应用场景更为灵活。可选地,所述人体特征图的权重参数大于所述放缩后关节点热力图的权重参数。当上述人体特征图的权重参数大于放缩后关节点热力图的权重参数时,可以以人体特征图为主要信息,关节点信息为辅助信息,二者的结合所得到的融合特征图所表征的人物的姿态更精准。
该实现方式中,计算机设备首先通过对每个关节处的关节点热力图进行放缩处理,得到与人体特征图的尺寸匹配的多个放缩后局部关节点热力图,再将多个放缩后局部关节点热力图进行拼接,得到与人体特征图的尺寸匹配的放缩后全局关节点热力图,从而使得所得到的放缩后全局关节点热力图能够与人体特征图的尺寸匹配,进而便于后续的运算处理,提高了数据处理的效率。
可选地,计算机设备还可以先将所有关节处的关节点热力图进行融合,得到所述待识别人物的全身关节点热力图;对所述全身关节点热力图进行放缩处理,得到与所述人体特征图的尺寸匹配的所述放缩后关节点热力图。本实现方式关于放缩处理的具体过程可以参见前文所述,此处放缩处理的对象为融合后的全身关节点热力图。该实现方式中,计算机设备首先将所有关节处的关节点热力图进行融合,得到全身关节点热力图,然后再对全身关节点热力图进行放缩处理,得到与人体特征图的尺寸匹配的放缩后关节点热力图,从而使得所得到的放缩后关节点热力图能够与人体特征图的尺寸匹配,进而便于后续的运算处理,和姿态判断,提高了数据处理的效率和姿态分类的准确率。
可选地,在上述各个实施例的基础上,步骤S11之前,获取所述人物图像的一种可能的实现方式可以如图4所示,包括:
S111、获取包括所述待识别人物的初始图像。
S112、对所述初始图像进行人物目标检测,得到包括所述待识别人物的所述人物图像。
具体的,计算机设备可以获取待识别人物的初始图像,需要说明的是,该初始图像可以是影像设备拍摄所得到的视频中的帧图像,也可以是照相机拍摄的照片。计算机设备可以接收影像设备发送的所拍摄的到的初始图像,也可以是读取存储器上存储的初始图像,对此本实施例不做限定。具体的,计算机设备可以采用目标检测算法对上述初始图像进行人物目标的检测,例如是You only look once算法,简称YOLO算法,从而得到表征人物所在位置的矩形框,将这个矩形框中的图像作为待识别人物的人物图像。通过对初始图像进行人物目标检测,得到包括待识别人物的人物图像,可以删除初始图像中不涉及待检测人物的多余部分的图像,因此极大地减少了运算量,提高了处理效率以及提高了系统资源的利用率。
可选地,在上述各个实施例的基础上,上述步骤S12的一种可能的实现方式可以包括:采用预设的关节点检测网络对所述人物图像进行关节点检测,得到所述人物图像中所述待识别人物的关节点信息;其中,所述关节点检测网络为采用包括多个标记关节点类型的关节点训练图像集进行训练得到的神经网络模型。
具体的,计算机设备可以采用预设的关节点检测网络对上述人物图像进行关节点检测,即将人物图像输入关节点检测网络,得到人物图像中待识别人物的关节点信息。需要说明的是,关节点检测网络可以为预先训练好的神经网络模型,可以是收集多个关节点训练图,并对这些关节点训练图进行关节点类型的标记,然后将携带关节点类型标签的关节点训练图作为关节点训练图像集输入初始的关节点检测网络进行训练,直至网络收敛,从而得到训练好的关节点检测网络。采用大量训练图像进行训练所得到的关节点检测网络能够对人物图像进行准确得关节点检测,进一步提高了融合特征图信息的准确性和全面性,进一步提高了人物姿态分类的准确性,大大降低了异常状况的误报率和漏报率。
在一个实施例中,所述目标人物姿态类别包括跌倒类别或非跌倒类别,计算机设备可以基于目标人物姿态类别确定人物图像中的人物姿态为跌倒或非跌倒,从而是现在目标人物姿态类别为跌倒类别的时候,准确识别,快速响应,避免意外发生。
应该理解的是,虽然图2-4的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-4中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图5所示,提供了一种人物姿态识别装置,包括:
获取模块100,用于采用预设的人体识别网络对人物图像进行特征提取,得到待识别人物的人体特征图,以及获取所述待识别人物的关节点信息;其中,所述关节点信息包括表征人体各个关节的分布特征的信息;
融合模块200,用于将所述人体特征图和所述关节点信息进行融合,得到融合特征图;
分类模块300,用于采用预设的分类网络对所述融合特征图进行人物姿态分类,得到所述待识别人物的目标人物姿态类别;其中,所述分类网络为采用包括多个类别的人物姿态训练图像集进行训练得到的神经网络模型。
在一个实施例中,所述关节点信息为局部关节点热力图;融合模块200,具体用于将每个关节处的关节点热力图按照所述人体特征图的尺寸进行放缩处理,得到与所述人体特征图的尺寸匹配的放缩后关节点热力图;将所述放缩后关节点热力图和所述人体特征图进行特征融合,得到所述融合特征图。
在一个实施例中,融合模块200,具体用于将所有关节处的关节点热力图进行融合,得到所述待识别人物的全身关节点热力图;将所述全身关节点热力图进行放缩处理,得到与所述人体特征图的尺寸匹配的放缩后关节点热力图。
在一个实施例中,融合模块200,具体用于将所述放缩后关节点热力图和所述人体特征图按照各自的权重参数进行加权融合,得到所述融合特征图。
在一个实施例中,所述人体特征图的权重参数大于所述放缩后全局关节点热力图的权重参数。
在一个实施例中,获取模块100,具体用于获取包括所述待识别人物的初始图像;
对所述初始图像进行人物目标检测,得到包括所述待识别人物的所述人物图像。
在一个实施例中,获取模块100,具体用于采用预设的关节点检测网络对所述人物图像进行关节点检测,得到所述人物图像中所述待识别人物的关节点信息;其中,所述关节点检测网络为采用包括多个标记关节点类型的关节点训练图像集进行训练得到的神经网络模型。
在一个实施例中,所述目标人物姿态类别包括跌倒类别或非跌倒类别。
关于人物姿态识别装置的具体限定可以参见上文中对于人物姿态识别方法的限定,在此不再赘述。上述人物姿态识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储分类网络。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种人物姿态识别方法。
本领域技术人员可以理解,图6中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
采用预设的人体识别网络对人物图像进行特征提取,得到待识别人物的人体特征图;
获取所述待识别人物的关节点信息;其中,所述关节点信息包括表征人体各个关节的分布特征的信息;
将所述人体特征图和所述关节点信息进行融合,得到融合特征图;
采用预设的分类网络对所述融合特征图进行人物姿态分类,得到所述待识别人物的目标人物姿态类别;其中,所述分类网络为采用包括多个类别的人物姿态训练图像集进行训练得到的神经网络模型。
在一个实施例中,所述关节点信息为关节点热力图,处理器执行计算机程序时还实现以下步骤:
将每个关节处的关节点热力图按照所述人体特征图的尺寸进行放缩处理,得到与所述人体特征图的尺寸匹配的放缩后关节点热力图;
将所述放缩后关节点热力图和所述人体特征图进行特征融合,得到所述融合特征图。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
将所有关节处的关节点热力图进行融合,得到所述待识别人物的全身关节点热力图;
将所述全身关节点热力图进行放缩处理,得到与所述人体特征图的尺寸匹配的放缩后关节点热力图。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
将所述放缩后关节点热力图和所述人体特征图按照各自的权重参数进行加权融合,得到所述融合特征图;
其中,所述人体特征图的权重参数大于所述放缩后关节点热力图的权重参数。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
获取包括所述待识别人物的初始图像;
对所述初始图像进行人物目标检测,得到包括所述待识别人物的所述人物图像。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
采用预设的关节点检测网络对所述人物图像进行关节点检测,得到所述人物图像中所述待识别人物的关节点信息;
其中,所述关节点检测网络为采用包括多个标记关节点类型的关节点训练图像集进行训练得到的神经网络模型。
在一个实施例中,所述目标人物姿态类别包括跌倒类别或非跌倒类别。
应当清楚的是,本申请实施例中处理器执行计算机程序的过程,与上述方法中各个步骤的执行过程一致,具体可参见上文中的描述。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
采用预设的人体识别网络对人物图像进行特征提取,得到待识别人物的人体特征图;
获取所述待识别人物的关节点信息;其中,所述关节点信息包括表征人体各个关节的分布特征的信息;
将所述人体特征图和所述关节点信息进行融合,得到融合特征图;
采用预设的分类网络对所述融合特征图进行人物姿态分类,得到所述待识别人物的目标人物姿态类别;其中,所述分类网络为采用包括多个类别的人物姿态训练图像集进行训练得到的神经网络模型。
在一个实施例中,所述关节点信息为关节点热力图;计算机程序被处理器执行时还实现以下步骤:
将每个关节处的关节点热力图按照所述人体特征图的尺寸进行放缩处理,得到与所述人体特征图的尺寸匹配的放缩后关节点热力图;
将所述放缩后关节点热力图和所述人体特征图进行特征融合,得到所述融合特征图。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
将所有关节处的关节点热力图进行融合,得到所述待识别人物的全身关节点热力图;
将所述全身关节点热力图进行放缩处理,得到与所述人体特征图的尺寸匹配的放缩后关节点热力图。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
将所述放缩后关节点热力图和所述人体特征图按照各自的权重参数进行加权融合,得到所述融合特征图;
其中,所述人体特征图的权重参数大于所述放缩后关节点热力图的权重参数。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
获取包括所述待识别人物的初始图像;
对所述初始图像进行人物目标检测,得到包括所述待识别人物的所述人物图像。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
采用预设的关节点检测网络对所述人物图像进行关节点检测,得到所述人物图像中所述待识别人物的关节点信息;
其中,所述关节点检测网络为采用包括多个标记关节点类型的关节点训练图像集进行训练得到的神经网络模型。
在一个实施例中,所述目标人物姿态类别包括跌倒类别或非跌倒类别。
应当清楚的是,本申请实施例中计算机程序被处理器执行的过程,与上述方法中各个步骤的执行过程一致,具体可参见上文中的描述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种人物姿态识别方法,其特征在于,所述方法包括:
采用预设的人体识别网络对人物图像进行特征提取,得到待识别人物的人体特征图;
获取所述待识别人物的关节点信息;其中,所述关节点信息包括表征人体各个关节的分布特征的信息;
将所述人体特征图和所述关节点信息进行融合,得到融合特征图;
采用预设的分类网络对所述融合特征图进行人物姿态分类,得到所述待识别人物的目标人物姿态类别;其中,所述分类网络为采用包括多个类别的人物姿态训练图像集进行训练得到的神经网络模型。
2.根据权利要求1所述的方法,其特征在于,所述关节点信息为关节点热力图;所述将所述人体特征图和所述关节点信息进行融合,得到融合特征图,包括:
将每个关节处的关节点热力图按照所述人体特征图的尺寸进行放缩处理,得到与所述人体特征图的尺寸匹配的放缩后关节点热力图;
将所述放缩后关节点热力图和所述人体特征图进行特征融合,得到所述融合特征图。
3.根据权利要求2所述的方法,其特征在于,所述将每个关节处的关节点热力图按照所述人体特征图的尺寸进行放缩处理,得到与所述人体特征图的尺寸匹配的放缩后关节点热力图,包括:
将所有关节处的关节点热力图进行融合,得到所述待识别人物的全身关节点热力图;
将所述全身关节点热力图进行放缩处理,得到与所述人体特征图的尺寸匹配的放缩后关节点热力图。
4.根据权利要求2或3所述的方法,其特征在于,所述将所述放缩后关节点热力图和所述人体特征图进行特征融合,得到所述融合特征图,包括:
将所述放缩后关节点热力图和所述人体特征图按照各自的权重参数进行加权融合,得到所述融合特征图;
其中,所述人体特征图的权重参数大于所述放缩后关节点热力图的权重参数。
5.根据权利要求1所述的方法,其特征在于,所述采用预设的人体识别网络对人物图像进行特征提取,得到待识别人物的人体特征图之前,包括:
获取包括所述待识别人物的初始图像;
对所述初始图像进行人物目标检测,得到包括所述待识别人物的所述人物图像。
6.根据权利要求1所述的方法,其特征在于,所述获取所述待识别人物的关节点信息,包括:
采用预设的关节点检测网络对所述人物图像进行关节点检测,得到所述人物图像中所述待识别人物的关节点信息;
其中,所述关节点检测网络为采用包括多个标记关节点类型的关节点训练图像集进行训练得到的神经网络模型。
7.根据权利要求1所述的方法,其特征在于,所述目标人物姿态类别包括跌倒类别或非跌倒类别。
8.一种人物姿态识别装置,其特征在于,所述装置包括:
获取模块,用于采用预设的人体识别网络对人物图像进行特征提取,得到待识别人物的人体特征图,以及获取所述待识别人物的关节点信息;其中,所述关节点信息包括表征人体各个关节的分布特征的信息;
融合模块,用于将所述人体特征图和所述关节点信息进行融合,得到融合特征图;
分类模块,用于采用预设的分类网络对所述融合特征图进行人物姿态分类,得到所述待识别人物的目标人物姿态类别;其中,所述分类网络为采用包括多个类别的人物姿态训练图像集进行训练得到的神经网络模型。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202010386604.XA 2020-05-09 2020-05-09 人物姿态识别方法、装置、计算机设备和存储介质 Active CN111753643B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010386604.XA CN111753643B (zh) 2020-05-09 2020-05-09 人物姿态识别方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010386604.XA CN111753643B (zh) 2020-05-09 2020-05-09 人物姿态识别方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN111753643A true CN111753643A (zh) 2020-10-09
CN111753643B CN111753643B (zh) 2024-05-14

Family

ID=72673526

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010386604.XA Active CN111753643B (zh) 2020-05-09 2020-05-09 人物姿态识别方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN111753643B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112488071A (zh) * 2020-12-21 2021-03-12 重庆紫光华山智安科技有限公司 提取行人特征的方法、装置、电子设备和存储介质
CN112651345A (zh) * 2020-12-29 2021-04-13 深圳市优必选科技股份有限公司 一种人体姿态识别模型优化方法、装置和终端设备
CN112990057A (zh) * 2021-03-26 2021-06-18 北京易华录信息技术股份有限公司 一种人体姿态识别方法、装置及电子设备
CN113365382A (zh) * 2021-08-10 2021-09-07 深圳市信润富联数字科技有限公司 灯光控制方法、装置、电子设备和存储介质
CN113657163A (zh) * 2021-07-15 2021-11-16 浙江大华技术股份有限公司 行为识别方法、电子装置和存储介质
CN113688667A (zh) * 2021-07-08 2021-11-23 华中科技大学 一种基于深度学习的行李取放动作识别方法和系统
CN114565087A (zh) * 2022-04-28 2022-05-31 苏州浪潮智能科技有限公司 一种人物意图推理方法、装置、设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017133009A1 (zh) * 2016-02-04 2017-08-10 广州新节奏智能科技有限公司 一种基于卷积神经网络的深度图像人体关节定位方法
CN108710830A (zh) * 2018-04-20 2018-10-26 浙江工商大学 一种结合密集连接注意力金字塔残差网络和等距限制的人体3d姿势估计方法
CN109670397A (zh) * 2018-11-07 2019-04-23 北京达佳互联信息技术有限公司 人体骨骼关键点的检测方法、装置、电子设备及存储介质
DE102019106123A1 (de) * 2018-03-12 2019-09-12 Nvidia Corporation Dreidimensionale (3D) Posenschätzung von Seiten einer monokularen Kamera
CN110298332A (zh) * 2019-07-05 2019-10-01 海南大学 行为识别的方法、系统、计算机设备和存储介质
CN110502986A (zh) * 2019-07-12 2019-11-26 平安科技(深圳)有限公司 识别图像中人物位置方法、装置、计算机设备和存储介质
WO2019232830A1 (zh) * 2018-06-06 2019-12-12 平安科技(深圳)有限公司 机场异物检测方法、装置、计算机设备及存储介质
CN110728209A (zh) * 2019-09-24 2020-01-24 腾讯科技(深圳)有限公司 一种姿态识别方法、装置、电子设备及存储介质
CN111104841A (zh) * 2019-09-16 2020-05-05 平安科技(深圳)有限公司 暴力行为检测方法及系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017133009A1 (zh) * 2016-02-04 2017-08-10 广州新节奏智能科技有限公司 一种基于卷积神经网络的深度图像人体关节定位方法
DE102019106123A1 (de) * 2018-03-12 2019-09-12 Nvidia Corporation Dreidimensionale (3D) Posenschätzung von Seiten einer monokularen Kamera
CN108710830A (zh) * 2018-04-20 2018-10-26 浙江工商大学 一种结合密集连接注意力金字塔残差网络和等距限制的人体3d姿势估计方法
WO2019232830A1 (zh) * 2018-06-06 2019-12-12 平安科技(深圳)有限公司 机场异物检测方法、装置、计算机设备及存储介质
CN109670397A (zh) * 2018-11-07 2019-04-23 北京达佳互联信息技术有限公司 人体骨骼关键点的检测方法、装置、电子设备及存储介质
CN110298332A (zh) * 2019-07-05 2019-10-01 海南大学 行为识别的方法、系统、计算机设备和存储介质
CN110502986A (zh) * 2019-07-12 2019-11-26 平安科技(深圳)有限公司 识别图像中人物位置方法、装置、计算机设备和存储介质
CN111104841A (zh) * 2019-09-16 2020-05-05 平安科技(深圳)有限公司 暴力行为检测方法及系统
CN110728209A (zh) * 2019-09-24 2020-01-24 腾讯科技(深圳)有限公司 一种姿态识别方法、装置、电子设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘唐波;杨锐;王文伟;何楚;: "基于姿态估计的驾驶员手部动作检测方法研究", 信号处理, no. 12 *
王伟楠;张荣;郭立君;: "结合稀疏表示和深度学习的视频中3D人体姿态估计", 中国图象图形学报, no. 03 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112488071A (zh) * 2020-12-21 2021-03-12 重庆紫光华山智安科技有限公司 提取行人特征的方法、装置、电子设备和存储介质
CN112488071B (zh) * 2020-12-21 2021-10-26 重庆紫光华山智安科技有限公司 提取行人特征的方法、装置、电子设备和存储介质
CN112651345A (zh) * 2020-12-29 2021-04-13 深圳市优必选科技股份有限公司 一种人体姿态识别模型优化方法、装置和终端设备
WO2022142854A1 (zh) * 2020-12-29 2022-07-07 深圳市优必选科技股份有限公司 一种人体姿态识别模型优化方法、装置和终端设备
CN112651345B (zh) * 2020-12-29 2023-11-10 深圳市优必选科技股份有限公司 一种人体姿态识别模型优化方法、装置和终端设备
CN112990057A (zh) * 2021-03-26 2021-06-18 北京易华录信息技术股份有限公司 一种人体姿态识别方法、装置及电子设备
CN113688667A (zh) * 2021-07-08 2021-11-23 华中科技大学 一种基于深度学习的行李取放动作识别方法和系统
CN113657163A (zh) * 2021-07-15 2021-11-16 浙江大华技术股份有限公司 行为识别方法、电子装置和存储介质
CN113365382A (zh) * 2021-08-10 2021-09-07 深圳市信润富联数字科技有限公司 灯光控制方法、装置、电子设备和存储介质
CN113365382B (zh) * 2021-08-10 2021-11-09 深圳市信润富联数字科技有限公司 灯光控制方法、装置、电子设备和存储介质
CN114565087A (zh) * 2022-04-28 2022-05-31 苏州浪潮智能科技有限公司 一种人物意图推理方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN111753643B (zh) 2024-05-14

Similar Documents

Publication Publication Date Title
CN111753643B (zh) 人物姿态识别方法、装置、计算机设备和存储介质
CN108399367B (zh) 手部动作识别方法、装置、计算机设备及可读存储介质
CN109657533B (zh) 行人重识别方法及相关产品
US7986828B2 (en) People detection in video and image data
CN111476097A (zh) 人体姿态评估方法、装置、计算机设备及存储介质
CN109299658B (zh) 脸部检测方法、脸部图像渲染方法、装置及存储介质
WO2015186436A1 (ja) 画像処理装置、画像処理方法、および、画像処理プログラム
CN110555481A (zh) 一种人像风格识别方法、装置和计算机可读存储介质
JPWO2007142227A1 (ja) 画像方向判定装置、画像方向判定方法、および画像方向判定用プログラム
CN110633004B (zh) 基于人体姿态估计的交互方法、装置和系统
CN111914775B (zh) 活体检测方法、装置、电子设备及存储介质
CN112884782B (zh) 生物对象分割方法、装置、计算机设备和存储介质
CN112580660B (zh) 图像处理方法、装置、计算机设备和可读存储介质
CN112364827A (zh) 人脸识别方法、装置、计算机设备和存储介质
JP7151875B2 (ja) 画像処理装置、画像処理方法、およびプログラム
CN112560796A (zh) 人体姿态实时检测方法、装置、计算机设备及存储介质
JP6969878B2 (ja) 識別器学習装置および識別器学習方法
CN111008621B (zh) 对象追踪方法、装置、计算机设备和存储介质
US20230334893A1 (en) Method for optimizing human body posture recognition model, device and computer-readable storage medium
CN111144398A (zh) 目标检测方法、装置、计算机设备和存储介质
CN114067431A (zh) 图像处理方法、装置、计算机设备和存储介质
CN112749655A (zh) 视线追踪方法、装置、计算机设备和存储介质
CN114616591A (zh) 物体跟踪装置以及物体跟踪方法
CN114698399A (zh) 人脸识别方法、装置及可读存储介质
CN114067406A (zh) 一种关键点检测方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant