CN111191599A - 姿态识别方法、装置、设备及存储介质 - Google Patents

姿态识别方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111191599A
CN111191599A CN201911401698.7A CN201911401698A CN111191599A CN 111191599 A CN111191599 A CN 111191599A CN 201911401698 A CN201911401698 A CN 201911401698A CN 111191599 A CN111191599 A CN 111191599A
Authority
CN
China
Prior art keywords
gesture recognition
key points
determining
training
posture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911401698.7A
Other languages
English (en)
Other versions
CN111191599B (zh
Inventor
郑喜民
喻宁
冯晶凌
柳阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An International Smart City Technology Co Ltd
Original Assignee
Ping An International Smart City Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An International Smart City Technology Co Ltd filed Critical Ping An International Smart City Technology Co Ltd
Priority to CN201911401698.7A priority Critical patent/CN111191599B/zh
Publication of CN111191599A publication Critical patent/CN111191599A/zh
Application granted granted Critical
Publication of CN111191599B publication Critical patent/CN111191599B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像识别技术领域,提供一种姿态识别方法、装置、设备及可读存储介质,所述方法包括以下步骤:获取目标图像,并确定所述目标图像中的人体骨骼关键点,以及所述人体骨骼关键点对应的置信度;基于所述人体骨骼关键点和所述置信度,构建复合特征向量;将所述复合特征向量输入预训练好的姿态识别模型中,以得到姿态识别结果;基于所述姿态识别结果,确定所述目标图像对应的人体姿态。本发明通过人体骨骼关键点和置信度构建复合特征向量,以复合特征向量作为人体姿态识别的参数,提高了人体姿态的识别准确率。

Description

姿态识别方法、装置、设备及存储介质
技术领域
本发明涉及图像识别技术领域,尤其涉及一种姿态识别方法、装置、设备及计算机可读存储介质。
背景技术
随着计算机视觉技术的发展,人体姿态识别在行为识别、人机交互、游戏、动画等领域有着很广阔的应用前景,而现有的人体姿态识别算法可以分为两类:基于深度图的算法、以及直接基于RGB图像的算法,其中,基于深度图的算法对图像采集设备要求过高,容易出现应用受限的问题;而基于RGB图像的算法需要占用较多的GPU资源,模型运行速度慢,导致识别效率较低,并且模型可解释性较差,因此,亟需一种识别效率高,且识别准确率高的人体姿态识别方法。
发明内容
本发明的主要目的在于提供一种姿态识别方法、装置、设备及计算机可读存储介质,旨在解决现有人体姿态识别方法效率较低且识别准确率较低的技术问题。
为实现上述目的,本发明提供一种姿态识别方法,所述姿态识别方法包括以下步骤:
获取目标图像,并确定所述目标图像中的人体骨骼关键点,以及所述人体骨骼关键点对应的置信度;
基于所述人体骨骼关键点和所述置信度,构建复合特征向量;
将所述复合特征向量输入预训练好的姿态识别模型中,以得到姿态识别结果;
基于所述姿态识别结果,确定所述目标图像对应的人体姿态。
可选地,所述基于所述人体骨骼关键点和所述置信度,构建复合特征向量的步骤包括:
获取所述人体骨骼关键点在所述目标图片的坐标点,并基于所述坐标点和所述置信度,构建目标向量;
基于所述目标向量和人体结构化信息,构建复合特征向量。
可选地,所述基于所述人体骨骼关键点和所述置信度,构建复合特征向量的步骤包括:
确定所述人体骨骼关键点在所述所述目标图像的分布位置,并基于所述分布位置,确定所述复合特征向量的构建部位;
获取所述构建部分中的目标骨骼关键点,并基于所述目标骨骼关键点,以及所述目标骨骼关键点的置信度,构建复合特征向量。
可选地,所述确定所述人体骨骼关键点在所述所述目标图像的分布位置,并基于所述分布位置,确定所述复合特征向量的构建部位包括:
确定所述人体骨骼关键点在所述目标图像的分布位置,并将所述分布位置与标准分布位置进行比较;
根据比较结果,确定所述复合特征向量的构建部位。
可选地,所述获取目标图像,并确定所述目标图像中的人体骨骼关键点,以及所述人体骨骼关键点对应的置信度的步骤之前,所述姿态识别方法还包括:
采集训练图像和所述训练图像的训练姿态结果,并对所述训练图像进行数据增强,以得到训练图像集;
确定所述训练图像集的训练关键点和所述训练关键点对应的训练置信度,并基于所述训练关键点和所述训练置信度,构建训练向量;
以所述训练向量作为初始模型的输入,以所述训练姿态结果作为所述初始模型的输出,将所述初始模型训练成所述姿态识别模型。
可选地,所述基于所述姿态识别结果,确定所述目标图像对应的人体姿态的步骤包括:
确定所述姿态识别结果是否有效;
若有效,则基于所述姿态识别结果,确定所述目标图像对应的人体姿态。
可选地,所述基于所述姿态识别结果,确定所述目标图像对应的人体姿态的步骤之后,所述姿态识别方法还包括:
确定所述人体姿态是否为违规姿态;
若是,则确定所述人体姿态对应的身份信息,并将所述违规姿态和所述身份信息发送至目标终端。
此外,为实现上述目的,本发明还提供一种姿态识别装置,所述姿态识别装置包括:
获取模块,用于获取目标图像,并确定所述目标图像中的人体骨骼关键点,以及所述人体骨骼关键点对应的置信度;
构建模块,用于基于所述人体骨骼关键点和所述置信度,构建复合特征向量;
输入模块,用于将所述复合特征向量输入预训练好的姿态识别模型中,以得到姿态识别结果;
确定模块,用于基于所述姿态识别结果,确定所述目标图像对应的人体姿态。
此外,为实现上述目的,本发明还提供一种姿态识别设备,所述姿态识别设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的姿态识别程序,其中所述姿态识别程序被所述处理器执行时,实现如上述的姿态识别方法的步骤。
此外,为实现上述目的,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有姿态识别程序,其中所述姿态识别程序被处理器执行时,实现如上述的姿态识别方法的步骤。
本发明提供一种姿态识别方法,获取目标图像,并确定所述目标图像中的人体骨骼关键点,以及所述人体骨骼关键点对应的置信度;基于所述人体骨骼关键点和所述置信度,构建复合特征向量;将所述复合特征向量输入预训练好的姿态识别模型中,以得到姿态识别结果;基于所述姿态识别结果,确定所述目标图像对应的人体姿态。本发明通过人体骨骼关键点和置信度构建复合特征向量,以复合特征向量作为人体姿态识别的参数,提高了人体姿态的识别准确率。
附图说明
图1为本发明实施例方案中涉及的姿态识别设备的硬件结构示意图;
图2为本发明姿态识别方法第一实施例的流程示意图;
图3为本发明姿态识别方法第二实施例的流程示意图;
图4为本发明姿态识别装置第一实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明实施例涉及的姿态识别方法主要应用于姿态识别设备,该姿态识别设备可以是PC、便携计算机、移动终端等具有显示和处理功能的设备。
参照图1,图1为本发明实施例方案中涉及的姿态识别设备的硬件结构示意图。本发明实施例中,姿态识别设备可以包括处理器1001(例如CPU),通信总线1002,用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信;用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard);网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口);存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器,存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的硬件结构并不构成对姿态识别设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
继续参照图1,图1中作为一种计算机可读存储介质的存储器1005可以包括操作系统、网络通信模块以及姿态识别程序。
在图1中,网络通信模块主要用于连接服务器,与服务器进行数据通信;而处理器1001可以调用存储器1005中存储的姿态识别程序,并执行本发明实施例提供的姿态识别方法。
本发明实施例提供了一种姿态识别方法。
参照图2,图2为本发明姿态识别方法第一实施例的流程示意图。
本实施例中,所述姿态识别方法包括以下步骤:
步骤S10,获取目标图像,并确定所述目标图像中的人体骨骼关键点,以及所述人体骨骼关键点对应的置信度;
步骤S20,基于所述人体骨骼关键点和所述置信度,构建复合特征向量;
步骤S30,将所述复合特征向量输入预训练好的姿态识别模型中,以得到姿态识别结果;
步骤S40,基于所述姿态识别结果,确定所述目标图像对应的人体姿态。
本实施例的姿态识别方法应用于姿态识别设备,以下简称识别设备,识别设备包括摄像头和接收器,其中,摄像头用于拍摄目标图像,接收器用于接收外部设备传输过来的目标图像等,本实施以教室场景为例,识别设备用于学生上课时的姿态识别,包括站姿和坐姿等。
本实施例通过获取目标图像的人体骨骼关键点和对应的置信度,构建复合特征向量,以复合特征向量作为学生的人体姿态识别的参数,能有效提高识别准确率。
以下将对各个步骤进行详细的说明:
步骤S10,获取目标图像,并确定所述目标图像中的人体骨骼关键点,以及所述人体骨骼关键点对应的置信度。
在本实施例中,识别设备获取目标图像,其中,目标图像可以是拍摄的图像,也可以是录制的视频流中的画面,具体的,识别设备的摄像头可被安装在教室内,用于监控学生的举动,并实时获取目标图像,其中,目标图像为摄像头拍摄到的,当前教室场景下,各学生的站姿或站姿等。或者,识别设备与摄像头分离,即摄像头独立,识别设备只需接收摄像头传输过来的目标图像,然后,对目标图形进行预处理,具体的预处理过程可包括去燥,调整对比度等。接着,确定目标图像中的人体骨骼关键点以及人体骨骼关键点对应的置信度,具体可采用人体骨骼关键点检测工具,本实施例优选openpose工具来提取目标图像中的人体骨骼关键点,以及人体骨骼关键点的置信度,openpose识别人体骨骼关键点的基本原理共四步,第一步,神经网络预测(分两支提取特征,一支用于提取人体骨骼关键点位置相关特征、一支用于提取关键点置信度相关特征);第二步,应用非最大抑制(NMS)算法找到人体骨骼关键点(关节位置,以及对应的置信度);第三步,结合人体各部位结构化信息找到肢体连接;第四步,拼装肢体构成人体。此时得到的人体包含有人体骨骼关键点以及人体骨骼关键点的置信度。
其中,openpose是美国卡耐基梅隆大学(CMU)基于卷积神经网络和监督学习并以caffe为框架开发的开源库。可以实现人体动作、面部表情、手指运动等姿态估计。适用于单人和多人,具有极好的鲁棒性。在通过openpose提取数据图像中的人体骨骼关键点时,具体包括躯干(25个)、左手(21个)、右手(21个)、面部(70个)共137个人体骨骼关键点及关键点对应的置信度,并存储为json文件,由于openpose为现有工具,在此不做详细介绍,当然,除了openpose,也可以采用Face++等人体骨骼关键点检测工具。
进一步地,考虑到目标图像中可能有单个人物或者多个人物的情况,为方便后续处理,本方案可将目标图像处理为包含一个人物图像的目标图像,即目标图像中只有一个人物。当然,在实际实施时,本方案也适用多个人物的目标图像的人体姿态识别。
步骤S20,基于所述人体骨骼关键点和所述置信度,构建复合特征向量。
在本实施例中,识别设备在确定了目标图像中的人体骨骼关键点和人体骨骼关键点对应的置信度之后,以人体骨骼关键点和对应的置信度作为矢量参数,构建复合特征向量。
具体的,步骤S20包括:
步骤a,获取所述人体骨骼关键点在所述目标图片的坐标点,并基于所述坐标点和所述置信度,构建目标向量;
在该步骤中,识别设备构建坐标系,具体可以以目标图像的左下角为原点建立坐标系,或者以人体躯干对应的关键点为原点建立坐标系等,具体方式不限,并获取各人体骨骼关键点在目标图像上的坐标点,结合人体骨骼关键点的置信度,构建目标向量。如手臂关键点包括肩部、手肘、手腕三个关键点,并确定各自的置信度cofidence,那么肩部的坐标为(x1,y1,cofidence1),手肘的坐标为(x2,y2,confidence2),手腕的坐标为(x3,y3,confidence3),手臂对应的目标向量则为(x1,y1,cofidence1,x2,y2,confidence2,x3,y3,confidence3),全身人体骨骼关键点(137个)依此处理即可得到411维的目标向量。
在目标图像有多个人物的情况下,对目标向量进行数据处理和筛选,具体包括数据归一化、删除置信度均值、方差低于阈值的目标向量等,使得得到的目标向量更准确。
步骤b,基于所述目标向量和人体结构化信息,构建复合特征向量。
在该步骤中,识别设备根据目标向量和人体结构化信息,构建复合特征向量,其中,人体结构化信息是指人体各部位的关联关系,如手臂与手掌、腿部与脚部等部位,相对位置关系会级联变化,如手臂动了,手掌会跟着动等,构建复合特征就是基于人体结构化信息再一次构建特征向量,具体在411维目标向量的基础上构建950维的复合特征向量,以手腕和头部这两个部位为例,如根据手腕与头部的相对距离,可以估计学生是否举手,那么手腕、头部这两个部位的人体骨骼关键点、人体骨骼关键点对应的置信度,以及两部分人体骨骼关键点之间的距离即可作为复合特征向量的矢量参数,构建方法包括两点间欧式距离、横纵坐标差值等,本实施例优选两点间欧氏距离确定两部分中各人体骨骼关键点间的距离,并以该距离作为矢量参数,在目标向量的基础上,再增加矢量参数。以此方式,不断计算人体部位两两间人体骨骼关键点之间的距离,并作为矢量参数添加进目标向量,最终,将411维目标向量扩充为950维的复合特征向量。
步骤S30,将所述复合特征向量输入预训练好的姿态识别模型中,以得到姿态识别结果。
在本实施例中,识别设备构建好目标图像的复合特征向量之后,将复合特征向量输入预训练好的姿态识别模型中,从而得到姿态识别结果。
需要说明的是,姿态识别模型是事先训练,并且独立于识别设备之外的,也即识别设备在得到复合特征向量时,不需要进行运算,而是将其输入到姿态识别模型中,整个识别过程不需要识别设备直接参与,减轻了识别设备的处理负担、存储负担,提高识别设备的系统性能。
在此之前,姿态识别模型的训练过程包括:
步骤c,采集训练图像和所述训练图像的训练姿态结果,并对所述训练图像进行数据增强,以得到训练图像集;
在该步骤中,事先采集训练图像和训练图像的训练姿态结果,以得到训练图像集,同时,为了丰富图像训练集,更好的提取图像特征,泛化模型(防止模型过拟合),对数据图像进行数据增强,采用的方式包括图像左右、上下移动,剪切图像,改变图像色差,扭曲图像特征,改变图像尺寸大小等,还可以使用生成对抗网络生成图像等。需要注意的是,由于教室场景下极多情况下人体位置不会发生倒立、横卧等姿态,因此,在本实施例中,数据增强不能采用图像翻转的方式。
步骤d,确定所述训练图像集的训练关键点和所述训练关键点对应的训练置信度,并基于所述训练关键点和所述训练置信度,构建训练向量;
在该步骤中,同样使用人体骨骼关键点的检测工具,如openpose,确定训练图像集的训练关键点和训练关键点对应的训练置信度,并基于训练关键点和训练置信度,构建训练向量。具体过程与上述构建复合特征向量的过程类似,在此不再赘述。
步骤e,以所述训练向量作为初始模型的输入,以所述训练姿态结果作为所述初始模型的输出,将所述初始模型训练成所述姿态识别模型。
在该步骤中,以训练向量作为初始模型的输入,以训练姿态结果作为初始模型的输出,将初始模型训练成姿态识别模型。
也即采用先验信息来训练模型,由于考虑了教室场景下人体结构化信息,姿态识别模型输入携带了场景相关的先验信息,所以姿态识别模型对于教室场景适应性强。
步骤S40,基于所述姿态识别结果,确定所述目标图像对应的人体姿态。
本实施例中,识别设备根据姿态识别模型输出的姿态识别结果,确定目标图像对应的人体姿态,如输出的姿态识别结果为扭头置信度为0.8,则确定目标图像对应的人体姿态为扭头。
进一步地,步骤S40包括:
步骤f,确定所述姿态识别结果是否有效;
在该步骤中,识别设备在得到姿态识别结果后,将姿态识别结果与预设阈值进行比较,确定姿态识别结果是否有效,如预设阈值为:置信度大于0.5,如上所述例子,扭头置信度为0.8,大于预设阈值,则确定姿态识别结果有效,否则,则无效。
步骤g,若有效,则基于所述姿态识别结果,确定所述目标图像对应的人体姿态。
在确定当前姿态识别结果有效的情况下,确定对应的人体姿态,如上所述例子,人体姿态为扭头。
若确定当前姿态识别结果无效,则输出包含识别不出的提示信息。
进一步地,在步骤S40之后,姿态识别方法还包括:
步骤h,确定所述人体姿态是否为违规姿态;
在该步骤中,识别设备在确定目标图像的人体姿态后,将人体姿态与预设的标准姿态进行比较,确定当前人体姿态是否为违规姿态,可以理解的,在教室场景下,学生正常听课的坐姿是可预期的,一般为正面朝向黑板,双手置于桌面等,因此,可事先设置标准姿态,并确定当前识别出来的人体姿态是否与标准姿态一致,若一致,则不违规,若不一致,则违规,其中,标准姿态可以是一个或者是多个。
可以理解的,也可以事先建立违规库,将当前人体姿态与违规库中的违规姿态进行比较,若命中,则确定当前人体姿态违规,若未命中,则不违规。
步骤i,若是,则确定所述人体姿态对应的身份信息,并将所述违规姿态和所述身份信息发送至目标终端。
在确定当前人体姿态违规时,确定对应的身份信息,在本实施例中,具体确定是哪一位学生违规,并将违规姿态和对应的身份信息发送至目标终端,其中目标终端为教师终端,即将违规的学生的身份信息以及对应的违规姿态,发送给教师终端,以便教师通过教师终端了解当前教室下的学生的人体姿态,以便进行纠正。
进一步地,在本实施例中,姿态识别模型包括三个子模型,三个子模型分别采用逻辑回归、随机森林、梯度提升树三个机器学习方法进行训练。具体训练方法与所述姿态识别模型类似,具体将训练图像集划分为训练集、测试集和验证集,其中,训练集、测试集和验证集各自的占比可根据实际情况进行分配,如7:2:1,接着分别训练逻辑回归、随机森林、梯度提升树模型。
因此,识别设备在将复合特征向量输入姿态识别模型中时,实际是将复合特征输入三个子模型中,因此,在本实施例中,最终输出的姿态识别结果包括三个,为使得识别结果唯一,本实施例采用模型融合的方法来对姿态识别结果进行处理,具体采用置信度最高的姿态识别结果作为最终输出的姿态识别结果,其中,模型融合方法可采用线性加权融合,其原理是将来自不同子模型输出的姿态识别结果及对应的置信度,进一步进行组合加权,生成最终的姿态识别结果的排序,在具体实施时,取排序最靠前的姿态识别结果作为最终的姿态识别结果,比如,三个子模型的权重一样,随机森林输出举手置信度为0.6、逻辑回归输出低头置信度0.5、梯度提升树输出扭头置信度为0.8,那么姿态识别模型最终输出为扭头置信度为0.8,从而确定当前的姿态识别结果对应的人体姿态为扭头。
本实施例,获取目标图像,并确定所述目标图像中的人体骨骼关键点,以及所述人体骨骼关键点对应的置信度;基于所述人体骨骼关键点和所述置信度,构建复合特征向量;将所述复合特征向量输入预训练好的姿态识别模型中,以得到姿态识别结果;基于所述姿态识别结果,确定所述目标图像对应的人体姿态。本发明通过人体骨骼关键点和置信度构建复合特征向量,以复合特征向量作为人体姿态识别的参数,提高了人体姿态的识别准确率。
进一步地,基于第一实施例提出本发明姿态识别方法的第二实施例。姿态识别方法的第二实施例与姿态识别方法的第一实施例的区别在于,参照图3,步骤S20包括:
步骤S21,确定所述人体骨骼关键点在所述所述目标图像的分布位置,并基于所述分布位置,确定所述复合特征向量的构建部位;
步骤S22,获取所述构建部分中的目标骨骼关键点,并基于所述目标骨骼关键点,以及所述目标骨骼关键点的置信度,构建复合特征向量。
本实施例中,在构建复合特征时,不需要所有的人体骨骼关键点进行参与,而是选取代表性的目标骨骼关键点作为构建复合特征向量的参数,使得构建的复合特征向量针对性更强,使得后续识别更加准确。
以下将对各个步骤进行详细说明:
步骤S21,确定所述人体骨骼关键点在所述所述目标图像的分布位置,并基于所述分布位置,确定所述复合特征向量的构建部位。
本实施例中,识别设备通过openpose等人体骨骼关键点检测工具获取到目标图像的人体骨骼关键点和对应的置信度后,确定人体骨骼关键点在目标图像上的分布位置,根据人体骨骼关键点的分布位置,确定复合特征向量的构建部位。
具体的,步骤S21包括:
步骤j,确定所述人体骨骼关键点在所述目标图像的分布位置,并将所述分布位置与标准分布位置进行比较;
步骤k,根据比较结果,确定所述复合特征向量的构建部位。
在该步骤中,识别设备通过确定人体骨骼关键点在目标图像的分布位置,并将当前人体骨骼关键点的分布位置与标准分布位置进行比较,从而得到比较结果,其中,标准分布位置与上述实施例中的标准姿态类似,是人为设定的标准,具体指人体正常坐姿时,人体的人体骨骼关键点的分布位置,正常坐姿指不做出违规姿态的人体姿态,具体的,在确定构建复合特征向量的构建部位过程中,可将当前人体骨骼关键点在目标图像的分布位置,与预设的人体正常坐姿时的人体骨骼关键点的分布位置进行比较,从而确定哪一部位的骨骼关键点由于姿态改变,使其骨骼关键点的分布位置发生变化。
也即,通过人体骨骼关键点在目标图像的分布位置,先确定人体姿态发生的位置,如举手,扭头等姿态,人体姿态发生的位置为上半身,则确定构建复合特征向量的构建部位为上半身,那么,在构建复合特征向量时,只需构建上半身的复合特征向量即可。
步骤S22,获取所述构建部分中的目标骨骼关键点,并基于所述目标骨骼关键点,以及所述目标骨骼关键点的置信度,构建复合特征向量。
在本实施例中,具体的,识别设备获取构建部位的目标骨骼关键点,目标骨骼关键点的置信度,针对构建部位进行复合特征向量的构建,如上所述例子,构建针对上半身的复合特征向量,下半身的人体骨骼关键点不需要进行构建,使得构建过程加快,并且减少了不必要的运算处理过程,可减轻姿态识别设备的运算压力。
可以理解的,还可以通过哈希算法,如MD5算法,计算出要构建复合特征向量的构建部位是哪一个,由于是现有算法,在此不再详述。
需要说明的是,人体骨骼关键点在目标图像上的分布位置在本实施例中优选为上半部分、下半部分、左半部分和右半部分,当然,也可事先对目标图像进行区域划分,如划分为等分的8份,确定要构建复合特征向量的位置具体落在哪一个区域中等,在此不做具体限定。
本实施例在构建复合特征时,不需要所有的人体骨骼关键点进行参与,而是先确定复合特征向量的构建位置,从而选取代表性的目标骨骼关键点作为构建复合特征向量的参数,使得构建的复合特征向量针对性更强,使得后续识别更加准确。
此外,本发明实施例还提供一种姿态识别装置。
参照图4,图4为本发明姿态识别装置第一实施例的功能模块示意图。
本实施例中,所述姿态识别装置包括:
获取模块10,用于获取目标图像,并确定所述目标图像中的人体骨骼关键点,以及所述人体骨骼关键点对应的置信度;
构建模块20,用于基于所述人体骨骼关键点和所述置信度,构建复合特征向量;
输入模块30,用于将所述复合特征向量输入预训练好的姿态识别模型中,以得到姿态识别结果;
确定模块40,用于基于所述姿态识别结果,确定所述目标图像对应的人体姿态。
进一步地,所述构建模块20还用于:
获取所述人体骨骼关键点在所述目标图片的坐标点,并基于所述坐标点和所述置信度,构建目标向量;
基于所述目标向量和人体结构化信息,构建复合特征向量。
进一步地,所述构建模块20还用于:
确定所述人体骨骼关键点在所述所述目标图像的分布位置,并基于所述分布位置,确定所述复合特征向量的构建部位;
获取所述构建部分中的目标骨骼关键点,并基于所述目标骨骼关键点,以及所述目标骨骼关键点的置信度,构建复合特征向量。
进一步地,所述构建模块20还用于:
确定所述人体骨骼关键点在所述目标图像的分布位置,并将所述分布位置与标准分布位置进行比较;
根据比较结果,确定所述复合特征向量的构建部位。
进一步地,所述姿态识别装置还包括训练模块,所述训练模块用于:
采集训练图像和所述训练图像的训练姿态结果,并对所述训练图像进行数据增强,以得到训练图像集;
确定所述训练图像集的训练关键点和所述训练关键点对应的训练置信度,并基于所述训练关键点和所述训练置信度,构建训练向量;
以所述训练向量作为初始模型的输入,以所述训练姿态结果作为所述初始模型的输出,将所述初始模型训练成所述姿态识别模型。
进一步地,所述确定模块40还用于:
确定所述姿态识别结果是否有效;
若有效,则基于所述姿态识别结果,确定所述目标图像对应的人体姿态。
进一步地,所述姿态识别装置还包括发送模块,所述发送模块用于:
确定所述人体姿态是否为违规姿态;
若是,则确定所述人体姿态对应的身份信息,并将所述违规姿态和所述身份信息发送至目标终端。
其中,上述姿态识别装置中各个模块和单元与上述姿态识别方法实施例中各步骤相对应,其功能和实现过程在此处不再一一赘述。
此外,本发明实施例还提供一种计算机可读存储介质。
本发明计算机可读存储介质上存储有姿态识别程序,其中所述姿态识别程序被处理器执行时,实现如上述的姿态识别方法的步骤。
其中,姿态识别程序被执行时所实现的方法可参照本发明姿态识别方法的各个实施例,此处不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种姿态识别方法,其特征在于,所述姿态识别方法包括以下步骤:
获取目标图像,并确定所述目标图像中的人体骨骼关键点,以及所述人体骨骼关键点对应的置信度;
基于所述人体骨骼关键点和所述置信度,构建复合特征向量;
将所述复合特征向量输入预训练好的姿态识别模型中,以得到姿态识别结果;
基于所述姿态识别结果,确定所述目标图像对应的人体姿态。
2.如权利要求1所述的姿态识别方法,其特征在于,所述基于所述人体骨骼关键点和所述置信度,构建复合特征向量的步骤包括:
获取所述人体骨骼关键点在所述目标图片的坐标点,并基于所述坐标点和所述置信度,构建目标向量;
基于所述目标向量和人体结构化信息,构建复合特征向量。
3.如权利要求1所述的姿态识别方法,其特征在于,所述基于所述人体骨骼关键点和所述置信度,构建复合特征向量的步骤包括:
确定所述人体骨骼关键点在所述所述目标图像的分布位置,并基于所述分布位置,确定所述复合特征向量的构建部位;
获取所述构建部分中的目标骨骼关键点,并基于所述目标骨骼关键点,以及所述目标骨骼关键点的置信度,构建复合特征向量。
4.如权利要求3所述的姿态识别方法,其特征在于,所述确定所述人体骨骼关键点在所述所述目标图像的分布位置,并基于所述分布位置,确定所述复合特征向量的构建部位包括:
确定所述人体骨骼关键点在所述目标图像的分布位置,并将所述分布位置与标准分布位置进行比较;
根据比较结果,确定所述复合特征向量的构建部位。
5.如权利要求1所述的姿态识别方法,其特征在于,所述获取目标图像,并确定所述目标图像中的人体骨骼关键点,以及所述人体骨骼关键点对应的置信度的步骤之前,所述姿态识别方法还包括:
采集训练图像和所述训练图像的训练姿态结果,并对所述训练图像进行数据增强,以得到训练图像集;
确定所述训练图像集的训练关键点和所述训练关键点对应的训练置信度,并基于所述训练关键点和所述训练置信度,构建训练向量;
以所述训练向量作为初始模型的输入,以所述训练姿态结果作为所述初始模型的输出,将所述初始模型训练成所述姿态识别模型。
6.如权利要求1所述的姿态识别方法,其特征在于,所述基于所述姿态识别结果,确定所述目标图像对应的人体姿态的步骤包括:
确定所述姿态识别结果是否有效;
若有效,则基于所述姿态识别结果,确定所述目标图像对应的人体姿态。
7.如权利要求1-6任一项所述的姿态识别方法,其特征在于,所述基于所述姿态识别结果,确定所述目标图像对应的人体姿态的步骤之后,所述姿态识别方法还包括:
确定所述人体姿态是否为违规姿态;
若是,则确定所述人体姿态对应的身份信息,并将所述违规姿态和所述身份信息发送至目标终端。
8.一种姿态识别装置,其特征在于,所述姿态识别装置包括:
获取模块,用于获取目标图像,并确定所述目标图像中的人体骨骼关键点,以及所述人体骨骼关键点对应的置信度;
构建模块,用于基于所述人体骨骼关键点和所述置信度,构建复合特征向量;
输入模块,用于将所述复合特征向量输入预训练好的姿态识别模型中,以得到姿态识别结果;
确定模块,用于基于所述姿态识别结果,确定所述目标图像对应的人体姿态。
9.一种姿态识别设备,其特征在于,所述姿态识别设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的姿态识别程序,其中所述姿态识别程序被所述处理器执行时,实现如权利要求1至7中任一项所述的姿态识别方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有姿态识别程序,其中所述姿态识别程序被处理器执行时,实现如权利要求1至7中任一项所述的姿态识别方法的步骤。
CN201911401698.7A 2019-12-27 2019-12-27 姿态识别方法、装置、设备及存储介质 Active CN111191599B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911401698.7A CN111191599B (zh) 2019-12-27 2019-12-27 姿态识别方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911401698.7A CN111191599B (zh) 2019-12-27 2019-12-27 姿态识别方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111191599A true CN111191599A (zh) 2020-05-22
CN111191599B CN111191599B (zh) 2023-05-30

Family

ID=70709674

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911401698.7A Active CN111191599B (zh) 2019-12-27 2019-12-27 姿态识别方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111191599B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111754303A (zh) * 2020-06-24 2020-10-09 北京字节跳动网络技术有限公司 虚拟换服饰的方法和装置、设备和介质
CN111915676A (zh) * 2020-06-17 2020-11-10 深圳大学 图像生成方法、装置、计算机设备和存储介质
CN112070815A (zh) * 2020-09-07 2020-12-11 哈尔滨工业大学(威海) 一种基于人体外轮廓变形的自动瘦身方法
CN112163537A (zh) * 2020-09-30 2021-01-01 中国科学院深圳先进技术研究院 一种行人异常行为检测方法、系统、终端以及存储介质
CN112489036A (zh) * 2020-12-14 2021-03-12 Oppo(重庆)智能科技有限公司 图像评价方法、图像评价装置、存储介质与电子设备
CN112528078A (zh) * 2020-12-16 2021-03-19 杭州海康威视数字技术股份有限公司 一种图像归档方法、装置及设备
CN112580496A (zh) * 2020-12-16 2021-03-30 浙江大学 结合人脸关键点检测的人脸相对姿态估计方法
CN112613490A (zh) * 2021-01-08 2021-04-06 云从科技集团股份有限公司 一种行为识别方法、装置、机器可读介质及设备
CN112843722A (zh) * 2020-12-31 2021-05-28 上海米哈游天命科技有限公司 一种拍摄方法、装置、设备及存储介质
CN113065458A (zh) * 2021-03-29 2021-07-02 新疆爱华盈通信息技术有限公司 基于手势识别的投票方法与系统、电子设备
CN113537121A (zh) * 2021-07-28 2021-10-22 浙江大华技术股份有限公司 身份识别方法和装置、存储介质及电子设备
CN113780176A (zh) * 2021-09-10 2021-12-10 平安科技(深圳)有限公司 局部遮挡对象识别方法、装置、设备及存储介质
CN116645721A (zh) * 2023-04-26 2023-08-25 贵州大学 基于深度学习的坐姿识别方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109657631A (zh) * 2018-12-25 2019-04-19 上海智臻智能网络科技股份有限公司 人体姿态识别方法及装置
CN109919077A (zh) * 2019-03-04 2019-06-21 网易(杭州)网络有限公司 姿态识别方法、装置、介质和计算设备
WO2019128646A1 (zh) * 2017-12-28 2019-07-04 深圳励飞科技有限公司 人脸检测方法、卷积神经网络参数的训练方法、装置及介质
CN110135304A (zh) * 2019-04-30 2019-08-16 北京地平线机器人技术研发有限公司 人体位姿识别方法及装置
CN110321795A (zh) * 2019-05-24 2019-10-11 平安科技(深圳)有限公司 用户姿态识别方法、装置、计算机装置及计算机存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019128646A1 (zh) * 2017-12-28 2019-07-04 深圳励飞科技有限公司 人脸检测方法、卷积神经网络参数的训练方法、装置及介质
CN109657631A (zh) * 2018-12-25 2019-04-19 上海智臻智能网络科技股份有限公司 人体姿态识别方法及装置
CN109919077A (zh) * 2019-03-04 2019-06-21 网易(杭州)网络有限公司 姿态识别方法、装置、介质和计算设备
CN110135304A (zh) * 2019-04-30 2019-08-16 北京地平线机器人技术研发有限公司 人体位姿识别方法及装置
CN110321795A (zh) * 2019-05-24 2019-10-11 平安科技(深圳)有限公司 用户姿态识别方法、装置、计算机装置及计算机存储介质

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111915676A (zh) * 2020-06-17 2020-11-10 深圳大学 图像生成方法、装置、计算机设备和存储介质
CN111915676B (zh) * 2020-06-17 2023-09-22 深圳大学 图像生成方法、装置、计算机设备和存储介质
CN111754303A (zh) * 2020-06-24 2020-10-09 北京字节跳动网络技术有限公司 虚拟换服饰的方法和装置、设备和介质
CN112070815A (zh) * 2020-09-07 2020-12-11 哈尔滨工业大学(威海) 一种基于人体外轮廓变形的自动瘦身方法
CN112070815B (zh) * 2020-09-07 2024-01-05 哈尔滨工业大学(威海) 一种基于人体外轮廓变形的自动瘦身方法
CN112163537A (zh) * 2020-09-30 2021-01-01 中国科学院深圳先进技术研究院 一种行人异常行为检测方法、系统、终端以及存储介质
CN112163537B (zh) * 2020-09-30 2024-04-26 中国科学院深圳先进技术研究院 一种行人异常行为检测方法、系统、终端以及存储介质
CN112489036A (zh) * 2020-12-14 2021-03-12 Oppo(重庆)智能科技有限公司 图像评价方法、图像评价装置、存储介质与电子设备
CN112580496B (zh) * 2020-12-16 2023-01-10 浙江大学 结合人脸关键点检测的人脸相对姿态估计方法
CN112528078A (zh) * 2020-12-16 2021-03-19 杭州海康威视数字技术股份有限公司 一种图像归档方法、装置及设备
CN112580496A (zh) * 2020-12-16 2021-03-30 浙江大学 结合人脸关键点检测的人脸相对姿态估计方法
CN112843722A (zh) * 2020-12-31 2021-05-28 上海米哈游天命科技有限公司 一种拍摄方法、装置、设备及存储介质
CN112843722B (zh) * 2020-12-31 2023-05-12 上海米哈游天命科技有限公司 一种拍摄方法、装置、设备及存储介质
CN112613490B (zh) * 2021-01-08 2022-02-01 云从科技集团股份有限公司 一种行为识别方法、装置、机器可读介质及设备
CN112613490A (zh) * 2021-01-08 2021-04-06 云从科技集团股份有限公司 一种行为识别方法、装置、机器可读介质及设备
CN113065458B (zh) * 2021-03-29 2024-05-28 芯算一体(深圳)科技有限公司 基于手势识别的投票方法与系统、电子设备
CN113065458A (zh) * 2021-03-29 2021-07-02 新疆爱华盈通信息技术有限公司 基于手势识别的投票方法与系统、电子设备
CN113537121A (zh) * 2021-07-28 2021-10-22 浙江大华技术股份有限公司 身份识别方法和装置、存储介质及电子设备
CN113780176B (zh) * 2021-09-10 2023-08-25 平安科技(深圳)有限公司 局部遮挡对象识别方法、装置、设备及存储介质
CN113780176A (zh) * 2021-09-10 2021-12-10 平安科技(深圳)有限公司 局部遮挡对象识别方法、装置、设备及存储介质
CN116645721B (zh) * 2023-04-26 2024-03-15 贵州大学 基于深度学习的坐姿识别方法及系统
CN116645721A (zh) * 2023-04-26 2023-08-25 贵州大学 基于深度学习的坐姿识别方法及系统

Also Published As

Publication number Publication date
CN111191599B (zh) 2023-05-30

Similar Documents

Publication Publication Date Title
CN111191599B (zh) 姿态识别方法、装置、设备及存储介质
US12100087B2 (en) System and method for generating an avatar that expresses a state of a user
CN105930767B (zh) 一种基于人体骨架的动作识别方法
US9020250B2 (en) Methods and systems for building a universal dress style learner
CN110349081B (zh) 图像的生成方法、装置、存储介质和电子设备
KR102106135B1 (ko) 행동 인식 기반의 응용 서비스 제공 장치 및 그 방법
CN111680562A (zh) 一种基于骨骼关键点的人体姿态识别方法、装置、存储介质及终端
CN109815776B (zh) 动作提示方法和装置、存储介质及电子装置
CN109960962B (zh) 图像识别方法、装置、电子设备以及可读存储介质
CN111931585A (zh) 一种课堂专注度的检测方法及装置
JP2019096113A (ja) キーポイントデータに関する加工装置、方法及びプログラム
CN109117753B (zh) 部位识别方法、装置、终端及存储介质
CN112543936B (zh) 用于动作识别的动作结构自注意力图卷积网络模型
CN111027403A (zh) 手势估计方法、装置、设备及计算机可读存储介质
CN111222379A (zh) 一种手部检测方法及装置
CN110334609B (zh) 一种智能实时体感捕捉方法
Tiwari et al. Sign language recognition through kinect based depth images and neural network
CN111639615B (zh) 一种虚拟建筑物的触发控制方法及装置
US20230401740A1 (en) Data processing method and apparatus, and device and medium
CN109407826A (zh) 球类运动模拟方法、装置、存储介质及电子设备
CN116012942A (zh) 手语教学方法、装置、设备及存储介质
CN115862054A (zh) 图像数据处理方法、装置、设备以及介质
Mulay et al. Adapting RGB Pose Estimation to New Domains
CN111428665B (zh) 一种信息确定方法、设备及计算机可读存储介质
US20240331360A1 (en) Method and apparatus for extracting result information using machine learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant