CN114463777A - 基于3d人体的姿态识别方法、装置、设备及存储介质 - Google Patents

基于3d人体的姿态识别方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114463777A
CN114463777A CN202011143528.6A CN202011143528A CN114463777A CN 114463777 A CN114463777 A CN 114463777A CN 202011143528 A CN202011143528 A CN 202011143528A CN 114463777 A CN114463777 A CN 114463777A
Authority
CN
China
Prior art keywords
human body
image
human
model
posture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011143528.6A
Other languages
English (en)
Inventor
眭一帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Hongxiang Technical Service Co Ltd
Original Assignee
Beijing Hongxiang Technical Service Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Hongxiang Technical Service Co Ltd filed Critical Beijing Hongxiang Technical Service Co Ltd
Priority to CN202011143528.6A priority Critical patent/CN114463777A/zh
Publication of CN114463777A publication Critical patent/CN114463777A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及人体识别技术领域,公开了一种基于3D人体的姿态识别方法、装置、设备及存储介质,该方法包括:获取待识别图像,并对所述待识别图像进行分割,以获取待识别人体图像;获取基于3D人体模型的人体姿态深度学习模型;根据所述人体姿态深度学习模型对待识别人体图像进行识别。通过利用3D人体模型进行深度学习,以获取人体姿态深度学习模型,基于所述人体姿态深度学习模型可以对人体姿态进行识别,由于预设人体姿态来源于3D人体模型,无需通过大量真人实验采样获取特殊姿态动作,避免了由于实验采样图像与待识别对象之间存在差别造成的识别误差,提升了人体姿态识别效果。

Description

基于3D人体的姿态识别方法、装置、设备及存储介质
技术领域
本发明涉及人体识别技术领域,尤其涉及一种基于3D人体的姿态识别方法、装置、设备及存储介质。
背景技术
目前,为了准确进行人体姿态的识别通常需要获取大量的人体姿态数据,常见姿势的人体姿态数据(如站立、行走、奔跑等)可以通过网络上的图像进行获取。对于一些特殊姿态(老年人的摔倒姿态、儿童的溺水姿态等),难以大量获取;现有技术中,通常由实验人员进行模仿获取摔倒或溺水的姿态,但由于实验人员的体型与实际识别对象存在差别、获取姿态的数量大进行多次模仿需要耗费非常多的时间等问题,数据获取并不理想,降低了对特殊姿态识别的精准度。
上述内容仅用于辅助理解本发明的技术方案,并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种基于3D人体的姿态识别方法、装置、设备及存储介质,旨在解决现有技术人体姿态识别精度低的技术问题。
为实现上述目的,本发明提供一种基于3D人体的姿态识别方法,所述基于3D人体的姿态识别方法包括以下步骤:
获取待识别图像,并对所述待识别图像进行分割,以获取待识别人体图像;
获取基于3D人体模型的人体姿态深度学习模型;
根据所述人体姿态深度学习模型对待识别人体图像进行识别。
可选地,所述获取基于3D人体模型的人体姿态深度学习模型的步骤,具体包括:
根据预设识别任务获取预定义姿态类别,所述预设识别任务对应于所述待识别图像;
获取3D人体模型集合,并根据所述预定义姿态类别对所述3D人体模型集合进行姿态设定,以获得3D人体姿态模型集合;
读取所述3D人体姿态模型集合中各3D人体姿态模型的标注数据及图片数据;
根据所述标注数据与所述图片数据对初始目标检测模型进行训练,以获取人体姿态深度学习模型。
可选地,所述获取3D人体模型集合,并根据所述预定义姿态类别对所述3D人体模型集合进行姿态设定,以获得3D人体姿态模型集合的步骤,具体包括:
构建预设数量的基础3D人体模型,以获得基础3D人体模型集合;
对所述基础3D人体模型集合进行随机造型设定,以获得3D人体模型集合;
根据所述预定义姿态类别对所述3D人体模型集合进行姿态设定,以获得3D人体姿态模型集合。
可选地,所述构建预设数量的基础3D人体模型,以获得基础3D人体模型集合的步骤,具体包括:
根据预设识别任务获取识别对象类别,根据所述识别对象类别制作预设数量的3D人类骨骼模型,以获得3D人类骨骼模型集合;
对所述3D人类骨骼模型集合中所有3D人类骨骼模型进行外观贴图,以获得基础3D人体模型集合。
可选地,所述对所述基础3D人体模型集合进行随机造型设定,以获得3D人体模型集合的步骤,具体包括:
根据预设识别任务获取识别对象造型类别,根据所述识别对象造型类别制作人体随机造型集合;
根据所述随机造型集合对基础3D人体模型集合进行随机造型设定,以获得3D人体模型集合。
可选地,所述获取待识别图像,并对所述待识别图像进行分割,以获取待识别人体图像的步骤,具体包括:
获取待识别图像,并对所述待识别图像进行图像增强处理,以获取处理后的待识别图像;
根据边缘算法确定所述处理后的待识别图像中的人体姿态轮廓线;
根据所述人体姿态轮廓线对所述处理后的待识别图像进行分割,以获取待识别人体图像。
可选地,所述标注数据至少包括所述3D人体姿态模型集合中各3D人体姿态模型对应的人体关键点数据;
所述根据所述人体姿态深度学习模型对待识别人体图像进行识别的步骤,具体包括:
获取所述待识别人体图像的待识别人体关键点数据,将所述待识别人体关键点数据输入所述人体姿态深度学习模型进行数据匹配;
根据匹配结果确定待识别人体图像对应的人体姿态。
可选地,所述获取待识别图像,并对所述待识别图像进行分割,以获取待识别人体图像的步骤,具体包括:
获取待识别图像,并对所述待识别图像进行图像增强处理,以获取处理后的待识别图像;
获取所述待识别图像中的人体区域,并根据所述人体区域对所述处理后的待识别图像进行分割,以获取待识别人体图像。
可选地,所述标注数据至少包括所述3D人体姿态模型集合中各3D人体姿态模型对应的人体关键点数据及场景数据;
所述根据所述人体姿态深度学习模型对待识别人体图像进行识别的步骤,具体包括:
获取所述待识别人体图像的待识别人体关键点数据及待识别场景数据;
将所述待识别人体关键点数据及所述待识别场景数据输入所述人体姿态深度学习模型进行数据匹配;
根据匹配结果确定待识别人体图像对应的人体姿态。
可选地,所述读取所述3D人体姿态模型集合中各3D人体姿态模型的标注数据及图片数据的步骤之前,还包括:
根据预设识别任务获取识别场景类型;
根据所述识别场景类型对所述3D人体姿态模型集合中各3D人体姿态模型进行随机场景设定。
可选地,所述标注数据至少包括所述3D人体姿态模型集合中各3D人体姿态模型对应的人体关键点数据及道具数据;
所述根据所述人体姿态深度学习模型对待识别人体图像进行识别的步骤,具体包括:
获取所述待识别人体图像的待识别人体关键点数据及待识别道具数据,将所述待识别人体关键点数据及所述待识别道具数据输入所述人体姿态深度学习模型进行数据匹配;
根据匹配结果确定待识别人体图像对应的人体姿态。
可选地,所述读取所述3D人体姿态模型集合中各3D人体姿态模型的标注数据及图片数据的步骤之前,还包括:
根据预设识别任务获取识别道具类型;
根据所述识别道具类型对所述3D人体姿态模型集合中各3D人体姿态模型进行随机道具设定。
可选地,所述根据所述人体姿态深度学习模型对待识别人体图像进行识别的步骤之后,还包括:
在所述待识别人体图像中的人体姿态为预设识别任务对应的预定义姿态时,发送预设提示信息。
此外,为实现上述目的,本发明还提出一种基于3D人体的姿态识别装置,所述基于3D人体的姿态识别装置包括:
图像处理模块,用于获取待识别图像,并对所述待识别图像进行分割,以获取待识别人体图像;
模型训练模块,用于获取基于3D人体模型的人体姿态深度学习模型;
姿态检测模块,用于根据所述人体姿态深度学习模型对待识别人体图像进行识别。
可选地,所述模型训练模块,还用于根据预设识别任务获取预定义姿态类别,所述预设识别任务对应于所述待识别图像;
获取3D人体模型集合,并根据所述预定义姿态类别对所述3D人体模型集合进行姿态设定,以获得3D人体姿态模型集合;
读取所述3D人体姿态模型集合中各3D人体姿态模型的标注数据及图片数据;
根据所述标注数据与所述图片数据对初始目标检测模型进行训练,以获取人体姿态深度学习模型。
可选地,所述模型训练模块,还用于构建预设数量的基础3D人体模型,以获得基础3D人体模型集合;
对所述基础3D人体模型集合进行随机造型设定,以获得3D人体模型集合;
根据所述预定义姿态类别对所述3D人体模型集合进行姿态设定,以获得3D人体姿态模型集合。
可选地,所述模型训练模块,还用于根据预设识别任务获取识别对象类别,根据所述识别对象类别制作预设数量的3D人类骨骼模型,以获得3D人类骨骼模型集合;
对所述3D人类骨骼模型集合中所有3D人类骨骼模型进行外观贴图,以获得基础3D人体模型集合。
可选地,所述模型训练模块,还用于根据预设识别任务获取识别对象造型类别,根据所述识别对象造型类别制作人体随机造型集合;
根据所述随机造型集合对基础3D人体模型集合进行随机造型设定,以获得3D人体模型集合。
此外,为实现上述目的,本发明还提出一种基于3D人体的姿态识别设备,所述基于3D人体的姿态识别设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于3D人体的姿态识别程序,所述基于3D人体的姿态识别程序配置为实现如上文所述的基于3D人体的姿态识别方法的步骤。
此外,为实现上述目的,本发明还提出一种存储介质,所述存储介质上存储有基于3D人体的姿态识别程序,所述基于3D人体的姿态识别程序被处理器执行时实现如上文所述的基于3D人体的姿态识别方法的步骤。
本发明中通过获取待识别图像,并对所述待识别图像进行分割,以获取待识别人体图像;获取基于3D人体模型的人体姿态深度学习模型;根据所述人体姿态深度学习模型对待识别人体图像进行识别。通过利用3D人体模型进行深度学习,以获取人体姿态深度学习模型,基于所述人体姿态深度学习模型可以对人体姿态进行识别,由于预设人体姿态来源于3D人体模型,无需通过大量真人实验采样获取特殊姿态动作,避免了由于实验采样图像与待识别对象之间存在差别造成的识别误差,提升了人体姿态识别效果。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的基于3D人体的姿态识别设备的结构示意图;
图2为本发明基于3D人体的姿态识别方法第一实施例的流程示意图;
图3为本发明基于3D人体的姿态识别方法第二实施例的流程示意图;
图4为本发明基于3D人体的姿态识别方法第三实施例的流程示意图;
图5为本发明基于3D人体的姿态识别方法第四实施例的流程示意图;
图6为本发明基于3D人体的姿态识别方法第五实施例的流程示意图;
图7为本发明基于3D人体的姿态识别装置第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
参照图1,图1为本发明实施例方案涉及的硬件运行环境的基于3D人体的姿态识别设备结构示意图。
如图1所示,该基于3D人体的姿态识别设备可以包括:处理器1001,例如中央处理器(Central Processing Unit,CPU),通信总线1002、用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display),可选用户接口1003还可以包括标准的有线接口、无线接口,对于用户接口1003的有线接口在本发明中可为USB接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(WIreless-FIdelity,WI-FI)接口)。存储器1005可以是高速的随机存取存储器(Random Access Memory,RAM)存储器,也可以是稳定的存储器(Non-volatileMemory,NVM),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的结构并不构成对基于3D人体的姿态识别设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及基于3D人体的姿态识别程序。
在图1所示的基于3D人体的姿态识别设备中,网络接口1004主要用于连接后台服务器,与所述后台服务器进行数据通信;用户接口1003主要用于连接用户设备;所述基于3D人体的姿态识别设备通过处理器1001调用存储器1005中存储的基于3D人体的姿态识别程序,并执行本发明实施例提供的基于3D人体的姿态识别方法。
基于上述硬件结构,提出本发明基于3D人体的姿态识别方法的实施例。
参照图2,图2为本发明基于3D人体的姿态识别方法第一实施例的流程示意图,提出本发明基于3D人体的姿态识别方法第一实施例。
在第一实施例中,所述基于3D人体的姿态识别方法包括以下步骤:
步骤S10:获取待识别图像,并对所述待识别图像进行分割,以获取待识别人体图像。
需要说明的是,本实施例中的执行主体为基于3D人体的姿态识别装置,所述装置可以为移动终端、监控设备或人工智能家电等;所述装置包括至少一个用于获取待识别图像的摄像机,以获取待识别对象的当前动作,所述当前动作的图像为所述待识别图像。所述摄像机可以为红外摄像机或监控摄像机,本实施例不对此加以限制。
应当理解的是,在获取到待识别对象的当前动作对应的待识别图像时,所述待识别图像中至少包括待识别对象及待识别对象周边环境,由于周边环境图像对人体姿态识别可能存在干扰,例如:待识别对象与摄像机距离较远,因而待识别对象并未在所述待识别图像中占有较为居中的位置,为防止姿态识别的精确度降低,应当对所述待识别图像进行分割,以屏蔽不必要的周围环境图像,得到待识别人体图像。
易于理解的是,所述待识别人体图像为以待识别对象的人体图像为主的图像,周围环境干扰较少,需要时也可以纳入部分周围环境区域,以结合场景对人体姿态进行识别,提升识别精度。
步骤S20:获取基于3D人体模型的人体姿态深度学习模型。
应当理解的是,所述3D人体模型为根据识别任务进行获取的3D人体模式,例如:识别任务为,识别老年人摔倒姿态,所述3D人体模型对应于老年人身体模型;同时在进行训练之前,根据识别任务为所述3D人体模型设定各种老年人摔倒时可能存在的动作,将动作过程中所有姿态作为老年人摔倒类别的预定义姿态。
需要说明的是,为了接近真实场景情况,所述3D人体模型还可以被随机设置造型(如:肤色、发型、服装、鞋等),场景(如:楼梯、水中、草丛等),道具(如:平衡车、拐杖、游泳圈等),通过被设定实际的造型、场景及场景中可能出现的道具,使得3D人体模型更加接近于真实环境中发生的人体姿态。根据所述3D人体模型与预定义姿态类别设定多种姿态,可以得到3D人体姿态模型集合,基于所述3D人体姿态模型集合进行深度学习可以得到具有人体姿态识别功能的人体姿态深度学习模型。
应当理解的是,对于特定对象的姿态识别,所述3D人体模型甚至可以通过对所述特定对象进行全身扫描获取,以便更贴近于所述特定对象的实际情况,提升姿态识别的准确性,同时也可以获取多个所述特定对象的动作动画,基于获取到的动作动画生成更多的不同的姿态图像。
步骤S30:根据所述人体姿态深度学习模型对待识别人体图像进行识别。
需要说明的是,在获取到所述人体姿态深度学习模型时,对处理后的待识别人体图像进行人体关键点提取得到待识别人体关键点数据,所述人体关键点是人体上多个特征点,可以用于定位人体,以得知人体当前为何种姿态。根据所述待识别人体关键点数据在所述人体姿态深度学习模型进行识别,若存在匹配的人体关键点数据,则可以根据匹配的人体关键点数据确定人体当前姿态为何。
易于理解的是,在确定待识别人体图像中的人体姿态属于预定义的人体姿态时,展示识别结果为何种人体姿态,进一步地根据识别结果执行对应的操作。例如:识别任务为识别溺水姿态,在识别到待识别人体图像中的对象处于溺水姿态时,立刻发起溺水提醒警报,通知相关人员进行救援。
易于理解的是,本实施例中的人体姿态识别,包括但不限于应用在水上救援、老人看护、特殊场景中的安全监控等,本发明不对此加以限制。同时,基于3D人体模型进行人体姿态识别的方法,也可以基于本思想,构建3D动物模型进行动物姿态识别。
本发明实施例中,获取待识别图像,并对所述待识别图像进行分割,以获取待识别人体图像;获取基于3D人体模型的人体姿态深度学习模型;根据所述人体姿态深度学习模型对待识别人体图像进行识别。通过利用3D人体模型进行深度学习,以获取人体姿态深度学习模型,基于所述人体姿态深度学习模型可以对人体姿态进行识别,由于预设人体姿态来源于3D人体模型,无需通过大量真人实验采样获取特殊姿态动作,避免了由于实验采样图像与待识别对象之间存在差别造成的识别误差,提升了人体姿态识别效果。
参照图3,图3为本发明基于3D人体的姿态识别方法第二实施例的流程示意图,基于上述图2所示的第一实施例,提出本发明基于3D人体的姿态识别方法的第二实施例。本实施例基于第一实施例进行说明。
进一步地,为了提升姿态识别的精确度,所述步骤S20具体包括:
步骤S201:根据预设识别任务获取预定义姿态类别,所述预设识别任务对应于所述待识别图像。
需要说明的是,所述预设识别任务的设置,早于获取所述待识别图像,根据所述预设识别任务确认待识别图像为何种类型的人体姿态图像,例如:预先设置预设识别任务为,识别老年人摔倒姿态,因而识别对象为老年人,摄像头获取到的是老年人的实时动作,根据老年人的实时动作得到每一刻的姿态图像作为待识别图像。
步骤S202:获取3D人体模型集合,并根据所述预定义姿态类别对所述3D人体模型集合进行姿态设定,以获得3D人体姿态模型集合。
易于理解的是,基于上述举例进行进一步说明,若识别对象为老年人,需要针对老年人的身体特征进行3D人体模型的构建,还需要根据老年人的姿态特征对3D人体模型集合中各模型进行姿态设定,得到以获得3D人体姿态模型集合。
进一步地,为了获得满足多种姿态的3D人体姿态模型集合,步骤S202具体包括:
构建预设数量的基础3D人体模型,以获得基础3D人体模型集合。对所述基础3D人体模型集合进行随机造型设定,以获得3D人体模型集合。根据所述预定义姿态类别对所述3D人体模型集合进行姿态设定,以获得3D人体姿态模型集合。
需要说明的是,为了使3D人体模型符合识别对象的实际状态,至少还需要对初始的3D人体模型进行造型赋予,以使3D人体模型接近于真实场景的人物。
进一步地,为了使人体姿态模型贴合识别任务需求,所述构建预设数量的基础3D人体模型,以获得基础3D人体模型集合的步骤,具体包括:根据预设识别任务获取识别对象类别,根据所述识别对象类别制作预设数量的3D人类骨骼模型,以获得3D人类骨骼模型集合;对所述3D人类骨骼模型集合中所有3D人类骨骼模型进行外观贴图,以获得基础3D人体模型集合。
需要说明的是,本发明实施例中采用建立人体骨骼模型再对人体骨骼模型进行贴图得到初始人体模型的方式获取3D人体模型,由于骨骼支撑人体进行动作,因此预先建立骨骼模型有利于调整人体动作;具体实施中,也可以先设置人体表面贴图,后设置内部人体骨骼;所述3D人体骨骼模型可以从人体骨骼模型库中获取预设的基础模型,再对基础模型进行适应性调整获得。
易于理解的是,所述预设数量是指能满足深度学习训练需求量的数量,例如,考虑到存在多种身高、体重及骨龄的人体,至少在常见的身高体重预设范围内每隔预设参数设置至少两个基础3D人体模型(男性人体模型与女性人体模型,还可以包括无性别人体模型),
应当理解的是,对于一些特殊的识别对象,例如患有骨科相关疾病的识别对象,骨骼模型相对于常见骨骼模型存在差异,可以对特殊识别对象进行扫描得到对应的骨骼模型;或直接根据该对象的骨骼疾病数据对基础3D人体模型进行调整,使得模型更加贴近于该对象。
进一步地,为了使人体姿态模型贴合真实人体姿态,所述对所述基础3D人体模型集合进行随机造型设定,以获得3D人体模型集合的步骤,具体包括:
根据预设识别任务获取识别对象造型类别,根据所述识别对象造型类别制作人体随机造型集合;根据所述随机造型集合对基础3D人体模型集合进行随机造型设定,以获得3D人体模型集合。
易于理解的是,考虑到真实场景中人物均存在造型,对人物进行随机造型设定,造型包含但不限于:肤色、发型、衣着、鞋子及化妆纹身等,造型赋予使得3D人体模型更贴近于真实人体。
应当理解的是,本实施例中所有随机设定,均是为了防止3D人体模型集合中的3D人体模型存在单一性,导致姿态识别过程中对识别对象存在局限性,造成识别不全。
步骤S203:读取所述3D人体姿态模型集合中各3D人体姿态模型的标注数据及图片数据。
需要说明的是,现有技术中标注数据通常是在采集到实验人员的姿态图像数据后,由相关技术人员进行逐一标注,费时费力,需要极大人工成本;而本申请中,通过预定义姿态类别确定了预先要识别的姿态的类别,在生成3D人体姿态模型集合的过程中,由执行本方法的程序自动生成对应于各个模型的标注数据,同时对各个模型进行不同角度的截取得到了所述图片数据。
易于理解的是,所述标注数据可以为人体关键点数据、人体造型数据、3D人体姿态模型对应的道具数据、3D人体姿态模型对应的场景数据等。
步骤S204:根据所述标注数据与所述图片数据对初始目标检测模型进行训练,以获取人体姿态深度学习模型。
易于理解的是,基于所述3D人体姿态模型及其对应的标注数据与图片数据可以对初始目标检测模型进行深度学习训练,以使所述初始目标检测模型转换为具有人体姿态识别功能的人体姿态深度学习模型。
本申请中通过预定义姿态类别对3D人体模型进行姿态设定,生成对应于各模型的标注数据与图片数据,无需进行人工标注,无需通过大量真人实验采样获取特殊姿态动作,避免了由于实验采样图像与待识别对象之间存在差别造成的识别误差,提升了人体姿态识别效果。
参照图4,图4为本发明基于3D人体的姿态识别方法第三实施例的流程示意图,基于上述图3所示的第二实施例和上述图3所示的第二实施例,提出本发明基于3D人体的姿态识别方法的第二实施例。本实施例基于第二实施例进行说明。
在第三实施例中,步骤S10具体包括:
步骤S101:获取待识别图像,并对所述待识别图像进行图像增强处理,以获取处理后的待识别图像。
易于理解的是,采集到的图像中可能存在干扰因素,或由于人体姿态变换较快,造成采集到的图像中存在“晃影”。因此,在进行识别前,应该对待识别图像进行图像增强处理,使得人体所在区域的图像更加突出,易于采集、识别。所述图像增强处理包括但不限于对图像像素、清晰度、图像变形进行的增强处理。
步骤S102:根据边缘算法确定所述处理后的待识别图像中的人体姿态轮廓线。
应当理解的是,由于周围环境对人体图像可能存在干扰,可以将待识别图像中人体部分沿轮廓线进行提取,得到待识别人体图像。具体的,可以使用边缘算法对人体姿态轮廓线进行提取,所述边缘算法包括但不限于:Canny边缘检测算法、Laplacian算子法及Sobel边缘检测算法。
步骤S103:根据所述人体姿态轮廓线对所述处理后的待识别图像进行分割,以获取待识别人体图像。
易于理解的是,得到了人体姿态轮廓线,能够沿所述轮廓线将人体区域从待识别图像的整个图像区域中分割,得到待识别人体图像。
基于上述第二实施例,所述标注数据至少包括所述3D人体姿态模型集合中各3D人体姿态模型对应的人体关键点数据。
进一步地,为了准确识别人体姿态,步骤S30具体包括:
步骤S301:获取所述待识别人体图像的待识别人体关键点数据,将所述待识别人体关键点数据输入所述人体姿态深度学习模型进行数据匹配。
易于理解的是,所述人体关键点为人体姿态中根据所述关键点得到人体姿态类别的点,所述人体关键点的数量根据实际需求进行设置。由于人体姿态深度学习模型中已经具有了预设的人体关键点,因此可以对所述待识别人体关键点数据进行匹配。
步骤S306:根据匹配结果确定待识别人体图像对应的人体姿态。
易于理解的是,待识别人体图像的待识别人体关键点数据与预设的人体关键点数据的匹配程度达到预设阈值时,则可以认为所述预设的人体关键点数据对应的3D人体姿态模型对应的人体姿态为所述待识别人体图像的人体姿态识别结果,所述预设阈值可以为80%~100%。
本发明实施例中,通过对图像进行增强处理提升了人体姿态识别精确度,同时根据人体姿态深度学习模型判定了待识别图像对应的人体姿态类别,提升了人体姿态识别效果。
参照图5,图5为本发明基于3D人体的姿态识别方法第四实施例的流程示意图,基于上述图4所示的第三实施例,提出本发明基于3D人体的姿态识别方法的第四实施例。本实施例基于第三实施例进行说明。
在第四实施例中,步骤S10具体包括:
步骤S101:获取待识别图像,并对所述待识别图像进行图像增强处理,以获取处理后的待识别图像。
易于理解的是,本实施例中的图像增强操作与第三实施例中的相同,此处不再一一赘述。
步骤S104:获取所述待识别图像中的人体区域,并根据所述人体区域对所述处理后的待识别图像进行分割,以获取待识别人体图像。
应当理解的是,部分人体识别任务需要结合实际场景进行分析,因此待识别人体图像中除了识别对象本身的人体外还需要包括局部的场景图像。但待识图像中,人体所占区域可能并不大,因此将人体区域以规则图形(如矩形或圆形)分割出,得到待识别人体图像。
基于上述第三实施例,所述标注数据至少包括所述3D人体姿态模型集合中各3D人体姿态模型对应的人体关键点数据及场景数据。
进一步地,为了准确识别人体姿态,步骤S30具体包括:
步骤S302:获取所述待识别人体图像的待识别人体关键点数据及待识别场景数据。
需要说明的是,人体关键点数据与上述实施例中的含义相同,此处不再一一赘述。场景数据为3D人体姿态模型中,人体模型外叠加的场景模型对应的场景数据。例如:识别任务为老人摔倒检测时,在楼梯等场景下摔倒的可能性较高,因此在人体姿态模型中添加楼梯场景,所述楼梯场景有对应的场景数据,所述场景数据可以作为所述3D人体姿态模型的标注数据。
步骤S303:将所述待识别人体关键点数据及所述待识别场景数据输入所述人体姿态深度学习模型进行数据匹配。
易于理解的是,匹配过程与上述实施例中的匹配过程基本相同,本实施例不再一一赘述。
步骤S306:根据匹配结果确定待识别人体图像对应的人体姿态。
应当理解的是,人体关键点数据的匹配程度的优先程度大于所述场景数据的匹配程度,所述场景数据是作为人体关键点数据的辅助,以提升识别效率与精度的。因此,二者的匹配程度可以对应不同的权重,根据所述权重计算出最终的综合匹配程度;在根据综合匹配程度对应的预设阈值判断匹配结果,在达到预设阈值时,则可以认为所述预设的人体关键点数据对应的3D人体姿态模型对应的人体姿态为所述待识别人体图像的人体姿态识别结果。例如:人体关键点数据的匹配程度为90%,权重为0.9,场景数据的匹配程度为60%,权重为0.1,则得到综合匹配程度为87%,达到了预设阈值80%,基于上述举例,判断识别结果为老人在楼梯摔倒的姿态。
进一步地,为了提升人体姿态深度学习模型的识别精度,所述读取所述3D人体姿态模型集合中各3D人体姿态模型的标注数据及图片数据的步骤之前,还包括:根据预设识别任务获取识别场景类型;根据所述识别场景类型对所述3D人体姿态模型集合中各3D人体姿态模型进行随机场景设定。
需要说明的是,根据预设识别任务可以得知识别对象对应的场景,例如:预设识别任务为识别违规攀爬道路护栏的人体姿态,因此,对应的场景数据为具有护栏的城市公路或高速公路等场景;获取上述场景的场景数据,根据场景数据为所述3D人体姿态模型集合中各3D人体姿态模型进行随机场景设定。
应当理解的是,设定场景数据后,标注数据中也自动更新对应的场景数据,图片数据也根据所述场景数据进行更新,因此不需要人工进行再次标注,省时省力。
应当理解的是,本实施例中所有随机设定,均是为了防止3D人体模型集合中的3D人体模型存在单一性,导致姿态识别过程中对识别对象存在局限性,造成识别不全。
本发明实施例中,通过对人体区域进行分割提取,加快人体姿态识别效率,通过对3D人体姿态模型进行随机场景设定提升了人体姿态识别精确度。
参照图6,图6为本发明基于3D人体的姿态识别方法第五实施例的流程示意图,基于上述图5所示的第四实施例,提出本发明基于3D人体的姿态识别方法的第五实施例。本实施例基于第四实施例进行说明。
基于上述第四实施例,所述标注数据至少包括所述3D人体姿态模型集合中各3D人体姿态模型对应的人体关键点数据及道具数据。
进一步地,为了准确识别人体姿态,步骤S30具体包括:
步骤S304:获取所述待识别人体图像的待识别人体关键点数据及待识别道具数据。
需要说明的是,人体关键点数据与上述实施例中的含义相同,此处不再一一赘述。道具数据为3D人体姿态模型中,人体模型在场景模型中持有的道具对应道具数据。例如:识别老人摔倒,老人可能持有拐杖、助力椅等;识别溺水姿态,识别对象可能持有救生圈等;识别违规破坏公物的姿态,识别对象可能持有作案工具等;上述道具对应道具数据均可以为本实施例中的道具数据。
步骤S305:将所述待识别人体关键点数据及所述待识别道具数据输入所述人体姿态深度学习模型进行数据匹配。
易于理解的是,匹配过程与上述实施例中的匹配过程基本相同,本实施例不再一一赘述。
步骤S306:根据匹配结果确定待识别人体图像对应的人体姿态。
应当理解的是,人体关键点数据的匹配程度的优先程度大于场景数据的匹配程度或者道具数据的匹配程度,场景数据和道具数据是作为人体关键点数据的辅助,以提升识别效率与精度的。因此,三者的匹配程度可以对应不同的权重,根据所述权重计算出最终的综合匹配程度;在根据综合匹配程度对应的预设阈值判断匹配结果,在达到预设阈值时,则可以认为所述预设的人体关键点数据对应的3D人体姿态模型对应的人体姿态为所述待识别人体图像的人体姿态识别结果。例如:基于识别破坏公物的姿态识别任务,人体关键点数据的匹配程度为85%,权重为0.8,场景数据的匹配程度为80%,权重为0.1,道具数据的匹配程度为70%,权重为0.1,则得到综合匹配程度为则得到综合匹配程度为83%,达到了预设阈值80%,基于上述举例,判断识别结果为成年人破坏公物的姿态。
进一步地,为了提升人体姿态深度学习模型的识别精度,所述读取所述3D人体姿态模型集合中各3D人体姿态模型的标注数据及图片数据的步骤之前,还包括:根据预设识别任务获取识别道具类型;根据所述识别道具类型对所述3D人体姿态模型集合中各3D人体姿态模型进行随机道具设定。
需要说明的是,根据预设识别任务可以得知识别对象对应的场景,例如:预设识别任务为识别违规破坏公物的姿态,因此,对应道具数据为作案工具如锤子、棍棒、螺丝刀等工具;获取上述道具的道具数据,根据道具数据为所述3D人体姿态模型集合中各3D人体姿态模型进行随机道具设定。
应当理解的是,设定道具数据后,标注数据中也自动更新对应的道具数据,图片数据也根据所述道具数据进行更新,因此不需要人工进行再次标注,省时省力。
应当理解的是,本实施例中所有随机设定,均是为了防止3D人体模型集合中的3D人体模型存在单一性,导致姿态识别过程中对识别对象存在局限性,造成识别不全。
进一步地,为了提示识别任务达成,步骤S30之后,还包括:
步骤S40:在所述待识别人体图像中的人体姿态为预设识别任务对应的预定义姿态时,发送预设提示信息。
应当理解的是,在人体执行了所述预定义姿态时,说明人体当前存在某种操作,需要进行提醒。例如:人体姿态识别具体用于老人看护,看护过程中主要防止老人摔倒;预设识别任务为识别老人摔倒,识别工作由人工智能机器人执行,对老人进行随行看护,在识别到老人摔倒后,人工智能机器人向远程终端发送提示信息,告知看护人员,老人摔倒需要扶起或急救。
本实施例中,基于场景数据,通过对3D人体姿态模型进行随机道具设定,使得3D人体姿态模型中的信息更丰富,提示识别的功能性,提升人体姿态识别精确度。
此外,本发明实施例还提出一种存储介质,所述存储介质上存储有基于3D人体的姿态识别程序,所述基于3D人体的姿态识别程序被处理器执行时实现如上文所述的基于3D人体的姿态识别方法的步骤。
由于本存储介质采用了上述所有实施例的全部技术方案,因此至少具有上述实施例的技术方案所带来的所有有益效果,在此不再一一赘述。
此外,参照图7,本发明实施例还提出一种基于3D人体的姿态识别装置,所述基于3D人体的姿态识别装置包括:
图像处理模块10,用于获取待识别图像,并对所述待识别图像进行分割,以获取待识别人体图像。
需要说明的是,本实施例中的执行主体为基于3D人体的姿态识别装置,所述装置可以为移动终端、监控设备或人工智能家电等;所述装置包括至少一个用于获取待识别图像的摄像机,以获取待识别对象的当前动作,所述当前动作的图像为所述待识别图像。所述摄像机可以为红外摄像机或监控摄像机,本实施例不对此加以限制。
应当理解的是,在获取到待识别对象的当前动作对应的待识别图像时,所述待识别图像中至少包括待识别对象及待识别对象周边环境,由于周边环境图像对人体姿态识别可能存在干扰,例如:待识别对象与摄像机距离较远,因而待识别对象并未在所述待识别图像中占有较为居中的位置,为防止姿态识别的精确度降低,应当对所述待识别图像进行分割,以屏蔽不必要的周围环境图像,得到待识别人体图像。
易于理解的是,所述待识别人体图像为以待识别对象的人体图像为主的图像,周围环境干扰较少,需要时也可以纳入部分周围环境区域,以结合场景对人体姿态进行识别,提升识别精度。
模型训练模块20,用于获取基于3D人体模型的人体姿态深度学习模型。
应当理解的是,所述3D人体模型为根据识别任务进行获取的3D人体模式,例如:识别任务为,识别老年人摔倒姿态,所述3D人体模型对应于老年人身体模型;同时在进行训练之前,根据识别任务为所述3D人体模型设定各种老年人摔倒时可能存在的动作,将动作过程中所有姿态作为老年人摔倒类别的预定义姿态。
需要说明的是,为了接近真实场景情况,所述3D人体模型还可以被随机设置造型(如:肤色、发型、服装、鞋等),场景(如:楼梯、水中、草丛等),道具(如:平衡车、拐杖、游泳圈等),通过被设定实际的造型、场景及场景中可能出现的道具,使得3D人体模型更加接近于真实环境中发生的人体姿态。根据所述3D人体模型与预定义姿态类别设定多种姿态,可以得到3D人体姿态模型集合,基于所述3D人体姿态模型集合进行深度学习可以得到具有人体姿态识别功能的人体姿态深度学习模型。
应当理解的是,对于特定对象的姿态识别,所述3D人体模型甚至可以通过对所述特定对象进行全身扫描获取,以便更贴近于所述特定对象的实际情况,提升姿态识别的准确性,同时也可以获取多个所述特定对象的动作动画,基于获取到的动作动画生成更多的不同的姿态图像。
姿态检测模块30,用于根据所述人体姿态深度学习模型对待识别人体图像进行识别。
需要说明的是,在获取到所述人体姿态深度学习模型时,对处理后的待识别人体图像进行人体关键点提取得到待识别人体关键点数据,所述人体关键点是人体上多个特征点,可以用于定位人体,以得知人体当前为何种姿态。根据所述待识别人体关键点数据在所述人体姿态深度学习模型进行识别,若存在匹配的人体关键点数据,则可以根据匹配的人体关键点数据确定人体当前姿态为何。
易于理解的是,在确定待识别人体图像中的人体姿态属于预定义的人体姿态时,展示识别结果为何种人体姿态,进一步地根据识别结果执行对应的操作。例如:识别任务为识别溺水姿态,在识别到待识别人体图像中的对象处于溺水姿态时,立刻发起溺水提醒警报,通知相关人员进行救援。
易于理解的是,本实施例中的人体姿态识别,包括但不限于应用在水上救援、老人看护、特殊场景中的安全监控等,本发明不对此加以限制。同时,基于3D人体模型进行人体姿态识别的方法,也可以基于本思想,构建3D动物模型进行动物姿态识别。
本发明实施例中,获取待识别图像,并对所述待识别图像进行分割,以获取待识别人体图像;获取基于3D人体模型的人体姿态深度学习模型;根据所述人体姿态深度学习模型对待识别人体图像进行识别。通过利用3D人体模型进行深度学习,以获取人体姿态深度学习模型,基于所述人体姿态深度学习模型可以对人体姿态进行识别,由于预设人体姿态来源于3D人体模型,无需通过大量真人实验采样获取特殊姿态动作,避免了由于实验采样图像与待识别对象之间存在差别造成的识别误差,提升了人体姿态识别效果。
本发明所述基于3D人体的姿态识别装置的其他实施例或具体实现方式可参照上述各方法实施例,此处不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。词语第一、第二、以及第三等的使用不表示任何顺序,可将这些词语解释为标识。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如只读存储器镜像(Read Only Memory image,ROM)/随机存取存储器(Random AccessMemory,RAM)、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
本发明公开了A1、一种基于3D人体的姿态识别方法,所述基于3D人体的姿态识别方法包括以下步骤:
获取待识别图像,并对所述待识别图像进行分割,以获取待识别人体图像;
获取基于3D人体模型的人体姿态深度学习模型;
根据所述人体姿态深度学习模型对待识别人体图像进行识别。
A2、如A1所述的方法,所述获取基于3D人体模型的人体姿态深度学习模型的步骤,具体包括:
根据预设识别任务获取预定义姿态类别,所述预设识别任务对应于所述待识别图像;
获取3D人体模型集合,并根据所述预定义姿态类别对所述3D人体模型集合进行姿态设定,以获得3D人体姿态模型集合;
读取所述3D人体姿态模型集合中各3D人体姿态模型的标注数据及图片数据;
根据所述标注数据与所述图片数据对初始目标检测模型进行训练,以获取人体姿态深度学习模型。
A3、如A2所述的方法,所述获取3D人体模型集合,并根据所述预定义姿态类别对所述3D人体模型集合进行姿态设定,以获得3D人体姿态模型集合的步骤,具体包括:
构建预设数量的基础3D人体模型,以获得基础3D人体模型集合;
对所述基础3D人体模型集合进行随机造型设定,以获得3D人体模型集合;
根据所述预定义姿态类别对所述3D人体模型集合进行姿态设定,以获得3D人体姿态模型集合。
A4、如A3所述的方法,所述构建预设数量的基础3D人体模型,以获得基础3D人体模型集合的步骤,具体包括:
根据预设识别任务获取识别对象类别,根据所述识别对象类别制作预设数量的3D人类骨骼模型,以获得3D人类骨骼模型集合;
对所述3D人类骨骼模型集合中所有3D人类骨骼模型进行外观贴图,以获得基础3D人体模型集合。
A5、如A3所述的方法,所述对所述基础3D人体模型集合进行随机造型设定,以获得3D人体模型集合的步骤,具体包括:
根据预设识别任务获取识别对象造型类别,根据所述识别对象造型类别制作人体随机造型集合;
根据所述随机造型集合对基础3D人体模型集合进行随机造型设定,以获得3D人体模型集合。
A6、如A2所述的方法,所述获取待识别图像,并对所述待识别图像进行分割,以获取待识别人体图像的步骤,具体包括:
获取待识别图像,并对所述待识别图像进行图像增强处理,以获取处理后的待识别图像;
根据边缘算法确定所述处理后的待识别图像中的人体姿态轮廓线;
根据所述人体姿态轮廓线对所述处理后的待识别图像进行分割,以获取待识别人体图像。
A7、如A6所述的方法,所述标注数据至少包括所述3D人体姿态模型集合中各3D人体姿态模型对应的人体关键点数据;
所述根据所述人体姿态深度学习模型对待识别人体图像进行识别的步骤,具体包括:
获取所述待识别人体图像的待识别人体关键点数据,将所述待识别人体关键点数据输入所述人体姿态深度学习模型进行数据匹配;
根据匹配结果确定待识别人体图像对应的人体姿态。
A8、如A2所述的方法,所述获取待识别图像,并对所述待识别图像进行分割,以获取待识别人体图像的步骤,具体包括:
获取待识别图像,并对所述待识别图像进行图像增强处理,以获取处理后的待识别图像;
获取所述待识别图像中的人体区域,并根据所述人体区域对所述处理后的待识别图像进行分割,以获取待识别人体图像。
A9、如A8所述的方法,所述标注数据至少包括所述3D人体姿态模型集合中各3D人体姿态模型对应的人体关键点数据及场景数据;
所述根据所述人体姿态深度学习模型对待识别人体图像进行识别的步骤,具体包括:
获取所述待识别人体图像的待识别人体关键点数据及待识别场景数据;
将所述待识别人体关键点数据及所述待识别场景数据输入所述人体姿态深度学习模型进行数据匹配;
根据匹配结果确定待识别人体图像对应的人体姿态。
A10、如A9所述的方法,所述读取所述3D人体姿态模型集合中各3D人体姿态模型的标注数据及图片数据的步骤之前,还包括:
根据预设识别任务获取识别场景类型;
根据所述识别场景类型对所述3D人体姿态模型集合中各3D人体姿态模型进行随机场景设定。
A11、如A8所述的方法,所述标注数据至少包括所述3D人体姿态模型集合中各3D人体姿态模型对应的人体关键点数据及道具数据;
所述根据所述人体姿态深度学习模型对待识别人体图像进行识别的步骤,具体包括:
获取所述待识别人体图像的待识别人体关键点数据及待识别道具数据,将所述待识别人体关键点数据及所述待识别道具数据输入所述人体姿态深度学习模型进行数据匹配;
根据匹配结果确定待识别人体图像对应的人体姿态。
A12、如A11所述的方法,所述读取所述3D人体姿态模型集合中各3D人体姿态模型的标注数据及图片数据的步骤之前,还包括:
根据预设识别任务获取识别道具类型;
根据所述识别道具类型对所述3D人体姿态模型集合中各3D人体姿态模型进行随机道具设定。
A13、如A1-A12任一项所述的方法,所述根据所述人体姿态深度学习模型对待识别人体图像进行识别的步骤之后,还包括:
在所述待识别人体图像中的人体姿态为预设识别任务对应的预定义姿态时,发送预设提示信息。
本发明还提出B14、一种基于3D人体的姿态识别装置,所述装置包括:
图像处理模块,用于获取待识别图像,并对所述待识别图像进行分割,以获取待识别人体图像;
模型训练模块,用于获取基于3D人体模型的人体姿态深度学习模型;
姿态检测模块,用于根据所述人体姿态深度学习模型对待识别人体图像进行识别。
B15、如B14所述的装置,所述模型训练模块,还用于根据预设识别任务获取预定义姿态类别,所述预设识别任务对应于所述待识别图像;
获取3D人体模型集合,并根据所述预定义姿态类别对所述3D人体模型集合进行姿态设定,以获得3D人体姿态模型集合;
读取所述3D人体姿态模型集合中各3D人体姿态模型的标注数据及图片数据;
根据所述标注数据与所述图片数据对初始目标检测模型进行训练,以获取人体姿态深度学习模型。
B16、如B15所述的装置,所述模型训练模块,还用于构建预设数量的基础3D人体模型,以获得基础3D人体模型集合;
对所述基础3D人体模型集合进行随机造型设定,以获得3D人体模型集合;
根据所述预定义姿态类别对所述3D人体模型集合进行姿态设定,以获得3D人体姿态模型集合。
B17、如B16所述的装置,所述模型训练模块,还用于根据预设识别任务获取识别对象类别,根据所述识别对象类别制作预设数量的3D人类骨骼模型,以获得3D人类骨骼模型集合;
对所述3D人类骨骼模型集合中所有3D人类骨骼模型进行外观贴图,以获得基础3D人体模型集合。
B18、如B17所述的装置,所述模型训练模块,还用于根据预设识别任务获取识别对象造型类别,根据所述识别对象造型类别制作人体随机造型集合;
根据所述随机造型集合对基础3D人体模型集合进行随机造型设定,以获得3D人体模型集合。
本发明还公开了C19、一种基于3D人体的姿态识别设备,所述基于3D人体的姿态识别设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于3D人体的姿态识别程序,所述基于3D人体的姿态识别程序配置有实现如A1-A13中任一项所述的方法的步骤。
本发明还公开了D20、一种存储介质,所述存储介质上存储有基于3D人体的姿态识别程序,所述基于3D人体的姿态识别程序被处理器执行时实现如A1-A13中任一项所述的方法的步骤。

Claims (10)

1.一种基于3D人体的姿态识别方法,其特征在于,所述基于3D人体的姿态识别方法包括以下步骤:
获取待识别图像,并对所述待识别图像进行分割,以获取待识别人体图像;
获取基于3D人体模型的人体姿态深度学习模型;
根据所述人体姿态深度学习模型对待识别人体图像进行识别。
2.如权利要求1所述的基于3D人体的姿态识别方法,其特征在于,所述获取基于3D人体模型的人体姿态深度学习模型的步骤,具体包括:
根据预设识别任务获取预定义姿态类别,所述预设识别任务对应于所述待识别图像;
获取3D人体模型集合,并根据所述预定义姿态类别对所述3D人体模型集合进行姿态设定,以获得3D人体姿态模型集合;
读取所述3D人体姿态模型集合中各3D人体姿态模型的标注数据及图片数据;
根据所述标注数据与所述图片数据对初始目标检测模型进行训练,以获取人体姿态深度学习模型。
3.如权利要求2所述的基于3D人体的姿态识别方法,其特征在于,所述获取3D人体模型集合,并根据所述预定义姿态类别对所述3D人体模型集合进行姿态设定,以获得3D人体姿态模型集合的步骤,具体包括:
构建预设数量的基础3D人体模型,以获得基础3D人体模型集合;
对所述基础3D人体模型集合进行随机造型设定,以获得3D人体模型集合;
根据所述预定义姿态类别对所述3D人体模型集合进行姿态设定,以获得3D人体姿态模型集合。
4.如权利要求3所述的基于3D人体的姿态识别方法,其特征在于,所述构建预设数量的基础3D人体模型,以获得基础3D人体模型集合的步骤,具体包括:
根据预设识别任务获取识别对象类别,根据所述识别对象类别制作预设数量的3D人类骨骼模型,以获得3D人类骨骼模型集合;
对所述3D人类骨骼模型集合中所有3D人类骨骼模型进行外观贴图,以获得基础3D人体模型集合。
5.如权利要求3所述的基于3D人体的姿态识别方法,其特征在于,所述对所述基础3D人体模型集合进行随机造型设定,以获得3D人体模型集合的步骤,具体包括:
根据预设识别任务获取识别对象造型类别,根据所述识别对象造型类别制作人体随机造型集合;
根据所述随机造型集合对基础3D人体模型集合进行随机造型设定,以获得3D人体模型集合。
6.如权利要求2所述的基于3D人体的姿态识别方法,其特征在于,所述获取待识别图像,并对所述待识别图像进行分割,以获取待识别人体图像的步骤,具体包括:
获取待识别图像,并对所述待识别图像进行图像增强处理,以获取处理后的待识别图像;
根据边缘算法确定所述处理后的待识别图像中的人体姿态轮廓线;
根据所述人体姿态轮廓线对所述处理后的待识别图像进行分割,以获取待识别人体图像。
7.如权利要求6所述的基于3D人体的姿态识别方法,其特征在于,所述标注数据至少包括所述3D人体姿态模型集合中各3D人体姿态模型对应的人体关键点数据;
所述根据所述人体姿态深度学习模型对待识别人体图像进行识别的步骤,具体包括:
获取所述待识别人体图像的待识别人体关键点数据,将所述待识别人体关键点数据输入所述人体姿态深度学习模型进行数据匹配;
根据匹配结果确定待识别人体图像对应的人体姿态。
8.一种基于3D人体的姿态识别装置,其特征在于,所述基于3D人体的姿态识别装置包括:
图像处理模块,用于获取待识别图像,并对所述待识别图像进行分割,以获取待识别人体图像;
模型训练模块,用于获取基于3D人体模型的人体姿态深度学习模型;
姿态检测模块,用于根据所述人体姿态深度学习模型对待识别人体图像进行识别。
9.一种基于3D人体的姿态识别设备,其特征在于,所述基于3D人体的姿态识别设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于3D人体的姿态识别程序,所述基于3D人体的姿态识别程序配置有实现如权利要求1-7中任一项所述的基于3D人体的姿态识别方法的步骤。
10.一种存储介质,其特征在于,所述存储介质上存储有基于3D人体的姿态识别程序,所述基于3D人体的姿态识别程序被处理器执行时实现如权利要求1-7中任一项所述的基于3D人体的姿态识别方法的步骤。
CN202011143528.6A 2020-10-22 2020-10-22 基于3d人体的姿态识别方法、装置、设备及存储介质 Pending CN114463777A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011143528.6A CN114463777A (zh) 2020-10-22 2020-10-22 基于3d人体的姿态识别方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011143528.6A CN114463777A (zh) 2020-10-22 2020-10-22 基于3d人体的姿态识别方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN114463777A true CN114463777A (zh) 2022-05-10

Family

ID=81404262

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011143528.6A Pending CN114463777A (zh) 2020-10-22 2020-10-22 基于3d人体的姿态识别方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114463777A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114694263A (zh) * 2022-05-30 2022-07-01 深圳智华科技发展有限公司 动作识别方法、装置、设备及存储介质
CN117912060A (zh) * 2024-01-26 2024-04-19 东莞市元生智能科技有限公司 人体姿态识别方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114694263A (zh) * 2022-05-30 2022-07-01 深圳智华科技发展有限公司 动作识别方法、装置、设备及存储介质
CN114694263B (zh) * 2022-05-30 2022-09-02 深圳智华科技发展有限公司 动作识别方法、装置、设备及存储介质
CN117912060A (zh) * 2024-01-26 2024-04-19 东莞市元生智能科技有限公司 人体姿态识别方法及装置

Similar Documents

Publication Publication Date Title
JP5820366B2 (ja) 姿勢推定装置及び姿勢推定方法
CN106980852B (zh) 基于角点检测与匹配的药品识别系统及其识别方法
CN109376604B (zh) 一种基于人体姿态的年龄识别方法和装置
JP5837508B2 (ja) 姿勢状態推定装置および姿勢状態推定方法
CN110930374A (zh) 一种基于双深度相机的腧穴定位方法
Jiang et al. Learning-based automatic breast tumor detection and segmentation in ultrasound images
CN111238465A (zh) 地图建置设备及其地图建置方法
US8934674B2 (en) Person detection device and person detection method
CN114463777A (zh) 基于3d人体的姿态识别方法、装置、设备及存储介质
CN110909618B (zh) 一种宠物身份的识别方法及装置
WO2012169251A1 (ja) 画像処理装置、情報生成装置、画像処理方法、情報生成方法、制御プログラムおよび記録媒体
JP6265592B2 (ja) 顔特徴抽出装置および顔認証システム
CN113011505B (zh) 热力图转换模型训练方法以及装置
CN109241881A (zh) 一种人体姿态估计方法
WO2017017687A1 (en) Automatic detection of cutaneous lesions
JP2015219868A (ja) 情報処理装置、情報処理方法、プログラム
CN108399375B (zh) 一种基于联想记忆的身份识别方法
US11931166B2 (en) System and method of determining an accurate enhanced Lund and Browder chart and total body surface area burn score
Vasconcelos et al. Methods to automatically build point distribution models for objects like hand palms and faces represented in images
CN113384267A (zh) 一种跌倒实时检测方法、系统、终端设备及存储介质
KR102473139B1 (ko) 인공지능 기반의 임플란트 인식 시스템 및 그 방법
JP2019066909A (ja) 物体分布推定装置
CN111951940A (zh) 一种智慧医疗的康复辅助方法
Sequenzia et al. A method for similarity assessment between death masks and portraits through linear projection: The case of Vincenzo Bellini
CN113112475A (zh) 一种基于机器学习的中医耳部五脏区域分割方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination