CN110728181B - 行为评价方法、装置、计算机设备和存储介质 - Google Patents
行为评价方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN110728181B CN110728181B CN201910833330.1A CN201910833330A CN110728181B CN 110728181 B CN110728181 B CN 110728181B CN 201910833330 A CN201910833330 A CN 201910833330A CN 110728181 B CN110728181 B CN 110728181B
- Authority
- CN
- China
- Prior art keywords
- key point
- evaluation value
- information
- real
- standard
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种行为评价方法、装置、计算机设备和存储介质。所述方法包括:获取待评价图像中的目标对象的至少一个关键点和真实信息;获取待评价图像对应的各个关键点的标准信息;根据各个关键点的真实区域信息和对应的标准区域信息的匹配结果,判断各个关键点中是否为匹配的关键点;当存在至少一个不匹配的关键点时,获取各个不匹配的关键点的预设评价值,根据各个不匹配的关键点的预设评价值计算所述待评价图像的目标评价值。在对图像进行评价之前,对各个关键点所在的区域信息进行区域信息匹配,根据匹配结果确定各个关键点是否为匹配的关键点,对于不匹配的关键点直接获取评价值,减少了对于不匹配的关键点的评价过程,节约计算资源。
Description
技术领域
本申请涉及计算机技术领域,尤其涉及一种行为评价方法、装置、计算机设备和存储介质。
背景技术
随着信息技术的发展,计算能力,网络带宽等大幅提升,深度学习领域得到爆发式的发展,各种算法框架不断涌现。其中在智能分析上,深度学习可以对人的行为进行识别,那么最基础的就是目标对象的动作识别。如何对动作进行识别,其中一种方式就是对目标对象的关键点进行识别;
人们对关键点的识别研究开始的很早,早期研究由于计算机的算力限制,都是采用的传统的特征进行识别,效果一般。以人体为例,仅对人体的标准站姿有良好的识别效果,稍微站的不标准就无法准确识别。使得关键点算法无法应用到现实的业务当中。
随着算力的提升和深度学习领域的发展,基于深度学习的关键点识别算法被提出,通过大量带有标注的数据的训练,网络可以对各种姿势的目标对象关键点进行识别,且泛化能力很强。
为了对目标对象的各个关键点进行更准确的判断,需要对各个关键点进行多维度的评价,导致计算量大幅增加,占用大量的计算资源。
发明内容
为了解决上述技术问题,本申请提供了一种行为评价方法、装置、计算机设备和存储介质。
第一方面,本申请提供了一种行为评价方法,包括:
获取待评价图像中的目标对象的至少一个关键点和真实信息,真实信息包括真实区域信息;
获取待评价图像对应的各个关键点的标准信息,标准信息包括标准区域信息;
根据各个关键点的真实区域信息和对应的标准区域信息的匹配结果,判断各个关键点中是否为匹配的关键点;
当存在至少一个不匹配的关键点时,获取各个不匹配的关键点的预设评价值,预设评价值用于评价关键点的准确度;
根据各个不匹配的关键点的预设评价值计算待评价图像的目标评价值。
第二方面,本申请提供了一种行为评价装置,包括:
数据获取模块,用于获取待评价图像中的目标对象的至少一个关键点和真实信息,真实信息包括真实区域信息;
信息获取模块,用于获取待评价图像对应的各个关键点的标准信息,标准信息包括标准区域信息;
匹配模块,用于根据各个关键点的真实区域信息和对应的标准区域信息的匹配结果,判断各个关键点中是否为匹配的关键点;
预设评价值获取模块,用于当存在至少一个不匹配的关键点时,获取各个不匹配的关键点的预设评价值,预设评价值用于评价关键点的准确度;
目标评价值计算模块,用于根据各个不匹配的关键点的预设评价值计算待评价图像的目标评价值。
一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取待评价图像中的目标对象的至少一个关键点和真实信息,真实信息包括真实区域信息;
获取待评价图像对应的各个关键点的标准信息,标准信息包括标准区域信息;
根据各个关键点的真实区域信息和对应的标准区域信息的匹配结果,判断各个关键点中是否为匹配的关键点;
当存在至少一个不匹配的关键点时,获取各个不匹配的关键点的预设评价值,预设评价值用于评价关键点的准确度;
根据各个不匹配的关键点的预设评价值计算待评价图像的目标评价值。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取待评价图像中的目标对象的至少一个关键点和真实信息,真实信息包括真实区域信息;
获取待评价图像对应的各个关键点的标准信息,标准信息包括标准区域信息;
根据各个关键点的真实区域信息和对应的标准区域信息的匹配结果,判断各个关键点中是否为匹配的关键点;
当存在至少一个不匹配的关键点时,获取各个不匹配的关键点的预设评价值,预设评价值用于评价关键点的准确度;
根据各个不匹配的关键点的预设评价值计算待评价图像的目标评价值。
上述行为评价方法、装置、计算机设备和存储介质,所述方法包括:获取待评价图像中的目标对象的至少一个关键点和真实信息,真实信息包括真实区域信息;获取待评价图像对应的各个关键点的标准信息,标准信息包括标准区域信息;根据各个关键点的真实区域信息和对应的标准区域信息的匹配结果,判断各个关键点中是否为匹配的关键点;当存在至少一个不匹配的关键点时,获取各个不匹配的关键点的预设评价值;根据各个不匹配的关键点的预设评价值计算待评价图像的目标评价值。在对图像进行评价之前,对各个关键点所在的区域信息进行区域信息匹配,确定各个关键点是否为匹配的关键点,对于不匹配的关键点直接获取评价值,减少了对于不匹配的关键点的评价过程,节约计算资源。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为一个实施例中行为评价方法的应用环境图;
图2为一个实施例中行为评价方法的流程示意图;
图3为一个实施例中区域分割后的示意图;
图4为一个实施例中行为评价方法的框架示意图;
图5为一个实施例中行为评价装置的结构框图;
图6为一个实施例中计算机设备的内部结构图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
图1为一个实施例中行为评价方法的应用环境图。参照图1,该行为评价方法应用于行为评价系统。该行为评价系统包括终端110和服务器120。终端110和服务器120通过网络连接。终端110获取待评价图像中的目标对象的至少一个关键点和真实信息,真实信息包括真实区域信息;获取待评价图像对应的各个关键点的标准信息,标准信息包括标准区域信息;根据各个关键点的真实区域信息和对应的标准区域信息的匹配结果,判断各个关键点中是否为匹配的关键点;当存在至少一个不匹配的关键点时,获取各个不匹配的关键点的预设评价值,预设评价值用于评价关键点的准确度;根据各个不匹配的关键点的预设评价值计算待评价图像的目标评价值。
上述识别目标对象、信息获取、区域匹配和评价值计算都可以在服务器120中进行,对于计算得到的目标评价值发送至终端110。
终端110具体可以是台式终端或移动终端,移动终端具体可以手机、平板电脑、笔记本电脑等中的至少一种。服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
如图2所示,在一个实施例中,提供了一种行为评价方法。本实施例主要以该方法应用于上述图1中的终端110(或服务器120)来举例说明。参照图2,该行为评价方法具体包括如下步骤:
步骤S201,获取待评价图像中的目标对象的至少一个关键点和真实信息。
在本具体实施例中,真实信息包括真实区域信息。
步骤S202,获取待评价图像对应的各个关键点的标准信息。
在本具体实施例中,标准信息包括标准区域信息。
具体地,待评价图像是指即将对图像中包含的目标对象的行为进行评价的图像。目标对象是指能够执行特定行为的对象。其中,目标对象包括但不限于人体、机器人和动物等可以行动的对象。关键点可以根据目标对象确定,不同的目标对象对应不同的关键点,以人体为例,关键点可以为人体中包含的关节点,人体关键点包括肘关节点、腕关节点、踝关节点等等。对于动物,如可以根据动物的前肢和后肢定义等等。真实信息包括各个关键点在图像中的位置、区域、角度等中的至少一种。真实区域信息是指各个关键点在待评价图像中划分的多个区域中的区域所属位置。其中划分区域时的区域分割规则可以为一个或多个,各个区域分割规则可以对应一个区域划分结果,执行各个区域分割规则后得到的划分区域为不同的区域。
标准信息是指标准行为时,各个关键点所在的区域、位置和角度等等。标准区域信息是指关键点在对应的区域划分规则下的区域信息,如将图像以坐标系进行划分,得到四个图像区域,分别为区域A、区域B、区域C和区域D,关键点S1对应的区域信息为区域A,关键点S2的标准区域信息为区域B。标准行为是预设的行为动作,预设的行为动作可以根据需求自定义。以人体为例,预设的行为动作包括但不限于各种舞蹈和瑜伽动作等等。采集标准行为时的视频图像根据识别出的视频图像中的标准行为确定标准信息,或制作标准动作的视频图像,制作的视频图像中包含标准行为的标准信息等。以用户模拟网络直播中的舞蹈动作为例,在直播视频图像中的关键点的信息为标准信息,用户模拟的视频图像中的关键点的信息为真实信息。
在一个实施例中,真实信息包括真实位置,步骤S201之前,还包括:获取待评价图像,识别待评价图像的目标对象中的各个特征点,其中特征点包括关键点和区域分割点,获取各个特征点的位置信息,得到各个特征点的真实位置,根据预设区域分割规则和区域分割点的位置信息,生成至少一个目标坐标系,将各个关键点在各个目标坐标系中的区域信息,作为各个关键点的真实区域信息。
具体地,特征点是指目标对象中自定义的特定点,不同的目标对象可以定义不同的特征点,如可以定义人体中的肩膀、肘关节、膝关节、踝关节和腕关节等对应的点。部分特征点既可以为关键点,也可以为区域分割点。区域分割点是用于进行区域划分的坐标点,区域分割点的位置信息是指区域分割点在待评价图像中在位置坐标。预设区域分割规则为预先自定义的区域分割规则。区域分割规则包括划分的区域数量和区域划分方法。不同的区域分割点将待评价图像划分成不同的区域。获取待评价图像,识别待评价图像中的关键点和区域分割点,根据区域分割点的位置信息和对应的预设区域分割规则,生成各个区域分割点对应的区域,即通过目标坐标系的坐标轴将根据各个区域分割点分割后的区域区分开。同一个关键点可能位于多个不同的目标坐标系中的区域中,同一个目标坐标系对应至少一个关键点。由各个关键点在各个目标坐标系中的区域信息组成真实区域信息。参照图3,以人体为例,图3A为根据人体的肩膀坐标进行区域划分,图3B为根据人体的两个手肘的坐标分别划分对应的区域,图3C为根据人体的两个膝盖的坐标分别划分对应的区域。
在一个实施例中,根据预设区域分割规则和区域分割点的位置信息,生成至少一个目标坐标系,包括:当预设区域分割规则对应预设区域分割点时,根据区域分割点的第一维度坐标的加权均值构建目标坐标系的第一坐标轴,根据区域分割点的第二维度坐标的加权均值构建目标坐标系的第二坐标轴;当预设区域分割规则对应多个区域分割点时,根据多个区域分割点的第一维度坐标构建目标坐标系的第一坐标轴,根据多个区域分割点的第二维度坐标构建目标坐标系的第二坐标轴。
具体地,预设区域分割规则中的区域划分方法对应的区域分割点可以为一个或多个,当为一个区域分割点时,直接根据区域分割点的坐标构建对应的坐标系,如根据第一维度坐标构建第一坐标轴,根据第二维度坐标构建第二坐标轴,第一坐标轴和第二坐标轴作为区域划分临界线。当区域划分方法对应的区域分割点包含多个时,分别根据多个区域分割点的第一维度坐标和第二维度坐标的加权均值构建第一坐标轴和第二坐标轴。其中加权均值对应的各个坐标点的加权系数可以自定义,如可以设置各个坐标点的加权系数为相同的系数,也可以设置重点区域分割点的加权系数大于非重点区域分割点的加权系数。重点区域分割点和非重点区域分割点的定义可根据需求确定。
在一个实施例中,关键点与目标坐标系对应,不同的关键点对应不同的目标坐标系,各个目标坐标系包括第一坐标轴和第二坐标轴;获取各个关键点在各个目标坐标系中的区域信息,得到真实区域信息,包括:获取各个目标坐标系对应的关键点,作为目标关键点,获取各个目标关键点在对应的目标坐标系中的区域信息,由各个目标关键点在对应的目标坐标系中的区域信息组成真实区域信息。
具体地,目标坐标系包括两个坐标轴,分别为第一坐标轴和第二坐标轴。通过第一坐标轴和第二坐标轴将待评价图像划分成四个不同的区域,第一坐标轴和第二坐标轴之间的夹角可以根据需求自定义。如第一坐标轴和第二坐标轴的夹角为90度、60度和45度等等,其中60度和45度为两个坐标轴之间的锐角夹角。获取各个目标坐标系对应的至少一个关键点作为目标关键点,获取各个目标关键点在对应的目标坐标系中的区域信息。由各个目标关键点在对应的目标坐标系中的区域信息,组成真实区域信息。
在一个实施例中,区域分割点包括左肩和右肩,目标坐标系包括第一坐标系;根据预设区域分割规则和区域分割点的位置信息,生成至少一个目标坐标系,包括:以左肩的纵坐标和右肩的纵坐标的坐标均值,构建第一坐标系的第一坐标轴;以左肩的横坐标和右肩的横坐标的坐标均值,构建第一坐标系的第二坐标轴。
具体地,当目标对象为人体或与人体具有类似结构的虚拟人体或动物等,动物包括猩猩、猴子等等时,第一坐标系是指根据左肩和右肩多个区域分割点生成的目标坐标系。计算左肩的纵坐标和右肩的纵坐标的均值,以该均值所在的直线作为第一坐标轴,同理根据左肩的横坐标和右肩的横坐标的均值所在的直线作为第二坐标轴。由第一坐标轴和第二坐标轴构成第一坐标系。第一坐标系对应的关键点包括左肘、右肘、左腕、右腕、左踝和右踝等。
在一个实施例中,区域分割点包括左肘和右肘,目标坐标系包括第二坐标系和第三坐标系;根据预设区域分割规则和区域分割点的位置信息,生成至少一个目标坐标系,包括:分别根据左肘的纵坐标和横坐标,构建第二坐标系的第一坐标轴和第二坐标轴,分别根据右肘的纵坐标和横坐标,构建第三坐标系的第一坐标轴和第二坐标轴。
具体地,根据左肘生成第二坐标系,其中第二坐标系的第一坐标轴为左肘的纵坐标位置所在的直线,第二坐标系的第二坐标轴为左肘的横坐标位置所在的直线,同理第三坐标系的第一坐标轴为右肘的纵坐标位置所在的直线,第三坐标系的第二坐标轴为右肘的横坐标位置所在的直线。第二坐标系对应的关键点为左腕,第三坐标系对应的关键点为右腕。
在一个实施例中,区域分割点包括左膝和右膝,目标坐标系包括第四坐标系和第五坐标系;根据预设区域分割规则和区域分割点的位置信息,生成至少一个目标坐标系,包括:分别根据左膝的纵坐标和横坐标,构建第四坐标系的第一坐标轴和第二坐标轴,分别根据右膝的纵坐标和横坐标,构建第五坐标系的第一坐标轴和第二坐标轴。
具体地,根据左膝生成第四坐标系,其中第四坐标系的第一坐标轴为左膝的纵坐标位置所在的直线,第四坐标系的第二坐标轴为左膝的横坐标位置所在的直线,同理第五坐标系的第一坐标轴为右膝的纵坐标位置所在的直线,第五坐标系的第二坐标轴为右膝的横坐标位置所在的直线。第四坐标系对应的关键点为左踝,第五坐标系对应的关键点为右踝。
在一个实施例中,区域分割点包括左膝、右膝、左肘、右肘、左肩和右肩6个区域分割点,分割坐标系包括第一坐标系、第二坐标系、第三坐标系、第四坐标系和第五坐标系,其中第一坐标系对应的关键为左右肘和左右腕,第二坐标系对应的关键点为左腕,第二坐标系对应的关键点为右腕,第四坐标系对应的关键点为左踝,第五坐标系对应的关键点为右踝。
步骤S203,判断各个关键点的真实区域信息是否存在与对应的标准区域信息匹配的关键点。
步骤S204,当存在至少一个不与对应的标准区域信息的匹配的关键点时,获取各个不匹配的关键点的预设评价值。
具体地,判断各个关键点对应的真实区域信息和标准区域信息是否相同。即各个关键点在对应的目标坐标系中的区域信息是否相同,区域信息是指关键位于坐标系划分后得到的区域中的哪一个区域。对应一个关键点存在多个区域信息时,判断各个目标坐标系对应的区域是否相同,当关键点对应的多个目标坐标系中的区域信息都相同时,表示键点的真实区域信息是否存在与对应的标准区域信息匹配,反之则表示不匹配。当多个关键点中存在至少一个不匹配的关键点时,获各个不匹配的关键点对应的预设评价值。其中预设评价值是预先配置的用于评价各个关键点的评价值,预设评价值可以自定义。对于对应了多个目标坐标系的关键点,可以设置多个对应的预设评价值用于评价不同情况下的关键点的标准程度。
步骤S205,根据各个不匹配的关键点的预设评价值计算得到第一评价值。
具体地,第一评价值是指不匹配的关键点对于目标对象的行为的评价值,若存在一个不匹配的关键点时,将该不匹配的关键点的预设评价值作为第一评价值,当存在多个不匹配的关键时,对各个不匹配的关键点的预设评价值进行加权求和,将加权求和得到的值作为第一评价值。其中各个关键点的加权系数可以根据业务需求自定义,对于对行为影响较大的关键点可以设置较大的系数,或者都设置成一样的系数等等。
步骤S206,根据第一评价值计算待评价图像的目标评价值。
具体地,目标评价值是指对待评价图像中的目标对象的行为的评价值。当存在区域信息不匹配的关键点时,根据不匹配的关键点的第一评价值计算目标评价值。
在一个实施例中,当关键点中存在至少一个关键点与标准区域信息匹配的关键点时,还包括:获取各个匹配的关键点的评价规则;按照评价规则、各个匹配的关键点的标准信息和对应的真实信息计算评价值,得到第二评价值,根据第一评价值计算待评价图像的目标评价值,包括:计算第一评价值与第二评价值的加权值,得到目标评价值。
具体地,关键点中存在至少一个关键点与标准区域信息匹配的关键点,即部分关键点的区域信息匹配,部分关键点的区域信息不匹配,对于匹配的关键点的,根据预先设置的各个匹配的关键点的评价规则、匹配的关键点的标准信息和对应的真实信息计算第二评价值。其中各个关键点对应的评价规则包括角度评价规则、位移评价规则、区域评价规则等等中的一种或多种。计算第一评价值和第二评价值的加权值,得到目标评价值。其中第一评价值和第二评价值的加权系数自定义。其中,角度评价规则和位移评价规则可以采用自定义的评价规则和常见的评价规则中的至少一种。
在一个实施例中,真实信息包括真实角度,标准信息包括标准角度和,按照评价规则、匹配的关键点的标准信息和对应的真实信息计算评价值,得到第二评价值,包括:计算各个匹配的关键点的真实角度和标准角度的角度差异值,按照评价规则中的角度评价规则对各个角度差异值进行评价,得到角度评价值,将角度评价值作为第二评价值。具体地,真实角度和标准角度的角度差异值,可以直接采用匹配的关键点的真实角度和标准角度的角度差值或比值作为角度差异值,也可以对角度差值进一步处理,得到角度差异值。处理过程采用的方法可以在角度评价规则中自定义。根据角度差异值计算角度评价值,将角度评价值作为第二评价值。角度评价规则用于根据角度差异值进行打分的规则,如设置不同角度评价值对应不同的差异值,获取角度差异值对应的角度评价值,作为第二评价值。
在一个实施例中,真实信息包括真实位置,标准信息包括标准位置,按照评价规则、匹配的关键点的标准信息和对应的真实信息计算评价值,得到第二评价值,包括:计算匹配的关键点的真实位置和标准位置之间的位移,按照评价规则中的位移评价规则对各个位移进行评价,得到位移评价值,将位移评价值作为第二评价值。
具体地,匹配的关键点的真实位置和标准位置之间的位移,是指匹配的关键点在待评价图像中的坐标位置和在标准图像中的坐标位置的差值,通过预设的位移评价规则对差值进行处理,得到位移评价值,将位移评价值作为第二评价值。
在一个实施例中,真实信息包括真实角度和真实位置,标准信息包括标准角度和标准位置,按照评价规则、匹配的关键点的标准信息和对应的真实信息计算评价值,得到第二评价值,包括:计算各个匹配的关键点的真实角度和标准角度的角度差异值,计算匹配的关键点的真实位置和标准位置之间的位移,按照评价规则中的角度评价规则对各个角度差异值,得到角度评价值,按照评价规则中的位移评价规则对各个位移进行评价,得到位移评价值,计算角度评价值和位移评价值的加权值,得到第二评价值。
具体地,角度评价值和位移评价值分别与上述实施例中角度评价值和位移评价值相同,在此不在赘述。对角度评价值和位移评价值加权,得到第二评价值。角度评价值和位移评价值的加权系数可以根据需求确定。对于角度重要性大于位移重要性的场景下,角度评价值的加权系数大于位移评价值的加权系数,反之,对于角度重要性小于位移重要性的场景下角度评价值的加权系数小于位移评价值的加权系数。
上述行为评价方法,包括:获取待评价图像中的目标对象的至少一个关键点和真实信息,真实信息包括真实区域信息;获取待评价图像对应的各个关键点的标准信息,标准信息包括标准区域信息;判断各个关键点的真实区域信息是否存在与对应的标准区域信息匹配的关键点;当存在至少一个不与对应的标准区域信息的匹配的关键点时,获取各个不匹配的关键点的预设评价值;根据各个不匹配的关键点的预设评价值计算得到第一评价值,根据第一评价值计算待评价图像的目标评价值。通过在对图像进行评价之前,对各个关键点所在的区域信息进行区域信息判断,对于不满足区域信息判断的关键点直接获取评价,减少了对于不满足区域信息判断的关键点的评价过程,节约计算资源。
在一个具体的实施例中,以人体为例,行为评价方法,包括:
获取包含人体的图像,识别图像中人体的关键点和对应的区域分割点,其中人体关键点包括左右肘、左右腕和左右踝。区域分割点包括左肩、右肩、左肘、右肘、左膝和右膝。
分别根据左肩和右肩的纵坐标的均值和横轴坐标的均值,构建第一坐标系的第一坐标轴和第二坐标轴,如图3A所示,第一坐标轴为X轴,第二坐标轴为Y轴。第一坐标系对应的关键点包括左右肘、左右腕四个关键点。如图3B所示,分别以左肘的纵坐标和横坐标,构建第二坐标系的第一坐标轴X轴和第二坐标轴Y轴,第三坐标系对应的关键点为左腕;分别以右肘的纵坐标和横坐标,构建第三坐标系的第一坐标轴X轴和第二坐标轴Y轴,第三坐标系对应的关键点为右腕。如图3C所示,分别以左膝的纵坐标和横坐标,构建第四坐标系的第一坐标轴X轴和第二坐标轴Y轴,第四坐标系对应的关键点为左踝;分别以右膝的纵坐标和横坐标,构建第五坐标系的第一坐标轴X轴和第二坐标轴Y轴,第五坐标系对应的关键点为右踝。
参考图4,图4为行为评价方法的框架示意图。判断各个关键点在对应的各个目标坐标系中的区域信息,是否与对应的标准区域信息匹配,当全部的关键点不存匹配时,获取各个不匹配的关键点对应的预设评价值,对预设评价值进行加权得到,第一评价值,将第一评价值作为图像的目标评价值;当部分关键点不存匹配时,获取各个不匹配的关键点对应的预设评价值,对预设评价值进行加权得到,第一评价值,并计算匹配的关键点的角度评价值和位移评价值,计算匹配的关键点的角度评价值和位移评价值的加权值,得到第二评价值。计算第一评价值和第二评价值的加权和,得到图像的目标评价值。当全部的关键点匹配时,计算匹配的关键点的角度评价值和位移评价值的加权值,得到第二评价值,将第二评价值作为图像的目标评价值。
判断左肘、右肘、左腕和右腕四个关键点在第一坐标系中的区域信息是否与在第一坐标系中的标准区域信息在同一个区域,判断结果用四个布尔值[B1,B2,B3,B4]表示,同理得到第二坐标系、第三坐标系、第四坐标系和第五坐标系的值[B5,B6,B7,B8],全部的坐标系返回的布尔值为[B1,B2,B3,B4,B5,B6,B7,B8],各个关键点在各个坐标系对应的预设评价值为[α1,α2,α3,α4,α5,α6,α7,α8],根据预设评价值计算第一评价值其中,对于区域信息匹配的关键点的布尔值为0,区域信息匹配不匹配的关键点的布尔值为1。第二评价值中角度评价值R2和位移评价值R3可以采用常见的角度评价值和位移评价值。则有图像的目标评价值R=μR1+λR2+βR3,其中μ、λ和β分别为第一评价值、角度评价值和位移评价值的加权系数。各个加权系数可以根据需求确定。
基于人体关键点的行为评价方法先对图像区域进行区域划分,判断指定的关键点是否出现在应该出现的区域,当指定的关键点出现在应该出现的区域,再进行基于角度和位移的评价算法,得到角度评价值和位移评价值。如没有出现,则不继续基于角度和位移的评价算法,直接获取没有出现的预设评价值,根据出现的关键点的角度评价值、位移评价值和没有出现的关键点的预设评价值加权,得到行为的目标评价值。基于角度和位移的评价算法会占用大量的计算资源,在执行评价算法之前对关键点进行筛选,进行筛选后的关键点执行基于角度和位移的评价算法,从而节约计算资源。
图2为一个实施例中行为评价方法的流程示意图。应该理解的是,虽然图2的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图5所示,提供了一种行为评价装置200,包括:
数据获取模块201,用于获取待评价图像中的目标对象的至少一个关键点和真实信息,真实信息包括真实区域信息。
信息获取模块202,用于获取待评价图像对应的各个关键点的标准信息,标准信息包括标准区域信息。
区域判断模块203,用于根据各个关键点的真实区域信息和对应的标准区域信息的匹配结果,判断各个关键点中是否为匹配的关键点。
预设评价值获取模块204,用于当存在至少一个不匹配的关键点时,获取各个不匹配的关键点的预设评价值,预设评价值用于评价关键点的准确度。
目标评价值计算模块205,用于根据各个不匹配的关键点的预设评价值计算待评价图像的目标评价值。
在一个实施例中,上述行为评价装置200,还包括:
规则获取模块,用于当存在至少一个匹配的关键点时时,获取各个匹配的关键点的评价规则。
匹配关键点评价模块,用于按照评价规则、各个匹配的关键点的标准信息和对应的真实信息计算评价值,得到第二评价值。
目标评价值计算模块205还用于计算各个不匹配的关键点的预设评价值和第二评价值的加权值,得到目标评价值。
在一个实施例中,匹配关键点评价模块具体用于计算各个匹配的关键点的真实角度和标准角度的角度差异值,按照评价规则中的角度评价规则对各个角度差异值进行评价,得到角度评价值,将角度评价值作为第二评价值,真实信息包括真实角度,标准信息包括标准角度。
在一个实施例中,匹配关键点评价模块具体用于计算匹配的关键点的真实位置和标准位置之间的位移,按照评价规则中的位移评价规则对各个位移进行评价,得到位移评价值,将位移评价值作为第二评价值,真实信息包括真实位置,标准信息包括标准位置。
在一个实施例中,匹配关键点评价模块计算各个匹配的关键点的真实角度和标准角度的角度差异值,计算匹配的关键点的真实位置和标准位置之间的位移,按照评价规则中的角度评价规则对各个角度差异值,得到角度评价值;按照评价规则中的位移评价规则对各个位移进行评价,得到位移评价值,计算角度评价值和位移评价值的加权值,得到第二评价值,真实信息包括真实角度和真实位置,标准信息包括标准角度和标准位置。
在一个实施例中,上述行为评价装置200,还包括:
图像获取模块,用于获取待评价图像。
数据获取模块,用于识别待评价图像的目标对象中的各个特征点,特征点包括关键点和区域分割点。
位置获取模块,用于获取各个特征点的位置信息,得到各个特征点的真实位置。
坐标系生成模块,用于根据预设区域分割规则和区域分割点的位置信息,生成至少一个目标坐标系。
区域信息确定模块,用于将各个关键点在各个目标坐标系中的区域信息,作为各个关键点的真实区域信息。
在一个实施例中,坐标系生成单元具体用于当预设区域分割规则对应预设区域分割点时,根据区域分割点的第一维度坐标构建目标坐标系的第一坐标轴,根据区域分割点的第二维度坐标构建目标坐标系的第二坐标轴;当预设区域分割规则对应多个区域分割点时,根据多个区域分割点的第一维度坐标的加权均值构建目标坐标系的第一坐标轴,根据多个区域分割点的第二维度坐标的加权均值构建目标坐标系的第二坐标轴。
在一个实施例中,区域信息获取单元具体用于获取各个目标坐标系对应的关键点,作为目标关键点,获取各个目标关键点在对应的目标坐标系中的区域信息,由各个目标关键点在对应的目标坐标系中的区域信息组成真实区域信息,关键点与目标坐标系对应,不同的关键点对应不同的目标坐标系,各个目标坐标系包括第一坐标轴和第二坐标轴。
在一个实施例中,坐标系生成单元具体用于以左肩的纵坐标和右肩的纵坐标的坐标均值,构建第一坐标系的第一坐标轴;以左肩的横坐标和右肩的横坐标的坐标均值,构建第一坐标系的第二坐标轴,区域分割点包括左肩和右肩,目标坐标系包括第一坐标系。
在一个实施例中,坐标系生成单元还用于分别根据左肘的纵坐标和横坐标,构建第二坐标系的第一坐标轴和第二坐标轴,分别根据右肘的纵坐标和横坐标,构建第三坐标系的第一坐标轴和第二坐标轴,区域分割点包括左肘和右肘,目标坐标系包括第二坐标系和第三坐标系。
在一个实施例中,坐标系生成单元还用于分别根据左膝的纵坐标和横坐标,构建第四坐标系的第一坐标轴和第二坐标轴,分别根据右膝的纵坐标和横坐标,构建第五坐标系的第一坐标轴和第二坐标轴,区域分割点包括左膝和右膝,目标坐标系包括第四坐标系和第五坐标系。
图6示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的终端110(或服务器120)。如图6所示,该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中,存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统,还可存储有计算机程序,该计算机程序被处理器执行时,可使得处理器实现行为评价方法。该内存储器中也可储存有计算机程序,该计算机程序被处理器执行时,可使得处理器执行行为评价方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图6中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,本申请提供的行为评价装置可以实现为一种计算机程序的形式,计算机程序可在如图6所示的计算机设备上运行。计算机设备的存储器中可存储组成该行为评价装置的各个程序模块,比如,图5所示的数据获取模块201信息获取模块202、区域判断模块203、预设评价值获取模块204和目标评价值模块205。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的行为评价方法中的步骤。
例如,图6所示的计算机设备可以通过如图5所示的行为评价装置中的数据获取模块201执行获取待评价图像中的目标对象的至少一个关键点和真实信息,真实信息包括真实区域信息。计算机设备可以通过信息获取模块202执行获取待评价图像对应的各个关键点的标准信息,标准信息包括标准区域信息。计算机设备可以通过匹配模块203执行根据各个关键点的真实区域信息和对应的标准区域信息的匹配结果,判断各个关键点中是否为匹配的关键点。计算机设备可以通过预设评价值获取模块204执行当存在至少一个不匹配的关键点时,获取各个不匹配的关键点的预设评价值,预设评价值用于评价关键点的准确度。计算机设备可以通过目标评价值计算模块205执行根据各个不匹配的关键点的预设评价值计算待评价图像的目标评价值。
在一个实施例中,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现以下步骤:获取待评价图像中的目标对象的至少一个关键点和真实信息,真实信息包括真实区域信息;获取待评价图像对应的各个关键点的标准信息,标准信息包括标准区域信息;根据各个关键点的真实区域信息和对应的标准区域信息的匹配结果,判断各个关键点中是否为匹配的关键点;当存在至少一个不匹配的关键点时,获取各个不匹配的关键点的预设评价值,预设评价值用于评价关键点的准确度;根据各个不匹配的关键点的预设评价值计算待评价图像的目标评价值。
在一个实施例中,当存在至少一个匹配的关键点时,处理器执行计算机程序时还实现以下步骤:获取各个匹配的关键点的评价规则;按照评价规则、各个匹配的关键点的标准信息和对应的真实信息计算评价值,得到第二评价值;根据各个不匹配的关键点的预设评价值计算待评价图像的目标评价值,包括:计算各个不匹配的关键点的预设评价值和第二评价值的加权值,得到目标评价值。
在一个实施例中,真实信息包括真实角度,标准信息包括标准角度,按照评价规则、匹配的关键点的标准信息和对应的真实信息计算评价值,得到第二评价值,包括:计算各个匹配的关键点的真实角度和标准角度的角度差异值;按照评价规则中的角度评价规则对各个角度差异值进行评价,得到角度评价值;将角度评价值作为第二评价值。
在一个实施例中,真实信息包括真实位置,标准信息包括标准位置,按照评价规则、匹配的关键点的标准信息和对应的真实信息计算评价值,得到第二评价值,包括:计算匹配的关键点的真实位置和标准位置之间的位移;按照评价规则中的位移评价规则对各个位移进行评价,得到位移评价值;将位移评价值作为第二评价值。
在一个实施例中,真实信息包括真实角度和真实位置,标准信息包括标准角度和标准位置,按照评价规则、匹配的关键点的标准信息和对应的真实信息计算评价值,得到第二评价值,包括:计算各个匹配的关键点的真实角度和标准角度的角度差异值;计算匹配的关键点的真实位置和标准位置之间的位移;按照评价规则中的角度评价规则对各个角度差异值,得到角度评价值;按照评价规则中的位移评价规则对各个位移进行评价,得到位移评价值;计算角度评价值和位移评价值的加权值,得到第二评价值。
在一个实施例中,真实信息包括真实位置,获取待评价图像中的目标对象的至少一个关键点和真实信息之前,包括:获取待评价图像;识别待评价图像的目标对象中的各个特征点,特征点包括关键点和区域分割点;获取各个特征点的位置信息,得到各个特征点的真实位置;根据预设区域分割规则和区域分割点的位置信息,生成至少一个目标坐标系;将各个关键点在各个目标坐标系中的区域信息,作为各个关键点的真实区域信息。
在一个实施例中,根据预设区域分割规则和区域分割点的位置信息,生成至少一个目标坐标系,包括:当预设区域分割规则对应预设区域分割点时,根据区域分割点的第一维度坐标构建目标坐标系的第一坐标轴,根据区域分割点的第二维度坐标构建目标坐标系的第二坐标轴;当预设区域分割规则对应多个区域分割点时,根据多个区域分割点的第一维度坐标的加权均值构建目标坐标系的第一坐标轴,根据多个区域分割点的第二维度坐标的加权均值构建目标坐标系的第二坐标轴。
在一个实施例中,关键点与目标坐标系对应,不同的关键点对应不同的目标坐标系,各个目标坐标系包括第一坐标轴和第二坐标轴;获取各个关键点在各个目标坐标系中的区域信息,得到真实区域信息,包括:获取各个目标坐标系对应的关键点,作为目标关键点,获取各个目标关键点在对应的目标坐标系中的区域信息,由各个目标关键点在对应的目标坐标系中的区域信息组成真实区域信息。
在一个实施例中,区域分割点包括左肩和右肩,目标坐标系包括第一坐标系;根据预设区域分割规则和区域分割点的位置信息,生成至少一个目标坐标系,包括:以左肩的纵坐标和右肩的纵坐标的坐标均值,构建第一坐标系的第一坐标轴;以左肩的横坐标和右肩的横坐标的坐标均值,构建第一坐标系的第二坐标轴。
在一个实施例中,区域分割点包括左肘和右肘,目标坐标系包括第二坐标系和第三坐标系;根据预设区域分割规则和区域分割点的位置信息,生成至少一个目标坐标系,包括:分别根据左肘的纵坐标和横坐标,构建第二坐标系的第一坐标轴和第二坐标轴,分别根据右肘的纵坐标和横坐标,构建第三坐标系的第一坐标轴和第二坐标轴。
在一个实施例中,区域分割点包括左膝和右膝,目标坐标系包括第四坐标系和第五坐标系;根据预设区域分割规则和区域分割点的位置信息,生成至少一个目标坐标系,包括:分别根据左膝的纵坐标和横坐标,构建第四坐标系的第一坐标轴和第二坐标轴,分别根据右膝的纵坐标和横坐标,构建第五坐标系的第一坐标轴和第二坐标轴。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:获取待评价图像中的目标对象的至少一个关键点和真实信息,真实信息包括真实区域信息;获取待评价图像对应的各个关键点的标准信息,标准信息包括标准区域信息;根据各个关键点的真实区域信息和对应的标准区域信息的匹配结果,判断各个关键点中是否为匹配的关键点;当存在至少一个不匹配的关键点时,获取各个不匹配的关键点的预设评价值,预设评价值用于评价关键点的准确度;根据各个不匹配的关键点的预设评价值计算待评价图像的目标评价值。
在一个实施例中,当存在至少一个匹配的关键点时,计算机程序被处理器执行时还实现以下步骤:获取各个匹配的关键点的评价规则;按照评价规则、各个匹配的关键点的标准信息和对应的真实信息计算评价值,得到第二评价值;根据各个不匹配的关键点的预设评价值计算待评价图像的目标评价值,包括:计算各个不匹配的关键点的预设评价值和第二评价值的加权值,得到目标评价值。
在一个实施例中,真实信息包括真实角度,标准信息包括标准角度,按照评价规则、匹配的关键点的标准信息和对应的真实信息计算评价值,得到第二评价值,包括:计算各个匹配的关键点的真实角度和标准角度的角度差异值;按照评价规则中的角度评价规则对各个角度差异值进行评价,得到角度评价值;将角度评价值作为第二评价值。
在一个实施例中,真实信息包括真实位置,标准信息包括标准位置,按照评价规则、匹配的关键点的标准信息和对应的真实信息计算评价值,得到第二评价值,包括:计算匹配的关键点的真实位置和标准位置之间的位移;按照评价规则中的位移评价规则对各个位移进行评价,得到位移评价值;将位移评价值作为第二评价值。
在一个实施例中,真实信息包括真实角度和真实位置,标准信息包括标准角度和标准位置,按照评价规则、匹配的关键点的标准信息和对应的真实信息计算评价值,得到第二评价值,包括:计算各个匹配的关键点的真实角度和标准角度的角度差异值;计算匹配的关键点的真实位置和标准位置之间的位移;按照评价规则中的角度评价规则对各个角度差异值,得到角度评价值;按照评价规则中的位移评价规则对各个位移进行评价,得到位移评价值;计算角度评价值和位移评价值的加权值,得到第二评价值。
在一个实施例中,真实信息包括真实位置,获取待评价图像中的目标对象的至少一个关键点和真实信息,包括:获取待评价图像;识别待评价图像的目标对象中的各个特征点,特征点包括关键点和区域分割点;获取各个特征点的位置信息,得到各个特征点的真实位置;根据预设区域分割规则和区域分割点的位置信息,生成至少一个目标坐标系;将各个关键点在各个目标坐标系中的区域信息,作为各个关键点的真实区域信息。
在一个实施例中,根据预设区域分割规则和区域分割点的位置信息,生成至少一个目标坐标系,包括:当预设区域分割规则对应预设区域分割点时,根据区域分割点的第一维度坐标构建目标坐标系的第一坐标轴,根据区域分割点的第二维度坐标构建目标坐标系的第二坐标轴;当预设区域分割规则对应多个区域分割点时,根据多个区域分割点的第一维度坐标的加权均值构建目标坐标系的第一坐标轴,根据多个区域分割点的第二维度坐标的加权均值构建目标坐标系的第二坐标轴。
在一个实施例中,关键点与目标坐标系对应,不同的关键点对应不同的目标坐标系,各个目标坐标系包括第一坐标轴和第二坐标轴;获取各个关键点在各个目标坐标系中的区域信息,得到真实区域信息,包括:获取各个目标坐标系对应的关键点,作为目标关键点,获取各个目标关键点在对应的目标坐标系中的区域信息,由各个目标关键点在对应的目标坐标系中的区域信息组成真实区域信息。
在一个实施例中,区域分割点包括左肩和右肩,目标坐标系包括第一坐标系;根据预设区域分割规则和区域分割点的位置信息,生成至少一个目标坐标系,包括:以左肩的纵坐标和右肩的纵坐标的坐标均值,构建第一坐标系的第一坐标轴;以左肩的横坐标和右肩的横坐标的坐标均值,构建第一坐标系的第二坐标轴。
在一个实施例中,区域分割点包括左肘和右肘,目标坐标系包括第二坐标系和第三坐标系;根据预设区域分割规则和区域分割点的位置信息,生成至少一个目标坐标系,包括:分别根据左肘的纵坐标和横坐标,构建第二坐标系的第一坐标轴和第二坐标轴,分别根据右肘的纵坐标和横坐标,构建第三坐标系的第一坐标轴和第二坐标轴。
在一个实施例中,区域分割点包括左膝和右膝,目标坐标系包括第四坐标系和第五坐标系;根据预设区域分割规则和区域分割点的位置信息,生成至少一个目标坐标系,包括:分别根据左膝的纵坐标和横坐标,构建第四坐标系的第一坐标轴和第二坐标轴,分别根据右膝的纵坐标和横坐标,构建第五坐标系的第一坐标轴和第二坐标轴。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式,使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种行为评价方法,其特征在于,所述方法包括:
获取待评价图像中的目标对象的至少一个关键点和真实信息,所述真实信息包括真实区域信息,所述真实区域信息是指各个关键点在待评价图像中划分的多个区域中的区域所属位置;
获取所述待评价图像对应的各个关键点的标准信息,所述标准信息包括标准区域信息;
根据各个所述关键点的真实区域信息和对应的标准区域信息的匹配结果,判断各个所述关键点中是否为匹配的关键点;
当存在至少一个不匹配的关键点时,获取各个不匹配的关键点的预设评价值,所述预设评价值用于评价所述关键点的准确度;
根据各个所述不匹配的关键点的预设评价值计算所述待评价图像的目标评价值。
2.根据权利要求1所述的方法,其特征在于,当存在至少一个匹配的关键点时,所述方法还包括:
获取各个匹配的关键点的评价规则;
按照所述评价规则、各个所述匹配的关键点的标准信息和对应的真实信息计算评价值,得到第二评价值;
所述根据各个所述不匹配的关键点的预设评价值计算所述待评价图像的目标评价值,包括:计算各个所述不匹配的关键点的预设评价值和所述第二评价值的加权值,得到所述目标评价值。
3.根据权利要求2所述的方法,其特征在于,所述真实信息包括真实角度,所述标准信息包括标准角度,所述按照所述评价规则、所述匹配的关键点的标准信息和对应的真实信息计算评价值,得到第二评价值,包括:
计算各个所述匹配的关键点的真实角度和标准角度的角度差异值;
按照所述评价规则中的角度评价规则对各个所述角度差异值进行评价,得到角度评价值;
将所述角度评价值作为所述第二评价值。
4.根据权利要求2所述的方法,其特征在于,所述真实信息包括真实位置,所述标准信息包括标准位置,所述按照所述评价规则、所述匹配的关键点的标准信息和对应的真实信息计算评价值,得到第二评价值,包括:
计算所述匹配的关键点的真实位置和标准位置之间的位移;
按照所述评价规则中的位移评价规则对各个所述位移进行评价,得到位移评价值;
将所述位移评价值作为所述第二评价值。
5.根据权利要求2所述的方法,其特征在于,所述真实信息包括真实角度和真实位置,所述标准信息包括标准角度和标准位置,所述按照所述评价规则、所述匹配的关键点的标准信息和对应的真实信息计算评价值,得到第二评价值,包括:
计算各个所述匹配的关键点的真实角度和标准角度的角度差异值;
计算所述匹配的关键点的真实位置和标准位置之间的位移;
按照所述评价规则中的角度评价规则对各个所述角度差异值,得到角度评价值;
按照所述评价规则中的位移评价规则对各个所述位移进行评价,得到位移评价值;
计算所述角度评价值和所述位移评价值的加权值,得到所述第二评价值。
6.根据权利要求1所述的方法,其特征在于,所述真实信息包括真实位置,所述获取待评价图像中的目标对象的至少一个关键点和真实信息之前,还包括:
获取所述待评价图像;
识别所述待评价图像的目标对象对应的特征点,所述特征点包括所述关键点和区域分割点;
获取各个所述特征点的位置信息,得到各个所述特征点的真实位置;
根据预设区域分割规则和所述区域分割点的位置信息,生成至少一个目标坐标系;
将各个所述关键点在各个所述目标坐标系中的区域信息,作为各个所述关键点的真实区域信息。
7.根据权利要求6所述的方法,其特征在于,所述根据预设区域分割规则和所述区域分割点的位置信息,生成至少一个目标坐标系,包括:
当所述预设区域分割规则对应预设区域分割点时,根据所述区域分割点的第一维度坐标构建所述目标坐标系的第一坐标轴,根据所述区域分割点的第二维度坐标构建所述目标坐标系的第二坐标轴;
当所述预设区域分割规则对应多个区域分割点时,根据所述多个区域分割点的第一维度坐标的加权均值构建所述目标坐标系的第一坐标轴,根据所述多个区域分割点的第二维度坐标的加权均值构建所述目标坐标系的第二坐标轴。
8.一种行为评价装置,其特征在于,所述装置包括:
数据获取模块,用于获取待评价图像中的目标对象的至少一个关键点和真实信息,所述真实信息包括真实区域信息,所述真实区域信息是指各个关键点在待评价图像中划分的多个区域中的区域所属位置;
信息获取模块,用于获取所述待评价图像对应的各个关键点的标准信息,所述标准信息包括标准区域信息;
匹配模块,用于根据各个所述关键点的真实区域信息和对应的标准区域信息的匹配结果,判断各个所述关键点中是否为匹配的关键点;
预设评价值获取模块,用于当存在至少一个不匹配的关键点时,获取各个不匹配的关键点的预设评价值,所述预设评价值用于评价所述关键点的准确度;
目标评价值计算模块,用于根据各个所述不匹配的关键点的预设评价值计算所述待评价图像的目标评价值。
9.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910833330.1A CN110728181B (zh) | 2019-09-04 | 2019-09-04 | 行为评价方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910833330.1A CN110728181B (zh) | 2019-09-04 | 2019-09-04 | 行为评价方法、装置、计算机设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110728181A CN110728181A (zh) | 2020-01-24 |
CN110728181B true CN110728181B (zh) | 2022-07-12 |
Family
ID=69217817
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910833330.1A Active CN110728181B (zh) | 2019-09-04 | 2019-09-04 | 行为评价方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110728181B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112926440A (zh) * | 2021-02-22 | 2021-06-08 | 北京市商汤科技开发有限公司 | 动作比对方法、装置、电子设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107943291A (zh) * | 2017-11-23 | 2018-04-20 | 乐蜜有限公司 | 人体动作的识别方法、装置和电子设备 |
CN108537284A (zh) * | 2018-04-13 | 2018-09-14 | 东莞松山湖国际机器人研究院有限公司 | 基于计算机视觉深度学习算法的姿态评估打分方法和系统 |
CN108597578A (zh) * | 2018-04-27 | 2018-09-28 | 广东省智能制造研究所 | 一种基于二维骨架序列的人体运动评估方法 |
CN108921907A (zh) * | 2018-07-26 | 2018-11-30 | 上海慧子视听科技有限公司 | 一种运动测试评分的方法、装置、设备及存储介质 |
CN109766882A (zh) * | 2018-12-18 | 2019-05-17 | 北京诺亦腾科技有限公司 | 人体光点的标签识别方法、装置 |
-
2019
- 2019-09-04 CN CN201910833330.1A patent/CN110728181B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107943291A (zh) * | 2017-11-23 | 2018-04-20 | 乐蜜有限公司 | 人体动作的识别方法、装置和电子设备 |
CN108537284A (zh) * | 2018-04-13 | 2018-09-14 | 东莞松山湖国际机器人研究院有限公司 | 基于计算机视觉深度学习算法的姿态评估打分方法和系统 |
CN108597578A (zh) * | 2018-04-27 | 2018-09-28 | 广东省智能制造研究所 | 一种基于二维骨架序列的人体运动评估方法 |
CN108921907A (zh) * | 2018-07-26 | 2018-11-30 | 上海慧子视听科技有限公司 | 一种运动测试评分的方法、装置、设备及存储介质 |
CN109766882A (zh) * | 2018-12-18 | 2019-05-17 | 北京诺亦腾科技有限公司 | 人体光点的标签识别方法、装置 |
Non-Patent Citations (1)
Title |
---|
Travel in Immersive Virtual Environments: An Evaluation of Viewpoint Motion Control Techniques;Doug A. Bowman 等;《Processing of IEEE 1997 Annual International Symposium on Virtual Reality》;20020806;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN110728181A (zh) | 2020-01-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110580482B (zh) | 图像分类模型训练、图像分类、个性化推荐方法及装置 | |
CN108805898B (zh) | 视频图像处理方法和装置 | |
WO2020107847A1 (zh) | 基于骨骼点的跌倒检测方法及其跌倒检测装置 | |
WO2018090937A1 (zh) | 图像处理方法、终端及存储介质 | |
CN110610154A (zh) | 行为识别方法、装置、计算机设备和存储介质 | |
CN111488937B (zh) | 一种基于多尺度邻居深度神经网络的图像匹配方法 | |
CN111160288A (zh) | 手势关键点检测方法、装置、计算机设备和存储介质 | |
CN111507285A (zh) | 人脸属性识别方法、装置、计算机设备和存储介质 | |
CN111062324A (zh) | 人脸检测方法、装置、计算机设备和存储介质 | |
CN113591560A (zh) | 人体行为识别方法 | |
CN110503643A (zh) | 一种基于多尺度快速场景检索的目标检测方法和装置 | |
CN110956131A (zh) | 单目标追踪方法、装置及系统 | |
CN114254584A (zh) | 芯片产品的对比方法、建模方法、装置及存储介质 | |
CN112348116A (zh) | 利用空间上下文的目标检测方法、装置和计算机设备 | |
CN111523387B (zh) | 手部关键点检测的方法、设备和计算机设备 | |
CN110728181B (zh) | 行为评价方法、装置、计算机设备和存储介质 | |
CN110517221B (zh) | 基于现实坐标的缝隙定位方法、装置和存储介质 | |
CN111915676B (zh) | 图像生成方法、装置、计算机设备和存储介质 | |
CN113160042A (zh) | 一种图像风格迁移模型训练方法、装置及电子设备 | |
CN117291957A (zh) | 跨模态的光-sar图像配准方法、装置、设备和介质 | |
CN110838138A (zh) | 重复纹理检测方法、装置、计算机设备和存储介质 | |
CN116311358A (zh) | 一种双手三维姿态估计方法、装置、电子设备及存储介质 | |
CN115758271A (zh) | 数据处理方法、装置、计算机设备和存储介质 | |
CN115424001A (zh) | 场景相似度估计方法、装置、计算机设备和存储介质 | |
CN111797972B (zh) | 应用卷积神经网络处理数据的方法、装置和电子系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |