CN110175629B - 一种人体动作相似度计算方法及装置 - Google Patents

一种人体动作相似度计算方法及装置 Download PDF

Info

Publication number
CN110175629B
CN110175629B CN201910338737.7A CN201910338737A CN110175629B CN 110175629 B CN110175629 B CN 110175629B CN 201910338737 A CN201910338737 A CN 201910338737A CN 110175629 B CN110175629 B CN 110175629B
Authority
CN
China
Prior art keywords
action
line segment
tested
human
skeleton
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910338737.7A
Other languages
English (en)
Other versions
CN110175629A (zh
Inventor
马燕
李盛楠
黄慧
李顺宝
张玉萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Normal University
Original Assignee
Shanghai Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Normal University filed Critical Shanghai Normal University
Priority to CN201910338737.7A priority Critical patent/CN110175629B/zh
Publication of CN110175629A publication Critical patent/CN110175629A/zh
Application granted granted Critical
Publication of CN110175629B publication Critical patent/CN110175629B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种人体动作相似度计算方法及装置，其中方法，包括以下步骤：获取人体骨架深度数据、测试动作和模板动作；将获取的骨架深度数据转换成空间三维坐标数据；根据空间三维坐标数据，定义人体骨架线段信息；根据人体骨架线段信息，对待测试动作中的人体骨架关节点进行自适应调整；根据自适应调整得到的数据，计算自适应权重值，然后根据自适应权值计算待测试动作和模板动作之间的相似度。本发明公开的一种人体动作相似度计算方法是一种源数据精简、数据覆盖面广、准确度高的自适应调整人体骨架关节点的人体动作相似度计算方法。

Description

一种人体动作相似度计算方法及装置
技术领域
本发明涉及图像处理、人体姿态识别等领域，尤其涉及一种人体动作相似度计算方法及装置。
背景技术
人体行为识别是计算机视觉的热门研究方向之一，主要开展人体行为的分析与识别工作，该研究领域涉及诸多学科：信号处理与分析、模式识别、机器学习、神经生理学、心理学等，其研究成果广泛应用于人机交互、智能视频监控、虚拟现实、运动行为分析等。
人体行为原始数据的获取方式可归为两种：①基于可穿戴设备的方式，在不同的设备上安装不同的传感器，放在人体不同的部位获取数据。缺点：接触式、操作不便、成本较高；②基于视觉的方式，利用仪器把将图像信息数字化。缺点：精度低，易受光照等影响。
在以前的研究中，研究者主要对二维图像或视频进行处理。由于二维图像或视频易受光照和阴影影响，从而使目标识别结果不稳定。由于二维图像无法完整描述三维空间中的人体动作，因此，在人体行为识别的研究中，研究人员逐渐倾向于使用三维信息。
微软在2009年推出的Kinect体感设备，具有深度感知和人体关节点识别能力，可以有效避免光照等环境因素影响。该设备通过非接触式获取数据，精度高、占用内存小，且设备成本低，为人体行为识别研究提供了更好的数据来源。因此，近年来Kinect被广泛应用于人体行为识别领域。
人体行为是由一组动作构成，在判断待测试人体行为与模板行为之间的相似度，其前提是计算人体动作之间的相似度。目前，已提出多个利用Kinect数据进行人体动作识别的算法。Thanh引入图像处理算法并结合Kinect数据进行动作识别，但该方法只收集局部数据，数据分布有一定局限性。Girshick利用Kinect深度数据研究人体关节行为变化，直接对原始深度图像进行回归分析，但直接使用原始数据会出现各种问题。例如，成年人与小孩间的躯干比例差别较大，直接比较两者的数据，则计算得到的动作相似度误差较大。
因此，本领域的技术人员致力于开发一种源数据精简、数据覆盖面广、准确度高的自适应调整人体骨架关节点的人体动作相似度计算方法。
发明内容
有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是针对现有对人体行为研究的数据分布具有局限性、动作相似度误差较大等问题，开发了一种源数据精简、数据覆盖面广、准确度高的自适应调整人体骨架关节点的人体动作相似度计算方法。
为实现上述目的，本发明提供了一种人体动作相似度计算方法，包括以下步骤：
获取人体骨架深度数据、测试动作和模板动作；
将获取的骨架深度数据转换成空间三维坐标数据；
根据空间三维坐标数据，定义人体骨架线段信息；
根据人体骨架线段信息，对待测试动作中的人体骨架关节点进行自适应调整；
根据自适应调整得到的数据，计算自适应权重值，然后根据自适应权值计算待测试动作和模板动作之间的相似度。
进一步地，获取人体骨架深度数据，具体包括：
建立拍摄空间，利用Kinect体感设备拍摄；
根据拍摄的人体骨架结果，对人体骨架关节点进行编号。
进一步地，根据人体骨架线段信息，对待测试动作中的人体骨架关节点进行自适应调整，具体包括：
计算模板动作中各条骨架线段的长度；
计算待测试动作中各条骨架线段的长度；
根据待测试动作中人体各条骨架线段长度和模板动作中人体各条骨架线段的长度，调整待测试动作中各条骨架线段的末尾关节点的空间坐标数值；
对变换后的关节点坐标数据进行平移，使待测试动作棘肌关节点与模板动作棘肌关节点位置重合。
进一步地，根据自适应调整得到的数据，计算自适应权重值，然后根据自适应权重值计算待测试动作和模板动作之间的相似度，具体包括：
根据待测试动作中人体各条骨架线段长度、模板动作中人体各条骨架线段的长度、人体骨架线段信息、平移后的关节点坐标，计算自适应权重值；
根据模板动作和待测试动作，以及自适应权重值，计算待测试动作和模板动作间的相似度。
本发明的又一较佳实施例提供了一种人体动作相似度计算装置，包括：
获取模块，用于获取人体骨架深度数据、测试动作和模板动作；
转换模块，用于将获取的骨架深度数据转换成空间三维坐标数据；
定义模块，用于根据空间三维坐标数据，定义人体骨架线段信息；
调整模块，用于根据人体骨架线段信息，对待测试动作中的人体骨架关节点进行自适应调整；
计算模块，用于根据自适应调整得到的数据，计算自适应权重值，然后根据自适应权值计算待测试动作和模板动作之间的相似度。
进一步地，获取模块包括：
拍摄单元，用于建立拍摄空间，利用Kinect体感设备拍摄；
编号单元，用于根据拍摄的人体骨架结果，对人体骨架关节点进行编号。
进一步地，调整模块包括：
第一计算单元，用于计算模板动作中各条骨架线段的长度；
第二计算单元，用于计算待测试动作中各条骨架线段的长度；
调整单元，用于根据待测试动作中人体各条骨架线段长度和模板动作中人体各条骨架线段的长度，调整待测试动作中各条骨架线段的末尾关节点的空间坐标数值；
平移单元，用于对变换后的关节点坐标数据进行平移，使待测试动作棘肌关节点与模板动作棘肌关节点位置重合。
进一步地，计算模块包括：
第三计算单元，用于根据待测试动作中人体各条骨架线段长度、模板动作中人体各条骨架线段的长度、人体骨架线段信息、平移后的关节点坐标，计算自适应权重值；
第四计算单元，用于根据模板动作和待测试动作，以及自适应权重值，计算待测试动作和模板动作间的相似度。
本发明的又一实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时，实现如上述任一项的方法。
本发明的又一实施例提供了一种存储有计算机程序的计算机可读存储介质，计算机程序使计算机执行时实现如上述中任一项的一种人体动作相似度计算方法。
技术效果
与现有动作相似度检测方法相比，本发明利用深度数据采集设备采集人体骨架关节点作为数据源，简化了源数据的复杂度；利用关节点对骨架线段进行编号并确定首末关节点，然后对骨架进行修正，使该方法适用于不同体型的人，便于进行动作相似度计算；利用骨架长度对待测试动作中每个关节点相对于模板动作关节点的距离进行加权计算，使动作相似度计算结果准确度更高，更符合实际观测结果。
以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明的一个较佳实施例的一种人体动作相似度计算方法的操作流程图；
图2是本发明的一个较佳实施例的一种人体动作相似度计算方法的人体25处关节点，每处详细编号和位置；
图3是本发明的一个较佳实施例的一种人体动作相似度计算方法的志愿者模板动作，做出敬礼动作；
图4是本发明的一个较佳实施例的一种人体动作相似度计算方法的志愿者待测试动作，做出敬礼过程的中间动作；
图5是本发明的一个较佳实施例的一种人体动作相似度计算方法的提取出的志愿者模板动作骨架图；
图6是本发明的一个较佳实施例的一种人体动作相似度计算方法的提取出的志愿者待测试动作骨架图；
图7是本发明的一个较佳实施例的一种人体动作相似度计算方法的志愿者待测试动作骨架关节点坐标变换后的图；
图8是本发明的一个较佳实施例的一种人体动作相似度计算方法的志愿者待测试动作坐标变换和坐标平移后的图；
图9是本发明的一个较佳实施例的一种人体动作相似度计算方法的待测试动作在相似度求解过程中对比图。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
以下描述中，为了说明而不是为了限定，提出了诸如特定内部程序、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
实施例一，
如图1所示，本发明公开提供了一种人体动作相似度计算方法，包括以下步骤：
步骤100，获取人体骨架深度数据、测试动作和模板动作；
步骤200，将获取的骨架深度数据转换成空间三维坐标数据；
步骤300，根据空间三维坐标数据，定义人体骨架线段信息；
步骤400，根据人体骨架线段信息，对待测试动作中的人体骨架关节点进行自适应调整；
步骤500，根据自适应调整得到的数据，计算自适应权重值，然后根据自适应权值计算待测试动作和模板动作之间的相似度。
其中步骤100，获取人体骨架深度数据，具体包括：
步骤101，建立拍摄空间，利用Kinect体感设备拍摄；
在普通光照条件下，利用Kinect体感设备拍摄人体正面图像；要求简化图像背景复杂度，被拍摄者衣着颜色与背景颜色对比较明显；采集过程中要求被拍摄者做一些动作。被摄人体限制在距离Kinect体感设备0.4-3米处，如在距离Kinect体感设备0.8-2.5米处拍摄，则效果更佳。
步骤102，根据拍摄的人体骨架结果，对人体骨架关节点进行编号。
共获取人体骨架关节点数据25处，图2是人体25处关节点，每处详细编号和位置，其中关节编号和对应关节点如下：0，SpineBase/纺基；1，SpineMid/棘肌；2，Neck/脖子；3，Head/头；4，ShoulderLeft/左肩；5，ElbowLeft/左肘；6，WristLeft/左腕；7，HandLeft/左手；8，ShoulderRight/右肩；9，ElbowRight/右肘；10，WristRight/右腕；11，HandRight/右手；12，HipLeft/左髋；13，KneeLeft/左膝；14，Ankleleft/左踝；15，FootLeft/左脚；16，HipRight/右髋；17，KneeRight/右膝；18，ankleright/右踝；19，FootRight/右脚；20，SpineShoulder/肩脊柱；21，handtipleft/左手尖；22，ThumbLeft/左拇指；23，HandTipRight/右手尖；24，ThumbRight/右拇指。
图3是志愿者模板动作，做出敬礼动作。
图4是志愿者待测试动作，做出敬礼过程的中间动作。
进一步地，步骤200，将获取的骨架深度数据转换成空间三维坐标数据；
利用映射函数将骨架深度数据转换成空间三维坐标数据，对于Kinect体感设备获取的深度关节点数据，其转换过程可以调用Kinect for Windows SDK v2.0提供的映射函数MapCameraPointToColorSpace,如果是别种设备取得的深度信息，可用设备对应提供的转换函数。因在实际计算过程中发现，Z轴信息对结果影响很小，为节约计算量，没有计算Z轴信息。现给出如图3所示的模板动作和如图4所示的待测试动作的转换结果，表中关节编号和上述关节编号一致，具体见下表：
模板动作
Figure BDA0002039988970000051
Figure BDA0002039988970000061
待测试动作
Figure BDA0002039988970000062
Figure BDA0002039988970000071
进一步地，步骤300，根据空间三维坐标数据，定义人体骨架线段信息；所定义的模板动作包含人体25个关节点数据。关节点信息记为J，表示为：
J＝(j0，j1，j2...，j23，j24)
每个关节点的位置信息包括x，y，z三个方向维度，记为ji，表示为：
ji＝(xi，yi，zi)，i∈[0，24]
模板动作的25个关节点记为t，表示为：
Figure BDA0002039988970000072
待测试动作的25个关节点记为a，表示为：
Figure BDA0002039988970000073
人体动作信息中包含25个关节点信息，共有24条人体骨架线段。对每条人体骨架编号，并确定线段的首末关节点。由于线段的首末点对该方法有影响，因此顺序应按照方法中确定，不能更改首末点顺序。起始关节点的编号记为s，结束关节点的编号记为e，k代表第k条线段，长度记为lk(js，je)，k∈[0，23]，s∈[0，24]，e∈[0，24]。
图5是提取出的志愿者模板动作骨架图。
图6是提取出的志愿者待测试动作骨架图。
具体线段编号和首末关节点编号，见下表：
骨架线段信息
Figure BDA0002039988970000074
Figure BDA0002039988970000081
进一步地，步骤400，根据人体骨架线段信息，对待测试动作中的人体骨架关节点进行自适应调整，具体包括：
步骤401，计算模板动作中各条骨架线段的长度；
步骤402，计算待测试动作中各条骨架线段的长度；
步骤403，根据待测试动作中人体各条骨架线段长度和模板动作中人体各条骨架线段的长度，调整待测试动作中各条骨架线段的末尾关节点的空间坐标数值；
步骤404，对变换后的关节点坐标数据进行平移，使待测试动作棘肌关节点与模板动作棘肌关节点位置重合。
其中，步骤401，计算模板动作中各条骨架线段的长度；步骤402，计算待测试动作中各条骨架线段的长度；具体如下：
人体动作信息中包含25个关节点信息，共有24条人体骨架线段。24条线段，一起记为L：
L＝{l0(j2,j3)，l1(j20，j2)，...,l22(j17，j18)，l23(j18，j19)}
模板动作的25个关节点记为t，t的骨架线段记为Lt：
Figure BDA0002039988970000082
待测试动作的25个关节点记为a，a的骨架线段记为La：
Figure BDA0002039988970000083
计算模板动作中各条骨架线段的长度
Figure BDA00020399889700000810
计算公式：
Figure BDA0002039988970000084
计算待测试动作中各条骨架线段的长度
Figure BDA00020399889700000811
计算公式：
Figure BDA0002039988970000085
步骤403，根据待测试动作中人体各条骨架线段长度和模板动作中人体各条骨架线段的长度，调整待测试动作中各条骨架线段的末尾关节点的空间坐标数值；具体如下：
根据待测试动作中人体各条骨架线段长度和模板动作中人体各条骨架线段的长度，调整待测试动作中各条骨架线段的末尾关节点的空间坐标数值。假定对于待测试动作中的第k条线段，该条线段的首关节点记作
Figure BDA00020399889700000812
其坐标为
Figure BDA00020399889700000813
尾关节点记作
Figure BDA00020399889700000918
其坐标为
Figure BDA00020399889700000917
该条线段的长度记作
Figure BDA00020399889700000919
另外，对于模板动作中的第k条线段，该条线段的首关节点记作
Figure BDA00020399889700000920
其坐标为
Figure BDA00020399889700000921
尾关节点记作
Figure BDA00020399889700000922
其坐标为
Figure BDA00020399889700000923
该条线段的长度记作
Figure BDA00020399889700000924
待测试动作中线段尾关节点
Figure BDA00020399889700000914
需要调整的三维坐标数据记为
Figure BDA00020399889700000925
坐标
Figure BDA00020399889700000916
分别按下式计算：
Figure BDA0002039988970000091
Figure BDA0002039988970000092
Figure BDA0002039988970000093
其中，
Figure BDA0002039988970000094
以待测试动作的棘肌关节点为基点，对待测试动作中各条骨架线段的末尾关节点坐标作进一步调整。棘肌关节点不进行坐标变换。
现列出实验中计算的各个关节点需要变换的数值，纵列编号是关节点编号，横向代表对应关节点需要平移的数值，因没考虑Z轴,所以Z轴数据为0，具体见下表：
待测试关节点坐标变换表
Figure BDA0002039988970000095
Figure BDA0002039988970000101
变换a中各个关节点坐标。变换关节点的目的是为了匹配骨架线段的长度，所以关节点变换时应考虑到线段的起始点位置、结束点位置和线段具体位置。为了计算效率和算法简洁，选用棘肌关节点j1作为基点，其他关节点均是以该点变换相对位置。结合上一步计算的每个关节点需要变换的数据，以关节点j20和j21的坐标变换为例，参照图2做出一些说明。j20与j1直连，因此a中关节点
Figure BDA0002039988970000105
的坐标变换过程是：
Figure BDA0002039988970000102
关节点j1到达j21的路径为j1→j20→j4→j5→j6→j7→j21，j1→j20段的坐标变换参照上文，j20→j4段的坐标变换应该j1→j20段的基础上进行，那么，j1→j21的变换和六段骨架线段有关系，因此a中关节点
Figure BDA0002039988970000106
的坐标变换过程是：
Figure BDA0002039988970000103
下面列出j1到所有关节点(不包含j1)的路径，表中的“点”栏代表从j1出发到达的关节点编号，“路径”栏是从j1出发到达目标关节点所经过关节点的路径，详细见下表：
j1到达各关节点路径
Figure BDA0002039988970000104
变换后的结果见下表：
待测试关节点坐标变换结果
Figure BDA0002039988970000111
图7是志愿者待测试动作骨架关节点坐标变换后的图。
步骤404，对变换后的关节点坐标数据进行平移，使待测试动作棘肌关节点与模板动作棘肌关节点位置重合。具体如下：
待测试动作坐标变换后，然后进行坐标平移。选取t中的棘肌关节点
Figure BDA0002039988970000112
作为基准点，使a中的棘肌关节点
Figure BDA0002039988970000123
平移到
Figure BDA0002039988970000124
位置，a中的其他关节点做和
Figure BDA0002039988970000125
平移路径一样的平移动作。平移过程：
Figure BDA0002039988970000121
实验中
Figure BDA0002039988970000126
值为(-74.13，47.658，0)，平移结果见下表：
待测试关节点坐标平移结果
Figure BDA0002039988970000122
图8是志愿者待测试动作坐标变换和坐标平移后的图。
图9是待测试动作在相似度求解过程中对比图。
进一步地，步骤500，根据自适应调整得到的数据，计算自适应权重值，然后根据自适应权重值计算待测试动作和模板动作之间的相似度，具体包括：
步骤501，根据待测试动作中人体各条骨架线段长度、模板动作中人体各条骨架线段的长度、人体骨架线段信息、平移后的关节点坐标，计算自适应权重值；
根据前面计算得到的待测试动作的人体各条骨架线段的长度、模板动作中人体各条骨架线段长度，以及步骤三中确定的线段首末关节点，对待测试动作中各条骨架线段的末尾关节点计算自适应权重，其中，共包含25个权重值。定义关节点的权重W，25个关节点对应25个权重：
W＝(w0，w1，w2，...，w23，w24)
权重自适应取值的原理是待测试动作中较长骨架线段的尾关节点相应权值较大，而较短骨架线段的尾关节点权值较小，基准点j1对应的w1为0，其他权值的计算见下式：
Figure BDA0002039988970000131
实验中，自适应的25个权值w0～w24分别是：0.0655567、0、0.0151659、0.0308774、0.0342796、0.0595867、0.0513701、0.00940751、0.0420764、0.0528752、0.0557868、0.0178037、0.0151327、0.0894011、0.100832、0.0238655、0.0154061、0.0879853、0.100034、0.0213936、0.0467604、0.015971、0.0117546、0.0170611、0.0196167。
步骤502，根据模板动作和按上述步骤403坐标变换后的待测试动作，以及自适应权重值，计算待测试动作和模板动作间的相似度。
根据模板动作和按上述步骤403坐标变换后的待测试动作，以及每个关节点的权重值，计算待测试动作和模板动作间的相似度。首先，计算t和a中对应关节点的距离
Figure BDA0002039988970000134
Figure BDA0002039988970000132
再将各个距离按照以上权重计算汇总距离D(t，a)：
Figure BDA0002039988970000133
按权值距离汇总后，D(t，a)值是448.791。相比不按权值计算时D(t，a)值是1363.06。
D是一个大于等于0的数，且数值越大，对应的动作相似度越小。参考Sigmoid函数，ε是预设Kinect误差因子，距离D(t，a)和相似度S(t，a)的关系：
Figure BDA0002039988970000141
至此，求出测试动作和模板动作的相似度S(t，a)。
本次实验中，误差因子ε选用3000，不加权值计算时，动作相似度结果是77.6％，经过自适应权值计算后，动作相似度结果是92.5％，更加符合志愿者观感，与该待测试人自身体验感觉的相似度更加吻合。
图9是待测试动作在相似度求解过程中对比图。
本发明一实施例的一种人体动作相似度计算方法与现有动作相似度检测方法相比，本发明利用深度数据采集设备采集人体骨架关节点作为数据源，简化了源数据的复杂度；利用关节点对骨架线段进行编号并确定首末关节点，然后对骨架进行修正，使其适用于不同体型的人，便于进行动作相似度计算；利用骨架长度对待测试动作中每个关节点相对于模板动作关节点的距离进行加权计算，使动作相似度计算结果准确度更高，更符合实际观测结果。
实施例二
本发明的又一较佳实施例提供了一种人体动作相似度计算装置，包括：
获取模块，用于获取人体骨架深度数据、测试动作和模板动作；
转换模块，用于将获取的骨架深度数据转换成空间三维坐标数据；
定义模块，用于根据空间三维坐标数据，定义人体骨架线段信息；
调整模块，用于根据人体骨架线段信息，对待测试动作中的人体骨架关节点进行自适应调整；
计算模块，用于根据自适应调整得到的数据，计算自适应权重值，然后根据自适应权值计算待测试动作和模板动作之间的相似度。
进一步地，获取模块包括：
拍摄单元，用于建立拍摄空间，利用Kinect体感设备拍摄；
编号单元，用于根据拍摄的人体骨架结果，对人体骨架关节点进行编号。
进一步地，调整模块包括：
第一计算单元，用于计算模板动作中各条骨架线段的长度；
第二计算单元，用于计算待测试动作中各条骨架线段的长度；
调整单元，用于根据待测试动作中人体各条骨架线段长度和模板动作中人体各条骨架线段的长度，调整待测试动作中各条骨架线段的末尾关节点的空间坐标数值；
平移单元，用于对变换后的关节点坐标数据进行平移，使待测试动作棘肌关节点与模板动作棘肌关节点位置重合。
进一步地，计算模块包括：
第三计算单元，用于根据待测试动作中人体各条骨架线段长度、模板动作中人体各条骨架线段的长度、人体骨架线段信息、平移后的关节点坐标，计算自适应权重值；
第四计算单元，用于根据模板动作和待测试动作，以及自适应权重值，计算待测试动作和模板动作间的相似度。
本实施例的装置用于实现实施例一的一种人体动作相似度计算方法，其具体实现过程同实施例一，此处将不在赘述。
实施例三
本发明实施例三提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时，实现上述任一项的方法。
该实施例的计算机设备包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，例如资源发放程序。所述处理器执行所述计算机程序时实现上述各个人体行为相似度计算方法实施例中的步骤。或者，所述处理器执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能。
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述计算机设备中的执行过程。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可包括，但不仅限于，处理器、存储器。
所述处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器可以是所述计算机设备的内部存储单元，例如计算机设备的硬盘或内存。所述存储器也可以是所述计算机设备的外部存储设备，例如所述计算机设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器还可以既包括所述计算机设备的内部存储单元也包括外部存储设备。所述存储器用于存储所述计算机程序以及所述计算机设备所需的其他程序和数据。所述存储器还可以用于暂时地存储已经输出或者将要输出的数据。
本发明实施例还提供了一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序使计算机执行时实现上述任一项所述的人体动作相似度计算方法。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (8)

1.一种人体动作相似度计算方法，其特征在于，包括以下步骤：
获取人体骨架深度数据、测试动作和模板动作；
将获取的所述骨架深度数据转换成空间三维坐标数据；
根据所述空间三维坐标数据，定义人体骨架线段信息；
根据所述人体骨架线段信息，对待测试动作中的人体骨架关节点进行自适应调整；
根据自适应调整得到的数据，计算自适应权重值，然后根据所述自适应权值计算待测试动作和所述模板动作之间的相似度，具体包括：
根据待测试动作中人体各条骨架线段长度、模板动作中人体各条骨架线段的长度、所述人体骨架线段信息、平移后的所述关节点坐标，计算自适应权重值；其中，权重自适应取值的原理是待测试动作中较长骨架线段的尾关节点相应权值较大，而较短骨架线段的尾关节点权值较小，基准点j1对应的w1为0，其他权值的计算见下式：
Figure QLYQS_1
根据所述模板动作和待测试动作，以及所述自适应权重值，计算所述待测试动作和所述模板动作间的相似度；具体包括首先，计算t和a中对应关节点的距离
Figure QLYQS_2
Figure QLYQS_3
再将各个距离按照以上权重计算汇总距离D(t，a)：
Figure QLYQS_4
D是一个大于等于0的数，且数值越大，对应的动作相似度越小；参考Sigmoid函数，ε是预设Kinect误差因子，距离D(t，a)和相似度S(t，a)的关系：
Figure QLYQS_5
至此，求出测试动作和模板动作的相似度S(t，a)。
2.如权利要求1所述的一种人体动作相似度计算方法，其特征在于，获取人体骨架深度数据，具体包括：
建立拍摄空间，利用Kinect体感设备拍摄；
根据拍摄的人体骨架结果，对人体骨架关节点进行编号。
3.如权利要求1所述的一种人体动作相似度计算方法，其特征在于，根据所述人体骨架线段信息，对待测试动作中的人体骨架关节点进行自适应调整，具体包括：
计算模板动作中各条骨架线段的长度；
计算待测试动作中各条骨架线段的长度；
根据待测试动作中人体各条骨架线段长度和模板动作中人体各条骨架线段的长度，调整待测试动作中各条骨架线段的末尾关节点的空间坐标数值；
对变换后的关节点坐标数据进行平移，使待测试动作棘肌关节点与模板动作棘肌关节点位置重合。
4.一种人体动作相似度计算装置，其特征在于，包括：
获取模块，用于获取人体骨架深度数据、测试动作和模板动作；
转换模块，用于将获取的所述骨架深度数据转换成空间三维坐标数据；
定义模块，用于根据所述空间三维坐标数据，定义人体骨架线段信息；
调整模块，用于根据所述人体骨架线段信息，对待测试动作中的人体骨架关节点进行自适应调整；
计算模块，用于根据自适应调整得到的数据，计算自适应权重值，然后根据所述自适应权值计算待测试动作和所述模板动作之间的相似度，具体包括：
第三计算单元，用于根据待测试动作中人体各条骨架线段长度、模板动作中人体各条骨架线段的长度、所述人体骨架线段信息、平移后的所述关节点坐标，计算自适应权重值；其中，权重自适应取值的原理是待测试动作中较长骨架线段的尾关节点相应权值较大，而较短骨架线段的尾关节点权值较小，基准点j1对应的w1为0，其他权值的计算见下式：
Figure QLYQS_6
第四计算单元，用于根据所述模板动作和待测试动作，以及所述自适应权重值，计算所述待测试动作和所述模板动作间的相似度；具体包括首先，计算t和a中对应关节点的距离
Figure QLYQS_7
Figure QLYQS_8
再将各个距离按照以上权重计算汇总距离D(t，a)：
Figure QLYQS_9
D是一个大于等于0的数，且数值越大，对应的动作相似度越小；参考Sigmoid函数，ε是预设Kinect误差因子，距离D(t，a)和相似度S(t，a)的关系：
Figure QLYQS_10
至此，求出测试动作和模板动作的相似度S(t，a)。
5.如权利要求4所述的一种人体动作相似度计算装置，其特征在于，所述获取模块包括：
拍摄单元，用于建立拍摄空间，利用Kinect体感设备拍摄；
编号单元，用于根据拍摄的人体骨架结果，对人体骨架关节点进行编号。
6.如权利要求4所述的一种人体动作相似度计算装置，其特征在于，所述调整模块包括：
第一计算单元，用于计算模板动作中各条骨架线段的长度；
第二计算单元，用于计算待测试动作中各条骨架线段的长度；
调整单元，用于根据待测试动作中人体各条骨架线段长度和模板动作中人体各条骨架线段的长度，调整待测试动作中各条骨架线段的末尾关节点的空间坐标数值；
平移单元，用于对变换后的关节点坐标数据进行平移，使待测试动作棘肌关节点与模板动作棘肌关节点位置重合。
7.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时，实现如权利要求1-3中任一项所述的方法。
8.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序使计算机执行时实现如权利要求1-3中任一项所述的一种人体动作相似度计算方法。
CN201910338737.7A 2019-04-25 2019-04-25 一种人体动作相似度计算方法及装置 Active CN110175629B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910338737.7A CN110175629B (zh) 2019-04-25 2019-04-25 一种人体动作相似度计算方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910338737.7A CN110175629B (zh) 2019-04-25 2019-04-25 一种人体动作相似度计算方法及装置

Publications (2)

Publication Number Publication Date
CN110175629A CN110175629A (zh) 2019-08-27
CN110175629B true CN110175629B (zh) 2023-05-23

Family

ID=67690124

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910338737.7A Active CN110175629B (zh) 2019-04-25 2019-04-25 一种人体动作相似度计算方法及装置

Country Status (1)

Country Link
CN (1) CN110175629B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114758286B (zh) * 2022-06-15 2022-10-28 杭州智现科技有限公司 基于工作票事件的边缘智能安全监测方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105512621A (zh) * 2015-11-30 2016-04-20 华南理工大学 一种基于Kinect的羽毛球动作指导系统
CN106650619A (zh) * 2016-11-15 2017-05-10 上海师范大学 一种人体动作识别方法
CN108537284A (zh) * 2018-04-13 2018-09-14 东莞松山湖国际机器人研究院有限公司 基于计算机视觉深度学习算法的姿态评估打分方法和系统
CN108985227A (zh) * 2018-07-16 2018-12-11 杭州电子科技大学 一种基于空间三角平面特征的动作描述与评价方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105512621A (zh) * 2015-11-30 2016-04-20 华南理工大学 一种基于Kinect的羽毛球动作指导系统
CN106650619A (zh) * 2016-11-15 2017-05-10 上海师范大学 一种人体动作识别方法
CN108537284A (zh) * 2018-04-13 2018-09-14 东莞松山湖国际机器人研究院有限公司 基于计算机视觉深度学习算法的姿态评估打分方法和系统
CN108985227A (zh) * 2018-07-16 2018-12-11 杭州电子科技大学 一种基于空间三角平面特征的动作描述与评价方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
"Self-adaptive games for rehabilitation at home";Michele Pirovano等;《2012 IEEE Conference on Computation Intelligence and Games》;20120612;第1-6页 *
"单目视频人体运动跟踪和获取技术研究";陈坚;《中国优秀博硕士学位论文全文数据库 (博士) 信息科技辑》;20050815(第04期);I138-20 *
"基于关节点的Kinect近景人体运动分析";韩权;《中国优秀硕士学位论文全文数据库 信息科技辑》;20180615(第06期);I138-1317 *
"基于自适应关节权重和插值小波的体感动作评价方法研究";汪成峰;《中国博士学位论文全文数据库 信息科技辑》;20160815(第08期);I138-52 *

Also Published As

Publication number Publication date
CN110175629A (zh) 2019-08-27

Similar Documents

Publication Publication Date Title
WO2021103648A1 (zh) 手部关键点检测方法、手势识别方法及相关装置
CN109636831B (zh) 一种估计三维人体姿态及手部信息的方法
CN108062536B (zh) 一种检测方法及装置、计算机存储介质
JP7015152B2 (ja) キーポイントデータに関する加工装置、方法及びプログラム
CN113362452B (zh) 一种手部姿态三维重建方法、装置及存储介质
CN112069933A (zh) 基于体态识别和人体生物力学的骨骼肌肉受力估计方法
Ding et al. STFC: Spatio-temporal feature chain for skeleton-based human action recognition
CN104035557B (zh) 一种基于关节活跃度的Kinect动作识别方法
CN110163113B (zh) 一种人体行为相似度计算方法及装置
CN104376309B (zh) 一种基于手势识别的手势运动基元模型结构化方法
Zhang et al. GPU-accelerated real-time tracking of full-body motion with multi-layer search
CN111862299A (zh) 人体三维模型构建方法、装置、机器人和存储介质
CN112379773B (zh) 多人三维动作捕捉方法、存储介质及电子设备
WO2022227664A1 (zh) 机器人姿态的控制方法、机器人、存储介质及计算机程序
CN111652047A (zh) 基于彩色图和深度图的人体姿势识别方法及存储介质
Cao et al. Human posture recognition using skeleton and depth information
KR20140019950A (ko) 단말기의 모노 카메라에 입력된 손가락 영상을 이용한 3차원 좌표 생성 방법 및 모노 카메라에 입력된 손가락 영상을 이용하여 3차원 좌표를 생성하는 이동 단말기
CN112507880A (zh) 模型训练方法、洗手行为检测方法、装置、设备及介质
CN110175629B (zh) 一种人体动作相似度计算方法及装置
Xu et al. 3D joints estimation of the human body in single-frame point cloud
US20230401740A1 (en) Data processing method and apparatus, and device and medium
Xu et al. A novel method for hand posture recognition based on depth information descriptor
CN112712030A (zh) 三维姿态信息还原方法及装置
CN112699784A (zh) 一种人脸朝向估计方法、装置、电子设备及存储介质
CN115223240B (zh) 基于动态时间规整算法的运动实时计数方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant