CN110163113A - 一种人体行为相似度计算方法及装置 - Google Patents

Abstract

本发明公开了一种人体行为相似度计算方法及装置，其中方法，包括以下步骤：获取人体骨架深度数据、待测试行为和模板行为；将获取的人体骨架深度数据转换成空间三维坐标数据；根据空间三维坐标数据，对待测试行为和模板行为进行动态时间规整，得到最优路径；利用曲线拟合对最优路径进行修正；根据修正的最优路径，计算待测试行为和模板行为间的相似度。本发明公开的一种人体行为相似度计算方法处理数据覆盖面广、准确度高的结合曲线拟合和动态时间规整。

Description

一种人体行为相似度计算方法及装置

技术领域

本发明涉及图像处理、人体姿态识别等领域，尤其涉及一种人体行为相似度计算方法及装置。

背景技术

人体行为识别，是从未知信息中自动分析并识别行为，是计算机视觉的热门研究方向之一，该研究领域囊括了诸多学科：信号处理、模式识别、机器学习、神经生理学、心理学等，其研究成果广泛应用于人机交互、智能视频监控、虚拟现实、运动行为分析、眼球跟踪等。

人体行为识别的研究目标是使计算机视觉逼近甚至达到人眼的识别功能。由于人眼可以在极其复杂的场景中获得有效信息，即使发生一个简易的动作，人眼也能生成多种识别可能，而利用计算机来自动完成人体行为的识别是一项艰巨任务。

人体行为原始数据的传统获取方式可归为两种：①基于可穿戴设备的方式，在不同的设备上安装不同的传感器，放在人体不同的部位获取数据。缺点：接触式、操作不便、成本高昂；②基于视觉的方式，利用仪器获得数字图像并处理。缺点：精度低，易受光照等影响。

以往的研究者主要对二维图像和视频序列等采用图像处理和分析算法。由于二维图像和视频易受光照和阴影等影响，导致目标识别不稳定，从而给识别准确率带来较大挑战。由于从二维图像中较难提取其三维信息，因此，在人体行为识别的研究中，使用图像的深度数据现已成为热点。

微软在2009年推出的Kinect体感设备，具有深度感知和人体关节点识别能力，可以有效避免光照等环境因素的影响。该设备通过非接触式获取的数据精度高、占用内存小，且设备成本低，为人体行为识别研究提供了更好的数据来源。

近年来，Kinect被广泛应用于人体行为识别领域。出现了一系列结合Kinect数据进行人体行为识别的算法。韩旭利用Kinect关节点深度数据，结合BP神经网络和动态时间规整(DTW)算法对行为进行分类，其中DTW算法的运用不能解决时间差过大的问题。薛智宏利用Kinect进行原地辅助训练，但无法解决人体位置变换的问题，且DTW规划的路径不平滑。

因此，本领域的技术人员致力于开发一种处理数据覆盖面广、准确度高的结合曲线拟合和动态时间规整的人体行为相似度计算方法。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是针对现有技术中，对人体行为识别时精度低、容易受光照和阴影的影响以及覆盖面不广等问题，开发一种处理数据覆盖面广、准确度高的结合曲线拟合和动态时间规整的人体行为相似度计算方法。

为实现上述目的，本发明公开一实施例提供了一种人体行为相似度计算方法，包括以下步骤：

获取人体骨架深度数据、待测试行为和模板行为；

将获取的人体骨架深度数据转换成空间三维坐标数据；

根据空间三维坐标数据，对待测试行为和模板行为进行动态时间规整，得到最优路径；

利用曲线拟合对最优路径进行修正；

根据修正的最优路径，计算待测试行为和模板行为间的相似度。

进一步地，获取人体骨架深度数据具体为，

建立拍摄空间，利用Kinect体感设备拍摄；

根据拍摄的人体骨架结果，对人体骨架关节点进行编号。

进一步地，对待测试行为和模板行为进行动态时间规整，得到最优路径，具体包括：

计算待测行为中的待测试动作和模板行为中的模板动作的相似度；

计算待测行为中的待测试动作和模板行为中的模板动作的距离；

使用动态时间规整算法得到最优路径，使得模板行为中的每一个动作唯一对应待测试行为中的某一个动作。

进一步地，利用曲线拟合对最优路径进行修正，具体包括：

利用最小二乘法，对最优路径进行曲线拟合；

根据曲线拟合结果，对最优路径进行修正，并重新确定起点和终点，使得其中待测试行为中的每一个动作唯一对应模板行为中的某一个动作。

本发明公开提供了一种人体行为相似度计算装置，包括：

获取模块，用于获取人体骨架深度数据、待测试行为和模板行为；

转换模块，用于将获取的人体骨架深度数据转换成空间三维坐标数据；

调整模块，用于根据空间三维坐标数据，对待测试行为和模板行为进行动态时间规整，得到最优路径；

修正模块，用于利用曲线拟合对最优路径进行修正；

计算模块，用于根据修正的最优路径，计算待测试行为和模板行为间的相似度。

进一步地，获取模块包括：

拍摄单元，用于建立拍摄空间，利用Kinect体感设备拍摄；

编号单元，用于根据拍摄的人体骨架结果，对人体骨架关节点进行编号。

进一步地，调整模块包括：

相似度计算单元，用于计算待测行为中的待测试动作和模板行为中的模板动作的相似度；

距离计算单元，用于计算待测行为中的待测试动作和模板行为中的模板动作的距离；

调整单元，用于使用动态时间规整算法得到最优路径，使得模板行为中的每一个动作唯一对应待测试行为中的某一个动作。

进一步地，修正模块包括：

拟合单元，用于利用最小二乘法，对最优路径进行曲线拟合；

修正单元，用于根据曲线拟合结果，对最优路径进行修正，并重新确定起点和终点，使得其中待测试行为中的每一个动作唯一对应模板行为中的某一个动作。

本发明公开提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时，实现如上述中任一项的方法。

本发明公开提供了一种存储有计算机程序的计算机可读存储介质，计算机程序使计算机执行时实现如上述中任一项的一种人体行为相似度计算方法。

技术效果

与现有行为相似度计算方法相比，本发明利用深度数据采集设备采集人体骨架关节点，并将关节点的三维坐标作为输入数据，从而简化了输入数据的复杂度；利用动态时间规整算法，解决了行为时间长度不一的问题；利用最小二乘法对动态时间规整路径进行修正，使规整路径更平滑；判别出待测试行为和模板行为的行为起点、终点不一致问题，并修正了该问题。该方法的行为相似度结果更符合实际观测效果。

以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明的一个较佳实施例的一种人体行为相似度计算方法的流程图；

图2是本发明的一个较佳实施例的一种人体行为相似度计算方法的人体25处关节点，每处详细编号和位置；

图3是常见DTW路径示例；

图4是本发明的一个较佳实施例的一种人体行为相似度计算方法的志愿者模板行为和待测试行为DTW规整路径；

图5是本发明的一个较佳实施例的一种人体行为相似度计算方法的DTW路径最小二乘法曲线拟合结果；

图6是本发明的一个较佳实施例的一种人体行为相似度计算方法的根据曲线拟合选取DTW点；

图7是本发明的一个较佳实施例的一种人体行为相似度计算方法的DTW修正结果；

图8是本发明的一个较佳实施例的一种人体行为相似度计算方法的行为相似度求解过程中DTW修正对比。

具体实施方式

为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

以下描述中，为了说明而不是为了限定，提出了诸如特定内部程序、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

实施例一

本发明公开一实施例提供了一种人体行为相似度计算方法，包括以下步骤：

步骤100，获取人体骨架深度数据、待测试行为和模板行为；

步骤200，将获取的人体骨架深度数据转换成空间三维坐标数据；

步骤300，根据空间三维坐标数据，对待测试行为和模板行为进行动态时间规整，得到最优路径；

步骤400，利用曲线拟合对最优路径进行修正；

步骤500，根据修正的最优路径，计算待测试行为和模板行为间的相似度。

其中，步骤100中，获取人体骨架深度数据具体为，

步骤101，建立拍摄空间，利用Kinect体感设备拍摄；

步骤102，根据拍摄的人体骨架结果，对人体骨架关节点进行编号。

具体的，采集所述人体骨架深度数据要求在符合拍摄的空间条件下，利用Kinect体感设备拍摄。被摄人体限制在距离Kinect体感设备0.4-3米，如距离Kinect体感设备0.8-2.5米处则效果更优。人体骨架关节点数据共25处，其中关节编号和对应关节点：0，SpineBase/纺基；1，SpineMid/棘肌；2，Neck/脖子；3，Head/头；4，ShoulderLeft/左肩；5，ElbowLeft/左肘；6，WristLeft/左腕；7，HandLeft/左手；8，ShoulderRight/右肩；9，ElbowRight/右肘；10，WristRight/右腕；11，HandRight/右手；12，HipLeft/左髋；13，KneeLeft/左膝；14，Ankleleft/左踝；15，FootLeft/左脚；16，HipRight/右髋；17，KneeRight/右膝；18，ankleright/右踝；19，FootRight/右脚；20，SpineShoulder/肩脊柱；21，handtipleft/左手尖；22，ThumbLeft/左拇指；23，HandTipRight/右手尖；24，ThumbRight/右拇指。

本实施例中，在普通光照条件下，利用Kinect体感设备拍摄人体正面图像；要求简化图像背景复杂度，被拍摄者衣着颜色与背景颜色对比较明显；采集过程中要求被拍摄者做一些动作。物理限制在距离Kinect体感设备0.4-3米，比较舒适的在距离Kinect体感设备0.8-2.5米处。如图2所示，是人体25处关节点，每处详细编号和位置。

实验选取“敬军礼”行为，后面以此行为进行详细讲解。其中模板行为包含32个连续动作，待测试行为包含19个连续动作。为演示修正算法，待测试行为的动作不是正常起点动作。

其中，步骤200中，将骨架深度数据转换成空间三维坐标数据，Kienct体感设备获取的深度关节点数据转换过程可以调用Kinect for Windows SDK v2.0提供的映射函数MapCameraPointToColorSpace，如果是别种设备取得的深度信息，可用设备对应提供的转换函数。

本例实验用的是微软Kinect体感设备，数据转换过程调用Kinect for WindowsSDK v2.0提供的映射函数MapCameraPointToColorSpace，如是别种设备取得的深度信息，可用设备对应提供的转换函数。

现给出转换结果，因在实际计算过程中发现，不考虑Z轴信息对结果影响很小，为节约计算量，没有计算Z轴信息。下面关节编号和上述关节编号一致，模板行为包含的32个连续动作转换结果。因数据量较大，仅给出模板第0个动作和第1个动作为示例，见下表：

模板行为第0个动作

模板行为第1个动作

待测试行为包含的19个连续动作转换结果。因数据量较大，仅给出待测试第0个动作和第1个动作为示例见下表：

待测试行为第0个动作

待测试行为第1个动作

步骤300中，对待测试行为和模板行为进行动态时间规整，得到最优路径，具体包括：

步骤301，计算待测行为中的待测试动作和模板行为中的模板动作的相似度；

具体为：

步骤301-1，分别提取待测试行为中的一个动作(以下统称待测试动作)和模板行为中的一个动作(以下统称模板动作)；

所定义的动作包含人体25个关节点数据，关节点记为J，表示为：

J＝(j₀,j₁,j₂…,j₂₃,j₂₄)

每个关节点的位置包括x,y,z三个方向维度，记为j_i，表示为:

j_i＝(x_i,y_i,z_i,i∈[0,24]

模板动作的25个关节点记为t，表示为：

待检测动作的25个关节点，记为a，表示为：

模板行为记为T，共包括m条动作，其中t_i表示模板中第(i+1)条动作的25个关节点信息，T表示为：

T＝(t₀,t₁,t₂,…,t_m-1)

待检测行为记为A，共包括n条动作信息，其中a_i表示待检测行为中第(i+1)条动作的25个关节点信息，A表示为：

A＝(a₀,a₁,a₂,…,a_n-1)

步骤301-2，对待测试动作中的25个关节点数据进行整体平移，使待测试动作的棘肌关节点和模板动作的棘肌关节点重合。

待测试动作和模板动作位置不同，不利于相似度计算，因此要使待测试动作与模板动作的棘肌关节点位置重合。选取模板动作t中的脊椎点作为基准点，使a中的脊椎点平移到位置，a中的其他关节点做和平移路径一样的平移动作。平移过程：

本实验中计算的对应三轴的移动距离是(5.5，0.75，0)。然后根据这个移动距离对待测试各个动作进行移动。

步骤302，计算待测行为中的待测试动作和模板行为中的模板动作的距离；

计算t和a中对应关节点的距离

将各个距离汇总距离D(t,a)：

步骤303，使用动态时间规整算法得到最优路径，使得模板行为中的每一个动作唯一对应待测试行为中的某一个动作。

因上述步骤200只给出模板和待测试行为的第0和第1个动作，用这些数据仅能算出四个距离值：D(t₀，a₀)，D(t₀，a₁)，D(t₁，a₀)，D(t₁，a₁)。实验中模板行为32个动作和待测试行为19个动作的其他距离值同理计算可得，因后续计算需要用到这些数据，所以放在下表中。表纵列的编号是待测试动作编号，横列编号是模板动作编号，中间数值为模板和待测试动作距离值。具体见下表：

距离值表1

距离值表2

距离值表3

距离值表4

利用步骤302中方法计算得到待测试行为中所有动作与模板行为中所有动作的距离。模板行为中31个动作，待测试行为中19个动作，计算出共608个距离数值，对应图4中的每一个小黑点。

用动态时间规整算法得到最优路径，使得模板行为中的每一个动作唯一对应待测试行为中的某一个动作。

其中，步骤302、步骤303还包括：

待测试行为A和模板行为T各个动作之间的距离信息映射到二维坐标系的第一象限，横轴表示待测试行为A的n个动作，纵轴表示模板行为T的m个动作，共构成m*n个网格坐标点。坐标点(c，r)代表A中第c条动作信息和T中第r条动作信息的距离差值D(a_c，t_r)，其中，c∈[0，n-1]，r∈[0，m-1]。

为了让A中每条动作对应T中唯一的一条动作信息，需要从网格点上找到坐标点(0，0)到点(n-1，m-1)的最优路径，使T和A的距离最小。设该条最优路径由n个坐标点P_i(i，r_i)构成，其中，i∈[0，n-1]，r_i∈[0，m-1]，r_i表示A中的第i条动作与T中的第r_i条动作对应，即P_i(i，r_i)代表A中的第i条动作与T中的第r_i条动作之间的距离D(i，r_i)。

利用上述动态时间规整后的路径应符合如下要求：

1.单调性：r_i≥r_i-1，0≤r_i≤m-1。

2.起点P₀(0，r₀)必须是(0，0)，终点P_n-1(n-1，r_n-1)必须是(n-1，m-1)。

3.步长约束：r_i-r_i-1≥0。

DTW算法存在两种情况：当n＝m时，依次计算坐标点P(1，1)，P(2，2)，...，P(n，n)对应的距离值累加求和即可；当n≠m时，需计算DTW规划路径上的坐标点对应的待测试信息和模板信息的距离值，并累加求和。根据Kinect实际情况，即使n＝m也存在连续行为中动作快慢的问题，因此并不能直接依次计算对应距离和，也应对路线进行规划。

在一些利用DTW的算法里，会建议将DTW路径斜率控制在0.5-2之间，但是人体行为中，并不能按照这样来做。因为行为包含的动作组，根据当事人行为的快慢和设备采集的频率不统计，造成动作组之间动作数目差距过大是很常见的事。放开路径的斜率也为后面的研究提供了更加开放的信息源。

DTW规划出的路径，经常会出现一些问题，比如图3中(1)所示的是常见DTW路径。根据DTW原理，在该路径上面，一个横坐标对应唯一的纵坐标，但是纵坐标则可能对应多个横坐标，例如图3中(2)的加粗部分，所以应该对此部分进行修正才能更好的适应行为相似度计算。

对所有路径及这些路径中的所有节点进行匹配计算，导致计算量极大，通过动态规划可以极大的缩减计算量。

匹配结果见下表，表中纵列编号是待测试动作编号，横向编号是模板动作编号。表中数值1代表DTW选择的路径点：

DTW路径选择点表1

DTW路径选择点表2

DTW路径选择点表3

DTW路径选择点表4

路径匹配后，DTW规划出一条最优路径。图4是模板行为和待测试行为DTW规整路径的示意图。

进一步地，步骤400，利用曲线拟合对最优路径进行修正，具体包括：

步骤401，利用最小二乘法，对最优路径进行曲线拟合；

根据曲线拟合结果，对步骤300中的最优路径进行修正，并重新确定起点和终点，使得其中待测试行为中的每一个动作唯一对应模板行为中的某一个动作。

最小二乘法(又称最小平方法)是一种数学优化技术。通过最小化误差的平方和寻找数据的最佳函数匹配，进行曲线拟合。

对给定数据点集合{(x_i，y_i)}(i＝0，1，2，...，m)，在确定的函数类中，求使误差的平方和E²，见公式：

E²＝∑[p(x_i-y_i)]²

从几何意义上讲，就是寻求与给定点集{(x_i，y_i)}(i＝0，1，2，...，m)的距离平方和为最小的曲线y＝p(x)。函数p(x)称为拟合函数或最小二乘结，求拟合函数p(x)的方法称为曲线拟合的最小二乘法。

最小二乘法的矩阵形式见公式：

Ax＝b

其中A为n×k的矩阵，x为k×1的列向量，b为n×1的列向量。如果n＞k(方程的个数大于未知量的个数)，这个方程系统称为矛盾方程组(Over Determined System)，如果n＜k(方程的个数小于未知量的个数)，这个系统就是Under Determined System。

假设给定数据点(x_i，y_i)(i＝0，1，...，m)，Φ为所有次数不超过n(n≤m)多项式构成的函数类，现求p_n(x)，见公式：

求得I，见公式：

当拟合函数为多项式时，称为多项式拟合，满足上式的p_n(x)称为最小二乘拟合多项式。特别的，当n＝1时，称为线性拟合或直线拟合。

显然，得出I，见公式：

是a₀，a₁，a₂，...，a_n的多元函数，因此上述问题即为求I＝I(a₀，a₁，...，a_n)的极值问题。由多元函数求极值的必要条件，见公式：

上式是关于a₀，a₁，...，a_n的线性方程组，用矩阵表示见公式：

方程组的系数矩阵是一个对称正定矩阵，故存在唯一解。可以解出a_k(k＝0，1，...，n，pnx从而可得，见公式：

图5是DTW路径最小二乘法曲线拟合结果。曲线拟合的最高次方选择，实验中测试2-4属于最佳区间。本次做的三次方曲线拟合，拟合结果三次系数为0.0081，二次系数为-0.2480，一次系数为3.3774，偏置值为4.8024。

步骤402，根据曲线拟合结果，对最优路径进行修正，并重新确定起点和终点，使得其中待测试行为中的每一个动作唯一对应模板行为中的某一个动作。

根据步骤四中的修正路径，计算待测试行为中的每一个动作和唯一对应的模板行为中某一个动作间的相似度，最后计算待测试行为和模板行为的行为相似度。

依据修正路径，将路径上各个点的距离值求和并取均值，得到T和A的距离D(T，A)：

其中，D(i，r′_i)表示按修正路径，待测试行为中的第i个动作与模板行为中第r′_i个动作间的距离。

在行为相似度的计算中，引入Sigmoid函数，α是预设误差因子，则模板行为T和待检测行为A之间的相似度S(T，A)按下式计算：

对于检测到待测试行为和模板行为起点或者终点不一的，还要进行下面一步。假设曲线拟合后修正的路线中待测试行为起点对应模板的第a个动作，待测试行为终点对应模板的第b个动作，则模板行为T和待检测行为A的相似度：

至此，求出测试行为和模板行为的相似度S(T，A)，其中，S(T，A)的范围在(0，1)之间。

根据曲线拟合结果，对上述图4的DTW规整路径进行修正，使得其中待测试行为中的每一个动作唯一的对应模板行为中的某一个动作信息。修正原理是如果一个待测试动作对应多个模板动作的情况下，拟合的曲线经过的地方作为最终结果，其中有二种特殊情况：①如果该种情况下没有拟合曲线经过，则取距离拟合曲线最近的点作为最终结果；②如果待测试行为和模板行为的起点不统一，该种情况下起点或者终点一定没有拟合曲线经过，且距拟合曲线距离过大，则可以重新确定线段的起点或者终点，使起点不是(0，0)或者终点不是(m-1，n-1)，确定的起点为曲线拟合的起点。这样可以达到待测试动作唯一对应一个模板动作。

实验中实测发现，建议距离过大判定设置范围是3-10。本次设置实际值和拟合值差值大于4则判定为距离过大。修正后的路径点坐标依次是：(0，5)，(1，12)，(2，13)，(3，14)，(4，15)，(5，16)，(6，17)，(7，18)，(8，20)，(9，21)，(10，21)，(11，22)，(12，23)，(13，25)，(14，27)，(15，28)，(16，29)，(17，30)，(18，31)。图6是根据曲线拟合选取DTW点的结果示意图。

然后将选取的结果连接起来，当作修正后的路径。图7是DTW修正后的路径结果。为了更加直观显示对DTW路径修正的结果，图8表示出了行为相似度求解过程中DTW修正对比。

步骤500，根据修正的最优路径，计算待测试行为和模板行为间的相似度。

对待测试行为和模板行为进行行为相似度计算时，根据上述的修正路径，计算待测试行为中的每一个动作和唯一对应的模板行为中某一个动作间的相似度。然后计算待测试行为和模板行为的行为相似度。

依据修正后的DTW路径，将路径上各个点的距离值求出来，汇总并取均值，得到T和A的距离D(T,A),：

其中，D(i，r′_i)表示按修正路径，待测试行为中的第i个动作与模板行为中第r′_i个动作间的距离。

实验中结果D(T,A)值为317.33。

行为相似度的计算参考动作相似度的计算，引入Sigmoid函数，α是预设误差因子(建议选取2000-5000)，模板行为T和待检测行为A的相似度计算：

实验中误差因子选用3000，结果S(T,A)值为94.7％，相较于不修正之前的值是86.3％，本次修正效果较好。

对于检测到待测试行为和模板行为起点或者终点不一的，还要处理一步。假设曲线拟合后修正的路线中待测试行为起点对应模板的第a个动作，待测试行为终点对应模板的第b个动作，则模板行为T和待检测行为A的相似度：

在该实验中，本方法可以判别出起点和终点的不同，由于起点判定由5开始，所以结果求得的行为相似度是79.9％，相比较不修正之前的94.7％，本方法的相似度更符合观感和志愿者本人感受。

至此，求出测试行为和模板行为的相似度。

在行为相似度的算法中，首先对模板行为的每一个动作信息和待测试行为的每一个动作信息求距离，然后用DTW算法规划匹配路径，并对DTW路径进行修正。后续实验随机选取60组不同人不同行为的信息，改进DTW算法路径后，相比改进前行为相似度结果数值的方差减小10.5％。

因此，利用本实施例的方法可以快速简便的求解站位不同，个体不同，行为不同、行为时间差过大的行为相似度，并且结果误差小，更符合观测结果，是一种高效简便的人体行为相似度计算方法。

本实施例的技术效果是：与现有行为相似度计算方法相比，本发明利用深度数据采集设备采集人体骨架关节点，并将关节点的三维坐标作为输入数据，从而简化了输入数据的复杂度；利用动态时间规整算法，解决了行为时间长度不一的问题；利用最小二乘法对动态时间规整路径进行修正，使规整路径更平滑；判别出待测试行为和模板行为的行为起点、终点不一致问题，并修正了该问题。该方法的行为相似度结果更符合实际观测效果。

实施例二

本发明公开提供了一种人体行为相似度计算装置，包括：

获取模块，用于获取人体骨架深度数据、待测试行为和模板行为；

转换模块，用于将获取的人体骨架深度数据转换成空间三维坐标数据；

调整模块，用于根据空间三维坐标数据，对待测试行为和模板行为进行动态时间规整，得到最优路径；

修正模块，用于利用曲线拟合对最优路径进行修正；

计算模块，用于根据修正的最优路径，计算待测试行为和模板行为间的相似度。

进一步地，获取模块包括：

拍摄单元，用于建立拍摄空间，利用Kinect体感设备拍摄；

编号单元，用于根据拍摄的人体骨架结果，对人体骨架关节点进行编号。

进一步地，调整模块包括：

相似度计算单元，用于计算待测行为中的待测试动作和模板行为中的模板动作的相似度；

距离计算单元，用于计算待测行为中的待测试动作和模板行为中的模板动作的距离；

调整单元，用于使用动态时间规整算法得到最优路径，使得模板行为中的每一个动作唯一对应待测试行为中的某一个动作。

进一步地，修正模块包括：

拟合单元，用于利用最小二乘法，对最优路径进行曲线拟合；

修正单元，用于根据曲线拟合结果，对最优路径进行修正，并重新确定起点和终点，使得其中待测试行为中的每一个动作唯一对应模板行为中的某一个动作。

本实施例的装置用于实现实施例一的一种人体行为相似度计算方法，其具体实现过程同实施例一，此处将不在赘述。

实施例三

本发明实施例五提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时，实现上述任一项的方法。

该实施例的计算机设备包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，例如资源发放程序。所述处理器执行所述计算机程序时实现上述各个人体行为相似度计算方法实施例中的步骤。或者，所述处理器执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能。

示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述计算机设备中的执行过程。

所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可包括，但不仅限于，处理器、存储器。

所述处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器可以是所述计算机设备的内部存储单元，例如计算机设备的硬盘或内存。所述存储器也可以是所述计算机设备的外部存储设备，例如所述计算机设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器还可以既包括所述计算机设备的内部存储单元也包括外部存储设备。所述存储器用于存储所述计算机程序以及所述计算机设备所需的其他程序和数据。所述存储器还可以用于暂时地存储已经输出或者将要输出的数据。

本发明实施例还提供了一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序使计算机执行时实现上述任一项所述的人体行为相似度计算方法。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种人体行为相似度计算方法，其特征在于，包括以下步骤：

获取人体骨架深度数据、待测试行为和模板行为；

将获取的所述人体骨架深度数据转换成空间三维坐标数据；

根据所述空间三维坐标数据，对所述待测试行为和所述模板行为进行动态时间规整，得到最优路径；

利用曲线拟合对所述最优路径进行修正；

根据修正的最优路径，计算待测试行为和模板行为间的相似度。

2.如权利要求1所述的一种人体行为相似度计算方法，其特征在于，所述获取人体骨架深度数据具体为，

建立拍摄空间，利用Kinect体感设备拍摄；

根据拍摄的人体骨架结果，对人体骨架关节点进行编号。

3.如权利要求1所述的一种人体行为相似度计算方法，其特征在于，对所述待测试行为和所述模板行为进行动态时间规整，得到最优路径，具体包括：

计算所述待测行为中的待测试动作和所述模板行为中的模板动作的相似度；

计算所述待测行为中的待测试动作和所述模板行为中的模板动作的距离；

使用动态时间规整算法得到最优路径，使得模板行为中的每一个动作唯一对应待测试行为中的某一个动作。

4.如权利要求1所述的一种人体行为相似度计算方法，其特征在于，利用曲线拟合对所述最优路径进行修正，具体包括：

利用最小二乘法，对所述最优路径进行曲线拟合；

根据曲线拟合结果，对所述最优路径进行修正，并重新确定起点和终点，使得其中待测试行为中的每一个动作唯一对应模板行为中的某一个动作。

5.一种人体行为相似度计算装置，其特征在于，包括：

获取模块，用于获取人体骨架深度数据、待测试行为和模板行为；

转换模块，用于将获取的所述人体骨架深度数据转换成空间三维坐标数据；

调整模块，用于根据所述空间三维坐标数据，对所述待测试行为和所述模板行为进行动态时间规整，得到最优路径；

修正模块，用于利用曲线拟合对所述最优路径进行修正；

计算模块，用于根据修正的最优路径，计算待测试行为和模板行为间的相似度。

6.如权利要求5所述的一种人体行为相似度计算装置，其特征在于，所述获取模块包括：

拍摄单元，用于建立拍摄空间，利用Kinect体感设备拍摄；

编号单元，用于根据拍摄的人体骨架结果，对人体骨架关节点进行编号。

7.如权利要求5所述的一种人体行为相似度计算装置，其特征在于，调整模块包括：

相似度计算单元，用于计算所述待测行为中的待测试动作和所述模板行为中的模板动作的相似度；

距离计算单元，用于计算所述待测行为中的待测试动作和所述模板行为中的模板动作的距离；

调整单元，用于使用动态时间规整算法得到最优路径，使得模板行为中的每一个动作唯一对应待测试行为中的某一个动作。

8.如权利要求5所述的一种人体行为相似度计算装置，其特征在于，所述修正模块包括：

拟合单元，用于利用最小二乘法，对所述最优路径进行曲线拟合；

修正单元，用于根据曲线拟合结果，对所述最优路径进行修正，并重新确定起点和终点，使得其中待测试行为中的每一个动作唯一对应模板行为中的某一个动作。

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时，实现如权利要求1-4中任一项所述的方法。

10.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序使计算机执行时实现如权利要求1-4中任一项所述的一种人体行为相似度计算方法。