CN112307854A - 人体动作识别方法、装置、设备和存储介质 - Google Patents

Abstract

本发明实施例公开了一种人体动作识别方法、装置、设备和存储介质，应用于图像识别领域。所述方法包括：获得图像的光流场以及所述图像中每个像素点的梯度幅值；基于所述梯度幅值对所述光流场进行加权处理，获得加权光流场；基于所述加权光流场中表征每个像素点的光流方向的参数确定目标运动方向，基于所述目标运动方向确定运动区域；提取所述运动区域中的运动特征，利用提取出的运动特征识别动作，本实施例采用的技术方案能够有效降低光流对背景干扰和光照的影响，从而提高识别率并大大减少数据计算量。

Description

人体动作识别方法、装置、设备和存储介质

技术领域

本发明涉及图像识别领域，特别涉及一种人体动作识别方法、装置、设备和存储介质。

背景技术

近年来，一些研究机构密切关注国际前沿在人体动作识别领域的发展趋势，并获取了该领域的相当大的研究成果，主要集中在运动区域检测、行为建模以及分类识别算法三个方向。在区域检测方面，常用光流法，其反映的是时空领域中物体在极短时间内的变化，是根据图像序列里的像素在相邻帧间的相关性以及时域变化来计算相邻帧之间目标的运动信息，进而进行特征提取与分类识别，但光流法对背景干扰和光照敏感，且计算量较大不能应用于实时监控。如何解决该问题，目前尚无有效解决方案。

发明内容

有鉴于此，本发明实施例期望提供一种人体动作识别方法、装置、设备和存储介质。

本发明实施例的技术实施例是这样实现的：

本发明实施例提供一种人体动作识别方法，所述方法包括：

获得图像的光流场以及所述图像中每个像素点的梯度幅值；

基于所述梯度幅值对所述光流场进行加权处理，获得加权光流场；

基于所述加权光流场中表征每个像素点的光流方向的参数确定目标运动方向，基于所述目标运动方向确定运动区域；

提取所述运动区域中的运动特征，利用提取出的运动特征识别动作。

在上述方案中，所述提取所述运动区域中的运动特征，利用提取出的运动特征识别动作，包括：

基于所述加权光流场确定所述运动区域内每个像素点的光流强度，基于所述光流强度确定加权光流直方图；

基于所述加权光流直方图提取运动特征，利用提取出的运动特征识别动作。

在上述方案中，所述基于所述加权光流场中表征每个像素点的光流方向的参数确定目标运动方向之前，还包括：

将所述图像划分成多个区域；

将所述多个区域的至少一个区域按预设的角度间隔划分成多个子区域。

在上述方案中，所述基于所述访问信息和所述初始第一权值确定所述第一实体节点的第一权值，包括：

所述基于所述加权光流场中表征每个像素点的光流方向的参数确定目标运动方向，包括：

基于所述加权光流场确定所述多个区域的至少一个区域中表征像素点光流方向的频数直方图；

基于所述加权光流场确定所述多个子区域的至少一个子区域中表征像素点光流方向的范围；

基于所述频数直方图和所述范围确定目标运动的方向。

在上述方案中，所述基于所述目标运动方向确定运动区域，包括：

将所述目标运动方向对应的子区域确定为运动区域。

在上述方案中，所述基于所述光流强度确定加权光流直方图，包括：

获取所述运动区域内的像素点的第一光流强度值；

获取所述运动区域对应的子区域所在的区域内的像素点的第二光流强度值；

基于所述第一光流强度值和所述第二光流强度值确定光流强度比值；

基于所述光流强度比值确定加权光流直方图。

在上述方案中，所述基于所述加权光流直方图提取运动特征，包括：

基于所述加权光流直方图确定对应于相同光流强度比值的像素点，获得像素点集合；不同光流强度比值对应于不同的像素点集合；

基于所述像素点集合确定运动特征。

本发明实施例提供一种人体动作识别装置，所述装置包括：获取单元、处理单元、确定单元和识别单元，其中：

所述获取单元，用于获得图像的光流场以及所述图像中每个像素点的梯度幅值；

所述处理单元，用于将所述获取单元中的梯度幅值对所述光流场进行加权处理，获得加权光流场；

所述确定单元，用于基于所述处理单元获得的加权光流场中表征每个像素点的光流方向的参数确定目标运动方向，基于所述目标运动方向确定运动区域；

所述识别单元，用于基于所述确定单元确定的运动区域中提取运动特征，利用提取出的运动特征识别动作。

在上述方案中，所述识别单元，包括：确定子单元和提取子单元，其中：

所述确定子单元，用于基于所述加权光流场确定所述运动区域内每个像素点的光流强度，基于所述光流强度确定加权光流直方图；

所述提取子单元，用于基于所述确定子单元确定的加权光流直方图提取运动特征，利用提取出的运动特征识别动作。

在上述方案中，所述装置，还包括划分单元，用于将所述图像划分成多个区域；将所述多个区域的至少一个区域按预设的角度间隔划分成多个子区域。

在上述方案中，所述确定单元，还用于基于所述加权光流场确定所述多个区域的至少一个区域中表征像素点光流方向的频数直方图；基于所述加权光流场确定所述多个子区域的至少一个子区域中表征像素点光流方向的范围；基于所述频数直方图和所述范围确定目标运动的方向。

在上述方案中，所述确定单元，还用于将所述目标运动方向对应的子区域确定为运动区域。

在上述方案中，所述确定子单元，还用于获取所述运动区域内的像素点的第一光流强度值；获取所述运动区域对应的子区域所在的区域内的像素点的第二光流强度值；基于所述第一光流强度值和所述第二光流强度值确定光流强度比值；基于所述光流强度比值确定加权光流直方图。

在上述方案中，所述提取子单元，还用于基于所述加权光流直方图确定对应于相同光流强度比值的像素点，获得像素点集合；不同光流强度比值对应于不同的像素点集合；基于所述像素点集合确定运动特征。

本发明实施例提供一种设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的程序，所述处理器执行所述程序时实现上述所述方法的任一步骤。

本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述所述方法的任一步骤。

本发明实施例提供的人体动作识别方法、装置、设备和存储介质，其中，通过将图像中每个像素点的梯度幅值对图像的光流场进行加权处理，获得加权光流场；基于所述加权光流场中表征每个像素点的光流方向的参数确定目标运动方向，基于所述目标运动方向确定运动区域；提取所述运动区域中的运动特征，利用提取出的运动特征识别动作。采用本发明实施例的技术方案，通过获得的加权光流场确定运动区域，提取所述运动区域中的运动特征识别动作，相比于光流法检测运动目标，能够有效降低光流对背景干扰和光照的影响，从而提高识别率并大大减少数据计算量。

附图说明

图1为本发明实施例人体动作识别方法实现流程示意图；

图2A为本发明实施例人体动作识别方法又一实现流程示意图；

图2B为本发明实施例人体动作识别方法的一种应用场景中的加权光流直方图示意图；

图2C为本发明实施例人体动作识别方法的一种应用场景中的未加权光流直方图示意图；

图2D为本发明实施例人体动作识别方法中不同尺度下各算法识别率的比对示意图；

图3为本发明实施例人体动作识别装置的组成结构示意图；

图4为本发明实施例中设备的一种硬件实体结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对发明的具体技术方案做进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

本实施例提出一种人体动作识别方法，图1为本发明实施例人体动作识别方法实现流程示意图，如图1所示，该方法包括：

步骤S101：获得图像的光流场以及所述图像中每个像素点的梯度幅值。

需要说明的是，光流场代表着图像中像素点亮度的变化过程，所述图像为图像画面，每一帧图像为静止的画面，连续的帧图像形成动态图像。在运动的物体发生连续运动的时候，相应图像上的像素点的亮度也会产生连续的改变。所述获得图像的光流场是为了从图像序列中近似得到不能直接得到的运动场，所述图像序列为在不同时间、不同方位对物体依序连续获取的图像，所述运动场其实就是物体在三维真实世界中的运动，而光流场，是所述运动场在二维图像平面上(人的眼睛或者摄像头)的投影。作为一种示例，获得图像的光流场可以是基于图像序列中任意相邻的两帧图像获得光流场。

需要说明的是，梯度就是根据设定的求导方向进行求导，获得所述图像中每个像素点的梯度幅值就是计算所述图像中每个像素点沿x轴方向的水平梯度和y轴方向的垂直梯度，根据每个像素点沿x轴方向的水平梯度和y轴方向的垂直梯度计算所述图像中每个像素点的梯度幅值。为了方便理解，这里，示例说明，例如所述图像中某个像素点(x，y)的梯度幅值标记为G(x，y)，则该像素点梯度幅值G(x，y)的表达式可以如下公式(1)所示：

其中，g_x(x,y)和g_y(x,y)分别为像素点(x，y)沿x轴方向的水平梯度和y轴方向的垂直梯度。

步骤S102：基于所述梯度幅值对所述光流场进行加权处理，获得加权光流场。

这里，基于所述梯度幅值对所述光流场进行加权处理，获得加权光流场可以为将所述梯度幅值作为权重加到所述光流场中相应的相素点上以获取加权光流场。为了方便理解，这里，示例说明，假设步骤S101中获得图像帧中某一像素点(x，y)的光流场用F(x,y)表示，该像素点的梯度幅值标记为G(x,y)，该像素点的加权光流场用GF(x,y)表示，则该像素点加权光流场GF(x,y)的表达式可以如下公式(2)所示：

GF(x,y)＝G(x,y)×F(x,y) (2)

作为一种示例，将所述梯度幅值作为权重加到所述光流场中相应的相素点上以获取加权光流场可以为将所述梯度幅值作为权重加到所述光流场中相应相素点的光流强度上以获得加权光流强度，再基于加权光流强度和光流方向确定加权光流场。为了方便理解，这里，示例说明，假设步骤S101中获得图像帧中某一像素点(x，y)的光流场用F(x,y)表示，u(x,y)、v(x,y)是所述光流场水平方向和垂直方向的两个分量，光流强度用|F(x,y)|表示，该像素点的梯度幅值标记为G(x,y)，该像素点的加权光流场用GF(x,y)表示，则该像素点加权光流场GF(x,y)的表达式可以如下公式(3)所示：

GF(x,y)＝G(x,y)×|F(x,y)|θ(x,y) (3)

其中，

步骤S103：基于所述加权光流场中表征每个像素点的光流方向的参数确定目标运动方向，基于所述目标运动方向确定运动区域。

需要说明的是，所述基于所述加权光流场中表征每个像素点的光流方向的参数确定目标运动方向之前，还可以包括：将所述图像划分成多个区域；将所述多个区域的至少一个区域按预设的角度间隔划分成多个子区域。

这里，将所述图像划分成多个区域可以为将图像按网格尺寸划分成多个区域。作为一种示例，可以将图像按网格尺寸均匀划分为K＝P×Q(K、P、Q都为大于等于一的正整数)个区域，例如，K、P、Q可以分别为4、2、2或9、3、3等。所述预设的角度可以根据实际情况进行设定，在此不做具体限定，为了方便理解，这里，举例说明，假设预设的角度为10°，可以将所述多个区域的至少一个区域按10°的角度间隔划分成36个子区域。

本实施例步骤S103中，基于所述加权光流场中表征每个像素点的光流方向的参数确定目标运动方向中的参数可以是描述加权光流场中像素点光流方向的任意参数，在此不做限定。作为一种实施方式，所述基于所述加权光流场中表征每个像素点的光流方向的参数确定目标运动方向可以包括：基于所述加权光流场确定所述多个区域的至少一个区域中表征像素点光流方向的频数直方图；基于所述加权光流场确定所述多个子区域的至少一个子区域中表征像素点光流方向的范围；基于所述频数直方图和所述范围确定目标运动的方向。

这里，所述频数直方图可以用来显示数据集的分布情况，基于所述加权光流场确定所述多个区域的至少一个区域中表征像素点光流方向的频数直方图可以是通过加权光流场统计至少一个区域中像素点光流方向的分布情况，作为一种示例，该频数直方图可以以横坐标表示像素点光流方向的统计范围，纵坐标表示该范围内像素点的分布情况，为了更快更准确的获得频数直方图，可以利用相关的绘图软件进行获得。

基于所述加权光流场确定所述多个子区域的至少一个子区域中表征像素点光流方向的范围，其中，所述范围可以是所述多个子区域的至少一个子区域中表征像素点光流方向的不同角度范围，作为一种示例，可以为0°～10°，10°～20°等等。

基于所述频数直方图和所述范围确定目标运动的方向可以是找出所述频数直方图和所述范围取得最大值时所对应的方向即为目标运动的方向，为了方便理解，这里，示例说明，例如，基于所述频数直方图得到所述频数直方图的函数记为histθ_(x,y)，所述范围用x_iθ表示，则目标运动方向的表达式可以如下公式(4)所示：

θ_k＝argmaxx_iθ(histθ_(x,y)) (4)

其中，argmax是一种函数，函数y＝f(x)，x＝argmax(f(x))的意思就是参数x满足f(x)取得最大值；换句话说就是argmax(f(x))是使得f(x)取得最大值所对应的变量x；在公式(4)中f(x)＝x_iθ(histθ_(x,y))。

本实施例步骤S103中，所述基于所述目标运动方向确定运动区域可以包括：将所述目标运动方向对应的子区域确定为运动区域。

这里，将所述目标运动方向对应的子区域确定为运动区域就是将所述目标运动方向所在的所有子区域作为运动区域。

步骤S104：提取所述运动区域中的运动特征，利用提取出的运动特征识别动作。

这里，提取所述运动区域中的运动特征可以是基于所述加权光流场确定所述运动区域中的运动特征，作为一种示例，可以是基于所述加权光流场获得所述运动区域中的像素点，基于所述运动区域中的像素点提取所述运动区域中的运动特征。

所述利用提取出的运动特征识别动作可以根据运动特征与运动类别之间的对应关系以识别动作。

本发明实施例提供的人体动作识别方法，其中，通过将图像中每个像素点的梯度幅值对图像的光流场进行加权处理，获得加权光流场；基于所述加权光流场中表征每个像素点的光流方向的参数确定目标运动方向，基于所述目标运动方向确定运动区域；提取所述运动区域中的运动特征，利用提取出的运动特征识别动作。采用本发明实施例的技术方案，通过获得的加权光流场确定运动区域，提取所述运动区域中的运动特征识别动作，相比于光流法检测运动目标，能够有效降低光流对背景干扰和光照影响，从而提高识别率并大大减少数据计算量。

本发明实施例还提供了一种人体动作识别方法，图2A为本发明实施例人体动作识别方法又一实现流程示意图，如图2A所示，所述方法包括：

步骤S201：获得图像的光流场以及所述图像中每个像素点的梯度幅值。

步骤S202：基于所述梯度幅值对所述光流场进行加权处理，获得加权光流场。

步骤S203：基于所述加权光流场中表征每个像素点的光流方向的参数确定目标运动方向，基于所述目标运动方向确定运动区域。

步骤S204：基于所述加权光流场确定所述运动区域内每个像素点的光流强度，基于所述光流强度确定加权光流直方图。

步骤S205：基于所述加权光流直方图提取运动特征，利用提取出的运动特征识别动作。

本实施例中，步骤S201至步骤S203的详细阐述可参照前述步骤S101至步骤S103的详细阐述，为节省篇幅，这里不再赘述。

本实施例步骤S204中，基于所述加权光流场确定所述运动区域内每个像素点的光流强度，为了方便理解，这里，示例说明，假设运动区域内某一像素点(x，y)的加权光流场用GF(x,y)表示，u(x,y)、v(x,y)是所述加权光流场水平方向和垂直方向的两个分量，则该像素点的光流强度的表达式可以如下公式(5)所示：

所述基于所述光流强度确定加权光流直方图可以包括：获取所述运动区域内的像素点的第一光流强度值；获取所述运动区域对应的子区域所在的区域内的像素点的第二光流强度值；基于所述第一光流强度值和所述第二光流强度值确定光流强度比值；基于所述光流强度比值确定加权光流直方图。

这里，所述第一光流强度值是所述运动区域内所有像素点的光流强度值；所述第二光流强度值是所述运动区域对应的子区域所在的区域内的所有像素点的光流强度值；基于所述第一光流强度值和所述第二光流强度值确定光流强度比值可以是将所述运动区域内所有像素点的光流强度值比上所述运动区域对应的子区域所在的区域内的所有像素点的光流强度值，由于所述运动区域内所有像素点的光流强度值小于所述运动区域对应的子区域所在的区域内的所有像素点的光流强度值，因此，光流强度比值可以划分为[0，1]之间的等间隔。

所述直方图可以反映图像像素分布的统计表，其中横坐标可以代表图像像素的种类，可以是灰度的，也可以是彩色的；纵坐标可以代表每一种颜色值在图像中的像素总数或者占所有像素个数的百分比。图像是由像素构成，反映像素分布的直方图往往可以作为图像一个很重要的特征。

基于所述光流强度比值确定加权光流直方图可以是基于所述光流强度比值和图像像素的种类确定加权光流直方图。作为一种示例，所述加权光流直方图可以以横坐标表示图像像素的种类，该种类可以是灰度的，也可以是彩色的，当横坐标表示图像像素的种类为灰度时，可以有[0～255]灰度级，其中，第k(k为0～255间的正整数)个灰度级(如：255)，是该灰度级的个数；纵坐标表示光流强度比值。为了方便理解，这里可以结合图2B进行示例说明，图2B为本发明实施例人体动作识别方法的一种应用场景中的加权光流直方图示意图；在图2B中，横坐标表示图像不同像素的总数；纵坐标表示光流强度比值，图中用幅值表示，幅值越大，表示相同光流强度比值的像素点越多。

图2C为本发明实施例人体动作识别方法的一种应用场景中的未加权光流直方图示意图；为了更好的展现出本发明实施例提供的加权光流直方图的先进性，可以将图2B和图2C进行比对可以得出当横坐标为0～50之间时，图2B中的幅值与图2C中的幅值基本保持在0.2～0.4之间，两者幅值的变化不是很明显；当横坐标为50和100附近时，图2B中的幅值保持在0.8～1之间，而图2C中的幅值保持在0.4～0.6之间，图2B中的幅值明显比图2C中的幅值大；当横坐标为50～100之间时，图2B中的幅值保持在0.4～1之间，而图2C中的幅值保持在0.2～0.6之间，但图2B中的幅值总体上明显比图2C中的幅值大；当横坐标为100～150时，图2B中的幅值与图2C中的幅值保持在0.2～0.4之间，两者幅值的变化不是很明显。也就是说，在一定的范围内(横坐标为50和100附近以及横坐标为50～100之间)，基于所述加权光流直方图确定对应于相同光流强度比值的像素点比未加权光流直方图确定对应于相同光流强度比值的像素点更多，即本发明实施例中的加权光流直方图可规避光流本身对背景干扰敏感、易受光照影响等缺陷，从而证明了加权光流直方图的先进性。

本实施例步骤S205中，所述基于所述加权光流直方图提取运动特征可以包括：基于所述加权光流直方图确定对应于相同光流强度比值的像素点，获得像素点集合；不同光流强度比值对应于不同的像素点集合；基于所述像素点集合确定运动特征。

这里，由于加权光流直方图中不同光流强度比值对应于不同的像素点集合，基于所述加权光流直方图确定对应于相同光流强度比值的像素点，获得像素点集合可以是通过所述加权光流直方图选出光流强度比值相同的所有像素点，即为像素点集合。

基于所述像素点集合确定运动特征可以是将所述像素点集合转化成特征向量，再将所述特征向量按时间顺序进行连接，生成运动特征。

所述利用提取出的运动特征识别动作可以根据运动特征与运动类别之间的对应关系以识别动作。

为了更好的展现出本发明实施例提供的加权光流直方图可以高效、准确地识别出人体动作，本实施例中评估了四个动作(挥手，起立，跑，弯曲拿东西)、八个动作(步行，跑步，向前跳，弯曲，手波，跳到原位，跑着下蹬和步行坐下)和十个动作(步行，跑步，向前跳，弯曲，手波，跳到位，跑步，步行坐下，坐下站起来和跑步跳跃)以及所有动作方法的识别率。其总体识别率如图2D所示，图2D为本发明实施例人体动作识别方法中不同尺度下各算法识别率的比对示意图，从图2D中可以得出，本发明实施例通过获得的加权光流场确定运动区域，提取所述运动区域中的运动特征识别动作，一方面，相比于光流法检测运动目标，能够有效降低光流对背景干扰和光照影响，从而提高识别率并大大减少数据计算量，另一方面，相比于传统的方向梯度直方图表现出较强的优势。

本发明实施例提供的人体动作识别方法，其中，通过将图像中每个像素点的梯度幅值对图像的光流场进行加权处理，获得加权光流场；基于所述加权光流场中表征每个像素点的光流方向的参数确定目标运动方向，基于所述目标运动方向确定运动区域；基于所述加权光流场确定所述运动区域内每个像素点的光流强度，基于所述光流强度确定加权光流直方图；基于所述加权光流直方图提取运动特征，利用提取出的运动特征识别动作。采用本发明实施例的技术方案，通过获得的加权光流场确定运动区域，提取所述运动区域中的运动特征识别动作，相比于光流法检测运动目标，能够有效降低光流对背景干扰和光照影响，从而提高识别率并大大减少数据计算量。

本实施例提出一种人体动作识别装置，图3为本发明实施例人体动作识别装置的组成结构示意图，如图3所示，所述装置300包括：获取单元301、处理单元302、确定单元303和识别单元304，其中：

所述获取单元301，用于获得图像的光流场以及所述图像中每个像素点的梯度幅值；

所述处理单元302，用于将所述获取单元中的梯度幅值对所述光流场进行加权处理，获得加权光流场；

所述确定单元303，用于基于所述处理单元获得的加权光流场中表征每个像素点的光流方向的参数确定目标运动方向，基于所述目标运动方向确定运动区域；

所述识别单元304，用于基于所述确定单元确定的运动区域中提取运动特征，利用提取出的运动特征识别动作。

在其他的实施例中，所述识别单元304，包括：确定子单元和提取子单元，其中：

所述确定子单元，用于基于所述加权光流场确定所述运动区域内每个像素点的光流强度，基于所述光流强度确定加权光流直方图；

所述提取子单元，用于基于所述确定子单元确定的加权光流直方图提取运动特征，利用提取出的运动特征识别动作。

在其他的实施例中，所述装置，还包括划分单元，用于将所述图像划分成多个区域；将所述多个区域的至少一个区域按预设的角度间隔划分成多个子区域。

在其他的实施例中，所述确定单元303，还用于基于所述加权光流场确定所述多个区域的至少一个区域中表征像素点光流方向的频数直方图；基于所述加权光流场确定所述多个子区域的至少一个子区域中表征像素点光流方向的范围；基于所述频数直方图和所述范围确定目标运动的方向。

在其他的实施例中，所述确定单元303，还用于将所述目标运动方向对应的子区域确定为运动区域。

在其他的实施例中，所述确定子单元，还用于获取所述运动区域内的像素点的第一光流强度值；获取所述运动区域对应的子区域所在的区域内的像素点的第二光流强度值；基于所述第一光流强度值和所述第二光流强度值确定光流强度比值；基于所述光流强度比值确定加权光流直方图。

在其他的实施例中，所述提取子单元，还用于基于所述加权光流直方图确定对应于相同光流强度比值的像素点，获得像素点集合；不同光流强度比值对应于不同的像素点集合；基于所述像素点集合确定运动特征。

以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本发明装置实施例中未披露的技术细节，请参照本发明方法实施例的描述而理解。

需要说明的是，本发明实施例中，如果以软件功能模块的形式实现上述的人体动作识别方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术实施例本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台控制服务器(可以是个人计算机、服务器、或者网络服务器等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本发明实施例不限制于任何特定的硬件和软件结合。

对应地，本发明实施例提供一种人体动作识别设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述实施例提供的控制方法中的步骤。

对应地，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例提供的控制方法中的步骤。

这里需要指出的是：以上存储介质和设备实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本发明存储介质和设备实施例中未披露的技术细节，请参照本发明方法实施例的描述而理解。

需要说明的是，图4为本发明实施例中人体动作识别设备的一种硬件实体结构示意图，如图4所示，该人体动作识别设备400的硬件实体包括：处理器401和存储器403，可选地，所述人体动作识别设备400还可以包括通信接口402。

可以理解，存储器403可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，ferromagnetic random access memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random AccessMemory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM，SynchronousDynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本发明实施例描述的存储器403旨在包括但不限于这些和任意其它适合类型的存储器。

上述本发明实施例揭示的方法可以应用于处理器401中，或者由处理器401实现。处理器401可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器401中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器401可以是通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器401可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器403，处理器401读取存储器403中的信息，结合其硬件完成前述方法的步骤。

在示例性实施例中，设备可以被一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD，ProgrammableLogic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable Logic Device)、现场可编程门阵列(FPGA，Field-Programmable Gate Array)、通用处理器、控制器、微控制器(MCU，Micro Controller Unit)、微处理器(Microprocessor)、或其他电子元件实现，用于执行前述方法。

在本发明所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其他的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个观测量，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其他形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例的目的。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本发明实施例上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术实施例本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。

本发明是实例中记载的人体动作识别方法、装置、设备和存储介质只以本发明所述实施例为例，但不仅限于此，只要涉及到该人体动作识别方法、装置、设备和存储介质均在本发明的保护范围。

应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本发明的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

本发明所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。

本发明所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。

本发明所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。

以上所述，仅为本发明的实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (14)

1.一种人体动作识别方法，其特征在于，所述方法包括：

获得图像的光流场以及所述图像中每个像素点的梯度幅值；

基于所述梯度幅值对所述光流场进行加权处理，获得加权光流场；

基于所述加权光流场中表征每个像素点的光流方向的参数确定目标运动方向，基于所述目标运动方向确定运动区域；

提取所述运动区域中的运动特征，利用提取出的运动特征识别动作。

2.根据权利要求1所述的方法，其特征在于，所述提取所述运动区域中的运动特征，利用提取出的运动特征识别动作，包括：

基于所述加权光流场确定所述运动区域内每个像素点的光流强度，基于所述光流强度确定加权光流直方图；

基于所述加权光流直方图提取运动特征，利用提取出的运动特征识别动作。

3.根据权利要求1所述的方法，其特征在于，所述基于所述加权光流场中表征每个像素点的光流方向的参数确定目标运动方向之前，还包括：

将所述图像划分成多个区域；

将所述多个区域的至少一个区域按预设的角度间隔划分成多个子区域。

4.根据权利要求3所述的方法，其特征在于，所述基于所述加权光流场中表征每个像素点的光流方向的参数确定目标运动方向，包括：

基于所述加权光流场确定所述多个区域的至少一个区域中表征像素点光流方向的频数直方图；

基于所述加权光流场确定所述多个子区域的至少一个子区域中表征像素点光流方向的范围；

基于所述频数直方图和所述范围确定目标运动的方向。

5.根据权利要求2所述的方法，其特征在于，所述基于所述光流强度确定加权光流直方图，包括：

获取所述运动区域内的像素点的第一光流强度值；

获取所述运动区域对应的子区域所在的区域内的像素点的第二光流强度值；

基于所述第一光流强度值和所述第二光流强度值确定光流强度比值；

基于所述光流强度比值确定加权光流直方图。

6.根据权利要求2所述的方法，其特征在于，所述基于所述加权光流直方图提取运动特征，包括：

基于所述加权光流直方图确定对应于相同光流强度比值的像素点，获得像素点集合；不同光流强度比值对应于不同的像素点集合；

基于所述像素点集合确定运动特征。

7.一种人体动作识别装置，其特征在于，所述装置包括：获取单元、处理单元、确定单元和识别单元，其中：

所述获取单元，用于获得图像的光流场以及所述图像中每个像素点的梯度幅值；

所述处理单元，用于将所述获取单元中的梯度幅值对所述光流场进行加权处理，获得加权光流场；

所述确定单元，用于基于所述处理单元获得的加权光流场中表征每个像素点的光流方向的参数确定目标运动方向，基于所述目标运动方向确定运动区域；

所述识别单元，用于基于所述确定单元确定的运动区域中提取运动特征，利用提取出的运动特征识别动作。

8.根据权利要求7所述的装置，其特征在于，所述识别单元，包括：确定子单元和提取子单元，其中：

所述确定子单元，用于基于所述加权光流场确定所述运动区域内每个像素点的光流强度，基于所述光流强度确定加权光流直方图；

所述提取子单元，用于基于所述确定子单元确定的加权光流直方图提取运动特征，利用提取出的运动特征识别动作。

9.根据权利要求7所述的装置，其特征在于，所述装置，还包括划分单元，用于将所述图像划分成多个区域；将所述多个区域的至少一个区域按预设的角度间隔划分成多个子区域。

10.根据权利要求9所述的装置，其特征在于，所述确定单元，还用于基于所述加权光流场确定所述多个区域的至少一个区域中表征像素点光流方向的频数直方图；基于所述加权光流场确定所述多个子区域的至少一个子区域中表征像素点光流方向的范围；基于所述频数直方图和所述范围确定目标运动的方向。

11.根据权利要求8所述的装置，其特征在于，所述确定子单元，还用于获取所述运动区域内的像素点的第一光流强度值；获取所述运动区域对应的子区域所在的区域内的像素点的第二光流强度值；基于所述第一光流强度值和所述第二光流强度值确定光流强度比值；基于所述光流强度比值确定加权光流直方图。

12.根据权利要求8所述的装置，其特征在于，所述提取子单元，还用于基于所述加权光流直方图确定对应于相同光流强度比值的像素点，获得像素点集合；不同光流强度比值对应于不同的像素点集合；基于所述像素点集合确定运动特征。

13.一种人体动作识别设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现权利要求1至6任一项所述方法中的步骤。

14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6任一项所述方法中的步骤。

Images