CN112001308A - 一种采用视频压缩技术和骨架特征的轻量级行为识别方法 - Google Patents

Abstract

本发明涉及由智能设备进行的行为识别方法，提供了一种采用视频压缩技术和骨架特征的轻量级行为识别方法，主旨在于解决采用深度学习方法造成的运行时间过长、硬件设施要求高的问题。主要方案包括，1)神经网络模型预训练；2)视频压缩；3)定长筛选视频帧4)提取人体骨架关键点；5)图像灰度化与骨架关键点增益；6)神经网络模型微调，7)动作类别识别。同时得益于上述方法，单个视频仅生成少量的图像，使得可在经过通道维度上堆叠增益灰度图，并通过轻量级的二维卷积神经网络同样能够确保模型性能，而无需采用三维卷积长时间处理大量的视频帧。

Description

一种采用视频压缩技术和骨架特征的轻量级行为识别方法

技术领域

本发明涉及由智能设备进行的行为识别方法，可用于实时识别视频中出现的异常行为，属于深度学习和行为识别技术领域。

背景技术

行为识别主要是指针对指定的视频序列，判断视频中出现的行为，并给视频分配一个预定义的类别标签；该研究领域是视频检测、视频语义分割等视频智能分析的基础，但视频行为识别目前的性能明显低于图像分类任务。视频行为识别中需要提取视频的多种特征作为分类依据，按照使用特征的不同，可以大致分为基于手工特征的行为识别和基于深度学习的行为识别。基于手工特征的行为识别方法主要包括两个部分，行为的表示和行为的分类。行为表示部分主要是将视频转换为一系列特征向量，然后根据特征向量去推断一个动作标签。基于深度学习的行为识别同时进行上述两个部分，集成到一个端到端的框架当中，进一步提高了分类性能。

基于深度学习的视频行为识别主要通过卷积运算对运动信息建模，产生了两种类型的神经网络结构，基于RGB空间信息和光流运动信息的双流网络，以及同时学习时间特征和空间特征的三维卷积网络。双流网络需要对视频预先提取光流特征，该特征耗时较长，而三维卷积由于参数量巨大，导致网络优化和运行速度也还不够理想。另一方面，利用RGB的空间信息并放弃时间特征的卷积神经网络能够实现实时运算，但严重依赖物体和场景信息，对背景噪声敏感。

基于骨架的行为识别得到了越来越多的关注，其包含两个关键的因素：每一帧的骨架表示和骨骼随时间变化的表示。CNN模型具有出色的提取高级语义信息的能力，使用全连接层可以从所有输入神经元聚合全局信息，并且已被用来从骨骼中学习时空特征。这些基于CNN的方法通过将骨架关节点和时间动态分别编码为行和列，组成一个二维矩阵，然后将骨架序列的矩阵输入CNN来识别基本动作。

发明内容

针对上述问题，本发明目的在于解决采用深度学习方法造成的运行时间过长、硬件设施要求高的问题。

为了解决上述技术问题，本发明采用以下技术方案：

一种采用视频压缩技术和骨架特征的轻量级行为识别方法，包括以下步骤：

步骤1：制作视频数据集，每段视频包含一个主要动作，并将该动作名称作为视频的标签，主要用于神经网络模型的训练；

步骤2：对步骤1制作完成的视频进行压缩，由于连续帧之间通常具备很高的相似性，且部分帧存在由于动作导致的画面模糊，提取具有代表性的帧作为有效帧，可以得到数量大幅减少的视频帧，本发明采用FFmpeg工具提取视频I帧作为有效帧，该帧提取过程十分快速且画面清晰冗余较少，代表意义显著；

步骤3：通常行为动作可分为短时动作和长时动作，对于短时动作，单张图像可以做到较好的初始分类效果，而长时动作时间跨度长，需要长时间的视频帧表示；为解决上述问题，本发明在步骤2的基础上，对视频帧进行固定时长的筛选，如每隔1秒的时间选定一帧作为该时间段内的代表性动作，在保证短时动作必定会被捕捉到的基础上，长时动作包含的图片数量适中，不会造成计算负担和处理时间缓慢；

步骤4：采用开源的卷积神经网络对步骤3获得的视频图像提取骨架信息，获得每张图像上人体骨架关键点的位置，每个关键点对应了人体的某个身体位置，包括头部、躯干、四肢的多个重要关节和部位，关键部位随时间发生的位移和形变通常会直接代表了发生动作的类型，重点关注关键点和周围区域，有利于提高模型的精准度，且该过程仅提取关键点位置，数据量极少，保证整个过程的处理速度；

步骤5：对步骤3获得的图片进行灰度化，将原有的RGB图像转换为灰度图；

步骤6：结合步骤4和步骤5，对每张灰度图上的骨架关键点及其周围像素进行增益，根据像素距离关键点的最小距离进行权重分配，使靠近关键点的区域获得更高的权重，远离关键点为区域将会受到惩罚，最终获得关键区域增益的灰度图像，该增益图像不仅包含了整体图像的全局信息，也突出了人体的关键部位。

通过对关键位置的像素进行增益，可以使卷积神经网络重点关注增益区域，减少背景噪声的干扰。本发明采用正态分布作为权重的分配方式，具体公式为：

其中，像素点(x，y)的权重表示为w(x,y)，Δx、Δy分别表示像素点与最近的骨架关键位置的横向和纵向距离。

步骤7：每张增益的灰度图像可以表示为h×w×1个像素做成的集合，对步骤6获得的n张视频图片依照时间顺序在通道维度(第三个维度)上进行整合，得到具有长、宽、时间三维信息的矩阵，该矩阵共包含h×w×n个元素，之后将该矩阵输入二维卷积神经网络进行训练或计算，若采用RGB图像进行该步操作将获得包含h×w×3×n个元素，且需要三维卷积神经网络进行计算，不仅在输入数据上增加三倍，而且三维卷积网络参数量巨大，运行时间比二维卷积大幅增加。因为本发明采用上述技术手段，因此具备以下有益效果：

1.本发明对视频在步骤2和步骤3进行了两次处理，相比于将视频全部转换成连续的图片帧，不仅在处理视频的时间花费上大幅缩短，而且保留了视频的关键信息，确保了视频中行为的连续可判断性，同时，大幅减少的图片数量使神经网络模型的推断时间进一步压缩，保证了方法的实时性能。

2.本发明在步骤4、6中提出基于骨架关键点增益的图像处理方式，突出了最可能发生动作变化的区域，抑制背景干扰区域的同时保证图片仍具备全局信息；相比直接通过对人体骨架随时间变化进行预测的方式，仅包含有限数量的骨架关键点位置，可能丢失大量的人体细微可观测的动作，如手部动作等，本发明同时考虑了图像特征和骨架特征，从而有效地提高了模型精度。

3.本发明在步骤5中采用了灰度图像进行判断，在RGB图像的基础上进一步压缩3倍的计算开销；同时得益于上述方法，单个视频仅生成少量的图像，使得可在步骤7经过通道维度上堆叠增益灰度图，并通过轻量级的二维卷积神经网络同样能够确保模型性能，而无需采用三维卷积长时间处理大量的视频帧。

附图说明

图1为人体骨架关键节点的表示图，图中标号1-25为人体的25个关键点位置。

图2为编解码器将视频分为I帧(内编码帧)，P帧(预测帧)和B帧(双向帧)示意图。

具体实施方式

本发明实施提出了一种基于视频压缩和骨架特征的视频图像处理方式，保留视频关键信息的同时降低了视频帧数，并增益骨架关键位置，旨在确保神经网络对视频行为预测的准确性和实时性。

本发明主要流程包括：1)神经网络模型预训练；2)视频压缩；3)定长筛选视频帧4)提取人体骨架关键点；5)图像灰度化与骨架关键点增益；6)神经网络模型微调，具体实现步骤如下：

一、神经网络模型预训练

本发明需要采用神经网络模型对视频图片判断动作类别，目前已有多种神经网络模型在图像分类任务中表现出出色的性能，本发明采用InceptionV3作为基础模型对连续的图像帧进行预测；同时，经过预训练的神经网络已经具备较好的图像特征提取能力，只需要针对特定任务进行微调，便可获得符合任务需要的模型。本发明推荐采用tensorflow框架搭建神经网络模型，可方便快捷地获取预训练模型并微调模型参数。

二、视频压缩

本发明通过调取基于FFmpeg的C语言接口处理视频图像，快速获取视频I帧的RGB图像，图像画质清晰且能代表性地表示短时间内的主要动作，方便轻量级框架的运行。

现有的基于深度学习的行为识别方法，都需要将视频转换成连续的图片帧，不仅耗时长且占用大量硬盘存储空间。因此高效的视频压缩算法能大幅缩减方法的处理时间，大多数视频压缩算法都利用了连续的帧通常非常相似，通过重复使用一帧的内容，可以有效地存储另一帧，仅仅存储帧与帧之间差异。目前大多数现代编解码器将视频分为I帧(内编码帧)，P帧(预测帧)和B帧(双向帧)。I帧是常规图像，P帧引用以前的帧，并且仅对“更改”进行编码，B帧需要解码前一个I帧或者P帧以及之后的一个P帧，解码速度很慢；因此仅使用I帧，既可以代表短时间内视频序列的主要动作，还能够减少视频的冗余图像。

三、定长筛选视频帧

通常情况下，仅仅使用单帧图像即可对部分动作进行较好的初始分类，单帧图像的临近时间段内包括了大量相似图片，嵌入了复杂的冗余信息，对于改善当前行为识别的准确度几乎毫无用处。其次，某些动作时间跨度较大，为了获取长时间段内动作的特征，需要捕获远距离帧间的上下文信息，因此，本发明在上一步的基础上筛选固定时间间隔的帧作为视频的表示，采用每隔1秒的时间提取一帧作为该时间段的代表性动作图。

四、提取人体骨架关键点

铰链式的骨架特征能够为描述人体动作提供非常好的表征，该特征对于背景噪声具有很好的鲁棒性，能够提供抽象信息和高层次的语义信息。本发明采用0penPose人体关键点识别工具对人体关键点、面部关键点、手指关键点进行估计，获取共计25个关键点位置。人体的大多数动作可以被上述关键位置的位移和形变表示，引入人体关键点，可以减少环境背景造成的干扰因素。

五、图像灰度化与骨架关键点增益

对第三步筛选后的图像进行灰度化处理，获得视觉信息进一步压缩的图像。通常情况下，灰度图像依然包含丰富的视觉信息，例如，在黑暗情况下，人类依然能够判断发生的动作。其次，灰度化后的图像可以在通道维度上进行堆叠，类似于三维卷积神经网络对RGB图像进行时间维度上建模，此时可以使用通道维度和时间维度统一的方式，利用二维卷积神经网络对灰度图像堆叠而成的h×w×n个元素的矩阵，进行时间维度上的建模，大幅缩减了模型的训练和预测时间。

本发明骨架关键点位置采用正态分布的方式赋予图像上每个像素点权重，具体公式为：

其中，像素点(x，y)的权重表示为w(x，y)，Δx、Δy分别表示像素点与最近的骨架关键位置的横向和纵向距离。与骨架关键点距离远的像素点将会获得很低的权重，而距离较近的像素点将会获得更高的增益。

六、神经网络模型微调

经过上述几步，每段视频将会被表示为多张图片的集合，将图片集合作为训练集输入神经网络对模型进行训练，训练过程中，采用第一步搭建的预训练模型进行初始化设置，并以交叉熵损失函数作为计算预测值与实际值之间的差异，用于模型的微调，公式如下：

其中，L表示真实值与模型预测之间的差异度，y_i表示对于某一视频，第i类动作是否为真，真置为1，否则置为0；

表示模型对第i类动作的预测值。通过多次迭代训练，神经网络将具备识别视频行为的能力。对于任何一段视频输入，通过上述步骤处理，可以达到实时识别行为类别。

Claims (2)

1.一种采用视频压缩技术和骨架特征的轻量级行为识别方法，其特征在于，包括以下步骤：

步骤1：制作视频数据集，每段视频包含一个主要动作，并将该动作名称作为视频的标签，主要用于神经网络模型的训练；

步骤2：对步骤1制作完成的视频进行压缩，提取视频的内编码帧，去除预测帧和双向帧，得到画面清晰冗余较少，代表意义显著的视频帧；

步骤3：对步骤2得到的视频帧进行固定时长的筛选得到视频图像，每隔t秒的时间选定一帧作为该时间段内的代表性动作，在保证短时动作必定会被捕捉到的基础上，长时动作包含的图片数量适中，不会造成计算负担和处理时间缓慢；

步骤4：采用开源的卷积神经网络对步骤3获得的视频图像提取骨架信息，获得每张图像上人体骨架关键点的位置；

步骤5：对步骤3获得的图片进行灰度化，将原有的RGB图像转换为灰度图；

步骤6：结合步骤4和步骤5，对每张灰度图上的骨架关键点及其周围像素进行增益，根据像素距离关键点的最小距离进行权重分配，使靠近关键点的区域获得更高的权重，远离关键点为区域将会受到惩罚，最终获得关键区域增益的灰度图像，该增益图像不仅包含了整体图像的全局信息，也突出了人体的关键部位；

步骤7：每张增益的灰度图像表示为h×w×1个像素做成的集合，对步骤6获得的n张灰度图像依照时间顺序在通道维度上进行整合，得到具有长、宽、时间三维信息的矩阵，该矩阵共包含h×w×n个元素，之后将该矩阵输入二维卷积神经网络进行训练：

步骤8：在步骤7训练完成神经网络后，对任意一段视频图像通过步骤2-7获得h×w×n的矩阵，并输入神经网络模型，得到动作类别。

2.根据权利要求1所述的一种采用视频压缩技术和骨架特征的轻量级行为识别方法，其特征在于，采用正态分布作为权重的分配方式，具体公式为：

其中，像素点(x,y)的权重表示为w(x,y)，Δx、Δy分别表示像素点与最近的骨架关键位置的横向和纵向距离。

Images