CN110414421A - 一种基于连续帧图像的行为识别方法 - Google Patents

Abstract

本发明公开了一种基于连续帧图像的行为识别方法，所述行为识别方法包括以下内容：利用目标检测算法YOLO对行人的BBOX框进行回归；将回归出的BBOX框按坐标裁剪为图片，调整图片的尺寸大小，并采用列表对图片进行存储；将图片送入到训练好的行为识别网络得到行人识别结果。针对仅用目标检测算法对行人进行检测而导致的表达能力不足的问题提出行人检测结合行为识别的识别方法；提出基于3D‑RDBC模块的行为识别网络，在降低参数量的同是，准确度基本不变。

Description

一种基于连续帧图像的行为识别方法

技术领域

本发明涉及一种行人行为识别方法，尤其涉及一种基于连续帧图像的行为识别方法。

背景技术

道路交通事故和因车祸死亡的人数高居不下，并且保持增长，车祸无情的夺去了人们的生命财产安全。行人在交通事故中总是处在弱势地位，非常容易受到机动车的伤害，并且许多车祸事件都由行人横穿马路以及驾驶员未能及时采取制动措施造成。通过行人检测及行为识别计数能够有效降低事故发生率。

现有技术使用各种目标检测算法对行人进行检测，包括YOLO，SSD等；或者使用行为识别网络进行行为识别，但多用于监控场景，极少有将行人检测与行为识别技术结合应用到车辆驾驶中，而在行车过程中，行人的检测非常重要，且行人行为的识别同样重要，作为驾驶员或者无人驾驶汽车不仅需要准确的检测出汽车前面的行人，也需要判断行人的行为，以便做出正确的行车操作。而在行为识别领域，目前通常使用基于深度学习的行为识别方法，包含C3D模型，3D残差模型，以及基于稠密连接块的3D模型，这些模型在参数量上都较大。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于连续帧图像的行为识别方法，解决了现有识别模型和方法存在的缺陷。

本发明的目的是通过以下技术方案来实现的：一种基于连续帧图像的行为识别方法，所述行为识别方法包括以下内容：

利用目标检测算法对行人的BBOX框进行回归；

将回归出的BBOX框按坐标裁剪为图片，调整图片的尺寸大小，并采用列表对图片进行存储；

将图片送入到训练好的行为识别网络得到行人识别结果。

所述将图片送入到训练好的行为识别网络得到行人识别结果的具体步骤如下：

当图片列表长度达到第一阈值帧时将连续第一阈值帧图片每间隔一帧取一张，得到第二阈值帧图片后送入训练好的行为识别网络进行行为识别；

通过行为识别网络识别预测出行人的具体行为以及行为的概率，并将其实时显示的视频图像中。

所述利用目标检测算法对行人的BBOX框进行回归的具体步骤如下：

利用去掉全连接层的densenet对YOLOV3-TINY检测网络的backbone进行替换；

在YOLOV3-TINY检测网络的两尺度预测的基础上增加一条预测支路，变为三尺度预测；

通过训练好的YOLOV3-TINY检测网络对行人的BBOX框进行回归。

在完成将图片送入到训练好的行为识别网络得到行人识别结果的步骤之前还需要完成对行为识别网络的构建和训练步骤。

所述对行为识别网络的构建和训练步骤如下：

包括依次连接的DBAP1层、DBAP2层、第一denseblock层、第一池化层、第二denseblock层、第二池化层、第三denseblock层、卷积核、全局池化层、全连接层和sofamax分类器；

利用3D-RDBC模块对每个denseblock层中的卷积块进行替换，完成行为识别网络的构建；

将行为数据集分为比例为3:1:1的数据集训练集、验证集合测试集样本，并以此来训练构建好的行为识别网络。

所述第一阈值帧图片为为16帧图片，所述第二阈值帧图片为8帧图片。

对行为识别网络进行构建和训练的步骤如下：

通过训练集每一类行为对行为识别网络完成训练，然后将测试集输入行为识别网络后便能输出所属类别的概率，将概率最高的作为当前预测行为，其中概率是通过网络的输出层softmax层实现。

本发明的有益效果是：一种基于连续帧图像的行为识别方法，针对仅用目标检测算法对行人进行检测而导致的表达能力不足的问题提出行人检测结合行为识别的识别方法；提出基于3D-RDBC模块的行为识别网络，在降低参数量的同是，准确度基本不变。

附图说明

图1为本发明方法的流程图；

图2为行人检测网络结构图；

图3为3D-RDBC模块结构图；

图4为基于3D-RDBC模块的行为识别网络结构图；

图5为本发明的实际效果图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在本发明的描述中，需要说明的是，术语“上”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。

如图1所示，一种基于连续帧图像的行为识别方法，所述行为识别方法包括以下内容：

利用目标检测算法YOLO对行人的BBOX框进行回归；

将回归出的BBOX框按坐标裁剪为图片，调整图片的尺寸为112*112大小，并采用列表对图片进行存储；

将图片送入到训练好的行为识别网络得到行人识别结果。

所述将图片送入到训练好的行为识别网络得到行人识别结果的具体步骤如下：

当图片列表长度达到16帧时将连续16帧图片每间隔一帧取一张，得到8帧图片后送入训练好的行为识别网络进行行为识别；

通过行为识别网络识别预测出行人的具体行为以及行为的概率，并将其实时显示的视频图像中。

所述利用目标检测算法对行人的BBOX框进行回归的具体步骤如下：

利用去掉全连接层的densenet对YOLOV3-TINY检测网络的backbone进行替换；

在YOLOV3-TINY检测网络的两尺度预测的基础上增加一条预测支路，变为三尺度预测；

通过训练好的YOLOV3-TINY检测网络对行人的BBOX框进行回归。

进一步地，如图2所示，首先对YOLOV3-TINY进行优化，利用去掉全连接层的densenet-41网络对YOLOV3-TINY的backbone进行替换，然后将原本的两尺度预测变为三尺度预测，增加一条预测支路，修改前的backbone包含7层卷积层和3层池化层，修改后的backbone部分具有更强的特征提取能力，包含40层卷积层与4层池化层。

检测尺度在之前两个尺度的情况下增加预测尺度，变为三尺度预测，三条支路输出尺寸分别为13*13,26*26以及52*52,总共预测(13*13+26*26+52*52)*3＝10647个BBOX，较修改前多了8112个BBOX。

修改后的网络分别在VOC2007加VOC2012数据集进行训练，batchsize为12，学习率为0.001，步长为40000和45000，按0.1衰减率进行衰减，总训练次数为50200次，训练完成后在VOC2007上进行测试，得到map值为67.01％，其中行人单类AP为79.01％。最后通过新的网络对行人BBOX进行回归。

在完成将图片送入到训练好的行为识别网络得到行人识别结果的步骤之前还需要完成对行为识别网络的构建和训练步骤。

所述对行为识别网络的构建和训练步骤如下：

包括依次连接的DBAP1层、DBAP2层、第一denseblock层、第一池化层、第二denseblock层、第二池化层、第三denseblock层、卷积核、全局池化层、全连接层和sofamax分类器；

利用3D-RDBC模块对每个denseblock层中的卷积块进行替换，完成行为识别网络的构建；

将行为数据集分为比例为3:1:1的数据集训练集、验证集合测试集样本，并以此来训练构建好的行为识别网络。

进一步地，如图3和图4所示，对行为识别网络进行构建和训练的步骤如下：

通过训练集每一类行为对行为识别网络完成训练，然后将测试集输入行为识别网络后便能输出所属类别的概率，将概率最高的作为当前预测行为，其中概率是通过网络的输出层softmax层实现。

行为识别网络命名为3DCNN-Dense。图中DBAP1表示卷积核个数为64，尺寸为(3，3，3)，的卷积层接BN层后通过ReLU激活函数再通过一个尺寸为(2，2，1)，Padding为same，步长为(2，2，1)的池化层。DBA2表示卷积核个数为96，尺寸为(3，3，3)的卷积层接BN层后通过ReLU激活函数再通过一个尺寸为(2，2，2)，步长为(2，2，2)的池化层。每个denseblock包含4个卷积层，因为growth_rate设置为32。BAD表示BN层接ReLU激活函数接一个卷积核个数为128，尺寸为(1，1，1)的卷积层和一个卷积核个数为32，尺寸为(3，3，3)的卷积层，BAG表示BN层接ReLU激活函数接一个全局池化层。

图中体现了3DCNN-Dense的网络结构以及每层的输入输出尺寸，一张(112，112，8，3)的图片通过DBAP1后输出为(56，56，8，64)，接着通过DBAP2后输出为(28，28，4，96)，接着通过第一个denseblock后输出不变，接着输入到尺寸为(2，2，2)，Padding为same，步长为(2，2，2)的池化层，输出为(14，14，2，96)，接着通过第二个denseblock，输出不变，接着再次通过尺寸为(2，2，1)，Padding为same，步长为(2，2，2)的池化层，输出为(7，7，1，96)，接着通过第三个denseblock后输出不变，接着通过尺寸为(1，1)，个数为512的卷积核升维后输出为(7，7，1，512)接着通过一个全局池化层后输出为(512)，最后通过一个全连接层接softmax分类器。

接着利用3D-RDBC模块对denseblock中的卷积块进行替换，如图3所示,假定1*1的输入为32通道，在denselock中这个值通常大于32，此时的参数量为32*128+128*3*3*3*32＝114688，右边为改进后的基本卷积单元，Split-Transform由Cardinality个模块组层，每个模块首先通过1*1的卷积核降维，然后通入3*3的卷积核，最后进行相加操作，最后通过1*1的卷积核进行升维，参数量为Cardinality*(32*8d+8d*3*3*3*d)+32*d，其中d为中间卷积核的个数，令Cardinality等于8，d等于4的时候参数量为35968，远远小于原卷积块的参数量。

数据集通过对mars数据集中的图片筛选出适合本文研究情景的连续帧合成445个连续帧小视频，总共分为五类，向左走，向右走，向前走，向后走以及站立，其中向左右包含148个样本，向右走包含135个样本，向前走包含55个样本，向后走包含51个样本，站立包含56个样本。数据集训练集、验证集和测试集样本比例为3：1：1，因此267个样本作为训练集，89个样本作为验证集，89个样本作为测试机，网络在训练集上进行训练完成后通过测试机进行模型的准确度评估。

进一步地，如图5所示，通过本发明的方法能够具体识别出行人向左走、向右走、向前走、向后走的行为类别和站立行为以及每类行为的概率，并且将行为类别、每类行为的概率实时性的显示在视频中。

进一步地，分别采用3DCNN-Resnet-18，3DCNN-Dense，和3DCNN-RDBC在训练集上进行训练，训练参数batchsize为32，学习率为0.001，epoch为30，class为5，depth为8，性能对比表如表1所示。

算法	参数量	硬件	准确度
				3DCNN-Resnet-18	126M	Gtx1080	68.85％
3DCNN-Dense	4.76M	Gtx1080	80.27％
				3DCNN-RDBC(ours)	3.5M	Gtx1080	80.07％

从表中可以看出本发明的方法在保证识别准确度的前提下，极大地降低了算法参数量的大小，使得整个识别过程更为快速有效。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (7)

1.一种基于连续帧图像的行为识别方法，其特征在于：所述行为识别方法包括以下内容：

利用目标检测算法对行人的BBOX框进行回归；

将回归出的BBOX框按坐标裁剪为图片，调整图片的尺寸大小，并采用列表对图片进行存储；

将图片送入到训练好的行为识别网络得到行人识别结果。

2.根据权利要求1所述的一种基于连续帧图像的行为识别方法，其特征在于：所述将图片送入到训练好的行为识别网络得到行人识别结果的具体步骤如下：

当图片列表长度达到第一阈值帧时将连续第一阈值帧图片每间隔一帧取一张，得到第二阈值帧图片后送入训练好的行为识别网络进行行为识别；

通过行为识别网络识别预测出行人的具体行为以及行为的概率，并将其实时显示的视频图像中。

3.根据权利要求1所述的一种基于连续帧图像的行为识别方法，其特征在于：所述利用目标检测算法对行人的BBOX框进行回归的具体步骤如下：

利用去掉全连接层的densenet对YOLOV3-TINY检测网络的backbone进行替换；

在YOLOV3-TINY检测网络的两尺度预测的基础上增加一条预测支路，变为三尺度预测；

通过训练好的YOLOV3-TINY检测网络对行人的BBOX框进行回归。

4.根据权利要求1-3中任意一项所述的一种基于连续帧图像的行为识别方法，其特征在于：在完成将图片送入到训练好的行为识别网络得到行人识别结果的步骤之前还需要完成对行为识别网络的构建和训练步骤。

5.根据权利要求4所述的一种基于连续帧图像的行为识别方法，其特征在于：所述对行为识别网络的构建和训练步骤如下：

包括依次连接的DBAP1层、DBAP2层、第一denseblock层、第一池化层、第二denseblock层、第二池化层、第三denseblock层、卷积核、全局池化层、全连接层和sofamax分类器；

利用3D-RDBC模块对每个denseblock层中的卷积块进行替换，完成行为识别网络的构建；

将行为数据集分为比例为3:1:1的数据集训练集、验证集合测试集样本，并以此来训练构建好的行为识别网络。

6.根据权利要求5所述的一种基于连续帧图像的行为识别方法，其特征在于：所述第一阈值帧图片为为16帧图片，所述第二阈值帧图片为8帧图片。

7. 根据权利要求2所述的一种基于连续帧图像的行为识别方法，其特征在于： 对行为识别网络进行构建和训练的步骤如下：

通过训练集每一类行为对行为识别网络完成训练，然后将测试集输入行为识别网络后便能输出所属类别的概率，将概率最高的作为当前预测行为，其中概率是通过网络的输出层softmax层实现。