CN108154113A

CN108154113A - 基于全卷积网络热度图的跌倒事件检测方法

Info

Publication number: CN108154113A
Application number: CN201711407136.4A
Authority: CN
Inventors: 高陈强; 冯琦; 张敏文; 杜莲; 王灿; 张昊
Original assignee: Chongqing University of Post and Telecommunications
Current assignee: Chongqing University of Post and Telecommunications
Priority date: 2017-12-22
Filing date: 2017-12-22
Publication date: 2018-06-12

Abstract

本发明涉及一种基于全卷积网络热度图的跌倒事件检测方法，属于图像处理与计算机视觉技术领域。该方法将数据集分为训练集和测试集，首先将训练集数据分为包含跌倒事件和不包含跌倒事件的正、负样本视频图像，利用其训练一个热度图全卷积网络；然后提取图像中的人工标注的正样本区域，并随机采样若干区域作为负样本，利用其训练一个二分类卷积神经网络；将测试集视频图像序列输入到热度图全卷积网络，得到跌倒事件热度图，根据得到的热度图，定位并提取出跌倒事件候选区域；将跌倒事件候选区域放缩到统一大小，输入到二分类卷积神经网络得到分类结果。本发明在复杂背景和多人物目标的情况下能准确检测并定位出跌倒事件。

Description

基于全卷积网络热度图的跌倒事件检测方法

技术领域

本发明属于图像处理与计算机视觉技术领域，涉及一种基于全卷积网络热度图的跌倒事件检测方法。

背景技术

近年来，随着计算机性能的巨大进步，计算机视觉领域也在蓬勃发展。计算机视觉中的智能视频分析也成为了计算机视觉领域的一个重要分支。智能视频分析中包括了事件检测、行为识别和自动驾驶等不同方向，其中事件检测中又包括了跌倒事件检测、交通事件检测和异常事件检测等不同任务。跌倒事件作为最常见但致死致伤率最高的事件，及时救治最大程度减小后续伤害。因此，跌倒事件检测是一个值得关注的研究任务。

长期以来，独居老年人的跌倒事件检测一直是一个研究热点。然而跌倒事件给儿童、密集人群和拥挤人流带来的伤害和影响也不容小觑。在以往针对独居老人的跌倒事件检测算法中，视频画面中出现的目标人物往往只有一个，背景也多为室内这样的简单背景。通用方法主要分为四部分：前景提取(目标提取)、目标跟踪、特征提取和分类，其中目标提取和跟踪的准确度对最后检测结果准确度起决定性作用。但对于学校儿童群体、密集人群或拥挤人流这样室外、背景复杂、目标多且小的情况下，前景提取和目标跟踪的方法受影响很大，准确率会出现较大波动，进而影响检测结果。而基于热度图的方法不需要对每一个目标单独跟踪，而是对输入的视频图像序列计算全局热度图，再进一步提取候选区域进行分类，有效解决了背景复杂带来的跟踪困难问题。

基于全卷积网络热度图的跌倒事件检测方法主要由热度图产生、候选区提取、特征提取和分类四个部分组成。现阶段热度图主要用于图像识别和定位，在事件检测中涉及较少。候选区提取方式主要有基于背景减除的方法和基于目标检测的方法。基于背景减除的方法优势在于能够把前景目标全部提取出来，召回率很高，但相对应的不足之处就在于提取出的前景不一定是人物目标，甚至可能是背景移动之后产生的“鬼影”区域，而且在前景目标较多的情况下对前景目标进行分割较为困难。基于目标检测的方法的优势在于能够直接检测人物目标，但在背景复杂，人群密集的情况下，准确率和召回率都不理想。在特征提取方面，现阶段常用的特征是HOG特征以及其他基于形状的特征。这一类特征的提取计算量较小，但是所提供的信息过少。因此，基于热度图的跌倒事件检测任务的研究重点就是在复杂背景及多人物目标情况下准确识别并定位出跌倒事件。

发明内容

有鉴于此，本发明的目的在于提供一种基于全卷积网络热度图的跌倒事件检测方法，该方法将热度图用于提取跌倒事件候选区域，再对候选区域进行准确分类，使本发明在复杂背景和多人物目标的情况下能准确检测并定位出跌倒事件。

为达到上述目的，本发明提供如下技术方案：

一种基于全卷积网络热度图的跌倒事件检测方法，该方法包括以下步骤：

步骤1：将数据集分为训练集和测试集；对于训练集数据，首先根据人工标注把视频图像序列分为包含跌倒事件的正样本视频图像和不包含跌倒事件的负样本视频图像；然后再提取图像中的人工标注的视频图像区域作为正样本区域图片，并随机采样若干视频图像区域为负样本区域图片；

步骤2：利用步骤1中包含跌倒事件的正样本视频图像和不包含跌倒事件的负样本视频图像训练一个热度图全卷积网络；

步骤3：利用步骤1中标注并提取出的正样本区域图片和随机采样得到的负样本区域图片训练一个二分类卷积神经网络；

步骤4：对于测试集视频图像序列，首先输入到步骤2得到的热度图全卷积网络，得到跌倒事件热度图，根据得到的热度图，定位并提取出跌倒事件候选区域；

步骤5：将步骤4中提取到的跌倒事件候选区域放缩到统一大小，输入到步骤3得到的二分类卷积神经网络得到分类结果。

进一步，在步骤1中所述训练集分为两个阶段使用，第一阶段是整张视频图像作为包含跌倒事件的正样本或不包含跌倒事件的负样本使用，这一阶段用于训练热度图全卷积网络；第二阶段是把人工标注的正样本区域提取出，并随机采样获取负样本，用于二分类卷积神经网络的训练；

对图像进行负样本的采样，采样的区域的宽度和高度大小的范围由正样本的最大和最小宽度和高度决定，并且负样本的区域与正样本的重叠率不能超过0.5，重叠率的计算公式为：

其中IoU为重叠率，r_g为正样本区域，r_n为随机采样负样本区域。

进一步，在步骤2中所述的训练全卷积网络的过程为：首先，构造一个适合于数据集规模的全卷积网络，本发明的网络为全卷积层，输出层为上采样层的多层网络；再利用反向传播算法传递误差信号，更新梯度，寻找最优值。

进一步，在步骤3中所述的训练卷积神经网络的过程为：首先，构造一个适合于数据集规模的卷积神经网络，本发明的网络为卷积层和抽样层交替出现，输出层为softmax分类器层的多层网络，再利用反向传播算法传递误差信号，更新梯度，寻找最优值。

进一步，在步骤4中所述的候选区域提取过程为：首先将测试集视频图像序列缩放到统一大小，并输入步骤2中得到的热度图全卷积网络中得到相应的热度图；然后取一个阈值，把每张热度图中的高于阈值的区域用限定框框出，得到跌倒事件的位置候选区域。

进一步，在步骤5中所述的候选区域图片块，首先缩放到统一大小，输入到步骤3中训练得到的分类卷积神经网络中进行分类以确定候选区内是否为跌倒事件，最终得到测试数据集的检测结果。

本发明的有益效果在于：本发明解决了现有跌倒事件检测中在复杂多目标情况下候选区域定位提取效果不佳的问题，摒弃了传统的依赖目标检测和跟踪的方法，采用了基于全卷积网络热度图的候选区提取方法，使得在背景复杂，人群密集的情况下能够准确定位提取出跌倒事件候选区。

附图说明

为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：

图1为基于全卷积网络热度图的跌倒事件检测方法示意图；

图2为热度图全卷积网络示意图；

图3为热度图示例图。

具体实施方式

下面将结合附图，对本发明的优选实施例进行详细的描述。

如图1所示，本发明所述的基于全卷积网络热度图的跌倒事件检测方法具体包括以下步骤：

步骤1：将数据集分为训练集和测试集。其中，训练集分为两个阶段使用，第一阶段是将整张视频图像作为正样本或负样本使用，这一阶段用于训练热度图全卷积网络；第二阶段是把人工标注的正样本区域提取出，并随机采样获取负样本，用于二分类卷积神经网络的训练。

进一步，步骤1包括如下步骤：

步骤11：在第一阶段，将整张视频图像作为正负样本使用，其中包括跌倒事件的视频帧为正样本，其余为负样本。然后将全部正负样本视频图像序列缩放到256×256的统一大小用于热度图全卷积网络的训练。

步骤12：首先在视频图像序列上提取出人工标注好的正样本区域，然后对图像进行负样本的采样，采样的区域的宽度和高度大小的范围由正样本的最大(最小)宽度和高度决定，并且负样本的区域与正样本的重叠率不能超过0.5，重叠率的计算公式为：

如图2所示，热度图全卷积网络训练步骤如下：

步骤2：训练一个用于计算热度图全卷积网络。训练全卷积网络的过程为：首先，构造一个适合于数据集规模的全卷积网络，本发明的网络为内含全卷积层，输出层为上采样层的多层网络，最后输出热度图来表示跌倒事件发生的区域权重值大小，再利用反向传播算法传递误差信号，更新梯度，寻找最优值。

步骤3：训练一个二分类器卷积神经网络。训练卷积神经网络的过程为：首先，构造一个适合于数据集规模的卷积神经网络。本发明的网络为卷积层和抽样层交替出现，输出层为softmax分类器层的多层网络，以二分类的结果来表示相应候选区包含跌倒事件的可能性大小，再利用反向传播算法传递误差信号，更新梯度，寻找最优值。

热度图的产生以及利用热度图提取步骤如下：

步骤4：根据热度图提取候选区域。候选区域提取过程为：首先将测试集视频图像序列缩放到256×256的统一大小，并输入步骤2得到的热度图全卷积网络中得到相应的热度图。然后取热度图中权重值100作为阈值，把每张热度图中的高于阈值的区域用限定框框出，得到跌倒事件的位置候选区域。

步骤5：对候选区域分类。首先将候选区域图片块缩放到64×64的统一大小，输入到步骤3中训练得到的分类卷积神经网络中进行分类以确定候选区内是否为跌倒事件，最终得到测试数据集的检测结果。

从图3可以看出，热度图可以在背景复杂，人群密集的情况下找出相应的候选区域。

最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。

Claims

1.一种基于全卷积网络热度图的跌倒事件检测方法，该方法包括以下步骤：

S1：将数据集分为训练集和测试集；对于训练集数据，首先根据人工标注把视频图像序列分为包含跌倒事件的正样本视频图像和不包含跌倒事件的负样本视频图像；然后再提取图像中的人工标注的视频图像区域作为正样本区域图片，并随机采样若干视频图像区域作为负样本区域图片；

S2：利用S1中包含跌倒事件的正样本视频图像和不包含跌倒事件的负样本视频图像训练一个热度图全卷积网络；

S3：利用S1中标注并提取出的正样本区域图片和随机采样得到的负样本区域图片训练一个二分类卷积神经网络；

S4：对于测试集视频图像序列，首先输入到S2得到的热度图全卷积网络，得到跌倒事件热度图，根据得到的热度图，定位并提取出跌倒事件候选区域；

S5：将S4中提取到的跌倒事件候选区域放缩到统一大小，输入到S3得到的二分类卷积神经网络得到分类结果。

2.如权利要求1所述的基于全卷积网络热度图的跌倒事件检测方法，在S1中所述训练集分为两个阶段使用，第一阶段是整张视频图像作为包含跌倒事件的正样本或不包含跌倒事件的负样本使用，这一阶段用于训练热度图全卷积网络；第二阶段是把人工标注的正样本区域提取出，并随机采样获取负样本，用于二分类卷积神经网络的训练；

3.如权利要求1所述的基于全卷积网络热度图的跌倒事件检测方法，在S2中所述的训练全卷积网络的过程为：首先，构造一个适合于数据集规模的全卷积网络，本发明的网络为全卷积层，输出层为上采样层的多层网络；再利用反向传播算法传递误差信号，更新梯度，寻找最优值。

4.如权利要求1所述的基于全卷积网络热度图的跌倒事件检测方法，在S3中所述的训练卷积神经网络的过程为：首先，构造一个适合于数据集规模的卷积神经网络，本发明的网络为卷积层和抽样层交替出现，输出层为softmax分类器层的多层网络，再利用反向传播算法传递误差信号，更新梯度，寻找最优值。

5.如权利要求1所述的基于全卷积网络热度图的跌倒事件检测方法，在S4中所述的候选区域提取过程为：首先将测试集视频图像序列缩放到统一大小，并输入S2中得到的热度图全卷积网络中得到相应的热度图；然后取一个阈值，把每张热度图中的高于阈值的区域用限定框框出，得到跌倒事件的位置候选区域。

6.如权利要求1所述的基于全卷积网络热度图的跌倒事件检测方法，在S5中所述的候选区域图片块，首先缩放到统一大小，输入到S3中训练得到的分类卷积神经网络中进行分类以确定候选区内是否为跌倒事件，最终得到测试数据集的检测结果。