CN109919135A - 基于深度学习的行为检测方法、装置 - Google Patents

Abstract

本发明提供一种基于深度学习的行为检测方法及装置。其中方法包括：建立模型数据集，优化模型，提取待检测视频的图像帧，利用深度学习算法模型对相关行为进行检测，得到结果。本发明的有益效果为，可以在复杂条件下，特别是对室外作业划定区域中的目标进行检测，实时性良好，准确率较高，计算速度较快，而且能够在CPU环境下运行，实用性较强。

Description

基于深度学习的行为检测方法、装置

技术领域

本发明涉及计算机视觉和深度学习领域，尤其涉及一种基于深度学习的行为检测方法、装置。

背景技术

在室外作业场所，有着数量众多的视频监控系统，不断地采集信息和数据。传统技术一般是主要依靠人工辨别来检测监控视频或图像中作业区域的异常行为，由于视频数据量巨大，且室外作业场所情况复杂，依靠人工分析，往往难以快速准确地分析和辨识出异常行为，这种人工检测方法已远不能满足日常监控和目标行为检测的需求。利用计算机视觉和数字图像处理技术，可以一定程度上代替人工检测，对动态场景中目标进行识别和检测。但现有的一些自动异常行为检测方法往往速度较慢，不能完成对场景目标的实时监控。还难以满足复杂条件下对目标行为进行实时检测的需求，准确率较低以及计算速度较慢等问题尚存。

发明内容

在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，该概述并不是关于本发明的穷举性概述，它并非意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为后文的具体实施方式部分的铺垫。

鉴于以上提出的问题，本发明提出了一种基于深度学习的行为检测方法，包括：

步骤S1，收集与目标行为相关的图片，将图片中与目标行为相关的图像区域作为样本集，样本集进行人工标注，使用标注的样本集建立深度学习算法模型的异常行为数据集；

步骤S2，对异常行为数据集进行数据处理和/或优化，得到数据模型，对模型网络结构进行裁剪，减小模型大小和计算量，从而加速推理过程，迁移学习对模型进行训练，得到最终的深度学习算法模型；

步骤S3，输入待检测的视频源，提取该视频源分解的单个图像帧；

步骤S4，对该图像帧归一化，将其转换为神经网络所要求的输入格式blob结构；

步骤S5，根据配置文件和算法模型文件加载神经网络，向神经网络中输入该图像帧构造的blob结构，并进行正向传递，神经网络输出运行获得的预测边界框列表；

步骤S6，循环输出列表中的预测结果，提取classID并获取到边界框centerX，centerY，宽度值，高度值，划定要检测区域的警戒线坐标，根据得到的边界框坐标以及划定要检测区域的警戒线坐标，得到所有在警戒区域内的边界框，在图像上绘制边界框及对应的异常行为classID和置信度分数，从而得到这一帧图像的异常行为检测结果。

步骤S7，循环进行步骤S3～S6，将绘制后的图像进行格式转换并用网络传输，从而在显示终端上展示检测后的视频流。

进一步的，步骤S1中与目标行为相关的图片，包括目标的正常行为和/或异常行为的图片。

进一步的，步骤S2中对数据集进行数据处理和/或优化，包括数据探索，数据预处理，数据清理，数据转换和/或补充规范数据。

进一步的，步骤S3中使用间隔提取的方式，每隔n帧提取一次图像。

进一步的，n的取值为2-5之间。

进一步的，该步骤S4对该图像帧归一化包括，对提取到的图像帧进行颜色空间转换、和/或图像缩放，

对数据进行零均值化预处理，零均值化转化函数如下：

其中μ为所有样本数据的均值，σ为所有样本数据的标准差。

进一步的，该步骤S5中，输出的边界框由至少5个元素组成，该5个元素包括，centerX，centerY，宽度值，高度值，边界框包围对象的置信度，其中centerX，centerY为边界框中心点的坐标(x，y)的值；

按照边界框的置信度分类，边界框被分配到得分最高的相对应的类的classID。

进一步的，在该分类步骤之后或同时进行，判断边界框的置信度与给定阈值的关系，当边界框的置信度小于给定阈值时，则删除该边界框；当边界框的置信度大于或等于给定阈值时，确定目标边界框，找出最大置信度的边界框，与其他边界框分别计算交并比IoU，该交并比表示两个边界框的重合率。IoU计算公式如下：

其中，area(A)和area(B)分别表示最大置信度的边界框和其他边界框的面积，∩表示边界框重合的区域，∪表示边界框合并后的全部区域。

判断交并比IoU与非最大抑制值nms大小，如果IoU超过nms，则舍弃置信度较小的边界框，通过这种方法持续计算比较，最终保留全部重叠度小的边界框。

本发明还提供了一种基于深度学习的行为检测装置，包括：

收集模块，收集与目标行为相关的图片，将图片中与目标行为相关的图像区域作为样本集；还包括人工标注模块，样本集进行人工标注；还包括数据集模块，使用标注的样本集建立深度学习算法模型的异常行为数据集；

优化模块，对异常行为数据集进行数据处理和/或优化，得到数据模型，对模型网络结构进行裁剪，减小模型大小和计算量，从而加速推理过程，迁移学习对模型进行训练，得到最终的深度学习算法模型；

图像获取模块，输入待检测的视频源，提取该视频源分解的单个图像帧；

图像帧转换模块，对该图像帧归一化，将其转换为神经网络所要求的输入格式blob结构；

传输模块，根据配置文件和算法模型文件加载神经网络，向神经网络中输入该图像帧构造的blob结构，并进行正向传递，神经网络输出运行获得的预测边界框列表；

检测结果模块，循环输出列表中的预测结果，提取classID并获取到边界框centerX，centerY，宽度值，高度值，划定要检测区域的警戒线坐标，根据得到的边界框坐标以及划定要检测区域的警戒线坐标，得到所有在警戒区域内的边界框，在图像上绘制边界框及对应的异常行为classID和置信度分数，从而得到这一帧图像的异常行为检测结果。

本发明还提供了一种电子设备，包括存储器、处理器及存储在该存储器上并可在该处理器上运行的计算机程序，该处理器执行该程序时，实现如上述的基于深度学习的行为检测方法。

本发明实施例提供的技术方案可以包括以下有益效果：通过建立模型数据集，优化模型，提取待检测视频的图像帧，利用深度学习算法模型对相关行为进行检测，得到结果。可以在复杂条件下，对室外作业划定区域中的目标进行实时检测，准确率较高，计算速度快，而且能够在CPU环境下进行运行。

通过以下结合附图对本发明的最佳实施例的详细说明，本发明的这些以及其他优点将更加明显。

附图说明

在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本发明公开的一些实施方式，而不应将其视为是对本发明范围的限制。

图1是出根据本发明实施例的一种基于深度学习的行为检测方法的流程图。

图2示出根据本发明一具体实施例的基于深度学习的行为检测方法的模型示意图。

图3示出本发明一具体实施例的基于深度学习的行为检测方法的流程图。

图4是本发明一个实施例的一种基于深度学习的行为检测装置的结构示意图。

图5是根据本发明的一个实施例的电子设备的结构示意图。

具体实施方式

现参照附图对本发明的实施方式进行详细描述。应注意，以下描述仅仅是示例性的，而并不旨在限制本发明。此外，在以下描述中，将采用相同的附图标记表示不同附图中的相同或相似的部件。在以下描述的不同实施方式中的不同特征，可彼此结合，以形成本发明范围内的其他实施方式。

如图1、图2所示，一种基于深度学习的行为检测方法，其具体步骤包括：

步骤S1，通过监控摄像头截屏以及网络图片采集的方式收集与目标行为相关的图片，将图片中与目标行为相关的图像区域作为样本集，样本集进行人工标注，使用标注的样本集建立深度学习算法模型的异常行为数据集。所收集的与目标行为相关的图片可以是通常或正常行为的图片，也可以是异常行为的图片。其中还可以包括筛选的步骤，筛选或定义出异常行为的图片。收集的图片可以随时进行更新。例如，可以收集与室外作业场景下目标行为相关的图片。通过建立数据集，以便与实时采集到的图像进行对照和比对，判断是否发生异常。

步骤S2，对异常行为数据集进行数据处理和/或优化，利用深度学习算法，用迁移学习方法重新训练异常行为检测模型，得到较佳的数据模型，即得到最终的深度学习算法模型。其中对数据集进行数据处理和/或优化，包括数据探索，数据预处理，数据清理，数据转换和/或补充规范数据。

对模型网络结构进行裁剪，减小模型大小和计算量，从而加速推理过程，训练深度学习算法模型需要大量的样本数据来进行训练，模型的训练效果与样本的数量有直接关系，而在实际场景中训练样本的获取成本比较高，因此需要迁移学习来对模型进行训练，先使用网上公开的包含目标类别的大容量训练集对模型进行训练，得到训练模型后再输入自己本地的训练样本做再训练，得到最终的深度学习算法模型，例如yolov3模型。对获取到的与目标行为相关的异常行为数据进行整理，筛选，优化，探索，清理，使得数据模型规整。迁移学习(Transfer learning)运用已存有的知识对不同但相关领域问题进行求解的机器学习方法。本发明不仅使用迁移学习对模型进行训练，相关领域问题得到解决，并且还可以同时使用网络公开的模型进行训练，得到训练模型，再输入本地继续训练，由此得到的深度学习算法模型，在识别异常行为图像时，准确率更高，效率更高。

步骤S3，接入视频源，对于需要检测的视频，获得待检测视频的图像帧，使用间隔提取的方式，每隔n帧提取一次图像，n的取值一般是在2～5之间，这样能够较好地提高获取图像帧的处理速度，减少计算量，从而节省处理资源。

步骤S4，对该图像帧归一化，将其转换为神经网络所要求的输入格式blob结构。例如，对获取到的图像帧进行颜色空间转换和图像缩放，执行零均值化对图像帧进行归一化，产生一个已知的blob结构，该blob结构为最终的深度学习算法模型中神经网络所要求的输入格式的blob结构。

在OpenCV中，图像不是用常规的RGB颜色通道来存储的，它们用的是BGR顺序。当读取一幅图像后，默认的是BGR，需要对图像进行颜色空间转换。

对数据进行零均值化预处理，这样做的目的是要增加基向量的正交性，归一化后加快了梯度下降求最优解的速度，还可以提高精度。

零均值化转化函数如下：

其中μ为所有样本数据的均值，σ为所有样本数据的标准差

步骤S5，根据配置文件和算法模型文件加载神经网络，将该图像帧构造的blob结构作为输入传递到神经网络中，并进行正向传递，运行获得的预测边界框列表作为网络输出。

神经网络的输出边界框是由一组5个或更多元素的向量表示。前4个元素代表centerX，centerY，width(宽度值)和height(高度值)，可以由此得到边界框的坐标和尺寸，坐标形式为：(centerX，centerY，width，height)，使用此信息导出边界框的左上角(x，y)坐标。第五个元素表示边界框包围对象的置信度confidence，较低的置信度值表示该对象可能不是网络认为的对象，例如，此处设置的置信度值为0.6。其余元素是与每个类相关的置信度(即对象类型)。这个框被分配到它得分最高相对应的那个类classID。边界框的最高分也被称为置信度。判断当边界框的置信度小于给定阈值时，则删除该边界框；确定目标边界框后，找出最大置信度的边界框，与其他边界框分别计算交并比(IoU)，用以表示两个边界框的重合率。

IoU计算公式如下：

其中，area(A)和area(B)分别表示最大置信度的边界框和其他边界框的面积，∩表示边界框重合的区域，∪表示边界框合并后的全部区域。

在该分类步骤之后或同时进行，判断边界框的置信度与给定阈值的关系。分类，判断置信度与阈值关系的步骤，有利于提高辨识异常行为图像的准确率，提高运行速度。

判断交并比(IoU)与非最大抑制值(nms)大小，nms在此实例中取0.6，如果IoU超过nms，则舍弃置信度较小的边界框，通过这种方法一直计算比较，最终保留所有重叠度小的边界框。由此，去除了重叠的边界框，运算速度更加快。

步骤S6，循环输出列表中的预测结果，提取classID并获取到边界框centerX，centerY，宽度值，高度值，根据得到的边界框坐标以及划定要检测区域的警戒线坐标，得到所有在警戒区域内的边界框，在图像上绘制边界框及对应的异常行为classID和置信度分数，从而得到这一帧图像的异常行为检测结果。

步骤S7，循环进行步骤S3～S6，将绘制后的图像进行格式转换并用网络传输，从而在显示终端上展示检后的视频流。如图3所示，在执行步骤6之后，继续循环执行获取图像帧的步骤，然后继续检测。显示终端可选的，显示器，显示屏，投影等。

由此，循环的检测，便于识别异常的行为图像，省去了人工筛查的过程。

自此，就完成了/实现了基于深度学习的行为检测。

如图4所示，一种基于深度学习的行为检测装置10，包括：收集模块11，人工标注模块12，数据集模块13，优化模块14，图像获取模块15，图像帧转换模块16，传输模块17，检测结果模块18。

收集模块，收集与目标行为相关的图片，将图片中与目标行为相关的图像区域作为样本集；还包括人工标注模块，样本集进行人工标注；还包括数据集模块，使用标注的样本集建立深度学习算法模型的异常行为数据集；

优化模块，对异常行为数据集进行数据处理和/或优化，得到数据模型，对模型网络结构进行裁剪，减小模型大小和计算量，从而加速推理过程，迁移学习对模型进行训练，得到最终的深度学习算法模型；

图像获取模块，输入待检测的视频源，提取该视频源分解的单个图像帧；

图像帧转换模块，对该图像帧归一化，将其转换为神经网络所要求的输入格式blob结构；

传输模块，根据配置文件和算法模型文件加载神经网络，向神经网络中输入该图像帧构造的blob结构，并进行正向传递，神经网络输出运行获得的预测边界框列表；

检测结果模块，循环输出列表中的预测结果，提取classID并获取到边界框centerX，centerY，宽度值，高度值，划定要检测区域的警戒线坐标，根据得到的边界框坐标以及划定要检测区域的警戒线坐标，得到所有在警戒区域内的边界框，在图像上绘制边界框及对应的异常行为classID和置信度分数，从而得到这一帧图像的异常行为检测结果。

为了实现上述实施例，本发明还提供一种电子设备。

图5是根据本发明一个实施例的电子设备的结构示意图。如图5所示，一种电子设备100，包括存储器110、处理器120及存储在该存储器上并可在该处理器上运行的计算机程序130，该处理器执行该程序时，实现如上述的基于深度学习的行为检测方法。

在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于深度学习的行为检测方法，包括：

步骤S1，收集与目标行为相关的图片，将图片中与目标行为相关的图像区域作为样本集，样本集进行人工标注，使用标注的样本集建立深度学习算法模型的异常行为数据集；

步骤S2，对异常行为数据集进行数据处理和/或优化，得到数据模型，对模型网络结构进行裁剪，减小模型大小和计算量，从而加速推理过程，迁移学习对模型进行训练，得到最终的深度学习算法模型；

步骤S3，输入待检测的视频源，提取所述视频源分解的单个图像帧；

步骤S4，对所述图像帧归一化，将其转换为神经网络所要求的输入格式blob结构；

步骤S5，根据配置文件和算法模型文件加载神经网络，向神经网络中输入所述图像帧构造的blob结构，并进行正向传递，神经网络输出运行获得的预测边界框列表；

步骤S6，循环输出列表中的预测结果，提取classID并获取到边界框centerX，centerY，宽度值，高度值，划定要检测区域的警戒线坐标，根据得到的边界框坐标以及划定要检测区域的警戒线坐标，得到所有在警戒区域内的边界框，在图像上绘制边界框及对应的异常行为classID和置信度分数，从而得到这一帧图像的异常行为检测结果。

2.根据权利要求1所述的方法，其特征在于，

步骤S1中与目标行为相关的图片，包括目标的正常行为和/或异常行为的图片。

3.根据权利要求1所述的方法，其特征在于，

步骤S2中对数据集进行数据处理和/或优化，包括数据探索，数据预处理，数据清理，数据转换和/或补充规范数据。

4.根据权利要求1所述的方法，其特征在于，

步骤S3中使用间隔提取的方式，每隔n帧提取一次图像，n的取值为2-5之间。

5.根据权利要求1所述的方法，其特征在于，所述步骤S4对所述图像帧归一化包括，对提取到的图像帧进行颜色空间转换、和/或图像缩放，

对数据进行零均值化预处理，零均值化转化函数如下：

其中μ为所有样本数据的均值，σ为所有样本数据的标准差。

6.根据权利要求1所述的方法，其特征在于，所述步骤S5中，输出的边界框由至少5个元素组成，所述5个元素包括，centerX，centerY，宽度值，高度值，边界框包围对象的置信度，其中centerX，centerY为边界框中心点的坐标(x，y)的值。

7.根据权利要求6所述的方法，其特征在于，按照边界框的置信度分类，边界框被分配到得分最高的相对应的类的classID。

8.根据权利要求7所述的方法，其特征在于，在所述分类步骤之后或同时进行，判断边界框的置信度与给定阈值的关系，当边界框的置信度小于给定阈值时，则删除该边界框；当边界框的置信度大于或等于给定阈值时，确定目标边界框，找出最大置信度的边界框，与其他边界框分别计算交并比IoU，所述交并比表示两个边界框的重合率；

IoU计算公式如下：

其中，area(A)和area(B)分别表示最大置信度的边界框和其他边界框的面积，∩表示边界框重合的区域，∪表示边界框合并后的全部区域；

判断交并比IoU与非最大抑制值nms大小，如果IoU大于nms，则舍弃置信度较小的边界框，如果IoU小于或等于nms，上述两个边界框都保留，继续比较下一个边界框，通过这种方法持续计算比较，最终保留全部重叠度小的边界框。

9.根据权利要求8所述的方法，其特征在于，还包括步骤S7，循环进行步骤S3～S6，将绘制后的图像进行格式转换并用网络传输，从而在显示终端上展示检测后的视频流。

10.一种基于深度学习的行为检测装置，包括：

收集模块，收集与目标行为相关的图片，将图片中与目标行为相关的图像区域作为样本集；其还包括人工标注模块，样本集进行人工标注；还包括数据集模块，使用标注的样本集建立深度学习算法模型的异常行为数据集；

优化模块，对异常行为数据集进行数据处理和/或优化，得到数据模型，对模型网络结构进行裁剪，减小模型大小和计算量，从而加速推理过程，迁移学习对模型进行训练，得到最终的深度学习算法模型；

图像获取模块，输入待检测的视频源，提取所述视频源分解的单个图像帧；

图像帧转换模块，对所述图像帧归一化，将其转换为神经网络所要求的输入格式blob结构；

传输模块，根据配置文件和算法模型文件加载神经网络，向神经网络中输入所述图像帧构造的blob结构，并进行正向传递，神经网络输出运行获得的预测边界框列表；

检测结果模块，循环输出列表中的预测结果，提取classID并获取到边界框centerX，centerY，宽度值，高度值，划定要检测区域的警戒线坐标，根据得到的边界框坐标以及划定要检测区域的警戒线坐标，得到所有在警戒区域内的边界框，在图像上绘制边界框及对应的异常行为classID和置信度分数，从而得到这一帧图像的异常行为检测结果。