CN115830701A - 一种基于小样本学习的人员违规行为预测方法 - Google Patents

Abstract

本发明公开了一种基于小样本学习的人员违规行为预测方法，涉及图像处理技术领域。本发明包括如下步骤：收集违规作业行为的图像，构成数据集并对图像进行标注；对数据图像进行增强处理；采用小样本学习方法，建立违规作业预测孪生网络模型，初始化模型参数；导入训练数据至违规作业预测孪生网络模型，计算图块集与样本之间的距离。本发明通过小样本学习方法建立违规作业预测孪生网络模型，将训练数据导入至违规作业预测孪生网络模型计算图块集，并计算图块集与样本之间的距离，比较距离和预设阈值的大小，若小于或等于则预测为违规行为，提高监管效率，节约成本。

Description

一种基于小样本学习的人员违规行为预测方法

技术领域

本发明属于图像识别技术领域，特别是涉及一种基于小样本学习的人员违规行为预测方法。

背景技术

在当前生产日益趋于标准化规范化，其中对人员在车间相关场地的行为规范尤其重要，相应的都有标准的作业行为规范，例如有相当多的地方要求禁止吸烟，并且各个地方区域也制定严格的禁止吸烟管理措施。目前主要依靠人员的自我规范和相关检查人员的巡视。当前采用的方法效率比较低下，一方面有的人员自我约束力不强，违反规定的行为时有发生；另一方面，靠人工巡视，成本较高也无法起到实时发现的作用。以先进的计算机视觉技术代替人工巡检，可以有效的提高效率，节约成本，提高震慑效果。

基于计算机视觉的检测识别技术，依靠深度神经网络强大的拟合能力，通过人工智能的方法对这些异常违规的行为进行检测。但是通常训练深度神经网络需要大量的数据，由于异常违规的行为只有少数情况下会发生，发生的概率也不是很频繁，因此存在着数据严重不足，训练数据短缺的情况，使得深度神经网络不能得到很好的训练。现实中，人类可以通过少数的几个示例的学习，就能举一反三，认识某些物体或学会某种模式。计算机也可以设计通过少数样本的学习，就可以学习到这些样本的特征。在违规行为的检测中，学习少量违规行为的样本，就可以实现对违规行为的检测。

发明内容

本发明的目的在于提供一种基于小样本学习的人员违规行为预测方法，通过小样本学习方法建立违规作业预测孪生网络模型，将训练数据导入至违规作业预测孪生网络模型计算图块集，并计算图块集与样本之间的距离，比较距离和预设阈值的大小，若小于或等于则预测为违规行为，解决了现有的管理人员监管不到位、监管容易失误的问题。

为解决上述技术问题，本发明是通过以下技术方案实现的：

本发明为一种基于小样本学习的人员违规行为预测方法，包括如下步骤：

步骤S1：在需要监管的工作区域内安装摄像头；

步骤S2：收集违规作业行为的图像，构成数据集并对图像进行标注；

步骤S3：把数据集划分成两个部分：训练集和测试集，从训练集中随机选取一张作为样本；

步骤S4：对数据图像进行增强处理；

步骤S5：采用小样本学习方法，建立违规作业预测孪生网络模型，初始化模型参数；

步骤S6：导入训练数据至违规作业预测孪生网络模型，计算图块集，计算图块集与样本之间的距离，比较距离和预设阈值的大小，若小于或等于则预测为违规行为。

作为一种优选的技术方案，所述步骤S2中，收集违规作业行为的图像具体过程或者方法是：通过对工作区域的日常监控来采集违规行为的图像信息数据；若日常监控中违规行为太少或者没有，则通过人工模拟违规行为进行拍摄来收集违规行为的图像数据。

作为一种优选的技术方案，所述步骤S2中，对确定存在违规行为的图像进行标注，在标注时，利用手动的方式框取人物所在的位置以及违规行为的区域位置，并提取矩形框体四个角的坐标完成标注。

作为一种优选的技术方案，所述步骤S3中，样本包括正样本和负样本；将人员正常行为作为正样本，将人员违规行为作为负样本，并标定出负样本中每个违规操作的区域。

作为一种优选的技术方案，所述步骤S4中，对数据图像使用多方向2DGabor滤波器组进行增强处理，具体步骤如下：

步骤S41：对原始图像进行分类识别，区分目标区域和背景杂波区域；

步骤S42：通过2D Gabor滤波器组对目标区域取值图像叠加；

步骤S43：叠加后获取增强目标区域图片。

作为一种优选的技术方案，所述步骤S5中，违规作业预测孪生网络模型通过交叉验证的思想训练小样本数据，调整模型参数，得到小样本条件下最优的卷积神经网络模型，具体训练违规作业预测孪生网络模型的流程如下：

步骤S51：在卷积自编码器模型中，设置相同结构的编码器部分和解码器部分；

步骤S52：解码器部分的结构在编码器结构的基础上进行反操作；

步骤S53：通过对小样本数据进行训练，保留编码器部分的结构和权重；

步骤S54：在保留编码器部分的结构后增加全连接层，并进行训练；

步骤S55：得到卷积自编码器分类模型进行图像的分类识别。

作为一种优选的技术方案，所述步骤S6中，导入训练数据至违规作业预测孪生网络模型时，违规作业预测孪生网络模型对训练数据进行分割，对分割后的图像分别进行直方图均衡化处理、多尺度检测和特征提取；

所述直方图均衡化处理用于对分割的图像来增强对比度；

所述多尺度检测的具体步骤如下：

步骤D1：以定义大小的采样窗口对检测区域逐行逐列进行扫描，使用生成的分类模型对每个采样图像进行判定，如果判定为违规行为，则检测完成；

步骤D2：将监测区域按1.05倍缩小，重复步骤D1；

步骤D3：重复步骤D1，直至检测到违规行为，或检测区域缩小到限定的阈值为止；

所述特征提取利用预先训练好的模型提取特征，采用预训练好的ResNet-101来对每个图块分别进行特征的提取，提取完特征后再进行距离计算，将高维的特征转换为一维的特征向量。

作为一种优选的技术方案，所述距离计算EMD方法，首先为不同图块分配不同的权重，计算公式如下：

式中，J表示测试图块集，j表示测试图块集里的图块特征，w表示图块的不同权重；

然后通过线性规划的方式寻找各个图块之间的距离，距离计算如下：

式中，K表示支持图块集，k表示支持图块集的图块特征，w表示图块的不同权重；

计算两图块之间的距离公式为：

式中，z表示图块与图块最优匹配值，v表示图块特征向量之间匹配的代价，distance(J,K)表示J测试图块集和K支持图块集之间的距离。

作为一种优选的技术方案，所述卷积神经网络结构包括一个输入层、四个卷积池化层和一个全连接层；每个所述卷积池化层的具体结构为每两层卷积层后连接一个激活层；所述全连接层为三层线性层；其中，第一层为降维层，第二层为保留层，第三层为分类层，并在分类层后加入分类器，形成分类神经网络。

本发明具有以下有益效果：

本发明通过小样本学习方法建立违规作业预测孪生网络模型，将训练数据导入至违规作业预测孪生网络模型计算图块集，并计算图块集与样本之间的距离，比较距离和预设阈值的大小，若小于或等于则预测为违规行为，提高监管效率，节约成本。

当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的一种基于小样本学习的人员违规行为预测方法流程图；

图2为数据图像使用多方向2D Gabor滤波器组进行增强处理流程图；

图3为训练违规作业预测孪生网络模型的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

由于标签注释成本太高而缺少足够的带标签数据，因此深度学习面临一个新的小样本问题。小样本问题主要体现在两个方面：

1)虽然数据量足够，但缺少数据对应的标签，即在大量数据中只有少部分数据带有标签；

2)数据量本身较小。

请参阅图1所示，本发明为一种基于小样本学习的人员违规行为预测方法，包括如下步骤：

步骤S1：在需要监管的工作区域内安装摄像头；

步骤S2：收集违规作业行为的图像，构成数据集并对图像进行标注；收集违规作业行为的图像具体过程或者方法是：通过对工作区域的日常监控来采集违规行为的图像信息数据；若日常监控中违规行为太少或者没有，为了增加违规行为的数据量和数据的多样性，则通过人工模拟违规行为进行拍摄来收集违规行为的图像数据，主要用来筛选出同一违规行为的不同状态的图像。

对确定存在违规行为的图像进行标注，在标注时，利用手动的方式框取人物所在的位置以及违规行为的区域位置，并提取矩形框体四个角的坐标完成标注；标注是利用人眼观察的方式，将违规行为用矩形框在图像中框选出来，在框选的时候要附带违规行为的关键物体，如：在监控区域内玩手机，不仅要框选出人体的位置，还需要框选择人体拿的手机；在监控区域内抽烟，不仅要框选出人体的位置，还需要框选择人体拿的香烟的位置；

步骤S3：把数据集划分成两个部分：训练集和测试集，从训练集中随机选取一张作为样本；样本包括正样本和负样本；将人员正常行为作为正样本，将人员违规行为作为负样本，并标定出负样本中每个违规操作的区域。

请参阅图2所示，步骤S4：对数据图像进行增强处理；对数据图像使用多方向2DGabor滤波器组进行增强处理，具体步骤如下：

步骤S41：对原始图像进行分类识别，区分目标区域和背景杂波区域；

步骤S42：通过2D Gabor滤波器组对目标区域取值图像叠加；

步骤S43：叠加后获取增强目标区域图片。

步骤S5：采用小样本学习方法，建立违规作业预测孪生网络模型，初始化模型参数；

请参阅图3所示，违规作业预测孪生网络模型通过交叉验证的思想训练小样本数据，调整模型参数，得到小样本条件下最优的卷积神经网络模型，具体训练违规作业预测孪生网络模型的流程如下：

步骤S51：在卷积自编码器模型中，设置相同结构的编码器部分和解码器部分；

步骤S52：解码器部分的结构在编码器结构的基础上进行反操作；

步骤S53：通过对小样本数据进行训练，保留编码器部分的结构和权重；

步骤S54：在保留编码器部分的结构后增加全连接层，并进行训练；

步骤S55：得到卷积自编码器分类模型进行图像的分类识别。

步骤S6：导入训练数据至违规作业预测孪生网络模型，计算图块集，计算图块集与样本之间的距离，比较距离和预设阈值的大小，若小于或等于则预测为违规行为。

导入训练数据至违规作业预测孪生网络模型时，违规作业预测孪生网络模型对训练数据进行分割，对分割后的图像分别进行直方图均衡化处理、多尺度检测和特征提取；

直方图均衡化处理用于对分割的图像来增强对比度；

多尺度检测的具体步骤如下：

步骤D1：以定义大小的采样窗口对检测区域逐行逐列进行扫描，使用生成的分类模型对每个采样图像进行判定，如果判定为违规行为，则检测完成；

步骤D2：将监测区域按1.05倍缩小，重复步骤D1；

步骤D3：重复步骤D1，直至检测到违规行为，或检测区域缩小到限定的阈值为止；

特征提取利用预先训练好的模型提取特征，采用预训练好的ResNet-101来对每个图块分别进行特征的提取，提取完特征后再进行距离计算，将高维的特征转换为一维的特征向量。

距离计算EMD方法，首先为不同图块分配不同的权重，计算公式如下：

式中，J表示测试图块集，j表示测试图块集里的图块特征，w表示图块的不同权重；

然后通过线性规划的方式寻找各个图块之间的距离，距离计算如下：

式中，K表示支持图块集，k表示支持图块集的图块特征，w表示图块的不同权重；

计算两图块之间的距离公式为：

式中，z表示图块与图块最优匹配值，v表示图块特征向量之间匹配的代价，distance(J,K)表示J测试图块集和K支持图块集之间的距离。

卷积神经网络结构包括一个输入层、四个卷积池化层和一个全连接层；每个卷积池化层的具体结构为每两层卷积层后连接一个激活层；全连接层为三层线性层；其中，第一层为降维层，即将卷积操作后的特征图进行降维，第二层为保留层，即保留降维层后的特征图个数，第三层为分类层，并在分类层后加入分类器，形成分类神经网络。

卷积神经网络结构中的第一层到第四层卷积池化层中的卷积层输出通道数量(也可看作积核的数量或输出的特征数),使用LeakyRelUM为激活函数，全连接层也采用激活函数LeakyRelU，最后使用Softmax分类器进行分类。

在输入层中对原始图像进行简单的预处理，包括取均值、归一化等。本申请文件在输入层采取的预处理为归一化处理，将图像像素归一化到0～1之间，以加快训练网络的收敛速度和训练速度。

卷积层是卷积神经网络中最重要的层次，用于提取特征。卷积层中有两个关键操作：局部关联和窗口滑动。局部关联是指将每个神经元看作一个滤波器，也称卷积核，窗口滑动是指滤波器对局部数据进行运算。在卷积层中，计算输入图像的区域和滤波器的权重矩阵之间的点积，并将结果作为该层的输出。滤波器将滑过整个图像，重复相同的点积运算。

卷积神经网络中的激活层实质上是一个非线性函数，即把卷积层的输出结果做非线性映射。一般选择修正线性单元函数，其公式为：

f(x)＝max(0,x)；

该函数能够解决梯度消失的问题，加快训练速度。池化层主要用于降低特征维数并压缩数据和参数的量，以减小过拟合，同时提高模型的容错性；也负责在图像压缩时去掉无关紧要的信息，保留最能够表达图像特征的信息。目前有两种广泛使用的池化操作：平均池化和最大池化。本申请文件模型采用最大池化,滤波器大小为2。

普通的自编码器中，编码器和解码器中层与层之间的连接方式为全连接，编码器在进行训练时，参数十分复杂，并且训练时间长。卷积自编码器利用了传统自编码器的无监督学习方式，并结合了卷积神经网络中的卷积和池化操作来实现特征提取。与传统自编码器相比,其训练速度更快，重构误差更低。

本申请文件卷积自编码器中的编码器部分的网络结构与卷积神经网络中卷积池化部分的结构相同。首先通过编码器部分构造出对应的解码器部分，在训练结束后，保留编码器部分的结构和权重，在编码器后加上与卷积神经网络结构中相同的全连接层来进行图像分类识别。

值得注意的是，上述系统实施例中，所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

另外，本领域普通技术人员可以理解实现上述各实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，相应的程序可以存储于一计算机可读取存储介质中。

以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (9)

1.一种基于小样本学习的人员违规行为预测方法，其特征在于，包括如下步骤：

步骤S1：在需要监管的工作区域内安装摄像头；

步骤S2：收集违规作业行为的图像，构成数据集并对图像进行标注；

步骤S3：把数据集划分成两个部分：训练集和测试集，从训练集中随机选取一张作为样本；

步骤S4：对数据图像进行增强处理；

步骤S5：采用小样本学习方法，建立违规作业预测孪生网络模型，初始化模型参数；

步骤S6：导入训练数据至违规作业预测孪生网络模型，计算图块集，计算图块集与样本之间的距离，比较距离和预设阈值的大小，若小于或等于则预测为违规行为。

2.根据权利要求1所述的一种基于小样本学习的人员违规行为预测方法，其特征在于，所述步骤S2中，收集违规作业行为的图像具体过程或者方法是：通过对工作区域的日常监控来采集违规行为的图像信息数据；若日常监控中违规行为太少或者没有，则通过人工模拟违规行为进行拍摄来收集违规行为的图像数据。

3.根据权利要求2所述的一种基于小样本学习的人员违规行为预测方法，其特征在于，所述步骤S2中，对确定存在违规行为的图像进行标注，在标注时，利用手动的方式框取人物所在的位置以及违规行为的区域位置，并提取矩形框体四个角的坐标完成标注。

4.根据权利要求1所述的一种基于小样本学习的人员违规行为预测方法，其特征在于，所述步骤S3中，样本包括正样本和负样本；将人员正常行为作为正样本，将人员违规行为作为负样本，并标定出负样本中每个违规操作的区域。

5.根据权利要求1所述的一种基于小样本学习的人员违规行为预测方法，其特征在于，所述步骤S4中，对数据图像使用多方向2D Gabor滤波器组进行增强处理，具体步骤如下：

步骤S41：对原始图像进行分类识别，区分目标区域和背景杂波区域；

步骤S42：通过2D Gabor滤波器组对目标区域取值图像叠加；

步骤S43：叠加后获取增强目标区域图片。

6.根据权利要求1所述的一种基于小样本学习的人员违规行为预测方法，其特征在于，所述步骤S5中，违规作业预测孪生网络模型通过交叉验证的思想训练小样本数据，调整模型参数，得到小样本条件下最优的卷积神经网络模型，具体训练违规作业预测孪生网络模型的流程如下：

步骤S51：在卷积自编码器模型中，设置相同结构的编码器部分和解码器部分；

步骤S52：解码器部分的结构在编码器结构的基础上进行反操作；

步骤S53：通过对小样本数据进行训练，保留编码器部分的结构和权重；

步骤S54：在保留编码器部分的结构后增加全连接层，并进行训练；

步骤S55：得到卷积自编码器分类模型进行图像的分类识别。

7.根据权利要求1所述的一种基于小样本学习的人员违规行为预测方法，其特征在于，所述步骤S6中，导入训练数据至违规作业预测孪生网络模型时，违规作业预测孪生网络模型对训练数据进行分割，对分割后的图像分别进行直方图均衡化处理、多尺度检测和特征提取；

所述直方图均衡化处理用于对分割的图像来增强对比度；

所述多尺度检测的具体步骤如下：

步骤D1：以定义大小的采样窗口对检测区域逐行逐列进行扫描，使用生成的分类模型对每个采样图像进行判定，如果判定为违规行为，则检测完成；

步骤D2：将监测区域按1.05倍缩小，重复步骤D1；

步骤D3：重复步骤D1，直至检测到违规行为，或检测区域缩小到限定的阈值为止；

所述特征提取利用预先训练好的模型提取特征，采用预训练好的ResNet-101来对每个图块分别进行特征的提取，提取完特征后再进行距离计算，将高维的特征转换为一维的特征向量。

8.根据权利要求7所述的一种基于小样本学习的人员违规行为预测方法，其特征在于，所述距离计算EMD方法，首先为不同图块分配不同的权重，计算公式如下：

式中，J表示测试图块集，j表示测试图块集里的图块特征，w表示图块的不同权重；

然后通过线性规划的方式寻找各个图块之间的距离，距离计算如下：

式中，K表示支持图块集，k表示支持图块集的图块特征，w表示图块的不同权重；

计算两图块之间的距离公式为：

式中，z表示图块与图块最优匹配值，v表示图块特征向量之间匹配的代价，distan ce(J,K)表示J测试图块集和K支持图块集之间的距离。

9.根据权利要求6所述的一种基于小样本学习的人员违规行为预测方法，其特征在于，所述卷积神经网络结构包括一个输入层、四个卷积池化层和一个全连接层；每个所述卷积池化层的具体结构为每两层卷积层后连接一个激活层；所述全连接层为三层线性层；其中，第一层为降维层，第二层为保留层，第三层为分类层，并在分类层后加入分类器，形成分类神经网络。

Images