CN109359510B - 一种对异常行为的视觉分析处理方法 - Google Patents

Abstract

本发明公开了一种对异常行为的视觉分析处理方法，包括：使用光流法，根据跟踪图像中角点的流动方向采集光流数据，训练数据作为LK光流算法的输入进行模型的训练；通过LBP算法进行纹理特征提取，将获得的数据与已训练好的样本数据进行对比，实现被看护人的区分；通过构造的验证和测试样本数据微调训练得到LBP模型参数，通过不断训练样本数据修正模型参数来提高模型精度；使用dlib自带的frontal_face_detector作为人脸特征检测器，实现人脸个数识别；将该三类模型设置主要输出参数调整模型，综合比较三类测试模型与训练模型的比较结果，最终模型输出被看护人的行为异常或否。

Description

一种对异常行为的视觉分析处理方法

技术领域

本发明涉及计算机图像处理技术领域，特别涉及一种对异常行为的视觉分析处理方法。

背景技术

目前视频监控领域大多是传统的视频监控手段，即对监控范围内所发生的事件以及出现的事物进行记录并存储。

传统的视频监控并没有对记录的图像进行分析检测，单单只是记录，且依赖于人工观看。然而监控的目的就是为了防止异常情况的发生，如果单单依赖于人工观看，24小时的监控不仅会浪费大量的人力资源，也会占用大量的存储资源。

因此，需要提供一种智能视频监控方法。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种对异常行为的视觉分析处理方法，能自动检测到病人的异常行为，节约了人力资源并具有高效性与实时性的优点。

本发明的目的通过以下的技术方案实现：一种对异常行为的视觉分析处理方法，包括以下步骤：

步骤S1：收集多组目标光流数据、人脸纹理特征数据、人脸标记数据；

步骤S2：对收集到的数据进行预处理，然后输入三类模型进行训练，获取训练数据并调整模型参数；

具体的：对收集到的数据进行预处理来构造训练数据与基本模型参数，并使用LK算法得到目标像素点的光流向量；加载dlib自带的frontal_face_detector作为人脸征检测器，并构建特征提取器，得到人脸纹理特征数据；使用LBP算法得到人脸标记数据；

步骤S3：测试训练数据，后获取模型参数，多次对训练数据进行训练以修正模型参数来提高模型精度；

步骤S4：将该三类模型设置主要输出参数，以调整模型，将待测图像中收集到的数据与训练数据相匹配，综合比较三类测试模型与训练模型的比较结果，最终模型输出被看护人的状况。

优选的，步骤S2中三类模型构建具体公式如下：

其中x为图像下标；p为目标状态变量，W为仿射变化函数，对公式(1)进行一阶泰勒公式展开可得：

其中，▽I＝(I_xI_y)；设I已经展开成一列n维向量，则

为I在W(x；p)的梯度；

求公式(2)关于Δp的偏导数：

让公式(3)等于0，则：

其中

结合上式：得到LK算法最终公式：

LBP算法用公式表示为：

其中(X_c，y_c)是中心像素，i_c是灰度值，i_n是相邻像素的灰度值，s是符号函数：

优选的，步骤S2中，在使用dlib库的模型特征提取器中，输出人脸个数后，使用predictor进行人脸关键点识别，绘出关键点。

优选的，步骤S3具体为：测试样本数据微调训练得到模型参数，其中参数包括：图像中心像素点的LBP值，公式(2)所提到梯度下降值，通过

求出状态参数的变化，即通过梯度下降方法来寻找局部最优解。

优选的，步骤S4具体为：三类模型包括LK光流模型、LBP模型及dilb模型；利用dilb库提取的人脸纹理特征进行图像人脸个数的识别；利用LK光流模型判断被看护人异常肢体行为与是否掉下床的识别、利用LBP模型与机器学习算法实现被看护人与其他人的区分，最终输出得到病人状况的异常与否。

本发明与现有技术相比，具有如下优点和有益效果：

本发明利用几个经典算法与经典python库，采用LK光流追踪法与LBP人脸纹理特征提取并结合人脸个数检测，能够充分观察到被看护人的状况是否异常，节约了人力资源，并能及时反馈被看护人情况，对监护方面有较好的作用。

附图说明

图1为实施例方法实现的流程图。

图2为LBP算法实现图：(a)原始图像；(b)LBP图谱。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例1

一种对病人异常行为的视觉分析处理方法，包括以下步骤：使用光流法，根据跟踪图像中角点的流动方向使用LK算法的函数cvCalcOpticalFlowPyrLK()采集光流数据；对函数返回的数据进行分析以确定哪些点被成功跟踪，训练数据作为LK光流算法的输入进行模型的训练；通过LBP算法进行纹理特征提取，将获得的数据与已训练好的样本数据进行对比，实现病人与医生护士的区分；通过构造的验证和测试样本数据微调训练得到LBP模型参数，通过不断训练样本数据修正模型参数来提高模型精度；使用dlib自带的frontal_face_detector作为人脸特征检测器，通过图像收集人脸标记，利用这些地标来创建特征向量，实现人脸个数识别；将该三类模型设置主要输出参数调整模型，综合比较三类测试模型与训练模型的比较结果，最终模型输出病人的行为异常或否。

具体的，包括以下步骤：

步骤S1：收集多组目标光流数据、人脸纹理特征数据、人脸标记数据。

步骤S2：对收集到的数据进行预处理，后输入三类模型进行训练，获取训练数据并调整模型参数。

步骤S3：测试训练数据，后获取模型参数，多次对训练数据进行训练以修正模型参数来提高模型精度。

步骤S4：将该三类模型设置主要输出参数，以调整模型，将待测图像中收集到的数据与训练数据相匹配，综合比较三类测试模型与训练模型的比较结果，最终模型输出病人的状况。

步骤S1具体为：收集多组目标光流向量、人脸纹理特征数据、人脸标记数据，其中要求数据尽量多，类型风格相异，光流相邻帧之间的亮度恒定。

步骤S2具体为：对收集到的数据进行预处理来构造训练数据与基本模型参数，并得到目标像素点的光流向量；加载dlib自带的frontal_face_detector作为人脸征检测器，并使用官方提供的模型构建特征提取器，得到人脸纹理特征数据；使用LBP算法，将要检测的图像划分为16×16的小区域，对于每个区域中的一个像素，将相邻的8个像素的灰度值与其进行比较，得到人脸标记数据。判断数据库(即步骤1所收集到的人脸标记数据)是否存在这些特征模型，如存在，从数据库中读取目标的特征向量并存入当前特征向量，如不存在，建立新的特征模型并存入相关特征向量(实现病人与医生护士的区分)。

步骤S2中三类模型构建具体公式如下：

其中x为图像下标，可以是二维(对应图像像素的坐标)，也可以是一维(此时为图像展成一维数组时对应的下标)；p为目标状态变量，W为仿射变化函数，对公式(1)进行一阶泰勒公式展开可得：

其中，▽I＝(I_xI_y)；设I已经展开成一列n维向量，则

为I在W(x；p)的梯度；

求公式(2)关于Δp的偏导数：

让公式(3)等于0，则：

其中

结合上式：得到LK算法最终公式：

LBP算法用公式表示为：

其中(X_c，y_c)是中心像素，i_c是灰度值，i_n是相邻像素的灰度值，s是符号函数：

步骤S2中，在使用dlib库的模型特征提取器中，输出人脸个数后，使用predictor进行人脸关键点识别，绘出关键点；计算每个区域的直方图，即每个数字(假定是十进制数LBP值)出现的频率，然后对该直方图进行归一化处理，后将得到的每个区域的统计直方图进行连接成为一个特征向量，即整幅图的LBP纹理特征向量。

步骤S3具体为：测试样本数据微调训练得到模型参数，其中参数包括：图像中心像素点的LBP值(8位2进制数)，公式(2)所提到梯度下降值(Gradient descending value)，通过

求出状态参数的变化。即通过梯度下降方法来寻找局部最优解。

步骤S4具体为：修正(即结合三类模型)后的模型包括LK光流模型、LBP模型，利用dilb库提取的人脸纹理特征进行图像人脸个数的识别，利用LK光流模型判断病人异常肢体行为与是否掉下床的识别、利用LBP模型与经典SVM机器学习算法实现病人与医生护士的区分，最终输出得到病人状况的异常与否。

(1)Lucas–Kanade算法

光流算法：它评估了两幅图像的之间的变形，它的基本假设是体素和图像像素守恒。它假设一个物体的颜色在前后两帧没有巨大而明显的变化。基于这个思路，可以得到图像约束方程。不同的光流算法解决了假定了不同附加条件的光流问题。

Lucas–Kanade算法：这个算法是最常见，最流行的。它计算两帧在时间t到t+δt之间每个每个像素点位置的移动。Lucas-Kanade算法广泛用于图像对齐、光流法、目标追踪、图像拼接和人脸检测等课题中。

(2)LBP算法(opencv模块)与Dlib模块

LBP(Local Binary Pattern，局部二值模式)是一种用来描述图像局部纹理特征的算子；它具有旋转不变性和灰度不变性等显著的优点。它是首先由T.Ojala,M.

和D.Harwood在1994年提出，用于纹理特征提取。而且，提取的特征是图像的局部的纹理特征。

Dlib库使用基于梯度提高学习的回归树方法。该算法使用级联回归因子，首先需要使用一系列标定好的人脸图片作为训练集，然后会生成一个模型。使用基于特征选择的相关性方法把目标输出ri投影到一个随机方向w上，并且选择一对特征(u,v)，使得Ii(u’)-Ii(v’)与被投影的目标wTri在训练数据上拥有最高的样本相关性。当获得一张图片后，算法会生成一个initial shape就是首先估计一个大致的特征点位置，然后采用gradientboosting算法减小initial shape和ground truth的平方误差总和。用最小二乘法来最小化误差，得到每一级的级联回归因子。使用梯度提高学习的回归树训练每个rt，使用最小二乘法最小化误差。t表示级联序号，rt(·,·)表示当前级的回归器regressor。回归器的输入参数为图像I和上一级回归器更新后的shape，采用的特征可以是灰度值或者其它。每个回归器由很多棵树(tree)组成，每棵树参数是根current shape和ground truth的坐标差和随机挑选的像素对训练得到的。与LBF不同，ERT是在学习Tree的过程中，直接将shape的更新值ΔS存入叶子结点leaf node.初始位置S在通过所有学习到的Tree后，meanshape加上所有经过的叶子结点的ΔS，即可得到最终的人脸关键点位置。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (3)

1.一种对异常行为的视觉分析处理方法，其特征在于，包括以下步骤：

步骤S1：收集多组目标光流数据、人脸纹理特征数据、人脸标记数据；

步骤S2：对收集到的数据进行预处理，然后输入三类模型进行训练，获取训练数据并调整模型参数；

具体的：对收集到的数据进行预处理来构造训练数据与基本模型参数，并使用LK算法得到目标像素点的光流向量；加载dlib自带的frontal_face_detector作为人脸征检测器，并构建特征提取器，得到人脸纹理特征数据；使用LBP算法得到人脸标记数据；

所述三类模型包括LK光流模型、LBP模型及dilb模型；利用dilb库提取的人脸纹理特征进行图像人脸个数的识别；利用LK光流模型判断被看护人异常肢体行为与是否掉下床的识别、利用LBP模型与机器学习算法实现被看护人与其他人的区分，最终输出得到病人状况的异常与否；

所述三类模型构建具体公式如下：

其中x为图像下标；p为目标状态变量，W为仿射变化函数，对公式(1)进行一阶泰勒公式展开可得：

其中，

设I已经展开成一列n维向量，则

为I在W(x；p)的梯度；

求公式(2)关于Δp的偏导数：

让公式(3)等于0，则：

其中

结合上式：得到LK算法最终公式：

LBP算法用公式表示为：

其中(X_c，y_c)是中心像素，i_c是灰度值，i_n是相邻像素的灰度值，s是符号函数：

步骤S3：测试训练数据，后获取模型参数，多次对训练数据进行训练以修正模型参数来提高模型精度；

步骤S4：将该三类模型设置主要输出参数，以调整模型，将待测图像中收集到的数据与训练数据相匹配，综合比较三类测试模型与训练模型的比较结果，最终模型输出被看护人的状况。

2.根据权利要求1所述的对异常行为的视觉分析处理方法，其特征在于，步骤S2中，在使用dlib库的模型特征提取器中，输出人脸个数后，使用predictor进行人脸关键点识别，绘出关键点。

3.根据权利要求1所述的对异常行为的视觉分析处理方法，其特征在于，步骤S3具体为：测试样本数据微调训练得到模型参数，其中参数包括：图像中心像素点的LBP值，公式(2)所提到梯度下降值，通过

求出状态参数的变化，即通过梯度下降方法来寻找局部最优解。

Images