CN113963311B - 一种安全生产风险视频监控方法及系统 - Google Patents

Abstract

本发明涉及一种视频监控技术领域，公开了一种安全生产风险视频监控方法，包括：获取监控视频，将监控视频转换为监控视频帧图像，在监控视频帧图像中对安全生产区域进行标定；构建多人姿态估计和行为监测模型，确定目标函数；利用蚁群算法求解目标函数，得到监控视频中的人体关节点位置信息和方向向量；将人体关节点位置信息和生产区域进行对比。本发明通过对监控视频中的安全生产区域进行标定，构建多人姿态估计和行为监测模型，确定目标函数，利用启发式算法求解目标函数，将求解得到的人体关键点信息与安全生产区域比较，从而实现实时的视频监控。本发明还提出一种安全生产风险视频监控系统。

Description

一种安全生产风险视频监控方法及系统

技术领域

本发明涉及视频监控的技术领域，尤其涉及一种安全生产风险视频监控方法及系统。

背景技术

目前对于生产设备管控和生产人员管控还处于被动监控阶段，即通过人力来进行人员的异常行为监控，或者将监控系统作为事后分析资料的来源，不仅浪费了宝贵的视频资源，而且也无法自动进行事中分析和预警，操作人员仍处于繁重的监控工作中。如何实现智能视频监控成为当前研究的热门话题。

近年来随着人工智能技术的发展，基于视频图像开展人员异常行为监控已成为可能。传统视频监控方法先检测出多个人，再对每一个人进行姿态估计，这种方法具有较高的准确率但是处理速度不高。

鉴于此，如何快速实现生产区域内人员的姿态估计，成为本领域技术人员亟待解决的问题。

发明内容

本发明提供一种安全生产风险视频监控方法，目的在于(1)实现实时的视频监控及预警；(2)降低视频监控处理的计算资源损耗。

实现上述目的，本发明提供的一种安全生产风险视频监控方法，包括以下步骤：

S1：获取监控视频，将监控视频转换为监控视频帧图像，在监控视频帧图像中对安全生产区域进行标定；

S2：构建多人姿态估计和行为监测模型，确定目标函数；

S3：利用蚁群算法求解目标函数，得到监控视频中的人体关节点位置信息和方向向量；

S4：将人体关节点位置信息和生产区域进行对比，人体关节点位置信息在安全生产区域内则安全，否则报警。

作为本发明的进一步改进方法：

所述S1步骤中获取监控视频，将监控视频转换为视频帧图像，并将视频帧图像转换为灰度矩阵，包括：

获取监控视频，逐帧将监控视频转换为监控视频帧图像，并将监控视频帧图像转换为灰度矩阵，所述灰度矩阵的转换方法为：

获取监控视频帧图像中每个像素点的RGB颜色像素值；

将每个像素点的RGB颜色像素值转换为灰度值：

Gray(i,j)＝0.299×R(i,j)+0.587×G(i,j)+0.114×B(i,j)

其中：

Gray(i,j)为像素点(i,j)的灰度值，(i,j)表示为视频帧图像中第i行第j列的像素；

R(i,j)为像素点(i,j)的红色分量值，G(i,j)为像素点(i,j)的绿色分量，B(i,j)为像素点(i,j)的蓝色分量；

构造M×N的灰度矩阵Q，按像素点的位置将每个像素点的灰度值填写到灰度矩阵中，其中M表示监控视频帧图像的行像素数，N表示监控视频帧图像的列像素数，Q_ij表示灰度矩阵中第i行第j列的灰度值。

所述S1步骤中对灰度矩阵进行二值化处理，得到二值化灰度矩阵，包括：

1)计算灰度矩阵的平均灰度μ：

其中：

k表示灰度级；

ρ(k)为灰度级为k的矩阵元素出现的概率；

n(k)为灰度级为k的矩阵元素出现的个数；

2)以灰度级m为分割阈值，小于此阈值为背景，大于等于此阈值为前景，从而将灰度矩阵分成前景和背景，则背景灰度值为：

背景数比例为：

前景灰度值为：

前景数比例为：

3)计算前景和背景的方差：

σ＝w_b×(μ_b-μ)²+w_f×(μ_f-μ)²

通过对分割阈值m进行修改，使得前景和背景的方差达到最大，此时的分割阈值为最佳分割阈值，并以最佳分割阈值进行灰度矩阵的二值化处理，将灰度矩阵中大于最佳分割阈值的灰度值置为1，小于最佳分割阈值的灰度值置为0，得到二值化灰度矩阵。

所述S1步骤中利用Canny边缘检测算法检测二值化灰度矩阵中的边缘区域，并连接边缘区域中的直线，连接后的区域即为安全生产区域，包括：

利用Canny边缘检测算法检测二值化灰度矩阵中的边缘元素，所述Canny边缘检测算法的流程为：

对于以任意矩阵元素u为中心的3×3二值化灰度矩阵Q_u，利用Canny算子C_x和C_y计算矩阵元素的梯度矩阵g_xy(u)：

其中：

g_x(u)表示矩阵元素u在x轴方向的梯度矩阵；

g_y(u)表示矩阵元素u在y轴方向的梯度矩阵；

将矩阵元素u在二值化灰度矩阵中的位置表示为(u_i,u_j)，其中(u_i,u_j)表示矩阵元素u在二值化灰度矩阵的第u_i行第u_j列；

计算g_up(u_i,u_j)和g_down(u_i,u_j)，若g_xy(u_i,u_j)均大于g_up(u_i,u_j)和g_down(u_i,u_j)，则矩阵元素u为边缘元素，保留该矩阵元素u，否则将其置为0，g_up(u)和g_down(u)的计算公式为：

其中：

g_xy(u_i,u_j+1)表示二值化灰度矩阵中第u_i行第u_j+1列元素的梯度矩阵；

保留下的矩阵元素即为检测到的矩阵边缘元素，所有矩阵边缘元素构成矩阵边缘区域；

连接矩阵边缘区域中的直线部分，形成安全生产区域，所述矩阵边缘区域的直线部分连接流程为：

对于二值化灰度矩阵中的任意矩阵边缘元素(s_i,s_j)，经过的直线为s_j＝as_i+b，其中(s_i,s_j)表示二值化灰度矩阵的第s_i行第s_j列的矩阵元素，a表示直线的斜率，b表示直线的轴截距；

将直线改写为b＝-as_i+s_j，其中a为自变量参数，a∈[a_min,a_max]，将a_min设置为0，a_max设置为10，根据参数a的取值确定参数b的取值；构建a-b参数空间，并将a-b参数空间分割为若干格子，每一个格子作为参数累加器，对于直线中可行的参数a_s和对应的b_s，a-b参数空间中的参数累加器(a_s,b_s)加一；

重复上述步骤，将所有矩阵边缘元素的直线参数映射到a-b参数空间，选取参数累加器的最大值作为矩阵边缘区域的直线参数，并根据所确定的直线参数，沿着矩阵边缘元素在灰度矩阵中做出分割直线，并将所做出的分割直线映射到监控视频帧图像中，将监控视频帧图像分割为安全生产区域以及非安全生产区域，所述直线参数包括直线的斜率和轴截距。

所述S2步骤中构建多人姿态估计和行为监测模型，包括：

将监控视频帧图像输入到VGG19卷积神经网络模型中提取特征图，将所提取到的特征图作为多人姿态估计和行为监测模型的输入特征；

输入多人姿态估计和行为监测模型中的特征图将会分成两个分支，每个分支中都由多阶段的卷积神经网络构成，其中的一个分支通过将特征图进行计算得到关键部位关键点集合S，关键部位关键点集合S用于预测身体部位在监控视频帧图像中的位置，用来表示监控视频帧图像中的坐标点是图像中人体身体部位的概率值；另外一个分支用来探测得到人体关键部位亲和域集合L，即是用来显示图片上代表人体关键部位的两两坐标点之间同属相同的躯体或是四肢的概率；重复该步骤，直到多人姿态估计和行为监测模型输出的概率值保持不变，所述关键部位关键点集合以及亲和域集合在模型中的计算流程为：

其中：

θⁱ(·)表示第i次对关键部位关键点集合进行预测；

表示第i次对亲和域集合进行预测；

Sⁱ表示第i次预测得到的关键部位关键点集合；

Lⁱ表示第i次预测得到的亲和域集合；

在本发明一个具体实施例中，所述关键部位包括人体躯干四肢、头部以及关节点，关键部位关键点集合S包括关键部位的位置信息以及关节点的方向向量。

所述S2步骤中确定多人姿态估计和行为监测模型的目标函数，包括：

根据所确定的关键部位关键点集合，对于任意肢体p，确定如下多人姿态估计和行为监测模型的目标函数：

其中：

L_p表示肢体p中关键部位的总亲和度，所述总亲和度表示亲和域集合中的概率之和；

Q_p表示肢体p的关键部位关键点集合；

L_ij表示关键部位i和关键部位j的总亲和度；

z^ij表示关键部位i和关键部位j的连接方式集合，包括关键部位连接的位置信息和方向向量。

所述S3步骤中利用蚁群算法求解目标函数，包括：

将监控视频帧图像输入到多人姿态估计和行为监测模型中，识别出监控视频帧图像中的关键部位关键点集合，并利用蚁群算法求解模型目标函数，得到监控视频中人体关节点的位置信息和方向向量，所述目标函数的求解流程为：

1)初始化关键部位的连接方式集合，将关键部位的连接方式作为路径，所述关键部位连接方式的位置信息为路径位置信息，方向向量为路径的方向向量；初始化路径的信息素浓度，各路径信息素浓度相同；

2)生成k只蚂蚁，并将生成的蚂蚁放置在路径节点位置，作为蚂蚁的起始点；

3)任意蚂蚁A对路径进行遍历探寻，则t时刻A从路径x转移到路径y的概率为：

其中：

β(·)表示启发式函数，β_xy(t)^γ表示在t时刻，蚂蚁A从路径x转移到路径y的期望程度；

allow_A表示蚂蚁A未遍历的路径集合；

α为信息素核心因子，将其设置为0.6；

γ为启发函数因子，将其设置为0.4；

τ_xy(t)^α表示在t时刻，路径x与路径y之间的信息素浓度；

α值越大蚂蚁A越倾向于依照信息浓度进行选择，γ值越大则代表在启发函数的影响下，蚂蚁A更倾向于去往距离最近的路径节点；

当蚂蚁A对所有路径进行遍历后，所走的路径路线便为以蚂蚁A起始点为始的关键部位连接方式可行解；

4)重复步骤3)，直到所有蚂蚁均完成一次路径遍历，得到k组可行解；

5)更新路径的信息素浓度：

τ_xy(t+n)＝(1-ρ)τ_xy(t)+Δτ_xy(t)

其中：

表示蚂蚁A在路径xy上行走留下的信息素浓度；

ρ表示信息素挥发比例，将其设置为0.2；

6)重复步骤3)-5)，直到达到预设的最大迭代次数Max，得到k组可行解；计算每组可行解的目标函数值，选取目标函数值最大的可行解作为目标函数的最终解，即为监控视频中人体关节点的位置信息。

所述S4步骤中将求解得到的人体关节点位置信息与监控视频中的生产区域进行对比，包括：

将监控视频中人体关节点的位置信息与监控视频中的生产区域进行对比，若人体关节点位置信息在安全生产区域内则安全，否则报警。

本发明还提供一种安全生产风险视频监控系统，其特征在于，所述系统包括：

视频获取装置，用于获取安全生产风险视频；

数据处理器，用于对所获取的视频进行转换处理，并标定安全生产区域；

风险视频监控装置，用于构建多人姿态估计和行为监测模型，确定目标函数；利用蚁群算法求解目标函数，得到监控视频中的人体关节点位置信息和方向向量，并将人体关节点位置信息和生产区域进行对比，若人体关节点位置信息在安全生产区域内则安全，否则报警。

相对于现有技术，本发明提出一种安全生产风险视频监控方法，该技术具有以下优势：

首先，本方案利用Canny边缘检测算法检测监控视频中二值化灰度矩阵中的边缘元素，即对于以任意矩阵元素u为中心的3×3二值化灰度矩阵Q_u，利用Canny算子C_x和C_y计算矩阵元素的梯度矩阵g_xy(u)：

其中：g_x(u)表示矩阵元素u在x轴方向的梯度矩阵，g_y(u)表示矩阵元素u在y轴方向的梯度矩阵，将矩阵元素u在二值化灰度矩阵中的位置表示为(u_i,u_j)，其中(u_i,u_j)表示矩阵元素u在二值化灰度矩阵的第u_i行第u_j列，计算g_up(u_i,u_j)和g_down(u_i,u_j)，若g_xy(u_i,u_j)均大于g_up(u_i,u_j)和g_down(u_i,u_j)，则矩阵元素u为边缘元素，保留该矩阵元素u，否则将其置为0，g_up(u)和g_down(u)的计算公式为：

其中：g_xy(u_i,u_j+1)表示二值化灰度矩阵中第u_i行第u_j+1列元素的梯度矩阵，保留下的矩阵元素即为检测到的矩阵边缘元素，所有矩阵边缘元素构成矩阵边缘区域，连接矩阵边缘区域中的直线部分，形成安全生产区域，所述矩阵边缘区域的直线部分连接流程为：对于二值化灰度矩阵中的任意矩阵边缘元素(s_i,s_j)，经过的直线为s_j＝as_i+b，其中(s_i,s_j)表示二值化灰度矩阵的第s_i行第s_j列的矩阵元素，a表示直线的斜率，b表示直线的轴截距；将直线改写为b＝-as_i+s_j，其中a为自变量参数，a∈[a_min,a_max]，将a_min设置为0，a_max设置为10，根据参数a的取值确定参数b的取值；构建a-b参数空间，并将a-b参数空间分割为若干格子，每一个格子作为参数累加器，对于直线中可行的参数a_s和对应的b_s，a-b参数空间中的参数累加器(a_s,b_s)加一；重复上述步骤，将所有矩阵边缘元素的直线参数映射到a-b参数空间，选取参数累加器的最大值作为矩阵边缘区域的直线参数，并根据所确定的直线参数，沿着矩阵边缘元素在灰度矩阵中做出分割直线，并将所做出的分割直线映射到监控视频帧图像中，从而将监控视频帧图像分割为安全生产区域以及非安全生产区域，可根据监控视频的不同场景确定不同的区域分割结果，具有较强的鲁棒性。

同时，本方案将监控视频帧图像输入到VGG19卷积神经网络模型中提取特征图，将所提取到的特征图作为多人姿态估计和行为监测模型的输入特征；输入多人姿态估计和行为监测模型中的特征图将会分成两个分支，每个分支中都由多阶段的卷积神经网络构成，其中的一个分支通过将特征图进行计算得到关键部位关键点集合S，关键部位关键点集合S用于预测身体部位在监控视频帧图像中的位置，用来表示监控视频帧图像中的坐标点是图像中人体身体部位的概率值；另外一个分支用来探测得到人体关键部位亲和域集合L，即是用来显示图片上代表人体关键部位的两两坐标点之间同属相同的躯体或是四肢的概率；重复该步骤，直到多人姿态估计和行为监测模型输出的概率值保持不变。根据所确定的关键部位关键点集合，对于任意肢体p，确定如下多人姿态估计和行为监测模型的目标函数：

其中：L_p表示肢体p中关键部位的总亲和度，所述总亲和度表示亲和域集合中的概率之和，Q_p表示肢体p的关键部位关键点集合，L_ij表示关键部位i和关键部位j的总亲和度，z^ij表示关键部位i和关键部位j的连接方式集合，包括关键部位连接的位置信息和方向向量。本方案将监控视频帧图像输入到多人姿态估计和行为监测模型中，识别出监控视频帧图像中的关键部位关键点集合，并利用蚁群算法求解模型目标函数，得到监控视频中人体关节点的位置信息和方向向量，本方案通过利用启发式算法对目标函数进行求解，简化了目标函数的求解步骤，减少了计算资源损耗，将求解得到的监控视频中人体关节点的位置信息与监控视频中的生产区域进行对比，若人体关节点位置信息在安全生产区域内则安全，否则报警，从而实现视频的实时监控。

附图说明

图1为本发明一实施例提供的一种安全生产风险视频监控方法的流程示意图；

图2为本发明一实施例提供的一种安全生产风险视频监控系统的结构示意图；

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

S1：获取监控视频，将监控视频转换为监控视频帧图像，在监控视频帧图像中对安全生产区域进行标定。

所述S1步骤中获取监控视频，将监控视频转换为视频帧图像，并将视频帧图像转换为灰度矩阵，包括：

获取监控视频，逐帧将监控视频转换为监控视频帧图像，并将监控视频帧图像转换为灰度矩阵，所述灰度矩阵的转换方法为：

获取监控视频帧图像中每个像素点的RGB颜色像素值；

将每个像素点的RGB颜色像素值转换为灰度值：

Gray(i,j)＝0.299×R(i,j)+0.587×G(i,j)+0.114×B(i,j)

其中：

Gray(i,j)为像素点(i,j)的灰度值，(i,j)表示为视频帧图像中第i行第j列的像素；

R(i,j)为像素点(i,j)的红色分量值，G(i,j)为像素点(i,j)的绿色分量，B(i,j)为像素点(i,j)的蓝色分量；

构造M×N的灰度矩阵Q，按像素点的位置将每个像素点的灰度值填写到灰度矩阵中，其中M表示监控视频帧图像的行像素数，N表示监控视频帧图像的列像素数，Q_ij表示灰度矩阵中第i行第j列的灰度值。

所述S1步骤中对灰度矩阵进行二值化处理，得到二值化灰度矩阵，包括：

1)计算灰度矩阵的平均灰度μ：

其中：

k表示灰度级；

ρ(k)为灰度级为k的矩阵元素出现的概率；

n(k)为灰度级为k的矩阵元素出现的个数；

2)以灰度级m为分割阈值，小于此阈值为背景，大于等于此阈值为前景，从而将灰度矩阵分成前景和背景，则背景灰度值为：

背景数比例为：

前景灰度值为：

前景数比例为：

3)计算前景和背景的方差：

σ＝w_b×(μ_b-μ)²+w_f×(μ_f-μ)²

通过对分割阈值m进行修改，使得前景和背景的方差达到最大，此时的分割阈值为最佳分割阈值，并以最佳分割阈值进行灰度矩阵的二值化处理，将灰度矩阵中大于最佳分割阈值的灰度值置为1，小于最佳分割阈值的灰度值置为0，得到二值化灰度矩阵。

所述S1步骤中利用Canny边缘检测算法检测二值化灰度矩阵中的边缘区域，并连接边缘区域中的直线，连接后的区域即为安全生产区域，包括：

利用Canny边缘检测算法检测二值化灰度矩阵中的边缘元素，所述Canny边缘检测算法的流程为：

对于以任意矩阵元素u为中心的3×3二值化灰度矩阵Q_u，利用Canny算子C_x和C_y计算矩阵元素的梯度矩阵g_xy(u)：

其中：

g_x(u)表示矩阵元素u在x轴方向的梯度矩阵；

g_y(u)表示矩阵元素u在y轴方向的梯度矩阵；

将矩阵元素u在二值化灰度矩阵中的位置表示为(u_i,u_j)，其中(u_i,u_j)表示矩阵元素u在二值化灰度矩阵的第u_i行第u_j列；

计算g_up(u_i,u_j)和g_down(u_i,u_j)，若g_xy(u_i,u_j)均大于g_up(u_i,u_j)和g_down(u_i,u_j)，则矩阵元素u为边缘元素，保留该矩阵元素u，否则将其置为0，g_up(u)和g_down(u)的计算公式为：

其中：

g_xy(u_i,u_j+1)表示二值化灰度矩阵中第u_i行第u_j+1列元素的梯度矩阵；

保留下的矩阵元素即为检测到的矩阵边缘元素，所有矩阵边缘元素构成矩阵边缘区域；

连接矩阵边缘区域中的直线部分，形成安全生产区域，所述矩阵边缘区域的直线部分连接流程为：

对于二值化灰度矩阵中的任意矩阵边缘元素(s_i,s_j)，经过的直线为s_j＝as_i+b，其中(s_i,s_j)表示二值化灰度矩阵的第s_i行第s_j列的矩阵元素，a表示直线的斜率，b表示直线的轴截距；

将直线改写为b＝-as_i+s_j，其中a为自变量参数，a∈[a_min,a_max]，将a_min设置为0，a_max设置为10，根据参数a的取值确定参数b的取值；构建a-b参数空间，并将a-b参数空间分割为若干格子，每一个格子作为参数累加器，对于直线中可行的参数a_s和对应的b_s，a-b参数空间中的参数累加器(a_s,b_s)加一；

重复上述步骤，将所有矩阵边缘元素的直线参数映射到a-b参数空间，选取参数累加器的最大值作为矩阵边缘区域的直线参数，并根据所确定的直线参数，沿着矩阵边缘元素在灰度矩阵中做出分割直线，并将所做出的分割直线映射到监控视频帧图像中，将监控视频帧图像分割为安全生产区域以及非安全生产区域，所述直线参数包括直线的斜率和轴截距。

S2：构建多人姿态估计和行为监测模型，确定目标函数。

所述S2步骤中构建多人姿态估计和行为监测模型，包括：

将监控视频帧图像输入到VGG19卷积神经网络模型中提取特征图，将所提取到的特征图作为多人姿态估计和行为监测模型的输入特征；

输入多人姿态估计和行为监测模型中的特征图将会分成两个分支，每个分支中都由多阶段的卷积神经网络构成，其中的一个分支通过将特征图进行计算得到关键部位关键点集合S，关键部位关键点集合S用于预测身体部位在监控视频帧图像中的位置，用来表示监控视频帧图像中的坐标点是图像中人体身体部位的概率值；另外一个分支用来探测得到人体关键部位亲和域集合L，即是用来显示图片上代表人体关键部位的两两坐标点之间同属相同的躯体或是四肢的概率；重复该步骤，直到多人姿态估计和行为监测模型输出的概率值保持不变，所述关键部位关键点集合以及亲和域集合在模型中的计算流程为：

其中：

θⁱ(·)表示第i次对关键部位关键点集合进行预测；

表示第i次对亲和域集合进行预测；

Sⁱ表示第i次预测得到的关键部位关键点集合；

Lⁱ表示第i次预测得到的亲和域集合；

在本发明一个具体实施例中，所述关键部位包括人体躯干四肢、头部以及关节点，关键部位关键点集合S包括关键部位的位置信息以及关节点的方向向量。

所述S2步骤中确定多人姿态估计和行为监测模型的目标函数，包括：

根据所确定的关键部位关键点集合，对于任意肢体p，确定如下多人姿态估计和行为监测模型的目标函数：

其中：

L_p表示肢体p中关键部位的总亲和度，所述总亲和度表示亲和域集合中的概率之和；

Q_p表示肢体p的关键部位关键点集合；

L_ij表示关键部位i和关键部位j的总亲和度；

z^ij表示关键部位i和关键部位j的连接方式集合，包括关键部位连接的位置信息和方向向量。

S3：利用蚁群算法求解目标函数，得到监控视频中的人体关节点位置信息和方向向量。

所述S3步骤中利用蚁群算法求解目标函数，包括：

将监控视频帧图像输入到多人姿态估计和行为监测模型中，识别出监控视频帧图像中的关键部位关键点集合，并利用蚁群算法求解模型目标函数，得到监控视频中人体关节点的位置信息和方向向量，所述目标函数的求解流程为：

1)初始化关键部位的连接方式集合，将关键部位的连接方式作为路径，所述关键部位连接方式的位置信息为路径位置信息，方向向量为路径的方向向量；初始化路径的信息素浓度，各路径信息素浓度相同；

2)生成k只蚂蚁，并将生成的蚂蚁放置在路径节点位置，作为蚂蚁的起始点；

3)任意蚂蚁A对路径进行遍历探寻，则t时刻A从路径x转移到路径y的概率为：

其中：

β(·)表示启发式函数，β_xy(t)^γ表示在t时刻，蚂蚁A从路径x转移到路径y的期望程度；

allow_A表示蚂蚁A未遍历的路径集合；

α为信息素核心因子，将其设置为0.6；

γ为启发函数因子，将其设置为0.4；

τ_xy(t)^α表示在t时刻，路径x与路径y之间的信息素浓度；

α值越大蚂蚁A越倾向于依照信息浓度进行选择，γ值越大则代表在启发函数的影响下，蚂蚁A更倾向于去往距离最近的路径节点；

当蚂蚁A对所有路径进行遍历后，所走的路径路线便为以蚂蚁A起始点为始的关键部位连接方式可行解；

4)重复步骤3)，直到所有蚂蚁均完成一次路径遍历，得到k组可行解；

5)更新路径的信息素浓度：

τ_xy(t+n)＝(1-ρ)τ_xy(t)+Δτ_xy(t)

其中：

表示蚂蚁A在路径xy上行走留下的信息素浓度；

ρ表示信息素挥发比例，将其设置为0.2；

6)重复步骤3)-5)，直到达到预设的最大迭代次数Max，得到k组可行解；计算每组可行解的目标函数值，选取目标函数值最大的可行解作为目标函数的最终解，即为监控视频中人体关节点的位置信息。

S4：将人体关节点位置信息和生产区域进行对比，人体关节点位置信息在安全生产区域内则安全，否则报警。

所述S4步骤中将求解得到的人体关节点位置信息与监控视频中的生产区域进行对比，包括：

将监控视频中人体关节点的位置信息与监控视频中的生产区域进行对比，若人体关节点位置信息在安全生产区域内则安全，否则报警。

发明还提供一种安全生产风险视频监控系统。参照图2所示，为本发明一实施例提供的安全生产风险视频监控系统的内部结构示意图。

在本实施例中，所述安全生产风险视频监控系统1至少包括视频获取装置11、数据处理器12、风险视频监控装置13，通信总线14，以及网络接口15。

其中，视频获取装置11可以是PC(Personal Computer，个人电脑)，或者是智能手机、平板电脑、便携计算机等终端设备。

数据处理器12至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁性存储器、磁盘、光盘等。数据处理器12在一些实施例中可以是安全生产风险视频监控系统1的内部存储单元，例如该安全生产风险视频监控系统1的硬盘。数据处理器12在另一些实施例中也可以是安全生产风险视频监控系统1的外部存储设备，例如安全生产风险视频监控系统1上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(FlashCard)等。进一步地，数据处理器12还可以既包括安全生产风险视频监控系统1的内部存储单元也包括外部存储设备。数据处理器12不仅可以用于存储安装于安全生产风险视频监控系统1的应用软件及各类数据，还可以用于暂时地存储已经输出或者将要输出的数据。

风险视频监控装置13在一些实施例中可以是一中央处理器(Central ProcessingUnit,CPU)、控制器、微控制器、微处理器或其他数据处理芯片，包括监控单元，用于运行数据处理器12中存储的程序代码或处理数据，例如安全生产风险视频监控程序指令16等。

通信总线14用于实现这些组件之间的连接通信。

网络接口15可选的可以包括标准的有线接口、无线接口(如WI-FI接口)，通常用于在该系统1与其他电子设备之间建立通信连接。

可选地，安全生产风险视频监控系统1还可以包括用户接口，用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard)，可选的用户接口还可以包括标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在安全生产风险视频监控系统1中处理的信息以及用于显示可视化的用户界面。

图2仅示出了具有组件11-15以及安全生产风险视频监控系统1，本领域技术人员可以理解的是，图2示出的结构并不构成对安全生产风险视频监控系统1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。

在图2所示的安全生产风险视频监控系统1实施例中，数据处理器12中存储有安全生产风险视频监控程序指令16；风险视频监控装置13执行数据处理器12中存储的安全生产风险视频监控程序指令16的步骤，与安全生产风险视频监控的实现方法相同，在此不作类述。

此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有安全生产风险视频监控程序指令，所述安全生产风险视频监控程序指令可被一个或多个处理器执行，以实现如下操作：

获取监控视频，将监控视频转换为监控视频帧图像，在监控视频帧图像中对安全生产区域进行标定；

构建多人姿态估计和行为监测模型，确定目标函数；

利用蚁群算法求解目标函数，得到监控视频中的人体关节点位置信息和方向向量；

将人体关节点位置信息和生产区域进行对比，人体关节点位置信息在安全生产区域内则安全，否则报警。

需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种安全生产风险视频监控方法，其特征在于，所述方法包括：

S1：获取监控视频，将监控视频转换为监控视频帧图像，在监控视频帧图像中对安全生产区域进行标定；

S2：构建多人姿态估计和行为监测模型，确定目标函数；

S3：利用蚁群算法求解目标函数，得到监控视频中的人体关节点位置信息和方向向量，所述利用蚁群算法求解目标函数，包括：

将监控视频帧图像输入到多人姿态估计和行为监测模型中，识别出监控视频帧图像中的关键部位关键点集合，并利用蚁群算法求解模型目标函数，得到监控视频中人体关节点的位置信息和方向向量，所述目标函数的求解流程为：

S31:初始化关键部位的连接方式集合，将关键部位的连接方式作为路径，所述关键部位连接方式的位置信息为路径位置信息，方向向量为路径的方向向量；初始化路径的信息素浓度，各路径信息素浓度相同；

S32:生成k只蚂蚁，并将生成的蚂蚁放置在路径节点位置，作为蚂蚁的起始点；

S33:任意蚂蚁A对路径进行遍历探寻，则t时刻A从路径x转移到路径y的概率为：

其中：

β(·)表示启发式函数，β_xy(t)^γ表示在t时刻，蚂蚁A从路径x转移到路径y的期望程度；

allow_A表示蚂蚁A未遍历的路径集合；

α为信息素核心因子，将其设置为0.6；

γ为启发函数因子，将其设置为0.4；

τ_xy(t)^α表示在t时刻，路径x与路径y之间的信息素浓度；

α值越大蚂蚁A越倾向于依照信息浓度进行选择，γ值越大则代表在启发函数的影响下，蚂蚁A更倾向于去往距离最近的路径节点；

当蚂蚁A对所有路径进行遍历后，所走的路径路线便为以蚂蚁A起始点为始的关键部位连接方式可行解；

S34:重复步骤S33，直到所有蚂蚁均完成一次路径遍历，得到k组可行解；

S35:更新路径的信息素浓度：

τ_xy(t+n)＝(1-ρ)τ_xy(t)+Δτ_xy(t)

其中：

表示蚂蚁A在路径xy上行走留下的信息素浓度；

ρ表示信息素挥发比例，将其设置为0.2；

S36:重复步骤S33-S35，直到达到预设的最大迭代次数Max，得到k组可行解；计算每组可行解的目标函数值，选取目标函数值最大的可行解作为目标函数的最终解，即为监控视频中人体关节点的位置信息；

S4：将人体关节点位置信息和生产区域进行对比，人体关节点位置信息在安全生产区域内则安全，否则报警。

2.如权利要求1所述的一种安全生产风险视频监控方法，其特征在于，所述S1步骤中获取监控视频，将监控视频转换为视频帧图像，并将视频帧图像转换为灰度矩阵，包括：

获取监控视频，逐帧将监控视频转换为监控视频帧图像，并将监控视频帧图像转换为灰度矩阵，所述灰度矩阵的转换方法为：

获取监控视频帧图像中每个像素点的RGB颜色像素值；

将每个像素点的RGB颜色像素值转换为灰度值：

Gray(i,j)＝0.299×R(i,j)+0.587×G(i,j)+0.114×B(i,j)

其中：

Gray(i,j)为像素点(i,j)的灰度值，(i,j)表示为视频帧图像中第i行第j列的像素；

R(i,j)为像素点(i,j)的红色分量值，G(i,j)为像素点(i,j)的绿色分量，B(i,j)为像素点(i,j)的蓝色分量；

构造M×N的灰度矩阵Q，按像素点的位置将每个像素点的灰度值填写到灰度矩阵中，其中M表示监控视频帧图像的行像素数，N表示监控视频帧图像的列像素数，Q_ij表示灰度矩阵中第i行第j列的灰度值。

3.如权利要求2所述的一种安全生产风险视频监控方法，其特征在于，所述S1步骤中对灰度矩阵进行二值化处理，得到二值化灰度矩阵，包括：

1)计算灰度矩阵的平均灰度μ：

其中：

k表示灰度级；

ρ(k)为灰度级为k的矩阵元素出现的概率；

n(k)为灰度级为k的矩阵元素出现的个数；

2)以灰度级m为分割阈值，小于此阈值为背景，大于等于此阈值为前景，从而将灰度矩阵分成前景和背景，则背景灰度值为：

背景数比例为：

前景灰度值为：

前景数比例为：

3)计算前景和背景的方差：

σ＝w_b×(μ_b-μ)²+w_f×(μ_f-μ)²

通过对分割阈值m进行修改，使得前景和背景的方差达到最大，此时的分割阈值为最佳分割阈值，并以最佳分割阈值进行灰度矩阵的二值化处理，将灰度矩阵中大于最佳分割阈值的灰度值置为1，小于最佳分割阈值的灰度值置为0，得到二值化灰度矩阵。

4.如权利要求3所述的一种安全生产风险视频监控方法，其特征在于，所述S1步骤中利用Canny边缘检测算法检测二值化灰度矩阵中的边缘区域，并连接边缘区域中的直线，连接后的区域即为安全生产区域，包括：

利用Canny边缘检测算法检测二值化灰度矩阵中的边缘元素，所述Canny边缘检测算法的流程为：

对于以任意矩阵元素u为中心的3×3二值化灰度矩阵Q_u，利用Canny算子C_x和C_y计算矩阵元素的梯度矩阵g_xy(u)：

其中：

g_x(u)表示矩阵元素u在x轴方向的梯度矩阵；

g_y(u)表示矩阵元素u在y轴方向的梯度矩阵；

将矩阵元素u在二值化灰度矩阵中的位置表示为(u_i,u_j)，其中(u_i,u_j)表示矩阵元素u在二值化灰度矩阵的第u_i行第u_j列；

计算g_up(u_i,u_j)和g_down(u_i,u_j)，若g_xy(u_i,u_j)均大于g_up(u_i,u_j)和g_down(u_i,u_j)，则矩阵元素u为边缘元素，保留该矩阵元素u，否则将其置为0，g_up(u)和g_down(u)的计算公式为：

其中：

g_xy(u_i,u_j+1)表示二值化灰度矩阵中第u_i行第u_j+1列元素的梯度矩阵；

保留下的矩阵元素即为检测到的矩阵边缘元素，所有矩阵边缘元素构成矩阵边缘区域；

连接矩阵边缘区域中的直线部分，形成安全生产区域，所述矩阵边缘区域的直线部分连接流程为：

对于二值化灰度矩阵中的任意矩阵边缘元素(s_i,s_j)，经过的直线为s_j＝as_i+b，其中(s_i,s_j)表示二值化灰度矩阵的第s_i行第s_j列的矩阵元素，a表示直线的斜率，b表示直线的轴截距；

将直线改写为b＝-as_i+s_j，其中a为自变量参数，a∈[a_min,a_max]，将a_min设置为0，a_max设置为10，根据参数a的取值确定参数b的取值；构建a-b参数空间，并将a-b参数空间分割为若干格子，每一个格子作为参数累加器，对于直线中可行的参数a_s和对应的b_s，a-b参数空间中的参数累加器(a_s,b_s)加一；

重复上述步骤，将所有矩阵边缘元素的直线参数映射到a-b参数空间，选取参数累加器的最大值作为矩阵边缘区域的直线参数，并根据所确定的直线参数，沿着矩阵边缘元素在灰度矩阵中做出分割直线，并将所做出的分割直线映射到监控视频帧图像中，将监控视频帧图像分割为安全生产区域以及非安全生产区域。

5.如权利要求4所述的一种安全生产风险视频监控方法，其特征在于，所述S2步骤中构建多人姿态估计和行为监测模型，包括：

将监控视频帧图像输入到VGG19卷积神经网络模型中提取特征图，将所提取到的特征图作为多人姿态估计和行为监测模型的输入特征；

输入多人姿态估计和行为监测模型中的特征图将会分成两个分支，每个分支中都由多阶段的卷积神经网络构成，其中的一个分支通过将特征图进行计算得到关键部位关键点集合S，关键部位关键点集合S用于预测身体部位在监控视频帧图像中的位置，用来表示监控视频帧图像中的坐标点是图像中人体身体部位的概率值；另外一个分支用来探测得到人体关键部位亲和域集合L，即是用来显示图片上代表人体关键部位的两两坐标点之间同属相同的躯体或是四肢的概率；重复该步骤，直到多人姿态估计和行为监测模型输出的概率值保持不变，所述关键部位关键点集合以及亲和域集合在模型中的计算流程为：

其中：

θⁱ(·)表示第i次对关键部位关键点集合进行预测；

表示第i次对亲和域集合进行预测；

Sⁱ表示第i次预测得到的关键部位关键点集合；

Lⁱ表示第i次预测得到的亲和域集合。

6.如权利要求5所述的一种安全生产风险视频监控方法，其特征在于，所述S2步骤中确定多人姿态估计和行为监测模型的目标函数，包括：

根据所确定的关键部位关键点集合，对于任意肢体p，确定如下多人姿态估计和行为监测模型的目标函数：

其中：

L_p表示肢体p中关键部位的总亲和度，所述总亲和度表示亲和域集合中的概率之和；

Q_p表示肢体p的关键部位关键点集合；

L_ij表示关键部位i和关键部位j的总亲和度；

z^ij表示关键部位i和关键部位j的连接方式集合，包括关键部位连接的位置信息和方向向量。

7.如权利要求1所述的一种安全生产风险视频监控方法，其特征在于，所述S4步骤中将求解得到的人体关节点位置信息与监控视频中的生产区域进行对比，包括：

将监控视频中人体关节点的位置信息与监控视频中的生产区域进行对比，若人体关节点位置信息在安全生产区域内则安全，否则报警。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有安全生产风险视频监控程序指令，所述安全生产风险视频监控程序指令可被一个或者多个处理器执行，以实现一种如权利要求1至7中任一一项的安全生产风险视频监控方法及系统。

Images