CN112270289A - 一种基于图卷积注意力网络的智能监测方法 - Google Patents

Abstract

本发明公开了一种基于图卷积注意力网络的智能监测方法。该方法首先通过对点云进行图卷积的方式提取特征信息，其次通过提取的特征信息得到物体的区域，最后对区域内的物体进行识别，并判断该区域是否存在人员聚集的现象。本发明很好的将点云、图卷积和注意力块等相关技术进行结合应用于智能化的监测技术，实现了智能化的管理。

Description

一种基于图卷积注意力网络的智能监测方法

技术领域

本发明涉及点云、图卷积和注意力网络等技术领域，用于解决三维空间中人和物体识别，并判断监测区域内是否存在人员聚集现象的问题，属于计算机三维空间目标识别领域。具体为一种基于图卷积注意力网络的智能监测方法。

背景技术

在当今的信息化时代，实现公共场所的智能化的监测服务技术具有重要的现实意义。三维空间中的物体识别是一项极具挑战的任务，在当前的二维空间的智能化人脸识别技术已经达到了前所未有的成熟，而对于物体的识别，尤其是区分出人和物体，且进行识别依然是一项具有挑战的任务。RGB类型的数字图像中的目标检测是一项比较成熟的技术，但是随着科学技术的发展，以及当前在一些实际应用中，对三维空间中的目标进行检测与识别，已经成为了当前的主流方向，面临着严峻的挑战。

点云是指在三维空间参考系下表达目标空间分布和目标表面特性的海量点集合，在获取到每一个物体表面每个采样点的空间坐标后，得到点的集合。卷积神经网络是一项在数字图像中具有强大的特征提取能力的技术，而对图结构的特征提取一直是一项极具挑战的问题，图卷积是一种能够很好的对提取图结构中特征信息的技术。注意力网络是一种使网络模型更关注目标的细节信息，而抑制其它对当前任务无用特征信息的技术。首先通过对三维空间的目标进行采集信息，并以点云的形式存储；其次通过基于图卷积注意力网络的得到目标物体所在的区域；最后通过端到端的技术识别所在区域物体。在提取特征的时候，常见的卷积操作是通过逐点处理的方式。而图像与点云之间所存在的不同是点云是一种天然的易于构建链接的图结构，点云中的点具有一定的稀疏性，因此采用注意力网络对点云中各点进行加权的图卷积注意力操作，以得到其中最明显的特征。

本发明提出了一种基于图卷积注意力网络的智能监测技术，对三维空间中的物体进行识别，以判断该物体的属性和类别。难点在于在三维空间中识别和区分出人和物体，因为每一个人和物体的特征之间存在很大的差异性，并且判断该区域内是否存在人员聚集的现象。实现三维空间中的物体检测和识别，对于实现智能化管理的监测技术具有重要意义。

发明内容

本发明为了克服基于现有技术的二维空间智能化人脸识别中的不足，提出了一种基于图卷积注意力网络的智能监测方法。

本发明解决上述技术问题的技术方案如下：

一种基于图卷积注意力网络模块的智能监测方法，操作步骤如下：

步骤1，首先通过使用HBI-N3N1-I4摄像设备采集当前监测区间内的信息，并且转化为点云的形式。对点云进行降维，最终的点云数据为分布在三维空间中x,y,z坐标轴中D,H,W中的点，且是划分为多个小的子空间区域的点云格式，以哈希表的形式存储，消除空间内部点为空的区域。

步骤2，点云是一个天然的图结构，对点云数据的体素进行特征提取，本发明采用图卷积注意力网络模块的形式进行特征提取。因为点云中各部分对整体的贡献是不一样的，所以采用注意力机制的形式，为其中的各部分进行加权操作，以得到更为精准的特征信息。因点云的体素特征提取的局限性，设数据为三维空间中x,y,z坐标轴中D,H,W中的点。因为体素内是分布不均匀的状态下存在的，因此将整个体素空间划分为一个个小的子体素空间，并采用哈希表的形式存储，消除空间内部点为空的情况。

步骤3降维，对所采集到的数据进行降维，以适应新的网络结构。

步骤4体素级特征提取，对点云数据进行体素级的特征提取，其中使用注意力机制块对所提取的初始特征进行选择。

步骤5三维卷积计算，进行三维的特征提取时，采用基于图卷积注意力网络的三维目标检测方法，是为了加强点云局部关系表达与优化特征选择的过程。注意力网络对三维空间中的各通道加权操作为：

步骤6区域建议，区域建议网络已经成为当前检测物体区域的主要检测网络模块，区域建议的输入是三维卷积所提取的特征图，在一个区域建议层中包含有卷积层、BN和Relu激活函数。对每一个区域建议层之后进行上采样操作，得到相同大小的特征图，最后将这些图通过1*1的卷积操作得到物体区域。

步骤7识别网络，因为通过区域建议网络仅得到物体的区域位置，再通过物体的识别网络，即通过LSTM进行识别物体区域内物体属性，以判断该物体区域内是人或物。

步骤8计算距离，如果步骤7中识别的结果为人，则计算监测区间中人与人之间的间距。

步骤9聚集现象，每隔3秒重复步骤1至步骤8，判断上一次在监测区间中的人或物，在当前时刻是否还存在，位置区域是否发生了改变，从而判断当前人与人之间是否为聚集状态。

与现有技术相对比较，本发明利用图卷积注意力模块在智能监测方面的应用，这种技术将图卷积应用于智能安防监测中。点云是一种天然的图结构，该图结构中的每个节点都有其独特的特征信息和每个节点还具有结构信息。在基于图结构的数据中，需要同时考虑节点的特征信息以及结构信息，如果依靠手工的规则进行提取，必然会使许多隐蔽和复杂的信息丢失。因此采用基于图卷积注意力网络的方式可以很好避免手工规则提取特征的不足，可以达到加权其中重要特征信息，抑制对当前任务作用较弱的特征信息。。本发明很好的将点云技术、图卷积和注意力机制模块相结合应用于智能化的监测技术，实现了智能化的管理。

附图说明

图1是本发明基于图卷积注意力网络的体素特征提取示意图。

图中，首先对采集的数据输入进行体素特征提取，然后进入图卷积层，再通过注意力网络模型进行加权，增强特征提取能力，最后得到体素级特征信息。

图2是本发明三维卷积的提取特征示意图。

图中，对所采集的三维数据输入进行卷积操作，得到所提取的特征信息，再经过注意力网络模型加权处理，输出特征信息。

图3是本发明物体识别网络示意图。

图中，对于找到的物体区域，经过长短期记忆网络识别区域内的物体，最后得到识别结果。

图4是本发明整体结构图。

图中，1.采集监测区域内的物体，2.对采集的物体进行点云操作，得到天然的点云图结构，3.进行数据上的降维，4.对降维后的数据进行体素级的特征提取，5.再进行三维的卷积计算，提取物体特征，6.根据提取特征得到物体区域，7.对检测到的区域进行物体识别，8.计算监测区域内人员之间的间距，9.根据距离判断是否存在人员聚集现象。

具体实施方式

下面通过举例的形式对本发明做详细的描述：

本发明一种基于图卷积注意力网络的体素特征提取示意图如图1所示，图中，首先对采集的数据输入进行体素特征提取，然后进入图卷积层，再通过注意力网络模型进行加权，增强特征提取能力，最后得到体素级特征信息。

本发明三维卷积的提取特征示意图如图2所示，图中，对所采集的三维数据输入进行卷积操作，得到所提取的特征信息，再经过注意力网络模型加权处理，输出特征信息。

本发明物体识别网络示意图如图3所示，图中，对于找到的物体区域，经过长短期记忆网络识别区域内的物体，最后得到识别结果。

本发明整体结构图如图4所示，图中，1.采集监测区域内的物体，2.对采集的物体进行点云操作，得到天然的点云图结构，3.进行数据上的降维，4.对降维后的数据进行体素级的特征提取，5.再进行三维的卷积计算，提取物体特征，6.根据提取特征得到物体区域，7.对检测到的区域进行物体识别，8.计算监测区域内人员之间的间距，9.根据距离判断是否存在人员聚集现象。

一种基于图卷积注意力网络模块的智能监测方法，操作步骤如下：

步骤1，首先通过使用HBI-N3N1-I4摄像设备采集当前监测区间内的信息，并且转化为点云的形式。对点云进行降维，最终的点云数据为分布在三维空间中x,y,z坐标轴中D,H,W中的点，且是划分为多个小的子空间区域的点云格式，以哈希表的形式存储，消除空间内部点为空的区域。

步骤2，点云是一个天然的图结构，对点云数据的体素进行特征提取，本发明采用图卷积注意力网络模块的形式进行特征提取。因为点云中各部分对整体的贡献是不一样的，所以采用注意力机制的形式，为其中的各部分进行加权操作，以得到更为精准的特征信息。因点云的体素特征提取的局限性，设数据为三维空间中x,y,z坐标轴中D,H,W中的点。因为体素内是分布不均匀的状态下存在的，因此将整个体素空间划分为一个个小的子体素空间，并采用哈希表的形式存储，消除空间内部点为空的情况。

步骤3降维，对所采集到的数据进行降维，以适应新的网络结构。

步骤4体素级特征提取，对点云数据进行体素级的特征提取，其中使用注意力机制块对所提取的初始特征进行选择。

步骤5三维卷积计算，进行三维的特征提取时，采用基于图卷积注意力网络的三维目标检测方法，是为了加强点云局部关系表达与优化特征选择的过程。

步骤6区域建议，区域建议网络已经成为当前检测物体区域的主要检测网络模块，区域建议的输入是三维卷积所提取的特征图，在一个区域建议层中包含有卷积层、BN和Relu激活函数。对每一个区域建议层之后进行上采样操作，得到相同大小的特征图，最后将这些图通过1*1的卷积操作得到物体区域。

步骤7识别网络，因为通过区域建议网络仅得到物体的区域位置，再通过物体的识别网络，即通过LSTM进行识别物体区域内物体属性，以判断该物体区域内是人或物。

步骤8计算距离，如果步骤7中识别的结果为人，则计算监测区间中人与人之间的间距。

步骤9聚集现象，每隔3秒重复步骤1至步骤8，判断上一次在监测区间中的人或物，在当前时刻是否还存在，位置区域是否发生了改变，从而判断当前人与人之间是否为聚集状态。

Claims (1)

1.一种基于图卷积注意力网络的智能监测方法，操作步骤如下：

步骤1，首先通过使用HBI-N3N1-I4摄像设备采集当前监测区间内的信息，并且转化为点云的形式。对点云进行降维，最终的点云数据为分布在三维空间中x,y,z坐标轴中D,H,W中的点，且是划分为多个小的子空间区域的点云格式，以哈希表的形式存储，消除空间内部点为空的区域；

步骤2，点云是一个天然的图结构，对点云数据的体素进行特征提取，本发明采用图卷积注意力网络模块的形式进行特征提取。因为点云中各部分对整体的贡献是不一样的，所以采用注意力机制的形式，为其中的各部分进行加权操作，以得到更为精准的特征信息；因点云的体素特征提取的局限性，设数据为三维空间中x,y,z坐标轴中D,H,W中的点，因为体素内是分布不均匀的状态下存在的，因此将整个体素空间划分为一个个小的子体素空间，并采用哈希表的形式存储，消除空间内部点为空的情况；

步骤3降维，对所采集到的数据进行降维，以适应新的网络结构；

步骤4体素级特征提取，对点云数据进行体素级的特征提取，其中使用注意力机制块对所提取的初始特征进行选择；

步骤5三维卷积计算，进行三维的特征提取时，采用基于图卷积注意力网络的三维目标检测方法，是为了加强点云局部关系表达与优化特征选择的过程，注意力网络对三维空间中的各通道加权操作为：

步骤6区域建议，区域建议网络已经成为当前检测物体区域的主要检测网络模块，区域建议的输入是三维卷积所提取的特征图，在一个区域建议层中包含有卷积层、BN和Relu激活函数。对每一个区域建议层之后进行上采样操作，得到相同大小的特征图，最后将这些图通过1*1的卷积操作得到物体区域；

步骤7识别网络，因为通过区域建议网络仅得到物体的区域位置，再通过物体的识别网络，即通过LSTM进行识别物体区域内物体属性，以判断该物体区域内是人或物；

步骤8计算距离，如果步骤7中识别的结果为人，则计算监测区间中人与人之间的间距；

步骤9聚集现象，每隔3秒重复步骤1至步骤8，判断上一次在监测区间中的人或物，在当前时刻是否还存在，位置区域是否发生了改变，从而判断当前人与人之间是否为聚集状态。

Images