CN116403162B - 一种机场场面目标行为识别方法、系统及电子设备 - Google Patents
一种机场场面目标行为识别方法、系统及电子设备 Download PDFInfo
- Publication number
- CN116403162B CN116403162B CN202310378209.0A CN202310378209A CN116403162B CN 116403162 B CN116403162 B CN 116403162B CN 202310378209 A CN202310378209 A CN 202310378209A CN 116403162 B CN116403162 B CN 116403162B
- Authority
- CN
- China
- Prior art keywords
- target
- visible light
- network
- behavior
- sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000012544 monitoring process Methods 0.000 claims abstract description 147
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 40
- 238000001514 detection method Methods 0.000 claims abstract description 40
- 238000009432 framing Methods 0.000 claims abstract description 14
- 230000006399 behavior Effects 0.000 claims description 97
- 238000010586 diagram Methods 0.000 claims description 32
- 238000012549 training Methods 0.000 claims description 28
- 230000007246 mechanism Effects 0.000 claims description 20
- 238000002372 labelling Methods 0.000 claims description 11
- 206010000117 Abnormal behaviour Diseases 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 description 5
- 238000001914 filtration Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 2
- 230000009194 climbing Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
Abstract
本发明提供了一种机场场面目标行为识别方法、系统及电子设备，涉及机场场面智能监控与计算机视觉技术领域。方法包括将待测可见光监控视频进行分帧处理，得到待测可见光监控视频帧序列；根据待测可见光监控视频序列，利用目标识别模型和目标匹配算法确定非合作目标的裁剪监控视频帧序列；将非合作目标的裁剪监控视频帧序列输入到骨架点检测网络中，得到非合作目标的人体骨架点序列；将非合作目标的人体骨架点序列，输入到行为识别网络中，确定非合作目标的行为类别。本发明通过构建目标识别模型、骨架点检测网络和行为识别网络，结合目标匹配算法能够实时准确识别机场场面典型非合作目标的行为，进而提高机场场面管理的自动化水平。
Description
技术领域
本发明涉及机场场面智能监控与计算机视觉技术领域，特别是涉及一种机场场面目标行为识别方法、系统及电子设备。
背景技术
在民航领域，场面监控的实时化和智能化是实现机场地面智慧管理的先决条件。近20年来，发生在机场场面的事故占民航事故的90％，机场场面运行安全是民航安全的核心环节。无航班期间，航空器会短期或长期停放在机场，通常由机场监护人员巡场与视频监控相结合，来确保航空器的系留与泊位安全，造成人力的浪费，且无法依靠监控摄像头自动识别危险事件。因监视系统的不完善，擅闯机场禁区以及非法干扰机场秩序的事件时有发生。由于机场场面十分广阔，而航警数量有限，且监控摄像头拍摄到的画面角度众多，监控室人员很难全方面监视。随着机场规模的扩张，对场面尤其是机身周围的个体目标进行实时监视显得尤为重要。
近年来，中国许多机场相关管理部门为了全方位直观掌握场面运行的态势，在机场场面特别是停机坪区域安装了大量的视频采集设备，建立面向场面监视任务的视频监视系统。但视频监控领域的发展仍不成熟，通常由监控设备采集视频图像并保存起来，发生危险事件后需要分析案件，才会将监控视频导出并进行肉眼观察，因此迫切需要设计出一种能够根据实时采集的视频序列自主分析人体行为的场面终端监控系统。
发明内容
本发明的目的是提供一种机场场面目标行为识别方法、系统及电子设备，能够实时准确识别机场场面典型非合作目标的行为，进而提高机场场面管理的自动化水平。
为实现上述目的，本发明提供了如下方案：
一种机场场面目标行为识别方法，包括：
获取机场预设区域内的待测可见光监控视频；
将所述待测可见光监控视频进行分帧处理，得到待测可见光监控视频帧序列；
根据待测可见光监控视频序列，利用目标识别模型和目标匹配算法确定非合作目标的裁剪监控视频帧序列；所述目标识别模型是利用标注后的可见光监控历史视频帧，对改进后的YOLOX-s网络进行训练得到的；所述改进后的YOLOX-s算法是在YOLOX-s网络中添加注意力机制后得到的；
将所述非合作目标的裁剪监控视频帧序列输入到骨架点检测网络中，得到非合作目标的人体骨架点序列；所述骨架点检测网络是利用多个目标标注后的裁剪监控历史视频帧序列，对改进后的HRNet网络进行训练得到的；所述改进后的HRNet网络是将HRNet网络中的Basicblock模块仅替换为REGhost模块，且将HRNet网络中的Bottleneck模块仅替换为REGhostNeck模块后得到的；其中，REGhost模块是在Ghost模块中添加注意力机制后得到的；REGhostNeck模块是在Ghostbottleneck模块中添加注意力机制后得到的；
将所述非合作目标的人体骨架点序列，输入到行为识别网络中，确定非合作目标的行为类别；所述行为识别网络是利用多个目标标注有行为类别的人体骨架点历史序列，对时空图卷积网络进行训练后得到的。
可选的，在将所述非合作目标的人体骨架点序列，输入到行为识别网络中，确定非合作目标的行为类别之后，还包括：
根据非合作目标的行为类别确定非合作目标是否存在行为异常。
可选的，所述根据待测可见光监控视频序列，利用目标识别模型和目标匹配算法确定非合作目标的裁剪监控视频帧序列，包括：
将所述待测可见光监控视频序列输入到目标识别模型中，确定待测可见光监控视频帧序列中每帧待测可见光监控视频帧上的目标；
利用目标匹配算法对相邻待测可见光监控视频帧中同一目标进行匹配处理；所述目标匹配算法为匈牙利匹配算法；
确定出现连续帧数达到预设帧数阈值的目标为非合作目标；
根据目标识别模型输出的矩形框，对存在非合作目标的连续帧待测可见光监控视频帧进行裁剪处理，得到非合作目标的裁剪监控视频帧序列。
可选的，在所述获取机场预设区域内的待测可见光监控视频之前，还包括：
构建改进后的YOLOX-s网络；
获取机场多个区域内的可见光监控历史视频；
将所述可见光监控历史视频进行分帧处理，得到多帧可见光监控历史视频帧；
对多帧可见光监控历史视频帧进行目标标注处理，得到多帧标注可见光监控历史视频帧；
以可见光监控历史视频帧为输入，以标注可见光监控历史视频帧为输出，对改进后的YOLOX-s网络进行训练，得到目标识别模型。
可选的，在所述获取机场预设区域内的待测可见光监控视频之前，还包括：
构建改进后的HRNet网络；
获取多个目标的裁剪监控历史视频帧序列；
确定多个裁剪监控历史视频帧序列对应的人体骨架点历史序列；
以裁剪监控历史视频帧序列为输入，以人体骨架点历史序列为输出，对改进后的HRNet网络进行训练，得到骨架点检测网络。
可选的，在所述获取机场预设区域内的待测可见光监控视频之前，还包括：
获取多个目标的人体骨架点历史序列；
对多个人体骨架点历史序列对应的行为类别进行标注；
以人体骨架点历史序列为输入，以人体骨架点历史序列对应行为类别为输出，对时空图卷积网络进行训练，得到行为识别网络。
一种机场场面目标行为识别系统，包括：
待测可见光监控视频获取模块，用于获取机场预设区域内的待测可见光监控视频；
分帧模块，用于将所述待测可见光监控视频进行分帧处理，得到待测可见光监控视频帧序列；
裁剪监控视频帧序列确定模块，用于根据待测可见光监控视频序列，利用目标识别模型和目标匹配算法确定非合作目标的裁剪监控视频帧序列；所述目标识别模型是利用标注后的可见光监控历史视频帧，对改进后的YOLOX-s网络进行训练得到的；所述改进后的YOLOX-s算法是在YOLOX-s网络中添加注意力机制后得到的；
人体骨架点序列确定模块，用于将所述非合作目标的裁剪监控视频帧序列输入到骨架点检测网络中，得到非合作目标的人体骨架点序列；所述骨架点检测网络是利用多个目标标注后的裁剪监控历史视频帧序列，对改进后的HRNet网络进行训练得到的；所述改进后的HRNet网络是将HRNet网络中的Basicblock模块仅替换为REGhost模块，且将HRNet网络中的Bottleneck模块仅替换为REGhostNeck模块后得到的；其中，REGhost模块是在Ghost模块中添加注意力机制后得到的；REGhostNeck模块是在Ghost bottleneck模块中添加注意力机制后得到的；
行为类别确定模块，用于将所述非合作目标的人体骨架点序列，输入到行为识别网络中，确定非合作目标的行为类别；所述行为识别网络是利用多个目标标注有行为类别的人体骨架点历史序列，对时空图卷积网络进行训练后得到的。
一种电子设备，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行所述的一种机场场面目标行为识别方法。
可选的，所述存储器为可读存储介质。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明提供的一种机场场面目标行为识别方法、系统及电子设备，获取机场预设区域内的待测可见光监控视频；将待测可见光监控视频进行分帧处理，得到待测可见光监控视频帧序列；根据待测可见光监控视频序列，利用目标识别模型和目标匹配算法确定非合作目标的裁剪监控视频帧序列；将非合作目标的裁剪监控视频帧序列输入到骨架点检测网络中，得到非合作目标的人体骨架点序列；将非合作目标的人体骨架点序列，输入到行为识别网络中，确定非合作目标的行为类别。本发明通过构建目标识别模型、骨架点检测网络和行为识别网络，结合目标匹配算法能够实时准确识别机场场面典型非合作目标的行为，进而提高机场场面管理的自动化水平。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例1中一种机场场面目标行为识别方法流程图；
图2为本发明实施例1中一种机场场面目标行为识别方法流程图；
图3为本发明实施例1中行为识别数据集六个行为类别的示例图像；
图4为本发明实施例1中改进YOLOX-s目标检测算法整体框架图；
图5为本发明实施例1中改进YOLOX-s目标检测算法第一详解图；
图6为本发明实施例1中改进YOLOX-s目标检测算法第二详解图；
图7为本发明实施例1中轻量型高分辨率网络RGCANet网络框架图；
图8为本发明实施例1中轻量型高分辨率网络RGCANet中的REGhost模块和REGhostNeck模块示意图；
图9为本发明实施例1中时空图卷积网络框架图；
图10为本发明实施例1中行为识别整体框架流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种机场场面目标行为识别方法、系统及电子设备，能够实时准确识别机场场面典型非合作目标的行为，进而提高机场场面管理的自动化水平。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例1
如图1所示，本实施例提供了一种机场场面目标行为识别方法，包括：
步骤101：获取机场预设区域内的待测可见光监控视频。
步骤102：将待测可见光监控视频进行分帧处理，得到待测可见光监控视频帧序列。
步骤103：根据待测可见光监控视频序列，利用目标识别模型和目标匹配算法确定非合作目标的裁剪监控视频帧序列；目标识别模型是利用标注后的可见光监控历史视频帧，对改进后的YOLOX-s网络进行训练得到的；改进后的YOLOX-s算法是在YOLOX-s网络中添加注意力机制后得到的。
步骤103，包括：
步骤1031：将待测可见光监控视频序列输入到目标识别模型中，确定待测可见光监控视频帧序列中每帧待测可见光监控视频帧上的目标。
步骤1032：利用目标匹配算法对相邻待测可见光监控视频帧中同一目标进行匹配处理；目标匹配算法为匈牙利匹配算法。
步骤1033：确定出现连续帧数达到预设帧数阈值的目标为非合作目标。
步骤1034：根据目标识别模型输出的矩形框，对存在非合作目标的连续帧待测可见光监控视频帧进行裁剪处理，得到非合作目标的裁剪监控视频帧序列。
步骤104：将非合作目标的裁剪监控视频帧序列输入到骨架点检测网络中，得到非合作目标的人体骨架点序列；骨架点检测网络是利用多个目标标注后的裁剪监控历史视频帧序列，对改进后的HRNet网络进行训练得到的；改进后的HRNet网络是将HRNet网络中的Basicblock模块仅替换为REGhost模块，且将HRNet网络中的Bottleneck模块仅替换为REGhostNeck模块后得到的；其中，REGhost模块是在Ghost模块中添加注意力机制后得到的；REGhostNeck模块是在Ghostbottleneck模块中添加注意力机制后得到的。
步骤105：将非合作目标的人体骨架点序列，输入到行为识别网络中，确定非合作目标的行为类别；行为识别网络是利用多个目标标注有行为类别的人体骨架点历史序列，对时空图卷积网络进行训练后得到的。
步骤106：根据非合作目标的行为类别确定非合作目标是否存在行为异常。
在步骤101之前，还包括：目标识别模型构建过程(步骤107-步骤1011)、骨架点检测网络构建过程(步骤1012-步骤1015)和行为识别网络构建过程(步骤1016-步骤1018)。
步骤107：构建改进后的YOLOX-s网络。
步骤108：获取机场多个区域内的可见光监控历史视频。
步骤109：将可见光监控历史视频进行分帧处理，得到多帧可见光监控历史视频帧。
步骤1010：对多帧可见光监控历史视频帧进行目标标注处理，得到多帧标注可见光监控历史视频帧。
步骤1011：以可见光监控历史视频帧为输入，以标注可见光监控历史视频帧为输出，对改进后的YOLOX-s网络进行训练，得到目标识别模型。
步骤1012：构建改进后的HRNet网络。
步骤1013：获取多个目标的裁剪监控历史视频帧序列。
步骤1014：确定多个裁剪监控历史视频帧序列对应的人体骨架点历史序列。
步骤1015：以裁剪监控历史视频帧序列为输入，以人体骨架点历史序列为输出，对改进后的HRNet网络进行训练，得到骨架点检测网络。
步骤1016：获取多个目标的人体骨架点历史序列。
步骤1017：对多个人体骨架点历史序列对应的行为类别进行标注。
步骤1018：以人体骨架点历史序列为输入，以人体骨架点历史序列对应行为类别为输出，对时空图卷积网络进行训练，得到行为识别网络。
下面，以站立、行走、跑步、蹲下、触摸桨叶和攀爬起落架(前四类属于非异常行为，后两类属于异常行为)为例，对本发明进行具体说明。
本发明实施例提供的一种机场场面典型非合作目标行为识别与定位方法，流程图如图2所示，包括以下步骤：
S1、构建场面特定目标行为识别与定位模型。
S11、采集停机坪可见光监控视频，对其进行剪辑和截取，构建目标检测数据集、骨架点数据集和行为识别数据集，其中，行为识别数据集包含的六类行为如图3所示，分别是站立、行走、跑步、蹲下、触摸桨叶和攀爬起落架，前四类属于非异常行为，后两类属于异常行为。
S12、构建改进的目标检测网络以YOLOX-s为基础，采用Mosaic数据增强策略；如图4-图6，在骨干网络的深层输出后引入注意力机制，增强小目标在深层特征图上语义信息，改进了场面小目标检测的能力；将置信度损失由原来的BCELoss修改为Focalloss，解决样本不均衡的情况，其中，αt为权重因子，α∈[0,1]，(1-pt)γ为调变因子，Concat表示拼接；Upsampling表示下采样；Resunit表示残差单元；Maxpool表示最大池化；Spp表示空间金字塔池化；Reshape表示重新定义形状；Transpose表示转置；Resbloc表示残差模块。
FL(pt)＝-αt(1-pt)γlog(pt)。
S13、在目标检测的基础上利用卡尔曼滤波与kuhn-munkras算法(匈牙利目标匹配算法)实现多个目标的ID匹配，具体为：
(1)首先利用卡尔曼滤波根据第k-1帧捕获的目标相关参数预测出第k帧目标出现的位置，若第k帧中可以成功检测出第k-1中的目标，则利用第k帧检测得到的目标信息与第k-1帧中的目标信息进行关联，否则在一定的失败次数内，利用卡尔曼滤波预测的估计值与第k-1帧中的目标信息进行关联。
(2)前后帧的数据关联子任务利用kuhn-munkras匹配算法实现，首先将第k-1帧得到的预测值以及第k帧的目标检测信息依据相应的度量准则建立前后帧之间的代价矩阵，将匹配任务转换为指派问题，其次按照算法规则求解代价矩阵，分配最优关联解，即实现前后帧之间的目标身份关联。
以此获取目标图像序列的连续帧跟踪位置[aij，bij，wij，hij]，i＝1，2，…，m；j＝1，2，…，n；m为目标数量，n为视频帧数，括号内四个值分别表示矩形包围框的左上像素坐标和宽高。
S14、构建轻量型高分辨率网络RGCANet参数与浮点运算量低，具体构建方式为：
如图7-图8，以高分辨率网络HRNet为基础，引入自建的REGhost模块和REGhostNeck模块，设计出一种保持一定精度的轻量型骨架点检测网络RGCANet。其中，REGhost模块是根据Ghost模块改进得到的，REGhostNeck模块则借鉴了Ghostbottleneck模块的构建思路，两种自建模块均结合了注意力机制以保证检测精度。通过将HRNet中的Basicblock和Bottleneck批量替换为REGhost和REGhostNeck，达到轻量化高分辨率网络的目的。一个REGhost单元的参数量和浮点运算量记作PRG和FRG，则REGhostNeck的参数量PREGhostneck和浮点运算量FREGhostneck可表示为：
该网络应用于骨架点检测中，根据热图的表示方法回归到原始图像，具体实现为：
(1)特征提取阶段：首先，预处理阶段通过两个简单的3×3卷积将输入尺寸调整为为256大小的RGB图像下采样2×2倍，通道维度扩张到64。第一阶段采用一个Layer模块操作得到256维(长宽为64)的一阶段特征图，然后在第二阶段采用1个二阶级联模块分别操作得到32维(长宽为64)和64维(长宽为32)的二阶段特征图，接着在第三阶段采用4个三阶级联模块分别操作得到32维(长宽为64)、64维(长宽为32)和128维(长宽为16)的三阶段特征图，最后在第四阶段采用3个四阶级联模块分别操作得到32维(长宽为64)、64维(长宽为32)、128维(长宽为16)和256维(长宽为8)的四阶段特征图。
(2)骨架点回归阶段：将网络第四阶段四个不同尺度的特征图进行融合得到高分辨率特征输出，并再经过一次1×1卷积操作映射为64×48×k的热力图特征，其中k代表骨架点的数目。每个骨架点对应热图中像素值hk(μx,μy)代表的是该位置(μx,μy)的预测概率。
S15、采用时空图卷积网络作为行为识别网络，根据时空特征信息进行行为分类的操作过程为：
如图9，首先通过BN层对输入数据进行归一化操作，并采用9个时空图卷积单元模块融合数据的时空域特征，这9个时空图卷积单元分为3个组，每组有3个时空图卷积单元，三个组中单元的输出通道维度分别为64，128，256；接着使用全局池化层处理聚合后的特征向量；然后利用全连接层将处理后的向量展平；最后执行Softmax操作判定人体行为类别。
S16、基于滑动窗的时序行为检测方式预先定义滑动窗的长度为30，将其在未剪辑的检测视频中对每个目标沿着时间维度以单帧为步长进行滑动，并逐一判断滑动窗时序区间内的动作类别。
S17、异常行为判定与记录时，将其发生和结束帧序向过去推移与滑动窗区间大小相同的帧数，即向过去推移30帧，作为更真实的异常行为始终时间节点。
S2、对机场停机坪人员进行时序行为检测与异常行为定位；行为识别整体框架流程图如图10所示，图10中，(a)表示采用改进的目标检测网络YOLOX-s捕捉视频流中每帧图像内的目标包围框；(b)表示在目标检测的基础上利用卡尔曼滤波与kuhn-munkras算法实现多个目标的ID匹配；(c)表示通过轻量型的高分辨率网络RGCANet获取每个目标的连续帧骨架点信息；(d)表示应用时空图卷积网络提取人体骨架的时空特征并进行动作分类。
S21、初始化滑窗长度。
S22、采用改进的目标检测网络YOLOX-s捕捉视频流的每帧图像中的特定目标包围框。
S23、执行步骤S13，获取目标匹配结果。
S24、采用S14中的骨架点检测网络获取每帧内多个目标的骨架点信息。
S25、检测到特定目标出现的连续帧长达到滑窗要求时，采用S15中的网络进行行为识别。
S26、执行步骤S16-S17。
本发明实施例提供的一种机场场面典型非合作目标行为识别与定位方法在台式工作站上进行神经网络的训练与测试，设备参数为：CPU型号12th Gen Intel(R)Core(TM)i9-12900K，内存64GB，GPU型号GA102[GeForce RTX 3090Ti]，显存24GB，操作系统Ubuntu20.04，编程所用的语言为Python3.9.12，实验环境均采用Pytorch深度学习框架，并配置了CUDA11.1调用GPU加速计算。
本发明公开了一种机场场面典型非合作目标行为识别与定位方法。主要步骤为：首先采用改进YOLOX-s与多目标匹配方法获取监控视频中的目标图像序列；其次，构建了一种基于轻量级高分辨率网络的人体骨架点检测算法，提取人体骨架点序列；最后以骨架点检测为基础，利用时空图卷积网络实现了行为的时空特征提取，并在此基础上通过分类器和滑窗法完成特定目标行为的识别与定位。该模型可以针对多个场面活动目标，具有较高的识别精度，适应终端设备部署。
实施例2
为了执行上述实施例1对应的方法，以实现相应的功能和技术效果，下面提供了一种机场场面目标行为识别系统，包括：
待测可见光监控视频获取模块，用于获取机场预设区域内的待测可见光监控视频。
分帧模块，用于将待测可见光监控视频进行分帧处理，得到待测可见光监控视频帧序列。
裁剪监控视频帧序列确定模块，用于根据待测可见光监控视频序列，利用目标识别模型和目标匹配算法确定非合作目标的裁剪监控视频帧序列；目标识别模型是利用标注后的可见光监控历史视频帧，对改进后的YOLOX-s网络进行训练得到的；改进后的YOLOX-s算法是在YOLOX-s网络中添加注意力机制后得到的。
人体骨架点序列确定模块，用于将非合作目标的裁剪监控视频帧序列输入到骨架点检测网络中，得到非合作目标的人体骨架点序列；骨架点检测网络是利用多个目标标注后的裁剪监控历史视频帧序列，对改进后的HRNet网络进行训练得到的；改进后的HRNet网络是将HRNet网络中的Basicblock模块仅替换为REGhost模块，且将HRNet网络中的Bottleneck模块仅替换为REGhostNeck模块后得到的；其中，REGhost模块是在Ghost模块中添加注意力机制后得到的；REGhostNeck模块是在Ghost bottleneck模块中添加注意力机制后得到的。
行为类别确定模块，用于将非合作目标的人体骨架点序列，输入到行为识别网络中，确定非合作目标的行为类别；行为识别网络是利用多个目标标注有行为类别的人体骨架点历史序列，对时空图卷积网络进行训练后得到的。
实施例3
本实施例提供了一种电子设备，其特征在于，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行实施例1所述的一种机场场面目标行为识别方法。
其中，所述存储器为可读存储介质。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
Claims (8)
1.一种机场场面目标行为识别方法，其特征在于，包括：
获取机场预设区域内的待测可见光监控视频；
将所述待测可见光监控视频进行分帧处理，得到待测可见光监控视频帧序列；
根据待测可见光监控视频序列，利用目标识别模型和目标匹配算法确定非合作目标的裁剪监控视频帧序列；所述目标识别模型是利用标注后的可见光监控历史视频帧，对改进后的YOLOX-s网络进行训练得到的；所述改进后的YOLOX-s算法是在YOLOX-s网络中添加注意力机制后得到的；
所述根据待测可见光监控视频序列，利用目标识别模型和目标匹配算法确定非合作目标的裁剪监控视频帧序列，包括：
将所述待测可见光监控视频序列输入到目标识别模型中，确定待测可见光监控视频帧序列中每帧待测可见光监控视频帧上的目标；
利用目标匹配算法对相邻待测可见光监控视频帧中同一目标进行匹配处理；所述目标匹配算法为匈牙利匹配算法；
确定出现连续帧数达到预设帧数阈值的目标为非合作目标；
根据目标识别模型输出的矩形框，对存在非合作目标的连续帧待测可见光监控视频帧进行裁剪处理，得到非合作目标的裁剪监控视频帧序列；
将所述非合作目标的裁剪监控视频帧序列输入到骨架点检测网络中，得到非合作目标的人体骨架点序列；所述骨架点检测网络是利用多个目标标注后的裁剪监控历史视频帧序列，对改进后的HRNet网络进行训练得到的；所述改进后的HRNet网络是将HRNet网络中的Basicblock模块仅替换为REGhost模块，且将HRNet网络中的Bottleneck模块仅替换为REGhostNeck模块后得到的；其中，REGhost模块是在Ghost模块中添加注意力机制后得到的；REGhostNeck模块是在Ghostbottleneck模块中添加注意力机制后得到的；
将所述非合作目标的人体骨架点序列，输入到行为识别网络中，确定非合作目标的行为类别；所述行为识别网络是利用多个目标标注有行为类别的人体骨架点历史序列，对时空图卷积网络进行训练后得到的；
通过BN层对输入数据进行归一化操作，并采用9个时空图卷积单元模块融合数据的时空域特征，将这9个时空图卷积单元分为3个组，每组有3个时空图卷积单元，三个组中单元的输出通道维度分别为64、128和256；使用全局池化层处理聚合后的特征向量；利用全连接层将处理后的向量展平；执行Softmax操作判定人体行为类别。
2.根据权利要求1所述的一种机场场面目标行为识别方法，其特征在于，在将所述非合作目标的人体骨架点序列，输入到行为识别网络中，确定非合作目标的行为类别之后，还包括：
根据非合作目标的行为类别确定非合作目标是否存在行为异常。
3.根据权利要求1所述的一种机场场面目标行为识别方法，其特征在于，在所述获取机场预设区域内的待测可见光监控视频之前，还包括：
构建改进后的YOLOX-s网络；
获取机场多个区域内的可见光监控历史视频；
将所述可见光监控历史视频进行分帧处理，得到多帧可见光监控历史视频帧；
对多帧可见光监控历史视频帧进行目标标注处理，得到多帧标注可见光监控历史视频帧；
以可见光监控历史视频帧为输入，以标注可见光监控历史视频帧为输出，对改进后的YOLOX-s网络进行训练，得到目标识别模型。
4.根据权利要求1所述的一种机场场面目标行为识别方法，其特征在于，在所述获取机场预设区域内的待测可见光监控视频之前，还包括：
构建改进后的HRNet网络；
获取多个目标的裁剪监控历史视频帧序列；
确定多个裁剪监控历史视频帧序列对应的人体骨架点历史序列；
以裁剪监控历史视频帧序列为输入，以人体骨架点历史序列为输出，对改进后的HRNet网络进行训练，得到骨架点检测网络。
5.根据权利要求1所述的一种机场场面目标行为识别方法，其特征在于，在所述获取机场预设区域内的待测可见光监控视频之前，还包括：
获取多个目标的人体骨架点历史序列；
对多个人体骨架点历史序列对应的行为类别进行标注；
以人体骨架点历史序列为输入，以人体骨架点历史序列对应行为类别为输出，对时空图卷积网络进行训练，得到行为识别网络。
6.一种机场场面目标行为识别系统，其特征在于，包括：
待测可见光监控视频获取模块，用于获取机场预设区域内的待测可见光监控视频；
分帧模块，用于将所述待测可见光监控视频进行分帧处理，得到待测可见光监控视频帧序列；
裁剪监控视频帧序列确定模块，用于根据待测可见光监控视频序列，利用目标识别模型和目标匹配算法确定非合作目标的裁剪监控视频帧序列；所述目标识别模型是利用标注后的可见光监控历史视频帧，对改进后的YOLOX-s网络进行训练得到的；所述改进后的YOLOX-s算法是在YOLOX-s网络中添加注意力机制后得到的；
所述根据待测可见光监控视频序列，利用目标识别模型和目标匹配算法确定非合作目标的裁剪监控视频帧序列，包括：
将所述待测可见光监控视频序列输入到目标识别模型中，确定待测可见光监控视频帧序列中每帧待测可见光监控视频帧上的目标；
利用目标匹配算法对相邻待测可见光监控视频帧中同一目标进行匹配处理；所述目标匹配算法为匈牙利匹配算法；
确定出现连续帧数达到预设帧数阈值的目标为非合作目标；
根据目标识别模型输出的矩形框，对存在非合作目标的连续帧待测可见光监控视频帧进行裁剪处理，得到非合作目标的裁剪监控视频帧序列；
人体骨架点序列确定模块，用于将所述非合作目标的裁剪监控视频帧序列输入到骨架点检测网络中，得到非合作目标的人体骨架点序列；所述骨架点检测网络是利用多个目标标注后的裁剪监控历史视频帧序列，对改进后的HRNet网络进行训练得到的；所述改进后的HRNet网络是将HRNet网络中的Basicblock模块仅替换为REGhost模块，且将HRNet网络中的Bottleneck模块仅替换为REGhostNeck模块后得到的；其中，REGhost模块是在Ghost模块中添加注意力机制后得到的；REGhostNeck模块是在Ghost bottleneck模块中添加注意力机制后得到的；
行为类别确定模块，用于将所述非合作目标的人体骨架点序列，输入到行为识别网络中，确定非合作目标的行为类别；所述行为识别网络是利用多个目标标注有行为类别的人体骨架点历史序列，对时空图卷积网络进行训练后得到的；
通过BN层对输入数据进行归一化操作，并采用9个时空图卷积单元模块融合数据的时空域特征，将这9个时空图卷积单元分为3个组，每组有3个时空图卷积单元，三个组中单元的输出通道维度分别为64、128和256；使用全局池化层处理聚合后的特征向量；利用全连接层将处理后的向量展平；执行Softmax操作判定人体行为类别。
7.一种电子设备，其特征在于，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行权利要求1至5中任一项所述的一种机场场面目标行为识别方法。
8.根据权利要求7所述的一种电子设备，其特征在于，所述存储器为可读存储介质。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310378209.0A CN116403162B (zh) | 2023-04-11 | 2023-04-11 | 一种机场场面目标行为识别方法、系统及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310378209.0A CN116403162B (zh) | 2023-04-11 | 2023-04-11 | 一种机场场面目标行为识别方法、系统及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116403162A CN116403162A (zh) | 2023-07-07 |
| CN116403162B true CN116403162B (zh) | 2023-10-27 |
Family
ID=87007086
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310378209.0A Active CN116403162B (zh) | 2023-04-11 | 2023-04-11 | 一种机场场面目标行为识别方法、系统及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116403162B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117115641B (zh) * | 2023-07-20 | 2024-03-22 | 中国科学院空天信息创新研究院 | 建筑物信息提取方法、装置、电子设备及存储介质 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106778655A (zh) * | 2016-12-27 | 2017-05-31 | 华侨大学 | 一种基于人体骨架的入口尾随进入检测方法 |
| CN113158983A (zh) * | 2021-05-18 | 2021-07-23 | 南京航空航天大学 | 一种基于红外视频序列图像的机场场面活动行为识别方法 |
| CN113269103A (zh) * | 2021-05-28 | 2021-08-17 | 山东大学 | 基于空间图卷积网络的异常行为检测方法及系统 |
| CN113763429A (zh) * | 2021-09-08 | 2021-12-07 | 广州市健坤网络科技发展有限公司 | 基于视频的猪只行为识别系统及方法 |
| CN114067438A (zh) * | 2021-11-17 | 2022-02-18 | 南京航空航天大学 | 一种基于热红外视觉的停机坪人体动作识别方法及系统 |
| CN114463727A (zh) * | 2022-01-11 | 2022-05-10 | 上海工程技术大学 | 一种地铁驾驶员行为识别方法 |
| CN114596340A (zh) * | 2022-03-08 | 2022-06-07 | 南京航空航天大学 | 一种监控视频的多目标跟踪方法及系统 |
| CN114724251A (zh) * | 2022-04-24 | 2022-07-08 | 重庆邮电大学 | 一种在红外视频下基于骨架序列的老人行为识别方法 |
| CN114782998A (zh) * | 2022-05-24 | 2022-07-22 | 上海大学 | 骨架关节点增强的异常行为识别方法、系统、设备及介质 |
| CN115471915A (zh) * | 2022-09-20 | 2022-12-13 | 四川阿泰因机器人智能装备有限公司 | 一种基于粒子滤波的人体骨架序列构建方法 |
| CN115527271A (zh) * | 2022-10-13 | 2022-12-27 | 上海交通大学 | 电梯轿厢乘客异常行为检测系统及方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| MX2009008376A (es) * | 2007-02-08 | 2009-12-14 | Behavioral Recognition Systems | Sistema de reconocimiento conductual. |
-
2023
- 2023-04-11 CN CN202310378209.0A patent/CN116403162B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106778655A (zh) * | 2016-12-27 | 2017-05-31 | 华侨大学 | 一种基于人体骨架的入口尾随进入检测方法 |
| CN113158983A (zh) * | 2021-05-18 | 2021-07-23 | 南京航空航天大学 | 一种基于红外视频序列图像的机场场面活动行为识别方法 |
| CN113269103A (zh) * | 2021-05-28 | 2021-08-17 | 山东大学 | 基于空间图卷积网络的异常行为检测方法及系统 |
| CN113763429A (zh) * | 2021-09-08 | 2021-12-07 | 广州市健坤网络科技发展有限公司 | 基于视频的猪只行为识别系统及方法 |
| CN114067438A (zh) * | 2021-11-17 | 2022-02-18 | 南京航空航天大学 | 一种基于热红外视觉的停机坪人体动作识别方法及系统 |
| CN114463727A (zh) * | 2022-01-11 | 2022-05-10 | 上海工程技术大学 | 一种地铁驾驶员行为识别方法 |
| CN114596340A (zh) * | 2022-03-08 | 2022-06-07 | 南京航空航天大学 | 一种监控视频的多目标跟踪方法及系统 |
| CN114724251A (zh) * | 2022-04-24 | 2022-07-08 | 重庆邮电大学 | 一种在红外视频下基于骨架序列的老人行为识别方法 |
| CN114782998A (zh) * | 2022-05-24 | 2022-07-22 | 上海大学 | 骨架关节点增强的异常行为识别方法、系统、设备及介质 |
| CN115471915A (zh) * | 2022-09-20 | 2022-12-13 | 四川阿泰因机器人智能装备有限公司 | 一种基于粒子滤波的人体骨架序列构建方法 |
| CN115527271A (zh) * | 2022-10-13 | 2022-12-27 | 上海交通大学 | 电梯轿厢乘客异常行为检测系统及方法 |
Non-Patent Citations (5)
| Title |
|---|
| Action recognition of individuals on an airport apron based on tracking bounding boxes of the thermal infrared target;Meng Ding等;Infrared Physics & Technology;第117卷;第1-9页 * |
| Recognition Method of Airport Typical Motion Behavior Based on Infrared Image;Xiaozhou Wu等;2020 IEEE 2nd International Conference on Civil Aviation Safety and Information Technology (ICCASIT);第897-903页 * |
| 低能见度条件下停机坪移动目标行为识别方法研究;吴晓舟;中国优秀硕士学位论文全文数据库 工程科技II辑(第2期);第C031-1192页 * |
| 基于图像检测的机场人员异常行为分析技术研究;孙宝聪;数字通信世界(第1期);第26、38页 * |
| 面向视频的室内人体异常行为识别研究;刘昕;中国优秀硕士学位论文全文数据库 信息科技辑(第2期);第I138-2432页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116403162A (zh) | 2023-07-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | Deep convolutional neural networks for forest fire detection | |
| KR101995107B1 (ko) | 딥 러닝을 이용한 인공지능 기반 영상 감시 방법 및 시스템 | |
| CN108022235B (zh) | 高压输电铁塔关键部件缺陷识别方法 | |
| EP1955285B1 (en) | Detection of abnormal crowd behavior | |
| Zhan et al. | A high-precision forest fire smoke detection approach based on ARGNet | |
| CN110852222A (zh) | 一种基于目标检测的校园走廊场景智能监控方法 | |
| CN109214253B (zh) | 一种视频帧检测方法及装置 | |
| CN104981818A (zh) | 将机场中的移动的飞机分类的系统和方法 | |
| CN111222478A (zh) | 一种工地安全防护检测方法和系统 | |
| CN110458794B (zh) | 用于轨道列车的配件质量检测方法及装置 | |
| KR20150100141A (ko) | 행동패턴 분석 장치 및 방법 | |
| CN116403162B (zh) | 一种机场场面目标行为识别方法、系统及电子设备 | |
| CN111079621A (zh) | 检测对象的方法、装置、电子设备和存储介质 | |
| EP3376438A1 (en) | A system and method for detecting change using ontology based saliency | |
| US10860865B2 (en) | Predictive security camera system | |
| CN113901911B (zh) | 图像识别、模型训练方法、装置、电子设备及存储介质 | |
| Hussain et al. | Uav-based multi-scale features fusion attention for fire detection in smart city ecosystems | |
| CN114764895A (zh) | 异常行为检测装置和方法 | |
| US20230186634A1 (en) | Vision-based monitoring of site safety compliance based on worker re-identification and personal protective equipment classification | |
| Ali et al. | Real-time safety monitoring vision system for linemen in buckets using spatio-temporal inference | |
| CN111860187A (zh) | 一种高精度的佩戴口罩识别方法及系统 | |
| CN114821486B (zh) | 一种电力作业场景下人员识别方法 | |
| CN114677618A (zh) | 事故检测方法、装置、电子设备和存储介质 | |
| CN114782883A (zh) | 基于群体智能的异常行为检测方法、装置和设备 | |
| CN113837001A (zh) | 监控场景下的异常闯入物实时检测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |