CN117333929A - 基于深度学习实现道路施工下的异常人员识别方法及系统 - Google Patents

基于深度学习实现道路施工下的异常人员识别方法及系统 Download PDF

Info

Publication number
CN117333929A
CN117333929A CN202311631687.4A CN202311631687A CN117333929A CN 117333929 A CN117333929 A CN 117333929A CN 202311631687 A CN202311631687 A CN 202311631687A CN 117333929 A CN117333929 A CN 117333929A
Authority
CN
China
Prior art keywords
abnormal
scene
image
personnel
main body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311631687.4A
Other languages
English (en)
Other versions
CN117333929B (zh
Inventor
赵峥嵘
黄灏
何佼莲
熊延华
王涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guizhou Provincial Highway Construction And Maintenance Group Co ltd
Original Assignee
Guizhou Provincial Highway Construction And Maintenance Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guizhou Provincial Highway Construction And Maintenance Group Co ltd filed Critical Guizhou Provincial Highway Construction And Maintenance Group Co ltd
Priority to CN202311631687.4A priority Critical patent/CN117333929B/zh
Publication of CN117333929A publication Critical patent/CN117333929A/zh
Application granted granted Critical
Publication of CN117333929B publication Critical patent/CN117333929B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及异常人员识别领域，揭露了一种基于深度学习实现道路施工下的异常人员识别方法及系统，所述方法包括：提取施工场景数据的场景图像和场景视频；对场景图像进行均衡化处理，得到均衡化图像，标记均衡化图像中的人员主体，识别人员主体的人脸信息，将人脸信息与预设的人脸库进行对比，得到异常人脸信息，识别人员主体中的人脸异常人员；识别人员主体中的位置异常人员；分析人员主体的行为动作，计算行为动作的加速度向量幅值，预测人员主体的预测行为动作，分析预测行为动作的动作异常值，识别人员主体中的行为异常人员；分析人员主体中的异常人员。本发明可以提高道路施工场景下异常人员识别的准确性。

Description

基于深度学习实现道路施工下的异常人员识别方法及系统
技术领域
本发明涉及异常人员识别领域，尤其涉及一种基于深度学习实现道路施工下的异常人员识别方法及系统。
背景技术
异常人员识别是指通过分析人员的行为、特征、背景等信息，识别出可能存在安全风险、犯罪嫌疑或其他异常行为的人员。这项技术在道路施工下可以快速锁定异常人员，提高了道路施工的稳定。
目前异常人员识别主要是通过采集人员的人脸信息和动作行为来分析人员是否在人脸库和动作是否存在危险性的方式来识别异常人员，这种方法只能识别以及发生危险动作的异常人员，无法对可能发生的异常动作的异常人员进行有效预测，从而导致异常人员的识别效果不佳。
发明内容
本发明提供一种基于深度学习实现道路施工下的异常人员识别方法及系统，其主要目的在于提高道路施工场景下异常人员识别的准确性。
为实现上述目的，本发明提供的一种基于深度学习实现道路施工下的异常人员识别方法，包括：
采集道路施工场景下施工场景数据，提取所述施工场景数据的场景图像和场景视频；
对所述场景图像进行均衡化处理，得到均衡化图像，标记所述均衡化图像中的人员主体，识别所述人员主体的人脸信息，将所述人脸信息与预设的人脸库进行对比，得到异常人脸信息，基于所述异常人脸信息，识别所述人员主体中的人脸异常人员；
对所述场景视频进行背景建模，得到所述道路施工场景的模拟施工场景，标记所述人员主体在所述模拟施工场景的空间坐标，基于所述空间坐标和预设的危险区域，识别所述人员主体中的位置异常人员；
根据所述场景视频，分析所述人员主体的行为动作，计算所述行为动作的加速度向量幅值，基于所述加速度向量幅值，利用预设的行为轨迹预测模型预测所述人员主体的预测行为动作，分析所述预测行为动作的动作异常值，基于所述动作异常值，识别所述人员主体中的行为异常人员；
基于所述人脸异常人员、所述位置异常人员以及所述行为异常人员，分析所述人员主体中的异常人员。
可选地，所述提取所述施工场景数据的场景图像和场景视频，包括：
对所述施工场景数据进行数据预处理，得到处理施工场景数据；
识别所述处理施工场景数据的数据格式；
基于所述数据格式，对所述处理施工场景数据进行分类，得到格式分类场景数据；
提取所述格式分类场景数据中的场景图像和场景视频。
可选地，所述对所述场景图像进行均衡化处理，得到均衡化图像，包括：
识别所述场景图像的灰度级别；
标记所述场景图像中所述灰度级别对应灰度级别像素数量；
根据所述灰度级别和所述灰度级别像素数量，绘制所述场景图像的灰度直方图；
对所述灰度直方图进行均衡化处理，得到所述均衡化图像。
可选地，所述对所述灰度直方图进行均衡化处理，得到所述均衡化图像，包括：
构建所述灰度直方图的累积分布函数；
基于所述累积分布函数，利用下述公式计算对所述灰度直方图的均衡像素值：
；
其中，表示灰度直方图中为A的像素值的均衡像素值，CDF()表示累积分布函数，A表示灰度直方图中为A的像素值 ，CDFmin表示累积分布函数最小值，C表示灰度直方图的长像素个数，K表示灰度直方图的宽像素个数，B表示灰度直方图对应灰度级别；
根据所述均衡像素值，构建所述灰度直方图的均衡化图像。
可选地，所述识别所述人员主体的人脸信息，包括：
标记所述人员主体的人脸区域；
对所述人脸区域进行姿态调整，得到姿态调整人脸；
提取所述姿态调整人脸的人脸特征；
根据所述人脸特征，分析所述人员主体的人脸信息。
可选地，所述对所述场景视频进行背景建模，得到所述道路施工场景的模拟施工场景，包括：
将所述场景视频转化为视频帧图像；
将所述视频帧图像划分为背景帧图像和备用帧图像；
提取所述背景帧图像的图像特征向量；
根据所述图像特征向量，建立所述道路施工场景的初始模拟施工场景；
根据所述备用帧图像，对所述初始模拟施工场景进行更新，得到所述道路施工场景的模拟施工场景。
可选地，所述提取所述背景帧图像的图像特征向量，包括：
将所述背景帧图像转化为灰度帧图像；
计算所述灰度帧图像的图像梯度；
根据所述图像梯度，将所述灰度帧图像划分为局部方向区间图像；
根据所述图像梯度，利用下述公式计算所述局部方向区间图像的梯度直方图值：
；
其中，H(i)表示第i个局部方向区间图像的梯度直方图值，w(E)表示局部图像对应像素点E的权重，|G(E)|表示局部图像对应像素点E的梯度大小，表示局部图像对应像素点E的梯度方向，/>是一个指示函数，当/>与θ(i)相等时为1，否则为0，θ(i)表示第i个局部方向区间图像的角度值；
根据所述梯度直方图值，构建所述局部方向区间图像的梯度直方图；
将所述梯度直方图进行链接，得到所述背景帧图像的图像特征向量。
可选地，所述计算所述行为动作的加速度向量幅值，包括：
识别所述行为动作的加速度数据；
基于所述加速度数据，计算所述行为动作的动作加速度；
基于所述动作加速度，利用下述公式计算所述行为动作的加速度向量幅值：
；
其中，表示加速度向量幅值，mx表示动作加速度x轴上的分量，my表示动作加速度y轴上的分量，mz表示动作加速度z轴上的分量。
可选地，所述基于所述加速度向量幅值，利用预设的行为轨迹预测模型预测所述人员主体的预测行为动作，包括：
提取所述加速度向量幅值的幅值特征；
根据所述幅值特征，利用所述行为轨迹预测模型预测所述人员主体的预测行为动作坐标；
基于所述预测行为动作坐标，构建所述人员主体的预测行为轨迹；
通过所述预测行为轨迹，分析所述人员主体的预测行为动作。
为了解决上述问题，本发明还提供一种基于深度学习实现道路施工下的异常人员识别系统，所述系统包括：
施工场景数据处理模块，用于采集道路施工场景下施工场景数据，提取所述施工场景数据的场景图像和场景视频；
人脸异常人员识别模块，用于对所述场景图像进行均衡化处理，得到均衡化图像，标记所述均衡化图像中的人员主体，识别所述人员主体的人脸信息，将所述人脸信息与预设的人脸库进行对比，得到异常人脸信息，基于所述异常人脸信息，识别所述人员主体中的人脸异常人员；
位置异常人员识别模块，用于对所述场景视频进行背景建模，得到所述道路施工场景的模拟施工场景，标记所述人员主体在所述模拟施工场景的空间坐标，基于所述空间坐标和预设的危险区域，识别所述人员主体中的位置异常人员；
行为异常人员识别模块，用于根据所述场景视频，分析所述人员主体的行为动作，计算所述行为动作的加速度向量幅值，基于所述加速度向量幅值，利用预设的行为轨迹预测模型预测所述人员主体的预测行为动作，分析所述预测行为动作的动作异常值，基于所述动作异常值，识别所述人员主体中的行为异常人员；
目标异常人员识别模块，用于基于所述人脸异常人员、所述位置异常人员以及所述行为异常人员，分析所述人员主体中的异常人员。
本发明实施例通过提取所述施工场景数据的场景图像和场景视频可以提取所述施工场景数据中需要的数据可以提高数据的处理效率；本发明实施例通过对所述场景图像进行均衡化处理，得到均衡化图像对图像进行增强，以达到提高图像的对比度、改善图像主观视觉效果的目的；进一步地，本发明实施例通过将所述均衡化图像中所述人脸信息与预设的人脸库进行对比，得到异常人脸信息可以相似度度量方法，如欧氏距离、余弦相似度等，来计算人脸特征之间的相似度，来判断所述人脸信息是否在所述人脸库，通过相似度度量方法提高人脸识别的准确性和鲁棒性，进一步地，本发明实施例基于所述空间坐标和预设的危险区域，识别所述人员主体中的位置异常人员可以及时发现潜在的安全问题和危险情况，从而减少事故和伤害的发生；进一步地，本发明实施例根据所述场景视频，分析所述人员主体的行为动作可以根据采集大量的行为动作数据来分析所述人员主体动作特征，从而来判断所述人员主体是否存在异常行为，最后，进一步地，本发明实施例通过分析所述预测行为动作的动作异常值可以判断所述预测行为动作的异常程度，提高了对异常动作识别的可靠性，本发明实施例基于所述人脸异常人员、所述位置异常人员以及所述行为异常人员，分析所述人员主体中的异常人员可以从人员的人脸、位置以及动作三个方面识别施工场景下的人员的异常，通过多方面异常识别提高了对施工场景下异常人员的识别效果。因此本发明提出的基于深度学习实现道路施工下的异常人员识别方法及系统，可以提高道路施工场景下异常人员识别的准确性。
附图说明
图1为本发明一实施例提供的基于深度学习实现道路施工下的异常人员识别方法的流程示意图；
图2为本发明一实施例提供的基于深度学习实现道路施工下的异常人员识别系统的功能模块图；
图3为本发明一实施例提供的基于深度学习实现道路施工下的异常人员识别系统的电子设备的结构示意图；
本发明目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本申请实施例提供一种基于深度学习实现道路施工下的异常人员识别方法。所述基于深度学习实现道路施工下的异常人员识别方法的执行主体包括但不限于服务端、终端等能够被配置为执行本申请实施例提供的该方法的电子设备中的至少一种。换言之，所述基于深度学习实现道路施工下的异常人员识别方法可以由安装在终端设备或服务端设备的软件或硬件来执行，所述软件可以是区块链平台。所述服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。所述服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
参照图1所示，为本发明一实施例提供的基于深度学习实现道路施工下的异常人员识别方法的流程示意图。在本实施例中，所述基于深度学习实现道路施工下的异常人员识别方法包括：
S1、采集道路施工场景下施工场景数据，提取所述施工场景数据的场景图像和场景视频。
本发明实施例中，所述道路施工场景是指进行道路施工的场景，例如公路路面修复、快速路修建等场景，所述施工场景数据是指在所述道路施工场景下产生的数据，例如道路施工场景照片、道路施工场景视频等数据。
本发明实施例通过提取所述施工场景数据的场景图像和场景视频可以提取所述施工场景数据中需要的数据可以提高数据的处理效率。其中，所述场景图像是指所述道路施工场景下通过相机、手机等设备采集的图像，所述场景视频是指所述道路施工场景下通过摄像头、手机等设备采集的视频。
作为本发明的一个实施例，所述提取所述施工场景数据的场景图像和场景视频，包括：对所述施工场景数据进行数据预处理，得到处理施工场景数据；识别所述处理施工场景数据的数据格式；基于所述数据格式，对所述处理施工场景数据进行分类，得到格式分类场景数据；提取所述格式分类场景数据中的场景图像和场景视频。
其中，所述处理施工场景数据是指对所述处理施工场景数据进行去噪、数据清洗等操作后得到的数据集合，所述数据格式是指所述处理施工场景数据的数据的格式，例如doc、png等格式，所述格式分类场景数据是指按照不同的格式对所述处理施工场景数据进行分类后得到数据。
S2、对所述场景图像进行均衡化处理，得到均衡化图像，标记所述均衡化图像中的人员主体，识别所述人员主体的人脸信息，将所述人脸信息与预设的人脸库进行对比，得到异常人脸信息，基于所述异常人脸信息，识别所述人员主体中的人脸异常人员。
本发明实施例通过对所述场景图像进行均衡化处理，得到均衡化图像对图像进行增强，以达到提高图像的对比度、改善图像主观视觉效果的目的。其中，所述均衡化图像是指对图像进行非线性拉伸，重新分配图像象元值，使一定灰度范围内象元值的数量大致相等的图像。
作为本发明的一个实施例，所述对所述场景图像进行均衡化处理，得到均衡化图像，包括：识别所述场景图像的灰度级别；标记所述场景图像中所述灰度级别对应灰度级别像素数量；根据所述灰度级别和所述灰度级别像素数量，绘制所述场景图像的灰度直方图；对所述灰度直方图进行均衡化处理，得到所述均衡化图像。
其中，所述灰度级别是指所述场景图像中每个像素的灰度值的不同取值范围，例如图像为8位深度，则灰度级别共有2^8=256级数，这也是最常见的灰度级数，所述灰度级别像素数量是指在每一个灰度级别所述场景图像对应的像素数量，灰度直方图是一种统计图表，用于显示所述场景图像中不同灰度级别的像素数量或频率分布。
进一步地，本发明一可选实施例中，所述对所述灰度直方图进行均衡化处理，得到所述均衡化图像，包括：构建所述灰度直方图的累积分布函数；基于所述累积分布函数，利用下述公式计算对所述灰度直方图的均衡像素值：
；
其中，表示灰度直方图中为A的像素值的均衡像素值，CDF()表示累积分布函数，A表示灰度直方图中为A的像素值 ，CDFmin表示累积分布函数最小值，C表示灰度直方图的长像素个数，K表示灰度直方图的宽像素个数，B表示灰度直方图对应灰度级别；
根据所述均衡像素值，构建所述灰度直方图的均衡化图像。
其中，所述均衡像素值是指将其原始灰度值映射到新的灰度级别得到的像素值，CDF通过对灰度直方图进行累加并进行归一化得到。
进一步地，本发明实施例通过标记所述均衡化图像中的人员主体可以快速锁定图像里的待分析人员，提高对图像人员分析的效率。其中，所述人员主体是指所述均衡化图像中代表人的主体信息。
作为本发明的一个实施例，所述标记所述均衡化图像中的人员主体可以通过使用目标检测算法，如基于深度学习的目标检测模型（如YOLO、Faster R-CNN等），在图像中检测人员主体。
进一步地，本发明实施例通过识别所述人员主体的人脸信息可以通过人脸信息分析该人员是否是所述道路施工场景的施工人员，从而锁定其中不符合要求的人员。其中，所述人脸信息是指所述人员主体的脸部信息。
作为本发明的一个实施例，所述识别所述人员主体的人脸信息，包括：标记所述人员主体的人脸区域；对所述人脸区域进行姿态调整，得到姿态调整人脸；提取所述姿态调整人脸的人脸特征；根据所述人脸特征，分析所述人员主体的人脸信息。
其中，所述人脸区域是指所述人员主体中的脸部范围，所述姿态调整人脸将不同姿态和角度的人脸调整为标准化的姿态后的人脸，姿态调整以便后续的特征提取，所述人脸特征是指具有辨别性的特征向量。这些特征向量能够表示人脸的唯一性和区分性。
进一步地，本发明一可选实施例中，所述标记所述人员主体的人脸区域可以使用人脸检测算法，如Haar级联检测器、基于深度学习的人脸检测模型等，在图像中检测出人脸的位置。
进一步地，本发明实施例通过将所述人脸信息与预设的人脸库进行对比，得到异常人脸信息可以相似度度量方法，如欧氏距离、余弦相似度等，来计算人脸特征之间的相似度，来判断所述人脸信息是否在所述人脸库，通过相似度度量方法提高人脸识别的准确性和鲁棒性。其中，所述异常人脸信息是指通过相似度计算不存在所述人脸库中的人脸信息。
进一步地，本发明实施例中，所述人脸异常人员是指根据所述异常人脸信息识别不符合人脸库中的异常人员。
S3、对所述场景视频进行背景建模，得到所述道路施工场景的模拟施工场景，标记所述人员主体在所述模拟施工场景的空间坐标，基于所述空间坐标和预设的危险区域，识别所述人员主体中的位置异常人员。
进一步地，本发明实施例通过对所述场景视频进行背景建模，得到所述道路施工场景的模拟施工场景还原所述道路施工场景来更好的识别场景下位置异常的人员，提高了对道路施工场景下异常人员的识别效果。其中，所述视频背景是指所述场景视频中背景图像。
作为本发明的一个实施例，所述对所述场景视频进行背景建模，得到所述道路施工场景的模拟施工场景，包括：将所述场景视频转化为视频帧图像；将所述视频帧图像划分为背景帧图像和备用帧图像；提取所述背景帧图像的图像特征向量；根据所述图像特征向量，建立所述道路施工场景的初始模拟施工场景；根据所述备用帧图像，对所述初始模拟施工场景进行更新，得到所述道路施工场景的模拟施工场景。
其中，所述视频帧图像是指视频序列中的单个静态图像，所述背景帧图像是指用来作为背景的帧图像，所述备用帧图像是指将所述视频帧图像剔除所述背景帧图像后的图像集合，所述图像特征向量是用来描述图像内容的数值表示，例如颜色直方图、方向梯度直方图等表示，所述初始模拟施工场景是指通过所述背景帧图像构建的施工场景。
进一步地，本发明一可选实施例中，所述提取所述背景帧图像的图像特征向量，包括：将所述背景帧图像转化为灰度帧图像；计算所述灰度帧图像的图像梯度；根据所述图像梯度，将所述灰度帧图像划分为局部方向区间图像；根据所述图像梯度，利用下述公式计算所述局部方向区间图像的梯度直方图值：
；
其中，H(i)表示第i个局部方向区间图像的梯度直方图值，w(E)表示局部图像对应像素点E的权重，|G(E)|表示局部图像对应像素点E的梯度大小，表示局部图像对应像素点E的梯度方向，/>是一个指示函数，当/>与θ(i)相等时为1，否则为0，θ(i)表示第i个局部方向区间图像的角度值；
根据所述梯度直方图值，构建所述局部方向区间图像的梯度直方图；将所述梯度直方图进行链接，得到所述背景帧图像的图像特征向量。
其中，所述灰度帧图像是指所述背景帧图像进行灰度化后得到的图像，所述图像梯度是指使用Sobel算子或其他梯度算子来计算图像中每个像素点的梯度方向和大小，所述局部方向区间图像是指将灰度帧图像根据像素点的梯度方向划分为多个具有相同梯度方向的局部区域，从而得到的一种图像表示方法。在这种表示方法中，每个局部区域包含一组具有相似梯度方向的像素点。通过对局部方向区间图像的处理和分析，可以更好地提取图像中的有用信息，有助于后续的图像处理任务，如目标检测、目标分割等。
进一步地，本发明一可选实施例中，所述根据所述备用帧图像，对所述初始模拟施工场景进行更新，得到所述道路施工场景的模拟施工场景可以将初始模拟施工场景与备用帧图像进行融合，得到道路施工场景的模拟施工场景。这可以通过将备用帧图像叠加在初始场景模型上，或者将它们融合为一个统一的3D模型来实现。
所述局部方向区间图像的划分依据是图像梯度，梯度反映了图像中像素点灰度变化的大小和方向。在划分过程中，首先计算图像中每个像素点的梯度值，然后根据梯度值将图像划分为多个局部方向区间。每个局部方向区间对应一种特定的梯度方向，从而形成一幅局部方向区间图像。
其中，所述将所述梯度直方图进行链接，得到所述背景帧图像的图像特征向量通过计算每个局部区域的梯度直方图，并将其连接起来，可以得到一个高维的特征向量，用来描述图像的纹理和形状信息。
进一步地，本发明实施例通过标记所述人员主体在所述模拟施工场景的空间坐标可以实时了解每个人员的位置和状态对于危险区域的人员可以进行及时识别，从而提高了对施工场景下异常人员的识别效果。其中，所述空间坐标是指所述模拟施工场景中每个人员的坐标。
作为本发明的一个实施例，所述标记所述人员主体在所述模拟施工场景的空间坐标可以传感器技术捕捉到人员的点云数据，并通过识别算法来确定其空间坐标。
进一步地，本发明实施例基于所述空间坐标和预设的危险区域，识别所述人员主体中的位置异常人员可以及时发现潜在的安全问题和危险情况，从而减少事故和伤害的发生。其中，所述位置异常人员是指在所述道路施工场景下处于危险位置的人员。
作为本发明的一个实施例，所述基于所述空间坐标和预设的危险区域，识别所述人员主体中的位置异常人员可以将获取到的人员主体的空间坐标与预设的危险区域进行比较。如果人员主体的位置坐标与危险区域相符或超出了安全范围，则判定为位置异常。
S4、根据所述场景视频，分析所述人员主体的行为动作，计算所述行为动作的加速度向量幅值，基于所述加速度向量幅值，利用预设的行为轨迹预测模型预测所述人员主体的预测行为动作，分析所述预测行为动作的动作异常值，基于所述动作异常值，识别所述人员主体中的行为异常人员。
进一步地，本发明实施例根据所述场景视频，分析所述人员主体的行为动作可以根据采集大量的行为动作数据来分析所述人员主体动作特征，从而来判断所述人员主体是否存在异常行为。其中，所述行为动作是指所述人员主体在施工场景下的动作行为，例如，走路，挥手，踢腿等行为。
作为本发明的一个实施例，所述根据所述场景视频，分析所述人员主体的行为动作可以通过计算机视觉技术和机器学习算法，对视频中的人员主体进行动作识别。
进一步地，本发明实施例通过计算所述行为动作的加速度向量幅值反映了人员主体在各个方向上的加速度变化，可以帮助评估行为动作的力度和强度。其中，所述加速度向量幅值是指加速度向量的大小或长度，用于表示加速度的强度。在三维空间中，加速度向量可以由三个分量（x、y、z轴方向上的加速度）组成。
作为本发明的一个实施例，所述计算所述行为动作的加速度向量幅值，包括：识别所述行为动作的加速度数据；基于所述加速度数据，计算所述行为动作的动作加速度；基于所述动作加速度，利用下述公式计算所述行为动作的加速度向量幅值：
；
其中，表示加速度向量幅值，mx表示动作加速度x轴上的分量，my表示动作加速度y轴上的分量，mz表示动作加速度z轴上的分量。
其中，所述加速度数据是指所述行为动作进行运行的速度数据，例如动作方向、动作速度、动作时间等数据，所述动作加速度是指所述行为动作的加速度。
进一步地，本发明实施例通过基于所述加速度向量幅值，利用预设的行为轨迹预测模型预测所述人员主体的预测行为动作可以通过训练行为轨迹预测模型预测的提高行为动作预测的准确性，从而提高了对可能发生的异常行为进行有效地识别。其中，所述预测行为动作是指通过轨迹预测模型预测的所述人员主体即将做出的动作行为。
作为本发明的一个实施例，所述基于所述加速度向量幅值，利用预设的行为轨迹预测模型预测所述人员主体的预测行为动作，包括：提取所述加速度向量幅值的幅值特征；根据所述幅值特征，利用所述行为轨迹预测模型预测所述人员主体的预测行为动作坐标；基于所述预测行为动作坐标，构建所述人员主体的预测行为轨迹；通过所述预测行为轨迹，分析所述人员主体的预测行为动作。
其中，所述幅值特征从加速度数据中提取的一种特征，用于描述加速度变化的强度和动态特征，例如，加速度向量幅值的平均值，表示整体加速度变化的平均强度、加速度向量幅值的标准差，表示加速度变化的离散程度或波动性、加速度向量幅值的最大值，表示加速度变化的最大强度等特征，所述预测行为动作坐标是指根据所述幅值特征预测的所述人员主体的下一步动作空间坐标，所述预测行为轨迹是指将所述预测行为动作坐标链接起来得到的运行轨迹。
进一步地，本发明实施例通过分析所述预测行为动作的动作异常值可以判断所述预测行为动作的异常程度，提高了对异常动作识别的可靠性。其中，所述动作异常值是指所述预测行为动作行为异常的程度。
作为本发明的一个实施例，所述分析所述预测行为动作的动作异常值，包括：提取所述预测行为动作的预测行为动作特征；基于所述预测行为动作特征，构建所述预测行为动作的动作异常识别模型；基于所述动作异常识别模型，识别所述预测行为动作的动作异常值。
其中，所述预测行为动作特征是指所述预测行为动作的特征属性，例如位置、速度、加速度、关节角度、关节速度、质心加速度、质心速度等特征，所述动作异常识别模型是指对所述预测行为动作进行异常识别的模型，所述动作异常识别模型利用机器学习、深度学习等方法构建。
进一步地，本发明实施例中所述行为异常人员是指所述人员主体中行为动作存在异常的人员。
S5、基于所述人脸异常人员、所述位置异常人员以及所述行为异常人员，分析所述人员主体中的异常人员。
进一步地，本发明实施例基于所述人脸异常人员、所述位置异常人员以及所述行为异常人员，分析所述人员主体中的异常人员可以从人员的人脸、位置以及动作三个方面识别施工场景下的人员的异常，通过多方面异常识别提高了对施工场景下异常人员的识别效果。其中，所述异常人员是指在所述道路施工场景下存在人脸、位置以及动作异常的人员。
作为本发明的一个实施例，所述基于所述人脸异常人员、所述位置异常人员以及所述行为异常人员，分析所述人员主体中的异常人员主要将所述人脸异常人员、所述位置异常人员以及所述行为异常人员中的重复异常人员删除得到最终的异常人员。
本发明实施例通过提取所述施工场景数据的场景图像和场景视频可以提取所述施工场景数据中需要的数据可以提高数据的处理效率；本发明实施例通过对所述场景图像进行均衡化处理，得到均衡化图像对图像进行增强，以达到提高图像的对比度、改善图像主观视觉效果的目的；进一步地，本发明实施例通过将所述均衡化图像中所述人脸信息与预设的人脸库进行对比，得到异常人脸信息可以相似度度量方法，如欧氏距离、余弦相似度等，来计算人脸特征之间的相似度，来判断所述人脸信息是否在所述人脸库，通过相似度度量方法提高人脸识别的准确性和鲁棒性，进一步地，本发明实施例基于所述空间坐标和预设的危险区域，识别所述人员主体中的位置异常人员可以及时发现潜在的安全问题和危险情况，从而减少事故和伤害的发生；进一步地，本发明实施例根据所述场景视频，分析所述人员主体的行为动作可以根据采集大量的行为动作数据来分析所述人员主体动作特征，从而来判断所述人员主体是否存在异常行为，最后，进一步地，本发明实施例通过分析所述预测行为动作的动作异常值可以判断所述预测行为动作的异常程度，提高了对异常动作识别的可靠性，本发明实施例基于所述人脸异常人员、所述位置异常人员以及所述行为异常人员，分析所述人员主体中的异常人员可以从人员的人脸、位置以及动作三个方面识别施工场景下的人员的异常，通过多方面异常识别提高了对施工场景下异常人员的识别效果。因此本发明提出的基于深度学习实现道路施工下的异常人员识别方法，可以提高道路施工场景下异常人员识别的准确性。
如图2所示，是本发明一实施例提供的基于深度学习实现道路施工下的异常人员识别系统的功能模块图。
本发明所述基于深度学习实现道路施工下的异常人员识别系统200可以安装于电子设备中。根据实现的功能，所述基于深度学习实现道路施工下的异常人员识别系统200可以包括施工场景数据处理模块201、人脸异常人员识别模块202、位置异常人员识别模块203、行为异常人员识别模块204及异常人员识别模块205。本发明所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
在本实施例中，关于各模块/单元的功能如下：
所述施工场景数据处理模块201，用于采集道路施工场景下施工场景数据，提取所述施工场景数据的场景图像和场景视频；
所述人脸异常人员识别模块202，用于对所述场景图像进行均衡化处理，得到均衡化图像，标记所述均衡化图像中的人员主体，识别所述人员主体的人脸信息，将所述人脸信息与预设的人脸库进行对比，得到异常人脸信息，基于所述异常人脸信息，识别所述人员主体中的人脸异常人员；
所述位置异常人员识别模块203，用于对所述场景视频进行背景建模，得到所述道路施工场景的模拟施工场景，标记所述人员主体在所述模拟施工场景的空间坐标，基于所述空间坐标和预设的危险区域，识别所述人员主体中的位置异常人员；
所述行为异常人员识别模块204，用于根据所述场景视频，分析所述人员主体的行为动作，计算所述行为动作的加速度向量幅值，基于所述加速度向量幅值，利用预设的行为轨迹预测模型预测所述人员主体的预测行为动作，分析所述预测行为动作的动作异常值，基于所述动作异常值，识别所述人员主体中的行为异常人员；
所述目标异常人员识别模块205，用于基于所述人脸异常人员、所述位置异常人员以及所述行为异常人员，分析所述人员主体中的异常人员。
详细地，本发明实施例中所述基于深度学习实现道路施工下的异常人员识别系统200中所述的各模块在使用时采用与附图中所述的基于深度学习实现道路施工下的异常人员识别方法一样的技术手段，并能够产生相同的技术效果，这里不再赘述。
本发明一实施例提供了实现基于深度学习实现道路施工下的异常人员识别方法的电子设备。
参见图3所示，所述电子设备可以包括处理器30、存储器31、通信总线32以及通信接口33，还可以包括存储在所述存储器31中并可在所述处理器30上运行的计算机程序，如基于深度学习实现道路施工下的异常人员识别方法程序。
其中，所述处理器在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器（Central Processing Unit，CPU）、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器是所述电子设备的控制核心（Control Unit），利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器内的程序或者模块（例如执行基于深度学习实现道路施工下的异常人员识别程序等），以及调用存储在所述存储器内的数据，以执行电子设备的各种功能和处理数据。
所述存储器至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器（例如：SD或DX存储器等）、磁性存储器、磁盘、光盘等。所述存储器在一些实施例中可以是电子设备的内部存储单元，例如该电子设备的移动硬盘。所述存储器在另一些实施例中也可以是电子设备的外部存储设备，例如电子设备上配备的插接式移动硬盘、智能存储卡（Smart Media Card，SMC）、安全数字（Secure Digital，SD）卡、闪存卡（Flash Card）等。进一步地，所述存储器还可以既包括电子设备的内部存储单元也包括外部存储设备。所述存储器不仅可以用于存储安装于电子设备的应用软件及各类数据，例如基于基于深度学习实现道路施工下的异常人员识别程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
所述通信总线可以是外设部件互连标准（Peripheral Component Interconnect，简称PCI）总线或扩展工业标准结构（Extended Industry Standard Architecture，简称EISA）总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器以及至少一个处理器等之间的连接通信。
所述通信接口用于上述电子设备与其他设备之间的通信，包括网络接口和用户接口。可选地，所述网络接口可以包括有线接口和/或无线接口（如WI-FI接口、蓝牙接口等），通常用于在该电子设备与其他电子设备之间建立通信连接。所述用户接口可以是显示器（Display）、输入单元（比如键盘（Keyboard）），可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED（Organic Light-Emitting Diode，有机发光二极管）触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。
例如，尽管未示出，所述电子设备还可以包括给各个部件供电的电源（比如电池），优选地，电源可以通过电源管理系统与所述至少一个处理器逻辑相连，从而通过电源管理系统实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
所述电子设备中的所述存储器存储的基于深度学习实现道路施工下的异常人员识别程序是多个指令的组合，在所述处理器中运行时，可以实现：
采集道路施工场景下施工场景数据，提取所述施工场景数据的场景图像和场景视频；
对所述场景图像进行均衡化处理，得到均衡化图像，标记所述均衡化图像中的人员主体，识别所述人员主体的人脸信息，将所述人脸信息与预设的人脸库进行对比，得到异常人脸信息，基于所述异常人脸信息，识别所述人员主体中的人脸异常人员；
对所述场景视频进行背景建模，得到所述道路施工场景的模拟施工场景，标记所述人员主体在所述模拟施工场景的空间坐标，基于所述空间坐标和预设的危险区域，识别所述人员主体中的位置异常人员；
根据所述场景视频，分析所述人员主体的行为动作，计算所述行为动作的加速度向量幅值，基于所述加速度向量幅值，利用预设的行为轨迹预测模型预测所述人员主体的预测行为动作，分析所述预测行为动作的动作异常值，基于所述动作异常值，识别所述人员主体中的行为异常人员；
基于所述人脸异常人员、所述位置异常人员以及所述行为异常人员，分析所述人员主体中的异常人员。
具体地，所述处理器对上述指令的具体实现方法可参考附图对应实施例中相关步骤的描述，在此不赘述。
进一步地，所述电子设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。所述计算机可读存储介质可以是易失性的，也可以是非易失性的。例如，所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或系统、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）。
本发明还提供一种计算机可读存储介质，所述可读存储介质存储有计算机程序，所述计算机程序在被电子设备的处理器所执行时，可以实现：
采集道路施工场景下施工场景数据，提取所述施工场景数据的场景图像和场景视频；
对所述场景图像进行均衡化处理，得到均衡化图像，标记所述均衡化图像中的人员主体，识别所述人员主体的人脸信息，将所述人脸信息与预设的人脸库进行对比，得到异常人脸信息，基于所述异常人脸信息，识别所述人员主体中的人脸异常人员；
对所述场景视频进行背景建模，得到所述道路施工场景的模拟施工场景，标记所述人员主体在所述模拟施工场景的空间坐标，基于所述空间坐标和预设的危险区域，识别所述人员主体中的位置异常人员；
根据所述场景视频，分析所述人员主体的行为动作，计算所述行为动作的加速度向量幅值，基于所述加速度向量幅值，利用预设的行为轨迹预测模型预测所述人员主体的预测行为动作，分析所述预测行为动作的动作异常值，基于所述动作异常值，识别所述人员主体中的行为异常人员；
基于所述人脸异常人员、所述位置异常人员以及所述行为异常人员，分析所述人员主体中的异常人员。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备，系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能（Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或系统也可以由一个单元或系统通过软件或者硬件来实现。第一、第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (10)

1.一种基于深度学习实现道路施工下的异常人员识别方法，其特征在于，所述方法包括：
采集道路施工场景下施工场景数据，提取所述施工场景数据的场景图像和场景视频；
对所述场景图像进行均衡化处理，得到均衡化图像，标记所述均衡化图像中的人员主体，识别所述人员主体的人脸信息，将所述人脸信息与预设的人脸库进行对比，得到异常人脸信息，基于所述异常人脸信息，识别所述人员主体中的人脸异常人员；
对所述场景视频进行背景建模，得到所述道路施工场景的模拟施工场景，标记所述人员主体在所述模拟施工场景的空间坐标，基于所述空间坐标和预设的危险区域，识别所述人员主体中的位置异常人员；
根据所述场景视频，分析所述人员主体的行为动作，计算所述行为动作的加速度向量幅值，基于所述加速度向量幅值，利用预设的行为轨迹预测模型预测所述人员主体的预测行为动作，分析所述预测行为动作的动作异常值，基于所述动作异常值，识别所述人员主体中的行为异常人员；
基于所述人脸异常人员、所述位置异常人员以及所述行为异常人员，分析所述人员主体中的异常人员。
2.如权利要求1所述的基于深度学习实现道路施工下的异常人员识别方法，其特征在于，所述提取所述施工场景数据的场景图像和场景视频，包括：
对所述施工场景数据进行数据预处理，得到处理施工场景数据；
识别所述处理施工场景数据的数据格式；
基于所述数据格式，对所述处理施工场景数据进行分类，得到格式分类场景数据；
提取所述格式分类场景数据中的场景图像和场景视频。
3.如权利要求1所述的基于深度学习实现道路施工下的异常人员识别方法，其特征在于，所述对所述场景图像进行均衡化处理，得到均衡化图像，包括：
识别所述场景图像的灰度级别；
标记所述场景图像中所述灰度级别对应灰度级别像素数量；
根据所述灰度级别和所述灰度级别像素数量，绘制所述场景图像的灰度直方图；
对所述灰度直方图进行均衡化处理，得到所述均衡化图像。
4.如权利要求3所述的基于深度学习实现道路施工下的异常人员识别方法，其特征在于，所述对所述灰度直方图进行均衡化处理，得到所述均衡化图像，包括：
构建所述灰度直方图的累积分布函数；
基于所述累积分布函数，利用下述公式计算对所述灰度直方图的均衡像素值：
；
其中，表示灰度直方图中为A的像素值的均衡像素值，CDF()表示累积分布函数，A表示灰度直方图中为A的像素值 ，CDFmin表示累积分布函数最小值，C表示灰度直方图的长像素个数，K表示灰度直方图的宽像素个数，B表示灰度直方图对应灰度级别；
根据所述均衡像素值，构建所述灰度直方图的均衡化图像。
5.如权利要求1所述的基于深度学习实现道路施工下的异常人员识别方法，其特征在于，所述识别所述人员主体的人脸信息，包括：
标记所述人员主体的人脸区域；
对所述人脸区域进行姿态调整，得到姿态调整人脸；
提取所述姿态调整人脸的人脸特征；
根据所述人脸特征，分析所述人员主体的人脸信息。
6.如权利要求1所述的基于深度学习实现道路施工下的异常人员识别方法，其特征在于，所述对所述场景视频进行背景建模，得到所述道路施工场景的模拟施工场景，包括：
将所述场景视频转化为视频帧图像；
将所述视频帧图像划分为背景帧图像和备用帧图像；
提取所述背景帧图像的图像特征向量；
根据所述图像特征向量，建立所述道路施工场景的初始模拟施工场景；
根据所述备用帧图像，对所述初始模拟施工场景进行更新，得到所述道路施工场景的模拟施工场景。
7.如权利要求6所述的基于深度学习实现道路施工下的异常人员识别方法，其特征在于，所述提取所述背景帧图像的图像特征向量，包括：
将所述背景帧图像转化为灰度帧图像；
计算所述灰度帧图像的图像梯度；
根据所述图像梯度，将所述灰度帧图像划分为局部方向区间图像；
根据所述图像梯度，利用下述公式计算所述局部方向区间图像的梯度直方图值：
；
其中，H(i)表示第i个局部方向区间图像的梯度直方图值，w(E)表示局部图像对应像素点E的权重，|G(E)|表示局部图像对应像素点E的梯度大小，表示局部图像对应像素点E的梯度方向，/>是一个指示函数，当/>与θ(i)相等时为1，否则为0，θ(i)表示第i个局部方向区间图像的角度值；
根据所述梯度直方图值，构建所述局部方向区间图像的梯度直方图；
将所述梯度直方图进行链接，得到所述背景帧图像的图像特征向量。
8.如权利要求1所述的基于深度学习实现道路施工下的异常人员识别方法，其特征在于，所述计算所述行为动作的加速度向量幅值，包括：
识别所述行为动作的加速度数据；
基于所述加速度数据，计算所述行为动作的动作加速度；
基于所述动作加速度，利用下述公式计算所述行为动作的加速度向量幅值：
；
其中，表示加速度向量幅值，mx表示动作加速度x轴上的分量，my表示动作加速度y轴上的分量，mz表示动作加速度z轴上的分量。
9.如权利要求1所述的基于深度学习实现道路施工下的异常人员识别方法，其特征在于，所述基于所述加速度向量幅值，利用预设的行为轨迹预测模型预测所述人员主体的预测行为动作，包括：
提取所述加速度向量幅值的幅值特征；
根据所述幅值特征，利用所述行为轨迹预测模型预测所述人员主体的预测行为动作坐标；
基于所述预测行为动作坐标，构建所述人员主体的预测行为轨迹；
通过所述预测行为轨迹，分析所述人员主体的预测行为动作。
10.一种基于深度学习实现道路施工下的异常人员识别系统，其特征在于，用于执行如权利要求1-9中任意一项所述的基于深度学习实现道路施工下的异常人员识别方法，所述系统包括：
施工场景数据处理模块，用于采集道路施工场景下施工场景数据，提取所述施工场景数据的场景图像和场景视频；
人脸异常人员识别模块，用于对所述场景图像进行均衡化处理，得到均衡化图像，标记所述均衡化图像中的人员主体，识别所述人员主体的人脸信息，将所述人脸信息与预设的人脸库进行对比，得到异常人脸信息，基于所述异常人脸信息，识别所述人员主体中的人脸异常人员；
位置异常人员识别模块，用于对所述场景视频进行背景建模，得到所述道路施工场景的模拟施工场景，标记所述人员主体在所述模拟施工场景的空间坐标，基于所述空间坐标和预设的危险区域，识别所述人员主体中的位置异常人员；
行为异常人员识别模块，用于根据所述场景视频，分析所述人员主体的行为动作，计算所述行为动作的加速度向量幅值，基于所述加速度向量幅值，利用预设的行为轨迹预测模型预测所述人员主体的预测行为动作，分析所述预测行为动作的动作异常值，基于所述动作异常值，识别所述人员主体中的行为异常人员；
目标异常人员识别模块，用于基于所述人脸异常人员、所述位置异常人员以及所述行为异常人员，分析所述人员主体中的异常人员。
CN202311631687.4A 2023-12-01 2023-12-01 基于深度学习实现道路施工下的异常人员识别方法及系统 Active CN117333929B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311631687.4A CN117333929B (zh) 2023-12-01 2023-12-01 基于深度学习实现道路施工下的异常人员识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311631687.4A CN117333929B (zh) 2023-12-01 2023-12-01 基于深度学习实现道路施工下的异常人员识别方法及系统

Publications (2)

Publication Number Publication Date
CN117333929A true CN117333929A (zh) 2024-01-02
CN117333929B CN117333929B (zh) 2024-02-09

Family

ID=89279772

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311631687.4A Active CN117333929B (zh) 2023-12-01 2023-12-01 基于深度学习实现道路施工下的异常人员识别方法及系统

Country Status (1)

Country Link
CN (1) CN117333929B (zh)

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102855321A (zh) * 2012-09-07 2013-01-02 陕西师范大学 人体行为识别方法
CN103390278A (zh) * 2013-07-23 2013-11-13 中国科学技术大学 一种视频异常行为检测系统
KR101419794B1 (ko) * 2014-01-06 2014-07-15 주식회사 코어셀 학교 방문자의 얼굴인식을 통한 학교 출입자 관리 방법
CN105678278A (zh) * 2016-02-01 2016-06-15 国家电网公司 一种基于单隐层神经网络的场景识别方法
CN106778595A (zh) * 2016-12-12 2017-05-31 河北工业大学 基于高斯混合模型的人群中异常行为的检测方法
CN109816933A (zh) * 2019-03-20 2019-05-28 潍坊医学院 基于复合式传感器的老人防跌倒智能监测系统及监测方法
CN110298254A (zh) * 2019-05-30 2019-10-01 罗普特科技集团股份有限公司 一种用于人员异常行为的分析方法和系统
CN110443109A (zh) * 2019-06-11 2019-11-12 万翼科技有限公司 异常行为监控处理方法、装置、计算机设备和存储介质
CN110838126A (zh) * 2019-10-30 2020-02-25 东莞太力生物工程有限公司 细胞图像分割方法、装置、计算机设备和存储介质
CN111582209A (zh) * 2020-05-14 2020-08-25 重庆邮电大学 一种基建现场施工人员异常行为监管方法
CN111914653A (zh) * 2020-07-02 2020-11-10 泰康保险集团股份有限公司 一种人员标记方法和装置
CN113903068A (zh) * 2021-10-19 2022-01-07 深圳市中博科创信息技术有限公司 基于人脸特征的陌生人监控方法、装置、设备及存储介质
CN114863528A (zh) * 2022-05-07 2022-08-05 绿漫科技有限公司 一种基于物联网的小区智能安防监控方法
CN115099724A (zh) * 2022-08-24 2022-09-23 中达安股份有限公司 施工场景的监控预警方法、装置、设备及存储介质
CN115223100A (zh) * 2022-08-02 2022-10-21 上海三力信息科技有限公司 一种智慧园区异常人员识别方法、系统、设备及存储介质
CN115299937A (zh) * 2022-09-16 2022-11-08 东联信息技术有限公司 一种智能摔倒检测平台
CN115462782A (zh) * 2022-09-06 2022-12-13 四川康谷康业科技有限公司 一种基于多维度特征参数的人体跌倒动态监测方法及系统
CN115690672A (zh) * 2022-09-29 2023-02-03 招联消费金融有限公司 异常图像识别方法、装置、计算机设备和存储介质

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102855321A (zh) * 2012-09-07 2013-01-02 陕西师范大学 人体行为识别方法
CN103390278A (zh) * 2013-07-23 2013-11-13 中国科学技术大学 一种视频异常行为检测系统
KR101419794B1 (ko) * 2014-01-06 2014-07-15 주식회사 코어셀 학교 방문자의 얼굴인식을 통한 학교 출입자 관리 방법
CN105678278A (zh) * 2016-02-01 2016-06-15 国家电网公司 一种基于单隐层神经网络的场景识别方法
CN106778595A (zh) * 2016-12-12 2017-05-31 河北工业大学 基于高斯混合模型的人群中异常行为的检测方法
CN109816933A (zh) * 2019-03-20 2019-05-28 潍坊医学院 基于复合式传感器的老人防跌倒智能监测系统及监测方法
CN110298254A (zh) * 2019-05-30 2019-10-01 罗普特科技集团股份有限公司 一种用于人员异常行为的分析方法和系统
CN110443109A (zh) * 2019-06-11 2019-11-12 万翼科技有限公司 异常行为监控处理方法、装置、计算机设备和存储介质
CN110838126A (zh) * 2019-10-30 2020-02-25 东莞太力生物工程有限公司 细胞图像分割方法、装置、计算机设备和存储介质
CN111582209A (zh) * 2020-05-14 2020-08-25 重庆邮电大学 一种基建现场施工人员异常行为监管方法
CN111914653A (zh) * 2020-07-02 2020-11-10 泰康保险集团股份有限公司 一种人员标记方法和装置
CN113903068A (zh) * 2021-10-19 2022-01-07 深圳市中博科创信息技术有限公司 基于人脸特征的陌生人监控方法、装置、设备及存储介质
CN114863528A (zh) * 2022-05-07 2022-08-05 绿漫科技有限公司 一种基于物联网的小区智能安防监控方法
CN115223100A (zh) * 2022-08-02 2022-10-21 上海三力信息科技有限公司 一种智慧园区异常人员识别方法、系统、设备及存储介质
CN115099724A (zh) * 2022-08-24 2022-09-23 中达安股份有限公司 施工场景的监控预警方法、装置、设备及存储介质
CN115462782A (zh) * 2022-09-06 2022-12-13 四川康谷康业科技有限公司 一种基于多维度特征参数的人体跌倒动态监测方法及系统
CN115299937A (zh) * 2022-09-16 2022-11-08 东联信息技术有限公司 一种智能摔倒检测平台
CN115690672A (zh) * 2022-09-29 2023-02-03 招联消费金融有限公司 异常图像识别方法、装置、计算机设备和存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
P.PANDIARAJA等: "An Analysis of Abnormal Event Detection and Person Identification from Surveillance Cameras using Motion Vectors with Deep Learning", 《ICEARS》, pages 1225 - 1232 *
何洪洋等: "基于人工智能的电力基建反违章安全管控方法研究", 《应用研究》, vol. 42, no. 11, pages 50 - 55 *
周晓芳等: "管控区域人员异常行为检测系统与方法研究", 《计算机应用与软件》, vol. 39, no. 5, pages 92 - 97 *
田枫等: "1 种基于视频的油田危险区域入侵检测智能综合识别技术研究", 《中国安全生产科学技术》, vol. 18, no. 3, pages 68 - 75 *

Also Published As

Publication number Publication date
CN117333929B (zh) 2024-02-09

Similar Documents

Publication Publication Date Title
CN111241989B (zh) 图像识别方法及装置、电子设备
CN107358149B (zh) 一种人体姿态检测方法和装置
CN112446919B (zh) 物体位姿估计方法、装置、电子设备及计算机存储介质
CN107316029B (zh) 一种活体验证方法及设备
CN111898538B (zh) 证件鉴伪方法、装置、电子设备及存储介质
CN111770317B (zh) 用于智慧社区的视频监控方法、装置、设备及介质
CN114758362B (zh) 基于语义感知注意力和视觉屏蔽的换衣行人重识别方法
CN114565882B (zh) 基于多视频摄像头智能联动的异常行为分析方法及装置
CN116152863B (zh) 一种人员信息识别方法、装置、电子设备及存储介质
CN113903068A (zh) 基于人脸特征的陌生人监控方法、装置、设备及存储介质
CN116168351A (zh) 电力设备巡检方法及装置
CN112528903B (zh) 人脸图像获取方法、装置、电子设备及介质
CN114049568A (zh) 基于图像比对的标的物形变检测方法、装置、设备及介质
CN113705469A (zh) 人脸识别方法、装置、电子设备及计算机可读存储介质
CN117333929B (zh) 基于深度学习实现道路施工下的异常人员识别方法及系统
CN115690615B (zh) 一种面向视频流的深度学习目标识别方法及系统
CN112434601B (zh) 基于行车视频的车辆违法检测方法、装置、设备及介质
CN113887384A (zh) 基于多轨迹融合的行人轨迹分析方法、装置、设备及介质
CN114049676A (zh) 疲劳状态检测方法、装置、设备及存储介质
CN113792801B (zh) 人脸炫光程度的检测方法、装置、设备及存储介质
CN115019396A (zh) 一种学习状态监测方法、装置、设备及介质
CN112581525B (zh) 人体佩戴物品的状态检测方法、装置、设备及存储介质
CN112507903B (zh) 假脸检测方法、装置、电子设备及计算机可读存储介质
CN113657316A (zh) 移动交通违章监测方法、系统、电子设备及存储介质
CN113850750A (zh) 一种目标轨迹校验的方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant