CN115019261B - 一种基于神经网络的行人翻越交通护栏的检测识别方法 - Google Patents

一种基于神经网络的行人翻越交通护栏的检测识别方法 Download PDF

Info

Publication number
CN115019261B
CN115019261B CN202210953147.7A CN202210953147A CN115019261B CN 115019261 B CN115019261 B CN 115019261B CN 202210953147 A CN202210953147 A CN 202210953147A CN 115019261 B CN115019261 B CN 115019261B
Authority
CN
China
Prior art keywords
target
human body
joint point
same human
pair
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210953147.7A
Other languages
English (en)
Other versions
CN115019261A (zh
Inventor
刘景园
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Meite Steel Co ltd
Original Assignee
Shandong Meite Steel Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Meite Steel Co ltd filed Critical Shandong Meite Steel Co ltd
Priority to CN202210953147.7A priority Critical patent/CN115019261B/zh
Publication of CN115019261A publication Critical patent/CN115019261A/zh
Application granted granted Critical
Publication of CN115019261B publication Critical patent/CN115019261B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及数据识别技术领域，具体涉及一种基于神经网络的行人翻越交通护栏的检测识别方法，通过获取待监测护栏段的各对拍摄图像，对拍摄图像进行数据识别，确定各个人体目标在其对应的各对目标拍摄图像中的各个关节点及其向量串和邻域关节点，结合各对目标拍摄图像中的护栏区域信息，确定各个人体目标在其对应的各对目标拍摄图像中的各个关节点的邻域关节点的注意力权重，进而确定各个人体目标在其对应的各对目标拍摄图像中的各个关节点的更新向量串，从而确定各个人体目标的片段向量，最终得到各个人体目标的动作识别结果。本发明基于待监测护栏段的各对拍摄图像，并利用相应的数据识别技术，有效提高了行人翻越护栏检测的准确性。

Description

一种基于神经网络的行人翻越交通护栏的检测识别方法
技术领域
本发明涉及数据识别技术领域，具体涉及一种基于神经网络的行人翻越交通护栏的检测识别方法。
背景技术
行人翻越交通护栏是一种十分危险的行为，给行人的生命安全和交通安全带来了巨大的隐患。然而，对这一行为的监管比较困难，尤其是高速公路上等难以监管的区域。因此，在交通公路上，对行人翻越交通护栏的违规行为进行检测就显得十分必要。
在现有的行人翻越交通护栏检测中，主要分为人工检测和图像检测两大类。其中人工检测是指对特定路段进行人工巡逻检测，但是这种检测方式需要花费较大人工成本，不能适用于所有的交通路段。随着图像数据识别技术的发展，图像检测逐渐成为行人翻越交通护栏检测的侧重手段。在现有的行人翻越交通护栏图像检测中，通常都是根据行人与护栏的位置关系，来判定行人是否在翻越护栏，这就导致容易导致检测结果出现错误的情况。例如，当道路维护工人需要沿着护栏行走时，此时就会导致检测结果发生错误。
发明内容
本发明的目的在于提供一种基于神经网络的行人翻越交通护栏的检测识别方法，用于解决现有的行人翻越交通护栏检测准确性较差的问题。
为解决上述技术问题，本发明提供了一种基于神经网络的行人翻越交通护栏的检测识别方法，包括以下步骤：
步骤S1：获取待监测护栏段的当前各个设定时刻对应的各对拍摄图像，所述拍摄图像包括第一侧拍摄图像和第二侧拍摄图像；
步骤S2：对各对拍摄图像进行人体目标识别，若识别到人体目标，则确定各个同一人体目标对应的各对目标拍摄图像，所述目标拍摄图像包括目标第一侧拍摄图像和目标第二侧拍摄图像；
步骤S3：对各对目标拍摄图像中的对应人体目标的关节点进行识别，从而确定各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点、各个关节点的向量串和各个关节点的邻域关节点；
步骤S4：对各对目标拍摄图像中的护栏进行识别，从而确定各对目标拍摄图像中的护栏区域信息；
步骤S5：根据各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点和护栏区域信息，确定各个同一人体目标在其对应的各对目标拍摄图像中的人体护栏距离值和腿部弯曲度；
步骤S6：根据各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的向量串、邻域关节点的向量串、人体护栏距离值和腿部弯曲度，确定各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的邻域关节点的注意力权重；
步骤S7：根据各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的向量串以及邻域关节点的注意力权重，确定各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的更新向量串，进而确定各个同一人体目标对应的片段向量；
步骤S8：将各个同一人体目标对应的片段向量分别输入到预先获取的行人翻越交通护栏识别网络中，从而得到各个同一人体目标的动作识别结果。
进一步的，从而确定各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点和各个关节点的向量串，包括：
对各对目标拍摄图像中的对应人体目标的关节点进行识别，从而得到各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点、各个关节点的特征向量和前后类别；
根据各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的部位种类和前后类型，对各个关节点进行编码，从而得到各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的部位编码；
根据各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的位置坐标、特征向量和部位编码，构造各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的向量串。
进一步的，从而确定各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的邻域关节点，还包括：
根据各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的位置坐标，构造各个同一人体目标在其对应的各对目标第一侧拍摄图像和目标第二侧拍摄图像中的骨架图；
根据各个同一人体目标在其对应的各对目标第一侧拍摄图像和目标第二侧拍摄图像中的骨架图，确定各个同一人体目标在其对应的各对目标第一侧拍摄图像和目标第二侧拍摄图像中的每个关节点的与其相连接的关节点；
确定各个同一人体目标在其对应的每帧目标第一侧拍摄图像中的每个关节点的邻域关节点，所述邻域关节点包括：该关节点的与其相连的关节点、该关节点所在的目标第一侧拍摄图像对应的目标第二侧拍摄图像中的同部位的关节点，该关节点所在的目标第一侧拍摄图像的相邻目标第一侧拍摄图像中的同部位的关节点、该关节点所在的目标第一侧拍摄图像对应的目标第二侧拍摄图像的相邻目标第二侧拍摄图像中的同部位的关节点；
确定各个同一人体目标在其对应的每帧目标第二侧拍摄图像中的每个关节点的邻域关节点，所述邻域关节点包括：该关节点的与其相连的关节点、该关节点所在的目标第二侧拍摄图像对应的目标第一侧拍摄图像中的同部位的关节点，该关节点所在的目标第二侧拍摄图像的相邻目标第二侧拍摄图像中的同部位的关节点、该关节点所在的目标第二侧拍摄图像对应的目标第一侧拍摄图像的相邻目标第一侧拍摄图像中的同部位的关节点。
进一步的，各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点包括：鼻子关节点、脖子关节点、右肩膀关节点、右手肘关节点、右手手腕关节点、左肩膀关节点、左手肘关节点、左手手腕关节点、右胯关节点、右膝关节点、右脚关节点、左胯关节点、左膝关节点和左脚关节点。
进一步的，确定各个同一人体目标在其对应的各对目标拍摄图像中的人体护栏距离值和腿部弯曲度，包括：
根据各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点中的脖子关节点、右胯关节点、右膝关节点、左胯关节点和左膝关节点的位置坐标，确定各个同一人体目标在其对应的各对目标拍摄图像中的右腿身体主干向量、左腿身体主干向量、右大腿向量和左大腿向量；
根据各个同一人体目标在其对应的各对目标拍摄图像中的右腿身体主干向量、左腿身体主干向量、右大腿向量和左大腿向量，确定各个同一人体目标在其对应的各对目标拍摄图像中的右腿弯曲度和左腿弯曲度；
根据各个同一人体目标在其对应的各对目标拍摄图像中的右腿弯曲度和左腿弯曲度，确定各个同一人体目标在其对应的各对目标拍摄图像中的腿部弯曲度。
进一步的，确定各个同一人体目标在其对应的各对目标拍摄图像中的右腿弯曲度和左腿弯曲度对应的计算公式为：
Figure 100002_DEST_PATH_IMAGE001
Figure 835195DEST_PATH_IMAGE002
其中，
Figure 100002_DEST_PATH_IMAGE003
为各个同一人体目标在其对应的各对目标拍摄图像中的右腿弯曲度，
Figure 386393DEST_PATH_IMAGE004
为各个同一人体目标在其对应的各对目标拍摄图像中的右腿身体主干向量，
Figure 670482DEST_PATH_IMAGE005
为各个同一人体目标在其对应的各对目标拍摄图像中的右大腿向量，
Figure 267817DEST_PATH_IMAGE006
为
Figure 164228DEST_PATH_IMAGE004
和
Figure 399294DEST_PATH_IMAGE005
之间的夹角，
Figure 355749DEST_PATH_IMAGE007
为各个同一人体目标在其对应的各对目标拍摄图像中的左腿弯曲度，
Figure 174800DEST_PATH_IMAGE008
为各个同一人体目标在其对应的各对目标拍摄图像中的左腿身体主干向量，
Figure 373438DEST_PATH_IMAGE009
为各个同一人体目标在其对应的各对目标拍摄图像中的左大腿向量，
Figure 961545DEST_PATH_IMAGE010
为
Figure 88901DEST_PATH_IMAGE008
和
Figure 896714DEST_PATH_IMAGE009
之间的夹角。
进一步的，确定各个同一人体目标在其对应的各对目标拍摄图像中的人体护栏距离值和腿部弯曲度，还包括：
根据各个同一人体目标在其对应的各对目标拍摄图像中的护栏区域信息，确定各个同一人体目标在其对应的各对目标拍摄图像中的护栏下边缘曲线和护栏上边缘曲线；
根据各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点中的右脚关节点和左脚关节点的位置坐标以及护栏下边缘曲线，确定各个同一人体目标在其对应的各对目标拍摄图像中的足部护栏距离值；
根据各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的位置坐标，确定各个同一人体目标在其对应的各对目标拍摄图像中的身体重心位置坐标；
根据各个同一人体目标在其对应的各对目标拍摄图像中的身体重心位置坐标以及护栏上边缘曲线，确定各个同一人体目标在其对应的各对目标拍摄图像中的身体重心护栏距离值；
根据各个同一人体目标在其对应的各对目标拍摄图像中的足部护栏距离值和身体重心护栏距离值，确定各个同一人体目标在其对应的各对目标拍摄图像中的人体护栏距离值。
进一步的，确定各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的邻域关节点的注意力权重对应的计算公式为：
Figure 134928DEST_PATH_IMAGE011
其中，
Figure 108700DEST_PATH_IMAGE012
为每个同一人体目标在其对应的第n帧目标拍摄图像中的第i个关节点的第j个邻域关节点的注意力权重，
Figure 374334DEST_PATH_IMAGE013
为每个同一人体目标在其对应的第n帧目标拍摄图像中的第i个关节点的向量串，
Figure 902399DEST_PATH_IMAGE014
为每个同一人体目标在其对应的第n帧目标拍摄图像中的第i个关节点的第j个邻域关节点的向量串，
Figure 678725DEST_PATH_IMAGE015
为共享线性变化矩阵，
Figure 742889DEST_PATH_IMAGE016
为将
Figure 212048DEST_PATH_IMAGE017
和
Figure 725944DEST_PATH_IMAGE018
拼接后得到向量，
Figure 40381DEST_PATH_IMAGE019
为用于将
Figure 723167DEST_PATH_IMAGE016
映射到一个实数上的单层前馈神经网络的权重向量，
Figure 628806DEST_PATH_IMAGE020
为每个同一人体目标在其对应的第n帧目标拍摄图像中的腿部弯曲度，
Figure 621208DEST_PATH_IMAGE021
为每个同一人体目标在其对应的第n帧目标拍摄图像中的人体护栏距离值，
Figure 739337DEST_PATH_IMAGE022
为激活函数，
Figure 775164DEST_PATH_IMAGE023
为每个同一人体目标在其对应的第n帧目标拍摄图像中的第i个关节点的邻域关节点的总数目。
进一步的，确定各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的更新向量串对应的计算公式为：
Figure 320546DEST_PATH_IMAGE024
其中，
Figure 576078DEST_PATH_IMAGE025
为每个同一人体目标在其对应的第n帧目标拍摄图像中的第i个关节点的更新向量串，
Figure 264942DEST_PATH_IMAGE013
为每个同一人体目标在其对应的第n帧目标拍摄图像中的第i个关节点的向量串，
Figure 656740DEST_PATH_IMAGE012
为每个同一人体目标在其对应的第n帧目标拍摄图像中的第i个关节点的第j个邻域关节点的注意力权重，
Figure 638602DEST_PATH_IMAGE014
为每个同一人体目标在其对应的第n帧目标拍摄图像中的第i个关节点的第j个邻域关节点的向量串。
进一步的，进而确定各个同一人体目标对应的片段向量，包括：
根据各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的更新向量串，按照设定关节点顺序对目标拍摄图像中的各个关节点的更新向量串进行拼接，从而得到各个同一人体目标在其对应的各对目标拍摄图像的拼接字符串；
根据各个同一人体目标在其对应的各对目标拍摄图像的拼接字符串，按照各个同一人体目标在其对应的各对目标拍摄图像的拍摄时间顺序，对各个同一人体目标在其对应的各对目标拍摄图像的拼接字符串进行拼接，从而得到各个同一人体目标对应的初始的片段向量；
对各个同一人体目标对应的初始的片段向量进行固定尺度扩展，从而得到各个同一人体目标对应的最终的片段向量。
本发明具有如下有益效果：通过获取待监测护栏段的当前各个设定时刻对应的各对拍摄图像，对这些拍摄图像进行数据识别，从而确定各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点、各个关节点的向量串和邻域关节点，再结合各对目标拍摄图像中的护栏区域信息，确定各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的邻域关节点的注意力权重。利用各个关节点的邻域关节点的向量串和注意力权重，对各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的向量串进行更新，进而确定各个同一人体目标对应的片段向量。将各个同一人体目标对应的片段向量分别输入到预先获取的行人翻越交通护栏识别网络中，从而得到各个同一人体目标的动作识别结果。由于本发明在确定各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的邻域关节点的注意力权重时，充分考虑了人体在翻越护栏时的腿部特征、人体与护栏的距离特征以及邻域关节点的向量串的变化特征，从而使得各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点可以聚合到更加有用的关节点信息，进而在对各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的向量串进行更新时，重视与翻越护栏有关的关节点，忽视与翻越护栏弱关联性的关节点，最终使得各个同一人体目标对应的片段向量包含比较完整的信息，可以准确表征行人翻越护栏时的特征，从而有效提高了行人翻越护栏识别结果的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明实施例的基于神经网络的行人翻越交通护栏的检测识别方法的流程图；
图2为本发明实施例的两个监控摄像头大致的布置场景示意图；
图3为本发明实施例的某个人体目标在目标第一侧拍摄图像中的骨架图；
图4为本发明实施例的某个人体目标在目标第二侧拍摄图像中的骨架图；
图5为本发明实施例的基于神经网络的行人翻越交通护栏的检测识别方法的步骤3的具体实现过程的流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的技术方案的具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
本实施例提供了一种基于神经网络的行人翻越交通护栏的检测识别方法，该方法对应的流程图如图1所示，包括以下步骤：
步骤S1：获取待监测护栏段的当前各个设定时刻对应的各对拍摄图像，所述拍摄图像包括第一侧拍摄图像和第二侧拍摄图像。
鉴于行人正面的特征和背面的特征是不一样的，而且行人翻越护栏的动作多种多样，大多数在护栏翻越过程中，会在同一个摄像画面中改变身体的朝向，因此在待监测护栏段的道路两侧都安装监控摄像头，两个监控摄像头都朝向道路中心的护栏段，且使画面中重叠的部分尽可能地多，即两个监控摄像头的连线尽量垂直于道路的走势线。如此布置两个监控摄像头是为了同时能拍摄到行人的正面和背面，便于后续识别，两个监控摄像头大致的布置场景如图2所示。在图2中，行人正在准备翻越护栏，两个监控摄像头拍摄到的画面是不同的，各自有着对应的成像平面。
在工作过程中，两个监控摄像头同步拍摄，每次拍摄对应一个设定时刻，那么在每一个设定时刻可以对应得到一对拍摄图像，每对拍摄图像包括第一侧拍摄图像和第二侧拍摄图像。在本实施例中，设定两个监控摄像头均一秒钟拍摄30张图像，考虑到行人翻越护栏大概需要2秒的时间，因此获取当前时刻的过去60个设定时刻对应的60对拍摄图像，以便于后续基于这60对拍摄图像，进行行人翻越交通护栏检测。
另外，需要指出了的是，为了便于后续对每对拍摄图像中的第一侧拍摄图像和第二侧拍摄图像进行数据识别具有相同的标准，利用相机标定技术对两个监控摄像头进行相机标定。即在两个监控摄像头的两个成像平面中构建两个二维坐标系，通过相机标定技术得到两个画面中的图像中心标定点，使得真实场景中的同一点在两个相机中的坐标是一样的。由于相机标定技术的具体实现过程属于现有技术，此处不再赘述。
步骤S2：对各对拍摄图像进行人体目标识别，若识别到人体目标，则确定各个同一人体目标对应的各对目标拍摄图像，所述目标拍摄图像包括目标第一侧拍摄图像和目标第二侧拍摄图像。
在通过上述步骤S1得到各对拍摄图像之后，为了减小数据计算量，首先对各对拍摄图像中的画面进行ROI区域（感兴趣区域）的划分，从而得到各对拍摄图像对应的ROI区域，并以该ROI区域作为后续拍摄图像的数据分析区域。在本实施例中，拍摄图像对应的ROI区域是指该拍摄图像中的护栏的两侧各2米宽度的带状区域，当人体出现在该带状区域中时，说明有人靠近护栏，才可能会出现翻越护栏的行为。
针对各对拍摄图像，即各对拍摄图像中的ROI区域，采用图像分割技术进行人体目标识别，若在所有拍摄图像中均不能够识别到人体目标，则说明此时不存在翻越护栏的行为，若能够识别到人体目标，则说明此时可能存在翻越护栏的行为，此时针对每一个人体目标，获取该人体目标对应的各对目标拍摄图像，这里的各对目标拍摄图像是指ROI区域同时存在该人体目标的各对拍摄图像，每对目标拍摄图像包括目标第一侧拍摄图像和目标第二侧拍摄图像，目标第一侧拍摄图像和目标第二侧拍摄图像中会同时存在该人体目标。
步骤S3：对各对目标拍摄图像中的对应人体目标的关节点进行识别，从而确定各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点、各个关节点的向量串和各个关节点的邻域关节点，具体实现过程如图5所示，包括：
步骤S31：对各对目标拍摄图像中的对应人体目标的关节点进行识别，从而得到各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点、各个关节点的特征向量以及前后类别。
对于每个人体目标，在该人体目标对应的各对目标拍摄图像中，对该人体目标的关节点进行识别，从而得到该人体目标在其对应的各对目标拍摄图像中的各个关节点。在本实施例中，是采用现有技术中的OpenPose模型，对该人体目标在其对应的各对目标拍摄图像中的各个关节点进行识别，从而在每对目标拍摄图像中的目标第一侧拍摄图像和目标第二侧拍摄图像中均可以得到14个关节点，这14个关节点分别为：鼻子关节点
Figure 381430DEST_PATH_IMAGE026
、脖子关节点
Figure 339897DEST_PATH_IMAGE027
、右肩膀关节点
Figure 851781DEST_PATH_IMAGE028
、右手肘关节点
Figure 974851DEST_PATH_IMAGE029
、右手手腕关节点
Figure 939396DEST_PATH_IMAGE030
、左肩膀关节点
Figure 671860DEST_PATH_IMAGE031
、左手肘关节点
Figure 5627DEST_PATH_IMAGE032
、左手手腕关节点
Figure 329292DEST_PATH_IMAGE033
、右胯关节点
Figure 282598DEST_PATH_IMAGE034
、右膝关节点
Figure 349911DEST_PATH_IMAGE035
、右脚关节点
Figure 836387DEST_PATH_IMAGE036
、左胯关节点
Figure 330953DEST_PATH_IMAGE037
、左膝关节点
Figure 503047DEST_PATH_IMAGE038
、左脚关节点
Figure 374051DEST_PATH_IMAGE039
。
对于同一个人体目标在其对应的每对目标拍摄图像中的目标第一侧拍摄图像和目标第二侧拍摄图像中，以图像中心标定点为二维坐标系的原点，从而可以确定在图像中的每个关节点在二维坐标系中的横纵坐标，从而可以得到每个关节点的坐标向量。
需要说明的是，本实施例在对各对目标拍摄图像中的对应人体目标的关节点进行识别时，不仅能够识别出各个关节点，并且能够区分当前目标拍摄图像中的人体朝向，即确定人体是前面还是后面，从而可以确定各个关节点是人体前面的关节点还是人体后面的关节点，即确定各个关节点的前后类型。
另外，本实施例在对各对目标拍摄图像中的对应人体目标的关节点进行识别时，OpenPose模型使用VGG16网络框架，其骨干网络和分类器之间的信息形式为每个像素点的特征向量，通过截取分类器的输入，从而可以得到每个关节点在图像ROI区域的特征向量
Figure 715033DEST_PATH_IMAGE040
，所有关节点的特征向量具有相同的向量长度，设向量长度为lf。由于获取每个关节点在图像ROI区域的特征向量
Figure 861977DEST_PATH_IMAGE040
的过程属于现有技术，此处不再赘述其具体实现步骤。
在对各对目标拍摄图像中的对应人体目标的关节点进行识别时，当有某个关节点被遮挡或者由于行人身体面向摄像头的角度过于特殊导致没有识别出来时，则无法获取该关节点的具体坐标向量和特征向量。此时令没有识别到的关节点的特征向量和坐标向量中的所有元素数值等于标记符
Figure 209781DEST_PATH_IMAGE041
，以此标记该关节点未能识别到，让后续的行人翻越交通护栏识别网络感知到这一信息。
步骤S32：根据各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的部位种类和前后类型，对各个关节点进行编码，从而得到各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的部位编码。
对于每个人体目标，根据该人体目标在其对应的各对目标拍摄图像中的各个关节点的部位种类和前后类型，对各个关节点进行One-Hot编码，标注其身体部位信息，不同部位种类的关节点由不同部位的字符表示，不同的人体朝向，使用不同的标注。例如正面的鼻子
Figure 307313DEST_PATH_IMAGE026
的部位编码为
Figure 689753DEST_PATH_IMAGE042
，左脚
Figure 447493DEST_PATH_IMAGE039
的部位编码为
Figure 784059DEST_PATH_IMAGE043
，编码长度为14；背面的鼻子
Figure 918237DEST_PATH_IMAGE026
的部位编码为
Figure 656648DEST_PATH_IMAGE044
，左脚
Figure 319710DEST_PATH_IMAGE039
的部位编码为
Figure 376528DEST_PATH_IMAGE045
，编码长度也为14。通过这种方式对各个关节点进行编码，方便后续的行人翻越交通护栏识别网络在聚合过程中可以精确确定是哪一个部位、哪一个面的关节点。
步骤S33：根据各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的位置坐标、特征向量和部位编码，构造各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的向量串。
对于每个人体目标，该人体目标在其对应的各对目标拍摄图像中的每个关节点均有三个指标：位置坐标、特征向量和部位编码，对这三个指标进行拼接，从可以得到一个向量串。记第i个关节点
Figure 550283DEST_PATH_IMAGE046
的坐标向量为
Figure 376156DEST_PATH_IMAGE047
，特征向量为
Figure 475699DEST_PATH_IMAGE048
，部位向量为
Figure 521278DEST_PATH_IMAGE049
，则该第i个关节点
Figure 997259DEST_PATH_IMAGE046
的向量串为
Figure 943218DEST_PATH_IMAGE050
，向量串的长度为
Figure 511865DEST_PATH_IMAGE051
。
步骤S34：根据各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的位置坐标，构造各个同一人体目标在其对应的各对目标第一侧拍摄图像和目标第二侧拍摄图像中的骨架图。
对于每个人体目标，根据该人体目标在其对应的各对目标拍摄图像中目标第一侧拍摄图像和目标第二侧拍摄图像中各个关节点的位置坐标，构造在目标第一侧拍摄图像和目标第二侧拍摄图像中的骨架图。图3给出了某个人体目标在目标第一侧拍摄图像中的骨架图，图4给出了某个人体目标在目标第二侧拍摄图像中的骨架图。
步骤S35：根据各个同一人体目标在其对应的各对目标第一侧拍摄图像和目标第二侧拍摄图像中的骨架图，确定各个同一人体目标在其对应的各对目标第一侧拍摄图像和目标第二侧拍摄图像中的每个关节点的与其相连接的关节点。
对于每个人体目标，根据该人体目标在其对应的各对目标拍摄图像中目标第一侧拍摄图像和目标第二侧拍摄图像中的骨架图，可以确定骨架图中每个关节点的相连接的关节点。如图3所示，关节点P9的相连接的关节点为关节点P2和P10。
步骤S36：确定各个同一人体目标在其对应的每帧目标第一侧拍摄图像中的每个关节点的邻域关节点，所述邻域关节点包括：该关节点的与其相连的关节点、该关节点所在的目标第一侧拍摄图像对应的目标第二侧拍摄图像中的同部位的关节点，该关节点所在的目标第一侧拍摄图像的相邻目标第一侧拍摄图像中的同部位的关节点、该关节点所在的目标第一侧拍摄图像对应的目标第二侧拍摄图像的相邻目标第二侧拍摄图像中的同部位的关节点。确定各个同一人体目标在其对应的每帧目标第二侧拍摄图像中的每个关节点的邻域关节点，所述邻域关节点包括：该关节点的与其相连的关节点、该关节点所在的目标第二侧拍摄图像对应的目标第一侧拍摄图像中的同部位的关节点，该关节点所在的目标第二侧拍摄图像的相邻目标第二侧拍摄图像中的同部位的关节点、该关节点所在的目标第二侧拍摄图像对应的目标第一侧拍摄图像的相邻目标第一侧拍摄图像中的同部位的关节点。
在上述步骤S35的基础上，对于每个人体目标在其对应的各对目标拍摄图像中目标第一侧拍摄图像中的任意一个关节点，记该关节点为
Figure 808854DEST_PATH_IMAGE046
，将与该关节点
Figure 793253DEST_PATH_IMAGE046
相连接的关节点、与该关节点
Figure 859298DEST_PATH_IMAGE046
同一部位的目标第二侧拍摄图像中的关节点、上一帧目标第一侧拍摄图像中的同一部位的关节点、上一帧目标第二侧拍摄图像中的同一部位的关节点、下一帧目标第一侧拍摄图像中的同一部位的关节点、下一帧目标第二侧拍摄图像中的同一部位的关节点，作为该关节点
Figure 35064DEST_PATH_IMAGE046
的邻域关节点。按照同样的方式，对于每个人体目标在其对应的各对目标拍摄图像中目标第二侧拍摄图像中的任意一个关节点，记该关节点为
Figure 288191DEST_PATH_IMAGE052
，将与该关节点
Figure 595720DEST_PATH_IMAGE052
相连接的关节点、与该关节点
Figure 985113DEST_PATH_IMAGE052
同一部位的目标第一侧拍摄图像中的关节点、上一帧目标第二侧拍摄图像中的同一部位的关节点、上一帧目标第一侧拍摄图像中的同一部位的关节点、下一帧目标第二侧拍摄图像中的同一部位的关节点、下一帧目标第一侧拍摄图像中的同一部位的关节点，作为该关节点
Figure 597360DEST_PATH_IMAGE052
的邻域关节点。
对于每个人体目标在其对应的各对目标拍摄图像中的任意一个关节点，该关节点的邻域关节点包括两侧拍摄图像中的关节点，以此便于判断是否发生行人背对的情况。
步骤S4：对各对目标拍摄图像中的护栏进行识别，从而确定各对目标拍摄图像中的护栏区域信息。
对于每对目标拍摄图像中的目标第一侧拍摄图像和目标第二侧拍摄图像中的护栏进行识别，从而可以得到图像中的护栏区域，由于获取护栏区域的具体实现过程属于现有技术，此处不再赘述。
步骤S5：根据各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点和护栏区域信息，确定各个同一人体目标在其对应的各对目标拍摄图像中的人体护栏距离值和腿部弯曲度。
考虑到行人在翻越护栏时，存在行人与护栏的交互行为，通过对这一交互行为进行分析，确定各个同一人体目标在其对应的各对目标拍摄图像中的人体护栏距离值和腿部弯曲度，以便于后续提高翻越护栏识别的准确性，具体实现过程如下：
步骤S51：根据各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点中的脖子关节点、右胯关节点、右膝关节点、左胯关节点和左膝关节点的位置坐标，确定各个同一人体目标在其对应的各对目标拍摄图像中的右腿身体主干向量、左腿身体主干向量、右大腿向量和左大腿向量。
考虑到行人的腿部与身体主干的夹角是一个重要的特征，翻越护栏的动作必定需要做出抬腿的动作，因此根据各个同一人体目标在其对应的各对目标拍摄图像中的脖子关节点
Figure 104827DEST_PATH_IMAGE027
、右胯关节点
Figure 726301DEST_PATH_IMAGE034
、右膝关节点
Figure 704622DEST_PATH_IMAGE035
、左胯关节点
Figure 458076DEST_PATH_IMAGE037
和左膝关节点
Figure 420216DEST_PATH_IMAGE038
的位置坐标，构建连接右腿身体主干向量
Figure 48644DEST_PATH_IMAGE004
，连接左腿身体主干向量
Figure 412629DEST_PATH_IMAGE008
，连接右大腿向量
Figure 336985DEST_PATH_IMAGE005
，连接左大腿向量
Figure 786421DEST_PATH_IMAGE009
。
步骤S52：根据各个同一人体目标在其对应的各对目标拍摄图像中的右腿身体主干向量、左腿身体主干向量、右大腿向量和左大腿向量，确定各个同一人体目标在其对应的各对目标拍摄图像中的右腿弯曲度和左腿弯曲度，对应的计算公式为：
Figure 218539DEST_PATH_IMAGE053
Figure 171452DEST_PATH_IMAGE054
其中，
Figure 797867DEST_PATH_IMAGE003
为各个同一人体目标在其对应的各对目标拍摄图像中的右腿弯曲度，
Figure 203441DEST_PATH_IMAGE004
为各个同一人体目标在其对应的各对目标拍摄图像中的右腿身体主干向量，
Figure 173671DEST_PATH_IMAGE005
为各个同一人体目标在其对应的各对目标拍摄图像中的右大腿向量，
Figure 246669DEST_PATH_IMAGE006
为
Figure 512828DEST_PATH_IMAGE004
和
Figure 671276DEST_PATH_IMAGE005
之间的夹角，
Figure 179618DEST_PATH_IMAGE007
为各个同一人体目标在其对应的各对目标拍摄图像中的左腿弯曲度，
Figure 841544DEST_PATH_IMAGE008
为各个同一人体目标在其对应的各对目标拍摄图像中的左腿身体主干向量，
Figure 777139DEST_PATH_IMAGE009
为各个同一人体目标在其对应的各对目标拍摄图像中的左大腿向量，
Figure 924348DEST_PATH_IMAGE010
为
Figure 970802DEST_PATH_IMAGE008
和
Figure 18392DEST_PATH_IMAGE009
之间的夹角。
根据上述的右腿弯曲度
Figure 124889DEST_PATH_IMAGE003
和左腿弯曲度
Figure 992350DEST_PATH_IMAGE007
的计算公式可知，当行人的右大腿抬的越高时，
Figure 609539DEST_PATH_IMAGE003
越大，当行人的左大腿抬的越高，
Figure 246056DEST_PATH_IMAGE007
越大，此时说明行人此时约有可能在翻越护栏。
步骤S53：根据各个同一人体目标在其对应的各对目标拍摄图像中的右腿弯曲度和左腿弯曲度，确定各个同一人体目标在其对应的各对目标拍摄图像中的腿部弯曲度。
由于行人在翻越护栏时，可能是右大腿抬高也可能是左腿抬高，因此根据同一人体目标在其对应的每对目标拍摄图像中的目标第一侧拍摄图像和目标第二侧拍摄图像中的右腿弯曲度和左腿弯曲度，选取二者中的最大值作为对应目标第一侧拍摄图像和目标第二侧拍摄图像中的腿部弯曲度。
步骤S54：根据各个同一人体目标在其对应的各对目标拍摄图像中的护栏区域信息，确定各个同一人体目标在其对应的各对目标拍摄图像中的护栏下边缘曲线和护栏上边缘曲线。
根据每对目标拍摄图像中的目标第一侧拍摄图像和目标第二侧拍摄图像中的护栏区域信息，可以确定目标第一侧拍摄图像和目标第二侧拍摄图像中的护栏上边界曲线和护栏下边界曲线，记护栏上边界曲线对应的方程为
Figure 523454DEST_PATH_IMAGE055
，护栏下边界曲线对应的方程为
Figure 878212DEST_PATH_IMAGE056
。
步骤S55：根据各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点中的右脚关节点和左脚关节点的位置坐标以及护栏下边缘曲线，确定各个同一人体目标在其对应的各对目标拍摄图像中的足部护栏距离值。
对于同一人体目标，根据该同一人体目标在其对应的每对目标拍摄图像中的目标第一侧拍摄图像和目标第二侧拍摄图像中的右脚关节点
Figure 310810DEST_PATH_IMAGE036
和左脚关节点
Figure 801834DEST_PATH_IMAGE039
的位置坐标以及护栏下边缘曲线
Figure 515712DEST_PATH_IMAGE056
，设护栏下边缘曲线上一点
Figure 623346DEST_PATH_IMAGE057
，使
Figure 80872DEST_PATH_IMAGE058
正交于该护栏下边缘曲线
Figure 193447DEST_PATH_IMAGE056
，此时
Figure 609384DEST_PATH_IMAGE058
的长度即为右脚关节点
Figure 938735DEST_PATH_IMAGE036
到该护栏下边缘曲线的距离
Figure 701416DEST_PATH_IMAGE059
。按照同样的方式，确定左脚关节点
Figure 167033DEST_PATH_IMAGE039
到该护栏下边缘曲线的距离
Figure 488293DEST_PATH_IMAGE060
。选取距离
Figure 304939DEST_PATH_IMAGE059
和
Figure 605733DEST_PATH_IMAGE060
二者中的最小值，并将该最小值作为对应目标第一侧拍摄图像和目标第二侧拍摄图像中的足部护栏距离值C。
当人体足部关节点越接近护栏下边缘时，则说明行人越有可能在护栏的上面，正在进行翻越的行为，此时足部护栏距离值C就越小。
步骤S56：根据各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的位置坐标，确定各个同一人体目标在其对应的各对目标拍摄图像中的身体重心位置坐标。
由于足部护栏距离值
Figure 191435DEST_PATH_IMAGE061
只能反应人体在水平方向上距离护栏的距离，无法反应行人在竖直方向上的翻越动作疑似度，因此还需要确定行人身体重心与护栏的距离。
为了确定行人身体重心与护栏的距离，对于同一人体目标在其对应的每对目标拍摄图像中的28个关节点的位置坐标求平均值，从而得到对应每对目标拍摄图像中的身体重心位置坐标，每对目标拍摄图像中的目标第一侧拍摄图像和目标第二侧拍摄图像共用同一身体重心位置坐标。
步骤S57：根据各个同一人体目标在其对应的各对目标拍摄图像中的身体重心位置坐标以及护栏上边缘曲线，确定各个同一人体目标在其对应的各对目标拍摄图像中的身体重心护栏距离值。
根据同一人体目标在其对应的每对目标拍摄图像中目标第一侧拍摄图像和目标第二侧拍摄图像中的身体重心位置坐标，结合该目标第一侧拍摄图像和目标第二侧拍摄图像中的护栏上边缘曲线，确定身体重心到其对应的护栏上边缘曲线的距离，从而得到该目标第一侧拍摄图像和目标第二侧拍摄图像中的身体重心护栏距离值H。
当体重心越接近护栏上边缘时，则说明行人越有可能在护栏的上面，正在进行翻越的行为，此时身体重心护栏距离值H就越小。
步骤S58：根据各个同一人体目标在其对应的各对目标拍摄图像中的足部护栏距离值和身体重心护栏距离值，确定各个同一人体目标在其对应的各对目标拍摄图像中的人体护栏距离值。
根据同一人体目标在其对应的每对目标拍摄图像中目标第一侧拍摄图像和目标第二侧拍摄图像中的足部护栏距离值C和身体重心护栏距离值H，确定该人体目标在其对应的每对目标拍摄图像中目标第一侧拍摄图像和目标第二侧拍摄图像中的人体护栏距离值
Figure 418017DEST_PATH_IMAGE062
，其中
Figure 456380DEST_PATH_IMAGE063
为第一权重值，
Figure 59400DEST_PATH_IMAGE064
为第二权重值，
Figure 1073DEST_PATH_IMAGE063
和
Figure 398556DEST_PATH_IMAGE064
可以根据足部护栏距离值C和身体重心护栏距离值H对人体护栏距离值
Figure 924216DEST_PATH_IMAGE065
的影响程度来确定，实施者可以根据经验或者实验进行设定，本实施例设置
Figure 65347DEST_PATH_IMAGE066
。
步骤S6：根据各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的向量串、邻域关节点的向量串、人体护栏距离值和腿部弯曲度，确定各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的邻域关节点的注意力权重。
对于每个同一人体目标在其对应的每对目标拍摄图像中目标第一侧拍摄图像和目标第二侧拍摄图像中的任意一个关节点
Figure 127106DEST_PATH_IMAGE046
，求其邻域关节点
Figure 429911DEST_PATH_IMAGE067
的注意力权重，对应的计算公式为：
Figure 708446DEST_PATH_IMAGE068
其中，
Figure 653268DEST_PATH_IMAGE012
为每个同一人体目标在其对应的第n帧目标拍摄图像中的第i个关节点的第j个邻域关节点的注意力权重，
Figure 569534DEST_PATH_IMAGE013
为每个同一人体目标在其对应的第n帧目标拍摄图像中的第i个关节点的向量串，
Figure 574399DEST_PATH_IMAGE014
为每个同一人体目标在其对应的第n帧目标拍摄图像中的第i个关节点的第j个邻域关节点的向量串，
Figure 809071DEST_PATH_IMAGE015
为共享线性变化矩阵，
Figure 292005DEST_PATH_IMAGE016
为将
Figure 561313DEST_PATH_IMAGE017
和
Figure 972965DEST_PATH_IMAGE018
拼接后得到向量，
Figure 960512DEST_PATH_IMAGE019
为用于将
Figure 247137DEST_PATH_IMAGE016
映射到一个实数上的单层前馈神经网络的权重向量，T表示转置，
Figure 636530DEST_PATH_IMAGE020
为每个同一人体目标在其对应的第n帧目标拍摄图像中的腿部弯曲度，
Figure 472944DEST_PATH_IMAGE021
为每个同一人体目标在其对应的第n帧目标拍摄图像中的人体护栏距离值，
Figure 682208DEST_PATH_IMAGE022
为激活函数，
Figure 241366DEST_PATH_IMAGE023
为每个同一人体目标在其对应的第n帧目标拍摄图像中的第i个关节点的邻域关节点的总数目。
在上述的每个同一人体目标在其对应的第n帧目标拍摄图像中的第i个关节点的第j个邻域关节点的注意力权重
Figure 485265DEST_PATH_IMAGE012
的计算公式中，共享线性变化矩阵
Figure 504299DEST_PATH_IMAGE015
用于对大小为1行
Figure 200860DEST_PATH_IMAGE051
列的
Figure 829287DEST_PATH_IMAGE013
和
Figure 927693DEST_PATH_IMAGE014
进行线性变换降维处理，大小为
Figure 350584DEST_PATH_IMAGE051
行
Figure 301485DEST_PATH_IMAGE069
列，共享线性变化矩阵
Figure 202445DEST_PATH_IMAGE015
中元素的取值可由神经网络训练得到，其确定过程属于现有技术，此处不再赘述。权重向量
Figure 155357DEST_PATH_IMAGE019
用于将高维特征映射到一个实数上，
Figure 14729DEST_PATH_IMAGE070
为注意力系数，表示了第j个关节点的特征对第i个关节点的特征的影响度，权重向量
Figure 187347DEST_PATH_IMAGE019
的确定过程属于现有技术，此处不再赘述。激活函数
Figure 157577DEST_PATH_IMAGE022
的负输入斜率
Figure 964996DEST_PATH_IMAGE071
可以根据实际情况进行确定，本实施例设置
Figure 995268DEST_PATH_IMAGE072
。通过采用softmax函数对
Figure 153717DEST_PATH_IMAGE073
进行归一化处理，便于注意力权重易于在不同关节点之间进行比较。当注意力系数
Figure 163524DEST_PATH_IMAGE070
越大时，说明第j个关节点对第i个关节点的影响程度越大，当腿部弯曲度
Figure 91029DEST_PATH_IMAGE020
越大时，说明行人大腿抬的越高，越有可能是在准备翻越护栏，当人体护栏距离值
Figure 26624DEST_PATH_IMAGE021
越小时，说明行人距离护栏越近，越有可能在进行翻越动作，说明此时需要基于较高的注意力权重，以便聚合到有用的关节点信息。
步骤S7：根据各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的向量串以及邻域关节点的注意力权重，确定各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的更新向量串，进而确定各个同一人体目标对应的片段向量。
对于每个同一人体目标在其对应的每对目标拍摄图像中目标第一侧拍摄图像和目标第二侧拍摄图像中的任意一个关节点
Figure 406789DEST_PATH_IMAGE046
，根据其所有邻域关节点的注意力权重，对该任意一个关节点
Figure 718822DEST_PATH_IMAGE046
的向量串进行更新，对应的计算公式为：
Figure 267877DEST_PATH_IMAGE074
其中，
Figure 639953DEST_PATH_IMAGE025
为每个同一人体目标在其对应的第n帧目标拍摄图像中的第i个关节点的更新向量串，
Figure 507415DEST_PATH_IMAGE013
为每个同一人体目标在其对应的第n帧目标拍摄图像中的第i个关节点的向量串，
Figure 623138DEST_PATH_IMAGE012
为每个同一人体目标在其对应的第n帧目标拍摄图像中的第i个关节点的第j个邻域关节点的注意力权重，
Figure 26700DEST_PATH_IMAGE014
为每个同一人体目标在其对应的第n帧目标拍摄图像中的第i个关节点的第j个邻域关节点的向量串。
通过对每个同一人体目标在其对应的每对目标拍摄图像中目标第一侧拍摄图像和目标第二侧拍摄图像中的任意一个关节点的向量串进行更新，可以使该任意一个关节点感知其邻域中其他关节点的向量串，可以减少关节点数值的组合数量，重视与翻越护栏有关的关节点，忽视与翻越护栏弱关联性的关节点，起到了滤波器的作用。
根据各个同一人体目标在其对应的每对目标拍摄图像中目标第一侧拍摄图像和目标第二侧拍摄图像中的各个关节点的更新后的向量串，对向量串进行拼接，从而可以得到各个同一人体目标对应的片段向量，具体实现过程包括：
步骤S71：根据各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的更新向量串，按照设定关节点顺序对目标拍摄图像中的各个关节点的更新向量串进行拼接，从而得到各个同一人体目标在其对应的各对目标拍摄图像的拼接字符串。
对于同一人体目标在其对应的每对目标拍摄图像中目标第一侧拍摄图像和目标第二侧拍摄图像中的各个关节点，将目标第一侧拍摄图像中的各个关节点的更新后的向量串，按照关节点的下标数字的顺序首尾拼接起来，从而得到第一拼接字符串，同样的，将目标第二侧拍摄图像中的各个关节点的更新后的向量串，按照关节点的下标数字的顺序首尾拼接起来，从而得到第二拼接字符串，然后将第二拼接字符串拼接到第一拼接字符串的后面，从而可以得到同一人体目标在其对应的每对目标拍摄图像的拼接字符串。
步骤S72：根据各个同一人体目标在其对应的各对目标拍摄图像的拼接字符串，按照各个同一人体目标在其对应的各对目标拍摄图像的拍摄时间顺序，对各个同一人体目标在其对应的各对目标拍摄图像的拼接字符串进行拼接，从而得到各个同一人体目标对应的初始的片段向量。
对于每个同一人体目标在其对应的各对目标拍摄图像，按照各对目标拍摄图像对应的设定时刻的时间先后顺序，将各对目标拍摄图像的拼接字符串首尾拼接起来，从而可以得到每个同一人体目标对应的初始的片段向量。
步骤S73：对各个同一人体目标对应的初始的片段向量进行固定尺度扩展，从而得到各个同一人体目标对应的最终的片段向量。
对于不同的人体目标，由于其对应的各对目标拍摄图像的数目不同，所得到的初始的片段向量的尺寸就不相同，此时为了得到固定尺寸的片段向量，以便于后续行人翻越交通护栏识别网络进行护栏翻越动作识别，对各个同一人体目标对应的初始的片段向量进行固定尺度扩展，从而可以得到个同一人体目标对应的最终的片段向量。在对各个同一人体目标对应的初始的片段向量进行固定尺度扩展时，在片段向量的前面或者后面添加标记符
Figure 304098DEST_PATH_IMAGE041
，以此标记未识别到人体目标，让后续行人翻越交通护栏识别网络感知到这一信息。
步骤S8：将各个同一人体目标对应的片段向量分别输入到预先获取的行人翻越交通护栏识别网络中，从而得到各个同一人体目标的动作识别结果。
在进行行人翻越交通护栏的检测识别之前，利用CG-GAT(Climbing GuardrailGraph Attention )神经网络构建实质上是一种分类网络的行人翻越交通护栏识别网络，由于该构建的具体实现过程属于现有技术，此处不再赘述。在构建好行人翻越交通护栏识别网络之后，参考步骤S1获取多组历史拍摄图像，每组历史拍摄图像是由各个设定时刻对应的各对拍摄图像构成，在本实施例中，每组历史拍摄图像是由60个设定时刻对应的60对拍摄图像构成。然后参考步骤S2-S7，获取这多组历史拍摄图像对应的各个同一人体目标对应的片段向量，并将这些片段向量作为行人翻越交通护栏识别网络的训练样本。然后采用人工的方式为每个训练样本对应的动作制定标签，标签类型包括正在翻越护栏，贴近护栏行走，触碰护栏，其他。利用训练样本对行人翻越交通护栏识别网络进行训练，从而得到最终训练好的行人翻越交通护栏识别网络。在对行人翻越交通护栏识别网络进行训练时，所使用的损失函数为交叉熵损失函数，优化算法为Adam(Adaptive Moment Estimation)算法。
在得到最终训练好的行人翻越交通护栏识别网络之后，在进行行人翻越交通护栏的检测识别时，对于每个人体目标，将该人体目标对应的片段向量分别输入到该行人翻越交通护栏识别网络中，由该行人翻越交通护栏识别网络输出每个人体目标对应的动作识别结果，该识别结果为在翻越护栏，贴近护栏行走，触碰护栏或其他。当识别出有一个人体目标对应的动作识别结果为翻越护栏时，则进行报警。
本发明通过获取待监测护栏段的当前各个设定时刻对应的各对拍摄图像，对这些拍摄图像进行数据识别，从而确定各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点、各个关节点的向量串和邻域关节点，再结合各对目标拍摄图像中的护栏区域信息，确定各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的邻域关节点的注意力权重。利用各个关节点的邻域关节点的向量串和注意力权重，对各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的向量串进行更新，进而确定各个同一人体目标对应的片段向量。将各个同一人体目标对应的片段向量分别输入到预先获取的行人翻越交通护栏识别网络中，从而得到各个同一人体目标的动作识别结果。由于本发明在确定各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的邻域关节点的注意力权重时，充分考虑了人体在翻越护栏时的腿部特征、人体与护栏的距离特征以及邻域关节点的向量串的变化特征，从而使得各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点可以聚合到更加有用的关节点信息，进而在对各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的向量串进行更新时，重视与翻越护栏有关的关节点，忽视与翻越护栏弱关联性的关节点，最终使得各个同一人体目标对应的片段向量包含比较完整的信息，可以准确表征行人翻越护栏时的特征，可以防止将贴近护栏行走、触碰护栏误识别为翻越动作，从而有效提高了行人翻越护栏识别结果的准确性。
需要说明的是：以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (9)

1.一种基于神经网络的行人翻越交通护栏的检测识别方法，其特征在于，包括以下步骤：
步骤S1：获取待监测护栏段的当前各个设定时刻对应的各对拍摄图像，所述拍摄图像包括第一侧拍摄图像和第二侧拍摄图像；
步骤S2：对各对拍摄图像进行人体目标识别，若识别到人体目标，则确定各个同一人体目标对应的各对目标拍摄图像，所述目标拍摄图像包括目标第一侧拍摄图像和目标第二侧拍摄图像；
步骤S3：对各对目标拍摄图像中的对应人体目标的关节点进行识别，从而确定各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点、各个关节点的向量串和各个关节点的邻域关节点；
步骤S4：对各对目标拍摄图像中的护栏进行识别，从而确定各对目标拍摄图像中的护栏区域信息；
步骤S5：根据各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点和护栏区域信息，确定各个同一人体目标在其对应的各对目标拍摄图像中的人体护栏距离值和腿部弯曲度；
步骤S6：根据各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的向量串、邻域关节点的向量串、人体护栏距离值和腿部弯曲度，确定各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的邻域关节点的注意力权重；
步骤S7：根据各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的向量串以及邻域关节点的注意力权重，确定各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的更新向量串，进而确定各个同一人体目标对应的片段向量；
步骤S8：将各个同一人体目标对应的片段向量分别输入到预先获取的行人翻越交通护栏识别网络中，从而得到各个同一人体目标的动作识别结果；
确定各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的邻域关节点的注意力权重对应的计算公式为：
Figure DEST_PATH_IMAGE001
其中，
Figure 355170DEST_PATH_IMAGE002
为每个同一人体目标在其对应的第n帧目标拍摄图像中的第i个关节点的第j个邻域关节点的注意力权重，
Figure DEST_PATH_IMAGE003
为每个同一人体目标在其对应的第n帧目标拍摄图像中的第i个关节点的向量串，
Figure 410851DEST_PATH_IMAGE004
为每个同一人体目标在其对应的第n帧目标拍摄图像中的第i个关节点的第j个邻域关节点的向量串，
Figure DEST_PATH_IMAGE005
为共享线性变化矩阵，
Figure 227497DEST_PATH_IMAGE006
为将
Figure DEST_PATH_IMAGE007
和
Figure 26826DEST_PATH_IMAGE008
拼接后得到向量，
Figure DEST_PATH_IMAGE009
为用于将
Figure 113993DEST_PATH_IMAGE006
映射到一个实数上的单层前馈神经网络的权重向量，
Figure 340575DEST_PATH_IMAGE010
为每个同一人体目标在其对应的第n帧目标拍摄图像中的腿部弯曲度，
Figure DEST_PATH_IMAGE011
为每个同一人体目标在其对应的第n帧目标拍摄图像中的人体护栏距离值，
Figure 378938DEST_PATH_IMAGE012
为激活函数，
Figure DEST_PATH_IMAGE013
为每个同一人体目标在其对应的第n帧目标拍摄图像中的第i个关节点的邻域关节点的总数目。
2.根据权利要求1所述的基于神经网络的行人翻越交通护栏的检测识别方法，其特征在于，从而确定各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点和各个关节点的向量串，包括：
对各对目标拍摄图像中的对应人体目标的关节点进行识别，从而得到各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点、各个关节点的特征向量和前后类别；
根据各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的部位种类和前后类型，对各个关节点进行编码，从而得到各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的部位编码；
根据各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的位置坐标、特征向量和部位编码，构造各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的向量串。
3.根据权利要求2所述的基于神经网络的行人翻越交通护栏的检测识别方法，其特征在于，从而确定各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的邻域关节点，还包括：
根据各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的位置坐标，构造各个同一人体目标在其对应的各对目标第一侧拍摄图像和目标第二侧拍摄图像中的骨架图；
根据各个同一人体目标在其对应的各对目标第一侧拍摄图像和目标第二侧拍摄图像中的骨架图，确定各个同一人体目标在其对应的各对目标第一侧拍摄图像和目标第二侧拍摄图像中的每个关节点的与其相连接的关节点；
确定各个同一人体目标在其对应的每帧目标第一侧拍摄图像中的每个关节点的邻域关节点，所述邻域关节点包括：该关节点的与其相连的关节点、该关节点所在的目标第一侧拍摄图像对应的目标第二侧拍摄图像中的同部位的关节点，该关节点所在的目标第一侧拍摄图像的相邻目标第一侧拍摄图像中的同部位的关节点、该关节点所在的目标第一侧拍摄图像对应的目标第二侧拍摄图像的相邻目标第二侧拍摄图像中的同部位的关节点；
确定各个同一人体目标在其对应的每帧目标第二侧拍摄图像中的每个关节点的邻域关节点，所述邻域关节点包括：该关节点的与其相连的关节点、该关节点所在的目标第二侧拍摄图像对应的目标第一侧拍摄图像中的同部位的关节点，该关节点所在的目标第二侧拍摄图像的相邻目标第二侧拍摄图像中的同部位的关节点、该关节点所在的目标第二侧拍摄图像对应的目标第一侧拍摄图像的相邻目标第一侧拍摄图像中的同部位的关节点。
4.根据权利要求1所述的基于神经网络的行人翻越交通护栏的检测识别方法，其特征在于，各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点包括：鼻子关节点、脖子关节点、右肩膀关节点、右手肘关节点、右手手腕关节点、左肩膀关节点、左手肘关节点、左手手腕关节点、右胯关节点、右膝关节点、右脚关节点、左胯关节点、左膝关节点和左脚关节点。
5.根据权利要求4所述的基于神经网络的行人翻越交通护栏的检测识别方法，其特征在于，确定各个同一人体目标在其对应的各对目标拍摄图像中的人体护栏距离值和腿部弯曲度，包括：
根据各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点中的脖子关节点、右胯关节点、右膝关节点、左胯关节点和左膝关节点的位置坐标，确定各个同一人体目标在其对应的各对目标拍摄图像中的右腿身体主干向量、左腿身体主干向量、右大腿向量和左大腿向量；
根据各个同一人体目标在其对应的各对目标拍摄图像中的右腿身体主干向量、左腿身体主干向量、右大腿向量和左大腿向量，确定各个同一人体目标在其对应的各对目标拍摄图像中的右腿弯曲度和左腿弯曲度；
根据各个同一人体目标在其对应的各对目标拍摄图像中的右腿弯曲度和左腿弯曲度，确定各个同一人体目标在其对应的各对目标拍摄图像中的腿部弯曲度。
6.根据权利要求5所述的基于神经网络的行人翻越交通护栏的检测识别方法，其特征在于，确定各个同一人体目标在其对应的各对目标拍摄图像中的右腿弯曲度和左腿弯曲度对应的计算公式为：
Figure DEST_PATH_IMAGE015
Figure DEST_PATH_IMAGE017
其中，
Figure 778695DEST_PATH_IMAGE018
为各个同一人体目标在其对应的各对目标拍摄图像中的右腿弯曲度，
Figure DEST_PATH_IMAGE019
为各个同一人体目标在其对应的各对目标拍摄图像中的右腿身体主干向量，
Figure 994737DEST_PATH_IMAGE020
为各个同一人体目标在其对应的各对目标拍摄图像中的右大腿向量，
Figure DEST_PATH_IMAGE021
为
Figure 392220DEST_PATH_IMAGE019
和
Figure 652300DEST_PATH_IMAGE020
之间的夹角，
Figure 527852DEST_PATH_IMAGE022
为各个同一人体目标在其对应的各对目标拍摄图像中的左腿弯曲度，
Figure DEST_PATH_IMAGE023
为各个同一人体目标在其对应的各对目标拍摄图像中的左腿身体主干向量，
Figure 822567DEST_PATH_IMAGE024
为各个同一人体目标在其对应的各对目标拍摄图像中的左大腿向量，
Figure DEST_PATH_IMAGE025
为
Figure 157996DEST_PATH_IMAGE023
和
Figure 639793DEST_PATH_IMAGE024
之间的夹角。
7.根据权利要求5所述的基于神经网络的行人翻越交通护栏的检测识别方法，其特征在于，确定各个同一人体目标在其对应的各对目标拍摄图像中的人体护栏距离值和腿部弯曲度，还包括：
根据各个同一人体目标在其对应的各对目标拍摄图像中的护栏区域信息，确定各个同一人体目标在其对应的各对目标拍摄图像中的护栏下边缘曲线和护栏上边缘曲线；
根据各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点中的右脚关节点和左脚关节点的位置坐标以及护栏下边缘曲线，确定各个同一人体目标在其对应的各对目标拍摄图像中的足部护栏距离值；
根据各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的位置坐标，确定各个同一人体目标在其对应的各对目标拍摄图像中的身体重心位置坐标；
根据各个同一人体目标在其对应的各对目标拍摄图像中的身体重心位置坐标以及护栏上边缘曲线，确定各个同一人体目标在其对应的各对目标拍摄图像中的身体重心护栏距离值；
根据各个同一人体目标在其对应的各对目标拍摄图像中的足部护栏距离值和身体重心护栏距离值，确定各个同一人体目标在其对应的各对目标拍摄图像中的人体护栏距离值。
8.根据权利要求1所述的基于神经网络的行人翻越交通护栏的检测识别方法，其特征在于，确定各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的更新向量串对应的计算公式为：
Figure DEST_PATH_IMAGE027
其中，
Figure 584615DEST_PATH_IMAGE028
为每个同一人体目标在其对应的第n帧目标拍摄图像中的第i个关节点的更新向量串，
Figure 468258DEST_PATH_IMAGE003
为每个同一人体目标在其对应的第n帧目标拍摄图像中的第i个关节点的向量串，
Figure 941964DEST_PATH_IMAGE002
为每个同一人体目标在其对应的第n帧目标拍摄图像中的第i个关节点的第j个邻域关节点的注意力权重，
Figure 911057DEST_PATH_IMAGE004
为每个同一人体目标在其对应的第n帧目标拍摄图像中的第i个关节点的第j个邻域关节点的向量串。
9.根据权利要求1所述的基于神经网络的行人翻越交通护栏的检测识别方法，其特征在于，进而确定各个同一人体目标对应的片段向量，包括：
根据各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的更新向量串，按照设定关节点顺序对目标拍摄图像中的各个关节点的更新向量串进行拼接，从而得到各个同一人体目标在其对应的各对目标拍摄图像的拼接字符串；
根据各个同一人体目标在其对应的各对目标拍摄图像的拼接字符串，按照各个同一人体目标在其对应的各对目标拍摄图像的拍摄时间顺序，对各个同一人体目标在其对应的各对目标拍摄图像的拼接字符串进行拼接，从而得到各个同一人体目标对应的初始的片段向量；
对各个同一人体目标对应的初始的片段向量进行固定尺度扩展，从而得到各个同一人体目标对应的最终的片段向量。
CN202210953147.7A 2022-08-10 2022-08-10 一种基于神经网络的行人翻越交通护栏的检测识别方法 Active CN115019261B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210953147.7A CN115019261B (zh) 2022-08-10 2022-08-10 一种基于神经网络的行人翻越交通护栏的检测识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210953147.7A CN115019261B (zh) 2022-08-10 2022-08-10 一种基于神经网络的行人翻越交通护栏的检测识别方法

Publications (2)

Publication Number Publication Date
CN115019261A CN115019261A (zh) 2022-09-06
CN115019261B true CN115019261B (zh) 2022-10-28

Family

ID=83066309

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210953147.7A Active CN115019261B (zh) 2022-08-10 2022-08-10 一种基于神经网络的行人翻越交通护栏的检测识别方法

Country Status (1)

Country Link
CN (1) CN115019261B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020107833A1 (zh) * 2018-11-26 2020-06-04 平安科技（深圳）有限公司 基于骨架的行为检测方法、终端设备及计算机存储介质
CN114842560A (zh) * 2022-07-04 2022-08-02 广东瑞恩科技有限公司 基于计算机视觉的建筑工地人员危险行为识别方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4661339B2 (ja) * 2005-05-11 2011-03-30 マツダ株式会社 車両用移動物体検出装置
US9152856B2 (en) * 2013-12-19 2015-10-06 Institute For Information Industry Pedestrian detection system and method
CN111461075A (zh) * 2020-05-09 2020-07-28 于珂 结合深度神经网络与区块链的护栏翻越检测方法
CN112434627B (zh) * 2020-11-30 2023-04-07 浙江大华技术股份有限公司 行人翻越道路护栏的检测方法、装置以及存储介质
CN113657309A (zh) * 2021-08-20 2021-11-16 山东鲁软数字科技有限公司 一种基于Adocf的穿越安全围栏违章行为检测方法
CN114494960A (zh) * 2022-01-24 2022-05-13 深圳市商汤科技有限公司 视频处理方法及装置、电子设备及计算机可读存储介质
CN114743273B (zh) * 2022-04-28 2024-10-18 西安交通大学 基于多尺度残差图卷积网络的人体骨骼行为识别方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020107833A1 (zh) * 2018-11-26 2020-06-04 平安科技（深圳）有限公司 基于骨架的行为检测方法、终端设备及计算机存储介质
CN114842560A (zh) * 2022-07-04 2022-08-02 广东瑞恩科技有限公司 基于计算机视觉的建筑工地人员危险行为识别方法

Also Published As

Publication number Publication date
CN115019261A (zh) 2022-09-06

Similar Documents

Publication Publication Date Title
CN110569772B (zh) 一种泳池内人员状态检测方法
CN110717414A (zh) 一种目标检测追踪方法、装置及设备
CN111144263A (zh) 一种建筑工人高坠事故预警方法及装置
CN112949508A (zh) 模型训练方法、行人检测方法、电子设备及可读存储介质
CN109886241A (zh) 基于长短期记忆网络的驾驶员疲劳检测
CN110070010A (zh) 一种基于行人重识别的人脸属性关联方法
CN113255509A (zh) 一种基于Yolov3和OpenPose的工地危险行为监控方法
CN108960047A (zh) 基于深度二次树的视频监控中人脸去重方法
CN110232330A (zh) 一种基于视频检测的行人重识别方法
CN107301378A (zh) 图像中多分类器集成的行人检测方法和系统
CN109190475A (zh) 一种人脸识别网络与行人再识别网络协同训练方法
CN108229524A (zh) 一种基于遥感图像的烟囱和冷凝塔检测方法
CN111783702A (zh) 一种基于图像增强算法和人体关键点定位的高效行人摔倒检测方法
CN114445780A (zh) 裸土苫盖的检测方法及装置、识别模型的训练方法及装置
CN112084987A (zh) 一种基于人工智能的地铁逃票行为的检测方法与系统
CN113076825A (zh) 一种变电站工作人员爬高安全监测方法
CN106570440A (zh) 基于图像分析的人数统计方法和人数统计装置
CN115019261B (zh) 一种基于神经网络的行人翻越交通护栏的检测识别方法
CN116152745A (zh) 一种抽烟行为检测方法、装置、设备及存储介质
CN114639168B (zh) 一种用于跑步姿态识别的方法和系统
CN110796008A (zh) 一种基于视频图像的早期火灾检测方法
CN115908493A (zh) 一种小区人员轨迹管理与展示方法及其系统
CN114372996B (zh) 一种面向室内场景的行人轨迹生成方法
CN110276233A (zh) 一种基于深度学习的多相机协同跟踪系统
CN112307831B (zh) 一种基于人体关键点检测与跟踪的剧烈运动检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant