CN114821805A - 一种危险行为预警方法、装置和设备 - Google Patents

一种危险行为预警方法、装置和设备 Download PDF

Info

Publication number
CN114821805A
CN114821805A CN202210550799.6A CN202210550799A CN114821805A CN 114821805 A CN114821805 A CN 114821805A CN 202210550799 A CN202210550799 A CN 202210550799A CN 114821805 A CN114821805 A CN 114821805A
Authority
CN
China
Prior art keywords
target
preset
array
behavior
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210550799.6A
Other languages
English (en)
Other versions
CN114821805B (zh
Inventor
王业率
马传香
张龑
王时绘
黄辰
李亚敏
宋建华
何鹏
杨超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei University
Original Assignee
Hubei University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei University filed Critical Hubei University
Priority to CN202210550799.6A priority Critical patent/CN114821805B/zh
Publication of CN114821805A publication Critical patent/CN114821805A/zh
Application granted granted Critical
Publication of CN114821805B publication Critical patent/CN114821805B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种危险行为预警方法、装置和设备，该方法包括：在预设的识别模型中，根据获取的实时图像数据，确定是否存在目标对象；若是，对于每一目标对象，按照预设的时间间隔获取预设时间段内的图像数据；确定所述目标对象的各预设目标部位所对应的目标行为特征数据；获取预设样本集中对应于所述目标对象的各预设目标部位的样本行为特征数据；针对每一预设目标部位，根据其目标行为特征数据与样本行为特征数据，确定行为结果参数；根据所述行为结果参数与预设行为结果阈值，确定所述目标对象是否发生危险行为。本发明的方法对样本集要求较低，在样本集数量较小情况下，即可识别是否发生危险行为，识别效果较好，更加精准。

Description

一种危险行为预警方法、装置和设备
技术领域
本发明涉及一种危险行为预警方法、装置和设备。
背景技术
人体动作识别技术广泛应用于监控识别等领域，在目标对象密集的环境下，可通过监控系统分析目标对象是否发生危险行为，以达到规避风险提前预警的目的。现有技术通常通过深度学习技术进行目标对象危险行为的检测，如通过三维卷积神经网络提取视频中图像数据的信息，进而得到视频中的目标对象危险行为检测结果。
发明内容
本发明的发明人发现，现有技术常通过深度学习的方法进行危险行为检测，由于基于深度学习的方法进行的危险行为检测在于识别目标对象的姿态位置，需要较长时间段内的图像数据才能确定姿态位置是否发生改变，对样本集要求较高，而且在样本集数量较小情况下，识别效果不佳。
鉴于上述问题，本发明实施例有必要提出一种危险行为预警方法、装置和设备以解决或部分解决上述问题，本发明提出的技术方案如下：
作为本发明实施例的第一个方面，本发明实施例提供一种危险行为预警方法，包括：
在预设的识别模型中，根据获取的实时图像数据，确定是否存在目标对象；
若是，对于每一目标对象，按照预设的时间间隔获取预设时间段内的图像数据；
根据所述预设时间段内的图像数据，确定所述目标对象的各预设目标部位所对应的目标行为特征数据；
获取预设样本集中对应于所述目标对象的各预设目标部位的样本行为特征数据；
针对每一预设目标部位，根据其目标行为特征数据与样本行为特征数据，确定行为结果参数；
根据所述行为结果参数与预设行为结果阈值，确定所述目标对象是否发生危险行为。
在一个或一些实施例中，所述根据所述预设时间段内的图像数据，确定所述目标对象的各预设目标部位所对应的目标行为特征数据，包括：
根据所述预设时间段内的图像数据，确定目标对象的各预设目标部位所对应的目标位移数组；
根据目标对象的各预设目标部位所对应的目标位移数组，确定所述目标对象的各预设目标部位所对应的目标行为特征数据；
所述预设时间段内的图像数据是通过至少三个不同方位的图像采集设备采集得到的；
所述根据所述预设时间段内的图像数据，确定目标对象的各预设目标部位所对应的目标位移数组，包括：
针对目标对象的每一预设目标部位：
根据获取的所述预设时间段内的图像数据中各图像采集设备所对应的每一帧图像的各目标二维位置信息数组，确定对应的目标三维位置信息数组；
根据每一帧图像所对应的所述目标三维位置信息数组确定对应的目标位移信息数组，得到所述目标位移数组；
所述目标行为特征数据包括目标速度数组和目标加速度数组；
所述根据目标对象的各预设目标部位所对应的目标位移数组，确定所述目标对象的各预设目标部位所对应的目标行为特征数据，包括：
针对目标对象的每一预设目标部位：
根据所述目标位移数组进行微分，确定对应的目标速度数组；
根据所述目标速度数组进行微分，确定对应的目标加速度数组；
对所述目标速度数组和所述目标加速度数组进行归一化处理得到归一化后的目标速度数组和归一化后的目标加速度数组。
在一个或一些实施例中，所述获取预设样本集中对应于所述目标对象的各预设目标部位的样本行为特征数据，包括：
根据预设样本集，确定对应于所述目标对象的各预设目标部位的样本位移数组；
根据对应于所述目标对象的各预设目标部位的样本位移数组，确定对应于所述目标对象的各预设目标部位的样本行为特征数据；
所述预设样本集是通过至少三个不同方位的图像采集设备采集得到的；
所述根据预设样本集，确定对应于所述目标对象的各预设目标部位的样本位移数组，包括：
针对目标对象的各预设目标部位：
获取所述预设样本集的图像数据中各图像采集设备所对应的每一帧图像的各样本二维位置信息数组；
根据每一帧图像的各样本二维位置信息数组确定对应的样本三维位置信息数组；
根据相邻两帧图像的样本三维位置信息数组确定对应的样本位移信息数组；
根据确定的各个样本位移信息数组，得到所述样本位移数组；
所述样本行为特征数据包括样本速度数组和样本加速度数组；
所述根据对应于所述目标对象的各预设目标部位的样本位移数组，确定对应于所述目标对象的各预设目标部位的样本行为特征数据，包括：
针对目标对象的每一预设目标部位：
根据所述样本位移数组进行微分，确定对应的样本速度数组；
根据所述样本速度数组进行微分，确定对应的样本加速度数组；
对所述样本速度数组和所述样本加速度数组进行归一化处理得到归一化后的样本速度数组和归一化后的加速度数组。
在一个或一些实施例中，所述预设时间段内的图像数据是通过三个不同方位的图像采集设备采集得到的；
所述根据获取的所述预设时间段内的图像数据中各图像采集设备所对应的每一帧图像的各目标二维位置信息数组，确定对应的目标三维位置信息数组；根据每一帧图像所对应的所述目标三维位置信息数组，确定对应的目标位移信息数组，得到所述目标位移数组，包括：
获取的所述预设时间段内的图像数据中各图像采集设备所对应的每一帧图像的各目标二维位置信息数组；
将所述每一帧图像所对应的各目标二维位置信息数组代入下述公式(1)，得到每一帧图像所对应的所述目标三维位置信息数组：
pxi＝(x2+x3)/2,pyi＝(x1+y3)/2,pzi＝(y1+y2)/2，公式(1)；
其中，(x1，y1)为第一目标二维位置信息数组，(x2，y2)为第二目标二维位置信息数组，(x3，y3)为第三目标二维位置信息数组，(pxi，pyi，pzi)为目标三维位置信息数组；
将每一帧图像所对应的所述目标三维位置信息数组分别代入下述公式(2)，得到每一帧图像所对应的所述目标位移信息数组：
Pi＝(pxi^2+pyi^2+pzi^2)^0.5,公式(2)；
其中，i＝1,2,…n，n为目标三维位置信息的数量；
根据确定的各个目标位移信息数组，得到所述目标位移数组。
在一个或一些实施例中，在将每一帧图像所对应的所述目标三维位置信息数组分别代入下述公式(2)，得到每一帧图像所对应的所述目标位移信息数组之前，还包括：
将所述目标三维位置信息数组输入预设噪声处理数组，通过下述得到更新后的目标三维位置信息数组：
判断预设噪声处理数组的各个数据位是否有空位；其中，所述预设数组中的每个数据位配置相应的计数器；
若是，将所述目标三维位置信息数组更新到所述预设噪声处理数组中的首个数据位，并将所述预设数组中的在前的数据位的数据依次更新到在后的数据位中；
若否，判断各个数据位所对应的最大计数值是否小于第一预设阈值；
若所述最大计数值小于所述第一预设阈值，则将所述目标三维位置信息数组更新到所述预设噪声处理数组中的首个数据位，并将所述预设数组中的在前的数据位的数据依次更新到在后的数据位中；
若所述最大计数值不小于所述第一预设阈值，将所述最大计数值所对应的数据位的数据剔除，将所述目标三维位置信息数组更新到所述预设噪声处理数组中的首个数据位，并将预设数组中的最大计数值所对应的数据位之前的数据位的数据依次更新到在后的数据位中；
其中，每个数据位所对应的计数值通过下述方式得到：确定预设数组中的各个数据位的数据的最大值和最小值，通过下述公式(3)，计算得到各个数据位所对应的计数值：
Figure BDA0003650605320000041
其中，k1为第一预设计数值，k2为第二计数值，pmax(d)为目标三维信息数组中的最大值，pmin(d)为目标三维信息数组中的最小值。
在一个或一些实施例中，针对每一预设目标部位，根据目标行为特征数据与样本行为特征数据，确定行为结果参数，包括：
针对每一预设目标部位，将对应的归一化后的目标速度数组、归一化后的目标加速度数组与归一化后的样本速度数组、归一化后的样本加速度数组，代入下述公式(4)，计算得到行为结果参数：
Figure BDA0003650605320000051
其中，tg为归一化时长,α为第一权重值，β为第二权重值,Vdb(t)为归一化后的样本速度数组、Adb(t)为归一化后的样本加速度数组，Vpre(t)为归一化后的目标速度数组，Apre(t)为归一化后的目标加速度数组。
在一个或一些实施例中，所述的危险行为预警方法，所述方法，还包括：
判断目标对象的数量是否大于预设数量阈值，若是，在确定至少一个目标对象发生危险行为时，获取发生危险行为的目标对象的数量；
根据发生危险行为的目标对象的数量、预设攻击人数阈值系数和目标对象总数，确定是否发生聚集危险行为；所述目标对象总数是根据获取的实时图像数据确定的；
若是，则进行聚集危险行为预警；
若否，则进行危险行为预警；
所述进行聚集危险行为预警，包括：
当确定发生聚集危险行为时，对当前第二预警参数累加第二预设参数，得到新的第二预警参数；
判断所述新的第二预警参数是否达到第二预警参数阈值；
若是，根据所述新的第二预警参数的大小发出对应的聚集危险行为预警信号；
所述第二预设参数计算公式(5)如下：
Figure BDA0003650605320000052
其中，gn为发生危险行为的目标对象的数量，g0为第一初始参数，n为第二初始参数；
所述进行危险行为预警，包括：
当确定所述目标对象发生危险行为时，对当前第一预警参数累加第一预设参数，得到新的第一预警参数；
判断所述新的第一预警参数是否达到第一预警参数阈值；
若是，发送危险行为预警信号。
作为本发明实施例的第二个方面，本发明实施例提供一种危险行为预警装置，包括：
检测模块，用于在预设的识别模型中，根据获取的实时图像数据，确定是否存在目标对象；
第一获取模块，用于对于每一目标对象，按照预设的时间间隔获取预设时间段内的图像数据；
确定模块，用于根据所述预设时间段内的图像数据，确定所述目标对象的各预设目标部位所对应的目标行为特征数据；
第二获取模块，用于获取预设样本集中对应于所述目标对象的各预设目标部位的样本行为特征数据；
处理模块，用于针对每一预设目标部位，根据目标行为特征数据与样本行为特征数据，确定行为结果参数；
判断模块，用于根据行为结果参数与预设行为结果阈值，确定所述目标对象是否发生危险行为。
作为本发明实施例的第三个方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述的危险行为预警方法。
作为本发明实施例的第四个方面，本发明实施例提供一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述的危险行为预警方法。
基于上述技术方案，本发明较现有技术而言的有益效果为：
本发明实施例提供的危险行为预警方法，相比现有技术通过深度学习的方式来判定是否发生危险行为，本发明通过将各预设目标部位的目标行为特征数据，与样本集中各预设目标部位的所对应的样本行为特征数据进行对比，来确定是否发生危险行为，本发明的方法对样本集要求较低；而且，相比于现有技术中识别目标对象的姿态位置的方式，本发明通过获取的实时图像数据，确定目标对象的各预设部位的行为特征数据即动作特性，进而确定目标对象是否发生危险行为，仅需较短时间的图像数据即可确定目标对象的各预设部位的行为特征数据，在样本集数量较小情况下，即可识别是否发生危险行为，识别效果较好，更加精准。
本发明实施例提供的危险行为预警方法，区别于单一相机的危险行为检测，所述图像数据是通过至少三个不同方位的图像采集设备采集得到的，克服了拍摄维度单一导致的画面要素缺失，影响危险行为判别的问题。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的危险行为预警方法的流程示意图；
图2是本发明实施例提供的三维监控系统的结构示意图；
图3是本发明实施例提供的危险行为预警方法的步骤S103的流程示意图；
图4是本发明实施例提供的危险行为预警方法的步骤S104的流程示意图；
图5是本发明实施例提供的样本速度数组的归一化过程示意图；
图6是本发明实施例提供的危险行为预警装置的结构示意图；
图7是本发明实施例提供的电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
实施例一
如图1所示，本发明实施例提供一种危险行为预警方法，所述方法具体包括：
S100、获取实时图像数据；
S101、在预设的识别模型中，根据获取的实时图像数据，确定是否存在目标对象；若是，执行步骤S102；若否，重复执行步骤S100和S101；
本发明实施例中的目标对象可以是人、动物或者其他可能会发生危险行为的生物或者非生物(如机器人)，因此本发明实施例提供的危险行为预警方法，可以应用于任何需要对目标对象进行危险行为预警的场景中，例如可以是对公共场所中人可能会发生的攻击行为进行预警，也可以是对动物园或者畜牧农场中动物可能发生的攻击行为进行预警。
在进行危险行为预警之前，需要在监控场所建立三维监控系统。考虑到现有技术中由于拍摄维度单一容易导致获取的画面要素缺失的问题，本发明实施例，在监控场所中按照不同方位设置至少三个图像采集设备来获取实时图像数据，采用此种方式获取的实时图像数据质量较高。可以在监控场所依照多个不同角度设置至少三个三维摄像头，以获得多个方位的图像数据，克服了单个摄像头由于拍摄维度单一而导致的画面要素缺失的问题。本发明实施例以在单一监控场所的三个方位设置三个图像采集设备为例进行说明，其中，图像采集设备是三维摄像头。参照图2所示，先在监控区域的三个方位布置三个三维摄像头，三维摄像头布置完毕之后，需要对三维摄像头进行标定。
本发明实施例中，标定方式可以是：
首先，确定监控场所的中心位置，以图2为例，C点为监控场所的中心位置；
其次，在C点放一个标定球，三个方向摄像机对标定球进行拍照，得到三个方位的横纵坐标；
最后，将三个方位的图像中C点的坐标设为(0，0)，那么每个摄像头的坐标系都以C点为原点，初始化完毕。
本发明实施例中，如图2所示，该三个摄像头分别为第一摄像头(camera1)、第二摄像头(camera3)和第三摄像头(camera3)。
上述步骤S101中的，根据获取的实时图像数据，确定是否存在目标对象，可以通过现有技术记载的方式实现，例如，可以利用内置的轻量神经网络识别实时图像数据中是否包含目标对象。
作为一个具体的实施例，本发明实施例通过YOLO2模型对目标对象进行检测，在获取的实时图像数据中检测到目标对象并识别出目标对象在图像中所在的位置。如，若检测的目标对象是人，在检测之前，可用亚洲人脸数据库casia-facev5或者lfw样本集对YOLO2模型网络进行训练，具体训练方法本领域技术人员可以参照现有技术中的描述，此处不作具体说明。YOLO2模型可以是根据三维监控摄像头捕捉到的行人位置信息作为样本训练得到的。当然，YOLO2模型也可以其他目标检测模型代替，如FaceNet模型和Deepfacial模型，本领域技术人员也可以采用现有技术中具有目标检测功能的其他目标检测模型。
本发明实施例以人脸识别为例对YOLO2模型的预训练过程做出如下说明，预训练过程包括以下步骤：
Step1:数据预处理；对现有的人脸检测基准数据集(如WIDER FACE数据集)中的图片的边框格式转换为训练要求的边框格式。数据集的每张图片包含有label标签信息，label标签信息用于标记图片中的人脸区域。label标签信息是人工打标签，将信息记录下来而形成。
Step2：模型构建；即形成YOLO2模型神经网络，在例如TensorFlow平台下生成的神经网络的相关代码。模型生成后，此时，模型的卷积参数为初始参数，图片中人脸区域识别率较低；
同时构建loss损失函数，损失函数为识别数据与label信息的差值。
Step3：训练；根据损失函数得到的差值进行反向传播，即根据差值修正模型的卷积参数，使模型识别成功率越来越高。
Step4：应用；当模型识别成功率不再增加时，训练完毕，投入实用场景。
本发明实施例中，可以采用预先训练好的YOLO2模型检测实时图像数据中是否存在目标对象。
本发明实施例中，若检测到目标对象，则执行步骤S102；否则，继续获取实时图像数据。
S102、对于每一目标对象，按照预设的时间间隔获取预设时间段内的图像数据；
S103、根据所述预设时间段内的图像数据，确定所述目标对象的各预设目标部位所对应的目标行为特征数据；
S104、获取预设样本集中对应于所述目标对象的各预设目标部位的样本行为特征数据；
本发明实施例中，预先将样本行为进行预分类，根据攻击与否将样本行为分为攻击性行为与非攻击性行为两类，样本集由样本行为中的攻击性行为的样本图像构成。
上述步骤S104，所述获取预设样本集中对应于所述目标对象的各预设目标部位的样本行为特征数据，如图4所示，具体包括：
S1041、根据预设样本集，确定对应于所述目标对象的各预设目标部位的样本位移数组；
S1042、根据对应于所述目标对象的各预设目标部位的样本位移数组，确定对应于所述目标对象的各预设目标部位的样本行为特征数据。
在一个实施例中，所述预设样本集是通过至少三个不同方位的图像采集设备采集得到的；
上述步骤S1041，所述根据预设样本集，确定对应于所述目标对象的各预设目标部位的样本位移数组，包括：
针对目标对象的各预设目标部位：
获取所述预设样本集的图像数据中各图像采集设备所对应的每一帧图像的各样本二维位置信息数组；
所述根据获取的所述预设时间段内的图像数据中各图像采集设备所对应的每一帧图像的各目标二维位置信息数组，确定对应的目标三维位置信息数组；根据每一帧图像所对应的所述目标三维位置信息数组，确定对应的目标位移信息数组，得到所述目标位移数组，包括：
获取的所述预设时间段内的图像数据中各图像采集设备所对应的每一帧图像的各目标二维位置信息数组；
本发明实施例中，第一摄像头Camera1获取样本二维位置信息数组(x1,y1)，第二摄像头Camera2获取样本二维位置信息数组(x2,y2)，第三摄像头Camera3获取样本二维位置信息数组(x3,y3)；
根据每一帧图像的各样本二维位置信息数组确定对应的样本三维位置信息数组；
本发明实施例中，综合Camera1、Camera2和Camera3获取三组样本二维位置信息数组对样本二维位置信息数组，其中：
将所述每一帧图像所对应的各样本二维位置信息数组代入下述公式(1)，得到每一帧图像所对应的所述样本三维位置信息数组：
pxi＝(x2+x3)/2,pyi＝(x1+y3)/2,pzi＝(y1+y2)/2，公式(1)；
其中，(x1，y1)为第一样本二维位置信息数组，(x2，y2)为第二样本二维位置信息数组，(x3，y3)为第三样本二维位置信息数组，(pxi，pyi，pzi)为样本三维位置信息数组；即为三个样本三维位置信息数组(px1,px2,…，pxn)(py1,py2,…，pyn)(pz1,pz2,…，pzn)；
考虑到样本三维位置信息数组中的部分数据属于噪声数据，本发明实施例对所述噪声数据进行剔除，即，将所述样本三维位置信息数组(pxi，pyi，pzi)输入预设的噪声处理数组，通过下述得到更新后的样本三维位置信息数组(pxi’，pyi’，pzi’)：
判断预设噪声处理数组的各个数据位是否有空位；其中，所述预设数组中的每个数据位配置相应的计数器；
若是，将所述样本三维位置信息数组更新到所述预设噪声处理数组中的首个数据位，并将所述预设数组中的在前的数据位的数据依次更新到在后的数据位中；
若否，判断各个数据位所对应的最大计数值max0≤j≤n cj是否小于第一预设阈值Lc；
若所述最大计数值max0≤j≤n cj小于所述第一预设阈值Lc，则将所述样本三维位置信息数组更新到所述预设噪声处理数组中的首个数据位，并将所述预设数组中的在前的数据位的数据依次更新到在后的数据位中；
若所述最大计数值max0≤j≤n cj不小于所述第一预设阈值Lc，将所述最大计数值所对应的数据位的数据剔除，将所述样本三维位置信息数组更新到所述预设噪声处理数组中的首个数据位，并将预设数组中的最大计数值所对应的数据位之前的数据位的数据依次更新到在后的数据位中；
其中，每个数据位所对应的计数值通过下述方式得到：确定预设数组中的各个数据位的数据的最大值和最小值，通过下述公式(3)，计算得到各个数据位所对应的计数值：
Figure BDA0003650605320000121
其中，k1为第一预设计数值，k2为第二计数值，pmax(d)为样本三维信息数组中的最大值，pmin(d)为样本三维信息数组中的最小值。
jmax＝argmax0≤j≤n cj。
将每一帧图像所对应的更新后的所述样本三维位置信息数组分别代入下述公式(2)，得到每一帧图像所对应的所述样本位移信息数组：
Pi＝(pxi’^2+pyi’^2+pzi’^2)^0.5,公式(2)；
其中，i＝1,2,…n，n为样本三维位置信息的数量；
根据确定的各个样本位移信息数组，得到所述样本位移数组。
根据相邻两帧图像的样本三维位置信息数组确定对应的样本位移信息数组：
Pi＝(pxi^2+pyi^2+pzi^2)^0.5,i＝1,2,…；
根据确定的各个样本位移信息数组，得到所述样本位移数组(p1,p2,…，pn)。
上述步骤S1042中，所述样本行为特征数据包括样本速度数组和样本加速度数组；
所述根据对应于所述目标对象的各预设目标部位的样本位移数组，确定对应于所述目标对象的各预设目标部位的样本行为特征数据，包括：
针对目标对象的每一预设目标部位：
根据所述样本位移数组(p1,p2,…，pn)进行微分，确定对应的样本速度数组(v1,v2,…,vn)；
根据所述样本速度数组(v1,v2,…,vn)进行微分，确定对应的样本加速度数组(a1,a2,…,an)。
在一些实施例中，所述的危险行为预警方法，还包括：
S1043、对所述样本速度数组和所述样本加速度数组进行归一化处理得到归一化后的样本速度数组和归一化后的加速度数组。
上述步骤S1043中，对于样本集中攻击性行为的p、v、a数据，对p、v、a数据中的攻击性行为的时长进行统计，取时长平均值为归一化时长tg。
将样本集中所有攻击性行为即样本特征行为数据的时长进行统计，取时长平均值为归一化时长tg，以将样本集中所有样本位移数组、样本速度数组和样本加速度数组都设置为相同的归一化时长tg。
下面以对样本速度数组的归一化为例，对归一化处理的过程进行说明：
如图7所示，待归一化的样本速度数组如曲线L1所示，其时长为tl，帧数为i，每帧时间为tm＝tl/i，时间比为k＝tl/tg。
首先，帧数不变，每帧的y轴值不变，将每帧的时间tm变为tm*，并进行线性拟合得到连续的曲线L2；其中，tm*＝tm/k，m＝0,1,…,i；
其次，每隔时间tn对曲线L2进行采样，从而得到归一化后的样本速度数组如曲线L3所示，其中，tn取固定值。
本发明实施例中，在执行上述步骤S103之前，可采用现有的姿态数据集对openpose模型进行训练。openpose模型的预训练过程可以参照上述的对YOLO2模型预训练过程的描述，将人脸检测基准数据集替换成姿态数据集(如coco数据集)即可。具体预训练方法本领域技术人员也可以参照现有技术中的描述，此处不作具体说明。
本发明实施例中，也可以采用预先训练好的OpenPose模型对各预设目标部位进行跟踪识别，进行目标行为特征数据提取。根据OpenPose模型，身体部位可精确划分为肩膀、肘部、手腕、膝盖、脚踝等。本发明实施例中，各预设目标部位可以是可能发生攻击行为的部位，如肘部、手腕、脚踝等。
另外本实施例也可以采用Deep-Cut网络、DeeperCut网络、Pose Partition网络或PifPaf网络对各预设目标部位进行跟踪识别。Deep-Cut网络、DeeperCut网络、PosePartition网络或PifPaf网络对各预设目标部位进行跟踪识别的具体实现方式本领域技术人员可以参照现有技术中的描述，此处不作具体说明。
本发明实施例中，可以采用openpose模型对目标对象的各预设目标部位进行跟踪识别，并对各预设目标部位的位置信息进行提取，通过预设目标部位的位置信息，得到预设目标部位的目标行为特征数据。具体的，可以是，上述步骤S103，所述根据所述预设时间段内的图像数据，确定所述目标对象的各预设目标部位所对应的目标行为特征数据，如图3所示，具体包括：
S1031、根据所述预设时间段内的图像数据，确定目标对象的各预设目标部位所对应的目标位移数组；
S1032、根据目标对象的各预设目标部位所对应的目标位移数组，确定所述目标对象的各预设目标部位所对应的目标行为特征数据。
上述步骤S1031中的所述预设时间段内的图像数据是通过至少三个不同方位的图像采集设备采集得到的；
本发明实施例中，第一摄像头Camera1获取目标二维位置信息数组(x1,y1)，第二摄像头Camera2获取目标二维位置信息数组(x2,y2)，第三摄像头Camera3获取目标二维位置信息数组(x3,y3)；
根据每一帧图像的各目标二维位置信息数组确定对应的目标三维位置信息数组；
本发明实施例中，综合Camera1、Camera2和Camera3获取三组目标二维位置信息数组对目标二维位置信息数组，其中：
将所述每一帧图像所对应的各目标二维位置信息数组代入下述公式(1)，得到每一帧图像所对应的所述目标三维位置信息数组：
pxi＝(x2+x3)/2,pyi＝(x1+y3)/2,pzi＝(y1+y2)/2，公式(1)；
其中，(x1，y1)为第一目标二维位置信息数组，(x2，y2)为第二目标二维位置信息数组，(x3，y3)为第三目标二维位置信息数组，(pxi，pyi，pzi)为目标三维位置信息数组；即为三个目标三维位置信息数组(px1,px2,…，pxn)(py1,py2,…，pyn)(pz1,pz2,…，pzn)；
将所述目标三维位置信息数组(pxi，pyi，pzi)输入预设的噪声处理数组，通过下述得到更新后的目标三维位置信息数组(pxi’，pyi’，pzi’)：
判断预设噪声处理数组的各个数据位是否有空位；其中，所述预设数组中的每个数据位配置相应的计数器；
若是，将所述目标三维位置信息数组更新到所述预设噪声处理数组中的首个数据位，并将所述预设数组中的在前的数据位的数据依次更新到在后的数据位中；
若否，判断各个数据位所对应的最大计数值max0≤j≤n cj是否小于第一预设阈值Lc；
若所述最大计数值max0≤j≤n cj小于所述第一预设阈值Lc，则将所述目标三维位置信息数组更新到所述预设噪声处理数组中的首个数据位，并将所述预设数组中的在前的数据位的数据依次更新到在后的数据位中；
若所述最大计数值max0≤j≤n cj不小于所述第一预设阈值Lc，将所述最大计数值所对应的数据位的数据剔除，将所述目标三维位置信息数组更新到所述预设噪声处理数组中的首个数据位，并将预设数组中的最大计数值所对应的数据位之前的数据位的数据依次更新到在后的数据位中；
其中，每个数据位所对应的计数值通过下述方式得到：确定预设数组中的各个数据位的数据的最大值和最小值，通过下述公式(3)，计算得到各个数据位所对应的计数值：
Figure BDA0003650605320000151
其中，k1为第一预设计数值，k2为第二计数值，pmax(d)为目标三维信息数组中的最大值，pmin(d)为目标三维信息数组中的最小值。
jmax＝argmax0≤j≤n cj。
将每一帧图像所对应的更新后的所述目标三维位置信息数组分别代入下述公式(2)，得到每一帧图像所对应的所述目标位移信息数组：
Pi＝(pxi’^2+pyi’^2+pzi’^2)^0.5,公式(2)；
其中，i＝1,2,…n，n为目标三维位置信息的数量；
根据确定的各个目标位移信息数组，得到所述目标位移数组。
所述根据所述预设时间段内的图像数据，确定目标对象的各预设目标部位所对应的目标位移数组，包括：
针对目标对象的每一预设目标部位：
获取所述预设时间段内的图像数据中各图像采集设备所对应的每一帧图像的各目标二维位置信息数组；
根据每一帧图像的各目标二维位置信息数组确定对应的目标三维位置信息数组；
根据相邻两帧图像的目标三维位置信息数组确定对应的目标位移信息数组；
根据确定的各个目标位移信息数组，得到所述目标位移数组。
上述步骤S1032中的所述目标行为特征数据包括：目标速度数组和目标加速度数组；
根据目标对象的各预设目标部位所对应的目标位移数组，确定所述目标对象的各预设目标部位所对应的目标行为特征数据，包括：
针对目标对象的每一预设目标部位：
根据所述目标位移数组进行微分，确定对应的目标速度数组；
根据所述目标速度数组进行微分，确定对应的目标加速度数组。本发明实施例中，采用目标速度数组、目标加速度数组多个动作行为特征信息进行识别，对动作行为特征捕捉更佳。相比，现有技术中通过深度学习的方式对危险行为识别，本发明实施例提供的危险识别方法对样本集要求较低，在样本集数量较小情况下，识别效果较好，而且更加精准。现有技术重在识别预设目标部位的姿态位置，而本发明重在识别各预设目标部位的动作特征。以预设目标部位为拳头为例，现有技术旨在识别拳头打到什么位置，而本专利旨在识别预测拳头打了没有。
S1033、对所述目标速度数组和所述目标加速度数组进行归一化处理得到归一化后的目标速度数组和归一化后的目标加速度数组。
本发明实施例中，所述目标速度数组和所述目标加速度数组的归一化处理方法同上述的样本速度数组的归一化方法，此处不再赘述。
S105、针对每一预设目标部位，根据其目标行为特征数据与样本行为特征数据，确定行为结果参数；
上述步骤S105中，针对每一预设目标部位，根据目标行为特征数据与样本行为特征数据，确定行为结果参数，具体包括：
将目标行为特征数据与样本行为特征数据进行差值计算得到所述行为结果参数；
针对每一预设目标部位，将对应的归一化后的目标速度数组、归一化后的目标加速度数组与归一化后的样本速度数组、归一化后的样本加速度数组，代入下述公式(4)，计算得到行为结果参数：
Figure BDA0003650605320000171
其中，tg为归一化时长,α为第一权重值，β为第二权重值,Vdb(t)为归一化后的样本速度数组、Adb(t)为归一化后的样本加速度数组，Vpre(t)为归一化后的目标速度数组，Apre(t)为归一化后的目标加速度数组。本发明实施例中，上述α和β的大小为预先设置的。
S106、根据所述行为结果参数与预设行为结果阈值，确定所述目标对象是否发生危险行为。
上述步骤S106中，将所述行为结果参数与所述预设行为结果阈值进行比较，看所述行为结果参数是否小于所述预设行为结果阈值，若是，所述目标对象发生危险行为。
在一些实施例中，考虑到多人场景中多出现聚集危险行为，本发明实施例还提供对聚集危险行为判定，基于此，本发明实施例提供的危险行为预警方法还可以包括：
S107、获取目标对象的数量；所述目标对象的数量是根据获取的实时图像数据确定的；
S108、判断目标对象的数量是否大于预设数量阈值；若是，则执行步骤S109，若否，则重复执行上述步骤S107；
S109、在确定至少一个目标对象发生危险行为时，获取发生危险行为的目标对象的数量；
上述步骤S109中，所述确定至少一个目标对象发生危险行为的过程通过上述步骤S100-步骤S106实现。所述预设数量阈值可以根据场景需要进行设定，一般以超过2-10人为聚集状态。本发明实施例中，以超过2人为聚集状态。
S110、根据发生危险行为的目标对象的数量gn、预设攻击人数阈值系数p和目标对象总数g，确定是否发生聚集危险行为；若是，执行步骤S111，若否执行步骤S112；
上述步骤S110中,发生危险行为的目标对象的数量gn大于预设攻击人数阈值系数p与目标对象总数g的乘积时，判定为聚集危险行为。其中，预设攻击人数阈值系数p可以根据实际需要进行设置，例如，预设攻击人数阈值系数p可以设置为50％。
本发明实施例中，利用YOLO2模型读取当前视频画面聚集人数。聚集行为判定以危险行为发生方框相邻的所有方框范围为准，得到聚集范围内的目标对象总数。
S111、进行聚集危险行为预警；
S112、进行危险行为预警。
在一些实施例中，上述步骤S112，所述若确定所述目标对象发生危险行为，则进行危险行为预警，具体包括：
S1121、当确定所述目标对象发生危险行为时，对当前第一预警参数累加第一预设参数，得到新的第一预警参数；
S1122、判断所述新的第一预警参数是否达到第一预警参数阈值；若是，执行步骤S1123；若否，重复执行上述步骤S1121；
S1123、发送危险行为预警信号。
在一些实施例中，上述步骤S111所述进行聚集危险行为预警，包括：
S1111、当确定发生聚集危险行为时，对当前第二预警参数累加第二预设参数，得到新的第二预警参数；
S1112、判断所述新的第二预警参数是否达到第二预警参数阈值；若是，执行步骤S1113；否则，重复执行上述步骤S1111；
S1113、发送聚集危险行为预警信号。
在一些实施例中，所述发送聚集危险行为预警信号包括：
根据所述新的第二预警参数的大小发出对应的聚集危险行为预警信号；
所述第二预设参数计算公式(5)如下：
Figure BDA0003650605320000181
其中，gn为发生危险行为的目标对象的数量，g0为第一初始参数，n为第二初始参数。
本发明实施例中，第一初始参数g0和第二初始参数n，可以根据实际场景进行设置。例如，在g＝10情况下，g0取4，n取2。
本发明实施例，当实时图像数据中存在目标对象时，跟踪可能发生危险行为的预设目标部位，并将实时摄像画面传输至处理器。处理器将计算各目标对象的各预设目标部位的目标行为特征数据，即利用截取的行为路径计算目标位移数组，结合目标行为耗费的时间计算目标行为特征数据，将目标行为特征数据与样本集的样本行为特征数据对比，当发现符合危险行为报警条件后，将向当前区域治安管理人员发送警报信息，对危险行为进行预警，预防危险行为演变得更为严重。
本发明实施例中，除了通过识别攻击性行为来判定是否出现危险行为，还可以通过获取监控场所中的实时声音数据进行危险行为预警。如，可以在监控场所的在座椅、墙角或路灯等不同位置设置录音设备，将录音设备连通监控系统后台，即可实现实时声音数据的获取。另外通过在监控场所设置多个不同高度的录音设备，可以得到质量较高的实时声音数据。基于此，本发明实施例提供的危险行为预警方法，还可以包括：
S201、根据获取的实时声音数据，确定是否存在危险触发词；其中，所述危险触发词根据危险触发词的严重程度配置相应的第三预设预警阈值和第三预设参数；
上述步骤S201中，对于获取到的实时声音数据，可以通过深度卷积神经网络进行处理以识别是否存在危险触发词。所述危险触发词可以是“打架”、“打人”、“抢劫”、“杀人”等。考虑到每个危险触发词的严重程度不同，本发明实施例根据危险触发词的严重程度划分为不同预警程度等级，不同的预警程度等级配置相应的第三预设参数。以前面提到的“打架”、“杀人”、“抢劫”、“打人”为例，可以划分为两个不同的预警程度等级：以“抢劫”、“杀人”为较高预警程度等级Ks1，以“打架”、“打人”为较低预警程度等级Ks2，其中，Ks1>Ks2。当然，可以根据实际需要，对不同的危险触发词可以设置更多的预警程度等级。此时Ks＝{Ks1,Ks2,…,Ksn}，n为所有预警程度等级的设置数量。
S202、根据所述危险触发词的音量值和预设音量阈值，确定是否发生声音危险行为；若是，执行步骤S203；若否，重复执行上述步骤S201；
为了避免正常交谈引起的误触发，本发明实施例对所述危险触发词设置预设音量阈值。当实时声音数据中的危险触发词达到预设音量阈值时，确定发生声音危险行为。所述预设音量阈值可以是60～90分贝，在本例中设定预设音量阈值为70分贝。
S203、对当前第三预警参数累加所述危险触发词对应的第三预设参数，得到新的第三预警参数；
上述步骤S203中，当确认发生声音危险行为时，获取危险触发词所对应的第三预设参数，对当前第三预警参数累加所述危险触发词对应的第三预设参数，得到新的第三预警参数。
S204、判断新的第三预警参数是否达到所述危险触发词对应的第三预设预警阈值；若是，执行步骤S205；若否，重复执行上述步骤S203；
上述步骤S204中，考虑到不同危险触发词的严重程度不同，本发明实施例根据危险触发词的严重程度配置相应的第三预设预警阈值。将新的第三预警参数与所述危险触发词对应的第三预设预警阈值进行比较，确认新的第三预警参数是否达到所述危险触发词对应的第三预设预警阈值；
S205、发送声音危险行为预警信号。
除了通过识别攻击性行为以及实时声音数据来判定是否出现危险行为，还可以通过获取监控场所中的实时气体数据进行危险行为预警。如，可以在目标监控场所或者人员密集区域，如路口交汇点和室内场所通风出口等，设置气敏传感器，将气敏传感器连通监控系统后台，即可实现实时气体数据的获取。因此，本发明实施例提供的危险行为预警方法，还可以包括：
S301、根据获取的实时气体数据，确定是否存在危险气体；其中，所述危险气体根据危险气体的危害程度配置相应的第四预设预警阈值和第四预设参数；
上述步骤S301中，将获取的实时气体数据与样本库中常见危险化学品气体(酒精、常见有毒物质如煤气等)进行对比，确认是否存在危险气体。考虑到不同危险气体的危害程度不同，本发明实施例对不同危险气体设置相应的预设浓度阈值。例如，对于煤气(主要危险成分为CO),一般不允许超过30mg/m3，因此在本例中将CO气体的预设浓度阈值设置为30mg/m3。同样考虑到不同危险气体的危害程度不同，本发明实施例对不同危险气体设置相应的预警程度等级，不同的预警程度等级对应不同的第四预设参数。Ka＝{Ka1,Ka2,…,Kan}。Ka为预设包含所有危险化学品气体的预警程度等级数组，n为所有预警程度等级的设置数量。
S302、根据所述危险气体的浓度值和预设浓度阈值，确定是否发生气体危险行为；若是，执行步骤S303；若否，重复执行上述步骤S301；
上述步骤S302中，当确认存在危险气体时，将所述危险气体的浓度值与其对应的预设浓度阈值进行比较，看其浓度值是否达到预设浓度阈值，若是，则确认发生气体危险行为。
S303、对当前第四预警参数累加所述危险气体对应的第四预设参数，得到新的第四预警参数；
上述步骤S303中，确定发生气体危险行为时，获取所述危险气体所对应的第四预设参数，对当前第四预警参数累加所述危险气体对应的第四预设参数，得到新的第四预警参数。
S304、判断新的第四预警参数是否达到所述危险气体对应的第四预设预警阈值；若是，执行步骤S305；若否，重复执行上述步骤S303；
上述步骤S304中，考虑到不同危险气体的危害程度不同，本发明实施例对不同危险气体设置相应的第四预设预警阈值。将所述新的第四预警参数与所述危险气体对应的第四预设预警阈值进行比较，若所述新的第四预警参数达到所述危险气体对应的第四预设预警阈值，则执行步骤S305；否则，重复执行上述步骤S303。
S305、发送气体危险行为预警信号。
实施例二
基于同一发明构思，本发明实施例提供一种危险行为预警装置，如图6所示，包括：
检测模块101，用于在预设的识别模型中，根据获取的实时图像数据，确定是否存在目标对象；
第一获取模块102，用于对于每一目标对象，按照预设的时间间隔获取预设时间段内的图像数据；
确定模块103，用于根据所述预设时间段内的图像数据，确定所述目标对象的各预设目标部位所对应的目标行为特征数据；
第二获取模块104，用于获取预设样本集中对应于所述目标对象的各预设目标部位的样本行为特征数据；
处理模块105，用于针对每一预设目标部位，根据目标行为特征数据与样本行为特征数据，确定行为结果参数；
判断模块106，用于根据行为结果参数与预设行为结果阈值，确定所述目标对象是否发生危险行为。
本发明实施例中的危险行为预警装置的实现方式，本领域技术人员可以参照上述对危险行为预警方法的具体描述，此处，不再赘述。
实施例三
基于同一发明构思，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例一所描述的危险行为预警方法。
本发明实施例中的计算机可读存储介质的实现方式，本领域技术人员可以参照上述实施例一所描述的对危险行为预警方法的具体描述，此处，不再赘述。
实施例四
基于同一发明构思，本发明实施例提供一种电子设备，如图7所示，该电子设备包括存储器401，处理器402及存储在存储器401上并可在处理器402上运行的计算机程序，所述处理器402执行所述程序时实现如上述实施例一所描述的危险行为预警方法。
本发明实施例中的电子设备的实现方式，本领域技术人员可以参照上述实施例一所描述的对危险行为预警方法的具体描述，此处，不再赘述。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。本发明并不局限于任何单一的方面，也不局限于任何单一的实施例，也不局限于这些方面和/或实施例的任意组合和/或置换。可单独使用本发明的每个方面和/或实施例，或者与一个或更多其他方面和/或其他实施例结合使用。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种危险行为预警方法，其特征在于，包括：
在预设的识别模型中，根据获取的实时图像数据，确定是否存在目标对象；
若是，对于每一目标对象，按照预设的时间间隔获取预设时间段内的图像数据；
根据所述预设时间段内的图像数据，确定所述目标对象的各预设目标部位所对应的目标行为特征数据；
获取预设样本集中对应于所述目标对象的各预设目标部位的样本行为特征数据；
针对每一预设目标部位，根据其目标行为特征数据与样本行为特征数据，确定行为结果参数；
根据所述行为结果参数与预设行为结果阈值，确定所述目标对象是否发生危险行为。
2.根据权利要求1所述的危险行为预警方法，其特征在于，所述根据所述预设时间段内的图像数据，确定所述目标对象的各预设目标部位所对应的目标行为特征数据，包括：
根据所述预设时间段内的图像数据，确定目标对象的各预设目标部位所对应的目标位移数组；
根据目标对象的各预设目标部位所对应的目标位移数组，确定所述目标对象的各预设目标部位所对应的目标行为特征数据；
所述预设时间段内的图像数据是通过至少三个不同方位的图像采集设备采集得到的；
所述根据所述预设时间段内的图像数据，确定目标对象的各预设目标部位所对应的目标位移数组，包括：
针对目标对象的每一预设目标部位：
根据获取的所述预设时间段内的图像数据中各图像采集设备所对应的每一帧图像的各目标二维位置信息数组，确定对应的目标三维位置信息数组；
根据每一帧图像所对应的所述目标三维位置信息数组确定对应的目标位移信息数组，得到所述目标位移数组；
所述目标行为特征数据包括目标速度数组和目标加速度数组；
所述根据目标对象的各预设目标部位所对应的目标位移数组，确定所述目标对象的各预设目标部位所对应的目标行为特征数据，包括：
针对目标对象的每一预设目标部位：
根据所述目标位移数组进行微分，确定对应的目标速度数组；
根据所述目标速度数组进行微分，确定对应的目标加速度数组；
对所述目标速度数组和所述目标加速度数组进行归一化处理得到归一化后的目标速度数组和归一化后的目标加速度数组。
3.根据权利要求1所述的危险行为预警方法，其特征在于，所述获取预设样本集中对应于所述目标对象的各预设目标部位的样本行为特征数据，包括：
根据预设样本集，确定对应于所述目标对象的各预设目标部位的样本位移数组；
根据对应于所述目标对象的各预设目标部位的样本位移数组，确定对应于所述目标对象的各预设目标部位的样本行为特征数据；
所述预设样本集是通过至少三个不同方位的图像采集设备采集得到的；
所述根据预设样本集，确定对应于所述目标对象的各预设目标部位的样本位移数组，包括：
针对目标对象的各预设目标部位：
获取所述预设样本集的图像数据中各图像采集设备所对应的每一帧图像的各样本二维位置信息数组；
根据每一帧图像的各样本二维位置信息数组确定对应的样本三维位置信息数组；
根据相邻两帧图像的样本三维位置信息数组确定对应的样本位移信息数组；
根据确定的各个样本位移信息数组，得到所述样本位移数组；
所述样本行为特征数据包括样本速度数组和样本加速度数组；
所述根据对应于所述目标对象的各预设目标部位的样本位移数组，确定对应于所述目标对象的各预设目标部位的样本行为特征数据，包括：
针对目标对象的每一预设目标部位：
根据所述样本位移数组进行微分，确定对应的样本速度数组；
根据所述样本速度数组进行微分，确定对应的样本加速度数组；
对所述样本速度数组和所述样本加速度数组进行归一化处理得到归一化后的样本速度数组和归一化后的加速度数组。
4.根据权利要求2所述的危险行为预警方法，其特征在于，所述预设时间段内的图像数据是通过三个不同方位的图像采集设备采集得到的；
所述根据获取的所述预设时间段内的图像数据中各图像采集设备所对应的每一帧图像的各目标二维位置信息数组，确定对应的目标三维位置信息数组；根据每一帧图像所对应的所述目标三维位置信息数组，确定对应的目标位移信息数组，得到所述目标位移数组，包括：
获取的所述预设时间段内的图像数据中各图像采集设备所对应的每一帧图像的各目标二维位置信息数组；
将所述每一帧图像所对应的各目标二维位置信息数组代入下述公式(1)，得到每一帧图像所对应的所述目标三维位置信息数组：
pxi＝(x2+x3)/2,pyi＝(x1+y3)/2,pzi＝(y1+y2)/2，公式(1)；
其中，(x1，y1)为第一目标二维位置信息数组，(x2，y2)为第二目标二维位置信息数组，(x3，y3)为第三目标二维位置信息数组，(pxi，pyi，pzi)为目标三维位置信息数组；
将每一帧图像所对应的所述目标三维位置信息数组分别代入下述公式(2)，得到每一帧图像所对应的所述目标位移信息数组：
Pi＝(pxi^2+pyi^2+pzi^2)^0.5,公式(2)；
其中，i＝1,2,…n，n为目标三维位置信息的数量；
根据确定的各个目标位移信息数组，得到所述目标位移数组。
5.根据权利要求4所述的危险行为预警方法，其特征在于，在将每一帧图像所对应的所述目标三维位置信息数组分别代入下述公式(2)，得到每一帧图像所对应的所述目标位移信息数组之前，还包括：
将所述目标三维位置信息数组输入预设噪声处理数组，通过下述得到更新后的目标三维位置信息数组：
判断预设噪声处理数组的各个数据位是否有空位；其中，所述预设数组中的每个数据位配置相应的计数器；
若是，将所述目标三维位置信息数组更新到所述预设噪声处理数组中的首个数据位，并将所述预设数组中的在前的数据位的数据依次更新到在后的数据位中；
若否，判断各个数据位所对应的最大计数值是否小于第一预设阈值；
若所述最大计数值小于所述第一预设阈值，则将所述目标三维位置信息数组更新到所述预设噪声处理数组中的首个数据位，并将所述预设数组中的在前的数据位的数据依次更新到在后的数据位中；
若所述最大计数值不小于所述第一预设阈值，将所述最大计数值所对应的数据位的数据剔除，将所述目标三维位置信息数组更新到所述预设噪声处理数组中的首个数据位，并将预设数组中的最大计数值所对应的数据位之前的数据位的数据依次更新到在后的数据位中；
其中，每个数据位所对应的计数值通过下述方式得到：确定预设数组中的各个数据位的数据的最大值和最小值，通过下述公式(3)，计算得到各个数据位所对应的计数值：
Figure FDA0003650605310000041
其中，k1为第一预设计数值，k2为第二计数值，pmax(d)为目标三维信息数组中的最大值，pmin(d)为目标三维信息数组中的最小值。
6.根据权利要求2和3所述的危险行为预警方法，其特征在于，针对每一预设目标部位，根据目标行为特征数据与样本行为特征数据，确定行为结果参数，包括：
针对每一预设目标部位，将对应的归一化后的目标速度数组、归一化后的目标加速度数组与归一化后的样本速度数组、归一化后的样本加速度数组，代入下述公式(4)，计算得到行为结果参数：
Figure FDA0003650605310000042
其中，tg为归一化时长,α为第一权重值，β为第二权重值,Vdb(t)为归一化后的样本速度数组、Adb(t)为归一化后的样本加速度数组，Vpre(t)为归一化后的目标速度数组，Apre(t)为归一化后的目标加速度数组。
7.根据权利要求1所述的危险行为预警方法，其特征在于，所述方法，还包括：
判断目标对象的数量是否大于预设数量阈值，若是，在确定至少一个目标对象发生危险行为时，获取发生危险行为的目标对象的数量；
根据发生危险行为的目标对象的数量、预设攻击人数阈值系数和目标对象总数，确定是否发生聚集危险行为；所述目标对象总数是根据获取的实时图像数据确定的；
若是，则进行聚集危险行为预警；
若否，则进行危险行为预警；所述进行聚集危险行为预警，包括：
当确定发生聚集危险行为时，对当前第二预警参数累加第二预设参数，得到新的第二预警参数；
判断所述新的第二预警参数是否达到第二预警参数阈值；
若是，根据所述新的第二预警参数的大小发出对应的聚集危险行为预警信号；
所述第二预设参数计算公式(2)如下：
Figure FDA0003650605310000051
其中，gn为发生危险行为的目标对象的数量，g0为第一初始参数，n为第二初始参数；
所述进行危险行为预警，包括：
当确定所述目标对象发生危险行为时，对当前第一预警参数累加第一预设参数，得到新的第一预警参数；
判断所述新的第一预警参数是否达到第一预警参数阈值；
若是，发送危险行为预警信号。
8.一种危险行为预警装置，其特征在于，包括：
检测模块，用于在预设的识别模型中，根据获取的实时图像数据，确定是否存在目标对象；
第一获取模块，用于对于每一目标对象，按照预设的时间间隔获取预设时间段内的图像数据；
确定模块，用于根据所述预设时间段内的图像数据，确定所述目标对象的各预设目标部位所对应的目标行为特征数据；
第二获取模块，用于获取预设样本集中对应于所述目标对象的各预设目标部位的样本行为特征数据；
处理模块，用于针对每一预设目标部位，根据目标行为特征数据与样本行为特征数据，确定行为结果参数；
判断模块，用于根据行为结果参数与预设行为结果阈值，确定所述目标对象是否发生危险行为。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7任一项所述的危险行为预警方法。
10.一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7任一项所述的危险行为预警方法。
CN202210550799.6A 2022-05-18 2022-05-18 一种危险行为预警方法、装置和设备 Active CN114821805B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210550799.6A CN114821805B (zh) 2022-05-18 2022-05-18 一种危险行为预警方法、装置和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210550799.6A CN114821805B (zh) 2022-05-18 2022-05-18 一种危险行为预警方法、装置和设备

Publications (2)

Publication Number Publication Date
CN114821805A true CN114821805A (zh) 2022-07-29
CN114821805B CN114821805B (zh) 2023-07-18

Family

ID=82517335

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210550799.6A Active CN114821805B (zh) 2022-05-18 2022-05-18 一种危险行为预警方法、装置和设备

Country Status (1)

Country Link
CN (1) CN114821805B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116740821A (zh) * 2023-08-16 2023-09-12 南京迅集科技有限公司 基于边缘计算的智能车间控制方法和系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101311947A (zh) * 2008-06-12 2008-11-26 浙江大学 基于自然视频的实时智能监控方法
CN101635834A (zh) * 2008-07-21 2010-01-27 侯荣琴 类神经控制自动追踪识别系统
CN105575049A (zh) * 2015-06-26 2016-05-11 宇龙计算机通信科技(深圳)有限公司 一种预警方法、装置及终端
CN108898079A (zh) * 2018-06-15 2018-11-27 上海小蚁科技有限公司 一种监控方法及装置、存储介质、拍摄终端
CN111291718A (zh) * 2020-02-28 2020-06-16 上海商汤智能科技有限公司 行为预测方法及装置、步态识别方法及装置
CN111460889A (zh) * 2020-02-27 2020-07-28 平安科技（深圳）有限公司 一种基于语音及图像特征的异常行为识别方法、装置及设备
CN112241660A (zh) * 2019-07-17 2021-01-19 北京双髻鲨科技有限公司 一种基于视觉的防盗监测方法和装置
US20210064018A1 (en) * 2018-04-09 2021-03-04 Diveplane Corporation Model Reduction and Training Efficiency in Computer-Based Reasoning and Artificial Intelligence Systems
CN112906660A (zh) * 2021-03-31 2021-06-04 浙江大华技术股份有限公司 安检预警方法和装置、存储介质及电子设备
CN114155601A (zh) * 2021-12-02 2022-03-08 山东中科先进技术研究院有限公司 一种基于视觉的作业人员危险行为检测方法及系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101311947A (zh) * 2008-06-12 2008-11-26 浙江大学 基于自然视频的实时智能监控方法
CN101635834A (zh) * 2008-07-21 2010-01-27 侯荣琴 类神经控制自动追踪识别系统
CN105575049A (zh) * 2015-06-26 2016-05-11 宇龙计算机通信科技(深圳)有限公司 一种预警方法、装置及终端
US20210064018A1 (en) * 2018-04-09 2021-03-04 Diveplane Corporation Model Reduction and Training Efficiency in Computer-Based Reasoning and Artificial Intelligence Systems
CN108898079A (zh) * 2018-06-15 2018-11-27 上海小蚁科技有限公司 一种监控方法及装置、存储介质、拍摄终端
CN112241660A (zh) * 2019-07-17 2021-01-19 北京双髻鲨科技有限公司 一种基于视觉的防盗监测方法和装置
CN111460889A (zh) * 2020-02-27 2020-07-28 平安科技（深圳）有限公司 一种基于语音及图像特征的异常行为识别方法、装置及设备
CN111291718A (zh) * 2020-02-28 2020-06-16 上海商汤智能科技有限公司 行为预测方法及装置、步态识别方法及装置
CN112906660A (zh) * 2021-03-31 2021-06-04 浙江大华技术股份有限公司 安检预警方法和装置、存储介质及电子设备
CN114155601A (zh) * 2021-12-02 2022-03-08 山东中科先进技术研究院有限公司 一种基于视觉的作业人员危险行为检测方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116740821A (zh) * 2023-08-16 2023-09-12 南京迅集科技有限公司 基于边缘计算的智能车间控制方法和系统
CN116740821B (zh) * 2023-08-16 2023-10-24 南京迅集科技有限公司 基于边缘计算的智能车间控制方法和系统

Also Published As

Publication number Publication date
CN114821805B (zh) 2023-07-18

Similar Documents

Publication Publication Date Title
CN107045623B (zh) 一种基于人体姿态跟踪分析的室内危险情况告警的方法
CN105141885B (zh) 进行视频监控的方法及装置
CN105100689B (zh) 自动取款机视频监控方法及装置
US8723949B2 (en) Fish activity monitoring system for early warning of water contamination
CN104954747B (zh) 视频监视方法和装置
US20080136934A1 (en) Flame Detecting Method And Device
CN111488799B (zh) 一种基于图像识别的坠落物识别方法及系统
KR101309366B1 (ko) 영상 기반 이상 동작 감시 시스템 및 방법
CN110390229B (zh) 一种人脸图片筛选方法、装置、电子设备及存储介质
Shoaib et al. View-invariant fall detection for elderly in real home environment
WO2008103206B1 (en) Surveillance systems and methods
KR102149832B1 (ko) 딥러닝 기반의 자동 폭력 감지 시스템
CN111241913A (zh) 一种检测人员摔倒的方法、装置及系统
JP2010049296A (ja) 移動物体追跡装置
CN109830078B (zh) 适用于狭小空间的智能行为分析方法及智能行为分析设备
CN113343779B (zh) 环境异常检测方法、装置、计算机设备和存储介质
CN114821805B (zh) 一种危险行为预警方法、装置和设备
CN114120171A (zh) 基于视频帧的火灾烟雾检测方法、装置、设备及存储介质
CN116994389A (zh) 一种基于人工智能和图像识别的监控报警驱赶系统及方法
CN115798047A (zh) 行为识别方法和装置、电子设备、计算机可读存储介质
CN111383248A (zh) 一种行人闯红灯判断方法、装置和电子设备
CN106128105B (zh) 一种交通路口行人行为监测系统
CN112818919A (zh) 抽烟行为识别方法与装置
JP7243372B2 (ja) 物体追跡装置および物体追跡方法
Zweng et al. Introducing a statistical behavior model into camera-based fall detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant