CN112733679A - 一种基于案件逻辑推理的预警系统及训练方法 - Google Patents

一种基于案件逻辑推理的预警系统及训练方法 Download PDF

Info

Publication number
CN112733679A
CN112733679A CN202011634978.5A CN202011634978A CN112733679A CN 112733679 A CN112733679 A CN 112733679A CN 202011634978 A CN202011634978 A CN 202011634978A CN 112733679 A CN112733679 A CN 112733679A
Authority
CN
China
Prior art keywords
early warning
network
excited
person
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011634978.5A
Other languages
English (en)
Other versions
CN112733679B (zh
Inventor
姜峰
周金明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Inspector Intelligent Technology Co Ltd
Original Assignee
Nanjing Inspector Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Inspector Intelligent Technology Co Ltd filed Critical Nanjing Inspector Intelligent Technology Co Ltd
Priority to CN202011634978.5A priority Critical patent/CN112733679B/zh
Publication of CN112733679A publication Critical patent/CN112733679A/zh
Application granted granted Critical
Publication of CN112733679B publication Critical patent/CN112733679B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G06Q50/265—Personal security, identity or safety
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Mathematical Physics (AREA)
  • Tourism & Hospitality (AREA)
  • Molecular Biology (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Computer Security & Cryptography (AREA)
  • Alarm Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Educational Administration (AREA)
  • Social Psychology (AREA)
  • Human Resources & Organizations (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Psychiatry (AREA)

Abstract

本发明公开了一种基于案件逻辑推理的预警系统及训练方法，判断人员是否处在密集人群中；通过YOLOV3网络检测目标区域内所有人员头部，以任意人员为目标，提取此人头部中心点10倍检测框长宽的范围，计算该范围内人头数量，表示人群密集程度，设置密集程度阈值，当人头数量大于阈值时输出1，否则输出0；判断人员的表情是否激动；判断人员的行为是否过激；对是否处在密集人群、表情是否激动、行为是否过激的结果进行分析，确定是否对案件进行预警。通过构建逻辑知识库，将目标检测、行为检测、表情识别等方法与逻辑知识库结合，共同训练出一个有效的预警系统，提高非法申请行为的识别率。

Description

一种基于案件逻辑推理的预警系统及训练方法
技术领域
本发明涉及神经网络、案件处理技术研究领域，具体涉及一种基于案件逻辑推理的预警系统及训练方法。
背景技术
随着我国现代化治理进程的不断加快，对案件处理工作的要求也越来越高，然而，一些案件申请人员由于性格问题以及对相关法律法规的不了解，在案件进行过程中出现偏激的情绪化行为，极大地阻碍了案件处理工作有序的进行，在实现本发明过程中，发明人发现现有技术中至少存在如下问题：目前，在案件处理工作中并没有相关方法或者系统能够对此类现象进行预警，以及时处理使得事态不会进一步恶化，而其他领域如安防等，对于危险行为的预警方法考虑的维度比较单一，精度有限，为了帮助案件处理工作正常高效的进行，急需一种预警系统，对不合法的案件申请行为及时预警及时处理。而实际案件处理工作中，场景较为复杂，如何快速精准地识别出风险行为是亟需解决的问题。
发明内容
为了克服现有技术的不足，本公开实施例提供了一种基于案件逻辑推理的预警系统及训练方法，可以提高非法申请行为的识别率。技术方案如下：
第一方面，提供了一种基于案件逻辑推理的预警系统，该系统包括如下内容：
构建逻辑知识库：获取历史案例大数据中对非法案件申请行为的知识特征；
判断人员是否处在密集人群中；通过YOLOV3网络检测目标区域内所有人员头部，以任意人员为目标，提取此人头部中心点10倍检测框长宽的范围，计算该范围内人头数量，表示人群密集程度，设置密集程度阈值，当人头数量大于阈值时输出1，否则输出0；
判断人员的表情是否激动；
判断人员的行为是否过激；
对是否处在密集人群、表情是否激动、行为是否过激的结果进行分析，确定是否对案件进行预警。
优选的，在判断人员是否处在密集人群中时，只选择有效的锚框优化网络参数，对于每次训练迭代中网络获得的目标i的锚框集合,计算每个锚框与该目标标签框之间的IOU值，按大小取前k个组成一个候选锚框集合Ai，只使用集合Ai的检测框信息、目标置信度和类别置信度计算损失函数，更新模型参数，每次迭代后选择的集合Ai不断靠近标签。k的取值是一个固定值或一个列表，当是一个固定值时，表示每次训练迭代都取固定长度的候选框集合，当是一个列表时，随着训练的深入，调整候选框集合的长度，加快网络的收敛。
进一步的，构建YOLOV3网络训练的损失函数如下：
Figure BDA0002880940460000021
其中θ为网络参数，ai表示最优锚框，
Figure BDA0002880940460000022
表示目标i的标签框对应的类别，
Figure BDA0002880940460000023
表示目标i的标签框对应的位置信息，δ为正则化因子，
Figure BDA0002880940460000024
和
Figure BDA0002880940460000025
分别对应YOLOV3的分类和检测损失函数。
优选的，所述判断人员的表情是否激动，表情分类采用ResNet50网络作为主干网络，根据所述YOLOV3网络检测出的目标区域内所有人员头部，将有脸部信息的人员头部区域划分成n个子块，每个子块和完整头部区域分别作为分类网络的输入，后接一个注意力模块，注意力模块由一个全连接层和sigmoid函数组成，用于给各个子块区域分配权重；之后，每个子块提取的特征会与完整头部区域提取的特征使用聚合映射进行关联，获取每个子块特征在整体上的重要性占比；先将相邻子块特征进行融合，而后对所有提取的特征在通道上级联，通过一个1×1卷积进行特征融合，再通过一个高效的压缩激励(Squeeze-Excitation)模块关注通道信息，获取通道权重，然后将整合后的特征与完整头部区域特征相加融合；最后所有特征被整合进分类器中进行表情分类；
优选的，判断人员的行为是否过激，行为识别分类使用基于LSTM的骨架行为识别深度模型，将时空信息融合进行为识别中。
进一步的，判断人员的行为是否过激，具体为，通过一个人体姿态估计模型获取目标的关节点坐标位置，将关节点的坐标以时间为通道叠加在一起，作为整个模型的输入，通过一个线性网络层将关节点位置转化为空间特征图，采用m个LSTM模块对特征进行学习，得到融合了时空信息的特征，
优选的，在每个LSTM模块之前都会先对特征进行时空平均池化，即两个池化分支，分别对通道方向和特征图进行池化操作，对应时间和空间的信息整合，两个分支后分别接一个sigmoid函数后相加，得到融合了时空信息的特征，表示为：
Fti＝flstm(concat(Pti,Tti))
其中，Fti表示关节点i在时间点t的强化特征，Pti,Tti分别表示时间关节点i的空间和时间表达，flstm表示LSTM模块。
进一步的，行为识别的损失函数使用交叉熵。
第二方面，提供了一种基于案件逻辑推理的预警系统的训练方法
通过所有可能的实现方式中任一项所述的一种基于案件逻辑推理的预警系统，获得输出是否处在密集人群
Figure BDA0002880940460000031
表情是否激动
Figure BDA0002880940460000032
行为是否过激
Figure BDA0002880940460000033
的值为1或0，
Figure BDA0002880940460000034
和
Figure BDA0002880940460000035
的值则为类别概率，将三个输出值与知识库进行关联，关联规则为
Figure BDA0002880940460000036
在此任务中，设置逻辑阈值，如果
Figure BDA0002880940460000037
大于阈值，则系统输出标签为1(该申请人员发生风险行为)，更新表情分类和行为分类的标签为1；如果
Figure BDA0002880940460000038
小于阈值，则系统输出标签为0(该人员未发生风险行为)，此时更新步骤3和4的标签则为0；是否处在密集人群中的目标检测网络则是独立训练获得，在系统训练阶段不参与更新；依次进行系统训练迭代，直到系统输出不再发生变化。
与现有技术相比，上述技术方案中的一个技术方案具有如下有益效果：通过构建逻辑知识库，将目标检测、行为检测、表情识别等方法与逻辑知识库结合，共同训练出一个有效的预警系统，提高非法申请行为的识别率。同时构建的逻辑知识库能够为相关领域提供行为标准；能够精确识别出需捕捉的行为。
附图说明
图1为本公开实施例提供的一种聚合映射模块示意图。
具体实施方式
为了阐明本发明的技术方案和工作原理，下面将结合附图对本公开实施方式做进一步的详细描述。
上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。
第一方面：本公开实施例提供了一种基于案件逻辑推理的预警系统，该系统包括如下内容：
构建逻辑知识库：获取历史案例大数据中对非法案件申请行为的知识特征，结合实际场景中可能出现的情况，对以下几点知识特征进行预警：
判断人员是否处在密集人群中；
判断人员的表情是否激动(主要包括愤怒、咆哮、怒视等负面表情)；
判断人员的行为是否过激(主要包括砸、踢等位移较快的危险行为)
对是否处在密集人群、表情是否激动、行为是否过激的结果进行分析，确定是否对案件进行预警。
所述判断人员是否处在密集人群中，通过YOLOV3网络检测目标区域内所有人员头部，以任意人员为目标，提取此人头部中心点10倍检测框长宽的范围，计算该范围内人头数量，表示人群密集程度，设置密集程度阈值，当人头数量大于阈值时输出1(表示人群密集)，否则输出0(表示人群不密集)；
传统的YOLOV3网络在训练过程中，所有锚框都平等地参与模型的优化更新中，而大多数锚框中不含目标，只有少部分锚框中包含目标，这种不平衡会导致模型很难收敛到最优的状态，因此，只选择有效的锚框优化网络参数，能更好地训练网络。
只选择有效的锚框优化网络参数，对于每次训练迭代中网络获得的目标i的锚框集合,计算每个锚框与该目标标签框之间的IOU值，按大小取前k个组成一个候选锚框集合Ai，只使用集合Ai的检测框信息、目标置信度和类别置信度计算损失函数，更新模型参数，每次迭代后选择的集合Ai不断靠近标签。k的取值是一个固定值或一个列表，当是一个固定值时，表示每次训练迭代都取固定长度的候选框集合，当是一个列表时，随着训练的深入，调整候选框集合的长度，加快网络的收敛。
不同于现有模型训练中每次迭代更新所有锚框都会计算损失，本发明的实施例在每次训练中参与网络更新的锚框是动态变化的，且锚框是趋近目标的，不断弱化非目标锚框的干扰，从而使得网络更快更好地向着目标的方向优化。
优选的，为了使得锚框和网络参数一起不断优化更新，直至选择出此目标最佳的锚框和对应的网络参数，构建训练策略可以使得网络更加针对地学习目标特征，解决锚框不平衡的问题。构建网络训练的损失函数如下：
Figure BDA0002880940460000051
其中θ为网络参数，ai表示最优锚框，
Figure BDA0002880940460000052
表示目标i的标签框对应的类别，
Figure BDA0002880940460000053
表示目标i的标签框对应的位置信息，δ为正则化因子，
Figure BDA0002880940460000054
和
Figure BDA0002880940460000055
分别对应YOLOV3的分类和检测损失函数。
所述判断人员的表情是否激动，是一个表情分类任务，表情分类采用ResNet50网络作为主干网络，根据所述YOLOV3网络检测出的目标区域内所有人员头部，将有脸部信息的人员头部区域划分成n个子块，每个子块和完整头部区域分别作为分类网络的输入，后接一个注意力模块，注意力模块由一个全连接层和sigmoid函数组成，用于给各个子块区域分配权重；之后，每个子块提取的特征会与完整头部区域提取的特征使用聚合映射进行关联，获取每个子块特征在整体上的重要性占比；考虑到相邻区域之间特征相关性更强，先将相邻子块特征进行融合，而后对所有提取的特征在通道上级联，通过一个1×1卷积进行特征融合，再通过一个高效的压缩激励(Squeeze-Excitation)模块关注通道信息，获取通道权重，然后将整合后的特征与完整头部区域特征相加融合，如图1所示。最后所有特征被整合进分类器中进行表情分类；网络输出类别分为0(正常表情)和1(过激表情)，将负面的激动表情只归为一类，便于网络学习所有过激表情的一般规律和通用特征。
判断人员的行为是否过激，行为识别分类使用基于LSTM的骨架行为识别深度模型，将时空信息融合进行为识别中。之所以选择基于骨架的方式，是因为每个节点与其相邻节点之间都具有很强的相关性，骨骼框架则包含了丰富的人体结构信息。由于时间连续性不仅存在于相同的关节中，也存在于身体结构中，且时间与空间信息紧密相连，具有同现性，因此本发明的一个实施例提出一种时空增强LSTM网络，将时空信息融合进行为识别中；优选的，判断人员的行为是否过激，具体为，通过一个人体姿态估计模型获取目标的关节点坐标位置，将关节点的坐标以时间为通道叠加在一起，作为整个模型的输入，通过一个线性网络层将关节点位置转化为空间特征图，采用m个LSTM模块对特征进行学习，得到融合了时空信息的特征，
优选的，每个LSTM模块之前都会先对特征进行时空平均池化，即两个池化分支，分别对通道方向和特征图进行池化操作，对应时间和空间的信息整合，两个分支后分别接一个sigmoid函数后相加，得到融合了时空信息的特征。
增强后的特征可表示为：
Fti＝flstm(concat(Pti,Tti))
其中，Fti表示关节点i在时间点t的强化特征，Pti,Tti分别表示时间关节点i的空间和时间表达，flstm表示LSTM模块。
优选的，行为识别的损失函数使用交叉熵。与表情识别类似，网络输出类别分为0(正常行为)和1(过激行为)。
第二方面，本公开实施例提供了一种基于案件逻辑推理的预警系统的训练方法
通过所有可能的实现方式中任一项所述的一种基于案件逻辑推理的预警系统，获得输出是否处在密集人群
Figure BDA0002880940460000061
表情是否激动
Figure BDA0002880940460000062
行为是否过激
Figure BDA0002880940460000063
的值为1或0，
Figure BDA0002880940460000064
和
Figure BDA0002880940460000065
的值则为类别概率，将三个输出值与知识库进行关联，关联规则为
Figure BDA0002880940460000066
在此任务中，表情和行为的特征都较为关键，因此α、β、γ的值分别设为0.2，0.4，0.4。设置逻辑阈值，如果
Figure BDA0002880940460000067
大于阈值，则系统输出标签为1(该申请人员发生风险行为)，更新表情分类和行为分类的标签为1；如果
Figure BDA0002880940460000068
小于阈值，则系统输出标签为0(该人员未发生风险行为)，此时更新步骤3和4的标签则为0；是否处在密集人群中的目标检测网络则是独立训练获得，在系统训练阶段不参与更新；依次进行系统训练迭代，直到系统输出不再发生变化。
用此种训练方式的意义在于此系统判定人员是否发生风险行为的证据是多维的，具有一定的说服力，如果系统判定人员未发生风险行为，但是行为识别判定为发生过激行为，说明这样的过激行为特征是不符合真实风险行为特征的，则更改其标签，再次训练时就会更新网络权重；同样的，如果系统判定人员发生风险行为，但是行为识别判定为正常行为，说明此时的行为应该标记为过激行为
以上结合附图对本发明进行了示例性描述，显然，本发明具体实现并不受上述方式的限制，凡是采用了本发明的方法构思和技术方案进行的各种非实质性的改进；或者未经改进、等同替换，将本发明的上述构思和技术方案直接应用于其他场合的，均在本发明的保护范围之内。

Claims (9)

1.一种基于案件逻辑推理的预警系统，其特征在于，该系统包括如下内容：
构建逻辑知识库：获取历史案例大数据中对非法案件申请行为的知识特征；
判断人员是否处在密集人群中；通过YOLOV3网络检测目标区域内所有人员头部，以任意人员为目标，提取此人头部中心点10倍检测框长宽的范围，计算该范围内人头数量，表示人群密集程度，设置密集程度阈值，当人头数量大于阈值时输出1，否则输出0；
判断人员的表情是否激动；
判断人员的行为是否过激；
对是否处在密集人群、表情是否激动、行为是否过激的结果进行分析，确定是否对案件进行预警。
2.根据权利要求1所述的一种基于案件逻辑推理的预警系统，其特征在于，在判断人员是否处在密集人群中时，只选择有效的锚框优化网络参数，对于每次训练迭代中网络获得的目标i的锚框集合,计算每个锚框与该目标标签框之间的IOU值，按大小取前k个组成一个候选锚框集合Ai，只使用集合Ai的检测框信息、目标置信度和类别置信度计算损失函数，更新模型参数，每次迭代后选择的集合Ai不断靠近标签；k的取值是一个固定值或一个列表，当是一个固定值时，表示每次训练迭代都取固定长度的候选框集合，当是一个列表时，随着训练的深入，调整候选框集合的长度，加快网络的收敛。
3.根据权利要求2所述的一种基于案件逻辑推理的预警系统，其特征在于，构建YOLOV3网络训练的损失函数如下：
Figure FDA0002880940450000011
其中θ为网络参数，ai表示最优锚框，
Figure FDA0002880940450000012
表示目标i的标签框对应的类别，
Figure FDA0002880940450000013
表示目标i的标签框对应的位置信息，δ为正则化因子，
Figure FDA0002880940450000014
和
Figure FDA0002880940450000015
分别对应YOLOV3的分类和检测损失函数。
4.根据权利要求1所述的一种基于案件逻辑推理的预警系统，其特征在于，所述判断人员的表情是否激动，表情分类采用ResNet50网络作为主干网络，根据所述YOLOV3网络检测出的目标区域内所有人员头部，将有脸部信息的人员头部区域划分成n个子块，每个子块和完整头部区域分别作为分类网络的输入，后接一个注意力模块，注意力模块由一个全连接层和sigmoid函数组成，用于给各个子块区域分配权重；之后，每个子块提取的特征会与完整头部区域提取的特征使用聚合映射进行关联，获取每个子块特征在整体上的重要性占比；先将相邻子块特征进行融合，而后对所有提取的特征在通道上级联，通过一个1×1卷积进行特征融合，再通过一个高效的压缩激励(Squeeze-Excitation)模块关注通道信息，获取通道权重，然后将整合后的特征与完整头部区域特征相加融合；最后所有特征被整合进分类器中进行表情分类。
5.根据权利要求1-4任一项所述的一种基于案件逻辑推理的预警系统，其特征在于，判断人员的行为是否过激，行为识别分类使用基于LSTM的骨架行为识别深度模型，将时空信息融合进行为识别中。
6.根据权利要求5所述的一种基于案件逻辑推理的预警系统，其特征在于，判断人员的行为是否过激，具体为，通过一个人体姿态估计模型获取目标的关节点坐标位置，将关节点的坐标以时间为通道叠加在一起，作为整个模型的输入，通过一个线性网络层将关节点位置转化为空间特征图，采用m个LSTM模块对特征进行学习，得到融合了时空信息的特征。
7.根据权利要求6所述的一种基于案件逻辑推理的预警系统，其特征在于，在每个LSTM模块之前都会先对特征进行时空平均池化，即两个池化分支，分别对通道方向和特征图进行池化操作，对应时间和空间的信息整合，两个分支后分别接一个sigmoid函数后相加，得到融合了时空信息的特征，表示为：
Fti＝flstm(concat(Pti,Tti))
其中，Fti表示关节点i在时间点t的强化特征，Pti,Tti分别表示时间关节点i的空间和时间表达，flstm表示LSTM模块。
8.根据权利要求6-7任一项所述的一种基于案件逻辑推理的预警系统，其特征在于，行为识别的损失函数使用交叉熵。
9.一种基于案件逻辑推理的预警系统的训练方法，其特征在于，包括如下步骤：
通过所有可能的实现方式中任一项所述的一种基于案件逻辑推理的预警系统，获得输出是否处在密集人群
Figure FDA0002880940450000021
表情是否激动
Figure FDA0002880940450000022
行为是否过激
Figure FDA0002880940450000023
的值为1或0，
Figure FDA0002880940450000024
和
Figure FDA0002880940450000025
的值则为类别概率，将三个输出值与知识库进行关联，关联规则为
Figure FDA0002880940450000031
在此任务中，设置逻辑阈值，如果
Figure FDA0002880940450000032
大于阈值，则系统输出标签为1(该申请人员发生风险行为)，更新表情分类和行为分类的标签为1；如果
Figure FDA0002880940450000033
小于阈值，则系统输出标签为0(该人员未发生风险行为)，此时更新步骤3和4的标签则为0；是否处在密集人群中的目标检测网络则是独立训练获得，在系统训练阶段不参与更新；依次进行系统训练迭代，直到系统输出不再发生变化。
CN202011634978.5A 2020-12-31 2020-12-31 一种基于案件逻辑推理的预警系统及训练方法 Active CN112733679B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011634978.5A CN112733679B (zh) 2020-12-31 2020-12-31 一种基于案件逻辑推理的预警系统及训练方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011634978.5A CN112733679B (zh) 2020-12-31 2020-12-31 一种基于案件逻辑推理的预警系统及训练方法

Publications (2)

Publication Number Publication Date
CN112733679A true CN112733679A (zh) 2021-04-30
CN112733679B CN112733679B (zh) 2023-09-01

Family

ID=75608599

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011634978.5A Active CN112733679B (zh) 2020-12-31 2020-12-31 一种基于案件逻辑推理的预警系统及训练方法

Country Status (1)

Country Link
CN (1) CN112733679B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109325418A (zh) * 2018-08-23 2019-02-12 华南理工大学 基于改进YOLOv3的道路交通环境下行人识别方法
CN110378281A (zh) * 2019-07-17 2019-10-25 青岛科技大学 基于伪3d卷积神经网络的组群行为识别方法
CN111369596A (zh) * 2020-02-26 2020-07-03 华南理工大学 一种基于视频监控的手扶电梯客流量统计方法
CN111783622A (zh) * 2020-06-29 2020-10-16 北京百度网讯科技有限公司 人脸表情识别的方法、装置、设备和计算机可读存储介质
CN111832489A (zh) * 2020-07-15 2020-10-27 中国电子科技集团公司第三十八研究所 一种基于目标检测的地铁人群密度估计方法及系统
CN112036367A (zh) * 2020-09-16 2020-12-04 南通天成现代农业科技有限公司 一种yolo卷积神经网络的人数检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109325418A (zh) * 2018-08-23 2019-02-12 华南理工大学 基于改进YOLOv3的道路交通环境下行人识别方法
CN110378281A (zh) * 2019-07-17 2019-10-25 青岛科技大学 基于伪3d卷积神经网络的组群行为识别方法
CN111369596A (zh) * 2020-02-26 2020-07-03 华南理工大学 一种基于视频监控的手扶电梯客流量统计方法
CN111783622A (zh) * 2020-06-29 2020-10-16 北京百度网讯科技有限公司 人脸表情识别的方法、装置、设备和计算机可读存储介质
CN111832489A (zh) * 2020-07-15 2020-10-27 中国电子科技集团公司第三十八研究所 一种基于目标检测的地铁人群密度估计方法及系统
CN112036367A (zh) * 2020-09-16 2020-12-04 南通天成现代农业科技有限公司 一种yolo卷积神经网络的人数检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
华钢 等: "多流卷积神经网络的骨架行为识别", 《小型微型计算机系统》, vol. 41, no. 6, pages 1286 - 1290 *
张翔 等: "引入注意力机制和中心损失的表情识别算法", 《传感器与微系统》, vol. 39, no. 11, pages 148 - 151 *
梁晓曦 等: "基于双重加强特征的人脸年龄估计方法", 《桂林电子科技大学学报》, vol. 39, no. 1, pages 71 - 75 *

Also Published As

Publication number Publication date
CN112733679B (zh) 2023-09-01

Similar Documents

Publication Publication Date Title
CN109492581B (zh) 一种基于tp-stg框架的人体动作识别方法
CN110688987B (zh) 一种行人位置检测与跟踪方法及系统
CN107016357B (zh) 一种基于时间域卷积神经网络的视频行人检测方法
CN110503112A (zh) 一种增强特征学习的小目标检测及识别方法
CN109583315B (zh) 一种面向智能视频监控的多通道快速人体姿态识别方法
CN113537099B (zh) 一种公路隧道火灾烟雾动态检测方法
CN111339883A (zh) 复杂场景下基于人工智能的变电站内异常行为识别与检测方法
CN112149514B (zh) 一种施工作业人员的安全着装检测方法及系统
CN109636846B (zh) 基于循环注意力卷积神经网络的目标定位方法
CN107067026A (zh) 基于深度神经网络的电力设备故障检测方法
CN104392461B (zh) 一种基于纹理特征的视频跟踪方法
CN113469050A (zh) 基于图像细分类的火焰检测方法
CN110110755A (zh) 基于ptgan区域差距与多重分支的行人重识别检测算法及装置
CN112149618B (zh) 适用于巡检车的行人异常行为检测方法与装置
CN111539422A (zh) 基于Faster RCNN的飞行目标协同识别方法
CN114708566A (zh) 一种基于改进YOLOv4的自动驾驶目标检测方法
CN114565891A (zh) 一种基于图形生成技术的烟火监测方法及系统
CN105893941A (zh) 一种基于区域图像的人脸表情识别方法
CN109816022A (zh) 一种基于三支决策与cnn的图像识别方法
CN113095301A (zh) 占道经营监测方法、系统与服务器
CN112733679A (zh) 一种基于案件逻辑推理的预警系统及训练方法
Deldjoo et al. A novel fuzzy-based smoke detection system using dynamic and static smoke features
CN111160292A (zh) 人眼检测方法
Deshmukh et al. An adaptive neuro-fuzzy system for color image segmentation
Dorrani Traffic Scene Analysis and Classification using Deep Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant