CN113743238A - 异常行为的检测方法、装置、电子装置和存储介质 - Google Patents
异常行为的检测方法、装置、电子装置和存储介质 Download PDFInfo
- Publication number
- CN113743238A CN113743238A CN202110923637.8A CN202110923637A CN113743238A CN 113743238 A CN113743238 A CN 113743238A CN 202110923637 A CN202110923637 A CN 202110923637A CN 113743238 A CN113743238 A CN 113743238A
- Authority
- CN
- China
- Prior art keywords
- target
- detected
- behavior
- equipment
- target equipment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 206010000117 Abnormal behaviour Diseases 0.000 title claims abstract description 79
- 238000001514 detection method Methods 0.000 title claims abstract description 20
- 230000006399 behavior Effects 0.000 claims abstract description 113
- 238000012544 monitoring process Methods 0.000 claims abstract description 72
- 238000000034 method Methods 0.000 claims abstract description 34
- 238000012806 monitoring device Methods 0.000 claims abstract description 11
- 238000004590 computer program Methods 0.000 claims description 15
- 238000013527 convolutional neural network Methods 0.000 claims description 10
- 230000001066 destructive effect Effects 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 6
- 238000012300 Sequence Analysis Methods 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 abstract description 4
- 230000000694 effects Effects 0.000 abstract description 3
- 238000011176 pooling Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000254 damaging effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000013024 troubleshooting Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
本申请涉及一种异常行为的检测方法、装置、电子装置和存储介质，应用于对预设目标设备的监控管理，该方法包括：对监控画面中的待测目标进行目标跟踪，确定待测目标是否朝向目标设备移动，其中，监控画面是预设的监控装置对目标设备所在区域进行采集得到的，在待测目标朝向目标设备移动的情况下，对待测目标进行行为识别，根据待测目标所对应的行为识别结果，确定待测目标是否执行与目标设备关联的异常行为。通过本申请，解决了相关技术中对行人针对目标设备进行的异常行为进行检测的误报率高的问题，实现了提高对行人针对目标设备进行的异常行为进行检测的准确性的技术效果。
Description
技术领域
本申请涉及视频监控技术领域，特别是涉及一种异常行为的检测方法、装置、电子装置和存储介质。
背景技术
随着经济社会的快速发展，消防安全的重要性越来越突出。当建筑物发生火灾时，确保消防设备处于正常工作状态便显得至关重要，因此，在日常生产生活中，需要人们对消防设备定时进行全面细致的故障排查。
在各种应急场景下，确保消防设备的正常使用就是对人民群众的日常生活工作秩序和生命财产安全的保障，所以消防设备在任何时候都能及时发挥作用是需要保证的，因此预防盗窃、破坏、违规使用消防设备的行为是消防应急的工作重点之一。
目前，相关技术中一般通过对消防设备进行实时监控来保证消防设备的破坏、缺失、挪用能够被及时发现，早期的监控方法通过对消防设备进行检测和位置定位的方式来判定消防设备是否处于正确的位置，并根据前后比对的结果进行判定或报警。然而，在这类方法报警时，针对消防设备的挪用、破坏行为已经发生，消防设备已经处于缺失、甚至是被破坏的状态，此时消防设备的可用性无法再得到保证，对于后续的消防工作已经产生影响；同时，仅对消防设备进行位置定位式的监控，由于日常消防工作中可能出现设备检查、维护的情况，或者出现需要使用消防设备进行培训的情况，这类技术方案会忽视这类正常情况，从而产生误报的现象，给工作人员的工作带来不便。
目前针对相关技术中对行人针对目标设备进行的异常行为进行检测的误报率高的问题，尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种异常行为的检测方法、装置、电子装置和存储介质，以至少解决相关技术中对行人针对目标设备进行的异常行为进行检测的误报率高的问题。
第一方面，本申请实施例提供了一种异常行为的检测方法，应用于对预设目标设备的监控管理，所述方法包括：对监控画面中的待测目标进行目标跟踪，确定所述待测目标是否朝向所述目标设备移动，其中，所述监控画面是预设的监控装置对目标设备所在区域进行采集得到的；在所述待测目标朝向所述目标设备移动的情况下，对所述待测目标进行行为识别；根据所述待测目标所对应的行为识别结果，确定所述待测目标是否执行与所述目标设备关联的异常行为。
在其中一些实施例中，在所述待测目标朝向所述目标设备移动的情况下，对所述待测目标进行行为识别包括：对监控画面中的待测目标进行目标跟踪，确定所述待测目标与所述目标设备之间的距离；在所述待测目标朝向所述目标设备移动，且所述待测目标与所述目标设备之间的距离小于第一预设阈值的情况下，对所述待测目标进行行为识别。
在其中一些实施例中，对监控画面中的待测目标进行目标跟踪，确定所述待测目标与所述目标设备之间的距离包括：对所述监控画面中的目标设备进行位置标定，确定所述目标设备的位置信息；在所述监控画面中对所述待测目标进行目标跟踪，得到与所述待测目标对应的移动序列图像；根据所述移动序列图像，构建得到所述待测目标的移动轨迹和运动方向；根据所述移动轨迹和所述运动方向，计算得到所述待测目标的位置信息，并根据所述待测目标的位置信息以及所述目标设备的位置信息，确定所述待测目标与所述目标设备之间的距离。
在其中一些实施例中，对监控画面中的待测目标进行目标跟踪包括：对所述待测目标进行人脸识别，得到与所述待测目标对应的人脸识别结果；根据所述待测目标所对应的人脸识别结果，确定所述待测目标是否具备与所述目标设备对应的使用权限；在所述待测目标不具备与所述目标设备对应的使用权限的情况下，在所述监控画面中对所述待测目标进行目标跟踪。
在其中一些实施例中，对监控画面中的待测目标进行目标跟踪包括：对所述待测目标进行服装识别，得到与所述待测目标对应的服装识别结果；根据所述待测目标所对应的服装识别结果，确定所述待测目标是否具备与所述目标设备对应的使用权限；在所述待测目标不具备与所述目标设备对应的使用权限的情况下，在所述监控画面中对所述待测目标进行目标跟踪。
在其中一些实施例中，所述行为识别结果包括所述待测目标的朝向角度和所述待测目标的行为类别；对所述待测目标进行行为识别包括：对所述待测目标进行多帧时序分析，得到与所述待测目标对应的多帧时序图像；将所述多帧时序图像输入已训练的行为识别模型，得到所述已训练的行为识别模型输出的所述待测目标的朝向角度以及所述待测目标的行为类别，其中，所述已训练的行为识别模型是以图像样本作为输入，以图像样本中目标样本的朝向角度以及目标样本的行为类别作为监督，对卷积神经网络模型进行训练得到的。
在其中一些实施例中，根据所述待测目标所对应的行为识别结果，确定所述待测目标是否执行与所述目标设备关联的异常行为包括：根据所述待测目标的朝向角度，确定所述待测目标的朝向与所述目标设备之间的夹角是否小于第二预设阈值；在所述待测目标的朝向与所述目标设备之间的夹角小于第二预设阈值的情况下，根据所述待测目标的行为类别，确定所述待测目标是否执行与所述目标设备关联的异常行为。
在其中一些实施例中，所述异常行为包括破坏行为和安全隐患行为；根据所述待测目标的行为类别，确定所述待测目标是否执行与所述目标设备关联的异常行为包括：在所述待测目标的行为类别包括预设的第一类异常行为的情况下，确定所述待测目标在执行与所述目标设备关联的破坏行为，发送一级报警信息；在所述待测目标的行为类别包括预设的第二类异常行为的情况下，确定所述待测目标在执行与所述目标设备关联的安全隐患行为，发送二级报警信息。
第二方面，本申请实施例提供了一种异常行为的检测装置，应用于对目标设备的监控管理，所述装置包括：跟踪模块，用于对监控画面中的待测目标进行目标跟踪，确定所述待测目标是否朝向所述目标设备移动，其中，所述监控画面是预设的监控装置对目标设备所在区域进行采集得到的；识别模块，用于在所述待测目标朝向所述目标设备移动的情况下，对所述待测目标进行行为识别；判断模块，用于根据所述待测目标所对应的行为识别结果，确定所述待测目标是否执行与所述目标设备关联的异常行为。
第三方面，本申请实施例还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行如上述第一方面所述的异常行为的检测方法。
第四方面，本申请实施例还提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被处理器执行时实现如上述第一方面所述的异常行为的检测方法。
相比于相关技术，本申请实施例提供的异常行为的检测方法、装置、电子装置和存储介质，对监控画面中的待测目标进行目标跟踪，确定待测目标是否朝向目标设备移动，其中，监控画面是预设的监控装置对目标设备所在区域进行采集得到的，并在待测目标朝向目标设备移动的情况下，对待测目标进行行为识别，最后根据待测目标所对应的行为识别结果，确定待测目标是否执行与目标设备关联的异常行为，解决了相关技术中对行人针对目标设备进行的异常行为进行检测的误报率高的问题，实现了提高对行人针对目标设备进行的异常行为进行检测的准确率的技术效果。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的异常行为的检测方法的流程图；
图2是根据本申请实施例的异常行为的检测装置的结构框图；
图3是根据本申请实施例的电子装置的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
本实施例提供了一种异常行为的检测方法，应用于对预设目标设备的监控管理，图1是根据本申请实施例的异常行为的检测方法的流程图，如图1所示，该方法包括：
步骤S101，对监控画面中的待测目标进行目标跟踪，确定待测目标是否朝向目标设备移动，其中，监控画面是预设的监控装置对目标设备所在区域进行采集得到的。
在本实施例中，可以将监控装置(例如监控摄像机)斜向并面朝目标设备安装，同时在目标设备的周围划定检测区域，得到监控画面。
在本实施例中，可以采用基于深度学习模型构建得到的目标检测模型对监控画面中的行人进行检测，并获取行人在监控画面中的运动区域，进而获取监控画面中的待测目标用于后续的目标跟踪和行为识别。
在上述实施例中，目标检测模型可以包含由卷积层、池化层和下采样层构成的特征提取层，同时通过上采样与特征复用获得针对不同尺度大小的行人的目标特征，输入到包含分类和检测的输出层获得检测结果。
在上述实施例中，预设的目标设备可以包括各类消防设备，例如建筑物内的火灾自动报警系统、室内消火栓、室外消火栓等，本申请在此不作限制。
步骤S102，在待测目标朝向目标设备移动的情况下，对待测目标进行行为识别。
在本实施例中，可以采用基于卡尔曼滤波器构建得到的运动跟踪算法对待测目标进行多帧追踪，并获得待测目标的移动序列图像，并根据待测目标的移动序列图像确定待测目标是否朝向目标设备移动。
步骤S103，根据待测目标所对应的行为识别结果，确定待测目标是否执行与目标设备关联的异常行为。
在本实施例中，在确定待测目标朝向目标设备移动的情况下，可以确定待测目标为待观察目标，即该待测目标存在针对目标设备进行异常行为的可能性。
在本实施例中，异常行为可以包括破坏行为和安全隐患行为，可以根据待测目标所对应的行为识别结果，确定待测目标是否针对目标设备进行异常行为；例如，若确定待测目标的行为类别为打砸等破坏性行为，则确定待测目标对目标设备做出破坏行为；若确定待测目标的行为类别为开箱、搬运等可能产生安全隐患行为，则确定待测目标对目标设备做出安全隐患行为。
在上述实施例中，深度学习模型可以是卷积神经网络。
卷积神经网络(Convolutional Neural Networks，简称为CNN)是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks，简称为FNN)，是深度学习的代表算法之一。卷积神经网络就有连接性、表征学习能力，因此能够很好地从大量样本中学习到相应的特征。
在本实施例中，可以构建一个具有多层卷积层、下采样层和池化层的神经网络，多层卷积层可以用于提取监控画面中行人的不同特征，池化层可以用于对数据进行采样处理，对多尺度数据特征进行学习分类，提高模型分类辨识度，并提供了非线性，减少模型参数数量，减少过拟合问题。
在上述实施例中，通过将待测目标的行为与目标设备进行位置和朝向关联，从而确定待测目标是否针对目标设备做出异常行为，使得对行人针对目标设备进行的异常行为进行检测的准确率更高，同时，可以在判定待测目标存在针对目标设备进行异常行为的可能性时对待测目标的行为进行识别，能够精准识别待测目标是否针对目标设备进行异常行为，降低检测的误报率。
通过上述步骤S101至步骤S103，对监控画面中的待测目标进行目标跟踪，确定待测目标是否朝向目标设备移动，其中，监控画面是预设的监控装置对目标设备所在区域进行采集得到的，并在待测目标朝向目标设备移动的情况下，对待测目标进行行为识别，最后根据待测目标所对应的行为识别结果，确定待测目标是否执行与目标设备关联的异常行为。通过本申请，解决了相关技术中对行人针对目标设备进行的异常行为进行检测的误报率高的问题，实现了提高对行人针对目标设备进行的异常行为进行检测的准确率的技术效果。
在其中一些实施例中，在待测目标朝向目标设备移动的情况下，对待测目标进行行为识别通过如下步骤实现：
步骤1，对监控画面中的待测目标进行目标跟踪，确定待测目标与目标设备之间的距离。
步骤2，在待测目标朝向目标设备移动，且待测目标与目标设备之间的距离小于第一预设阈值的情况下，对待测目标进行行为识别。
在本实施例中，对监控画面中的待测目标进行目标跟踪，确定待测目标与目标设备之间的距离可以通过如下步骤实现：
步骤1，对监控画面中的目标设备进行位置标定，确定目标设备的位置信息。
步骤2，在监控画面中对待测目标进行目标跟踪，得到与待测目标对应的移动序列图像。
步骤3，根据移动序列图像，构建得到待测目标的移动轨迹和运动方向。
步骤4，根据移动轨迹和运动方向，计算得到待测目标的位置信息，并根据待测目标的位置信息以及目标设备的位置信息，确定待测目标与目标设备之间的距离。
在本实施例中，可以在监控画面中对目标设备进行位置标定，可以采用基于卡尔曼滤波器构建得到的运动跟踪算法对待测目标进行多帧追踪，并获取与待测目标对应的移动序列图像，构建得到待测目标的移动轨迹和运动方向，同时计算移动轨迹的实时位置信息，进而获取待测目标与目标设备之间的距离。
在上述实施例中，通过确定待测目标的朝向以及待测目标与目标设备之间的距离，预判待测目标操作目标设备的可能性，将朝向目标设备移动，且与目标设备之间的距离小于第一预设阈值的待测目标设为重点监测目标，对其进行重点监测，对非重点监测目标则不进行后续的行为识别处理，提高检测的效率，降低误报率。
在上述实施例中，第一预设阈值可以根据实际需要设置，例如设置为2米、0.5米等，本申请不作限制。
在其中一些实施例中，对监控画面中的待测目标进行目标跟踪通过如下步骤实现：
步骤1，对待测目标进行人脸识别，得到与待测目标对应的人脸识别结果。
步骤2，根据待测目标所对应的人脸识别结果，确定待测目标是否具备与目标设备对应的使用权限。
步骤3，在待测目标不具备与目标设备对应的使用权限的情况下，在监控画面中对待测目标进行目标跟踪。
在本实施例中，可以采用人脸检测模型对待测目标进行人脸检测，利用人脸检测模型提取图像的哈尔特征，构建多个弱分类器，通过AdaBoost(自适应增强，AdaptiveBoosting，简称为AdaBoost)算法进行级联加权构成强分类器进行人脸检测。
在上述实施例中，可以对检测到的人脸采用包含多层2D卷积、残差连接、池化层的属性分类器进行人脸识别，并将人脸识别结果与预设的人脸数据库中的每一人脸进行匹配，其中，人脸数据库可以包括预先采集得到的工作人员的人脸信息，即所有具备与目标设备对应的使用权限的人员的人脸信息。
在人脸识别结果与人脸数据库中的任一人脸均不匹配时，即确定待测目标不具备与目标设备对应的使用权限，则确定待测目标没有被授权可以使用该目标设备，即确定该待测目标为非专业人员，并在监控画面中对待测目标进行目标跟踪处理。
在其中一些实施例中，对监控画面中的待测目标进行目标跟踪通过如下步骤实现：
步骤1，对待测目标进行服装识别，得到与待测目标对应的服装识别结果。
步骤2，根据待测目标所对应的服装识别结果，确定待测目标是否具备与目标设备对应的使用权限。
步骤3，在待测目标不具备与目标设备对应的使用权限的情况下，在监控画面中对待测目标进行目标跟踪。
在本实施例中，可以采用上述的目标检测模型对待测目标进行服装识别，可以将待测目标所对应的服装识别结果与预设的服装数据库中的每一服装进行比对，服装数据库可以采集各类具备与目标设备对应的使用权限的工作人员的工作制服的服装数据，例如消防安检人员的工作制服的服装数据等。
在服装识别结果与服装数据库中的任一服装均不匹配时，即确定待测目标不具备与目标设备对应的使用权限，则确定待测目标没有被授权可以使用该目标设备，即确定该待测目标为非专业人员，并在监控画面中对待测目标进行目标跟踪处理。
在上述实施例中，还可以在待测目标的人脸识别结果与人脸数据库中的任一人脸均不匹配时，再对待测目标进行服装识别，双重判定确定待测目标是否具备该目标设备所对应的使用权限，采用人脸识别和服装识别对待测目标的专业身份进行判定，对没有被授权可以使用该目标设备的目标(即非消防专业操作人员)进行重点监测，减少误报、漏报的可能性。
通过上述实施例，采用人脸识别和服装识别对待测目标的专业身份进行判定，并对待测目标是否针对目标设备进行异常行为进行识别，并在待测目标执行与目标设备关联的异常行为时进行实时报警，保证目标设备的正常使用不受人为因素(日常的消防工作中的设备检查与更换、正常的目标设备使用培训工作、消防事件发生时专业操作人员的操作行为)影响。
在其中一些实施例中，行为识别结果包括待测目标的朝向角度和待测目标的行为类别；对待测目标进行行为识别通过如下步骤实现：
步骤1，对待测目标进行多帧时序分析，得到与待测目标对应的多帧时序图像。
步骤2，将多帧时序图像输入已训练的行为识别模型，得到已训练的行为识别模型输出的待测目标的朝向角度以及待测目标的行为类别，其中，已训练的行为识别模型是以图像样本作为输入，以图像样本中目标样本的朝向角度以及目标样本的行为类别作为监督，对卷积神经网络模型进行训练得到的。
在本实施例中，可以构建一个具有3D时序卷积模块、深度可分离卷积模块和3D池化模块的3D卷积神经网络，采用全连接层输出到分类器获得待测目标行为的分类结果，同时回归得到待测目标的朝向角度，对待测目标的动作行为进行分类，并对其的朝向进行判断。
在上述实施例中，通过卷积神经网络模型计算得到待测目标的朝向角度以及待测目标与目标设备之间的距离，可以精准的预判待测目标操作目标设备的可能性，将待测目标与目标设备的朝向关系与多帧时序关键点分类获得的待测目标的行为类别结合进行综合判定，在待测目标朝向目标设备执行异常行为时进行报警，减少误报、漏报的可能性。
在其中一些实施例中，根据待测目标所对应的行为识别结果，确定待测目标是否执行与目标设备关联的异常行为通过如下步骤实现：
步骤1，根据待测目标的朝向角度，确定待测目标的朝向与目标设备之间的夹角是否小于第二预设阈值。
步骤2，在待测目标的朝向与目标设备之间的夹角小于第二预设阈值的情况下，根据待测目标的行为类别，确定待测目标是否执行与目标设备关联的异常行为。
在本实施例汇总，第二预设阈值可以根据实际情况设定，例如15度、30度等，本申请在此不作限制。
在本实施例中，根据待测目标的行为类别，确定待测目标是否针对目标设备进行异常行为可以包括：在待测目标的行为类别包括预设的第一类异常行为的情况下，确定待测目标在执行与目标设备关联的破坏行为，发送一级报警信息；在待测目标的行为类别包括预设的第二类异常行为的情况下，确定待测目标在执行与目标设备关联的安全隐患行为，发送二级报警信息。
在上述实施例中，第一类异常行为可以包括打、砸、撬等动作，即确定待测目标的行为类别包括打、砸、撬中至少其中之一的情况下，则可以确定待测目标在执行与目标设备关联的破坏行为，此时发送一级报警信息。
在上述实施例中，第二类异常行为可以包括开箱、搬运等动作，即确定待测目标的行为类别包括打开存放目标设备的柜门或者搬运目标设备时，则可以确定待测目标在执行与目标设备关联的安全隐患行为，此时发送二级报警信息。
其中，一级报警信息的优先级以及重要性可以高于二级报警信息，例如，一级报警信息需要发送给管理人员以及安保系统，二级报警信息可以只发送给管理人员，由管理人员确定是否将其发送给安保系统。
本实施例提供了一种异常行为的检测装置，应用于对目标设备的监控管理，图2是根据本申请实施例的异常行为的检测装置的结构框图，如图2所示，该装置包括：跟踪模块20，用于对监控画面中的待测目标进行目标跟踪，确定待测目标是否朝向目标设备移动，其中，监控画面是预设的监控装置对目标设备所在区域进行采集得到的；识别模块21，用于在待测目标朝向目标设备移动的情况下，对待测目标进行行为识别；判断模块22，用于根据待测目标所对应的行为识别结果，确定待测目标是否执行与目标设备关联的异常行为。
在其中一些实施例中，跟踪模块20还被配置为用于对监控画面中的待测目标进行目标跟踪，确定待测目标与目标设备之间的距离；识别模块21还被配置为用于在待测目标朝向目标设备移动，且待测目标与目标设备之间的距离小于第一预设阈值的情况下，对待测目标进行行为识别。
在其中一些实施例中，跟踪模块20还被配置为用于对监控画面中的目标设备进行位置标定，确定目标设备的位置信息；在监控画面中对待测目标进行目标跟踪，得到与待测目标对应的移动序列图像；根据移动序列图像，构建得到待测目标的移动轨迹和运动方向；根据移动轨迹和运动方向，计算得到待测目标的位置信息，并根据待测目标的位置信息以及目标设备的位置信息，确定待测目标与目标设备之间的距离。
在其中一些实施例中，跟踪模块20还被配置为用于对待测目标进行人脸识别，得到与待测目标对应的人脸识别结果；根据待测目标所对应的人脸识别结果，确定待测目标是否具备与目标设备对应的使用权限；在待测目标不具备与目标设备对应的使用权限的情况下，在监控画面中对待测目标进行目标跟踪。
在其中一些实施例中，跟踪模块20还被配置为用于对待测目标进行服装识别，得到与待测目标对应的服装识别结果；根据待测目标所对应的服装识别结果，确定待测目标是否具备与目标设备对应的使用权限；在待测目标不具备与目标设备对应的使用权限的情况下，在监控画面中对待测目标进行目标跟踪。
在其中一些实施例中，行为识别结果包括待测目标的朝向角度和待测目标的行为类别；识别模块21还被配置为用于对待测目标进行多帧时序分析，得到与待测目标对应的多帧时序图像；将多帧时序图像输入已训练的行为识别模型，得到已训练的行为识别模型输出的待测目标的朝向角度以及待测目标的行为类别，其中，已训练的行为识别模型是以图像样本作为输入，以图像样本中目标样本的朝向角度以及目标样本的行为类别作为监督，对卷积神经网络模型进行训练得到的。
在其中一些实施例中，判断模块22还被配置为用于根据待测目标的朝向角度，确定待测目标的朝向与目标设备之间的夹角是否小于第二预设阈值；在待测目标的朝向与目标设备之间的夹角小于第二预设阈值的情况下，根据待测目标的行为类别，确定待测目标是否执行与目标设备关联的异常行为。
在其中一些实施例中，异常行为包括破坏行为和安全隐患行为；判断模块22还被配置为用于在待测目标的行为类别包括预设的第一类异常行为的情况下，确定待测目标在执行与目标设备关联的破坏行为，发送一级报警信息；在待测目标的行为类别包括预设的第二类异常行为的情况下，确定待测目标在执行与目标设备关联的安全隐患行为，发送二级报警信息。
需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
本实施例还提供了一种电子装置，图3是根据本申请实施例的电子装置的硬件结构示意图，如图3所示，该电子装置包括存储器304和处理器302，该存储器304中存储有计算机程序，该处理器302被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
具体地，上述处理器302可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中，存储器304可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器304可包括硬盘驱动器(Hard Disk Drive，简称为HDD)、软盘驱动器、固态驱动器(Solid State Drive，简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(UniversalSerial Bus，简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器304可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器304可在异常行为的检测装置的内部或外部。在特定实施例中，存储器304是非易失性(Non-Volatile)存储器。在特定实施例中，存储器304包括只读存储器(Read-Only Memory，简称为ROM)和随机存取存储器(Random Access Memory，简称为RAM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(Programmable Read-Only Memory，简称为PROM)、可擦除PROM(ErasableProgrammable Read-Only Memory，简称为EPROM)、电可擦除PROM(Electrically ErasableProgrammable Read-Only Memory，简称为EEPROM)、电可改写ROM(ElectricallyAlterable Read-Only Memory，简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器(Static Random-AccessMemory，简称为SRAM)或动态随机存取存储器(Dynamic Random Access Memory，简称为DRAM)，其中，DRAM可以是快速页模式动态随机存取存储器(Fast Page Mode DynamicRandom Access Memory，简称为FPMDRAM)、扩展数据输出动态随机存取存储器(ExtendedDate Out Dynamic Random Access Memory，简称为EDODRAM)、同步动态随机存取内存(Synchronous Dynamic Random-Access Memory，简称SDRAM)等。
存储器304可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器302所执行的可能的计算机程序指令。
处理器302通过读取并执行存储器304中存储的计算机程序指令，以实现上述实施例中的任意一种异常行为的检测方法。
可选地，上述电子装置还可以包括传输设备306以及输入输出设备308，其中，该传输设备306和上述处理器302连接，该输入输出设备308和上述处理器302连接。
可选地，在本实施例中，上述处理器302可以被设置为通过计算机程序执行以下步骤：
S1，对监控画面中的待测目标进行目标跟踪，确定待测目标是否朝向目标设备移动，其中，监控画面是预设的监控装置对目标设备所在区域进行采集得到的。
S2，在待测目标朝向目标设备移动的情况下，对待测目标进行行为识别。
S3，根据待测目标所对应的行为识别结果，确定待测目标是否执行与目标设备关联的异常行为。
需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
另外，结合上述实施例中的异常行为的检测方法，本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种异常行为的检测方法。
本领域的技术人员应该明白，以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (11)
1.一种异常行为的检测方法，应用于对预设目标设备的监控管理，其特征在于，所述方法包括：
对监控画面中的待测目标进行目标跟踪，确定所述待测目标是否朝向所述目标设备移动，其中，所述监控画面是预设的监控装置对目标设备所在区域进行采集得到的；
在所述待测目标朝向所述目标设备移动的情况下，对所述待测目标进行行为识别；
根据所述待测目标所对应的行为识别结果，确定所述待测目标是否执行与所述目标设备关联的异常行为。
2.根据权利要求1所述的异常行为的检测方法，其特征在于，在所述待测目标朝向所述目标设备移动的情况下，对所述待测目标进行行为识别包括：
对监控画面中的待测目标进行目标跟踪，确定所述待测目标与所述目标设备之间的距离；
在所述待测目标朝向所述目标设备移动，且所述待测目标与所述目标设备之间的距离小于第一预设阈值的情况下，对所述待测目标进行行为识别。
3.根据权利要求2所述的异常行为的检测方法，其特征在于，对监控画面中的待测目标进行目标跟踪，确定所述待测目标与所述目标设备之间的距离包括：
对所述监控画面中的目标设备进行位置标定，确定所述目标设备的位置信息；
在所述监控画面中对所述待测目标进行目标跟踪，得到与所述待测目标对应的移动序列图像；
根据所述移动序列图像，构建得到所述待测目标的移动轨迹和运动方向；
根据所述移动轨迹和所述运动方向，计算得到所述待测目标的位置信息，并根据所述待测目标的位置信息以及所述目标设备的位置信息，确定所述待测目标与所述目标设备之间的距离。
4.根据权利要求1所述的异常行为的检测方法，其特征在于，对监控画面中的待测目标进行目标跟踪包括：
对所述待测目标进行人脸识别，得到与所述待测目标对应的人脸识别结果；
根据所述待测目标所对应的人脸识别结果，确定所述待测目标是否具备与所述目标设备对应的使用权限；
在所述待测目标不具备与所述目标设备对应的使用权限的情况下，在所述监控画面中对所述待测目标进行目标跟踪。
5.根据权利要求1或4所述的异常行为的检测方法，其特征在于，对监控画面中的待测目标进行目标跟踪包括：
对所述待测目标进行服装识别，得到与所述待测目标对应的服装识别结果；
根据所述待测目标所对应的服装识别结果，确定所述待测目标是否具备与所述目标设备对应的使用权限；
在所述待测目标不具备与所述目标设备对应的使用权限的情况下，在所述监控画面中对所述待测目标进行目标跟踪。
6.根据权利要求1所述的异常行为的检测方法，其特征在于，所述行为识别结果包括所述待测目标的朝向角度和所述待测目标的行为类别；对所述待测目标进行行为识别包括：
对所述待测目标进行多帧时序分析，得到与所述待测目标对应的多帧时序图像；
将所述多帧时序图像输入已训练的行为识别模型，得到所述已训练的行为识别模型输出的所述待测目标的朝向角度以及所述待测目标的行为类别，其中，所述已训练的行为识别模型是以图像样本作为输入，以图像样本中目标样本的朝向角度以及目标样本的行为类别作为监督，对卷积神经网络模型进行训练得到的。
7.根据权利要求6所述的异常行为的检测方法，其特征在于，根据所述待测目标所对应的行为识别结果，确定所述待测目标是否执行与所述目标设备关联的异常行为包括：
根据所述待测目标的朝向角度，确定所述待测目标的朝向与所述目标设备之间的夹角是否小于第二预设阈值；
在所述待测目标的朝向与所述目标设备之间的夹角小于第二预设阈值的情况下，根据所述待测目标的行为类别，确定所述待测目标是否执行与所述目标设备关联的异常行为。
8.根据权利要求7所述的异常行为的检测方法，其特征在于，所述异常行为包括破坏行为和安全隐患行为；根据所述待测目标的行为类别，确定所述待测目标是否执行与所述目标设备关联的异常行为包括：
在所述待测目标的行为类别包括预设的第一类异常行为的情况下，确定所述待测目标在执行与所述目标设备关联的破坏行为，发送一级报警信息；
在所述待测目标的行为类别包括预设的第二类异常行为的情况下，确定所述待测目标在执行与所述目标设备关联的安全隐患行为，发送二级报警信息。
9.一种异常行为的检测装置，应用于对目标设备的监控管理，其特征在于，所述装置包括：
跟踪模块，用于对监控画面中的待测目标进行目标跟踪，确定所述待测目标是否朝向所述目标设备移动，其中，所述监控画面是预设的监控装置对目标设备所在区域进行采集得到的；
识别模块，用于在所述待测目标朝向所述目标设备移动的情况下，对所述待测目标进行行为识别；
判断模块，用于根据所述待测目标所对应的行为识别结果，确定所述待测目标是否执行与所述目标设备关联的异常行为。
10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至8中任一项所述的异常行为的检测方法。
11.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的异常行为的检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110923637.8A CN113743238A (zh) | 2021-08-12 | 2021-08-12 | 异常行为的检测方法、装置、电子装置和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110923637.8A CN113743238A (zh) | 2021-08-12 | 2021-08-12 | 异常行为的检测方法、装置、电子装置和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113743238A true CN113743238A (zh) | 2021-12-03 |
Family
ID=78730823
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110923637.8A Pending CN113743238A (zh) | 2021-08-12 | 2021-08-12 | 异常行为的检测方法、装置、电子装置和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113743238A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116052275A (zh) * | 2023-01-28 | 2023-05-02 | 北京安录国际技术有限公司 | 基于大数据的异常行为检测方法以及系统 |
| CN117151675A (zh) * | 2023-03-16 | 2023-12-01 | 杭州水务数智科技股份有限公司 | 一种基于视频监控和加密的远程运维方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101609581A (zh) * | 2008-06-16 | 2009-12-23 | 云南正卓信息技术有限公司 | Atm机的异常视频预警装置 |
| CN110889325A (zh) * | 2019-10-12 | 2020-03-17 | 平安科技（深圳）有限公司 | 多任务面部动作识别模型训练和多任务面部动作识别方法 |
| CN113160475A (zh) * | 2021-04-21 | 2021-07-23 | 深圳前海微众银行股份有限公司 | 门禁控制方法、装置、设备及计算机可读存储介质 |
-
2021
- 2021-08-12 CN CN202110923637.8A patent/CN113743238A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101609581A (zh) * | 2008-06-16 | 2009-12-23 | 云南正卓信息技术有限公司 | Atm机的异常视频预警装置 |
| CN110889325A (zh) * | 2019-10-12 | 2020-03-17 | 平安科技（深圳）有限公司 | 多任务面部动作识别模型训练和多任务面部动作识别方法 |
| CN113160475A (zh) * | 2021-04-21 | 2021-07-23 | 深圳前海微众银行股份有限公司 | 门禁控制方法、装置、设备及计算机可读存储介质 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116052275A (zh) * | 2023-01-28 | 2023-05-02 | 北京安录国际技术有限公司 | 基于大数据的异常行为检测方法以及系统 |
| CN117151675A (zh) * | 2023-03-16 | 2023-12-01 | 杭州水务数智科技股份有限公司 | 一种基于视频监控和加密的远程运维方法及系统 |
| CN117151675B (zh) * | 2023-03-16 | 2024-04-09 | 杭州水务数智科技股份有限公司 | 一种基于视频监控和加密的远程运维方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10956753B2 (en) | Image processing system and image processing method | |
| Franklin et al. | Anomaly detection in videos for video surveillance applications using neural networks | |
| CN110390357A (zh) | 一种基于边信道的dtu安全监测方法 | |
| Tripathi et al. | Real time security framework for detecting abnormal events at ATM installations | |
| CN113743238A (zh) | 异常行为的检测方法、装置、电子装置和存储介质 | |
| EP2250632A1 (en) | Video sensor and alarm system and method with object and event classification | |
| CN108021846A (zh) | 一种人脸识别方法和装置 | |
| CN106792883A (zh) | 传感器网络异常数据检测方法与系统 | |
| CN112733629A (zh) | 异常行为判断方法、装置、设备和存储介质 | |
| Orru et al. | Detecting anomalies from video-sequences: a novel descriptor | |
| Zhaa et al. | Fire smoke detection based on contextual object detection | |
| CN107920224A (zh) | 一种异常告警方法、设备及视频监控系统 | |
| Mwedzi et al. | Machine learning applications for fire detection in a residential building | |
| Varghese et al. | Video anomaly detection in confined areas | |
| CN116778657A (zh) | 一种智能识别入侵行为的方法及系统 | |
| CN116993265A (zh) | 一种基于物联网的智能仓储安全管理系统 | |
| Archana et al. | To detect abnormal event at ATM system by using image processing based on IOT technologies | |
| Anika et al. | Multi image retrieval for kernel-based automated intruder detection | |
| CN115396591A (zh) | 智能双光摄像机图像处理方法、装置、摄像机及介质 | |
| CN115410112A (zh) | 电梯异常停留识别方法、装置及存储介质 | |
| Shamnath et al. | Human Suspicious Activity Detection Using Ensemble Machine Learning Techniques | |
| Hommes et al. | Detection of abnormal behaviour in a surveillance environment using control charts | |
| CN113297976A (zh) | 一种基于深度学习的基站入侵检测方法和系统 | |
| CN112837471A (zh) | 网约房安全监控方法和装置 | |
| Brax et al. | An ensemble approach for increased anomaly detection performance in video surveillance data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |