CN110782639A - 异常行为告警方法、装置、系统和存储介质 - Google Patents

Abstract

本申请提供了一种异常行为告警方法、装置、系统和存储介质。所述方法包括：获取视频流数据；所述视频流数据包括多帧图像；加载异常识别模型，通过所述异常识别模型处理所述多帧图像，得到识别结果；当识别到异常行为时，根据异常行为与告警信息的映射关系获取所述异常行为对应的告警信息；将所述告警信息传输至智能网关，使智能网关将所述告警信息传输至相应的目标多媒体设备。采用本方法能够提高异常行为的告警效率。

Description

异常行为告警方法、装置、系统和存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种异常行为告警方法、装置、系统和存储介质。

背景技术

近年来，频发的突发事件和异常事件已经严重影响了社会的公共安全。针对这种危害公共安全的行为，可以采用异常行为识别技术作为安全防范的措施。异常行为是指人体无规律的非正常行为，比如打架斗殴、偷盗、病倒等行为。

目前，常用的异常行为识别技术是将采集到的视频流数据传输至服务器端，通过服务器从视频流数据中检测并识别人员异常行为，由于将视频流传输至服务器需要消耗一定的时间，尤其是在网络速度较慢的情况下，由此导致异常行为的识别效率较慢，不能及时预警。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高告警效率的异常行为告警方法、装置、系统和存储介质。

一种异常行为告警方法，所述方法包括：

获取视频流数据；所述视频流数据包括多帧图像；

加载异常识别模型，通过所述异常识别模型处理所述多帧图像，得到识别结果；

当识别到异常行为时，根据异常行为与告警信息的映射关系获取所述异常行为对应的告警信息；

将所述告警信息传输至智能网关，使智能网关将所述告警信息传输至相应的目标多媒体设备。

在一个实施例中，所述方法还包括：

当检测到异常行为的更新指令时，根据所述更新指令所携带的异常行为标识从云服务器获取相应的异常识别模型；

将获取到的异常识别模型替换本地缓存的异常识别模型。

在一个实施例中，所述将所述告警信息传输至智能网关包括：

获取本地接口的端口标识；

按照所述端口标识的数据传输格式对所述告警信息进行数据转换；

将转换后的告警信息通过所述本地接口传输至智能网关。

在一个实施例中，所述将所述告警信息传输至智能网关，使智能网关将所述告警信息传输至相应的目标多媒体设备包括：

将所述告警信息传输至智能网关，使智能网关根据所述告警信息从知识图谱中获取一个或多个处理信息；

所述智能网关根据每个所述处理信息生成对应目标多媒体设备的处理指令，将每个所述处理指令传输至相应的目标多媒体设备。

在一个实施例中，所述异常识别模型的生成方式包括：

获取样本视频流和对应的已知标签；所述样本视频流包括多帧样本图像；

通过待训练的异常识别模型对所述样本图像进行特征提取，得到样本图像的参考特征；

确定所述参考特征与对应的所述已知标签的损失值；

根据所述损失值调整所述异常识别模型中的模型参数，直至所确定的损失值达到训练停止条件。

一种异常行为告警系统，所述系统包括：智能设备、智能网关和多媒体设备，其中所述智能设备包括光学组件和处理器；所述光学组件和所述处理器连接；所述智能网关分别与所述智能设备和所述多媒体设备连接；

所述智能设备通过所述光学组件用于采集视频流数据；所述视频流数据包括多帧图像；

所述智能设备通过所述处理器用于获取视频流数据，通过处理器加载异常识别模型，通过所述异常识别模型处理所述多帧图像，得到识别结果；当识别到异常行为时，根据所述异常行为获取对应的告警信息；将所述告警信息传输至所述智能网关；所述智能网关将所述告警信息传输至相应的目标多媒体设备。

在一个实施例中，所述智能设备还包括与所述处理器连接的存储器，所述存储器存储有用于加载至所述处理器运行的异常识别模型；所述智能设备还用于当检测到异常行为的更新指令时，根据所述更新指令所携带的异常行为标识从云服务器获取相应的异常识别模型；并将获取到的异常识别模型替换所述存储器中存储的异常识别模型。

在一个实施例中，所述智能设备还用于通过所述处理器获取本地接口的端口标识；按照所述端口标识的数据传输格式对所述告警信息进行数据转换；将转换后的告警信息通过所述本地接口传输至智能网关。

在一个实施例中，所述智能设备还用于通过所述处理器将所述告警信息传输至所述智能网关；所述智能网关根据所述告警信息从知识图谱中获取一个或多个处理信息；所述智能网关根据每个所述处理信息生成对应目标多媒体设备的处理指令；所述智能网关将每个所述处理指令传输至相应的目标多媒体设备；所述目标多媒体设备执行所述处理指令。

在一个实施例中，所述智能设备还用于通过所述处理器将所述告警信息和存在异常行为的当前帧图像传输至所述智能网关，所述智能网关根据所述告警信息和所述当前帧图像生成对应的处理指令；所述智能网关将所述处理指令传输至相应的目标多媒体设备，所述目标多媒体设备根据所述处理指令播放所述当前帧图像。

在一个实施例中，所述智能设备还用于通过所述处理器获取样本视频流和对应的已知标签；所述样本视频流包括多帧样本图像；通过待训练的异常识别模型对所述样本图像进行特征提取，得到样本图像的参考特征；确定所述参考特征与对应的所述已知标签的损失值；根据所述损失值调整所述异常识别模型中的模型参数，直至所确定的损失值达到训练停止条件。

一种异常行为告警装置，所述装置包括：

数据获取模块，用于获取视频流数据；所述视频流数据包括多帧图像；

异常识别模块，用于加载异常识别模型，通过所述异常识别模型处理所述多帧图像，得到识别结果；

告警信息获取模块，用于当识别到异常行为时，根据异常行为与告警信息的映射关系获取所述异常行为对应的告警信息；

告警信息传输模块，用于将所述告警信息传输至智能网关，使智能网关将所述告警信息传输至相应的目标多媒体设备。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述异常行为告警方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述异常行为告警方法的步骤。

上述异常行为告警方法、装置、系统和存储介质，通过智能设备内设置的光学组件和处理器，可以直接获取到光学组件采集的视频流数据，减少了数据传输的时间，而且数据传输的效率不受网络速度的影响，保障了数据传输的效率；进而，通过加载的异常识别模型对视频流数据中的多帧图像进行识别，当识别到异常行为时，得到与异常行为对应的告警信息并将传输至智能网关，通过智能网关将告警信息传输至对应的目标多媒体设备，通过处理器及时对视频流数据进行异常行为识别，一旦识别到异常行为就将对应的告警信息通过智能网关传输至对应的目标多媒体设备，可以有效提高异常行为的识别速率，实现对视频流数据中的异常行为的实时预警，由此提高了异常行为的告警效率。

附图说明

图1为一个实施例中异常行为告警方法的应用场景图；

图2为一个实施例中异常行为告警方法的流程示意图；

图3为一个实施例中异常行为告警系统的示意图；

图4为一个实施例中异常行为告警装置的结构框图；

图5为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的异常行为告警方法，可以应用于如图1所示的应用环境中。该异常行为告警方法应用于异常行为告警系统中。该异常行为告警系统包括智能设备102、智能网关104和多媒体设备106，其中智能设备102包括光学组件1022和处理器1024。光学组件1022和处理器1024连接。智能网关104分别和智能设备102和多媒体设备106连接。智能设备通过光学组件1022采集视频流数据，并将采集到的视频流数据传输至处理器1024，智能设备通过处理器1024加载异常识别模型，通过异常识别模型处理获取到的视频流数据，得到识别结果；当识别到异常行为时，处理器104根据异常行为与告警信息的映射关系获取异常行为对应的告警信息；并将告警信息传输至智能网关104，智能网关104将接收到的告警信息传输至相应的目标多媒体设备106。其中，光学组件1022是依据光学原理对目标物体进行感光成像，并形成视频流数据的组件。光学组件包括光学传感器，光学传感器可以是摄像头。光学组件1022可以包括一个或多于一个的光学组件。处理器1024可以是单核或者多核处理器，用于对视频流数据中的每帧图像进行图像特征提取和识别，处理器可以是人工智能芯片。智能网关104具有接收和传输告警信息的路由设备，比如路由器。多媒体设备106可以但不限于是各种电子设备，比如扬声器、视频播放器等。

在一个实施例中，如图2所示，提供了一种异常行为告警方法，以该方法应用于图1中的智能设备为例进行说明，包括以下步骤：

步骤S202，获取视频流数据；视频流数据包括多帧图像。

其中，视频是由多帧具有时间顺序的图像组成的。视频流是指视频数据的传输形式，通过一种稳定和连续的流形式进行传输。视频流数据包括按序排列的多帧图像，视频流数据的传输是指将多帧图像按顺序通过视频流进行传输。

具体地，在所需监控的异常行为告警区域内设置有一个或多个光学组件，通过光学组件实时或在预设时间采集视频，并按照采集时间和采集地点封装成视频流数据。光学组件将采集到的视频流数据传输至智能设备，也可以先传输至存储器中进行存储，也可以将预设时间段内采集到的视频流数据存储在光学组件中。智能设备通过处理器在预设时间从光学组件或存储器中获取视频流数据进行处理。

在其中一个实施例中，智能设备通过处理器对接收到的视频流数据进行视频解码，将视频流数据解码成统一图片格式的图像。

在其中一个实施例中，光学组件可以先将采集到的视频流数据存储在网络视频录像机(Network Video Recorder，NVR)，智能设备通过处理器在预设时间从网络视频录像机中获取视频流数据，或者网络视频录像机实时或在预设时间传输视频流数据至智能设备。

在其中一个实施例中，光学组件具有定位功能，通过运行在光学组件上的定位装置实时获取自身的地理位置信息。光学组件采集当前监控区域的视频流数据并通过定位装置获取光学组件自身的地理位置信息，将该地理位置信息封装至该光学组件对应的视频流视频中。

步骤S204，加载异常识别模型，通过异常识别模型处理多帧图像，得到识别结果。

其中，异常识别模型是指通过具有相同异常行为的用户行为异常的样本图像对识别模型进行训练，得到具有识别该异常行为的识别模型，异常识别模型与异常行为具有一一映射关系。每个异常行为具有唯一区分各异常行为的异常行为标识。

具体地，存储器中存储有异常行为对应的异常识别模型，在智能设备获取到视频流数据时，智能设备通过处理器从存储器中加载异常识别模型，通过异常识别模型对获取到的视频流数据中的多帧图像进行异常行为识别，得到具有异常行为的图像，并获取存在异常行为的图像在视频流数据中的帧标识。其中帧标识是指将视频流数据中的多帧图像按照时间顺序，对包含的多帧图像进行帧标识；比如将位于第一时间顺序的图像标记为第一帧图像，位于第二时间顺序的图像标记为第二帧图像。

在其中一个实施例中，异常识别模型的生成方式包括：获取样本视频流和对应的已知标签；样本视频流包括多帧样本图像；通过待训练的异常识别模型对样本图像进行特征提取，得到样本图像的参考特征；确定参考特征与对应的已知标签的损失值；根据损失值调整异常识别模型中的模型参数，直至所确定的损失值达到训练停止条件。

其中，样本视频流数据包括按序排列的多帧样本图像。参考特征是待训练的异常识别模型对样本图像进行识别后所得的预测标签。随着异常识别模型的训练次数增加，参考特征也会变化。训练停止条件是视频流数据中每个样本图像中的参考特征与已知标签的损失值达到预设范围内，即视频流数据中每个样本图像的预测准确率达到预设范围内。

具体地，智能设备通过处理器获取样本视频流数据以及对应的已知标签，其中样本视频流数据包括按序排列的。通过运行在处理器上的待训练的异常识别模型，提取视频流数据中多帧图像的样本图像特征，得到样本图像特征集合；进一步，对提取到的样本图像特征集合进行异常行为识别，输出每个样本图像所对应的参考特征，通过损失函数计算参考特征与对应的已知标签的损失值，例如参考特征与已知标签一致，则损失值为0；待训练的异常识别模型根据损失值调整模型参数直至得到的损失值达到训练停止条件。其中，损失函数可以是均方差损失函数、交叉熵损失函数、回归损失函数等。异常识别模型可以采用神经网络模型。

在其中一个实施例中，智能设备在接收到视频流数据后，通过神经网络专用芯片上的神经网络模型处理多帧图像，得到识别结果。具体地，处理器与神经网络专用芯片相连，神经网络专用芯片接收通过处理器传输的多帧图像，通过运行在神经网络专用芯片上的神经网络模型对接收到的多帧图像进行异常行为识别，得到识别结果。其中，神经网络专用芯片可以是卷积神经网络专用芯片，神经网络模型可以是卷积神经网络模型、深度学习网络模型等。

在本实施例中，根据样本视频流数据对异常识别模型进行训练，以此得到训练好的异常识别模型，从而更好的对视频流数据进行特征提取和识别，提高了特征提取的准确度，由此使得图像特征的识别结果更精确，从而提高了对异常行为识别的准确率。

在其中一个实施例中，上述异常行为告警方法还包括：当检测到异常行为的更新指令时，根据更新指令所携带的异常行为标识从云服务器获取相应的异常识别模型；将获取到的异常识别模型替换本地缓存的异常识别模型。具体地，智能网关还与终端建立网络连接，用户通过终端发送异常行为的更新指令至智能网关，其中，更新指令携带有异常行为标识。智能网关将接收到的更新指令传输至智能设备，智能设备通过处理器根据异常行为标识从云服务器中获取与该异常行为标识对应的异常识别模型。进而，将获取到的异常识别模型替换存储器中缓存的模型，即存储器中存储了异常行为更新后所对应的异常识别模型。本实施例中，当异常行为更新后，通过终端发起异常行为的更新指令并传输至智能设备，进而根据更新指令从云端下载对应的异常识别模型图像进行处理，在确保告警效率的前提下实现了多种异常行为的告警。

步骤S206，当识别到异常行为时，根据异常行为与告警信息的映射关系获取异常行为对应的告警信息。

其中，异常行为是指针对用户行为中存在的异常情况所对应的行为，比如有人钓鱼、摔倒、打架斗殴等。告警信息是指对异常行为做出提示作用的信息，告警信息与异常行为具有一一对应关系。预先根据异常行为所表达的含义确定告警信息，并存储告警信息和异常行为的映射关系至存储器中。

具体地，基于智能设备通过处理器加载异常识别模型对多帧图像进行识别所得到的识别结果，该识别结果包括异常行为的异常行为标识、以及存在异常行为的图像在视频流数据中的帧标识。当识别到具有异常行为的图像时，基于异常行为与告警信息的映射关系，通过处理器根据异常行为的异常行为标识从存储器中查询对应的告警信息。其中，该告警信息可以是文本信息、语音信息和视频信息的一种或多种组合。

在其中一个实施例中，将告警信息传输至智能网关包括：获取本地接口的端口标识；按照端口标识的数据传输格式对告警信息进行数据转换；将转换后的告警信息通过本地接口传输至智能网关。具体地，基于获得的告警信息，处理器从存储器中获取本地接口的端口标识，根据该端口标识所对应的端口的数据传输格式，将告警信息转换为相同数据传输格式的信息，并调用本地接口将转换格式后的告警信息传输至智能网关。其中端口标识可以是端口号。本实施例中，在传输告警信息之前，将告警信息转换为本地接口统一的数据格式的信息，使得生成的全部告警信息通过统一的接口进行数据传输，而且智能网关也只需要一个接口接收所有的告警信息，不需要开发更多的接口，节约了成本，方便了接口维护。

步骤S208，将告警信息传输至智能网关，使智能网关将告警信息传输至相应的目标多媒体设备。

其中，目标多媒体设备是相对监控区域内其他多媒体设备来说，接收到告警信息的多媒体设备即为目标多媒体设备。

具体地，智能设备将得到的告警信息传输至智能网关，其中，传输方式可以是有线传输方式或无线传输方式，无线传输方式比如射频传输方式、NFC(近场通信)传输方式、蓝牙传输方式或者无线网络传输方式等。智能网关接收告警信息并对告警信息进行处理，得到该告警信息所对应的一个或多个目标多媒体设备的处理指令，并将处理指令发送至对应的目标多媒体设备，使目标多媒体设备根据处理指令执行相应的操作。

在其中一个实施例中，智能设备将告警信息传输至智能网关具体包括：处理器获取智能网关的端口标识，将告警信息通过无线传输至对应端口标识的智能网关。

上述异常行为告警方法中，通过智能设备内设置的光学组件和处理器，可以直接获取到光学组件采集的视频流数据，减少了数据传输的时间，而且数据传输的效率不受网络速度的影响，保障了数据传输的效率；进而，通过加载的异常识别模型对视频流数据中的多帧图像进行识别，当识别到异常行为时，得到与异常行为对应的告警信息并将传输至智能网关，通过智能网关将告警信息传输至对应的目标多媒体设备，通过处理器及时对视频流数据进行异常行为识别，一旦识别到异常行为就将对应的告警信息通过智能网关传输至对应的目标多媒体设备，可以有效提高异常行为的识别速率，实现对视频流数据中的异常行为的实时预警，由此提高了异常行为的告警效率。而且本实施例全程无需人工参与告警，可以实现异常行为的自动化告警。

在一个实施例中，将告警信息传输至智能网关，使智能网关将告警信息传输至相应的目标多媒体设备包括：将告警信息传输至智能网关，使智能网关根据告警信息从知识图谱中获取一个或多个处理信息；智能网关根据每个处理信息生成对应目标多媒体设备的处理指令，将每个处理指令传输至相应的目标多媒体设备。

其中，知识图谱包括各类异常行为的告警信息与处理信息的对应关系。处理信息包括执行信息、该执行信息的存储路径、以及执行该执行信息的多媒体设备标识。

具体地，智能设备将得到的告警信息通过本地接口传输至智能网关，智能网关通过统一的接口接收该告警信息，并根据告警信息从本地缓存的知识图谱中查找对应的处理信息，或者根据告警信息从云服务器中存储的知识图谱中查询对应的处理信息。智能网关根据得到的一个或多个处理信息，根据每个处理信息所携带的执行信息生成与多媒体设备标识对应的目标多媒体设备的处理指令，并将生成的处理指令传输至对应的目标多媒体设备，目标多媒体设备根据接收到的处理指令执行相应的操作。

比如，在知识图谱中预先设置了与严禁打架斗殴相关的处理信息包括广播打架斗殴音频、该音频的存储路径、以及对应的扬声器标识，处理信息还包括播放打架斗殴视频、该视频的存储路径、以及对应的视频播放器标识。当发生打架斗殴的异常行为时，获得对应行为的告警信息为严禁打架斗殴，智能网关根据该告警信息从知识图谱中获取到两条处理信息，即{广播打架斗殴音频、该音频的存储路径、以及对应的扬声器标识}，{播放打架斗殴视频、该视频的存储路径、以及对应的视频播放器标识}。智能网关根据获取到的处理信息生成扬声器标识对应的扬声器的广播指令，扬声器根据音频的存储路径从智能网关中获取对应的音频进行播放，以此实现异常行为的预警；同时，智能网关还根据处理信息生成与视频播放器标识对应的视频播放器的播放指令，智能网关根据视频的存储路径从本地缓存中获取对应的视频，将该视频和播放指令传输至对应的视频播放器，视频播放器根据播放指令播放接收到的视频。其中，该视频播放器和扬声器所处的位置可以不同，也可以相同。

在其中一个实施例中，将告警信息传输至智能网关，使智能网关将告警信息传输至相应的目标多媒体设备包括：将告警信息和存在异常行为的当前帧图像传输至智能网关，使智能网关根据告警信息和当前帧图像生成对应的处理指令；智能网关将处理指令传输至相应的目标多媒体设备，使目标多媒体设备根据处理指令播放当前帧图像。通过目标多媒体设备直接播放存在异常行为的图像，可以更直接、更具体的展示告警信息。

在其中一个实施例中，智能设备还可以将告警信息和存在异常行为的帧标识传输至智能网关，智能网关将告警信息和存在异常行为的帧标识传输至相应的目标多媒体设备，目标多媒体设备根据帧标识从处理器中获取对应的图像帧，并播放图像帧。

在其中一个实施例中，智能网关通过网络连接有一个或多个终端，获取处于连接状态的终端的地理位置，根据获取到的地理位置确定智能网关与每个终端的距离，选取距离在预设范围内的终端作为目标终端，智能网关还可以将告警信息发送给每个目标终端。

在本实施例中，智能网关根据告警信息从知识图谱中获取一个或多个处理信息，并根据每个处理信息生成对应目标多媒体设备的处理指令，从而将处理指令传输至相应的目标多媒体设备，使目标多媒体设备根据指令执行相应的操作，可以同时通过多个不同类型、不同位置的目标多媒体设备对告警信息进行操作处理，提高了告警信息的受众范围。

在一个实施例中，如图3所示，在一个具体的实施例中，提供了一种异常行为告警系统。系统包括：智能设备、智能网关和多媒体设备，其中智能设备包括光学组件、处理器、存储器、通信单元以及电源电路。其中，光学组件、存储器和通信单元分别与处理器相连接；电源电路为整个系统提供电量，电源可以是电池、太阳能电源或者直流电。

具体地，光学组件和处理器连接；智能网关分别与智能设备和多媒体设备连接；智能设备通过光学组件采集视频流数据；视频流数据包括多帧图像；智能设备通过处理器获取视频流数据，加载异常识别模型，通过异常识别模型处理多帧图像，得到识别结果；当识别到异常行为时，根据异常行为获取对应的告警信息；将告警信息传输至智能网关；智能网关将告警信息传输至相应的目标多媒体设备。

在一个实施例中，上述智能设备还包括与处理器连接的存储器，存储器存储有用于加载至处理器运行的异常识别模型；智能设备还用于当检测到异常行为的更新指令时，根据更新指令所携带的异常行为标识从云服务器获取相应的异常识别模型；并将获取到的异常识别模型替换存储器中存储的异常识别模型。

在一个实施例中，智能设备还用于通过处理器获取本地接口的端口标识；按照端口标识的数据传输格式对告警信息进行数据转换；将转换后的告警信息通过本地接口传输至智能网关。

在一个实施例中，智能设备还用于通过处理器将告警信息传输至智能网关；智能网关根据告警信息从知识图谱中获取一个或多个处理信息；智能网关根据每个处理信息生成对应目标多媒体设备的处理指令；智能网关将每个处理指令传输至相应的目标多媒体设备；目标多媒体设备执行处理指令。

在一个实施例中，智能设备还用于通过处理器将告警信息和存在异常行为的当前帧图像传输至智能网关，智能网关根据告警信息和当前帧图像生成对应的处理指令；智能网关将处理指令传输至相应的目标多媒体设备，目标多媒体设备根据处理指令播放当前帧图像。

在一个实施例中，智能设备还用于通过处理器获取样本视频流和对应的已知标签；样本视频流包括多帧样本图像；通过待训练的异常识别模型对样本图像进行特征提取，得到样本图像的参考特征；确定参考特征与对应的已知标签的损失值；根据损失值调整异常识别模型中的模型参数，直至所确定的损失值达到训练停止条件。

在本实施例中，通过智能设备内设置的光学组件和处理器，可以直接获取到光学组件采集的视频流数据，减少了数据传输的时间，而且数据传输的效率不受网络速度的影响，保障了数据传输的效率；进而，通过加载的异常识别模型对视频流数据中的多帧图像进行识别，当识别到异常行为时，得到与异常行为对应的告警信息并将传输至智能网关，通过智能网关将告警信息传输至对应的目标多媒体设备，通过处理器及时对视频流数据进行异常行为识别，一旦识别到异常行为就将对应的告警信息通过智能网关传输至对应的目标多媒体设备，可以有效提高异常行为的识别速率，实现对视频流数据中的异常行为的实时预警，由此提高了异常行为的告警效率。而且本实施例全程无需人工参与告警，可以实现异常行为的自动化告警。

应该理解的是，虽然图2-3的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-3中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图4所示，提供了一种异常行为告警装置400，包括：数据获取模块402、异常识别模块404、告警信息获取模块406和告警信息传输模块408，其中：

数据获取模块402，用于获取视频流数据；视频流数据包括多帧图像。

异常识别模块404，用于加载异常识别模型，通过异常识别模型处理多帧图像，得到识别结果。

告警信息获取模块406，用于当识别到异常行为时，根据异常行为与告警信息的映射关系获取异常行为对应的告警信息。

告警信息传输模块408，用于将告警信息传输至智能网关，使智能网关将告警信息传输至相应的目标多媒体设备。

在一个实施例中，上述装置还包括识别模型替换模块，用于当检测到异常行为的更新指令时，根据更新指令所携带的异常行为标识从云服务器获取相应的异常识别模型；将获取到的异常识别模型替换本地缓存的异常识别模型。

在一个实施例中，上述告警信息传输模块还用于获取本地接口的端口标识；按照端口标识的数据传输格式对告警信息进行数据转换；将转换后的告警信息通过本地接口传输至智能网关。

在一个实施例中，上述告警信息传输模块还用于将告警信息传输至智能网关，使智能网关根据告警信息从知识图谱中获取一个或多个处理信息；智能网关根据每个处理信息生成对应目标多媒体设备的处理指令；智能网关将每个处理指令传输至相应的目标多媒体设备。

在一个实施例中，上述告警信息传输模块还用于将告警信息和存在异常行为的当前帧图像传输至智能网关，使智能网关根据告警信息和当前帧图像生成对应的处理指令；智能网关将处理指令传输至相应的目标多媒体设备，使目标多媒体设备根据处理指令播放当前帧图像。

在一个实施例中，上述装置还包括识别模型生成模块，用于获取样本视频流和对应的已知标签；样本视频流包括多帧样本图像；通过待训练的异常识别模型对样本图像进行特征提取，得到样本图像的参考特征；确定参考特征与对应的已知标签的损失值；根据损失值调整异常识别模型中的模型参数，直至所确定的损失值达到训练停止条件。

在本实施例中，通过智能设备内设置的光学组件和处理器，可以直接获取到光学组件采集的视频流数据，减少了数据传输的时间，而且数据传输的效率不受网络速度的影响，保障了数据传输的效率；进而，通过加载的异常识别模型对视频流数据中的多帧图像进行识别，当识别到异常行为时，得到与异常行为对应的告警信息并将传输至智能网关，通过智能网关将告警信息传输至对应的目标多媒体设备，通过处理器及时对视频流数据进行异常行为识别，一旦识别到异常行为就将对应的告警信息通过智能网关传输至对应的目标多媒体设备，可以有效提高异常行为的识别速率，实现对视频流数据中的异常行为的实时预警，由此提高了异常行为的告警效率。而且本实施例全程无需人工参与告警，可以实现异常行为的自动化告警。

关于异常行为告警装置的具体限定可以参见上文中对于异常行为告警方法的限定，在此不再赘述。上述异常行为告警装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是异常行为告警设备，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储告警信息、视频流数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种异常行为告警方法。

本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现以下步骤：获取视频流数据；视频流数据是通过光学组件传输的；视频流数据包括多帧图像；加载异常识别模型，通过异常识别模型处理多帧图像，得到识别结果；当识别到异常行为时，根据异常行为与告警信息的映射关系获取异常行为对应的告警信息；将告警信息传输至智能网关，使智能网关将告警信息传输至相应的目标多媒体设备。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：当检测到异常行为的更新指令时，根据更新指令所携带的异常行为标识从云服务器获取相应的异常识别模型；将获取到的异常识别模型替换本地缓存的异常识别模型。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取本地接口的端口标识；按照端口标识的数据传输格式对告警信息进行数据转换；将转换后的告警信息通过本地接口传输至智能网关。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：将告警信息传输至智能网关，使智能网关根据告警信息从知识图谱中获取一个或多个处理信息；智能网关根据每个处理信息生成对应目标多媒体设备的处理指令；智能网关将每个处理指令传输至相应的目标多媒体设备。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取样本视频流和对应的已知标签；样本视频流包括多帧样本图像；通过待训练的异常识别模型对样本图像进行特征提取，得到样本图像的参考特征；确定参考特征与对应的已知标签的损失值；根据损失值调整异常识别模型中的模型参数，直至所确定的损失值达到训练停止条件。

在本实施例中，通过智能设备内设置的光学组件和处理器，可以直接获取到光学组件采集的视频流数据，减少了数据传输的时间，而且数据传输的效率不受网络速度的影响，保障了数据传输的效率；进而，通过加载的异常识别模型对视频流数据中的多帧图像进行识别，当识别到异常行为时，得到与异常行为对应的告警信息并将传输至智能网关，通过智能网关将告警信息传输至对应的目标多媒体设备，通过处理器及时对视频流数据进行异常行为识别，一旦识别到异常行为就将对应的告警信息通过智能网关传输至对应的目标多媒体设备，可以有效提高异常行为的识别速率，实现对视频流数据中的异常行为的实时预警，由此提高了异常行为的告警效率。而且本实施例全程无需人工参与告警，可以实现异常行为的自动化告警。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获取视频流数据；视频流数据是通过光学组件传输的；视频流数据包括多帧图像；加载异常识别模型，通过异常识别模型处理多帧图像，得到识别结果；当识别到异常行为时，根据异常行为与告警信息的映射关系获取异常行为对应的告警信息；将告警信息传输至智能网关，使智能网关将告警信息传输至相应的目标多媒体设备。

在一个实施例中，计算机程序被处理器执行时实现以下步骤：当检测到异常行为的更新指令时，根据更新指令所携带的异常行为标识从云服务器获取相应的异常识别模型；将获取到的异常识别模型替换本地缓存的异常识别模型。

在一个实施例中，计算机程序被处理器执行时实现以下步骤：获取本地接口的端口标识；按照端口标识的数据传输格式对告警信息进行数据转换；将转换后的告警信息通过本地接口传输至智能网关。

在一个实施例中，计算机程序被处理器执行时实现以下步骤：将告警信息传输至智能网关，使智能网关根据告警信息从知识图谱中获取一个或多个处理信息；智能网关根据每个处理信息生成对应目标多媒体设备的处理指令；智能网关将每个处理指令传输至相应的目标多媒体设备。

在一个实施例中，计算机程序被处理器执行时实现以下步骤：获取样本视频流和对应的已知标签；样本视频流包括多帧样本图像；通过待训练的异常识别模型对样本图像进行特征提取，得到样本图像的参考特征；确定参考特征与对应的已知标签的损失值；根据损失值调整异常识别模型中的模型参数，直至所确定的损失值达到训练停止条件。

在本实施例中，通过智能设备内设置的光学组件和处理器，可以直接获取到光学组件采集的视频流数据，减少了数据传输的时间，而且数据传输的效率不受网络速度的影响，保障了数据传输的效率；进而，通过加载的异常识别模型对视频流数据中的多帧图像进行识别，当识别到异常行为时，得到与异常行为对应的告警信息并将传输至智能网关，通过智能网关将告警信息传输至对应的目标多媒体设备，通过处理器及时对视频流数据进行异常行为识别，一旦识别到异常行为就将对应的告警信息通过智能网关传输至对应的目标多媒体设备，可以有效提高异常行为的识别速率，实现对视频流数据中的异常行为的实时预警，由此提高了异常行为的告警效率。而且本实施例全程无需人工参与告警，可以实现异常行为的自动化告警。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种异常行为告警方法，所述方法包括：

获取视频流数据；所述视频流数据包括多帧图像；

加载异常识别模型，通过所述异常识别模型处理所述多帧图像，得到识别结果；

当识别到异常行为时，根据异常行为与告警信息的映射关系获取所述异常行为对应的告警信息；

将所述告警信息传输至智能网关，使智能网关将所述告警信息传输至相应的目标多媒体设备。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当检测到异常行为的更新指令时，根据所述更新指令所携带的异常行为标识从云服务器获取相应的异常识别模型；

将获取到的异常识别模型替换本地缓存的异常识别模型。

3.根据权利要求1所述的方法，其特征在于，所述将所述告警信息传输至智能网关包括：

获取本地接口的端口标识；

按照所述端口标识的数据传输格式对所述告警信息进行数据转换；

将转换后的告警信息通过所述本地接口传输至智能网关。

4.根据权利要求1所述的方法，其特征在于，所述将所述告警信息传输至智能网关，使智能网关将所述告警信息传输至相应的目标多媒体设备包括：

将所述告警信息传输至智能网关，使智能网关根据所述告警信息从知识图谱中获取一个或多个处理信息；

所述智能网关根据每个所述处理信息生成对应目标多媒体设备的处理指令，将每个所述处理指令传输至相应的目标多媒体设备。

5.根据权利要求1至4任意一项所述的方法，其特征在于，所述异常识别模型的生成方式包括：

获取样本视频流和对应的已知标签；所述样本视频流包括多帧样本图像；

通过待训练的异常识别模型对所述样本图像进行特征提取，得到样本图像的参考特征；

确定所述参考特征与对应的所述已知标签的损失值；

根据所述损失值调整所述异常识别模型中的模型参数，直至所确定的损失值达到训练停止条件。

6.一种异常行为告警系统，其特征在于，所述系统包括：智能设备、智能网关和多媒体设备，其中所述智能设备包括光学组件和处理器；所述光学组件和所述处理器连接；所述智能网关分别与所述智能设备和所述多媒体设备连接；

所述智能设备通过所述光学组件采集视频流数据；所述视频流数据包括多帧图像；

所述智能设备通过所述处理器获取视频流数据，加载异常识别模型，通过所述异常识别模型处理所述多帧图像，得到识别结果；当识别到异常行为时，根据所述异常行为获取对应的告警信息；将所述告警信息传输至所述智能网关；所述智能网关将所述告警信息传输至相应的目标多媒体设备。

7.根据权利要求6所述的系统，其特征在于，所述智能设备还包括与所述处理器连接的存储器，所述存储器存储有用于加载至所述处理器运行的异常识别模型；所述智能设备还用于当检测到异常行为的更新指令时，根据所述更新指令所携带的异常行为标识从云服务器获取相应的异常识别模型；并将获取到的异常识别模型替换所述存储器中存储的异常识别模型。

8.一种异常行为告警装置，其特征在于，所述装置包括：

数据获取模块，用于获取视频流数据；所述视频流数据包括多帧图像；

异常识别模块，用于加载异常识别模型，通过所述异常识别模型处理所述多帧图像，得到识别结果；

告警信息获取模块，用于当识别到异常行为时，根据异常行为与告警信息的映射关系获取所述异常行为对应的告警信息；

告警信息传输模块，用于将所述告警信息传输至智能网关，使智能网关将所述告警信息传输至相应的目标多媒体设备。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。

Images