CN108647660A - 一种使用神经网络芯片处理图像的方法 - Google Patents

Abstract

本公开提供了一种突发事件自动监控方法，包括：图像处理装置获取外部传入的待判断突发事件类型的多组历史图像；图像处理装置筛选多组历史图像中的视频帧，对所述视频帧依次进行人工神经网络运算，运算后输出多段图像中存在突发事件的对应突发事件类型数据。该方法可以通过机器学习的方式由电脑程序实时进行监控视频中的突发事件种类判断，节省大量人力资源。

Description

一种使用神经网络芯片处理图像的方法

技术领域

本公开涉及信息处理技术领域，具体涉及一种突发事件自动监控方法。

背景技术

现有技术中分析视频中的突发事件，主要是通过人工监控和判断的方式，显然该方式的主要问题在于：人工监控检测需要庞大的人力资源，而且人工浏览难以做到实施不间断监控检测判断；进一步的，人工检索效率低下，时间复杂度高，并且视频资源数量庞大，受视屏质量影响较大，人工浏览不一定能够做到准确判断；还有就是，人工监测受到硬件设备的限制，不能够实现系统的便携化。

发明内容

(一)要解决的技术问题

有鉴于此，本公开的目的在于提供一种突发事件自动监控方法，以解决以上所述的至少部分技术问题。

(二)技术方案

为实现上述目的，本公开提供一种突发事件自动监控方法，包括：图像处理装置获取外部传入的待判断突发事件类型的多组历史图像；图像处理装置筛选多组历史图像中的视频帧，对所述视频帧依次进行人工神经网络运算，运算后输出多段图像中存在突发事件的对应突发事件类型数据。

在进一步的方案中，在获取外部传入的待判断突发事件类型的多组历史图像时，还包括对神经网络模型进行自适应训练。

在进一步的方案中，所述自适应性训练包括：输入至少包含突发事件视频图像视频帧的图像与其对应的突发事件种类编码标签；将视频帧输入到当前的神经网络结构当中，并通过损失函数计算当前图片所属种类的网络参数的更新梯度方向以及更新幅度，通过联合损失函数计算该视频片段所属种类的整体神经网络参数的更新梯度方向以及更新幅度；依据上述更新梯度方向和更新幅度更新神经网络参数。

在进一步的方案中，在筛选多组历史图像中的视频帧之前对通过预处理模块对所述监控图像进行预处理。

在进一步的方案中，所述预处理包括：对监控图像数据切分、高斯滤波、二值化、正则化和/或归一化。

在进一步的方案中，所述突发事件的类型数据包含n个比特位，用于表示不同类型的突发事件，n为大于1的整数。

在进一步的方案中，对所述视频帧依次进行人工神经网络运算包括：存储模块接收监控图像，该监控图像包含视频帧；通过直接内存存取DMA将存储单元内的指令、视频帧数据和权值分别传入指令缓存模块，输入神经元缓存模块和权值缓存模块中；控制电路从指令缓存模块中读取指令，将其译码后传入运算电路；根据指令，运算电路执行相应的神经网络运算，并将运算结果传入输出神经元缓存模块；将运算完毕的结果作为当前视频帧图像的判断结果由直接内存存取DMA相应的判断结果存储地址。

在进一步的方案中，还包括：各图像依次执行人工神经网络运算，运算所得的结果判断结果形成判断队列再作为运算电路的输入，进行加权相加，确定整个监控视频在当前时刻的突发事件种类判断结果。

在进一步的方案中，所述自适应训练过程为离线训练，自适应性训练的输入数据可以来源于外部的连续时间图像采集装置。

在进一步的方案中，所述运算电路执行相应的神经网络运算，包括：通过乘法电路将输入神经元和权值数据相乘；通过加法树将所述相乘加过通过加法树逐级相加，得到加权和，以及根据对加权和加偏置或不加偏置；通过激活函数运算电路，对加偏置或不加偏置的加权和作为输入进行激活函数运算，得到输出神经元。

(三)有益效果

(1)本公开的突发事件自动监控方法可以通过机器学习的方式由电脑程序实时进行监控视频中的突发事件种类判断，节省大量人力资源；

(2)本公开的突发事件自动监控方法通过机器识别可以实现复杂环境和视频背景下的突发事件类型监测判断，弥补人工监测判断所受监控视频图像质量以及环境干扰带来的判断准确率的降低；

(3)本公开的方法中包括能够进行神经网络运算的图像处理，通过该图像处理装置可以使得整个判断预警系统需要的硬件结果尺寸大大缩小，不需要庞大的显示系统，可实现手机、平板电脑甚至是专门信号发生接收器即可实现，很容易实现系统的便携式设计；

(4)本公开的方法可以极大地推动监控视频突发事件监测的普及，为社会安全提供保障人工监测。

附图说明

图1是本公开实施例的突发事件自动监控系统方框示意图。

图2是图1中自动监控系统的一种图像处理装置的方框示意图。

图3是图1中自动监控系统的另一种图像处理装置的方框示意图。

图4是本公开实施例的对监控图像进行处理的一种方法流程图。

图5是本公开实施例的对监控图像进行处理的另一种方法流程图。

具体实施方式

下面结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开的保护范围。

在本公开中，“视频帧”是指视频拍摄时进行短暂曝光拍摄得到的曝光时间点图像，这些图像连续播放才能构成视频；视频帧可以是待进行神经网络运算的当前视频帧，还可以是已经经过神经网络运算，且有对应的真实突发事件种类编码标签的历史视频帧。本公开中，“突发事件”是指突然发生的，造成或可能造成严重社会危害的自然事件、事故灾难、公共事件或社会事件，包括但不限于洪水、恐怖事件、社会冲突、火灾或者停电。

现有的视频监控通过人工监测以及判断，但往往受制于图像质量、监测人员个体因素以及环境等因素的影像，判断准确率和效率均较低。本公开实施例一方面提供一种突发事件自动监控系统以及突发事件自动监控方法，通过机器自动识别实现复杂环境和视频背景下的突发事件类型监测判断，弥补人工监测判断所受监控视频图像质量以及环境干扰带来的判断准确率的降低。

图1是本公开实施例的突发事件自动监控系统方框示意图。根据本公开实施例的一方面，提供一种突发事件自动监控系统100，包括监控装置110和图像处理装置120。其中，监控装置110用于摄取监控区域的监控图像；图像处理装置120用于接收所述监控图像中的视频帧，对所述视频帧进行人工神经网络运算，运算后输出对应于监控图像的突发事件类型数据。通过将该图像经神经网络运算后输出突发事件类型数据，可以实现突发事件种类的自动判断。该监控装置110可以是现有技术中各种可以摄录影像的设备，包括但不限于摄像机、照相机或手机，通过摄录图像或者图像帧后，再转化为电子格式图像(该电子格式图像可以经过预处理)。本公开实施例的图像处理装置120，接收上述电子格式图像，后以通过硬件电路对该电子格式图像进行神经网络运算，得到突发事件类型(例如判断突发事件类型为火灾事件)数据。在神经网络运算时，所采用的网络模型可以是现有技术已有的各种模型，包括但不限于DNN(深度神经网络)、CNN(卷积神经网络)、或者RNN(循环神经网络)(例如LSTM长短期记忆网络)，且在神经网络的输出层的神经元中包含图像或者视频帧对应的突发事件类型数据；该神经网路运算通过本公开实施例的硬件设备加速，能够提高整体运算效果，提高突发事件判断的效率。

图2是图1中自动监控系统的一种图像处理装置的方框示意图。在一些实施例中，如图2所示，图像处理装置120包括存储模块121和运算电路123；其中，存储模块121用于存储指令、神经网络参数和运算数据，这里的运算数据包括视频帧(包括当前视频帧和历史视频帧)以及历史视频帧对应的突发事件类型数据，运算电路123用于对所述运算数据执行相应的神经网络运算。其中，存储模块121还可以存储经运算电路运算后获得的输出神经元数据。这里的神经网络参数包括但不限于权值、偏置和激活函数。作为优选的，参数中的初始化权值为经过历史数据训练后更新的权值，该训练过程可以通过离线方式实现，可直接进行人工神经网络运算，节省了对神经网络进行训练的过程。

在一些实施例中，在运算电路123中用于对所述运算数据执行相应的神经网络运算，包括：乘法电路，用于将输入神经元和权值数据相乘；加法树，用于所述相乘加过通过加法树逐级相加，得到加权和，以及根据对加权和加偏置或不加偏置；以及激活函数运算电路，用于对加偏置或不加偏置的加权和作为输入进行激活函数运算，得到输出神经元。作为优选的，激活函数可以是sigmoid函数、tanh函数、ReLU函数或softmax函数。

在一些实施例中，图像处理装置120还包括控制电路122，该控制电路122与存储模块121和运算电路123分别电性连接(直接或间接电性连接)，用于将存储模121内的指令译码成运算指令并输入至运算电路123，还用于控制存储模块121和运算电路123的数据读取或运算过程。

在一些实施例中，如图2所示，图像处理装置120还可以包括直接内存存取DMA124(Direct Memory Access)，用于存入存储模块121中的输入数据，神经网络参数和指令，以供控制电路122和运算电路123调用；进一步的还用于在运算电路123计算出输出神经元后，向存储模块121写入该输出神经元。

在一些实施例中，如图2所示，图像处理装置120还包括指令缓存模块125，用于从所述直接内存存取DMA124缓存指令，供控制电路122调用。该指令缓存模块125可以为片上缓存，其通过制备工艺集成于处理器上，可以在指令调取时，提高处理速度，节省整体运算时间。

在一些实施例中，图像处理装置120还包括输入神经元缓存模块126，该输入神经元缓存模块126用于从直接内存存取DMA124缓存输入神经元，供运算电路调用；图像处理装置120还可以包括权值缓存模块127，其用于从所述直接内存存取DMA124缓存权值，供运算电路123调用；图像处理装置120还可以包括输出神经元缓存模块128，其用于存储从所述运算电路123获得运算后的输出神经元，以输出至直接内存存取DMA124。上述输入神经元缓存模块、权值缓存模块以及输出神经元缓存模块也可以为片上缓存，通过半导体工艺集成于图像处理装置120上，可以在供运算电路123读写时提高处理速度，节省整体运算时间。

图3是图1中自动监控系统的另一种图像处理装置120的方框示意图。如图3所示，该实施例中的图像处理装置120可以包括预处理模块129，其用于对监控装置110摄取的监控图像进行预处理，转化为符合神经网络输入格式的数据。优选的，所述预处理包括将监控装置摄取的图像和/或视频数据切分、高斯滤波、二值化、正则化和/或归一化，以获得符合神经网络输入格式的数据。该预处理作用在于提高后续神经网络运算的准确性，以得到准确的人数判断。

应当说明的是，本公开实施例的预处理模块129可以设置于图像处理装置120内，与图像处理装置120通过半导体工艺一体成型，当然也可以设置于该图像处理装置120外部，包括但不限于设置于监控装置110内。

在一些实施例中，可以自适应地训练神经网络中的参数(如权值、偏置等)，可以通过输入一副或多幅包含视频帧的图像和对应的突发事件中的标签(例如是对应的编码)，输入到含神经网络结构的图形处理装置120，通过损失函数计算并判断当前图像的对应网络参数的更新梯度方向及更新幅度，进而自适应的通过不断迭代缩小损失函数，从而使得单幅视频帧图像以及整体监控视频的突发事件种类判断地错误率不断减小，最终能够较好的返回正确的突发事件种类判别结果。优选的，上述自适应训练过程是实时处理的。

在一些实施例中，突发事件自动监控系统100还可以包括：结果处理和展示装置，用于接收图像处理装置计算出的突发事件类型数据，转化为用户可辨识格式，所述可辨识格式为图片、表格、文本、视频和/或者语音。其中，该结果处理装置可以依据图像处理装置120运算出的突发事件类型数据(例如是一串编码)转换为用户可辨识的格式，例如进行数模转换，例如转换为声音等模拟信号；例如进行格式转换，转换为图片格式，然后再通过展示装置(例如触摸屏、显示器)展示给用户，供用户选择；例如转换为控制信号，控制相应装置等对该突发事件作出反应(例如控制灭火装置对监控区域进行灭火操作)。

根据本公开实施例的又一方面，还提供一种突发事件自动监控系统，包括图像处理装置，其用于接收监控图像中的视频帧，对所述视频帧进行人工神经网络运算，运算后输出对应于监控图像的突发事件类型数据。其中该图像处理装置的设置方式可以上述实施例中图像处理装置120，在此不予赘述。

本公开实施例另外一方面还提供一种突发事件自动监控方法。图4是本公开实施例的对监控图像进行处理的一种方法流程图。如图4所示的一种突发事件自动监控方法，包括：

S401：图像处理装置获取监控装置实时摄取的监控图像；

S402：图像处理装置接收所述监控图像中的视频帧，对所述视频帧进行人工神经网络运算，运算后输出对应于监控图像的突发事件类型数据。

步骤S401中，其通过实时获取的方式对监控装置摄录的图像进行运算处理。这种方式能够及时判断出是否发生突发事件，以便于相关人员对突发事件现场进行处理。

步骤S402中，获取的可以是一段视频(包含多个图像)，也可以是单个图像(一个视频帧)，通过对该多个图像依次进行神经网络运算后并进行加权计算，最终给出一个判断结果，或者通过对单个图像进行神经网络运算后直接给出突发事件类型的判断结果。

在一些实施例中，在步骤S401之前，还包括对神经网络模型进行自适应训练。所述自适应性训练可以包括如下步骤：输入至少包含突发事件视频图像视频帧的图像与其对应的突发事件种类编码标签；将视频帧输入到当前的神经网络结构当中，并通过损失函数计算当前图片所属种类的网络参数的更新梯度方向以及更新幅度，通过联合损失函数计算该视频片段所属种类的整体神经网络参数的更新梯度方向以及更新幅度；依据上述更新梯度方向和更新幅度更新神经网络参数。所述自适应训练过程为离线训练，自适应性训练的输入数据可以来源于外部的连续时间图像采集装置。

在一些实施例中，在接收所述监控图像中的视频帧之前对通过预处理模块对所述监控图像进行预处理。所述预处理包括：对监控图像数据切分、高斯滤波、二值化、正则化和/或归一化。可以通过设置预处理模块实现相应的预处理功能，对于相应预处理模块的设置可参照上述突发事件自动监控系统中预处理模块129，在此不予赘述。

在一些实施例，所述突发事件的类型数据包含n个比特位，用于表示不同类型的突发事件，n为大于1的整数。当然，对于不包含突发事件的图像，也有对应的数据类型，例如采用编码n’b0表示，但该数据类型需要与上述的含有突发事件的图像形成区别。

在一些实施例中，对所述视频帧进行人工神经网络运算包括：存储模块接收监控图像，该监控图像包含视频帧；通过直接内存存取DMA将存储单元内的指令、视频帧数据和权值分别传入指令缓存模块，输入神经元缓存模块和权值缓存模块中；控制电路从指令缓存模块中读取指令，将其译码后传入运算电路；根据指令，运算电路执行相应的神经网络运算，并将运算结果传入输出神经元缓存模块；以及将运算完毕的结果作为当前视频帧图像的判断结果由直接内存存取DMA相应的判断结果存储地址。

进一步的，当所述图像为多幅图像时，各图像依次执行人工神经网络运算，运算所得的结果判断结果形成判断队列再作为运算电路的输入，进行加权相加，确定整个监控视频在当前时刻的突发事件种类判断结果。

在一些实施例中，所述运算电路执行相应的神经网络运算，包括：通过乘法电路将输入神经元和权值数据相乘；通过加法树将所述相乘加过通过加法树逐级相加，得到加权和，以及根据对加权和加偏置或不加偏置；通过激活函数运算电路，对加偏置或不加偏置的加权和作为输入进行激活函数运算，得到输出神经元。

此外，与上述实施例的方法类似但存在差别的，本公开实施例在还提供一种突发事件自动监控方法。图5是本公开实施例的对监控图像进行处理的另一种方法流程图。如图5所示的一种突发事件自动监控方法，包括：

S501：图像处理装置获取外部传入的待判断突发事件类型的多组历史图像；

S502：图像处理装置筛选多组历史图像中的视频帧，对所述视频帧依次进行人工神经网络运算，运算后输出多段图像中存在突发事件的对应突发事件类型数据。

对于步骤S501，其通过获取外部多组历史图像，后期再通过计算在其中筛选出发生突发事件的图像，以及判断突发事件的类型，后期再对该非紧急的突发事件(例如交通违章)进行处理。通过自动对大量的图像进行运算和筛选，能省去大量人力劳动。

步骤S52中，通过对该多个图像依次进行神经网络运算后并进行加权计算，最终给出一个判断结果，能够对一段图像进行综合判断，进一步提高整个的筛选效率。

具体的神经网路运算细节可以以及训练方法和预处理方法，可以参照上述实施例的方法中对应的步骤进行，在此不予赘述。

以下列举具体的实例对上述突发事件自动监控方法进行具体说明，其中实施例1对应于对监控装置的图像进行实时处理，及时计算出图像对应的突发事件类型；实施例2对应在多个(比如大量)视频片段中搜索突发事件发生的片段。以下实施例提到的具体装置、模块、电路以及单元的功能和连接方式，请参照上述突发事件自动监控系统实施例中所介绍的内容。

实施例1：

本实施例提供一种能实时处理监控图像且检测出突发事件种类的方法，该方法能够及时判断出是否发生突发事件，以便于相关人员对突发事件现场进行处理。

本实施例1中，图像处理装置的存储模块实时监控装置交互监控图像，将监控图像视频帧存入存储模块中作为输入数据，输入数据包括但不仅限于一组或多组监控视频的视频帧；装置根据输入监控视频帧结合一段时间的历史视频帧以及图像视频帧标签进行训练，预测并给出对于此输入的突发事件类型编码。其中输入的监控视频的视频帧图像既可以是原始输入，也可以是原始输入经过预处理之后的结果。

图像处理装置可以进行自适应训练，例如：该装置输入一组(同属于一个突发事件视频)或一幅包含监控视频帧的图像与其对应的突发事件种类标签(表现形式为编码，如果不是突发事件也会有对应的标签编码)。装置将图像输入到当前的神经网络结构当中，并通过损失函数(衡量此图像对应的突发事件种类判断错误的代价函数)计算判断当前图片所属种类的网络参数(如权值、偏置等)的更新梯度方向以及更新幅度，通过联合损失函数(衡量短时间内的所有视频帧判断错误的代价函数)计算该监控片段所属种类的整体神经网络参数(如权值、偏置等)的更新梯度方向以及更新幅度，进而自适应的通过不断迭代缩小损失函数，从而使得单幅视频帧图像以及整体监控视频的突发事件种类判断地错误率不断减小，最终能够较好的返回正确的突发事件种类判别结果。

输入的突发事件种类编码中，需要至少n个bit位来表示，则无突发事件发生用编码n’b0表示，其他突发事件依次用n bit二进制数来编码表示。同时这些编码作为训练视屏监控的视频帧标签，输入网络作为神经网络的训练标签和待判断视频的输出结果。

上述自适应训练过程离线的；上述待判断监控视频的种类判断是实时处理的，这里的图像处理装置为人工神经网络芯片。

上述装置工作的整体过程为：

步骤1，将输入数据经预处理模块传入存储模块或直接传入存储模块；

步骤2，直接内存存取DMA(Direct Memory Access)将其分批传入指令缓存，输入神经元缓存，权值缓存中；

步骤3，控制电路从指令缓存中读取指令，将其译码后传入运算电路；

步骤4，根据指令，运算电路执行相应的运算，：在神经网络的各个层中，运算主要分为三步：步骤4.1，，将对应的输入神经元和权值相乘；步骤4.2，执行加法树运算，即将步骤4.1的结果通过加法树逐级相加，得到加权和，根据需要对加权和加偏置或不做处理；步骤4.3，对步骤4.2得到的结果执行激活函数运算，得到输出神经元，并将其传入输出神经元缓存中。

步骤5，重复步骤2到步骤4，直到所有数据运算完毕。将运算完毕的结果作为当前视频帧图像的判断结果由DMA存入相应的判断结果存储地址。

步骤6，将步骤5所得的结果判断队列作为运算电路的输入，进行加权相加，得到的结果就是整个监控视频在这一时刻的突发事件种类判断结果。

根据所属功能要求：若要求得到视频图像突发事件的判断结果，则上述神经网络的最终加权和对应突发事件编码结果即为最终该视频的判断结果。

实施例2：

本实施例提供一种能对多个历史图像进行筛选，判断图像中是否有突发事件产生并给出突发事件类型的判断结果，通过自动化过程对大量的图像进行运算和筛选，能省去大量人力劳动能实时处理监控图像且检测出突发事件种类的方法，该方法能够及时判断出是否发生突发事件，以便于相关人员对突发事件现场进行处理。

本实施例2中，图像处理装置的存储电路接收多个视频图像，将视频图像视频帧存入存储电路中作为输入数据，输入数据包括但不仅限于一组或一张视频图像视频帧；装置根据输入视频图像视频帧以及视频图像视频帧标签进行训练，预测并给出对于此输入的突发事件类型编码。其中输入的视频图像视频帧图像既可以是原始输入，也可以是原始输入经过预处理之后的结果。

在一些实施例中，图像处理装置能够进行自适应训练，例如：该装置输入一组(同属于一个突发事件视频)或一副包含突发事件视频图像视频帧的图像与其对应的突发事件种类编码标签(如果不是突发事件也会有对应的编码)。装置将输入的图像输入到当前的神经网络结构当中，并通过损失函数(衡量此图像对应的突发事件种类判断错误的代价函数)计算判断当前图片所属种类的网络参数(如权值、偏置等)的更新梯度方向以及更新幅度，通过联合损失函数(衡量短时间内的所有视频帧判断错误的代价函数)计算该视频片段所属种类的整体神经网络参数(如权值、偏置等)的更新梯度方向以及更新幅度，进而自适应的通过不断迭代缩小损失函数，从而使得单幅视频帧图像以及整体视频的突发事件种类判断地错误率不断减小，最终能够较好的返回正确的突发事件种类判别结果。

在一些实施例中，输入的突发事件种类编码中，需要至少n个bit位来表示，则无突发事件发生用编码n’b0表示，其他突发事件依次用n bit二进制数来编码表示。同时这些编码作为输入训练视屏监控的视频帧标签输入网络作为神经网络的训练标签和待判断视频的输出结果。

在一些实施例中，上述自适应训练过程离线的(即不需要通过网络连接到云端服务器上，通过本地计算机就可以处理)。优选的，上述待判断监控视频的种类判断是实时处理的。优选的，图像处理装置为人工神经网络芯片。

上述装置工作的整体过程为：

步骤1，将输入数据经预处理模块传入存储模块或直接传入存储模块；

步骤2，DMA(Direct Memory Access，直接内存存取)将其分批传入指令缓存，输入神经元缓存，权值缓存中；

步骤3，控制电路从指令缓存中读取指令，将其译码后传入运算电路；

步骤4，根据指令，运算电路执行相应的运算：在神经网络的各个层中，运算主要分为三步：步骤4.1，，将对应的输入神经元和权值相乘；步骤4.2，执行加法树运算，即将步骤4.1的结果通过加法树逐级相加，得到加权和，根据需要对加权和加偏置或不做处理；步骤4.3，对步骤4.2得到的结果执行激活函数运算，得到输出神经元，并将其传入输出神经元缓存中。

步骤5，重复步骤2到步骤4，知道所有数据运算完毕。将运算完毕的结果作为当前视频帧图像的判断结果由DMA存入相应的判断结果存储地址。

步骤6，将步骤5所得的结果判断队列作为运算电路的输入，进行加权相加，得到的结果就是整个视频在的突发事件种类判断结果。

根据所属功能要求：若要求得到视频图像突发事件的判断结果，则上述神经网络的最终加权和对应突发事件编码结果即为最终该视频的判断结果。

本公开所提供的实施例中，应理解到，所揭露的相关装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述部分或模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个部分或模块可以结合或者可以集成到一个系统，或一些特征可以忽略或者不执行。

本公开中，术语“和/或”可能已被使用。如本文中所使用的，术语“和/或”意指一个或其他或两者(例如，A和/或B意指A或B或者A和B两者)。

在上面的描述中，出于说明目的，阐述了众多具体细节以便提供对本公开的各实施例的全面理解。然而，对本领域技术人员将显而易见的是，没有这些具体细节中的某些也可实施一个或多个其他实施例。所描述的具体实施例不是为了限制本公开而是为了说明。本公开的范围不是由上面所提供的具体示例确定，而是仅由下面的权利要求确定。在其他情况下，以框图形式，而不是详细地示出已知的电路、结构、设备，和操作以便不至于使对描述的理解变得模糊。在认为适宜之处，附图标记或附图标记的结尾部分在诸附图当中被重复以指示可选地具有类似特性或相同特征的对应或类似的要素，除非以其他方式来指定或显而易见。

已描述了各种操作和方法。已经以流程图方式以相对基础的方式对一些方法进行了描述，但这些操作可选择地被添加至这些方法和/或从这些方法中移去。另外，尽管流程图示出根据各示例实施例的操作的特定顺序，但可以理解，该特定顺序是示例性的。替换实施例可以可任选地以不同方式执行这些操作、组合某些操作、交错某些操作等。设备的此处所描述的组件、特征，以及特定可选细节还可以可任选地应用于此处所描述的方法，在各实施例中，这些方法可以由这样的设备执行和/或在这样的设备内执行。

本公开中各功能单元/子单元/模块/子模块都可以是硬件，比如该硬件可以是电路，包括数字电路，模拟电路等等。硬件结构的物理实现包括但不局限于物理器件，物理器件包括但不局限于晶体管，忆阻器等等。所述存储模块可以是任何适当的磁存储介质或者磁光存储介质，比如RRAM，DRAM，SRAM，EDRAM，HBM，HMC等等。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

以上所述的具体实施例，对本公开的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本公开的具体实施例而已，并不用于限制本公开，凡在本公开的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (10)

1.一种突发事件自动监控方法，其特征在于，包括：

图像处理装置获取外部传入的待判断突发事件类型的多组历史图像；

图像处理装置筛选多组历史图像中的视频帧，对所述视频帧依次进行人工神经网络运算，运算后输出多段图像中存在突发事件的对应突发事件类型数据。

2.根据权利要求1所述的方法，其特征在于，在获取外部传入的待判断突发事件类型的多组历史图像时，还包括对神经网络模型进行自适应训练。

3.根据权利要求2所述的方法，其特征在于，所述自适应性训练包括：

输入至少包含突发事件视频图像视频帧的图像与其对应的突发事件种类编码标签；

将视频帧输入到当前的神经网络结构当中，并通过损失函数计算当前图片所属种类的网络参数的更新梯度方向以及更新幅度，通过联合损失函数计算该视频片段所属种类的整体神经网络参数的更新梯度方向以及更新幅度；

依据上述更新梯度方向和更新幅度更新神经网络参数。

4.根据权利要求1所述的方法，其特征在于，在筛选多组历史图像中的视频帧之前对通过预处理模块对所述监控图像进行预处理。

5.根据权利要求4所述的方法，其特征在于，所述预处理包括：对监控图像数据切分、高斯滤波、二值化、正则化和/或归一化。

6.根据权利要求1所述的方法，其特征在于，所述突发事件的类型数据包含n个比特位，用于表示不同类型的突发事件，n为大于1的整数。

7.根据权利要求1所述的方法，其特征在于，对所述视频帧依次进行人工神经网络运算包括：

存储模块接收监控图像，该监控图像包含视频帧；

通过直接内存存取DMA将存储单元内的指令、视频帧数据和权值分别传入指令缓存模块，输入神经元缓存模块和权值缓存模块中；

控制电路从指令缓存模块中读取指令，将其译码后传入运算电路；

根据指令，运算电路执行相应的神经网络运算，并将运算结果传入输出神经元缓存模块；

将运算完毕的结果作为当前视频帧图像的判断结果由直接内存存取DMA相应的判断结果存储地址。

8.根据权利要求7所述的方法，其特征在于，还包括：各图像依次执行人工神经网络运算，运算所得的结果判断结果形成判断队列再作为运算电路的输入，进行加权相加，确定整个监控视频在当前时刻的突发事件种类判断结果。

9.根据权利要求3所述的方法，其特征在于，所述自适应训练过程为离线训练，自适应性训练的输入数据可以来源于外部的连续时间图像采集装置。

10.根据权利要求7所述的方法，其特征在于，所述运算电路执行相应的神经网络运算，包括：

通过乘法电路将输入神经元和权值数据相乘；

通过加法树将所述相乘加过通过加法树逐级相加，得到加权和，以及根据对加权和加偏置或不加偏置；

通过激活函数运算电路，对加偏置或不加偏置的加权和作为输入进行激活函数运算，得到输出神经元。