CN110647905A

CN110647905A - 一种基于伪脑网络模型下的涉恐场景识别方法

Info

Publication number: CN110647905A
Application number: CN201910711601.6A
Authority: CN
Inventors: 胡冀; 颜成钢; 孙垚棋; 张继勇; 张勇东
Original assignee: Hangzhou Dianzi University
Current assignee: Hangzhou Dianzi University
Priority date: 2019-08-02
Filing date: 2019-08-02
Publication date: 2020-01-03
Anticipated expiration: 2039-08-02
Also published as: CN110647905B

Abstract

本发明公开了一种基于伪脑网络模型下的涉恐场景识别方法。本发明包括如下步骤：步骤1、通过CNN图像分类器，得到涉恐场景图片概率值；步骤2、通过伪脑网络图像分类器，得到涉恐场景图片概率值；步骤3、将CNN图像分类器分类结果和伪脑网络图像分类器分类结果输入给神经网络融合模型，输出场景事件分类结果，涉恐场景＝1，非涉恐场景＝0。本发明将深度学习算法与等效伪脑网络模型相结合。深度学习网络用于机器视觉图像分类，伪脑网络模型替代人脑对视听觉信息高级特征进行融合，实现环境物体感知和环境认知。

Description

一种基于伪脑网络模型下的涉恐场景识别方法

技术领域

本发明涉及图像识别和分类领域，具体涉及一种基于伪脑网络模型下的涉恐场景识别方法。该方法可应用于识别涉恐、涉暴场景等领域。

背景技术

随着网络视频的发展，互联网上越来越多的涉恐涉暴视频广泛传播。由于视频与其他媒体相比更具鼓动性和迷惑性，因此这些有害视频造成的危害极大。因此，加强暴恐网络视频内容监管成为迫切需求，对于保障网络视频内容安全具有重大意义。并且，目前针对此领域相关方面的研究成果十分稀少，本发明内容能够对此方面的应用进行一个有效的扩充。

早期经典图像显著性检测方法主要采用的是局部和全局对比特征，虽然可以结合其他显著性特征来获得更高的检测精度，但对合适特征的选取仍值得深入研究。同时，经典视觉领域方法都是对基于视觉感知“自下而上”模式，这些模型都是数学计算的结果，而不是视觉觉察特性的最优化表示形式。但从人类视觉觉察的角度来看，人们很显然地总是倾向于关注图像中含有觉察信息量最大的区域或者目标，从而更有效地分析所观察到的东西。受Shannon所提出的信息论启发，国外学者Attneave等人首先研究了图像的统计特性与视觉感知的相关性，提出视觉感知的最终目标是产生一个对人类从周围环境中所感知到物体的高效表示。其后Barlow等人研究认为，由于生物视觉感知系统中的神经元是以一种非常高效的方式对信息进行解码以便有效利用计算资源，因此视觉信息的编码效率是神经处理过程中的一个重要限制。此后，该种编码策略逐渐被称为冗余减低原则，并引出了稀疏的概念。稀疏表示能更好地描述人类视觉感知系统的知觉响应特性，并且将稀疏编码应用于图像处理等应用中能够显著提高处理效率和有效性。近年来，在结合稀疏编码对人眼感知特性良好模仿能力的基础上，利用多尺度特征融合及先验估计等技术的视觉显著性检测方法得到了研究人员的更多关注。视觉显著性的检测是基于多尺度显著性特征的标准化而来。该方法提出采用自适应稀疏表示来促进中央-周边差运算的性能，并且对颜色和空间表示进行非线性集成来更好地获得底层数据的结构。然而当图像中含有多个显著目标、图像背景较为复杂或者背景与显著目标相类似时，会导致该方法的检测性能出现显著下降。针对采用特征进行显著性检测时的局限性，国内外学者提出采用能够表达物体本征属性的信息来提高视觉觉察的准确性。其中，近年来较为流行的是利用目标的物体性或对象性来提高算法对目标的描述感知能力。与此同时，也有国内研究人员提出采用对象性信息进行图像的深度估计、手势检测与识别、目标检测、似物性推荐等视觉感知任务。上述工作说明，利用显著性来模仿人类视觉感知特性是可行和有效的，但如何有效地计算图像显著性是当前研究的重点和难点。

利用人脑认知信息的研究工作刚起步。近年来，Kappor、Gerson、 Bigdely-Shamlo以及Wang采用了不同的策略，利用脑电图扫描引导图像中目标的分类。例如，Kappor让被试观看不同种类的图像，并用脑电图采集大脑信号，将采集到的脑电图信号和底层特征的相似性矩阵进行线性组合，组合优化后的相似性矩阵进行SVM(支持向量机) 分类，得到比单独使用脑电图信号或者底层特征更好的结果。Wang 等人利用人机交互系统向被试快速的展示图像，同时要求被试确认其中是否存在事先要求识别的目标。利用脑电图设备记录整个过程中的脑电信号。通过对脑电图信号的分析，获得训练样本的“感兴趣目标得分”，并通过数据挖掘模型，实现“得分”在测试数据库中图像间的传递。

但是，脑电图只能采集大脑表面的信号，在空间分辨率上受到限制，不能全面捕获大脑在观看图像时的理解模式。相比而言，fMRI技术因其空间分辨率高等优势，逐渐成为了一种研究大脑认知和理解机制的有力手段。比如，Hasson等发表在科学杂志上的工作证明了大脑fMRI响应序列与电影语义内容在时间上具有很强的相关性，说明了fMRI响应序列可以对大脑和多媒体信息之间的功能响应进行有效的建模。Kay和Miyawaki使用图像作为刺激，让被试观看按照实验规则顺序显示的图像，同时扫描得到fMRI图像数据，通过统计数学模型建立大脑中视觉相关的功能区中各体素的功能响应与图像基元之间的预测关系，实现图像的识别与重组。Walther等采用fMRI技术，展现了利用人脑中某些特定功能区域的连接模式，能有效的实现图像中场景的分类。Hu等基于大脑fMRI响应信息和底层特征之间的相互关联提出了一种视频分类方法。Li等利用大脑fMRI响应信息中获取的特征优化注意力模型，提出了一种新的视频摘要获取方法。以上基于fMRI技术的视频分析研究取得了初步的成果。

生成式对抗模型(Generative Adversarial Nets，GAN)是 Goodfellow等人受博弈论中两方“零和博弈”的启发所提出的模型，被认为是近年来深度学习领域最具有突破的进展及研究方向。生成式对抗模型包含了一个生成网络和一个判别网络。生成网络试图捕捉训练样本的数据分布，使生成的图像看起来自然真实，并且尽可能地和训练数据相似，以达到混淆判别网络的目的。判别网络的训练目标是尽可能准确地区分生成样本和训练样本，不受生成网络的迷惑。在训练过程中，生成网络和判别网络相互竞争，相互促进，共同组成对抗网络。GAN与传统的神经网络有着显著的不同。神经网络一般需要定义一个损失函数来对网络的训练程度进行评价，这个损失函数决定了网络学习的内容。传统上，一个好的损失函数需要结合具体的应用场景设计得到，而GAN由于具有自对抗的特性，可自己建立起一套评价规则，因而无需构造损失函数。

虽然图像与声音信号都能单独地提供关于周围环境的各种信息，但是两者均有一些局限性与缺点。例如，视觉图像一般都是需要由物体对阳光进行反射从而被相机采集到，因此其包含了关于环境物体直观且独特的知觉表达，并且由于图像能够从颜色、对比、形状等多个方面对物体进行丰富描述，因此视觉描述是生动和全面的。但同时，视觉图像的质量好坏对障碍物、遮挡以及光照条件等因素非常敏感。而另一方面，声音信号由于是一种基于振动波的信号，能够提供更多关于距离与位置的信息，而且在遇到障碍物时仍然能够有效传递信息，因此其比视觉图像更具有独特的优势。然而，声音数据并不是直观的信息，因此需要复杂的计算模型来模仿人耳觉察特性进行处理，尤其是噪声的出现会导致失真等较大局限性的存在。现在，由于缺少与人类觉察特性较为吻合的先进计算模型与方法，声音与图像这两种异质信息的仿生融合仍然没有得到较为深入的研究。

发明内容

针对缺少与人类觉察特性较为吻合的先进计算模型与方法问题，本发明提供了一种基于伪脑网络模型下的涉恐场景协同认知方法，如图1所示。

为解决技术问题，本发明解决包括如下步骤：

步骤1、通过CNN图像分类器，得到涉恐场景图片概率值Ⅰ；CNN 图像分类器模型结构如图2所示。

步骤2、通过伪脑网络图像分类器，得到涉恐场景图片概率值II；

步骤3、分别将CNN图像分类器分类结果概率值Ⅰ和伪脑网络图像分类器分类结果概率值II输入给神经网络融合模型(如图1所示)，输出场景事件分类结果(涉恐场景＝1，非涉恐场景＝0).

所述的步骤2具体实现如下：

步骤2-1如图3所示；

1)选择志愿者观看特定场景视频：

组织志愿者分别对涉恐场景图片、其它场景图片进行观看。

2)通过fMRI设备测试人脑得到脑网络节点数据：

根据脑网络节点构建脑网络，本发明将标准脑区定义成网络的一个节点，采用国际脑成像领域广泛使用的标准脑模板AAL，将全脑分割成90个标准的功能区域，脑区内全部体素信号共同表示该区域神经元活动情况。

3)通过皮尔逊相关系数获取脑网络节点之间的相关性，并建立脑网络节点的相关性矩阵Ⅰ；

其中，体素i和体素j的时间序列分别用x_i和x_j表示，体素i和体素j的时间序列的均值分别用

和

表示。利用公式(1)得到脑区之间两两的相关性就是一个90×90的相关性矩阵Ⅰ，且矩阵元素取值范围[-1,1]；T取值90；

4)通过遗传算法将相关性矩阵Ⅰ转化成只有0和1的矩阵II，其中1表示两个脑网络节点相关，0表示两个脑网络节点不相关；

5)构建基于DCGAN的生成模型和判别模型

参考深度卷积生成网络(DCGAN)将卷积神经网络(CNN)引入到了生成模型和判别模型当中。通过对抗生成网络，优化得到伪脑网络生成器，即DCGAN的生成模型。

步骤2-2.通过伪脑网络生成器得到输入图片的对应伪脑网络，如图4所示。即为90*90的二值矩阵。应用kruskal算法得到脑网络最小生成树，再利用基于RBF核函数的SVM算法进行分类。

所述的步骤3具体实现如图5所示：

神经网络混合模型为三层神经网络结构，包括2个神经元输入层、3个神经元隐藏层以及采用sigmoid分类器，输出层神经元个数为1.通过反向传播算法进行神经网络优化。

本发明有益效果:

本发明将深度学习算法与等效伪脑网络模型相结合。深度学习网络用于机器视觉图像分类，伪脑网络模型替代人脑对视听觉信息高级特征进行融合，实现环境物体感知和环境认知。

附图说明

图1基于伪脑网络模型下的涉恐场景识别方法图

图2CNN图像分类器模型结构

图3基于真实脑网络的图像分类模型框架

图4基于伪脑网络图像分类模型框架

图5神经网络融合模型

具体实施方式

参考图1基于伪脑效应网络模型的视听觉协同认知模型结构图；

所述的步骤2具体实现如下：

步骤2-1如图3所示；

1)选择志愿者观看特定场景视频：

组织志愿者分别对涉恐场景图片、其它场景图片进行观看。

2)通过fMRI设备测试人脑得到脑网络节点数据：

和

5)构建基于DCGAN的生成模型和判别模型

所述的步骤3具体实现如图5所示：

Claims

1.一种基于伪脑网络模型下的涉恐场景识别方法，其特征在于包括如下步骤：

步骤1、通过CNN图像分类器，得到涉恐场景图片概率值；

步骤2、通过伪脑网络图像分类器，得到涉恐场景图片概率值；

步骤3、将CNN图像分类器分类结果和伪脑网络图像分类器分类结果输入给神经网络融合模型，输出场景事件分类结果，涉恐场景＝1，非涉恐场景＝0。

2.根据权利要求1所述的一种基于伪脑网络模型下的涉恐场景识别方法，其特征在于所述的步骤2具体实现如下：

步骤2-1构建生成模型和判别模型；

①选择志愿者观看特定场景视频：

组织志愿者分别对涉恐场景图片、其它场景图片进行观看；

②通过fMRI设备测试人脑得到脑网络节点数据：

根据脑网络节点构建脑网络，将标准脑区定义成网络的一个节点，采用国际脑成像领域广泛使用的标准脑模板AAL，将全脑分割成90个标准的功能区域，脑区内全部体素信号共同表示该区域神经元活动情况；

③通过皮尔逊相关系数获取脑网络节点之间的相关性，并建立脑网络节点的相关性矩阵Ⅰ；

和表示；利用公式(1)得到脑区之间两两的相关性就是一个90×90的相关性矩阵Ⅰ，且矩阵元素取值范围[-1,1]；T取值90；

④通过遗传算法将相关性矩阵Ⅰ转化成只有0和1的矩阵Ⅱ，其中1表示两个脑网络节点相关，0表示两个脑网络节点不相关；

⑤构建基于DCGAN的生成模型和判别模型

参考深度卷积生成网络将卷积神经网络引入到生成模型和判别模型当中；通过对抗生成网络，优化得到伪脑网络生成器，即DCGAN的生成模型；

步骤2-2.通过伪脑网络生成器得到输入图片的对应伪脑网络，即为90*90的二值矩阵；应用kruskal算法得到脑网络最小生成树，再利用基于RBF核函数的SVM算法进行分类。

3.根据权利要求2所述的一种基于伪脑网络模型下的涉恐场景识别方法，其特征在于所述的步骤3中，神经网络混合模型为三层神经网络结构，包括2个神经元输入层、3个神经元隐藏层以及采用sigmoid分类器，输出层神经元个数为1.通过反向传播算法进行神经网络优化。