CN112836718B - 一种基于模糊知识神经网络的图像情感识别方法 - Google Patents

Abstract

本发明公开了一种基于模糊知识神经网络的图像情感识别方法利用模糊知识和神经网络相结合的方法，完成图像特征到情感语义的映射，减小了复杂度及训练数据量，具有过程可解释性，提高图像情感识别的准确性和鲁棒性，属于图像内容分析领域。本发明提取相关文献中图像情感映射知识，定义图像情感映射知识的规则形式，建立情感映射规则库；利用深度卷积神经网络提取图像特征，提出基于模糊K近邻算法的隶属函数，计算给定图像特征对多个模糊集的隶属度；基于情感映射规则初始化构建模糊知识神经网络，完成知识到网络的转换；利用后向传播算法训练模糊知识神经网络完成模型优化；从训练好的模型中提取更新优化后的情感映射规则，并进行图像的情感识别。

Description

一种基于模糊知识神经网络的图像情感识别方法

技术领域

本发明涉及图像内容分析领域，尤其涉及一种基于模糊知识神经网络的图像情感识别方法。

背景技术

情感是人们适应生存的心理工具，实现情感的传递是人与人之间的各种交流活动中至关重要的目标之一。为了构建一个和谐的人机环境，使计算机更好地完成人类指派的任务，人工智能学术界一直致力于情感计算的实现。实现情感计算的首要问题就是情感识别，情感识别直接影响能否实现情感计算。随着数字文化创意产业的不断发展，数字图像已经成为了情感传递的主要媒介之一。图像作为重要的情感信息载体，以此为对象进行情感识别的研究在以人为中心的社会文化生活中起着至关重要的作用：其不仅可以实现借助机器对图像进行自动的分类、管理与检索，还有助于机器分析图像的情感影响以甄别不适宜信息或实现自动化创作。因此，如何进行图像情感识别已经成为近年来学术界和工业界共同关注的热点研究问题。

虽然目前图像情感识别研究的成果颇为丰富，但仍存在不少技术上的弊端：

其一，多数研究采用经验学习方法，需要大量的、多样的训练数据，存在效率低、过程不可解释等问题；

其二，缺少能够有效地减小图像特征与情感语义之间语义鸿沟的中层语义表示，难以处理图像情感语义映射关系之间的复杂性，在细粒度层次的情感识别任务上表现并不优越；

其三，图像情感本身具有一定的模糊性，目前的方法较少考虑到该属性。

发明内容

针对现有图像情感内容分析技术上存在的上述缺陷，本发明提出一种基于模糊知识神经网络的图像情感识别方法，使用模糊知识神经网络完成图像特征到图像情感语义的映射过程，其不仅考虑了情感的模糊属性，引入了有效地中层语义缩短“语义鸿沟”，并且结合模糊知识和神经网络的方式提高了图像情感语义识别的准确性和鲁棒性。

为达到上述发明目的，本发明采用下述技术方案：

一种基于模糊知识神经网络的图像情感识别方法，利用模糊知识和神经网络相结合的方法，完成图像特征到情感语义的映射，包括以下步骤：

步骤1：收集相关文献并进行图像情感映射知识的提取，将提取的图像情感映射知识转化为变量值逻辑形式化的情感映射规则，建立情感映射规则库；

步骤2：利用深度卷积神经网络进行图像特征提取，定义基于改进的模糊K近邻算法的模糊隶属函数，利用隶属函数刻画图像特征与模糊集之间的模糊关系，并以隶属度表示；

步骤3：基于情感映射规则库初始化构建模糊知识神经网络，以图像特征对模糊集的隶属度为网络输入，以情感隶属度为网络输出，完成模糊知识嵌入到神经网络，模拟图像与情感语义的映射；

步骤4：根据最小二乘法理论，利用反向传播误差进行模糊知识神经网络的训练，通过模型参数优化实现规则的自学习；

步骤5：在训练好的模糊知识神经网络中提取精炼优化后的规则，更新情感映射规则库；

步骤6：采用训练好的模糊知识神经网络来识别测试图像所表达的情感。

优选地，在步骤1中，定义图像与情感的映射知识和形式化规则，建立情感映射规则库；收集大量相关文献，人工提取图像情感表达知识，将提取得到的具有语言表达形式的知识，转换为基于模糊集覆盖理论的变量值逻辑规则，以此建立规范化的情感映射规则库。

优选地，在步骤2中，利用深度卷积神经网络提取图像特征，根据情感映射规则库构建具有层级关系的属性模糊集和属性变量模糊集作为图像的中层语义，为每一个属性模糊集构建一个模糊K近邻分类器作为隶属函数，用以计算图像特征对该属性模糊集下其所有属性变量模糊集的隶属度。

优选地，在步骤3中，根据构建的情感映射规则库，初始化构造模糊知识神经网络模型；情感映射规则库提供了大量的形式化图像情感映射规则，根据情感映射规则，在不同层构造不同的神经元实现不同的逻辑操作，建立各层神经元之间的连接，实现将模糊知识到神经网络的转化过程。

优选地，在步骤4中，基于最小二乘法建立损失函数，通过后向传播算法实现模糊知识神经网络的自学习，完成图像特征到情感语义输出的映射；利用已标记的训练数据，基于反向传播算法对构建的模糊知识神经网络进行训练，实现网络参数优化及图像情感映射规则的自学习。

优选地，在步骤5中，设计规则提取算法，在训练好的模型中提取精炼优化后的规则，并对情感映射规则库进行更新。训练完成的模糊知识神经网络蕴含了图像特征与情感语义的多种映射规则，通过判断神经元的激励程度可以进行规则提取，实现情感识别过程的可解释化。

优选地，所述步骤1中的图像情感映射知识，其形式化规则以变量值逻辑规则形式存在，根据模糊集覆盖理论，其表现形式如下：

attribute_i＝[symbol_i1]∨…∨[symbol_ij]

其中，定义attribute为属性模糊集，定义symbol为属性模糊集包含的属性变量模糊集，又称为视觉符号模糊集，每个属性模糊集包含一个或多个属性变量模糊集上的析取运算v，IF部分为情感映射规则的前提部分，包含一个或多个属性模糊集attribute_i上的合取运算∧，α_th为此规则的隶属度阈值，THEN部分为情感映射规则的后因部分，包含一个图像情感模糊集emotion_k。

优选地，所述步骤2中的基于模糊K近邻算法的隶属函数在于，基于图像数据集中已标记的图像数据对每一个属性模糊集建立一个模糊K近邻分类器，计算输入图像特征对该属性模糊集中包含的所有属性变量模糊集的隶属度，待分类数据x₀对模糊集c_j的隶属度

计算如下：

其中，α为模糊参数，x_t为已标记的第t个数据，

为模糊集中分类c_j的最近邻个数，

为待标记数据x₀对分类c_j的隶属度；

为已标记数据x_t对分类c_j的隶属度。

优选地，所述步骤3中模糊知识神经网络的初始化构建，通过定义模糊知识神经网络中的不同神经元单元功能和实现层与层之间的连接来完成情感映射规则到网络的嵌入；每个神经元包含一个线性函数f(x)＝wx+b和一个激活函数y，通过设置不同的参数固定权重w，偏置b，激活参数μ实现不同的功能：

f(x)＝wx+b

优选地，所述步骤4中模糊知识神经网络模型的训练学习方法具体为：

通过后向传播，最小均方差优化网络，模糊知识神经网络模型通过情感映射规则进行权重初始化，在监督学习的条件下加入真实数据训练自适应网络，减小主观性使映射更贴近真实数据，定义本网络的损失函数为L，第p层的损失函数为L_p，输出神经元的个数为N_out，定义k的含义为情感类别，y_k为真实输出标签，

为网络预测输出标签，第p层的损失函数L_p如下：

L＝∑L_p

利用已标注的图像数据基于反向传播对构建的模糊知识神经网络进行训练，实现网络参数优化及规则的自学习。

优选地，所述步骤5中在优化后的模糊知识神经网络中进行规则提取的具体方式如下：

在基于后向传播训练的模糊知识神经网络中，定义其每个规则神经元定义的输出是激活后的加权输入f(x)＝∑_hw*x+b，由模糊知识神经网络的激活函数

定义得规则神经元的输入x都具有趋于0或者1的激活值，简化规则神经元的加权输入为f(x)＝∑_hw+b，通过寻找权重w与偏置b总和大于0的输入实现自学习规则神经元部分的规则提取，其中，定义固定权重w，定义偏置b，定义第h个数据；其具体步骤为：

对所有连接权重进行聚类，形成多个权重组；将每个权重组的连接权重设为这个组所有权重的平均值，形成多个等价组；将不会激活规则神经元的权重组移除；固定等价组的所有连接权重，利用反向传播重新计算偏置；通过计算加权连接与偏置之和是否大于0而创建规则。

本发明与现有技术相比较，具有如下显而易见的突出实质性特点和显著优点：

1.本发明提供的这种图像情感识别方法，将相关文献中涵盖的图像情感表达等理论知识转化为图像情感映射逻辑规则，为图像情感识别提供了规则知识，减小了图像特征到情感语义映射的复杂性；

2.本发明提供的这种图像情感识别方法，考虑了图像情感的模糊属性，结合了模糊系统和神经网络两种结构的优势，具有自学习能力、识别过程具有可解释性、规则的可优化性；

3.本发明提供的这种图像情感识别方法，通过引入属性和属性变量的中层语义缩小图像低层特征与情感的语义鸿沟，能够实现更准确的多维情感识别。

附图说明

图1是本发明提供的一种基于模糊知识神经网络的图像情感识别方法的流程图。

图2是本发明提供的用于图像情感识别的模糊知识神经网络模型图。

图3是本发明提供模糊知识神经网络初始化示例图。

图4是本发明提供的用于图像情感分析的知识提取过程。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合优选实施例，并参照附图，对本发明作进一步的详细说明。

实施例一：

参见图1～图4，本基于模糊知识神经网络的图像情感识别方法，利用模糊知识和神经网络相结合的方法完成图像特征到情感语义的映射，操作步骤如下：

步骤1：收集相关文献并进行图像情感映射知识的提取，将提取的图像情感映射知识转化为变量值逻辑形式化的情感映射规则，建立情感映射规则库；

步骤2：利用深度卷积神经网络进行图像特征提取，定义基于改进的模糊K近邻算法的模糊隶属函数，利用隶属函数刻画图像特征与模糊集之间的模糊关系，并以隶属度表示；

步骤3：基于情感映射规则库初始化构建模糊知识神经网络，以图像特征对模糊集的隶属度为网络输入，以情感隶属度为网络输出，完成模糊知识嵌入到神经网络，模拟图像与情感语义的映射；

步骤4：根据最小二乘法理论，利用反向传播误差进行模糊知识神经网络的训练，通过模型参数优化实现规则的自学习；

步骤5：在训练好的模糊知识神经网络中提取精炼优化后的规则，更新情感映射规则库；

步骤6：采用训练好的模糊知识神经网络来识别测试图像所表达的情感。

本实施例基于模糊知识神经网络的图像情感识别方法，使用模糊知识神经网络完成图像特征到图像情感语义的映射过程，其不仅考虑了情感的模糊属性，引入了有效地中层语义缩短“语义鸿沟”，并且结合模糊知识和神经网络的方式提高了图像情感语义识别的准确性和鲁棒性。

实施例二：

本实施例与实施例一基本相同，特别之处在于：

图1展示了本基于模糊知识神经网络的图像情感识别技术流程图，如图1所示，该方法包括以下步骤：

步骤1：首先搜集相关文献，手工提取其中涉及的图像情感映射知识。对提取的这些知识进行预处理得到具有下述语言表现形式的情感映射规则：

其中，

定义A为图像中可能存在的对情感产生影响的视觉符号集合，即连接图像低层特征和图像情感语义之间的中层语义，

定义E为图像情感集合，其中k表示情感的类别，N_e＝8，分别为愉快、敬畏、满足、兴奋、愤怒、厌恶、恐惧和悲伤八种图像情感类别；

根据模糊集覆盖理论，转换语言形式的情感映射规则至变量值逻辑规则，具有如下表现形式：

attribute_i＝[symbol_i1]∨…∨[symbol_ij]

其中，定义attribute为属性模糊集，symbol为属性变量模糊集。属性模糊集和属性变量模糊集呈包含结构，一个属性变量模糊集属于且只属于一个属性模糊集，所有属性模糊集覆盖所有属性变量模糊集。本发明将与图像情感有关的属性模糊集划分为颜色、行为、场景、物体等六类，即N_s＝6，i，n_s∈(1，...N_S)，则属性变量模糊集为归属于六类属性下的视觉符号集合。公式中，IF部分为规则前提部分，包含属性模糊集attribute_i和属性模糊集上的合取操作∧；symbol_ij为包含于第i个属性模糊集的第j个图像视觉符号模糊集，又称为属性变量模糊集；α_th为隶属度阈值用于控制此条规则的激活阈值。THEN部分为规则后因部分，包含属性模糊集合取所映射的图像情感模糊集emotion_k；

步骤2：利用深度卷积神经网络提取图像特征，利用改进的模糊K近邻算法计算输入图像对于所有属性变量模糊集的模糊隶属度；具体地，图像特征提取方法如下：为了捕捉整幅图像包含的视觉符号特征，利用预训练的深度卷积神经网络对其进行特征提取。特别地，利用在ImageNet数据集上预训练好的VGG16模型进行特征提取，选取网络的conv5_3层的输出作为需要的图像特征，其特征图尺寸为L×D。所有已标记图像和输入图像在经过特征提取后处于同一图像特征空间。利用卷积神经网络提取的图像特征包含中层语义特征。

在本实施例中，计算图像对所有属性变量模糊集的隶属度方法如下：

为计算输入图像对于所有属性变量模糊集的隶属度，基于图像数据集中的已标记数据对于每一个属性模糊集构建一个模糊KNN分类器，每个分类器中处理该属性下的属性变量分类，依次计算所有数据对所有属性集下的属性变量的隶属度，作为模糊知识神经网络的输入。

基于改进的模糊K近邻算法的隶属函数如下：

针对标记的图像数据在属性变量层次上分类不平衡的情况，采用不均分K近邻值，即对同一个模糊KNN分类器包含的不同分类赋予不同的K值，其中c_m类别中所需的近邻向量个数

计算如下：

其中，λ为保持合理的最小近邻个数所设定的参数，

为c_m类别中包含的已标记数据的总数，

为c_j|j＝1，...，N_a类别中包含的已标记数据的总数，K为初始设定的每个分类的近邻值。计算已标记为分类c_m的数据x对所有分类c_j的隶属度

以构建KNN分类器的公式如下：

其中，

为x的

个最近邻属于c_m类别的总数。最后，计算待标记数据x₀对分类c_j的隶属度

其中x_t为属于c_j分类中

最近邻的第t个标记数据，α为决定每个近邻与输入样本的距离对隶属度的贡献大小。

步骤3：基于情感映射规则初始化构建模糊知识神经网络，完成图像特征到情感语义的映射。本发明提供了一种将情感映射规则转换到模糊知识神经网络的方法。为完成知识到网络的嵌入，定义模糊知识神经网络中包含六种不同的神经元单元，分别用于实现不同的功能：输入神经元、α补偿神经元、阈值神经元、属性神经元、规则神经元和输出神经元。通过六种神经元功能和神经元层与层之间的连接实现图像特征隶属度到所属情感模糊集的知识映射。

定义模糊知识神经网络中的输入神经元如下：表示每幅输入图像特征到某一个属性变量模糊集的隶属值，其个数为属性变量模糊集的数量。定义模糊知识神经网络中的阈值神经元如下：

f(x)＝w_thx+b_th＝x-α_th

其中，其输入固定权重w_th为1，偏置b_th为-α_th其绝对值为隶属度阈值，激活参数μ设为5。阈值神经元用于判断输入实例对于此属性变量模糊集的隶属度是否有效，即如果输入实例对此输入神经元代表的属性变量模糊集的隶属度大于隶属度阈值，则强烈的激活神经元，产生近于1的输出值，此模糊隶属度视为有效。

定义模糊知识神经网络中的α补偿神经元如下：

f(x)＝w_commax(X)+b_com＝max(X)-α_com

其中，max(X)计算该神经元的所有输入的最大值，激活参数μ设为5，输入固定权重w_com设为1，偏置b_com为-α_com，其绝对值为激活阈值。为了构造能够覆盖整个实例空间的属性变量模糊集使其能够匹配所有实例，在每一个属性模糊集中都添加一个新的属性值变量模糊集——α补偿集并构建α补偿神经元。α补偿神经元作为特殊输入神经元存在于每个属性模糊集的输入中。通过此神经元实现如果任何输入实例的隶属度低于偏置时，即此属性模糊集中任意定义的属性变量模糊集都无法匹配实例，则此神经元会被强烈激活，进行实例匹配，产生近于1的输出值。

定义模糊知识神经网络中的属性神经元如下：

f(x)＝w_attx+b＝w_attx-0.5w_att

其中，输入权重设置为w_att，偏置设置为-0.5w_att，激活参数μ设为5。情感映射规则的前提部分中描述的属性模糊集包含多个属性变量模糊集，模糊知识神经网络的属性神经元用以表示某个属性模糊集，即实现多个属性变量模糊集上的析取操作。根据析取决策规则，通过此神经元实现如果某一输入属性变量激活与偏置之和大于0，则此属性神经元激活，产生近于1的输出值。

定义模糊知识神经网络中的规则神经元如下：

f(x)＝w_rulex+b＝w_rulex+(P-0.5)*w_rule

其中，输入权重设置为w_rule，偏置设置为(P-0.5)w_rule，P为连接的输入属性神经元的个数，激活参数μ设为1。模糊知识神经网络的规则神经元用来表示任意规则的前提部分所描述的在属性模糊集上的合取操作。根据合取决策规则，通过此神经元实现如果所有输入与偏置之和大于0，则此规则神经元激活，产生近于1的输出值。

定义模糊知识神经网络中的输出神经元如下：

f(x)＝w_outx+b＝w_outx-0.5w_out

其中，输入权重设置为w_out，偏置设置为-0.5w_out，激活参数μ设为1。输出神经元表示情感模糊集，，其个数为情感模糊集的数量；通过输出神经元实现多个输入的析取操作，即如果任意输出分类相应的规则的前提匹配，则该输出神经元激活，产生小于1且较大的输出值。

具体地，通过情感映射规则构建神经元层与层之间的连接实现知识映射到网络，图3示出了本发明提供的利用情感映射规则构建模糊知识神经网络部分步骤描述示例。

下面结合图3做更为具体地说明：

1.对应以变量值逻辑形式存在的情感映射规则中存在的所有属性变量模糊集建立一一对应输入神经元，构成输入层；

2.建立阈值神经元并一一对应连接至输入神经元，构成阈值层；

3.根据情感映射规则前提部分包含的属性模糊集，建立属性神经元，构成属性层。属性神经元的输入为此属性模糊集中包含的若干个属性变量模糊集所连接的若干阈值神经元，通过属性神经元实现属性变量模糊集上的析取操作。

4.根据情感映射规则前提部分建立规则神经元。规则神经元的输入为代表此规则前提部分所述的属性模糊集的若干属性神经元，规则神经元实现属性模糊集上的合取操作。此外，为了捕捉未被情感映射规则库覆盖的情感映射知识，实现模糊知识神经网络的自学习，在规则层中为每一个情感分类添加一个自学习规则神经元。自学习规则神经元属于特殊的规则神经元，其初始权重设为0，以全连接方式连接至所有阈值神经元，偏置与规则神经元相同。自学习神经元属于无先验知识指导下构建的结构，通过训练自学习其权重。规则神经元和自学习规则神经元共同构成了规则层；

5.根据规则中存在的情感分类建立输出神经元，构成输出层。根据每个规则神经元所代表的规则的后因部分，建立规则神经元与输出神经元的连接。而对于构建的自学习规则神经元分别连接至每一个输出神经元；输出神经元实现具有相同后因部分的规则的析取操作。

6.根据各层神经元需要实现的操作初始化权重和偏置，并在所有初始化的权重上增加少量的扰动。

步骤4：根据已标注数据基于后向传播算法完成模糊知识神经网络的训练。确定损失函数，网络中定义的神经元激活函数均可微，利用后向传播解决模糊知识神经网络在训练模型时的参数更新，固定输入神经元、阈值神经元和α补偿神经元的权重，网络损失函数L、每层损失函数L_p定义如下：

L＝∑L_p

其中，N_out为输出神经元的个数，y_k为真实输出标签，

为网络预测输出标签；利用已标注数据对构建的模糊知识神经网络进行训练，实现参数优化及规则自学习。

步骤5：在训练好的模糊知识神经网络模型中提取优化后的规则。为了得到符合变量值逻辑形式的规则，本发明提供了一种从训练好的模糊知识神经网络提取规则的方法。图4示出了本发明提供的规则提取部分步骤描述示例：

1.对于所有的连接权重，连续组合两个最为接近的连接权重，生成若干连接权重组；

2.将每组中所有的连接权重设置为每个组权重总和的平均值，形成若干等价组。由于反向传播训练使得模糊知识神经网络生成的连接权重数值较为松散，因此利用聚类创建连接权重等价组可以保持提取规则的简洁性。

3.识别并消除那些不会对规则神经元产生激励的等价组，这些组通常具有低连接权重和较少的组成员。即将所有权重与偏差之和小于0的等价组消除。

4.冻结连接权重利用后向传播重新训练网络得到新的偏差；

5.提取图像视觉符号到情感输出的映射规则。通过判断加权输入与偏置之和是否大于0进行规则提取。如果加权输入的总和超过此规则神经元偏差绝对值|bias|，则规则成立。规则提取判断公式定义如下：

其中，w_r为第r个等价组的平均连接权重，Q为所有等价组的数量，bias为某规则神经元更正后的偏置，number_true{N_r}为使规则成立的第r个等价组输入的最小数目。对于规则神经元，一个输入为代表若干属性变量模糊集的属性模糊集；而对于自学习规则神经元，一个输入即为一个属性变量模糊集。最终根据提取得到的M-of-N规则，得到变量值逻辑规则。

步骤6：最后，采用训练好的模糊知识神经网络来识别测试图像所表达的情感。

本实施例方法属于图像内容分析领域，本实施例基于模糊知识神经网络的图像情感识别方法，利用模糊知识和神经网络相结合的方法完成图像特征到情感语义的映射，减小了复杂度及训练数据量，具有过程可解释性，提高图像情感识别的准确性和鲁棒性。本实施例方法提取相关文献中的图像情感映射知识，定义图像情感映射知识的规则形式，建立情感映射规则库；利用深度卷积神经网络提取图像特征，提出基于模糊K近邻算法的隶属函数计算给定图像特征对多个模糊集的隶属度；基于情感映射规则初始化构建模糊知识神经网络，完成知识到网络的转换；利用后向传播算法训练模糊知识神经网络完成模型的优化；最后，从训练好的模型中提取更新优化后的情感映射规则，并进行图像的情感识别。本实施例方法使用模糊知识神经网络完成图像特征到图像情感语义的映射过程，其不仅考虑了情感的模糊属性，引入了有效地中层语义缩短“语义鸿沟”，并且结合模糊知识和神经网络的方式提高了图像情感语义识别的准确性和鲁棒性。

上面对本发明实施例结合附图进行了说明，但本发明不限于上述实施例，还可以根据本发明的发明创造的目的做出多种变化，凡依据本发明技术方案的精神实质和原理下做的改变、修饰、替代、组合或简化，均应为等效的置换方式，只要符合本发明的发明目的，只要不背离本发明的技术原理和发明构思，都属于本发明的保护范围。

Claims (6)

1.一种基于模糊知识神经网络的图像情感识别方法，利用模糊知识和神经网络相结合的方法，完成图像特征到情感语义的映射，其特征在于，操作步骤如下：

步骤1：收集相关文献并进行图像情感映射知识的提取，将提取的图像情感映射知识转化为变量值逻辑形式化的情感映射规则，建立情感映射规则库；

步骤2：利用深度卷积神经网络进行图像特征提取，定义基于改进的模糊K近邻算法的模糊隶属函数，利用隶属函数刻画图像特征与模糊集之间的模糊关系，并以隶属度表示；

步骤3：基于情感映射规则库初始化构建模糊知识神经网络，以图像特征对模糊集的隶属度为网络输入，以情感隶属度为网络输出，完成模糊知识嵌入到神经网络，模拟图像与情感语义的映射；

步骤4：根据最小二乘法理论，利用反向传播误差进行模糊知识神经网络的训练，通过模型参数优化实现规则的自学习；

步骤5：在模糊知识神经网络训练完毕，提取自学习完毕的规则，更新情感映射规则库；

步骤6：采用训练好的模糊知识神经网络来识别测试图像所表达的情感。

2.根据权利要求1所述的基于模糊知识神经网络的图像情感识别方法，其特征在于，所述步骤1中的图像情感映射知识，其形式化规则以变量值逻辑规则形式存在，根据模糊集覆盖理论，其表现形式如下：

attribute_i＝[symbol_i1]V...V[symbol_ij]

其中，定义attribute为属性模糊集，定义symbol为属性模糊集包含的属性变量模糊集，又称为视觉符号模糊集，每个属性模糊集包含一个或多个属性变量模糊集上的析取运算v，IF部分为情感映射规则的前提部分，包含一个或多个属性模糊集attribute_i上的合取运算∧，α_th为此规则的隶属度阈值，THEN部分为情感映射规则的后因部分，包含一个图像情感模糊集emotion_k。

3.根据权利要求1所述的基于模糊知识神经网络的图像情感识别方法，其特征在于，所述步骤2中的基于模糊K近邻算法的隶属函数在于，基于图像数据集中已标记的图像数据对每一个属性模糊集建立一个模糊K近邻分类器，计算输入图像特征对该属性模糊集中包含的所有属性变量模糊集的隶属度，待分类数据x₀对分类c_j的隶属度

计算如下：

其中，α为模糊参数，x_t为已标记的第t个数据，

为模糊集中分类c_j的最近邻个数，

为待标记数据x₀对分类c_i的隶属度；

为已标记数据x_t对分类c_j的隶属度。

4.根据权利要求1所述的基于模糊知识神经网络的图像情感识别方法，其特征在于，所述步骤3中模糊知识神经网络的初始化构建，通过定义模糊知识神经网络中的不同神经元单元功能和实现层与层之间的连接来完成情感映射规则到网络的嵌入；每个神经元包含一个线性函数f(x)＝wx+b和一个激活函数y，通过设置不同的参数固定权重w，偏置b，激活参数μ实现不同的功能：

f(x)＝wx+b

5.根据权利要求1所述的基于模糊知识神经网络的图像情感识别方法，其特征在于，所述步骤4中模糊知识神经网络模型的训练学习方法具体为：

通过后向传播，最小均方差优化网络，模糊知识神经网络模型通过情感映射规则进行权重初始化，在监督学习的条件下加入真实数据训练自适应网络，减小主观性使映射更贴近真实数据，定义本网络的损失函数为L，第p层的损失函数为L_p，输出神经元的个数为N_out，定义k的含义为情感类别，y_k为真实输出标签，

为网络预测输出标签，第p层的损失函数L_p如下：

L＝ΣL_p

利用已标注的图像数据基于反向传播对构建的模糊知识神经网络进行训练，实现网络参数优化及规则的自学习。

6.根据权利要求1所述的基于模糊知识神经网络的图像情感识别方法，其特征在于，所述步骤5中在优化后的模糊知识神经网络中进行规则提取的具体方式如下：

在基于后向传播训练的模糊知识神经网络中，定义其每个规则神经元定义的输出是激活后的加权输入f(x)＝∑_hw*x+b，由模糊知识神经网络的激活函数

定义得规则神经元的输入x都具有趋于0或者1的激活值，简化规则神经元的加权输入为f(x)＝∑_hw+b，通过寻找权重w与偏置b总和大于0的输入实现自学习规则神经元部分的规则提取，其中，定义固定权重w，定义偏置b，定义第h个数据；其具体步骤为：

对所有连接权重进行聚类，形成多个权重组；将每个权重组的连接权重设为这个组所有权重的平均值，形成多个等价组；将不会激活规则神经元的权重组移除；固定等价组的所有连接权重，利用反向传播重新计算偏置；通过计算加权连接与偏置之和是否大于0而创建规则。

Images