CN110837570B - 对图像数据进行无偏见分类的方法 - Google Patents

对图像数据进行无偏见分类的方法 Download PDF

Info

Publication number
CN110837570B
CN110837570B CN201911099709.0A CN201911099709A CN110837570B CN 110837570 B CN110837570 B CN 110837570B CN 201911099709 A CN201911099709 A CN 201911099709A CN 110837570 B CN110837570 B CN 110837570B
Authority
CN
China
Prior art keywords
bias
classifier
classification
information
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911099709.0A
Other languages
English (en)
Other versions
CN110837570A (zh
Inventor
张翼
桑基韬
黄遵锜
于剑
周中元
李泽松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jiaotong University
CETC 28 Research Institute
CETC Big Data Research Institute Co Ltd
Original Assignee
Beijing Jiaotong University
CETC 28 Research Institute
CETC Big Data Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jiaotong University, CETC 28 Research Institute, CETC Big Data Research Institute Co Ltd filed Critical Beijing Jiaotong University
Priority to CN201911099709.0A priority Critical patent/CN110837570B/zh
Publication of CN110837570A publication Critical patent/CN110837570A/zh
Application granted granted Critical
Publication of CN110837570B publication Critical patent/CN110837570B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种对图像数据进行无偏见分类的方法。该方法包括：根据分类标签和偏见属性对训练图像数据进行标注；构建用于图像分类的深度卷积神经网络，将训练图像数据输入到深度卷积神经网络，将深度卷积神经网络中的卷积层输出的图像特征划分为无偏见分类信息和偏见信息；通过偏见分类器对偏见信息进行分类，通过特征分类器对无偏见分类信息进行分类，利用损失函数对偏见分类器和特征分类器进行迭代优化；利用优化完成后的特征分类器对需要分类的图像数据进行去偏见分类。本发明通过利用完全的数据进行训练，这样能够保证在去偏见的同时，仍然能够提取到充分的分类信息，实现在去偏见的同时，保证模型仍有较高的分类准确率。

Description

对图像数据进行无偏见分类的方法
技术领域
本发明涉及图像处理技术领域，尤其涉及一种对图像数据进行无偏见分类的方法。
背景技术
随着大数据时代的到来，深度学习技术已经成为当前人工智能领域的一个研究热点，其已在图像识别、语音识别、自然语言处理、搜索推荐等领域展现出了巨大的优势，甚至准确率已经超过了人类的表现，并且仍在继续发展变化。但是随着深度学习模型在现实生活中的大规模部署，一些社会问题也暴露了出来，比如应用于美国司法量刑的COMPAS系统对黑人存在歧视，会造成司法不公；MIT媒体实验室发现人脸识别系统对黑人识别的准确率要低于白人。
经过研究，学术界当前普遍认为偏见现象是因为在模型训练数据中，数据分布不公正导致的，在某些任务中，不同性别和不同肤色的人群样布在数据集中占比是不同的，这导致模型对不同的人群学习程度不同，存在着偏差。并且因为偏见难以量化，所以无法直接约束模型在学习分类任务中不引入偏见信息。
现有技术中一种解决数据不平衡导致模型存在偏见的方法为：将数据集采样为一个较为均衡的子集，并使用子集训练神经网络。因为分布均衡的数据集中，分类属性和偏见属性没有分布上的相关性，所以神经网络也学不到其中的相关性，不会导致出偏见。
上述现有技术的解决数据不平衡导致模型存在偏见的方法的缺点包括：
1：深度学习的有效性来源于大量的数据量，而通过简单直接的对数据集重新采样为子集的操作，会导致大量数据的丢失和浪费，较大的降低了模型的准确率，对于准确率和去偏见不能两全。
2：专业领域：尤其在一些数据采集或者标注的成本较高的应用场景中，比如在医疗、航空等专业性较强的领域，采集和标注都需要专家知识，这种重采样做法对人力物力有更大的要求。
3：类别偏差大：在数据重采样中，对数据偏差较大的类别进行重采样不太现实。比如对于职业分类数据集，在去除对于性别的偏见的任务中，为了平衡数据集，需要将不同的职业的男女人群数目平衡。对于其中的护士职业类，性别偏差较大，为了平衡数据集，需要在女性护士中采样出男性护士数目的的子集(真实生活中的男性护士个数实在太少)，这就导致整个护士类别样本数目过少，根部不足以为模型提供护士的信息。
发明内容
本发明的实施例提供了一种对图像数据进行无偏见分类的方法，以克服现有技术的问题。
为了实现上述目的，本发明采取了如下技术方案。
一种对图像数据进行无偏见分类的方法，优选地，包括：
根据分类标签和偏见属性对训练图像数据进行标注；
构建用于图像分类的深度卷积神经网络，所述深度卷积神经网络包括卷积层、卷积层对应的特征分类器和偏见分类器，将训练图像数据输入到所述深度卷积神经网络，将所述深度卷积神经网络中的卷积层输出的图像特征划分为无偏见分类信息和偏见信息；
通过所述偏见分类器对所述偏见信息进行分类，通过所述特征分类器对所述无偏见分类信息进行分类，利用损失函数对所述偏见分类器和所述特征分类器进行迭代优化；
利用优化完成后的特征分类器对需要分类的图像数据进行去偏见分类。
优选地，所述的构建用于图像分类的深度卷积神经网络，所述深度卷积神经网络包括卷积层、卷积层对应的特征分类器和偏见分类器，将训练图像数据输入到所述深度卷积神经网络，将所述深度卷积神经网络中的卷积层输出的图像特征划分为无偏见分类信息和偏见信息，包括：
构建用于图像分类的深度卷积神经网络，所述深度卷积神经网络包括卷积层f，卷积层对应的特征分类器为ht，在最高层卷积层后附加一个偏见分类器hb，将训练图像数据输入到所述深度卷积神经网络的卷积层f，使用了一个比例参数λ将卷积层f处理得到的特征划分为无偏见分类信息vt和偏见信息vb，将生成无偏见分类信息vt的参数记作ft，将生成偏见信息vb的参数记作fb。
优选地，所述的通过所述偏见分类器对所述偏见信息进行分类，通过所述特征分类器对所述无偏见分类信息进行分类，利用损失函数对所述偏见分类器和所述特征分类器进行迭代优化，包括：
设置目标任务损失函数Ltarget来优化所述特征分类器ht，优化过程如下所示：
Figure GDA0003143316830000031
Figure GDA0003143316830000032
公式1参数含义：f代表ft和fb的神经网络参数，公式1指的是使用梯度反向传播法更新f和ht来使得Ltarget最小化；
公式2参数含义：
Figure GDA0003143316830000033
表示一个由0和1组成的数组，数组的第ti个值为1，其他为0，公式2为公式1的优化目标，loght(f(xi))表示是ht的输出在经过对数处理后的结果，因为是一个分类结果，假设有k个类别，那么loght(f(xi))就有k个值，每个值代表预测为每个类的可能性；
公式2是一个交叉熵损失函数，当最小化这个函数时，loght(f(xi))就无限接近于
Figure GDA0003143316830000041
即分类为第ti个类的可能性最高，接近1。
优选地，所述的通过所述偏见分类器对所述偏见信息进行分类，通过所述特征分类器对所述无偏见分类信息进行分类，利用损失函数对所述偏见分类器和所述特征分类器进行迭代优化，包括：
设置偏见分类损失函式Lbias优化偏见分类器hb(·)；
Figure GDA0003143316830000042
Figure GDA0003143316830000043
公式3参数含义：hb表示对f提取到特征的偏见信息分类器，公式3指的是使用梯度反向传播法更新hb中的神经网络参数来使得Lbias最小化，当Lbias最小时，表示偏见分类器hb被训练好了；
公式4参数含义：
Figure GDA0003143316830000044
表示一个由0和1组成的数组，数组的第bi个值为1，其他为0，公式4是为公式3的优化目标；
通过反向传播优化ft部分参数，使得hb分类器的分类准确率下降；
Figure GDA0003143316830000045
公式5指的是使用梯度反向传播法更新ft中的神经网络参数来使得Lbias最大化，当Lbias最大时，则对vt分类的偏见分类器hb的分类效果失效，ft生成的Vt是无偏信息。
对于fb部分，通过反向传播优化fb部分参数，使得hb(·)分类器分类准确率上升；
Figure GDA0003143316830000051
公式6指的是使用梯度反向传播法更新fb中的神经网络参数来使得Lbias最小化，当Lbias最小时，表示此时输入到偏见分类器中的特征vb包含偏见信息。
优选地，所述的利用优化完成后的特征分类器对需要分类的图像数据进行去偏见分类，包括：
将优化完成的特征提取器ft作为最终模型的特征提取部分，将需要分类的图像数据输入到特征提取器ft，特征提取器ft输出无偏特征信息vt，基于vt特征训练一个公平分类器hF，并定义优化hF的损失函式Lfair如下：
Figure GDA0003143316830000052
Figure GDA0003143316830000053
公式7参数含义：hF表示对ft提取到特征进行目标分类的分类器，公式7指的是使用梯度反向传播法更新hF中的神经网络参数来使得Lfair最小化，当Lfair最小时，表示公平分类器hF已经被训练好了；
公式8参数含义：
Figure GDA0003143316830000054
表示一个由0和1组成的数组，数组的第bi个值为1，其他为0，公式8是为公式7的优化目标；
将需要分类的图像数据的无偏特征信息Vt输入到训练好的公平分类器hF，得到需要分类的图像数据的没有偏见的目标分类结果。
由上述本发明的实施例提供的技术方案可以看出，本发明实施例通过利用完全的数据进行训练，这样能够保证在去偏见的同时，仍然能够提取到充分的分类信息，实现在去偏见的同时，保证模型仍有较高的分类准确率。
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种对图像数据进行无偏见分类的方法的实现原理示意图；
图2为本发明实施例提供的一种对图像数据进行无偏见分类的方法的具体处理流程图；
图3为本发明实施例提供的一种对数据进行标注的示意图。
图4为本发明实施例提供的一种使用比例参数λ将卷积层处理得到的特征划分为无偏见分类信息vt和偏见信息vb的示意图。
具体实施方式
下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
为便于对本发明实施例的理解，下面将结合附图以几个具体实施例为例做进一步的解释说明，且各个实施例并不构成对本发明实施例的限定。
本发明的目的是在不损失模型准确率的前提下，去除模型中的偏见现象。本发明受到卷积神经网络高层语义信息是融合在一起这一现象的启发，为了去除高层分类信息中所包含的偏见信息，实现了一种基于特征解相关的视觉去偏见方法。本发明实施例提供了一种基于特征解相关的视觉去偏见的方法，该方法的处理流程如图1所示，包括如下的处理步骤：
本发明实施例提供的一种对图像数据进行无偏见分类的方法的实现原理示意图如图1所示，具体处理流程如图2所示，包括如下的处理步骤：
步骤、根据分类标签和偏见属性对训练图像数据进行标注。
获取图像数据集中每个样本(即训练图像数据)的分类信息和偏见属性，分类信息指的是此模型需要完成的任务，比如对图像进行职业分类或者动作分类，那么分类信息就是职业或者动作；偏见属性指的是样本的社会属性，社会属性指的是本发明需要去除的偏见信息，比如性别、肤色、种族和年龄等社会属性。
对于普通的图像分类模型，训练数据只需要标注分类标签；而对于有去偏见要求的图像分类模型，训练数据除了标注分类标签之外，还需要标注图像样本的偏见属性。举个例子，在图像职业分类任务中，模型的训练数据需要包含图像样本，以及样本所对应的职业和样本所对应的偏见属性。
数据集的形式可以表示如下：
Figure GDA0003143316830000081
其中xi表示第i张图像的原始特征向量,tI表示分类标签,
Figure GDA0003143316830000082
表示对于第M个偏见变量的偏见标签。
图3为本发明实施例提供的一种对数据进行标注的示意图，图像的原始标注中包括待分类的类别信息，如田径运动员、篮球运动员；还包括待去除的偏见信息，如性别。
步骤、去偏见卷积神经网络的设置和优化。
2.1实现分类任务
对于传统的图像分类模型，由规模不等的卷积层和全连接层串联而成，卷积层负责提取特征，卷积层对应的特征分类器为ht，全连接层负责对特征进行组合分析并进行分类。本发明在除了基于目标分类器的全连接层ht(·)外，又在卷积层后添加了负责对偏见变量分类的全连接层hb(·)。本发明构建一个用于图像分类的深度卷积神经网络，并且在最高层卷积层后附加一个偏见分类器hb，该偏见分类器hb用来对偏见信息进行分类，比如，对偏见信息进行男女分类、肤色分类等。
2.2对卷积得到的特征图进行随机划分
为了在模型结构上，将偏见信息从分类信息中显性地剥离开来，本发明为不同的特征定义了不同的任务，将卷积层处理得到的一部分特征设置为表达从图像中提取到的无偏见分类信息vt，另一部分特征设置为表达图像中的偏见信息vb，并且将生成vt特征图部分的参数记作ft，将生成vb特征图部分的参数记作fb。在划分过程中，如图4所示。本发明使用了一个比例参数λ将卷积层处理得到的特征划分为无偏见分类信息vt和偏见信息vb的示意图。
本发明从hb的角度判别卷积特征图中是否含有偏见信息，并利用hb的反馈结果，去优化ft，使得ft部分不再包含偏见信息；并且为了防止ft对hb过拟合，导致hb失去对偏见信息的判别能力，所以在对ft优化的过程中，也在不断优化hb。
2.3对设置好的卷积神经网络进行优化
本发明将卷积层记作f，卷积层f对应特征分类器。首先，为了满足最基本的图像分类任务，设计了一个目标任务损失函数Ltarget。这个损失函数的任务是优化特征分类器，使得特征分类器能够提取到分类任务所用到的特征。优化过程如下所示：
Figure GDA0003143316830000091
Figure GDA0003143316830000092
公式1参数含义：f代表ft和fb的神经网络参数，ht表示对f提取到特征的目标任务分类器。公式1指的是，使用梯度反向传播法更新f和ht来使得Ltarget最小化。
公式2参数含义：
Figure GDA0003143316830000093
表示一个由0和1组成的数组，数组的第ti个值为1(这个ti是数据集中标注好的，代表图像样本所对应的类别)，其他为0。公式2为公式1的优化目标。loght(f(xi))表示是ht的输出在经过对数处理后的结果，因为是一个分类结果，假设有k个类别，那么loght(f(xi))就有k个值，每个值代表预测为每个类的可能性。
公式2是一个交叉熵损失函数，当最小化这个函数时，loght(f(xi))就无限接近于
Figure GDA0003143316830000094
也就是说分类为第ti个类的可能性最高，接近1。这样就达到了训练的目的，下文中也都是都类似。
基于上述优化目标，已经能够约束特征分类器f提取到的特征是目标分类所需特征。以此，为了实现去除提取到的特征中所包含的偏见信息，所以需要一个偏见分类器来监督这些特征里面是否含有偏见信息，所以还需要定义一个偏见分类损失函式Lbias优化偏见分类器hb(·)。
Figure GDA0003143316830000101
Figure GDA0003143316830000102
公式3参数含义：hb表示对f提取到特征的偏见信息分类器。公式3指的是，使用梯度反向传播法更新hb中的神经网络参数来使得Lbias最小化。当Lbias最小时，表示此偏见分类器已经被训练好了，具有偏见分类的能力。
公式4参数含义：
Figure GDA0003143316830000103
表示一个由0和1组成的数组，数组的第bi个值为1，其他为0。公式4是为公式3的优化目标。
之后，根据之前对特征图的划分，以及对不同特征图赋予的不同任务。通过反向传播优化ft部分参数，使得hb(·)分类器的分类准确率下降，代表ft中所表达的偏见信息被充分混淆了。
Figure GDA0003143316830000104
公式5参数含义：ft是f的一部分参数，定义这部分参数负责表示无偏的特征(无偏信息)。公式5指的是，使用梯度反向传播法更新ft中的神经网络参数来使得Lbias最大化。当Lbias最大时，则对vt分类的偏见分类器hb的分类效果失效，表示此时输入到偏见分类器中的特征vt(经过ft表示所生成的特征)不包含偏见信息，保证了ft生成的vt是无偏信息。
当最大化这个函数时，loghb(f(xi))就无限接近于
Figure GDA0003143316830000105
也就是说分类为第bi个类的可能性最低，接近0。
因为hb是偏见分类器(f部分计算得到的数据是h部分的输入)，所以hb具有对偏见信息分类的能力。对ft部分所作的更新是为了使偏见分类器hb的分类准确率下降，直到偏见分类器hb的分类效果失效，就说明ft生成的Vt中不包含偏见信息的。
对于fb部分，通过反向传播优化fb部分参数，使得hb(·)分类器的分类准确率上升。hb(·)的准确率上升就代表fb中所表达的信息为偏见信息。本发明对传统的深度学习用所有特征进行分类的方案进行了改进，将卷积层f的特征划分为无偏见分类信息vt和偏见信息vb，并且使fb中增强偏见信息，ft中减少偏见信息，就能实现去偏见，但是f中所包含的偏见信息总量没有变化。
Figure GDA0003143316830000111
公式6参数含义，fb是f的一部分参数，定义这部分参数负责表示有偏的特征(有偏信息)。公式6指的是，使用梯度反向传播法更新fb中的神经网络参数来使得Lbias最小化。当Lbias最小时，表示此时输入到偏见分类器中的特征vb(经过fb表示所生成的特征)包含偏见信息，这样就保证了fb+ft这个整体f所生成的vt+vb中有偏见，能够更彻底地去除ft表示得到的特征vt。
值得注意的事，因为对此网络的优化是一个不断迭代的过程，对于上述优化过程都在不断地迭代进行，知道能够同时完成去偏见和分类任务为止。
步骤、利用优化完成后的特征分类器对需要分类的图像数据进行去偏见分类。
将上面训练好的优化完成的模型中的特征提取器ft作为最终模型的特征提取部分，并且将其参数冻结，在之后的训练过程中不再更新。
将需要分类的图像数据输入到特征提取器ft，特征提取器ft输出无偏特征信息vt(vt既满足无偏要求，又满足能够表示目标信息要求)，然后，基于vt特征去训练一个公平分类器hF，并定义优化hF的损失函式Lfair如下：
Figure GDA0003143316830000121
Figure GDA0003143316830000122
公式7参数含义：hF表示对ft提取到的特征进行目标分类的分类器。公式7指的是，使用梯度反向传播法更新hF中的神经网络参数来使得Lfair最小化。当Lfair最小时，表示此公平分类器已经被训练好了，具有基于无偏特征vt分类的能力。
公式8参数含义：
Figure GDA0003143316830000123
表示一个由0和1组成的数组，数组的第bi个值为1，其他为0。公式8是为公式7的优化目标。
最后，将需要分类的图像数据的无偏特征信息vt输入到训练好的公平分类器hF，得到需要分类的图像数据的目标分类结果，此时这个目标分类结果是没有偏见的。
对于本发明中，对于特征图的划分操作，不只最后一层的卷积结果特征图进行划分，可以同时应用多层特征图进行划分，比如同时对最后两层的特征图划分；
本说明书中提到的分类器的损失函数，都是采用的交叉熵损失函数，如果使用分类模型中常用的其他损失函数也能够达到相似效果，比如均方误差、MSE、平均绝对值误差等损失函数。
综上所述，本发明实施例通过利用完全的数据进行训练，这样能够保证在去偏见的同时，仍然能够提取到充分的分类信息，实现在去偏见的同时，保证模型仍有较高的分类准确率；
本发明对网络结构进行修改，能够从结构上约束特征的解相关性，以此实现去偏见。在此发明中，所提取到的特征更加具有可解释性，特征的语义信息更加清晰。
本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (5)

1.一种对图像数据进行无偏见分类的方法，其特征在于，包括：
根据分类标签和偏见属性对训练图像数据进行标注；
构建用于图像分类的深度卷积神经网络，所述深度卷积神经网络包括卷积层、卷积层对应的特征分类器和偏见分类器，将训练图像数据输入到所述深度卷积神经网络，将所述深度卷积神经网络中的卷积层输出的图像特征划分为无偏见分类信息和偏见信息；
通过所述偏见分类器对所述偏见信息进行分类，通过所述特征分类器对所述无偏见分类信息进行分类，利用损失函数对所述偏见分类器和所述特征分类器进行迭代优化；
利用优化完成后的特征分类器对需要分类的图像数据进行去偏见分类。
2.根据权利要求1所述的方法，其特征在于，所述的构建用于图像分类的深度卷积神经网络，所述深度卷积神经网络包括卷积层、卷积层对应的特征分类器和偏见分类器，将训练图像数据输入到所述深度卷积神经网络，将所述深度卷积神经网络中的卷积层输出的图像特征划分为无偏见分类信息和偏见信息，包括：
构建用于图像分类的深度卷积神经网络，所述深度卷积神经网络包括卷积层f，卷积层对应的特征分类器为ht，在最高层卷积层后附加一个偏见分类器hb，将训练图像数据输入到所述深度卷积神经网络的卷积层f，使用了一个比例参数λ将卷积层f处理得到的特征划分为无偏见分类信息vt和偏见信息vb，将生成无偏见分类信息vt的参数记作ft，将生成偏见信息vb的参数记作fb。
3.根据权利要求2所述的方法，其特征在于，所述的通过所述偏见分类器对所述偏见信息进行分类，通过所述特征分类器对所述无偏见分类信息进行分类，利用损失函数对所述偏见分类器和所述特征分类器进行迭代优化，包括：
设置目标任务损失函数Ltarget来优化所述特征分类器ht，优化过程如下所示：
Figure FDA0003143316820000021
Figure FDA0003143316820000022
公式1参数含义：F代表ft和fb的神经网络参数，公式1指的是使用梯度反向传播法更新F和ht来使得Ltarget最小化；
公式2参数含义：xi表示第i张图像的原始特征向量，
Figure FDA0003143316820000023
表示一个由0和1组成的数组，数组的第ti个值为1，其他为0，公式2为公式1的优化目标，log ht(f(xi))表示是ht的输出在经过对数处理后的结果，因为是一个分类结果，假设有k个类别，那么log ht(f(xi))就有k个值，每个值代表预测为每个类的可能性；
公式2是一个交叉熵损失函数，当最小化这个函数时，log ht(f(xi))就无限接近于
Figure FDA0003143316820000026
即分类为第ti个类的可能性最高，接近1。
4.根据权利要求3所述的方法，其特征在于，所述的通过所述偏见分类器对所述偏见信息进行分类，通过所述特征分类器对所述无偏见分类信息进行分类，利用损失函数对所述偏见分类器和所述特征分类器进行迭代优化，包括：
设置偏见分类损失函式Lbias优化偏见分类器hb；
Figure FDA0003143316820000024
Figure FDA0003143316820000025
公式3参数含义：hb表示对f提取到特征的偏见分类器，公式3指的是使用梯度反向传播法更新hb中的神经网络参数来使得Lbias最小化，当Lbias最小时，表示偏见分类器hb被训练好了；
公式4参数含义：xi表示第i张图像的原始特征向量，
Figure FDA0003143316820000031
表示一个由0和1组成的数组，数组的第bi个值为1，其他为0，公式4为公式3的优化目标；
通过反向传播优化ft部分参数，使得hb分类器的分类准确率下降；
Figure FDA0003143316820000032
公式5指的是使用梯度反向传播法更新ft中的神经网络参数来使得Lbias最大化，当Lbias最大时，则对vt分类的偏见分类器hb的分类效果失效，ft生成的vt是无偏信息；
对于fb部分，通过反向传播优化fb部分参数，使得hb分类器分类准确率上升；
Figure FDA0003143316820000033
公式6指的是使用梯度反向传播法更新fb中的神经网络参数来使得Lbias最小化，当Lbias最小时，表示此时输入到偏见分类器中的特征vb包含偏见信息。
5.根据权利要求4所述的方法，其特征在于，所述的利用优化完成后的特征分类器对需要分类的图像数据进行去偏见分类，包括：
将优化完成的特征提取器ft(xi)作为最终模型的特征提取部分，将需要分类的图像数据输入到特征提取器ft(xi)，特征提取器ft(xi)输出无偏见分类信息vt，基于vt特征训练一个公平分类器hF，并定义优化hF的损失函式Lfair如下：
Figure FDA0003143316820000034
Figure FDA0003143316820000035
公式7参数含义：hF表示对ft(xi)提取到特征进行目标分类的分类器，公式7指的是使用梯度反向传播法更新hF中的神经网络参数来使得Lfair最小化，当Lfair最小时，表示公平分类器hF已经被训练好了；
公式8参数含义：xi表示第i张图像的原始特征向量，
Figure FDA0003143316820000041
表示一个由0和1组成的数组，数组的第bi个值为1，其他为0，公式8是为公式7的优化目标；
将需要分类的图像数据的无偏见分类信息vt输入到训练好的公平分类器hF，得到需要分类的图像数据的没有偏见的目标分类结果。
CN201911099709.0A 2019-11-12 2019-11-12 对图像数据进行无偏见分类的方法 Active CN110837570B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911099709.0A CN110837570B (zh) 2019-11-12 2019-11-12 对图像数据进行无偏见分类的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911099709.0A CN110837570B (zh) 2019-11-12 2019-11-12 对图像数据进行无偏见分类的方法

Publications (2)

Publication Number Publication Date
CN110837570A CN110837570A (zh) 2020-02-25
CN110837570B true CN110837570B (zh) 2021-10-08

Family

ID=69574805

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911099709.0A Active CN110837570B (zh) 2019-11-12 2019-11-12 对图像数据进行无偏见分类的方法

Country Status (1)

Country Link
CN (1) CN110837570B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111400715B (zh) * 2020-06-04 2020-11-03 鹏城实验室 分类引擎诊断方法、装置及计算机可读存储介质
CN112115963B (zh) * 2020-07-30 2024-02-20 浙江工业大学 一种基于迁移学习生成无偏见深度学习模型的方法
CN111860441B (zh) * 2020-07-31 2024-03-29 浙江工业大学 基于无偏深度迁移学习的视频目标识别方法
CN113077057B (zh) * 2021-04-20 2022-09-06 中国科学技术大学 无偏机器学习方法
CN113420878B (zh) * 2021-07-09 2022-10-14 浙江工业大学 基于双向特征嵌入的深度学习模型去偏方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105404901A (zh) * 2015-12-24 2016-03-16 上海玮舟微电子科技有限公司 分类器的训练方法、图像检测方法及各自系统
CN108875912A (zh) * 2018-05-29 2018-11-23 天津科技大学 一种用于图像识别的神经网络模型
CN109961022A (zh) * 2019-03-07 2019-07-02 首都师范大学 一种基于深度学习的服装草图输入布料材质识别模拟方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9892344B1 (en) * 2015-11-30 2018-02-13 A9.Com, Inc. Activation layers for deep learning networks

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105404901A (zh) * 2015-12-24 2016-03-16 上海玮舟微电子科技有限公司 分类器的训练方法、图像检测方法及各自系统
CN108875912A (zh) * 2018-05-29 2018-11-23 天津科技大学 一种用于图像识别的神经网络模型
CN109961022A (zh) * 2019-03-07 2019-07-02 首都师范大学 一种基于深度学习的服装草图输入布料材质识别模拟方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MIT SCAIL科学家研究出让AI算法自动消除偏见的方法;Cnetnews;《搜狐》;20190130;全文 *
Turning a Blind Eye: Explicit Removal of Biases and Variation fr;M Alvi et al.;《Proceedings of the European Conference on Computer Vision (ECCV) Workshop》;20181231;全文 *

Also Published As

Publication number Publication date
CN110837570A (zh) 2020-02-25

Similar Documents

Publication Publication Date Title
CN110837570B (zh) 对图像数据进行无偏见分类的方法
Mascarenhas et al. A comparison between VGG16, VGG19 and ResNet50 architecture frameworks for Image Classification
Liu et al. A constrained deep neural network for ordinal regression
Hon et al. Deep learning classification in asteroseismology
Vo et al. Race recognition using deep convolutional neural networks
Mathur et al. Crosspooled FishNet: transfer learning based fish species classification model
CN111738436A (zh) 一种模型蒸馏方法、装置、电子设备及存储介质
US20240046700A1 (en) Action recognition method
Xia et al. Transferring ensemble representations using deep convolutional neural networks for small-scale image classification
CN113569895A (zh) 图像处理模型训练方法、处理方法、装置、设备及介质
Verdhan Computer Vision Using Deep Learning
Zulkeflie et al. Evaluation of basic convolutional neural network, alexnet and bag of features for indoor object recognition
Ghadi et al. A graph-based approach to recognizing complex human object interactions in sequential data
Wang et al. Deep convolutional cross-connected kernel mapping support vector machine based on SelectDropout
Çalışkan Finding complement of inefficient feature clusters obtained by metaheuristic optimization algorithms to detect rock mineral types
Gomez Blas et al. Image classification with convolutional neural networks using gulf of maine humpback whale catalog
CN109934281B (zh) 一种二分类网络的非监督训练方法
CN109583406B (zh) 基于特征关注机制的人脸表情识别方法
CN113505740A (zh) 基于迁移学习和卷积神经网络的面部识别方法
Kaya et al. Binary classification of criminal tools from the images of the case using CNN
Eghbali et al. Deep Convolutional Neural Network (CNN) for Large-Scale Images Classification
Anggoro et al. Classification of Solo Batik patterns using deep learning convolutional neural networks algorithm
Alanno Machine learning implementation in face recognition and identification
Da Silva et al. An evolutionary search algorithm for efficient ResNet-based architectures: a case study on gender recognition
Natephakdee et al. Convolutional neural network and dropout technique for recognition of thai food image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant