CN116824198A - 一种偏见评估方法、装置、介质、程序产品及电子设备 - Google Patents

一种偏见评估方法、装置、介质、程序产品及电子设备 Download PDF

Info

Publication number
CN116824198A
CN116824198A CN202210281564.1A CN202210281564A CN116824198A CN 116824198 A CN116824198 A CN 116824198A CN 202210281564 A CN202210281564 A CN 202210281564A CN 116824198 A CN116824198 A CN 116824198A
Authority
CN
China
Prior art keywords
image
evaluation
model
images
factors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210281564.1A
Other languages
English (en)
Inventor
陈晓仕
张诗杰
朱森华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Cloud Computing Technologies Co Ltd
Original Assignee
Huawei Cloud Computing Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Cloud Computing Technologies Co Ltd filed Critical Huawei Cloud Computing Technologies Co Ltd
Priority to CN202210281564.1A priority Critical patent/CN116824198A/zh
Priority to PCT/CN2022/132232 priority patent/WO2023179055A1/zh
Publication of CN116824198A publication Critical patent/CN116824198A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种偏见评估方法、装置、介质、程序产品及电子设备，应用于人工智能领域，可以降低对验证数据集的收集要求，得到较为全面的偏见评估结果，并直观展示给用户。该方法包括：获取待验证因素；根据待验证因素对多个评估图像进行分类，得到第一目标评估图像集合，第一目标评估图像集合包括：包含所述待验证因素的第一评估图像集合，和/或，不包含所述待验证因素的第二评估图像集合；按照待验证因素对第一目标评估图像集合进行风格转换，得到第二目标评估图像集合；将第一目标评估图像集合和第二目标评估图像集合输入待评估模型进行推理，并根据推理结果输出对待评估模型的偏见评估结果；风格转换是通过去除或添加待验证因素实现的。

Description

一种偏见评估方法、装置、介质、程序产品及电子设备
技术领域
本申请涉及人工智能领域，特别涉及一种偏见评估方法、装置、介质、程序产品及电子设备。
背景技术
图像数据集偏见是指图像数据集中存在的“虚假技术特征”，这些虚假技术特征是在利用图像数据训练机器学习模型时，图像数据中存在的不希望被机器学习模型学习的特征。
在一些场景中，图像数据集的一些图像中存在图像采集设备的机型等设备标签、图像采集参数以及人为标记等信息，而这些信息可能成为模型学习的虚假特征，从而，有可能导致机器学习模型无法按照设计者的预期，客观真实地对目标任务进行学习。那么，训练好的机器学习模型在实际使用环境中有可能难以按预期完成目标任务，从而导致模型存在偏见，识别结果可能出现大范围错误。例如，针对目标任务为识别重病图像的医学图像识别模型，如果训练数据集中存在重症室设备的标签，那么在训练中模型会学习该标签的特征来推测医学图像是否为重病图像，而不再学习病灶组织相关的图像特征。进而，如果在训练好的医学图像数据中输入心脏病重病图像，而该医学图像中没有重症室设备的标签，该模型很可能无法推测出患者为心脏病重症，导致模型的识别结果出现严重错误。如此，亟需一种便捷的方法对训练好的机器学习模型进行偏见评估，以更好地应用机器学习模型。
发明内容
有鉴于此，本申请实施例提供了一种偏见评估模型、装置、介质、程序产品及电子设备，可以降低对验证数据集的收集要求，得到对待评估模型较为全面的偏见评估结果，并直观展示给用户。
第一方面，本申请实施例提供了一种偏见评估方法，应用于电子设备，该方法包括：获取对待评估模型进行偏见评估的多个评估图像所存在的待验证因素；根据所述待验证因素对所述多个评估图像进行分类，得到第一目标评估图像集合，所述第一目标评估图像集合包括：包含所述待验证因素的第一评估图像集合，和/或，不包含所述待验证因素的第二评估图像集合；按照所述待验证因素对所述第一目标评估图像集合进行风格转换，得到第二目标评估图像集合；将所述第一目标评估图像集合和所述第二目标评估图像集合输入所述待评估模型进行推理，得到目标推理结果；根据所述目标推理结果，输出对所述待评估模型的偏见评估结果，所述偏见评估结果用于表征所述待验证因素是否造成所述待评估模型偏见；其中，对所述第一评估图像集合进行风格转换是通过去除所述待验证因素实现的，对所述第二评估图像集合进行风格转换是通过添加所述待验证因素实现的。可以理解的是，多个评估图像即为下文中的验证数据集。第一评估图像集合和第二评估图像集合可以为下文中验证数据集划分得到的不同子集。其中，上述待验证因素可以为图像特征，例如心脏起搏器的图像特征。例如，风格转换前的图像为包括心脏起搏器图像特征的心脏病患者的X光图像，风格转换后的图像为去除心脏起搏器图像的心脏病患者的X光图像。如此，本申请提供的偏见评估方法不需要收集样本图像的真实标签，同时克服了实际中无法获取某些类别的图像的困难，对验证数据集中的样本图像的收集要求较低，可以减少用户在样本收集上的时间。
在第一方面的一种可能的实现方式中，上述偏见评估结果包括以下至少一项：所述待验证因素是否为造成所述待评估模型偏见的因素的信息；所述第一目标评估图像集合中的差异图像，所述差异图像为所述第一目标评估图像集合中推理结果与所述第二目标评估图像集合中对应的风格转换后的至少一个转换图像的推理结果不同的评估图像，所述差异图像的推理结果和所述转换图像的推理结果均为经过所述待评估模型输出的推理结果；所述第二目标评估集合中包括的针对每个所述差异图像进行风格转换得到的转换图像；所述待评估模型对每个所述差异图像的推理结果；所述待评估模型对每个所述转换图像的推理结果；所述第一目标评估图像集合中的差异图像在所述多个评估图像中的占比。如此，可以展示给用户基于多个待评估图像对待评估模型的较为全面的偏见评估结果。
可以理解的是，上述差异图像即为下文中所描述的差异样本或者差异较大的图像。例如，第一目标评估图像集合中的一个差异图像为包含心脏起搏器图像特征的心脏病患者的X光图像，在第二目标评估图像集合中对应的风格转换后的图像为去除心脏起搏器图像的心脏病患者的X光图像(即对应的转换图像)。另外，两个图像的推理结果不同，可以指推理结果不同或者差异较大。例如，待评估模型对两个图像的推理结果不同，在待评估模型为分类模型时指的是两个图像分类结果不同，在待评估模型为检测模型时指的是两个图像的中的矩形框的交并比(Intersection-over-Union，IoU)低于设定的IoU阈值。
在第一方面的一种可能的实现方式中，所述待验证因素为基于所述验证数据集中的每张原图像的背景和前景确定得到的，且所述待验证因素对应于背景中的图像特征。
在第一方面的一种可能的实现方式中，图像的风格转换是通过图像风格转换模型实现的；所述风格转换模型是根据所述第一评估图像集合和所述第二评估图像集合训练得到；并且，所述图像风格转换模型用于对包含所述验证因素的图像去除所述验证因素，以及对不包含所述验证因素的图像添加所述验证因素，所述验证因素为图像特征。
在第一方面的一种可能的实现方式中，所述第一评估图像集合对应第一分类标签，所述第二评估图像集合对应与所述第一分类标签不同的第二分类标签，所述图像风格转换模型是基于所述第一评估图像集合中的图像和所述第一分类标签，以及所述第二评估图像集合中的图像和所述第二分类标签训练得到的。
在第一方面的一种可能的实现方式中，上述方法还包括：接收用户输入的所述验证数据集和所述待评估模型。
在第一方面的一种可能的实现方式中，上述方法还包括：接收用户输入的所述待验证因素，所述待验证因素为图像特征或者指示图像特征的标识。
第二方面，本申请实施例提供了一种偏见评估装置，包括：获取模块，用于获取对待评估模型进行偏见评估的多个评估图像所存在的待验证因素；分类模块，用于根据所述获取模块获取的所述待验证因素对所述多个评估图像进行分类，得到第一目标评估图像集合，所述第一目标评估图像集合包括：包含所述待验证因素的第一评估图像集合，和/或，不包含所述待验证因素的第二评估图像集合；转换模块，用于按照所述待验证因素对所述分类模块得到的所述第一目标评估图像集合进行风格转换，得到第二目标评估图像集合；推理模块，用于将所述分类模块得到的所述第一目标评估图像集合和所述转换模块得到所述第二目标评估图像集合输入所述待评估模型进行推理，得到目标推理结果；输出模块，用于根据所述推理模块得到的所述目标推理结果，输出对所述待评估模型的偏见评估结果，所述偏见评估结果用于表征所述待验证因素是否造成所述待评估模型偏见；其中，对所述第一评估图像集合进行风格转换是通过去除所述待验证因素实现的，对所述第二评估图像集合进行风格转换是通过添加所述待验证因素实现的。
在第二方面的一种可能的实现方式中，所述偏见评估结果包括以下至少一项：所述待验证因素是否为造成所述待评估模型偏见的因素的信息；所述第一目标评估图像集合中的差异图像，所述差异图像为所述第一目标评估图像集合中推理结果与所述第二目标评估图像集合中对应的风格转换后的至少一个转换图像的推理结果不同的评估图像，所述差异图像的推理结果和所述转换图像的推理结果均为经过所述待评估模型输出的推理结果；所述第二目标评估集合中包括的针对每个所述差异图像进行风格转换得到的转换图像；所述待评估模型对每个所述差异图像的推理结果；所述待评估模型对每个所述转换图像的推理结果；所述第一目标评估图像集合中的差异图像在所述多个评估图像中的占比。
在第二方面的一种可能的实现方式中，所述待验证因素为基于所述验证数据集中的每张原图像的背景和前景确定得到的，且所述待验证因素对应于背景中的图像特征。
在第二方面的一种可能的实现方式中，图像的风格转换是通过图像风格转换模型实现的；所述风格转换模型是根据所述第一评估图像集合和所述第二评估图像集合训练得到；
并且，所述图像风格转换模型用于对包含所述验证因素的图像去除所述验证因素，以及对不包含所述验证因素的图像添加所述验证因素，所述验证因素为图像特征。
在第二方面的一种可能的实现方式中，所述第一评估图像集合对应第一分类标签，所述第二评估图像集合对应与所述第一分类标签不同的第二分类标签，所述图像风格转换模型是基于所述第一评估图像集合中的图像和所述第一分类标签，以及所述第二评估图像集合中的图像和所述第二分类标签训练得到的。
在第二方面的一种可能的实现方式中，所述装置还包括：输入模块，用于接收用户输入的所述验证数据集和所述待评估模型。
在第二方面的一种可能的实现方式中，所述输入模块，还用于接收用户输入的所述待验证因素，所述待验证因素为图像特征或者指示图像特征的标识。
例如，上述偏见评估装置可以设置在电子设备中，上述获取模块、分类模块、转换模块和输出模块可以通过电子设备中的处理器实现，上述输入模块可以通过电子设备的接口单元实现。
第三方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，该指令在电子设备上执行时使电子设备执行第一方面所述的偏见评估方法。
第四方面，本申请实施例提供了一种计算机程序产品，所述计算机程序产品包括指令，所述指令用于实现如第一方面所述的偏见评估方法。
第五方面，本申请实施例提供了一种电子设备，包括：
存储器，用于存储由电子设备的一个或多个处理器执行的指令，以及
处理器，当所述指令被一个或多个处理器执行时，所述处理器用于执行如第一方面所述的偏见评估方法。
附图说明
图1是本申请实施例提供的一种偏见评估的应用场景示意图；
图2是本申请实施例提供的一种偏见评估方法所应用的系统架构框图；
图3是本申请实施例提供的待评估模型的不同类别的示意图；
图4是本申请实施例提供的一种偏见评估方法应用的系统的架构框图；
图5是本申请实施例提供的一种偏见评估的方法的流程示意图；
图6是本申请实施例提供的一种偏见评估结果的显示界面的示意图；
图7是本申请实施例提供的一种基于医学图像评估模型的偏见评估方法的流程示意图；
图8A、图8B和图9是本申请实施例提供的一种偏见评估结果的显示界面的示意图；
图10是本申请实施例提供的一种电子设备的结构框图。
具体实施方式
本申请的实施例包括但不限于一种偏见评估方法、介质及电子设备。
下面介绍本申请实施例中相关的一些概念。
(1)机器学习(Machine learning)：机器学习是一门人工智能的科学，该领域的主要研究对象是人工智能，特别是如何在经验学习中改善具体算法的性能。
(2)深度学习(deep learning)：一类基于深层次神经网络算法的机器学习技术，其主要特征是使用多重非线性变换结构对数据进行处理和分析。主要应用于人工智能领域的感知、决策等场景，例如图像和语音识别、自然语言翻译、计算机博弈等。
(3)数据偏见(Data bias)：或者称为图像数据集偏见，对于特定机器学习任务而言，数据中存在与该任务呈相关但不存在非因果关系的因素。例如样本不均衡、数据中存在人为标志物等。而数据偏见可能导致机器学习模型学习虚假特征。
(4)机器学习模型的评估参数
下面以机器学习模型为二分类的模型为例，参照表1所示的真实值和预测值来说明机器学习模型的评估参数。
表1
预测值＝1 预测值＝0
真实值＝1 真阳性 假阴性
真实值＝0 假阴性 真阴性
其中，图像样本包括正例样本和负例样本两种分类，1表示正例样本，0表示负例样本。
具体的，机器学习模型的评估参数包括如下参数：
阳性(Positive)：模型预测的结果是正例。
阴性(Negative)：模型预测的结果是负例。
真阳性(True Positive，TP)：样本的真实类别是正例，并且模型预测的结果也是正例。例如表1中示出的样本的真实值＝1且预测值＝1。
真阴性(True Negative，TN)：样本的真实类别是负例，并且模型将其预测成为负例。例如表1中示出的图像样本的真实值＝1且预测值＝0。
假阳性(False Positive，FP)：样本的真实类别是负例，但是模型将其预测成为正例。例如表1中示出的图像样本的真实值＝0且预测值＝1。
假阴性(False Negative，FN)：样本的真实类别是正例，但是模型将其预测成为负例。例如表1中示出的图像样本的真实值＝0且预测值＝0。
准确度(Accuracy)＝(TP+TN)/(TP+TN+FN+TN)。
正确率(Precision)＝TP/(TP+FP)。
真阳性率(True Positive Rate，TPR),也称为灵敏度(Sensitivity)或召回率(Recall)。其中，召回率＝TPR＝TP/(TP+FN)。
真阴性率(True Negative Rate，TNR)＝特异度(Specificity)＝TN/(TN+FP)。
假阴性率(FalseNegaticeRate，FNR)＝漏诊率＝(1–灵敏度)＝FN/(TP+FN)＝1–TPR。
假阳性率(FalsePositiceRate，FPR)，误诊率＝(1–特异度)＝FP/(FP+TN)＝1–TNR。
dice相似系数(Dice Similariy Coefficient，DSC)，也称为dice系数或dice，通常用于计算两个样本的相似度，值的范围从0到1。其中，dice＝2TP/(FP+2TP+FN)。例如，对于分割任务而言，分割结果最好时dice的值为1，最差时dice的值为0。
交并比(Intersection-over-Union，IoU)为两个边界框(如矩形框)交集和并集之比。例如，IoU＝TP/(FP+TP+FN)。
需要说明的是，模型与数据集偏见是一种在机器学习，尤其是深度学习中负面影响巨大，且难以察觉易被忽略的广泛问题。尤其对模型安全性要求较高的场景，含有偏见的数据集训练的模型可能在实际使用中，导致严重的事故。
作为一种示例，在一些医学图像识别场景中，医学图像中存在心脏起搏器时，机器学习模型大概率会推断该患者患有心脏病；医学图像中存在患者的插管时，模型大概率会推断该患者患有呼吸类疾病。但是，医生往往会人为在图像上标记一些专属标识，这些标识可能会与医院、医生或者疾病相关，从而使模型通过学习这些标识推测出医学图像是否为心脏病图像。如此，训练结束后的模型很可能是通过人为标记的与心脏病相关的专属标识推测出患者患有心脏病的。例如，医学图像中有心脏病相关的专属标识可以为心脏起搏器的图像特征，与心脏病相关的文字特征，以及特定检测设备的标签等。那么，如果心脏病患者的医学图像中没有心脏病相关的专属标识，如没有心脏起搏器的图像特征，那么模型就可能无法通过人体组织的图像特征识别出医学图像为心脏病图像，导致识别结果错误。
一些传统的偏见评估方法，可以人为选取一些可能导致偏见的验证因素，然后对每种验证因素一一验证，确定出造成模型偏见的因素。具体地，该方法可以按照验证因素将验证数据集分割成多个子集，然后统计机器学习模型在各个子集上的推理结果的差异，如针对分类模型统计准确率或召回率等模型评估参数来表征推理结果的差异。进而，可以通过判断推理结果的差异是否显著来判断当前待验证因素是否会造成模型有偏见。如果判断出模型的推理结果的差异显著则认为当前待验证因素造成了模型偏见，也即模型对验证数据集中基于该待验证因素分割出的子集中的图像数据存在偏见。例如，以机器学习模型进行二分类的分类模型为例，验证数据集按照验证因素划分为两个子集。然后，通过机器学习模型对这两个子集中的图像分别进行推理并得到推理结果，统计该模型对第一个子集中的图像推理为阳性样本的准确率为90％，对另一个子集中的图像推理为阳性样本的准确率为10％，两者的准确率差异显著，说明该待验证因素会造成模型偏见。
然而，在验证数据集的不同的子集上，正例样本的比例可能不一致，因此验证数据集中的图像数据需要具有真实标签，进而结合图像数据的真实标签才能确定模型在各个子集上的推理结果的差异。并且，某些分类的样本可能会比较难以收集，如使用心脏起搏器的正常人的X光图像难以收集。因此，上述方法对验证数据集的要求较高。
为了解决上述问题，本申请实施例提出了一种基于图像风格转换的偏见评估方法，确定出至少一个待验证因素，再将验证数据集按照这些待验证因素划分为不同类别的子集(或称分类子集)之后，对各个类别的子集中的图像进行风格转换，转换为其他类别子集对应的风格下的图像，其中图像的风格可以包括图像的纹理、形状、色彩、结构等。从而，可以获得实际中较难获取或者无法获取的类别的图像。进而，通过待评估机器学习模型(以下称为待评估模型)针对同一图像的原图像和转换风格后的图像分别进行推理得到推理结果。再对待评估模型针对同一图像的不同推理结果进行评估，得到待评估模型针对至少一个待验证因素的偏见评估结果，如待评估模型产生偏见的图像以及偏见程度的评分等，并提供给用户。
例如，在识别心脏病图像的医学图像识别场景中，可以将心脏起搏器的图像特征，与心脏病相关的文字特征，以及特定检测设备的标签等因素作为可能导致待评估模型产生偏见的待验证因素。作为一种示例，针对心脏起搏器的图像特征这一待验证因素对医学图像进行风格转换，可以得到心脏病患者的不包含心脏起搏器的图像特征的医学图像，以及正常人包含心脏起搏器的图像特征的医学图像。
需要说明的是，本申请实施例中所涉及的验证因素，主要指的是图像中的图像特征，如局部图像特征，例如心脏起搏器的图像特征等。
如此，本申请提供的偏见评估方法不需要收集样本图像的真实标签，同时克服了实际中无法获取某些类别的图像的困难，对验证数据集中的样本图像的收集要求较低，可以减少用户在样本收集上的时间。
图1为本申请提供的一种偏见评估的应用场景示意图。如图1所示，假设验证数据集按照验证因素划分为类别1的子集1和类别2的子集2，类别1的风格记为风格1，类别2的风格记为风格2。
进而，针对风格为风格1的图像1和由图像1进行风格转换后的风格为风格2的图像1＇，待评估模型10中对图像1的推测结果为阳性，对图像1＇的推测结果为阴性。即待评估模型10针对图像1的不同风格的推测结果不同而存在差异，说明待评估模型10对图像1具有偏见，或者说对图像1所属的子集中的图像具有偏见。可以理解的是，两个图像的推理结果不同可以是两个图像的推理结果差异较大。
作为一种示例，在识别心脏病图像的医学图像识别场景中，上述验证数据集中的图像为医学图像，且正例样本指的是心脏病X光图像，负例样本为正常人X光图像。而图1示出的图像1为阳性指的图像1的推测结果为心脏病X光图像，图像1＇为阴性指的图像1＇的推测结果为正常X光图像。作为一种示例，该场景下可以将心脏起搏器的图像特征，与心脏病相关的文字特征，以及特定检测设备的标签等因素作为可能导致待评估模型产生偏见的待验证因素，即这些因素可能会影响对心脏病相关的医学图像的判断。例如，以针对心脏起搏器的图像特征这一待验证因素进行风格转换为例，风格1可以为具有心脏起搏器的图像特征的图像，而风格2可以为不具有心脏起搏器的图像特征的医学图像，那么风格1和风格2之间的风格转换就是在医学图像中添加或者取消心脏起搏器的图像特征。
作为另一种示例，在识别宫颈癌细胞图像的医学图像识别场景中，上述验证数据集中的图像为医学图像，上述验证数据集中的正例样本为宫颈癌症患者的细胞图像，负例样本可以为正常人的细胞图像。而图1示出的图像1为阳性指的图像1为宫颈癌细胞图像，图像1＇为阴性指的图像1＇的推测结果是正常细胞图像。作为一种示例，该场景下可以将细胞萎缩的图像特征、图像采集设备的型号等因素作为可能导致待评估模型产生偏见的待验证因素，即这些因素可能会影响对宫颈癌相关的医学图像的判断。例如，以针对细胞萎缩的图像特征这一待验证因素进行风格转换为例，风格1可以为具有细胞萎缩的图像特征的图像，而风格2可以为不具有细胞萎缩的图像特征的图像，那么风格1和风格2之间的风格转换就是在医学图像中添加或者取消细胞萎缩的图像特征。
需要说明的是，本申请实施例提供的偏见评估方法，执行主体可以为电子设备，或者，该电子设备的中央处理器(Central Processing Unit，CPU)，或者该电子设备中的用于执行偏见评估方法的控制模块或装置。
可以理解的是，适用于本申请的电子设备可包括但不限于：手机、平板电脑、摄像机、相机、桌面型计算机、膝上型计算机、手持计算机、笔记本电脑、台式电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本，以及蜂窝电话、个人数字助理(personal digital assistant，PDA)、增强现实(augmented reality，AR)\虚拟现实(virtual reality，VR)设备、媒体播放器、智能电视、智能音箱、智能手表等。
另外，在其他一些实施例中，本申请实施例提供的偏见评估方法，执行主体还可以为服务器。作为一种示例，上述服务器可以云端服务器，该云端服务器可以是硬件服务器，也可以植入虚拟化环境中，例如，该服务器可以是在包括一个或多个其他虚拟机的硬件服务器上执行的虚拟机。另外，上述服务器还可以为独立服务器，该独立服务器拥有整台服务器的所有软硬件资源，可以自行分配与实行多种服务，如执行本申请中的偏见评估方法。
以下实施例中，主要以电子设备为执行主体，说明本申请实施例提供的偏见评估方法。
下面将结合附图对本申请的实施例作进一步地详细描述。
参考图2，为本申请实施例提供的偏见评估方法所应用的电子设备中的软件系统架构框图。该框架中包括待评估模型10和评估装置20。
其中，评估装置20中输入待评估模型10和验证数据集，输出验证数据集中的每个图像的一致性评分以及风格对一致性评分影响最大的图像。可以理解的是，待评估模型10可以针对每个子集中的同一图像的原图像和由原图像转换为其他子集对应的风格后的图像进行推理，再根据这些推理结果得到一致性评分，该一致性评分用于衡量不同风格对该图像的推理结果的影响程度，也即该图像的不同风格的推理结果之间的差异。此外，风格对一致性评分影响最大的图像为不同风格的图像之间的推理结果差异较大的图像。
作为一种示例，一致性评分为验证数据集中一个子集的评分，具体为待评估模型10针对一个子集中同一图像的原图像的推理结果和由原图像转换为其他风格的图像之间的推理结果差异较大的样本图像占验证数据集中的总样本图像的占比。风格对一致性评分影响最大的图像为子集中推理结果差异较大的图像在验证数据集中的总样本图像中的占比最高的子集中的图像。
另外，一致性评分验证数据集中一个图像的评分，具体为待评估模型10针对同一图像的原图像的推理结果和由原图像转换为其他风格的图像之间的推理结果差异较大的样本图像占子集数量的占比。风格对一致性评分影响最大的图像为子集中推理结果差异较大的图像在验证数据集中的总样本图像中的占比最高的子集中的图像。
本申请实施例中，为了在不同地方描述方便，将使用不同名词描述同一对象，但对该对象的本质不造成限定。例如，本申请中的验证数据集中的图像数据还可以称为图像、样例、样本等，均表示图像。又如，本申请中一致性评分还可以称为偏见评分、评分等。又如，验证数据集中的分组还可以称为分类或者子集或者集合等。又如验证数据集中的图像还可以称为评估图像。
在一些实施例中，待评估模型10可以为按照验证数据集或其他数据集训练得到的机器学习模型，后续可以对验证数据集中的图像数据进行推测得到推测结果。
在一些实施例中，参照图3示出的待评估模型的不同类别的示意图。如图3所示，待评估模型10可以为分类模型10a，检测模型10b或者分割模型10c等。
作为一种示例，在待评估模型10为图3示出的分类模型10a的情况下，分类模型10a可以针对同一图像样本的不同风格的图像分别输出一个结果标签。例如，分类模型10a用于对图像中的猫和狗等动物进行分类，那么分类模型10a确定出的结果标签为猫或狗等动物的标签。进而，评估装置20可以确定出各个子集中同一图像对应的不同风格的图像中结果标签不一致的图像样本，将这些图像样本作为有差异的样本，进而计算有差异的样本占验证数据集中的总图像样本的比例，以得到各个子集对应的一致性评分。
作为一种示例，在待评估模型10为图3示出的检测模型10b的情况下，检测模型10b可以针对同一图像样本的不同风格的图像分别输出待检测对象的矩形框。例如，检测模型10b用于确定出图像中的汽车、动物以及人物等对象所在的矩形框，此时矩形框属于汽车、动物以及人物等对象类别。进而，评估装置20可以确定出各个子集中同一图像对应的不同风格的图像中同一对象类别的待检测对象的矩形框的交并比(Intersection-over-Union，IoU)低于设定的IoU阈值的图像样本，或者矩形框的对象类别不一致的图像样本，作为有差异的样本，并计算有差异的样本占验证数据集中的总图像样本的比例，以得到各个子集对应的一致性评分。
作为一种示例，在待评估模型10为图3示出的分割模型10c的情况下，分割模型10c可以针对同一图像样本的不同风格的图像分割出不同分割对象，如该分割对象为出街景、人物、车辆、动物等对象。进而，评估装置20可以确定出各个子集中同一图像对应的不同风格的图像中分割对象的dice低于设定的dice阈值的图像样本，作为有差异的样本，并计算有差异的样本占验证数据集中的总图像样本的比例，以得到各个子集对应的一致性评分。
接下来，基于图2示出的软件系统，参照图4详细描述该系统中的评估装置20的架构。
如图4所示的系统中待评估装置20包括图像分组模块M1，类间转换训练模块M2，类间转换推理模块M3和差异评估及可视化模块M4。
图像分组模块M1用于按照待验证因素对验证数据集进行分组(或称分类)得到不同类别的多个子集，每个类别对应一种风格。
作为一种示例，在待验证因素为X光图像中是否有心脏起搏器的图像特征的情况下，验证数据集按照该待验证因素可以划分为具有心脏起搏器类别(记为类别1)的子集1，和不具有心脏起搏器类别(记为类别2)的子集2。
具体地，图像分组模块M1可以对不同分类的子集中的图像分别打上类别标签。进而，图像分组模块M1将各个图像以及对应的类别标签提供给类间转换训练模块M2，如具有心脏起搏器类别1的子集1中的类别标签为“有心脏起搏器”，而不具有心脏起搏器类别2的子集2中的类别标签为“无心脏起搏器”。
在一些实施例中，上述待验证因素可以为人为设定的因素。进而，图像分组模块M1可以按照这些人为设定的因素对应的类别对验证和数据集进行分组得到不同子集，即图像分组模块M1响应于用户的操作对验证数据集进行分组得到不同子集。作为一种示例，用户可以将已知结构化的因素作为待验证因素，例如在病理影像中，人为确定的待验证因素可以为成像机器、染色试剂型号等因素。
在另一些实施例中，图像分组模块M1还可以通过偏见因素挖掘装置自动获取一个或多个待验证因素，并按照这些待验证因素对验证数据集进行分组得到不同子集。
作为一种示例，上述偏见因素挖掘装置为上述图像分组模块M1中的一个单元。
作为另一种示例，上述偏见因素挖掘装置为电子设备中与评估装置20不同的装置。那么，图像分组模块M1可以对验证数据集进行分析，确定出验证数据集评估过程中可能出现偏见的待验证因素。进而，评估装置20中的图像分组模块M1从偏见因素挖掘装置获取针对当前的验证数据集的待验证因素。
通常可以将图像的前景的图像特征作为待评估模型10评估的对象，而不将图像中的背景的图像特征作为待评估模型10评估的对象。那么，如果在训练待评估模型10的过程中，待评估模型10学习过多背景的图像特征，将可能导致待评估模型10对前景的图像特征的评估出现偏见。例如，在医学图像领域，验证数据集中图像的背景中包括与医院或者疾病相关专属标识等信息，而这些信息可能会影响待评估模型10对前景中的心脏图像特征或者宫颈中的细胞的图像特征的推测结果，即这些信息可以作为待验证因素。
在一些实施例中，针对验证数据集，偏见因素挖掘装置可以识别出图像中的前景和背景，并从背景图像的图像特征中确定出偏见评估的待验证因素。例如，在医学图像领域，可以从图像的背景中确定出与医院或者疾病相关专属标识等信息对应的图像特征作为待验证因素。
类间转换训练模块M2用于通过图像分组模块M1提供的图像与类别标签，训练一个图像风格转换模型，得到训练好的图像风格转换模型的权重参数。其中，该图像风格转换模型的主要功能是实现不同类别图像之间的风格转换，进而，类间转换训练模块M2输出图像风格转换模型的权重参数到类间转换推理模块M3。
在一种实施例中，上述图像风格转换模型可以采用环形生成式对抗网络(CycleGenerative Adversarial Networks，cyclegan)技术，实现图像在不同风格之间的转换。可以理解的是，cyclegan技术可以实现类似马与斑马之间的风格转换，例如实现苹果与橙子之间风格转换等风格转换。
需要说明的是，上述图像风格转换模型利用cyclegan技术，针对一个验证因素，可以实现针对每个验证因素在图像上添加或消除一些图像特征，来检验这些因素是否会影响待评估模型10的推测结果。比如，针对X光图像中是否有心脏起搏器的图像特征这一待验证因素，图像风格转换模型可以利用cyclegan技术在正常人的X光图像上添加心脏起搏器的图像特征，即将风格(如类别1表示的风格1)为有心脏起搏器的图像转换为风格(如风格2)为无心脏起搏器的图像，实现风格转换。以及，图像风格转换模型可以利用cyclegan技术去除心脏病患者的X光图像中的心脏起搏器的图像特征，即将风格(如风格2)为无心脏起搏器的图像转换为风格(如风格1)为有心脏起搏器的图像，实现风格转换。
在一些实施例中，图像的风格可以包括局部特征和全局特征，如图像的纹理、形状、结构和色差等特征，例如上述心脏起搏器的图像特征为局部特征，或者，整个图像的色彩等为全局特征。
类间转换推理模块M3用于通过图像风格转换模型将验证数据集中的各个类别的子集中的图像转化为其他类别的子集对应的风格，得到转换风格后的图像，并将验证数据集中的原图像和这些转换风格后的图像输出到待评估模型10中。
进而，待评估模型10可以对验证数据集中的所有原图像进行推理得到推理结果，并对验证数据集中各个子集中的原图像对应的转换风格后的图像进行推理得到推理结果。待评估模型10将所有推理结果输出到差异评估及可视化模块M4。
差异评估及可视化模块M4，对同一图像对应的不同风格的图像的推理结果进行差异判定，进而确定出差异样本，并计算差异样本占验证数据集中的总图像样本的比例等一致性评分，并将差异样本以及一致性评分等评估结果可视化地输出给用户。
接下来，基于图4示出的系统，参照图5示出了一种偏见评估的方法的流程示意图。如图5所示，该方法的执行主体可以为电子设备，该方法包括如下步骤：
S501:通过评估装置20按照至少一个待验证因素对验证数据集进行分组得到多个子集，为不同子集的图像打上不同类别标签。
在一些实施例中，电子设备可以通过图4示出的评估装置20中的图像分组模块M1对验证数据集进行分组。其中，对至少一个待验证因素的获取可以参照上文中对图像分组模块M1中的相关描述。
S502:针对验证数据集中的不同子集的图像，通过评估装置20训练对各个子集中的图像之间进行风格转换的图像风格转换模型。
在一些实施例中，电子设备可以在图4示出的评估装置20中的类间转换训练模块M2中输入验证数据集中不同子集的图像和各个图像的类别标签，训练得到图像风格转换模型，从而输出该模型的权重参数。
S503:针对验证数据集中各个子集的图像，通过评估装置20使用图像风格转换模型转换为其它类别的子集对应的风格的图像。
在一些实施例中，电子设备可以通过图4示出的评估装置20中的类间转换推理模块M3使用图像风格转换模型将验证数据集中的各个子集中的图像，转换为其他类别的子集对应的风格下的图像。
例如，参照图1，通过图像风格转换模型可以将风格1的图像1转换为风格2的图像1＇。
作为一种示例，评估装置20可以向图像转换模型中输入携带有分类标签1的图像1，使得评估装置20将图像1进行风格转换，输出携带有分类标签2的图像1＇，即将风格1的图像1转换为风格2的图像1＇。类似的，在验证数据集划分为包括子集1和子集2之外的其他子集时，在图像风格转换模型中输入图像1之后，图像风格转换模型还可以将图像1的风格转换为该其他子集的类别对应的风格。
作为另一种示例，评估装置20可以向图像转换模型中输入携带有分类标签1的图像1以及分类标签2，使得评估装置20将图像1进行风格转换，输出携带有分类标签2的图像1＇，即将风格1的图像1转换为风格2的图像1＇。类似的，在验证数据集划分为包括子集1和子集2之外的其他子集时，在图像风格转换模型中输入图像1、分类标签2以及该其他子集对应的分类标签后，图像风格转换模型还可以将图像1的风格转换为该其他子集的类别对应的风格。
S504:使用待评估模型10对验证数据集中的原图像以及原图像进行风格转换后的图像分别进行推理。
例如，参照图1，待评估模型10可以分别对图像1和图像1＇分别进行推理，得到各自的推理结果。作为一种示例，待评估模型10对图像1的推理结果为阳性，即心脏病X光图像，对图像1＇的推理结果为阴性，即正常人的X光图像。
S505:通过评估装置20对比所有推理结果，输出各个子集中的原图像进行风格变换后推理结果差异较大的图像，并计算各个子集中差异较大图像在验证数据集中的占比。
在一些实施例中，电子设备可以通过评估装置20中的差异评估及可视化模块M4确定验证数据集中每个子集中原图像进行风格变换后推理结果差异较大的图像，进而计算出差异较大的图像在验证数据集中的占比。
例如，在待评估模型10对图像1的推理结果为心脏病X光图像，对图像1＇的推理结果为正常X光图像时，评估装置20可以确定出图像1为风格变换后推理结果差异较大的图像。类似的，评估装置20可以确定出验证数据集中的其他原图像进行风格变换后推理结果差异较大的图像。进而，计算出各个子集中差异较大的图像验证数据集中的占比。
此外，在其他一些实施例中，电子设备通过评估装置20计算的评估偏见程度的参数不限于上述差异较大的图像在验证数据集中的占比，还可以计算出差异较大的图像的总数、每个子集中差异较大的图像占该子集中的总样本图像的占比等参数，对此不做具体限定。
进而，在一些实施例中，电子设备可以通过评估装置20中的差异评估及可视化模块M4在电子设备的屏幕上显示差异较大的图像以及转换风格后推理结果存在差异的图像，差异较大的图像验证数据集中的占比，或者模型对哪些数据具有偏见的结论，以及造成偏见的因素等偏见评估结果信息。
另外，在其他一些实施例中，针对验证数据集中的原图像，电子设备可以对部分原图像进行风格转换，再对这些原图像和风格转换后的图像进行推理得到推理结果，进而比对这些推理结果得到偏见评估结果。
参照图6所示，示出一种偏见评估结果的显示界面的示意图。如图6所示，电子设备针对待评估模型10获取的偏见评估信息包括：图像1以及其推理得到的置信度，图像1＇以及其推理得到的置信度，以及“结论：模型对类别1的图像具有偏见”和“偏见因素为：因素1”偏见评估结果信息。
例如，图6中电子设备的屏幕上显示的图像1的风格为分类1的子集1对应风格1，该风格1为有心脏起搏器的人的X光图像。相应的，图像1＇的风格为分类1的子集1对应风格1，该风格2为无心脏起搏器的人的X光图像。而待评估模型10对类别1的图像1的推理结果为心脏病X光图像的置信度为0.99，认为该推理结果为心脏病患者；待评估模型10对类别2的图像1＇的推理结果为心脏病X光图像的置信度为0.01，认为该推理结果为正常人，显然这两个推理结果存在差异。从而，图6示出的偏见评估结果中的结论可以为待评估模型10对是否具有心脏起搏器的人的X光图像这一待验证因素具有偏见。
如此，本申请实施例提供的偏见评估方法，不需要收集样本图像的真实标签，同时克服了无法获取某些类别的图像的困难，从而对验证数据集中的样本图像的收集要求较低，可以减少用户在样本收集上的时间。并且，偏见评估结果对于用户来说较为直观，用户可以直接观察偏见因素对结果的影响，有利于提升用户分析和认识模型的偏见的能力。另外，该方法不仅可以得到验证数据集整体的偏见程度，还可以分析出待评估模型对哪些图像数据产生了偏见，有利于用户对该模型进行分析。
另外，根据本申请的一些实施例，上述评估装置20可以为安装在电子设备中的一个应用或软件或系统，该软件可以提供人机交互界面，支持用户导入验证数据集以及待评估模型10的模型信息等，从而按照上文中偏见评估的方法在屏幕上输出偏见评估结果信息。
在一些实施例中，在电子设备提供偏见评估系统进行人机交互完成偏见评估的场景中，参照图7示出的基于医学图像评估模型的偏见评估方法的流程示意图，图7示出的方法包括如下步骤：
S701:接收用户向偏见评估系统上传的一个病理数据集和一个细胞分类模型，该病理数据集为待验证数据集，该细胞分类模型为待评估模型10。
作为一种示例，在识别宫颈癌细胞图像的医学图像识别场景中，上述病理数据集中的图像为医学图像，其中正例样本为宫颈癌症患者的细胞图像，负例样本可以为正常人的细胞图像。进而，阳性指的医学图像为宫颈癌细胞图像，阴性指的医学图像的推测结果是正常细胞图像。
作为一种示例，如图8A所示，为电子设备显示的偏见评估系统上传数据的示意图。图8A示出的偏见评估系统的主界面中包括数据集选择控件81和待评估模型选择控件82和因素选择控件83。
其中，在用户点击图8A示出的数据集选择控件81之后，电子设备可以显示图8B示出的包含打开控件811以及数据集812、813等多个可选的数据集控件。进而，用户可以点击任意数据集控件可以触发在偏见评估系统中上传该数据集的数据，如选择数据集812的控件，数据集812表示上述病理数据集。另外，用户点击数据集打开控件811可以链接并选择电子设备中的任意存储地址中的数据集。
类似的，用户可以点击图8A示出的待评估模型选择控件82，控制电子设备选择待评估模型，如选择待评估模型为上述细胞分类模型。
S702:接收用户输入分组的待验证因素，按照待验证因素将对病理数据集进行分组得到类别1的图像组成的子集1和类别2的图像组成的子集2。
可以理解的是，用户输入的待验证因素，指的是用户输入的待验证因素表示的图像特征，可以为该图像特征的数据，或者指示该图像特征的标识信息。例如，针对细胞分类模型的验证数据集为萎缩细胞的图像特征，或者文字标识“萎缩细胞”等。
类似的，用户可以点击图8A示出的因素选择控件83，在偏见评估系统中设定对当前病理数据集的分组因素，不再详细描述。
作为一种示例，一般老年人的细胞出现萎缩的概率较高，而年轻女性(或正常女性)的细胞不会萎缩，但是萎缩与病变并无直接关联关系，因此可以预测萎缩作为偏见评估的待验证因素。如此，病理数据集可以分组为分类标签为萎缩(类别1)的图像组成的子集，以及分类标签为未萎缩的图像组成的子集。
需要说明的是，验证数据集中的图像可以称为多张评估图像，上述子集1也可以称第一评估图像集合，子集2可以称为第二评估图像集合。
S703:采用cyclegan技术训练与病理数据集对应的图像风格转换模型，并使用图像风格转换模型对病理数据集中的类别1(萎缩)的子集1中的图像和类别2(未萎缩)的子集2中的图像分别进行风格转换。
类似的，针对类别1的图像A1，可以将这些图像A1的风格由类别1对应的风格转换为类别2对应的风格而得到转换风格后的图像B2，即实现将图像A1由类别1转换为类别2，具体是将出现萎缩细胞的图像进行风格转换，以在图像A1中消除萎缩相关的图像特征得到图像B1。
具体地，针对类别2(未出现萎缩的细胞)的图像A2，可以将这些图像A2的风格由类别2对应的风格转换为类别1对应的风格得到转换风格后的图像B2，即实现将图像A2由类别2转换为类别1，具体是将未出现萎缩的细胞的图像进行风格转换，以在图像A2中添加萎缩相关的图像特征得到图像B2。
S704:使用细胞分类模型对病理数据集的原图像以及原图像转换风格后的图像分别进行推理得到推理结果。
需要说明的是，子集1中的图像转换为风格2的图像组成的集合3可以称为第三评估图像集合，子集2中的图像转换为风格1的图像组成的集合4可以称为第四评估图像集合。
作为一种示例，细胞分类模型对分类标签为类别1的图像A1进行推理得出推理结果为阳性的置信度为0.99，对转换为类别2对应风格后的图像B1进行推理得出推理结果为阴性的置信度为0.01，即推理结果偏阳性。以及细胞分类模型对分类标签为类别2的图像A2进行推理得出推理结果为阳性的置信度为0.01，对转换为类别1对应风格后的图像B2进行推理得出推理结果为阴性的置信度为0.99，结果偏阴性。
S705:对细胞分类模型的所有推理结果进行分析，确定出各个子集中结果差异较大的图像样本，并将结果差异较大的图像及偏见评估结果通过偏见评估系统展示给用户。其中，该偏见评估结果包括验证数据集中各个子集中结果差异较大的图像占验证数据集中的总样本图像的比例。
需要说明的是，对子集1和子集3中的原图像的推理结果，即对第一评估图像集合和第三评估图像集合的推理结果可以称为第一推理结果。对子集2和子集4中的原图像的推理结果，即对第二评估图像集合和第四评估图像集合的推理结果可以称为第二推理结果。从而，可以比对第一推理结果和第二推理结果，得到差异较大的样本，进而得到偏见评估结果。
参照上述示例，细胞分类模型对类别1的图像A1的不同风格的图像的推理结果偏阳性，类别2的图像A2的不同风格的图像的推理结果偏阴性，说明细胞分类模型对萎缩产生了偏见。显然，细胞分类模型对图像A1和图像A2的推理结果差异较大。
如图9所示，为电子设备示出的偏见评估系统显示的偏见评估结果的示意图。图9示出的界面中包括图像A1、B1、A2、B2，以及图像A1、B1、A2、B2分别对应的置信度。另外，在差异较大的图像较多时，偏见评估系统同一时刻仅显示部分图像及其置信度，用户可以通过对图9示出的更多控件91的操作，触发偏见评估系统更新显示其他差异较大的图像及其置信度。如此，用户可以直观的获知当前的细胞分类模型对萎缩产生偏见的评估结果。
图10示出了一种电子设备的结构示意图。具体的，图10示出的电子设备100可以包括处理器110、电源模块140、存储器150、移动通信模块130、无线通信模块120、显示屏160以及接口单元170等。
可以理解的是，本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元，例如，可以包括中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)、数字信号处理器(Digital Signal Processor，DSP)、微处理器(Micro-programmed Control Unit，MCU)、人工智能(Artificial Intelligence，AI)处理器或可编程逻辑器件(Field ProgrammableGate Array，FPGA)等的处理模块或处理电路。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。例如，处理器110可以用于运行上述待评估模型10和评估装置20来执行本申请提供的偏见评估方法。
存储器150可用于存储数据、软件程序以及模块，可以是易失性存储器(VolatileMemory)，例如随机存取存储器(Random-Access Memory，RAM)；或者非易失性存储器(Non-Volatile Memory)，例如只读存储器(Read-Only Memory，ROM)，快闪存储器(FlashMemory)，硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)；或者上述种类的存储器的组合，或者也可以是可移动存储介质，例如安全数字(Secure Digital，SD)存储卡。具体的，存储器160可以包括程序存储区(未图示)和数据存储区(未图示)。程序存储区内可存储程序代码，该程序代码用于使处理器110通过执行该程序代码，执行本申请实施例提供的移动场景下的内容显示方法。
移动通信模块130可以包括但不限于天线、功率放大器、滤波器、低噪声放大器(Low Noise Amplify，LNA)等。移动通信模块130可以提供应用在电子设备2上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块130可以由天线接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块130还可以对经调制解调处理器调制后的信号放大，经天线转为电磁波辐射出去。在一些实施例中，移动通信模块130的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块130至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
无线通信模块120可以包括天线，并经由天线实现对电磁波的收发。无线通信模块120可以提供应用在电子设备2上的包括无线局域网络(Wireless Local Area Networks，WLAN)(如无线保真(Wireless Fidelity，Wi-Fi)网络)，蓝牙(Bluetooth，BT)，全球导航卫星系统(Global Navigation Satellite System，GNSS)，调频(Frequency Modulation，FM)，近距离无线通信技术(Near Field Communication，NFC)，红外技术(Infrared，IR)等无线通信的解决方案。
显示屏160，可以用于显示上文中偏见评估系统的相关界面，支持用户选择待验证数据集以及待评估模型，以及支持用户查看模型的偏见评估结果等。
接口单元170用于接收用户的输入，如用户在显示屏160显示的偏见评估系统的界面上输入验证数据集以及待评估模型的输入。
电源140用于为电子设备100中的显示屏160、处理器110等单元供电。
在一些实施例中，电子设备100的移动通信模块130和无线通信模块120也可以位于同一模块中。
可以理解的是，以上图10所示的硬件结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图10所示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。
本申请公开的机制的各实施例可以被实现在硬件、软件、固件或这些实现方法的组合中。本申请的实施例可实现为在可编程系统上执行的计算机程序或程序代码，该可编程系统包括至少一个处理器、存储系统(包括易失性和非易失性存储器和/或存储元件)、至少一个输入设备以及至少一个输出设备。
可将程序代码应用于输入指令，以执行本申请描述的各功能并生成输出信息。可以按已知方式将输出信息应用于一个或多个输出设备。为了本申请的目的，处理系统包括具有诸如例如数字信号处理器(DSP)、微控制器、专用集成电路(ASIC)或微处理器之类的处理器的任何系统。
程序代码可以用高级程序化语言或面向对象的编程语言来实现，以便与处理系统通信。在需要时，也可用汇编语言或机器语言来实现程序代码。事实上，本申请中描述的机制不限于任何特定编程语言的范围。在任一情形下，该语言可以是编译语言或解释语言。
本申请公开的机制的各实施例可以被实现在硬件、软件、固件或这些实现方法的组合中。本申请的实施例可实现为在可编程系统上执行的计算机程序或程序代码，该可编程系统包括至少一个处理器、存储系统(包括易失性和非易失性存储器和/或存储元件)、至少一个输入设备以及至少一个输出设备。
可将程序代码应用于输入指令，以执行本申请描述的各功能并生成输出信息。可以按已知方式将输出信息应用于一个或多个输出设备。为了本申请的目的，处理系统包括具有诸如例如数字信号处理器(DSP)、微控制器、专用集成电路(ASIC)或微处理器之类的处理器的任何系统。
程序代码可以用高级程序化语言或面向对象的编程语言来实现，以便与处理系统通信。在需要时，也可用汇编语言或机器语言来实现程序代码。事实上，本申请中描述的机制不限于任何特定编程语言的范围。在任一情形下，该语言可以是编译语言或解释语言。
在一些情况下，所公开的实施例可以以硬件、固件、软件或其任何组合来实现。所公开的实施例还可以被实现为由一个或多个暂时或非暂时性机器可读(例如，计算机可读)存储介质承载或存储在其上的指令，其可以由一个或多个处理器读取和执行。例如，指令可以通过网络或通过其他计算机可读介质分发。因此，机器可读介质可以包括用于以机器(例如，计算机)可读的形式存储或传输信息的任何机制，包括但不限于，软盘、光盘、光碟、只读存储器(CD-ROMs)、磁光盘、只读存储器(ROM)、随机存取存储器(RAM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、磁卡或光卡、闪存、或用于利用因特网以电、光、声或其他形式的传播信号来传输信息(例如，载波、红外信号数字信号等)的有形的机器可读存储器。因此，机器可读介质包括适合于以机器(例如，计算机)可读的形式存储或传输电子指令或信息的任何类型的机器可读介质。
在附图中，可以以特定布置和/或顺序示出一些结构或方法特征。然而，应该理解，可能不需要这样的特定布置和/或排序。而是，在一些实施例中，这些特征可以以不同于说明性附图中所示的方式和/或顺序来布置。另外，在特定图中包括结构或方法特征并不意味着暗示在所有实施例中都需要这样的特征，并且在一些实施例中，可以不包括这些特征或者可以与其他特征组合。
需要说明的是，本申请各设备实施例中提到的各单元/模块都是逻辑单元/模块，在物理上，一个逻辑单元/模块可以是一个物理单元/模块，也可以是一个物理单元/模块的一部分，还可以以多个物理单元/模块的组合实现，这些逻辑单元/模块本身的物理实现方式并不是最重要的，这些逻辑单元/模块所实现的功能的组合才是解决本申请所提出的技术问题的关键。此外，为了突出本申请的创新部分，本申请上述各设备实施例并没有将与解决本申请所提出的技术问题关系不太密切的单元/模块引入，这并不表明上述设备实施例并不存在其它的单元/模块。
需要说明的是，在本专利的示例和说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
虽然通过参照本申请的某些优选实施例，已经对本申请进行了图示和描述，但本领域的普通技术人员应该明白，可以在形式上和细节上对其作各种改变，而不偏离本申请的精神和范围。

Claims (17)

1.一种偏见评估方法，应用于电子设备，其特征在于，包括：
获取对待评估模型进行偏见评估的多个评估图像所存在的待验证因素；
根据所述待验证因素对所述多个评估图像进行分类，得到第一目标评估图像集合，所述第一目标评估图像集合包括：包含所述待验证因素的第一评估图像集合，和/或，不包含所述待验证因素的第二评估图像集合；
按照所述待验证因素对所述第一目标评估图像集合进行风格转换，得到第二目标评估图像集合；
将所述第一目标评估图像集合和所述第二目标评估图像集合输入所述待评估模型进行推理，得到目标推理结果；
根据所述目标推理结果，输出对所述待评估模型的偏见评估结果，所述偏见评估结果用于表征所述待验证因素是否造成所述待评估模型偏见；
其中，对所述第一评估图像集合进行风格转换是通过去除所述待验证因素实现的，对所述第二评估图像集合进行风格转换是通过添加所述待验证因素实现的。
2.根据权利要求1所述的方法，其特征在于，所述偏见评估结果包括以下至少一项：
所述待验证因素是否为造成所述待评估模型偏见的因素的信息；
所述第一目标评估图像集合中的差异图像，所述差异图像为所述第一目标评估图像集合中推理结果与所述第二目标评估图像集合中对应的风格转换后的至少一个转换图像的推理结果不同的评估图像，所述差异图像的推理结果和所述转换图像的推理结果均为经过所述待评估模型输出的推理结果；
所述第二目标评估集合中包括的针对每个所述差异图像进行风格转换得到的转换图像；
所述待评估模型对每个所述差异图像的推理结果；
所述待评估模型对每个所述转换图像的推理结果；
所述第一目标评估图像集合中的差异图像在所述多个评估图像中的占比。
3.根据权利要求2所述的方法，其特征在于，所述待验证因素为基于所述验证数据集中的每张原图像的背景和前景确定得到的，且所述待验证因素对应于背景中的图像特征。
4.根据权利要求3所述的方法，其特征在于，图像的风格转换是通过图像风格转换模型实现的；所述风格转换模型是根据所述第一评估图像集合和所述第二评估图像集合训练得到；
并且，所述图像风格转换模型用于对包含所述验证因素的图像去除所述验证因素，以及对不包含所述验证因素的图像添加所述验证因素，所述验证因素为图像特征。
5.根据权利要求4所述的方法，其特征在于，所述第一评估图像集合对应第一分类标签，所述第二评估图像集合对应与所述第一分类标签不同的第二分类标签，所述图像风格转换模型是基于所述第一评估图像集合中的图像和所述第一分类标签，以及所述第二评估图像集合中的图像和所述第二分类标签训练得到的。
6.根据权利要求2至4中的任一项所述的方法，其特征在于，所述方法还包括：
接收用户输入的所述验证数据集和所述待评估模型。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
接收用户输入的所述待验证因素，所述待验证因素为图像特征或者指示图像特征的标识。
8.一种偏见评估装置，其特征在于，包括：
获取模块，用于获取对待评估模型进行偏见评估的多个评估图像所存在的待验证因素；
分类模块，用于根据所述获取模块获取的所述待验证因素对所述多个评估图像进行分类，得到第一目标评估图像集合，所述第一目标评估图像集合包括：包含所述待验证因素的第一评估图像集合，和/或，不包含所述待验证因素的第二评估图像集合；
转换模块，用于按照所述待验证因素对所述分类模块得到的所述第一目标评估图像集合进行风格转换，得到第二目标评估图像集合；
推理模块，用于将所述分类模块得到的所述第一目标评估图像集合和所述转换模块得到所述第二目标评估图像集合输入所述待评估模型进行推理，得到目标推理结果；
输出模块，用于根据所述推理模块得到的所述目标推理结果，输出对所述待评估模型的偏见评估结果，所述偏见评估结果用于表征所述待验证因素是否造成所述待评估模型偏见；
其中，对所述第一评估图像集合进行风格转换是通过去除所述待验证因素实现的，对所述第二评估图像集合进行风格转换是通过添加所述待验证因素实现的。
9.根据权利要求8所述的装置，其特征在于，所述偏见评估结果包括以下至少一项：
所述待验证因素是否为造成所述待评估模型偏见的因素的信息；
所述第一目标评估图像集合中的差异图像，所述差异图像为所述第一目标评估图像集合中推理结果与所述第二目标评估图像集合中对应的风格转换后的至少一个转换图像的推理结果不同的评估图像，所述差异图像的推理结果和所述转换图像的推理结果均为经过所述待评估模型输出的推理结果；
所述第二目标评估集合中包括的针对每个所述差异图像进行风格转换得到的转换图像；
所述待评估模型对每个所述差异图像的推理结果；
所述待评估模型对每个所述转换图像的推理结果；
所述第一目标评估图像集合中的差异图像在所述多个评估图像中的占比。
10.根据权利要求9所述的装置，其特征在于，所述待验证因素为基于所述验证数据集中的每张原图像的背景和前景确定得到的，且所述待验证因素对应于背景中的图像特征。
11.根据权利要求10所述的装置，其特征在于，图像的风格转换是通过图像风格转换模型实现的；所述风格转换模型是根据所述第一评估图像集合和所述第二评估图像集合训练得到；
并且，所述图像风格转换模型用于对包含所述验证因素的图像去除所述验证因素，以及对不包含所述验证因素的图像添加所述验证因素，所述验证因素为图像特征。
12.根据权利要求11所述的装置，其特征在于，所述第一评估图像集合对应第一分类标签，所述第二评估图像集合对应与所述第一分类标签不同的第二分类标签，所述图像风格转换模型是基于所述第一评估图像集合中的图像和所述第一分类标签，以及所述第二评估图像集合中的图像和所述第二分类标签训练得到的。
13.根据权利要求9至11中的任一项所述的装置，其特征在于，所述装置还包括：
输入模块，用于接收用户输入的所述验证数据集和所述待评估模型。
14.根据权利要求13所述的装置，其特征在于，
所述输入模块，还用于接收用户输入的所述待验证因素，所述待验证因素为图像特征或者指示图像特征的标识。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有指令，该指令在电子设备上执行时使电子设备执行权利要求1至7中任一项所述的偏见评估方法。
16.一种计算机程序产品，其特征在于，所述计算机程序产品包括指令，所述指令用于实现如权利要求1至7中任一项所述的偏见评估方法。
17.一种电子设备，其特征在于，包括：
存储器，用于存储由电子设备的一个或多个处理器执行的指令，以及
处理器，当所述指令被一个或多个处理器执行时，所述处理器用于执行如权利要求1至7中任一项所述的偏见评估方法。
CN202210281564.1A 2022-03-21 2022-03-21 一种偏见评估方法、装置、介质、程序产品及电子设备 Pending CN116824198A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210281564.1A CN116824198A (zh) 2022-03-21 2022-03-21 一种偏见评估方法、装置、介质、程序产品及电子设备
PCT/CN2022/132232 WO2023179055A1 (zh) 2022-03-21 2022-11-16 一种偏见评估方法、装置、介质、程序产品及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210281564.1A CN116824198A (zh) 2022-03-21 2022-03-21 一种偏见评估方法、装置、介质、程序产品及电子设备

Publications (1)

Publication Number Publication Date
CN116824198A true CN116824198A (zh) 2023-09-29

Family

ID=88099738

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210281564.1A Pending CN116824198A (zh) 2022-03-21 2022-03-21 一种偏见评估方法、装置、介质、程序产品及电子设备

Country Status (2)

Country Link
CN (1) CN116824198A (zh)
WO (1) WO2023179055A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860133A (zh) * 2020-06-08 2020-10-30 华南师范大学 无种族偏见的识别人类的人工智能伦理方法和机器人
DE102020208008A1 (de) * 2020-06-29 2021-12-30 Robert Bosch Gesellschaft mit beschränkter Haftung Bildklassifikation und zugehöriges Training für sicherheitsrelevante Klassifikationsaufgaben
CN113361653A (zh) * 2021-07-09 2021-09-07 浙江工业大学 基于数据样本增强的深度学习模型去偏方法和装置
CN113570603A (zh) * 2021-09-26 2021-10-29 国网浙江省电力有限公司电力科学研究院 一种基于CycleGAN的接触网零部件缺陷数据生成方法及系统

Also Published As

Publication number Publication date
WO2023179055A1 (zh) 2023-09-28

Similar Documents

Publication Publication Date Title
Harangi Skin lesion classification with ensembles of deep convolutional neural networks
US11423541B2 (en) Assessment of density in mammography
KR101977174B1 (ko) 영상 분석 방법, 장치 및 컴퓨터 프로그램
US9510756B2 (en) Method and system for diagnosis of attention deficit hyperactivity disorder from magnetic resonance images
KR20220064395A (ko) 이미지들 및 전문 지식으로부터 피부 상태들을 수집하고 식별하기 위한 시스템
KR102289277B1 (ko) 복수의 의료 영상 판독 알고리듬들에 대한 평가 스코어를 생성하는 의료 영상 판독 지원 장치 및 방법
CN110473186B (zh) 一种基于医学图像的检测方法、模型训练的方法及装置
KR101779800B1 (ko) 기계학습 기반 다면적 성장 평가 방법 및 시스템
US10825178B1 (en) Apparatus for quality management of medical image interpretation using machine learning, and method thereof
CN105378793A (zh) 用于在对象可能受医学状况影响时进行鉴别的系统、方法和计算机可读介质
KR102045223B1 (ko) 골 연령 분석 방법, 장치 및 컴퓨터 프로그램
CN110827236B (zh) 基于神经网络的脑组织分层方法、装置、计算机设备
CN109817339B (zh) 基于大数据的患者分组方法和装置
US11967181B2 (en) Method and device for retinal image recognition, electronic equipment, and storage medium
US11424021B2 (en) Medical image analyzing system and method thereof
Junior et al. A mass classification using spatial diversity approaches in mammography images for false positive reduction
US11684333B2 (en) Medical image analyzing system and method thereof
US10937143B1 (en) Fracture detection method, electronic device and storage medium
US11531851B2 (en) Sequential minimal optimization algorithm for learning using partially available privileged information
CN110796659B (zh) 一种目标检测结果的鉴别方法、装置、设备及存储介质
CN112508884A (zh) 一种癌变区域综合检测装置及方法
KR20230157276A (ko) 분류 및 분할을 이용한 근골격계 의료 영상 분석 방법, 장치 및 컴퓨터 프로그램
CN114332553A (zh) 图像处理方法、装置、设备以及存储介质
CN116824198A (zh) 一种偏见评估方法、装置、介质、程序产品及电子设备
US20220148172A1 (en) System and method for detecting medical conditions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication