CN116341675A - 计算机可读记录介质、信息处理设备和信息处理方法 - Google Patents

Abstract

一种非暂态计算机可读记录介质，其中存储有信息处理程序，该信息处理程序使计算机执行处理，该处理包括：基于变量的优先级顺序和估计量从多个变量中决定一个或更多个变量是关于重要性程度的问题的目标，所述变量的优先级顺序是基于指示所述多个变量的排名的多个模式确定的，所述估计量指示关于每个模式与预定条件匹配的可能性；以及基于关于所决定的变量的问题的回答结果来更新该估计量。

Description

计算机可读记录介质、信息处理设备和信息处理方法

技术领域

本文中所讨论的实施方式涉及信息处理技术。

背景技术

随着人工智能(AI)技术的普及，对能够提供解释的机器学习模型的需求已经增加，这是因为在没有询问的情况下黑盒型机器学习模型的确定不能被接受的事实，并且因为希望给出人类可解释的确定的前提。因此，预先使用诸如规则列表、决策树或线性模型的白盒模型。然而，仅使用白盒型机器学习模型不能确保机器学习模型是人类可解释的或能够提供解释。

因此，近年来，已经实现了一种交互方法，通过该方法重复地执行机器学习模型的生成和对人的反馈，使得生成人可接受的精确的机器学习模型。在该交互方法中，例如，从机器学习模型中的特征中选择被认为是重要特征的特征；向用户询问所选择的特征是否真正重要；并且针对每个这样的特征重复询问直到用户满意。同时，机器学习模型中的特征也被称为解释变量或简称为变量。

随后，根据反馈，改变优化机器学习模型时使用的参数，并且因此更新机器学习模型。作为重复执行这样的操作的结果，生成了人可接受的精确的机器学习模型。

机器学习模型具有大量特征。因此，通过考虑用户在中途中断交互的可能性，期望用尽可能少的问题获得被回答为重要特征的最大可能数量的特征。

在这点上，一些方法是可用的，例如其中按照具有使用可用统计量例如相关性、相互信息内容和卡方值来计算的大的值的特征的顺序执行询问的方法；或者一种方法，其中测量关于机器学习模型的每个特征对预测分布的影响并且选择具有相对较大影响的特征用于询问目的。

[专利文献1]国际专利申请的日本国家公布第2016-536691号

[专利文献2]日本公开特许公报第2017-220238号

[专利文献3]美国未审查的专利申请公开第2018/0336271号

[专利文献4]美国未审查的专利申请公开第2019/0188585号

[专利文献5]日本公开特许公报第2019-169147号

然而，特定统计不一定与用户满意的现场知识(on-the spot knowledge)一致，并且有时需要询问大量问题直到用户满意。此外，依然在特征由机器学习模型选择的情况下，即使选择依赖于机器学习模型中的问题的特定索引，该索引也不一定与用户的现场知识一致。因此，最终，有时问题的数量变得很大。

因此，本发明的实施方式的一个方面的目的是提供能够以更有效的方式选择与用户的现场知识一致的特征以生成能够提供解释的机器学习模型的信息处理程序、信息处理设备和信息处理方法。

发明内容

根据实施方式的一方面，一种非暂态计算机可读记录介质，其中存储有信息处理程序，该信息处理程序使计算机执行处理，该处理包括：基于变量的优先级顺序和估计量，从多个变量中决定一个或更多个变量是关于重要性程度的问题的目标，所述变量的优先级顺序是基于指示所述多个变量的排名的多个模式确定的，所述估计量指示关于每个模式与预定条件匹配的可能性；以及基于关于所决定的变量的问题的回答结果来更新该估计量。

附图说明

图1是示出根据实施方式的信息处理设备的示例性配置的框图；

图2是示出根据本实施方式的索引数据的示例的图；

图3是示出根据本实施方式的概率数据的示例的图；

图4是示出根据本实施方式的对应于第一轮询问的特征选择操作的示例的图；

图5是示出根据本实施方式的对应于第二轮询问的特征选择操作的示例的图；

图6是示出根据本实施方式的对应于第三轮询问的特征选择操作的示例的图；

图7是用于说明根据本实施方式的估计量更新操作的示例性流程的流程图；以及

图8是示出根据本实施方式的信息处理设备的示例性硬件配置的图。

具体实施方式

将参照附图来说明本发明的优选实施方式。然而，本发明不限于下述实施方式。同时，可以在不引起矛盾的情况下对实施方式进行组合。

信息处理设备10的功能配置

下面参照图1说明根据本实施方式的信息处理设备10的功能配置。图1是示出信息处理设备10的示例性配置的框图。如图1所示，信息处理设备10包括通信单元11、存储器单元12和控制单元13。

通信单元11是控制与其他信息处理设备执行的通信的处理单元。

存储器单元12是用于存储各种数据以及存储将由控制单元13执行的计算机程序的存储器设备。存储器单元12用于存储分类模型121、索引数据122和概率数据123。

分类模型121是例如将输入数据分类为两个值中的一个的机器学习模型。例如，当输入捕获人的图像时，分类模型121确定人是否穿着制服，并且输出指示人是否穿着制服的确定结果。

索引数据122与表示指示特征的排名(即，机器学习模型中的特征的优先级顺序)的模式的索引相关。图2是示出根据本实施方式的索引数据122的示例的图。在图2所示的示例中，三个索引X、Y和Z包括在索引数据122中，并且五个特征“a”至“e”根据它们的排名在每个索引中列出。

在图2所示的示例中，在索引X的情况下，特征“a”被认为是机器学习模型中最重要的特征。因此，首先，向用户询问特征“a”是否是重要特征。然后，在索引X的情况下，向用户询问特征“b”是否是被认为是第二最重要的特征的重要特征。以这样的方式，直到用户满意为止，基于特征的优先级顺序重复地询问关于特征的问题。在图2所示的示例中，为了方便起见，示出了总共五个特征“a”至“e”。然而，实际上，机器学习模型包括更多数量的特征例如几百个特征或几千个特征。

同时，估计量α表示每个索引的权重系数，并且具有设置为1.0的初始值。信息处理设备10向用户询问每个特征的重要性，并且基于对每个问题的回答更新估计量α。因此，尽管稍后说明细节，但是信息处理设备10将其中重要特征排名高的索引视为与现场知识更一致的索引。因此，可以更容易地从该索引中选择特征。

通过使用统计量例如相关性、相互信息内容和卡方值或使用现有技术例如关于机器学习模型的每个特征的预测分布对特征进行排名来生成索引数据122中的每个索引。

概率数据123与关于每个特征估计用户认同的概率相关。即，概率数据123与每个特征概率(feature by feature probabilities)相关，所涉及的特征以该概率被估计为重要特征，并且以该概率估计将从用户获得关于所涉及的特征是否是重要特征的问题的肯定回答(是)。在图3所示的示例中，关于从用户获得肯定回答的概率，特征“a”具有0.66％的概率，并且特征“e”具有0.33％的概率。因此，在图3的示例中所示的概率数据123中，向用户询问特征“a”是否是重要特征是用尽可能少的问题获得最大可能数量的重要特征的更有效的方式。在本文中，对于每个问题，基于索引数据122生成概率数据123。关于用于生成概率数据123的方法和关于选择要向用户询问的特征的细节，稍后给出说明。

同时，存储在存储器单元12中的上述数据仅仅是示例性的，并且除了上述数据之外的各种数据也可以存储在存储器单元12中。

控制单元13是对信息处理设备10整体进行控制的处理单元；并且包括决定单元131、输出单元132和更新单元133。

决定单元131基于下述来选择和决定用于询问重要性程度的目标特征：机器学习模型中的特征的优先级顺序如基于索引数据122；以及基于指示关于每组索引数据122与预定条件匹配的可能性的估计量α。

例如，决定单元131基于下述来决定用于询问的目标特征：基于指示关于机器学习模型的特征的相关性、相互信息内容和卡方值中的至少一个的统计量决定的特征的优先级顺序；以及基于估计量α。同时，机器学习模型中的特征等同于机器学习模型中的变量，并且索引数据122等同于指示多个变量的排名的多个模式。

输出单元132输出关于由决定单元131决定的特征的重要性程度的问题。例如，输出单元132经由诸如连接至信息处理设备10的显示设备的输出设备来输出问题。可替选地，输出单元132可以向经由网络可通信地连接的信息处理终端(未示出)输出问题。

更新单元133获得如由输出单元132输出的关于重要性程度的问题的回答，并且基于回答更新估计量α。

例如，如果对关于重要性程度的问题的回答指示由决定单元131决定的特征是重要特征，则更新单元133增加其中所涉及的特征的优先级顺序等于或高于预定阈值的索引数据122的估计量α。另一方面，如果对关于重要性程度的问题的回答指示由决定单元131决定的特征不是重要特征，则更新单元133增加其中所涉及的特征的优先级顺序不等于或高于预定阈值的索引数据122的估计量α。在本文中，预定阈值例如是指示从顶部起排名第二的值。

功能细节

参照图4至图6，下面给出在信息处理设备10中执行的用于决定要询问其重要性程度的特征的特征决定操作的详细说明。图4是示出根据本实施方式的对应于第一轮询问的特征选择操作的示例的图。在图4所示的示例中，给出了关于以下操作的说明，在该操作中，为了向用户第一次询问关于重要性程度的问题，基于索引数据122来选择和决定用于询问的目标特征。

首先，作为先决条件，假设机器学习模型中的特征总数为五个，即，特征“a”至“e”。此外，假设两个特征“a”和“b”被用户认为是重要的，但是对于信息处理设备10而言并不知道是重要特征，即，没有被预先设置或存储在信息处理设备10中。此外，虽然稍后详细说明，但是假设在决定估计量α的更新细节时使用的用户参数δ等于二(从顶部起排名第二)。例如，用户参数δ可以基于特征总数的预定比率来决定，并且可以存储在信息处理设备10中。可替选地，用户可以将用户参数δ设置为任意值。

关于特征决定操作，如图4左侧所示，信息处理设备10提取索引数据122的每个索引中的排名第一的特征作为第一轮询问的候选。在图4所示的示例中，分别从索引X、Y和Z中提取特征“a”、“a”和“e”。

随后，如图4右侧所示，信息处理设备10计算每个提取特征的概率，并且生成用于决定第一轮询问的目标特征的概率数据123。概率数据123中的每个概率表示从用户得到关于重要性程度的问题的肯定回答的概率。每个概率是基于每个索引的估计量α计算的每个特征概率的组合总和。

例如，如果存在分别称为第一索引、第二索引和第三索引的三个索引“X”、“Y”和“Z”；则使用下面给出的式(1)计算第i个索引的概率。

在式(1)中，∑_jα_j表示所有索引的估计量α的组合总和。在图4所示的示例中，∑_jα_j等于1.0+1.0+1.0＝3.0。

如图4右侧所示，信息处理设备10使用式(1)计算每个索引的概率，并且将每个特征概率相加以获得每个特征的概率。例如，在图4所示的示例中，由于从两个索引“X”和“Y”中提取特征“a”，因此特征“a”的概率等于(索引X的概率)+(索引Y的概率)＝(1.0/3.0)+(1.0/3.0)＝约0.66。以相同的方式，特征“e”的概率等于(索引X的概率)＝(1.0/3.0)＝约0.33。同时，由于特征“b”至“d”没有被提取为第一轮询问的候选，因此相应的概率等于零。

随后，信息处理设备10选择并决定具有最高概率的特征“a”作为第一轮询问的目标特征。然后，作为第一轮询问，信息处理设备10向用户输出关于特征“a”是否是重要特征的问题。由于用户认为特征“a”是重要特征，因此响应于该问题从用户获得肯定回答(重要特征)。

由于特征“a”是重要特征变得清楚，因此信息处理设备10以下述方式更新估计量α：使在图4所示的示例中在由“2”指示的排名前二内包括特征“a”的索引X和Y优先。更具体地，信息处理设备10将索引X和Y的估计量α例如从1.0更新至1.15。在本文中，估计量α的增加量可以基于例如优选索引的数目和预设值。同时，排名在如用户参数δ中设置的值所指示的从顶部起的预定排名内的事实等同于特征的排名即机器学习模型中的特征的优先级顺序等于或高于阈值的事实。

此外，信息处理设备10可以将例如前二排名内不包括重要特征“a”的索引Z的估计量α从1.0更新为0.85。这使得更容易从在顶部排名中包括重要特征的索引X和Y中选择用于询问的目标特征。同时，估计量α的减少量也可以基于例如预设值。

下面给出的是根据本实施方式的对应于第二轮询问的特征选择操作的说明。图5是示出根据本实施方式的对应于第二轮询问的特征选择操作的示例的图。图5所示的示例涉及在如上面参照图4所说明的向用户的第一轮询问结束之后并且基于回答更新了每个索引的估计量α之后执行的第二轮询问。

首先，如图5左侧所示，信息处理设备10从索引数据122的每个索引的特征中提取尚未被视为询问目标的排名最高的特征作为第二轮询问的候选。如参照图4所说明的，在第一轮询问中，特征“a”被决定为目标特征。因此，在图5所示的示例中，分别从索引X、Y和Z中提取特征“b”、“e”和“e”作为用于询问的候选特征。

然后，如图5右侧所示，信息处理设备10计算每个提取特征的概率。在图5所示的示例中，由于从两个索引“Y”和“Z”中提取特征“e”，因此特征“e”的概率等于(索引Y的概率)+(索引Z的概率)＝(1.15/3.15)+(0.85/3.15)＝约0.63。以相同的方式，特征“b”的概率等于(索引X的概率)＝(1.15/3.15)＝约0.36。

然后，信息处理设备10选择并决定具有最高概率的特征“e”作为第二轮询问的目标特征。随后，作为第二轮询问，信息处理设备10向用户输出关于特征“e”是否是重要特征的问题。由于用户不认为特征“e”是重要特征，因此响应于该问题从用户获得否定回答(非重要特征)。

由于特征“e”不是重要特征变得清楚，因此信息处理设备10以下述方式更新估计量α：使在排名前二内不包括特征“e”的索引X优先。更具体地，信息处理设备10将索引X的估计量α例如从1.15更新至2.0。

此外，信息处理设备10可以将排名前二内包括非重要特征“e”的索引Y和Z的估计量α例如分别从1.15更新至1.1和从0.85更新至0.8。

下面给出的是根据本实施方式的对应于第三轮询问的特征选择操作的说明。图6是示出根据本实施方式的对应于第三轮询问的特征选择操作的示例的图。图6所示的示例涉及在如上面参照图5所说明的向用户的第二轮询问结束之后并且基于回答更新了每个索引的估计量α之后执行的第三轮询问。

首先，如图6左侧所示，信息处理设备10从索引数据122的每个索引的特征中提取尚未被视为询问目标的排名最高的特征作为第三轮询问的候选。如参照图4和图5所说明的，特征“a”和“e”被分别确定为第一轮询问和第二轮询问中的目标特征。因此，在图6所示的示例中，分别从索引X、Y和Z中提取特征“b”、“d”和“d”作为用于询问的候选特征。

然后，如图6右侧所示，信息处理设备10计算每个提取特征的概率。在图6所示的示例中，从两个索引“Y”和“Z”中提取特征“d”，特征“d”的概率等于(索引Y的概率)+(索引Z的概率)＝(1.1/3.9)+(0.8/3.9)＝约0.48。以相同的方式，特征“b”的概率等于(索引X的概率)＝(2.0/3.9)＝约0.51。

然后，信息处理设备10选择并决定具有最高概率的特征“b”作为第三轮询问的目标特征。随后，作为第三轮询问，信息处理设备10向用户输出关于特征“b”是否是重要特征的问题。由于用户认为特征“b”是重要特征，因此响应于该问题从用户获得肯定回答(重要特征)。

由于特征“b”是重要特征变得清楚，因此信息处理设备10以下述方式更新估计量α：使在排名前二内包括特征“b”的索引X优先。此外，信息处理设备10可以减少在排名前二内不包括重要特征“b”的索引Y和Z的估计量α。

在参照图4至图6说明的示例中，信息处理设备10变得能够在三轮询问中识别用户认为重要的所有特征。然而，信息处理设备10并不知道用户认为重要的特征的总数。因此，在第三轮询问结束之后，直到用于询问的目标特征用尽为止，信息处理设备10尝试继续从第四轮向前询问。在这点上，例如，在信息处理设备10中，可以以下述方式执行控制：经由用户界面确认用户是否满意，并且继续询问直到用户肯定地回答满意为止。

操作流程

下面参照图7说明在信息处理设备10中执行的估计量更新操作。图7是用于说明根据本实施方式的估计量更新操作的示例性流程的流程图。图7所示的估计量更新操作在任意时刻例如响应于用户请求而开始。

首先，如图7所示，信息处理设备10获得索引数据122和用户参数δ(步骤S101)。在索引数据122中，根据现有技术使用统计和机器学习模型对目标机器学习模型的特征进行排名。索引数据122预先存储在信息处理设备10中。用户参数δ基于目标机器学习模型的特征总数来确定或者由用户设置；并且预先存储在信息处理设备10中。因此，索引数据122和用户参数δ可以预先生成并存储，或者可以在步骤S101处生成并获得。

然后，信息处理设备10初始化索引数据122中的估计量α(步骤S102)。更具体地，在初始化阶段，信息处理设备10不知道用户认为重要的特征，并且不知道索引数据122中的哪个索引与用户的现场知识一致。因此，信息处理设备10将每个索引的估计量α都设置为1.0。同时，估计量α的初始化可以与索引数据122的生成一起执行。

随后，如先前参照图4至图6所说明的，信息处理设备10基于索引数据122计算每个特征的概率；从尚未被视为询问目标的特征中选择具有最高概率的特征作为用于询问的目标特征；并且向用户询问关于所选择的特征的问题(步骤S103)。

如果响应于在步骤S103处询问的问题从用户获得肯定回答(重要特征)(在步骤S104为是)，则信息处理设备10以下述方式更新估计量α：使在排名前δ内包括用于询问的目标特征的索引优先(步骤S105)。

另一方面，如果从用户获得否定回答(非重要特征)(步骤S104中为否)，则信息处理设备10以下述方式更新估计量α：使在排名前δ内不包括用于询问的目标特征的索引优先(步骤S106)。

然后，信息处理设备10经由用户界面确认用户是否满意。如果回答指示用户满意(步骤S107中为是)，则信息处理设备10结束图7所示的估计量更新操作。

另一方面，如果回答指示用户不满意(步骤S107中为否)，则系统控制返回到步骤S103，并且信息处理设备10重复询问关于尚未被视为询问目标的特征的重要性程度的问题，直到用户满意为止(步骤S103至步骤S107)。

效果

如上所述，基于基于指示多个变量的排名的多个模式的多个优先级以及基于指示关于每个模式与预定条件匹配的可能性的估计量，信息处理设备10决定用于询问重要性程度的目标变量，并且基于对关于所决定的目标变量的问题的回答来更新估计量。

以这样的方式，基于指示与用户的现场知识匹配的可能性的估计量和索引，信息处理设备10选择并决定用于询问重要性程度的目标特征，并且基于回答更新估计量。因此，为了生成能够提供解释的机器学习模型，信息处理设备10可以以更有效的方式选择与用户的现场知识匹配的特征。

同时，当回答指示所决定的变量是重要的时，更新估计量的操作包括增加其中所决定的变量的优先级顺序等于或高于预定阈值的模式的估计量。

因此，信息处理设备10更容易选择与用户的现场知识一致的特征。

另一方面，当回答指示所决定的变量是不重要的时，更新估计量的操作包括增加其中所决定的变量的优先级顺序不等于或高于预定阈值的模式的估计量。

因此，信息处理设备10更容易选择与用户的现场知识一致的特征。

决定变量的操作包括基于下述来决定该变量：基于指示关于变量的相关性、相互信息内容和卡方值中的至少一个的统计量决定的排名的模式的优先级顺序；以及基于估计量。

因此，信息处理设备10更容易选择与用户的现场知识一致的特征。

系统

除非另外指明，否则处理过程、控制过程、特定名称、各种数据以及包括在实施方式中描述的或在附图中示出的参数的信息可以根据需要改变。此外，在工作示例中说明的特定示例、分布和数值仅为示例性的并且可以任意改变。

信息处理设备10的组成元件仅为概念性的，并且不需要如所示出的那样被物理地配置。例如，信息处理设备10的决定单元131可以被划分为多个处理单元，或者信息处理设备10的决定单元131和输出单元132可以被集成到单个处理单元中。因此，基于各种类型的负载或使用条件，组成元件作为整体或部分可以在功能上或物理上分离或集成。此外，在每个设备中实现的处理功能全部或部分地由中央处理单元(CPU)或由CPU分析并执行的计算机程序来实现，或者由有线逻辑实现为硬件。

图8是示出根据本实施方式的信息处理设备10的示例性硬件配置的图。如图8所示，信息处理设备10包括通信接口10a、硬盘驱动器(HDD)10b、存储器10c和处理器10d。图6中所示的组成元件通过总线相互连接。

通信接口10a是与其他信息处理设备通信的网络接口卡。HDD 10b用于存储用于实现图1所示功能的计算机程序，并且用于存储数据。

处理器10d是CPU、微处理单元(MPU)或图形处理单元(GPU)。可替选地，处理器10d可以使用集成电路例如专用集成电路(ASIC)或现场可编程门阵列(FPGA)来实现。处理器10d是读取计算机程序的硬件电路，其执行与图1所示的处理单元的操作相同的操作；加载存储器10c中的计算机程序；并且执行用于实现参照图1说明的功能的处理。

可替选地，信息处理设备10可以使用介质读取设备从记录介质读取计算机程序，并且执行该程序，从而可以实现根据实施方式的功能。同时，计算机程序不限于由信息处理设备10执行。例如，即使当计算机程序由一些其他信息处理设备执行时或者当计算机程序在设备之间协作执行时，该实施方式仍然可以以相同的方式实现。

该计算机程序可以经由诸如因特网的网络来分发。可替选地，计算机程序可以被记录在诸如硬盘、软盘(FD)、光盘只读存储器(CD-ROM)，磁光(MO)盘或数字通用盘(DVD)的可由信息处理设备读取的记录介质中。然后，信息处理设备可以从记录介质读取计算机程序，并且执行该计算机程序。

Claims (6)

1.一种非暂态计算机可读记录介质，其中存储有信息处理程序，所述信息处理程序使计算机执行处理，所述处理包括：

基于变量的优先级顺序和估计量从多个变量中决定一个或更多个变量是关于重要性程度的问题的目标，所述变量的优先级顺序是基于指示所述多个变量的排名的多个模式确定的，所述估计量指示关于每个模式与预定条件匹配的可能性；以及

基于关于所决定的变量的所述问题的回答结果来更新所述估计量。

2.根据权利要求1所述的非暂态计算机可读记录介质，其中，更新所述估计量包括：当所述回答结果指示所决定的变量是重要的时，进行更新以增加其中所决定的变量的优先级顺序等于或高于预定阈值的模式的估计量。

3.根据权利要求2所述的非暂态计算机可读记录介质，其中，更新所述估计量包括：当所述回答结果指示所决定的变量是不重要的时，进行更新以增加其中所决定的变量的优先级顺序不等于或高于所述预定阈值的模式的估计量。

4.根据权利要求1至3中任一项所述的非暂态计算机可读记录介质，其中，决定所述变量包括：基于基于指示根据表示所述变量的相关性、相互信息内容和卡方值中的至少一个的统计量所决定的排名的模式的优先级顺序以及所述估计量来决定所述变量。

5.一种信息处理设备，其包括执行处理的控制单元，所述处理包括：

基于变量的优先级顺序和估计量从多个变量中决定一个或更多个变量是关于重要性程度的问题的目标，所述变量的优先级顺序是基于指示所述多个变量的排名的多个模式确定的，所述估计量指示关于每个模式与预定条件匹配的可能性；以及

基于关于所决定的变量的所述问题的回答结果来更新所述估计量。

6.一种信息处理方法，其包括：

基于变量的优先级顺序和估计量从多个变量中决定一个或更多个变量是关于重要性程度的问题的目标，所述变量的优先级顺序是基于指示所述多个变量的排名的多个模式确定的，所述估计量指示关于每个模式与预定条件匹配的可能性；以及

基于关于所决定的变量的所述问题的回答结果来更新所述估计量。

Images