CN115827705A - 用于反事实解释的数据处理方法和装置 - Google Patents

Abstract

本公开涉及用于推荐反事实解释的数据处理方法和装置。提供了一种用于推荐的反事实解释的模型训练方法，所述方法包括：获取用于产生推荐的参考数据的删除所导致的推荐结果变化；以及基于被删除的参考数据以及相对应的推荐结果变化，来训练用于推荐的反事实解释的模型。

Description

用于反事实解释的数据处理方法和装置

技术领域

本公开涉及数据处理领域，尤其是涉及对于数据推荐的解释。

背景技术

随着基于机器学习、深度学习算法等的系统在数据挖掘、社交网络等领域和行业中变得越来越普遍，对系统产生的决策进行人类可理解的解释是有利的。因此，系统结果的可解释性、尤其是系统中所使用的机器学习、深度学习等算法的可解释性问题受到广泛关注。特别地，希望对于推荐系统，对推荐系统提供的推荐输出提出适当的解释，从而更便于用户理解，并且解释越适当，可以进一步验证推荐系统的有效性。

发明内容

提供该发明内容部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

在本公开的第一方面，提供了一种用于推荐的反事实解释的模型训练方法，所述方法包括：获取用于产生推荐的参考数据的删除所导致的推荐结果变化；以及基于被删除的参考数据以及相对应的推荐结果变化，来训练用于推荐的反事实解释的模型。

在本公开的第二方面，提供了一种用于推荐的反事实解释的方法，包括：获取根据本公开中所述的任一实施例的方法训练得到的反事实解释模型，以及基于所述反事实解释模型，确定能够实现推荐结果中移除目标推荐对象的特定被删除参考数据。

在本公开的第三方面，提供了一种用于推荐的反事实解释的模型训练装置，所述装置包括：获取单元，被配置为获取用于产生推荐的参考数据的删除所导致的推荐结果变化；以及训练单元，被配置为基于被删除的参考数据以及相对应的推荐结果变化，来训练用于推荐的反事实解释的模型。

在本公开的第四方面，提供了一种用于推荐的反事实解释的装置，包括：获取单元，被配置为获取根据本公开中所述的任一实施例的方法训练得到的反事实解释模型，确定单元，被配置为基于所述反事实解释模型，确定能够实现推荐结果中移除目标推荐对象的特定被删除参考数据。

在本公开的第五方面，提供一种电子设备，包括：存储器；和耦接至存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行本公开中所述的任一实施例的方法。

在本公开的第六方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序在被处理器执行时导致实现本公开中所述的任一实施例的方法。

在本公开的第七方面，提供一种计算机程序产品，包括指令，该指令在由处理器执行时导致实现本公开中所述的任一实施例的方法。

在本公开的第八方面，提供一种计算机程序，包括程序代码，该程序代码在由处理器执行时导致实现本公开中所述的任一实施例的方法。

通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征、方面及其优点将会变得清楚。

附图说明

下面参照附图说明本公开的优选实施例。此处所说明的附图用来提供对本公开的进一步理解，各附图连同下面的具体描述一起包含在本说明书中并形成说明书的一部分，用于解释本公开。应当理解的是，下面描述中的附图仅仅涉及本公开的一些实施例，而非对本公开构成限制。在附图中：

图1示意性示出了根据本公开的实施例的针对推荐的反事实解释的概念图。

图2A示意性示出了根据本公开的实施例的用于反事实解释的模型训练方法的流程图；图2B示意性示出了根据本公开的实施例的反事实解释的生成方法的流程图。

图3A示意性示出了根据本公开的实施例的用于反事实解释的模型训练装置的框图；图3B示意性示出了根据本公开的实施例的反事实解释的生成装置的框图。

图4示意性示出了根据本公开的实施例的反事实解释相关的示例性数据处理的示意图。

图5示出本公开的电子设备的一些实施例的框图。

图6示出本公开的电子设备的另一些实施例的框图。

应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不一定是按照实际的比例关系绘制的。在各附图中使用了相同或相似的附图标记来表示相同或者相似的部件。因此，一旦某一项在一个附图中被定义，则在随后的附图中可能不再对其进行进一步讨论。

具体实施方式

下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，但是显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。以下对实施例的描述实际上也仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例。

应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值应被解释为仅仅是示例性的，不限制本公开的范围。

本公开中使用的术语“包括”及其变型意指至少包括后面的元件/特征、但不排除其他元件/特征的开放性术语，即“包括但不限于”。此外，本公开使用的术语“包含”及其变型意指至少包含在其后面的元件/特征、但不排除其他元件/特征的开放性术语，即“包含但不限于”。在本公开上下文中，“包括”与“包含”是同义的。术语“基于”意指“至少部分地基于”。

整个说明书中所称“一个实施例”、“一些实施例”或“实施例”意味着与实施例结合描述的特定的特征、结构或特性被包括在本发明的至少一个实施例中。例如，术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。而且，短语“在一个实施例中”、“在一些实施例中”或“在实施例中”在整个说明书中各个地方的出现不一定全都指的是同一个实施例，但是也可以指同一个实施例。需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。

需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。除非另有指定，否则“第一”、“第二”等概念并非意图暗示如此描述的对象必须按时间上、空间上、排名上的给定顺序或任何其他方式的给定顺序。

对推荐系统的推荐结果加以解释是近年来得到了广泛的应用场景。传统推荐解释一般根据基于物品的协同过滤(Item Based Collaborative Filtering)来做出的。例如，对于推荐系统的推荐结果，例如在购物推荐中的物品推荐，传统技术会直接解释“我们推荐此物品因为你交互过以下物品”，也可被称为事实解释。然而，这样的解释技术中，解释的正确性往往比较难以验证。

作为对比，本公开主要旨在考虑反事实解释。不同于事实解释，反事实解释主要是针对否定形式的因果情况进行解释。特别地，因果情况以“如果X没有发生，Y就不会发生”的形式来描述。图1中示出了反事实解释的示意性概念图，其中作为示例示出了对于推荐的反事实解释。

一方面，现实世界表示推荐系统向用户推荐物品i，物品推荐可以采用各种适当的推荐过程来实现，例如利用各种适当的推荐算法、系统等，这里将不再详细描述。特别地，可以依赖于用户的交互历史，诸如用户的交易历史、购物示例等等，为用户推荐物品，例如物品i。

另一方面，反事实世界可表示对于推荐系统所提供的推荐结果，可以进行反事实解释。特别地，反事实解释可指的是对推荐进行解释，以获知得出推荐的原因。尤其是对反事实推荐进行解释。反事实推荐或反事实解释都可基于反事实逻辑/因果来作出。反事实推荐的基本逻辑是例如“假如你没有交互过以下物品，可能我们不会推荐此物品”。例如，在推荐物品为不同于物品i的物品j情况下，这样可以是基于反事实推荐，尤其是针对物品i的反事实推荐，即因为没有交互过某些物品，所以才不会推荐物品i。例如，假如没有交互过物品23，61，20，可能我们不会推荐物品i。可见，反事实推荐可得出是推荐给用户的物品，反事实解释可得出导致推荐物品的用户未交互过的物品。与传统解释相比，这样的反事实解释有两点好处：(1)提供了解释逻辑，更便于用户理解；(2)解释的正确性可以验证。

在推荐系统中产生反事实解释时，产生反事实解释的主要难点在于速度，而且产生反事实解释的准确性也需要进一步提高。例如，影响函数(influence function)可以用于产生解释，例如产生推荐反事实解释，但是影响函数本身并不准确，对于深度模型而言尤其如此，因此基于影响函数而产生解释的方法可能也无法获得准确的结果，例如所生成的解释不一定能很好满足反事实的定义。

鉴于此，本公开提出了改进的反事实解释的技术方案，尤其是实现改进的推荐反事实解释的技术方案。特别地，对于特定推荐对象，获取用于产生推荐的参考数据(也可被称为样本数据)的删除所导致的推荐结果的影响，特别地，由删除的参考数据所导致的对应的推荐结果的变化，然后基于删除的参考数据与相应的推荐结果的变化之间的对应关系来训练用于反事实解释的模型。由此，可以得到能够更加准确地产生用于反事实解释的模型。

此外，本公开还提出了对于所得到的用于反事实解释的模型进行验证和/或应用。特别地，对于预期推荐，尤其是预期移除的目标推荐对象，可以通过应用该模型而获得能够实现这一点的最优数据删除。特别地，这样的处理可以应用于推荐系统，从而可以有助于产生更加适当的推荐，并且可以产生特别准确、适当的解释。

下面结合附图对本公开的实施例进行详细说明，但是本公开并不限于这些具体的实施例。下面这些具体实施例可以相互结合，对于相同或者相似的概念或过程可能在某些实施例不再赘述。此外，在一个或多个实施例中，特定的特征、结构或特性可以由本领域的普通技术人员从本公开将清楚的任何合适的方式组合。

应指出，尽管在本公开上下文的描述中，主要以对象推荐为例来描述本公开的方案，特别地主要是涉及对于推荐的反事实解释，但是应指出，推荐仅仅是示例性的，本公开的进行反事实解释的实施例还可以同样应用于各种适当的数据处理，包括但不限于对象预测、估计等等，并且可以取得类似的有利技术效果。

图2A示出了根据本公开的实施例的用于推荐反事实解释的模型训练方法的流程图。方法200至少包括步骤S201和S202。在步骤S201中，获取用于生成推荐的参考数据的删除所导致的推荐结果变化，以及在步骤S202中，基于被删除的参考数据以及相对应的推荐结果变化，来训练用于推荐反事实解释的模型。

根据本公开的一些实施例，参考数据可以是用于产生推荐的各种适当数据。在一些示例中，参考数据可以是与待推荐对象有关的历史数据，例如在待推荐对象是物品的情况下，可以是与该物品的使用，诸如交易、评价等等有关的数据。特别地，在为用户进行推荐的情况下，参考数据可以是用户的与对象相关的历史数据，例如历史交互数据、交易记录等等。通常，参考数据通常构成数据集，以用于产生适当推荐。

这里，参考数据的删除可指的是从参考数据集中删除部分数据，被删除的部分数据可以被以适当方式设定，例如被随机设定，或者按照历史数据的时间设定等等。在一些示例中，参考数据的删除例如可以从每个用户的参考数据集中进行部分删除，或者对于包含多个用户的参考数据集中分别对于每个用户的相关数据进行部分删除。

根据本公开的一些实施例，推荐结果可以指的是将推荐模型应用于参考数据而得到的推荐结果，例如尤其是针对特定推荐对象(例如，目标推荐对象，要被解释的推荐对象或者要被移除的推荐对象)的推荐结果。推荐模型可以是各种适当类型的针对特定目标的推荐模型，例如用于物品推荐的推荐模型，本领域中已知的各种模型等等，这里将不再详细描述。作为示例，在物品推荐的情景中，推荐模型可以基于用户的历史交易记录中为用户推荐出至少一个候选物品并且进行排序，例如根据每种物品的可能性从高到低进行排序，以作为推荐结果。而对于特定推荐对象而言，其相应的推荐结果可以指的是推荐该对象的可能性大小、排序序号等等。

根据本公开的实施例，推荐结果变化旨在指示参考数据删除对于推荐的影响，尤其是对于针对特定推荐对象的推荐的影响。在一些实施例中，推荐结果变化可指的是参考数据删除前后的推荐结果的变化，尤其是与特定推荐对象有关的推荐结果的变化。作为示例，推荐结果的变化可以是基于删除前的参考数据(被称为原始参考数据)的推荐结果和基于删除后的参考数据(可被称为剩余参考数据)的推荐结果之间的差异。这里的推荐结果可以是将删除前的参考数据和删除后的参考数据分别输入推荐模型而得到的。

根据本公开的实施例，用于获取推荐结果变化的推荐模型可被以各种方式适当地设定。在一些示例中，推荐模型可以是初始模型，例如预先设定的模型、已有的推荐模型等等。在另一些示例中，推荐模型也可以是进一步训练得到的模型。特别地，可以是基于初始模型、进一步基于被删除的参考数据进行训练而得到的推荐模型。

根据本公开的一些实施例，获取用于产生推荐的参考数据的删除所导致的推荐结果变化可包括：获取基于删除之前的初始参考数据应用第一推荐模型所获得的推荐结果与基于删除之后的剩余参考数据应用第二推荐模型所获得的推荐结果之间的差别作为推荐结果变化，其中，第一推荐模型和第二推荐模型可以相同或者不同。在本公开的一些实施例中，推荐结果变化的获取可以是基于同一推荐模型。例如，对于数据删除之前和之后的参考数据，可以采用同一推荐模型以获得相应的推荐结果，继而得到推荐结果变化。这里采用的推荐模型可以是初始推荐模型，也可以是进一步训练得到的推荐模型。在本公开的另一些实施例中，推荐结果变化的获取可以是基于不同的推荐模型。例如，对于数据删除之前的参考数据可以采用例如初始模型，而对于数据删除之后的参考数据可以采用进一步训练得到的模型。

根据本公开的实施例，推荐结果变化可以采用各种适当的方式被确定或者采用各种适当方式来表示。特别地，推荐结果变化可以是针对目标推荐对象的结果变化，例如在数据删除前后的推荐结果中，目标推荐对象的推荐可能性的差异。在一些实施例中，所述推荐结果是应用推荐模型所得到的针对目标推荐对象的推荐可能性，并且推荐结果变化涉及在基于删除之前的参考数据应用推荐模型所得到的目标推荐对象的推荐可能性与在基于删除之后的参考数据应用推荐模型得到的目标推荐对象的推荐可能性之间的差异。在另一些实施例中，在如上所述推荐结果涉及多个对象，并且各个对象被适当排序的情况下，推荐结果也可由目标推荐对象的位置指示，在此情况下，推荐结果变化也可与位置差异有关。在一些实施例中，所述推荐结果是基于参考数据从推荐模型得到的推荐对象序列，并且推荐结果变化与目标推荐对象在基于删除之前的参考数据得到的推荐对象序列中的排序位置与目标推荐对象在基于删除之后的参考数据得到的推荐对象序列中的排序位置之间的差异有关。在一个示例中，该信息可以是对象位置差异、对象排序序号的差异等等。在另一示例中，还可以采用适当的数学统计方法，例如，数学乘法、除法等来确定数据删除前后的结果之间的变化程度。

在另一些实施例中，所述推荐结果变化是针对目标推荐对象应用训练得到的模型所得到的预测结果与针对特定推荐对象应用训练得到的模型所得到的预测结果之间的差异，其中所述特定推荐对象在基于删除之后的参考数据得到的推荐对象序列中的位置与基于删除之前的参考数据得到的推荐对象序列中的目标推荐对象的位置相同。

根据本公开的实施例，被删除的参考数据以及相对应的推荐结果变化可分别作为输入和输出以用于进行模型训练。具体而言，部分参考数据的删除被执行至少一次，并且对于每次参考数据删除，获取相对应的推荐结果变化，从而组成至少一组被删除的部分参考数据和相应的推荐结果变化的集合，以用于反事实解释模型的训练。在一个示例中，可以基于初始参考数据集执行上述操作，其中每次操作中从初始参考数据集中删除一部分参考数据，然后基于剩余参考数据执行推荐，以获取该这样的部分参考数据删除所导致的对应推荐结果变化，由此可以执行多次样本删除，产生多个删除参考数据和推荐结果变化对，由此共同组成用于模型训练的数据集合。

在本公开的一些实施例中，在每次参考数据删除时可以执行推荐模型训练，然后基于训练得到的推荐模型来获取推荐结果变化。例如，可以仅使用训练得到的推荐模型，或者使用初始推荐模型和训练得到的推荐模型等，来获取推荐结果变化，如上所述，这里将不再详细描述。根据本公开的实施例，推荐模型训练的操作可被包含于本公开的方法200中，并作为步骤S203。应指出，此步骤并不是必需的，即使没有此步骤，根据本公开的方法的技术方案仍是完整的且能实现有利技术效果，因此步骤S203在附图中以虚线指示。

根据本公开的实施例，上述参考数据删除以及相应的推荐结果变化的获取可以是针对用户来执行的。特别地，可以针对特定用户，例如为其产生推荐/推荐的目标用户，而执行，上述参考数据可以是与该用户有关的历史数据，例如历史交易数据等等。应指出，也可以针对特定的用户组、甚至是系统服务于的所有用户来执行。例如，可以对于用户组中的每一用户进行至少一次的样本删除以及获取相应的推荐结果变化，从而可以得到整个样本组的所有用户的相关数据，共同作为训练数据。对于系统服务于的所有用户同样可类似地获取训练数据。

根据本公开的实施例，用于产生反事实解释的模型可以各种适当的模型，例如各种“黑盒子”模型，其可以通过学习用户数据删除的相关信息以及相应的推荐结果变化的相关信息，来获取模型的实现。例如，在模型学习过程中，将学习用户数据删除的相关信息作为输入，将相应的推荐结果变化的相关信息作为输出，从而进行模型学习或训练。这样的模型可以是各种适当形式的模型，例如回归模型，诸如各种类型的回归模型，例如线性回归模型等等。

根据本公开的实施例，用于反事实解释模型训练的被删除的部分参考数据以及相应的推荐结果变化可分别被用适当的形式表示。在一些实施例中，作为输入的被删除的部分参考数据尤其可用特征向量表示。特别地，被删除的参考数据，例如可以为参考数据子集，包括多个参考数据，并且作为用于反事实解释模型训练的输入的被删除的参考数据由多个参考数据中的各参考数据的特征向量的组合表示。

作为示例，作为模型训练的输入可以分别包含用户、删除的部分数据、推荐目标对象三者各自的数据，每一者的数据可利用特征向量来表示。特征向量可以为各种适当形式的向量，这里将不再详细描述。特征向量可以对于数据进行适当的解释和描述，而且与原始数据相比形式更加简约，这样在包含更加精细的数据的情况下数据量没有明显增加，从而可以提高数据解析粒度，使得数据处理更加精确，处理效率更高。

由此，可以获得改进的用于反事实解释的模型。特别地，通过获取数据删除导致的推荐结果变化，并且基于删除数据以及推荐结果变化的组合来进行反事实解释模型训练，可以更加准确地确定用于反事实解释的模型，而且通过适当的数据形式表达，可以提高数据处理速度，降低数据处理开销。

另一方面，本公开提出了一种改进的用于反事实解释的方法，尤其是用于推荐反事实解释的方法。该方法可以基于根据本公开的实施例所产生的用于反事实解释的模型来实现。特别地，可以对于上述训练得到的用于反事实解释的模型进行应用，例如进行验证，或者用于产生反事实解释。

图2B示出了根据本公开的实施例的用于反事实解释的方法。方法210包括步骤S211和S212。在步骤S211中，可以获取根据本公开的实施例训练得到的反事实解释模型。此步骤执行的操作可如上文所述地那样执行，这里将不再详细描述。

在步骤S212中，可以基于反事实解释模型，确定能够实现推荐结果中移除目标推荐对象的特定被删除参考数据。特别地，对于反事实推荐的目标推荐对象，即希望移除的推荐目标，例如前文所述的物品i，可以通过利用反事实解释模型，来确定参考数据(例如用户的历史交互数据中)哪些数据被删除最有可能导致推荐中移除该推荐目标。应指出，在本公开的上下文中，移除目标推荐对象可以包括各种适当情况，例如在推荐结果为推荐对象序列的情况下，移除目标推荐对象可以包括目标推荐对象不被包含在该序列中，或者目标推荐对象虽然被包含在该序列中，但是位于该序列中的特定排序位置之后，例如该特定位置可以是不容易被用户注意到的排序位置，例如可以按照经验或者显示要求而被设定。

特别地，在一些实施例中，可以对于参考数据集中的多个数据子集，利用所述反事实解释模型来获得每个数据子集的删除所导致的推荐影响。然后，选择具有最大可能性实现推荐结果中移除目标推荐对象的数据子集作为特定被删除参考数据。

通过这样的应用，可以有利地确定数据子集的删除与推荐结果之间的准确关系，尤其是数据子集的删除与目标推荐对象的移除之间的对应关系，从而当这样的反事实解释模型应用于推荐系统时，可以有助于进一步提高推荐系统的准确性，从而为用户产生更加适当的推荐。

根据本公开的实施例的数据处理、尤其是模型训练以及推荐反事实解释，可被以各种适当的方式来执行。在一些示例中，可以集中式处理，例如由单个处理设备或装置，诸如各种适当类型的服务器、处理器、图形处理单元(CPU)等来执行。在另一些示例中，可以分布式处理，例如可以在多个计算节点上分布式执行，所述计算节点中的至少一者包括各种适当类型的服务器、处理器、图形处理单元(CPU)等，并且分别在各计算节点上执行部分数据处理。

图3A示出了根据本公开的实施例的用于反事实解释的模型训练装置的框图。装置300可以包括获取单元301，被配置为获取用于产生推荐的参考数据的删除所导致的推荐结果变化；以及训练单元302(也可被称为第一训练单元)，被配置为基于被删除的参考数据以及相对应的推荐结果变化，来训练用于推荐的反事实解释的模型。

在一些实施例中，可选地，该装置300还可包括第二训练单元303，被配置为基于删除之后的剩余参考数据来进行推荐模型的训练，并且其中，所述获取单元301还被包括基于训练得到的推荐模型获取由参考数据的删除所导致的推荐结果变化。应指出，第二训练单元并不必须被包含在装置300中，其也可位于装置300之外，因此在附图中用虚线示出。

在一些实施例中，可选地，获取单元、第一训练单元和第二训练单元还可执行如前所述的相应操作，这里将不再详细描述。

图3B示出了根据本公开的实施例的用于反事实解释的装置的框图。装置310可以包括获取单元311，被配置为获取根据本公开的任何实施例中所述的方法训练得到的反事实解释模型，以及确定单元312，被配置为基于所述反事实解释模型，确定能够实现推荐结果中移除目标推荐对象的特定被删除参考数据。

应指出，上述装置300、310以及其所包含的各种单元所执行的操作或处理可如上文所述地执行，例如可如上文所述的相对步骤中的操作或处理那样执行，这里将不再详细描述。

应注意，上述各个单元仅是根据其所实现的具体功能划分的逻辑模块，而不是用于限制具体的实现方式，例如可以以软件、硬件或者软硬件结合的方式来实现。在实际实现时，上述各个单元可被实现为独立的物理实体，或者也可由单个实体(例如，处理器(CPU或DSP等)、集成电路等)来实现。此外，上述各个单元在附图中用虚线示出指示这些单元可以并不实际存在，而它们所实现的操作/功能可由处理电路本身来实现。特别地，依赖于根据本公开的实施例的处理实现，这些单元可以集中式地实现，或者分布式地实现。

此外，尽管未示出，该设备也可以包括存储器，其可以存储由设备、设备所包含的各个单元在操作中产生的各种信息、用于操作的程序和数据、将由通信单元发送的数据等。存储器可以是易失性存储器和/或非易失性存储器。例如，存储器可以包括但不限于随机存储存储器(RAM)、动态随机存储存储器(DRAM)、静态随机存取存储器(SRAM)、只读存储器(ROM)、闪存存储器。当然，存储器可也位于该设备之外。可选地，尽管未示出，但是该设备也可以包括通信单元，其可用于与其它装置进行通信。在一个示例中，通信单元可以被按照本领域已知的适当方式来实现，例如包括天线阵列和/或射频链路等通信部件，各种类型的接口、通信单元等等。这里将不再详细描述。此外，设备还可以包括未示出的其它部件，诸如射频链路、基带处理单元、网络接口、处理器、控制器等。这里将不再详细描述。

以下将参照图4来详细描述根据本公开的实施例的用于推荐反事实解释的数据处理的示例性过程。特别地，本公开的实施例提出了一种以学习的方式生成推荐反事实解释，其核心思想为训练代理模型(Surrogate Model)作为用于反事实解释的模型去学习删除历史对于推荐的影响。

在实现过程中，首先是对反事实推荐事件进行模拟。特别地，通过人工删除一部分用户历史数据并重新训练模型得到删除历史对推荐产生的真实(Ground-truth)影响。具体而言，对于给定的目标用户u(即，要给予解释的用户)，删除该用户的一部分的历史交互记录D_u，然后利用删除后的数据重新训练得到反事实推荐模型

该训练可如下地表示：

应指出，上述式子仅仅示例性的，旨在以公式的形式来描述模型的训练处理/过程。其中，模型θ是选自模型集合Θ的特定模型，这里的模型可以是任何适当的反事实推荐模型，即待训练的模型。用于训练的用户

推荐对象/物品

以及模型评分

也是被包含于特定数据集合S的，这样的集合可以被预先设定并存储在特定设备中。

此外，

为指示函数，其旨在限定用于训练的用户

是否是目标用户u，以及推荐对象/物品

是否包含在被删除的历史交互记录D_u中。例如，当用于训练的用户

是目标用户u，且推荐对象/物品

包含在被删除的历史交互记录D_u中时，则指示函数的值为1，否则为0。

为训练模型损失，其可指示为模型训练设定的损失。其可以是各种适当的损失函数，可以是基于模型评分

训练模型预测f两者被确定的，例如为两者的差值。训练模型预测f旨在表征对于用于训练的用户

物品

应用当前模型θ(即，在训练之前的模型)所得到结果，在本文中也可指的是推荐结果。结果可以为各种适当形式。在一个实施例中，训练模型预测f可以指的是对于用户

而言模型推荐物品

的可能性。特别地，在预测多个物品的情况下，将获知各个物品各自的推荐可能性。在另一实施例中，在预测多个物品的情况下，还可按照各个物品各自的推荐可能性进行排序，从而获得推荐物品序列或者物品的排序位置作为推荐结果。作为示例，在推荐模型能够得到推荐对象/物品的排序序列情况下，该训练结果可以为物品的排序位置的相关信息，例如位置可作为索引，与其推荐可能性相对应。当然，结果也可以是应用推荐模型得到的对于物品

的其它推荐/预测结果。

接下来，计算删除数据对于目标推荐物品i(即，要解释的推荐对象或者要被移除的对象)的影响。如下式(1):

为物品i在原来推荐中的排序位置，

为在反事实排序列表中的位置，物品j为在反事实推荐中排在物品i原来位置的物品。上式指示数据删除前后的推荐结果之前的差异。

对应于对于用于训练的用户u、在数据删除后得到的推荐物品列表中的处于物品i的原来位置的物品j，应用如前所述训练得到的模型

所得到结果。

对应于对于用于训练的用户u、在数据删除后得到的推荐物品列表中的物品i，应用如前所述训练得到的模型

所得到结果。

以上的操作通过采样不同用户u和不同

重复进行，以便获得相应的影响数据/推荐结果变化作为代理模型的训练数据。当然，在对于单个用户u的情况下，可以采用不同的删除数据子集D_u，来执行上述操作，获得相应的影响数据/推荐结果变化作为代理模型的训练数据。

接下来，对于用于反事实解释的模型进行训练。作为示例，用于反事实解释的模型可以是代理模型。从而可以用代理模型去学习删除的数据和推荐结果变化之间的映射。代理模型可用于给定一个删除的历史记录，可以预测其对于推荐的影响。

代理模型α的训练优化为，如下式(2)：

代理模型α可以为各种适当的模型，例如可以选自模型集A，尤其是回归模型。作为示例，这里使用LASSO模型。

g(.)为代理模型的损失函数，其指示应用代理模型α对用户u、删除数据D_u，推荐物品i进行处理时所产生的损失。这里的用户u、删除数据D_u，推荐物品i分别选自各自的集合，即

代理函数的输入(u，D_u，i)可由推荐特征向量表示，如下式(3)：

其中，φ_u(u)指示用户特征向量，

为删除数据的特征向量，尤其是删除数据中所包含的所有物品的特征向量的组合，例如特征向量之和；φ_i(i)为推荐物品的特征向量。特征向量可以为各种适当的形式，如本领域中公知的，这里将不再详细描述。

由此，可以训练得到用于实现反事实解释的模型。

然后，可以对于得到的用于反事实解释的模型，例如代理模型进行验证和/或应用，例如产生解释。特别地，给定训练好的代理模型，用代理模型去预测删除某个历史子集对推荐产生的影响，搜索得到有最大可能性会把目标推荐对象移除的子集。

具体而言，通过对于用户u里所有可能的子集

进行如下搜索：

最终获得特定子集E，在删除该子集E的情况下最有可能在推荐结果中移除推荐目标物品i。应指出，这里的max()函数仅仅是示例性的，其还可以采用其他适当的函数，例如能够等同地实现数据筛选的min()函数等。

下面示出了根据本公开的实施例的效果。其中通过以训练代理模型(SurrogateModel)的方式在推荐系统中产生反事实解释，能够相比于诸如K近邻(KNN)，影响函数等的现有技术实现显著的改进。

表1

表1示出了在MovieLens数据集上，以推荐矩阵分解(Matrix Factorization)为推荐模型，有多少百分比产生的解释是符合反事实定义的，符合反事实定义即指的是如果真的删除后重新训练模型，能改变推荐的物品。其中，百分比越大，则表示越符合反事实定义。即删除数据子集后，在通过推荐系统产生推荐结果中，推荐物品有很大的百分比不会推荐或者在推荐列表中处于不明显的位置而不容易被注意到。K＝l，3,5表示为如果真的删除后，推荐物品会掉出前K的推荐列表的可能性，数值越大，则掉出前K的可能性越大。这样，数值越大，则说明根据本公开的实施例所实现的推荐反事实解释的准确性更高。由此可见，此发明产生的解释能比其他方法更满足反事实的定义。

本公开的一些实施例还提供一种电子设备，其可以操作以实现前述的模型预训练设备和/或模型训练设备的操作/功能。图5示出本公开的电子设备的一些实施例的框图。例如，在一些实施例中，电子设备5可以为各种类型的设备，例如可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。例如，电子设备5可以包括显示面板，以用于显示根据本公开的方案中所利用的数据和/或执行结果。例如，显示面板可以为各种形状，例如矩形面板、椭圆形面板或多边形面板等。另外，显示面板不仅可以为平面面板，也可以为曲面面板，甚至球面面板。

如图5所示，该实施例的电子设备5包括：存储器51以及耦接至该存储器51的处理器52。应当注意，图5所示的电子设备50的组件只是示例性的，而非限制性的，根据实际应用需要，该电子设备50还可以具有其他组件。处理器52可以控制电子设备5中的其它组件以执行期望的功能。

在一些实施例中，存储器51用于存储一个或多个计算机可读指令。处理器52用于运行计算机可读指令时，计算机可读指令被处理器52运行时实现根据上述任一实施例所述的方法。关于该方法的各个步骤的具体实现以及相关解释内容可以参见上述的实施例，重复之处在此不作赘述。

例如，处理器52和存储器51之间可以直接或间接地互相通信。例如，处理器52和存储器51可以通过网络进行通信。网络可以包括无线网络、有线网络、和/或无线网络和有线网络的任意组合。处理器52和存储器51之间也可以通过系统总线实现相互通信，本公开对此不作限制。

例如，处理器52可以体现为各种适当的处理器、处理装置等，诸如中央处理器(CPU)、图形处理器(Graphics Processing Unit，GPU)、网络处理器(NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。中央处理元(CPU)可以为X86或ARM架构等。例如，存储器51可以包括各种形式的计算机可读存储介质的任意组合，例如易失性存储器和/或非易失性存储器。存储器51例如可以包括系统存储器，系统存储器例如存储有操作系统、应用程序、引导装载程序(Boot Loader)、数据库以及其他程序等。在存储介质中还可以存储各种应用程序和各种数据等。

另外，根据本公开的一些实施例，根据本公开的各种操作/处理在通过软件和/或固件实现的情况下，可从存储介质或网络向具有专用硬件结构的计算机系统，例如图6所示的计算机系统600安装构成该软件的程序，该计算机系统在安装有各种程序时，能够执行各种功能，包括诸如前文所述的功能等等。图6是示出根据本公开的实施例的中可采用的计算机系统的示例结构的框图。

在图6中，中央处理单元(CPU)601根据只读存储器(ROM)602中存储的程序或从存储部分608加载到随机存取存储器(RAM)603的程序执行各种处理。在RAM 603中，也根据需要存储当CPU601执行各种处理等时所需的数据。中央处理单元仅仅是示例性的，其也可以是其它类型的处理器，诸如前文所述的各种处理器。ROM 602、RAM 603和存储部分608可以是各种形式的计算机可读存储介质，如下文所述。需要注意的是，虽然图6中分别示出了ROM602、RAM 603和存储装置608，但是它们中的一个或多个可以合并或者位于相同或不同的存储器或存储模块中。

CPU 601、ROM 602和RAM 603经由总线604彼此连接。输入/输出接口605也连接到总线604。

下述部件连接到输入/输出接口605：输入部分606，诸如触摸屏、触摸板、键盘、鼠标、图像传感器、麦克风、加速度计、陀螺仪等；输出部分607，包括显示器，比如阴极射线管(CRT)、液晶显示器(LCD)，扬声器，振动器等；存储部分608，包括硬盘，磁带等；和通信部分609，包括网络接口卡比如LAN卡、调制解调器等。通信部分609允许经由网络比如因特网执行通信处理。容易理解的是，虽然图6中示出电子设备600中的各个装置或模块是通过总线604来通信的，但它们也可以通过网络或其它方式进行通信，其中，网络可以包括无线网络、有线网络、和/或无线网络和有线网络的任意组合。

根据需要，驱动器610也连接到输入/输出接口605。可拆卸介质611比如磁盘、光盘、磁光盘、半导体存储器等等根据需要被安装在驱动器610上，使得从中读出的计算机程序根据需要被安装到存储部分608中。

在通过软件实现上述系列处理的情况下，可以从网络比如因特网或存储介质比如可拆卸介质611安装构成软件的程序。

根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行根据本公开的实施例的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置609从网络上被下载和安装，或者从存储装置608被安装，或者从ROM 602被安装。在该计算机程序被CPU 601执行时，执行本公开实施例的方法中限定的上述功能。

需要说明的是，在本公开的上下文中，计算机可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是，但不限于：电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。

上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。

在一些实施例中，还提供了一种计算机程序，包括：指令，指令当由处理器执行时使处理器执行上述任一个实施例的方法。例如，指令可以体现为计算机程序代码。

在本公开的实施例中，可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络(，包括局域网(LAN)或广域网(WAN))连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的模块、部件或单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，模块、部件或单元的名称在某种情况下并不构成对该模块、部件或单元本身的限定。

本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示例性的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。

本公开可以以这里描述的任何形式实施，包括但不限于以下列举示例实施例，其描述了本发明实施例的一些部分的结构、特征和功能。

根据本公开的一些实施例，提供了一种用于推荐的反事实解释的模型训练方法，所述方法包括：获取用于产生推荐的参考数据的删除所导致的推荐结果变化；以及基于被删除的参考数据以及相对应的推荐结果变化，来训练用于推荐的反事实解释的模型。

根据本公开的一些实施例，将所述被删除的参考数据作为输入并且将相对应的推荐结果变化作为输出，来训练用于推荐的反事实解释的模型。

根据本公开的一些实施例，参考数据的删除被执行至少一次，并且对于每次参考数据删除，获取相对应的推荐结果变化，从而构建至少一组被删除的参考数据和推荐结果变化的集合，以用于训练用于推荐的反事实解释的模型。

根据本公开的一些实施例，获取用于产生推荐的参考数据的删除所导致的推荐结果变化包括：获取基于删除之前的初始参考数据应用第一推荐模型所获得的推荐结果与基于删除之后的剩余参考数据应用第二推荐模型所获得的推荐结果之间的差别作为推荐结果变化，其中，第一推荐模型和第二推荐模型可以相同或者不同。

根据本公开的一些实施例，该方法可进一步包括：基于删除之后的剩余参考数据来进行推荐模型的训练，并且其中，获取用于产生推荐的参考数据的删除所导致的推荐结果变化包括基于训练得到的推荐模型获取由参考数据的删除所导致的推荐结果变化。

根据本公开的一些实施例，基于训练得到的推荐模型获取由参考数据的删除所导致的推荐结果变化进一步包括：获取基于删除之前的初始参考数据应用训练得到的推荐模型所获得的推荐结果与基于删除之后的剩余参考数据应用训练得到的推荐模型所获得的推荐结果之间的差别作为推荐结果变化。

根据本公开的一些实施例，所述推荐结果是基于参考数据从推荐模型得到的推荐对象序列，并且推荐结果变化与目标推荐对象在基于删除之前的参考数据得到的推荐对象序列中的排序位置与目标推荐对象在基于删除之后的参考数据得到的推荐对象序列中的排序位置之间的差异有关。

根据本公开的一些实施例，所述推荐结果变化是针对目标推荐对象应用训练得到的模型所得到的预测结果与针对特定推荐对象应用训练得到的模型所得到的预测结果之间的差异，其中所述特定推荐对象在基于删除之后的参考数据得到的推荐对象序列中的位置与基于删除之前的参考数据得到的推荐对象序列中的目标推荐对象的位置相同。

根据本公开的一些实施例，作为用于反事实解释模型训练的输入的被删除的参考数据由特征向量表示。

根据本公开的一些实施例，被删除的参考数据的包括多个参考数据，并且作为用于反事实解释模型训练的输入的被删除的参考数据由多个参考数据中的各参考数据的特征向量的组合表示。

根据本公开的一些实施例，提供了一种用于推荐的反事实解释的方法，该方法包括：获取根据本公开的任一实施例的方法训练得到的反事实解释模型，以及基于所述反事实解释模型，确定能够实现推荐结果中移除目标推荐对象的特定被删除参考数据。

根据本公开的一些实施例，确定能够实现推荐结果中移除目标推荐对象的特定被删除参考数据进一步包括：对于多个数据子集，利用所述反事实解释模型来获得每个数据子集的删除所造成的推荐影响的相关信息，并且基于所述相关信息从所述多个数据子集中选择具有最大可能性实现推荐结果中移除推荐目标对象的数据子集作为特定被删除参考数据。

根据本公开的一些实施例，一种用于推荐的反事实解释的模型训练装置，所述装置包括：获取单元，被配置为获取用于产生推荐的参考数据的删除所导致的推荐结果变化；以及训练单元，被配置为基于被删除的参考数据以及相对应的推荐结果变化，来训练用于推荐的反事实解释的模型。

根据本公开的一些实施例，一种用于推荐的反事实解释的装置，包括：获取单元，被配置为获取根据本公开的任一实施例的方法训练得到的反事实解释模型，以及确定单元，被配置为基于所述反事实解释模型，确定能够实现推荐结果中移除目标推荐对象的特定被删除参考数据。

根据本公开的又一些实施例，提供一种电子设备，包括：存储器；和耦接至所述存储器的处理器，所述存储器中存储有可执行指令，所述可执行指令当由所述处理器执行时，使得所述电子设备执行本公开中任一实施例所述的方法。

根据本公开的又一些实施例，提供一种计算机可读存储介质，其上存储有计算机程序，该程序由处理器执行时实现本公开中任一实施例所述的方法。

根据本公开的又一些实施例，提供计算机程序，包括：指令，指令当由处理器执行时使处理器执行本公开中任一实施例所述的方法。

根据本公开的一些实施例，提供一种计算机程序产品，包括指令，所述指令当由处理器执行时实现本公开中任一实施例所述的方法。

以上描述仅为本公开的一些实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

在本文提供的描述中，阐述了许多特定细节。然而，理解的是，可以在没有这些特定细节的情况下实施本发明的实施例。在其他情况下，为了不模糊该描述的理解，没有对众所周知的方法、结构和技术进行详细展示。

此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。

虽然已经通过示例对本公开的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本公开的范围。本领域的技术人员应该理解，可在不脱离本公开的范围和精神的情况下，对以上实施例进行修改。本公开的范围由所附权利要求来限定。

Claims (16)

1.一种用于推荐的反事实解释的模型训练方法，所述方法包括：

获取用于产生推荐的参考数据的删除所导致的推荐结果变化；以及

基于被删除的参考数据以及相对应的推荐结果变化，来训练用于推荐的反事实解释的模型。

2.根据权利要求1所述的方法，其中，将所述被删除的参考数据作为输入并且将相对应的推荐结果变化作为输出，来训练用于推荐的反事实解释的模型。

3.根据权利要求1或2所述的方法，其中，参考数据的删除被执行至少一次，并且对于每次参考数据删除，获取相对应的推荐结果变化，从而构建至少一组被删除的参考数据和推荐结果变化的集合，以用于训练用于推荐的反事实解释的模型。

4.根据权利要求1所述的方法，其中，获取用于产生推荐的参考数据的删除所导致的推荐结果变化包括：

获取基于删除之前的初始参考数据应用第一推荐模型所获得的推荐结果与基于删除之后的剩余参考数据应用第二推荐模型所获得的推荐结果之间的差别作为推荐结果变化，

其中，第一推荐模型和第二推荐模型可以相同或者不同。

5.根据权利要求1所述的方法，进一步包括：

基于删除之后的剩余参考数据来进行推荐模型的训练，并且

其中，获取用于产生推荐的参考数据的删除所导致的推荐结果变化包括基于训练得到的推荐模型获取由参考数据的删除所导致的推荐结果变化。

6.根据权利要求5所述的方法，其中，基于训练得到的推荐模型获取由参考数据的删除所导致的推荐结果变化进一步包括：

获取基于删除之前的初始参考数据应用训练得到的推荐模型所获得的推荐结果与基于删除之后的剩余参考数据应用训练得到的推荐模型所获得的推荐结果之间的差别作为推荐结果变化。

7.根据权利要求1-6所述的方法，其中，所述推荐结果变化是针对目标推荐对象应用训练得到的模型所得到的推荐结果与针对特定推荐对象应用训练得到的模型所得到的推荐结果之间的差异，其中所述特定推荐对象在基于删除之后的参考数据得到的推荐对象序列中的位置与基于删除之前的参考数据得到的推荐对象序列中的目标推荐对象的位置相同。

8.根据权利要求1-6中任一项所述的方法，其中，所述推荐结果是应用推荐模型所得到的针对目标推荐对象的推荐可能性，并且推荐结果变化涉及在基于删除之前的参考数据应用推荐模型所得到的目标推荐对象的推荐可能性与在基于删除之后的参考数据应用推荐模型得到的目标推荐对象的推荐可能性之间的差异。

9.根据权利要求1-8中任一项所述的方法，其中，作为用于反事实解释模型训练的输入的被删除的参考数据由特征向量表示。

10.根据权利要求9所述的方法，其中，被删除的参考数据的包括多个参考数据，并且作为用于反事实解释模型训练的输入的被删除的参考数据由多个参考数据中的各参考数据的特征向量的组合表示。

11.一种用于推荐的反事实解释的方法，包括：

获取根据权利要求1-10中任一项所述的方法训练得到的反事实解释模型，

基于所述反事实解释模型，确定能够实现推荐结果中移除目标推荐对象的特定被删除参考数据。

12.根据权利要求11所述的方法，其中，确定能够实现推荐结果中移除目标推荐对象的特定被删除参考数据进一步包括：

对于多个数据子集，利用所述反事实解释模型来获得每个数据子集的删除所造成的推荐影响的相关信息，并且

基于所述相关信息从所述多个数据子集中选择具有最大可能性实现推荐结果中移除推荐目标对象的数据子集作为特定被删除参考数据。

13.一种用于推荐的反事实解释的模型训练装置，所述装置包括：

获取单元，被配置为获取用于产生推荐的参考数据的删除所导致的推荐结果变化；以及

训练单元，被配置为基于被删除的参考数据以及相对应的推荐结果变化，来训练用于推荐的反事实解释的模型。

14.一种用于推荐的反事实解释的装置，包括：

获取单元，被配置为获取根据权利要求1-10中任一项所述的方法训练得到的反事实解释模型，

确定单元，被配置为基于所述反事实解释模型，确定能够实现推荐结果中移除目标推荐对象的特定被删除参考数据。

15.一种电子设备，包括：

存储器；和

耦接至所述存储器的处理器，所述存储器中存储有可执行指令，所述指令当由所述处理器执行时，使得所述电子设备执行根据权利要求1-10中任一项所述的方法。

16.一种计算机可读存储介质，其上存储有可执行指令，该指令由处理器执行时实现根据权利要求1-10中任一项所述的方法。

Images