CN110516060B - 用于确定问题答案的方法及问答装置 - Google Patents

Abstract

本说明书实施例提供用于确定问题答案的方法及装置。该方法由问答装置执行，该问答装置具备利用多个问答引擎进行问题答案确定的能力，多个问答引擎中的召回模型和第一评价模型分别组成召回模型层和评价模型层。在该方法中，使用召回模型层中的各个召回模型来分别获取问题的答案；将经由各个召回模型得到的答案提供给各个第一评价模型来分别进行评价，以得到各个答案的第一评价结果集，第一评价结果集包括基于各个第一评价模型得到的第一评价结果；针对各个答案，对所得到的第一评价结果集中的各个第一评价结果进行聚合处理，以得到该答案的第二评价结果；以及根据各个答案的第二评价结果进行答案评估，以确定问题的至少一个目标答案。

Description

用于确定问题答案的方法及问答装置

技术领域

本说明书的实施例涉及人工智能领域，具体地，涉及一种用于确定问题答案的方法及问答装置。

背景技术

随着人工智能技术的不断发展，具有智能问答功能的机器人客服（或聊天机器人）已经被广泛应用于各行各业。

然而，用户在与机器人客服沟通时对问题的描述往往偏于口语化或描述冗余，机器人客服往往难以准确地得出相匹配的答案。

另外，在机器人客服中加入针对新业务问题的功能模块时，往往需要对机器人客服的模型架构进行更新迭代。但是，在目前对模型架构进行更新的过程中，一般是修改机器人客服架构的业务逻辑，而不同的业务逻辑之间往往又是相互关联的，导致迭代的难度较大。

因此，如何提高机器人客服的模型架构的迭代效率，并提高答案所对应的匹配率是目前业界所亟待解决的难题。

发明内容

鉴于上述问题，本说明书的实施例提供一种用于确定问题答案的方法及装置。利用该方法及装置，可以使用问答装置所具备的多个问答引擎来协助确定问题答案，从而提高答案的准确率。

根据本说明书实施例的一个方面，提供一种用于确定问题答案的方法，所述方法由问答装置执行，所述问答装置具备利用多个问答引擎进行问题答案确定的能力，所述多个问答引擎中的召回模型和评价模型分别组成召回模型层和评价模型层，所述召回模型层包括至少一个召回模型，所述评价模型层包括至少两个评价模型，所述方法包括：使用所述问答引擎层中的各个召回模型来分别获取问题的答案；将经由所述各个召回模型得到的答案提供给所述评价模型层中的各个评价模型来对各个答案分别进行评价，以得到各个答案的第一评价结果集，所述第一评价结果集包括基于各个评价模型得到的第一评价结果；针对各个答案，按照相同的级联策略来级联所得到的第一评价结果集中的各个第一评价结果，以得到该答案的第二评价结果；以及将各个答案的第二评价结果提供给第二评价模型来进行答案评估；以及根据各个答案的答案评估结果，确定所述问题的至少一个目标答案。

可选地，在上述方面的一个示例中，所述方法还可以包括：对经由所述各个召回模型得到的答案进行合并，以得到所述问题的答案集，其中，将经由所述各个召回模型得到的答案提供给所述评价模型层中的各个评价模型来对各个答案分别进行评价可以包括：将所述问题的答案集提供给所述评价模型层中的各个评价模型来对各个答案分别进行评价。

可选地，在上述方面的一个示例中，各个问答引擎中的召回模型和/或评价模型可以是使用相同或不同的训练样本集训练出的。

可选地，在上述方面的一个示例中，所述问答装置可以包括所述多个问答引擎。

可选地，在上述方面的一个示例中，所述问答装置可以包括多个模型接口集，每个模型接口集包括召回模型接口和/或评价模型接口，所述多个问答引擎中的每个问答引擎经由对应的模型接口集与所述问答装置耦接，使用所述召回模型层中的各个召回模型来分别获取问题的答案可以包括：使用各个召回模型接口来接入对应的召回模型，以获取问题的答案，以及将经由各个召回模型得到的答案提供给所述评价模型层中的各个评价模型来对各个答案分别进行评价，以得到各个答案的第一评价结果集可以包括：将经由各个召回模型得到的答案，经由各个评价模型接口接入对应的评价模型来对各个答案分别进行评价，以得到各个答案的第一评价结果集。

可选地，在上述方面的一个示例中，所述方法还可以包括：基于各个目标答案的答案评估结果，确定所述目标答案的展示模式。

可选地，在上述方面的一个示例中，所述第二评价模型可以包括XGBoost模型或者LambdaMart模型。

可选地，在上述方面的一个示例中，所述方法还可以包括：确定所述问答装置针对排序第一的目标答案的第一归一化折损累计增益，以作为所述问答装置的装置效能因子。

可选地，在上述方面的一个示例中，所述方法还可以包括；针对所述问答装置中的各个问答引擎，使用如上所述的方法来基于缩减问答引擎集确定针对所述问题的目标答案，所述缩减问答引擎集包括从所述多个问答引擎中去除该问答引擎而得到的问答引擎集合，确定所述问答装置针对在所述缩减问答引擎集下确定出的排序第一的目标答案的第二归一化折损累计增益；基于所述第一归一化折损累计增益和所述第二归一化折损累计增益，确定该问答引擎的引擎效能因子。

可选地，在上述方面的一个示例中，所述方法还可以包括：从所述多个问答引擎中去除引擎效能因子低于预定阈值的问答引擎。

可选地，在上述方面的一个示例中，所述方法还可以包括：统计各个评价模型的各个评价特征在所述排序模型中的调用次数；根据所统计的调用次数，确定所述各个评价特征的特征权重。

可选地，在上述方面的一个示例中，所述方法还可以包括：基于所确定的各个评价模型的各个评价特征的特征权重，对所述各个评价模型进行特征优化。

根据本说明书的实施例的另一方面，提供了一种用于确定问题答案的问答装置，所述问答装置具备利用多个问答引擎进行问题答案确定的能力，所述多个问答引擎中的召回模型和评价模型分别组成召回模型层和评价模型层，所述召回模型层包括至少一个召回模型，所述评价模型层包括至少两个评价模型，所述问答装置包括：答案获取单元，使用所述召回模型层中的各个召回模型来分别获取问题的答案；答案评价单元，将经由所述各个召回模型得到的答案提供给所述评价模型层中的各个评价模型来对各个答案分别进行评价，以得到各个答案的第一评价结果集，所述第一评价结果集包括基于各个评价模型得到的第一评价结果；评价结果聚合单元，针对各个答案，按照相同的级联策略来级联所得到的第一评价结果集中的各个第一评价结果，以得到该答案的第二评价结果；以及目标答案确定单元，根据各个答案的第二评价结果进行答案评估，以确定所述问题的至少一个目标答案，所述目标答案确定单元可以包括：答案评估模块，将各个答案的第二评价结果提供给第二评价模型来进行答案评估；以及目标答案确定模块，根据各个答案的答案评估结果，确定所述问题的至少一个目标答案。

可选地，在上述方面的一个示例中，所述问答装置还可以包括：答案合并单元，对经由所述各个召回模型得到的答案进行合并，以得到所述问题的答案集，其中，所述答案评价单元将所述问题的答案集提供给所述评价模型层中的各个评价模型来对各个答案分别进行评价。

可选地，在上述方面的一个示例中，所述问答装置可以包括所述多个问答引擎。

可选地，在上述方面的一个示例中，所述问答装置可以包括多个模型接口集，每个模型接口集包括召回模型接口和/或评价模型接口，所述多个问答引擎中的每个问答引擎经由对应的模型接口集与所述问答装置耦接，所述答案获取单元使用各个召回模型接口来接入对应的召回模型，以获取问题的答案，以及所述答案评价单元将经由各个召回模型得到的答案，经由各个评价模型接口接入对应的评价模型来对各个答案分别进行评价，以得到各个答案的第一评价结果集。

可选地，在上述方面的一个示例中，所述问答装置还可以包括：装置效能因子确定单元，确定所述问答装置针对排序第一的目标答案的第一归一化折损累计增益，以作为所述问答装置的装置效能因子。

可选地，在上述方面的一个示例中，所述问答装置还可以包括；引擎效能因子确定单元，针对所述问答装置中的各个问答引擎，基于所述第一归一化折损累计增益和与该问答引擎对应的第二归一化折损累计增益，确定该问答引擎的引擎效能因子，其中，所述第二归一化折损累计增益是利用如上所述的问答装置基于缩减问答引擎集而得到的问题的目标答案确定出的，所述缩减问答引擎集包括从所述多个问答引擎中去除该问答引擎而得到的问答引擎集合。

可选地，在上述方面的一个示例中，所述问答装置还可以包括：引擎优化单元，从所述多个问答引擎中去除引擎效能因子低于预定阈值的问答引擎。

可选地，在上述方面的一个示例中，所述问答装置还可以包括：统计单元，统计各个评价模型的各个评价特征在所述排序模型中的调用次数；特征权重确定单元，根据所统计的调用次数，确定所述各个评价特征的特征权重。

可选地，在上述方面的一个示例中，所述问答装置还可以包括：特征优化单元，基于所确定的各个评价模型的各个评价特征的特征权重，对所述各个评价模型进行特征优化。

根据本说明书的实施例的另一方面，提供一种计算设备，包括：至少一个处理器；以及存储器，所述存储器存储指令，当所述指令被所述至少一个处理器执行时，使得所述至少一个处理器执行如上所述的用于确定问题答案的方法。

根据本说明书实施例的另一方面，提供一种机器可读存储介质，其存储有可执行指令，所述指令当被执行时使得所述机器执行如上所述的用于确定问题答案的方法。

附图说明

通过参照下面的附图，可以实现对于本说明书实施例的内容的本质和优点的进一步理解。在附图中，类似组件或特征可以具有相同的附图标记。附图是用来提供对本说明书的实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本说明书的实施例，但并不构成对本说明书的实施例的限制。在附图中：

图1示出了根据本说明书的实施例的用于确定问题答案的系统的架构示意图；

图2示出了根据本说明书的实施例的用于确定问题答案的方法的流程图；

图3示出了根据本说明书的实施例的第二评价结果的示例示意图；

图4示出了根据本说明书的实施例的用于根据第二评价结果确定目标答案的过程的流程图；

图5示出了根据本说明书的实施例的用于确定问题答案的一个示例过程的示意图；

图6示出了根据本说明书的实施例的用于问答装置性能评估和优化的方法的流程图；

图7示出了根据本说明书的实施例的用于确定问题答案的问答装置的一个示例的方框图；

图8示出了根据本说明书的实施例的目标答案确定单元的一个示例的方框图；

图9示出了根据本说明书的实施例的用于确定问题答案的问答装置的另一示例的方框图；和

图10示出了根据本说明书的实施例的用于确定问题答案的计算设备的硬件结构图。

具体实施方式

以下将参考示例实施方式讨论本文描述的主题。应该理解，讨论这些实施方式只是为了使得本领域技术人员能够更好地理解从而实现本文描述的主题，并非是对权利要求书中所阐述的保护范围、适用性或者示例的限制。可以在不脱离本说明书内容的保护范围的情况下，对所讨论的元素的功能和排列进行改变。各个示例可以根据需要，省略、替代或者添加各种过程或组件。另外，相对一些示例所描述的特征在其它例子中也可以进行组合。

如本文中使用的，术语“包括”及其变型表示开放的术语，含义是“包括但不限于”。术语“基于”表示“至少部分地基于”。术语“一个实施例”和“一实施例”表示“至少一个实施例”。术语“另一个实施例”表示“至少一个其他实施例”。术语“第一”、“第二”等可以指代不同的或相同的对象。下面可以包括其他的定义，无论是明确的还是隐含的。除非上下文中明确地指明，否则一个术语的定义在整个说明书中是一致的。

在本文中，术语“至少一个”可以表示一个或多个（两个及两个以上）。术语“问答引擎”可以表示用于基于特定策略来从知识库中确定出针对问题的合适答案的至少一个算法模型或算法模型结构。在本说明书中，问答引擎可以包括召回模型和/或评价模型。召回模型可以用于基于知识库来召回问题的候选答案集。评价模型可以用于对所得到的候选答案集进行评价。在一个示例中，问答引擎可以包括召回模型和评价模型两者。在其它示例中，问答引擎也可以仅仅包括召回模型或评价模型。

现在结合附图来描述本说明书实施例的用于确定问题答案的方法及装置。

图1示出了根据本说明书的实施例的用于确定问题答案的系统（下文中也称为问答系统）的架构示意图。

如图1所示，问答系统100包括服务端112、终端102、终端104和终端106。其中，终端102、终端104和终端106可以是诸如台式机、笔记本电脑和手机之类的终端设备。并且，终端设备与服务端112之间可以是通过网络110进行通信互联。在一些应用场景下，终端设备上可以安装有由服务端112所运营的应用程序（例如聊天机器人软件、具有机器人客服功能的软件等）。进而，在用户登录应用程序的账号之后，就能够与服务端112进行交互操作，以由服务端112为用户提供相应的服务（例如智能问答服务）。在本说明书的实施例中，服务端112可以是具有问答服务能力的设备。例如，服务端112包括问答装置114。这里，问答装置114也可以称为问答平台。服务端112可以从各个终端设备获得问题，并通过问答装置114来确定针对该问题的目标答案。这里，问答装置114具备利用多个问答引擎来进行问题答案确定的能力，即，能够基于多个问答引擎来确定问题的目标答案。在本说明书实施例的一个示例中，多个问答引擎可以设置在服务端112的外部，由此问答装置114通过远程访问的方式来使用位于服务端112外部的多个问答引擎来确定问题的目标答案。在本说明书实施例的另一示例中，多个问答引擎可以设置在服务端112的内部但位于问答装置114之外，由此问答装置114可以通过本地调用的方式来使用该多个问答引擎。在本说明书实施例的又一示例中，多个问答引擎可以设置在问答装置114中。

需说明的是，在本说明书的实施例中，每个问答引擎可以是与其它问答引擎不同的问答引擎。例如，各个问答引擎中的召回模型的知识库可以不同，从而使得召回模型不同。或者，各个问答引擎中的第一评价模型所使用的评价特征可以不同。在这种情况下，多个问答引擎可以使用相同或不同的训练样本集来训练出。或者，在本说明书实施例的另一示例中，各个问答引擎中的召回模型的知识库可以相同，和/或各个问答引擎中的第一评价模型的评价特征可以相同。在这种情况下，各个问答引擎是使用不同的训练样本集训练出的，从而导致各个问答引擎中的召回模型和/或第一评价模型的模型参数不同，由此导致各个问答引擎是不同的问答引擎。

在本说明书的实施例中，第一评价模型可以具有一个或多个评价特征维度。例如，针对问答系统的第一评价模型，所述评价特征维度比如可以包括准确性、全面性、权威性等。针对每个评价特征维度，评价模型会输出一个评价结果，例如，评价得分。由此，在包括多个评价特征维度的评价模型中，针对每个答案，会输出多个评价得分。如图3所示，第一评价模型具有4个评价特征维度，从而针对答案A，问答装置中的3个问答引擎中的各个第一评价模型给出各自的第一评价结果，其中，每个第一评价模型的第一评价结果可以包括基于4个评价特征得到的4个评价得分。

此外，在本说明书的实施例中，各个问答引擎的召回模型可以组成召回模型层，所述召回模型层至少包括一个召回模型。各个问答引擎的评价模型组成评价模型层，所述评价模型层至少包括两个评价模型。在一个示例中，召回模型层中包括的召回模型的数目可以与评价模型层中包括的评价模型的数目相同。在另一示例中，召回模型层中包括的召回模型的数目可以与评价模型层中包括的评价模型的数目不同。在图5所示的示例中，召回模型层中的召回模型的数目为n个，以及评价模型层中的评价模型的数目为m个。

图2示出了根据本说明书的实施例的用于确定问题答案的方法200的流程图，该方法由服务端处112的问答装置114执行。

如图2所示，在接收到问题后，例如，用户将问题提供给问答装置114后，在块210中，使用召回模型层中的各个召回模型来分别获取问题的答案。例如，在将问题提供给召回模型层中的各个召回模型后，各个召回模型可以基于各自的知识库（例如，相同或不同的知识库）来召回针对问题的答案。这里，每个召回模型所召回的答案可以包括一个或多个答案。

接着，在块220，将经由各个召回模型得到的答案提供给评价模型层中的各个第一评价模型来对各个答案分别进行评价，以得到各个答案的第一评价结果集，所述第一评价结果集包括基于各个评价模型得到的第一评价结果。例如，在各个评价模型接收到经由各个召回模型得到的所有答案，使用各自的评价策略（例如，相同或不同的评价特征集）来对各个答案进行评价，由此针对各个答案，分别得出各自的第一评价结果（例如，评价得分），由此得到该答案的第一评价结果集。这里，第一评价结果例如可以包括一个或多个维度评价结果（例如，维度评价得分），每个维度评价结果对应于评价模型的评价特征集中的一个评价特征。

图3示出了根据本说明书的实施例的第二评价结果的示例示意图。具体地，图3中示出了问答装置包括三个问答引擎，问答引擎1、问答引擎2和问题引擎3，其中，问答引擎1包括第一评价模型1，问答引擎2包括第一评价模型2，以及问答引擎3包括第一评价模型3。针对每个答案，第一评价模型1和第一评价模型2采用评价特征1、评价特征2、评价特征3和评价特征4进行答案评价，以及第一评价模型3采用评价特征1、评价特征2、评价特征5和评价特征6进行答案评价。

从上可以看出，根据本说明书实施例的问答装置所包括的多个问答引擎中的第一评价模型的评价特征类型可以完全相同（例如，第一评价模型1和第一评价模型2），也可以部分相同（例如，第一评价模型1和第一评价模型3）。此外，各个第一评价模型中所包含的评价特征个数也可以相同或者不同。

此外，要说明的是，即使在各个问答引擎的第一评价模型的评价特征个数和评价特征类型都相同的情况下，由于训练问答引擎时所使用的训练数据不同所导致的模型参数不同，针对同一答案，各个问答引擎的第一评价模型输出的第一评价结果也不相同。

按照上述方式，如图3所示，针对答案A的第一评价结果集可以包括分别利用第一评价模型1到3得到的第一评价结果，每个第一评价结果包括与4个评价特征对应的评价得分。另外，针对第一评价模型1和2，即使所使用的评价特征个数和类型完全相同，针对答案A得到的第一评价结果也可能不同。

在本说明书实施例的一个示例中，问答装置114可以包括多个问答引擎，由此，可以将经由各个召回模型得到的答案直接提供给各个问答引擎中的评价模型来对各个答案分别进行评价，以得到各个答案的第一评价结果集。

在本说明书实施例的另一示例中，多个问答引擎设置在问答装置114的外部。相应地，问答装置114可以包括多个模型接口集。每个模型接口集包括召回模型接口和/或评价模型接口，并且每个模型接口集对应于一个问答引擎。由此，多个问答引擎可以通过对应的模型接口集耦合到问答装置114。在这种情况下，每个问答引擎可以作为一个组件，采用可插拔的方式耦接到问答装置114。例如，每个问答引擎可以通过json配置耦接到问答装置114中。

例如，可以如下定义问答引擎LongEngine：

“LongEngine”：{

“AppName”：“SemanticParsing”，

“urlOnline”：http://zark.sh.global.alipay.com/EV_Smart_Service/robot/semantic_match,

“urlOffline”：http://10.210.176.114:12892/EV_Smart_Service/robot/semantic_match

}

UrlOnline和UrlOffline分别为在线环境和离线环境的Url调用。这里，可以采用http调用的方式接入问答装置114，也可以采用java组件的方式接入问答装置114。然后，定义问答引擎LongEngine的评价模型接口的输出特征：

“LongEngine”：{

“le_finalScore”:0，

“le_finalScore”:1，

“le_finalScore”:2，

……

}

这里，列举了问答引擎LongEngine的评价模型可以输出三个评价得分。在本说明书实施例的其它示例中，评价模型可以根据各自的评价维度集的大小，具有更多或更少的评价得分。

此外，在一些实施方式中，当经由各个召回模型所得到的答案中存在重复答案时，在各个评价模型接收到各个召回模型提供的答案后，还可以进行答案去重处理。示例性地，第一召回模型输出的答案为{A, B, C}，第二召回模型输出的答案为{A, D, E}，以及第三召回模型输出的答案子集为{C, F}，则在各个评价模型接收到上述答案后，对所得到的答案进行去重处理，由此得到答案{A, B, C, D, E, F}。

此外，可选地，在本说明书实施例的一个示例中，在块220的操作之前，所述方法还可以包括：对经由各个召回模型得到的答案进行合并，以得到问题的答案集。例如，各个召回模型可以将各自得到的答案发送至答案合并单元进行合并处理（例如，去重合并处理），从而确定出该问题的答案集。

然后，在块230中，针对各个答案，对所得到的第一评价结果集中的各个第一评价结果进行聚合处理，以得到该答案的第二评价结果。在本说明书的一个示例中，各个答案的第二评价结果可以包括该答案的所有第一评价结果，如图3所示。具体地，在对各个第一评价结果进行聚合处理时，即使多个第一评价模型采用完全相同或部分相同的评价特征给出评价结果，在聚合后的第二评价结果中也会包括各个第一评价模型基于各个评价特征给出的评价得分。例如，第一评价模型1和2都会基于相同的评价特征1-4给出各自的第一评价结果，在聚合后的第二评价结果中不仅会包括第一评价模型1的第一评价结果（即，基于评价特征1-4得到的4个评价得分），而且会包括第一评价模型2 的第一评价结果（即，基于评价特征1-4得到的4个评价得分）。此外，第一评价模型3基于评价特征1和2给出的评价得分也会包括在聚合后的第二评价结果中。

在一个示例中，针对各个答案，对所得到的第一评价结果集中的各个第一评价结果进行聚合处理，以得到该答案的第二评价结果可以包括：针对各个答案，可以按照相同的级联策略来级联所得到的第一评价结果集中的各个第一评价结果，以得到该答案的第二评价结果。例如，级联策略可以是级联顺序，即，将各个评价模型针对单个答案得到的各个第一评价结果级联在一起的顺序。例如，将评价模型1到评价模型n的第一评价结果顺序级联。此外，级联顺序还包括各个评价模型中的维度评价结果的连接顺序。相同的级联顺序是指各个第一评价结果之间的连接顺序相同，并且各个第一评价结果中的维度评价结果的连接顺序也相同。

图3示出了根据本说明书的实施例的第二评价结果的示例示意图。在图3所示的第二评价结果中，各个第一评价结果之间的连接顺序是第一评价模型1 第一评价模型2第一评价模型3。并且，各个第一评价结果中的维度评价结果的连接顺序也是按照图3中示出的评价特征连接顺序来连接的。例如，答案A的第二评价结果可以聚合为评分向量{0.71,0.62,0.81,0.55,0.66,0.58,0.79,0.51,0.69,0.57,0.31,0.45}，这里，{0.71,0.62,0.81,0.55}是第一评价模型1基于评价特征1-4的评价结果，{0.66,0.58,0.79,0.51}是第一评价模型2基于评价特征1-4的评价结果，以及{0.69,0.57,0.31,0.45}是第一评价模型3基于评价特征1-2和评价特征5-6的评价结果。

在得到各个答案的第二评价结果后，在块240，根据各个答案的第二评价结果进行答案评估，以确定所述问题的至少一个目标答案。

图4示出了根据本说明书的实施例的用于根据第二评价结果确定目标答案的过程的流程图。

如图4所示，在得到各个答案的第二评价结果后，在块241，将各个答案的第二评价结果提供给第二评价模型来进行答案评估。在本说明书的实施例中，所述第二评价模型例如可以包括XGBoost模型或者LambdaMart模型。例如，可以将图3中示出的各个答案的第二评价结果作为第二评价模型的特征向量提供给第二评价模型来进行答案评估，即，每个答案的第二评价结果被作为第二评价模型的一个特征向量提供给第二评价模型。然后，第二评价模型针对每个答案给出答案评估结果，比如，评估得分。

然后，在块243，根据各个答案的答案评估结果（比如，答案得分），确定所述问题的至少一个目标答案。例如，可以将答案评估结果（答案评分）排序在前的预定数目个答案，确定为所述问题的目标答案。这里，目标答案的数量可以是取决于应用业务场景的需求。示例性地，在需求向用户仅反馈针对问题的一个答案的应用业务场景下，所述预定数目为一个。另外，在应用业务场景需求向用户反馈针对问题的n个答案时，所述预定数目为n。

此外，在本说明书实施例的其它示例中，所述方法还可以包括：基于各个目标答案的答案评估结果，确定所述目标答案的展示模式。例如，可以将各个目标答案的答案评估结果与预定匹配度阈值进行比较，然后根据比较结果确定目标答案的展示模型。具体地，假设存在第一匹配度阈值和第二匹配度阈值，第一匹配度阈值大于第二匹配度阈值，如果目标答案的答案评估结果（例如，答案得分）大于第一匹配度阈值，则将目标答案提供给用户。如果目标答案的答案评估结果不大于第一匹配度阈值但大于第二匹配度阈值，则将该目标答案以列表的方式（例如，与其它类似情形的目标答案一起）提供给用户，以供用户选择。如果目标答案的答案评估结果不大于第二匹配度阈值，则不向用户提供该目标答案。

在根据本说明书实施例的问题答案确定方法中，问答装置具备多问答引擎能力，每个问答引擎具有召回模型和/或评价模型，并且多个问答引擎的召回模型和评价模型分别组成召回模型层和评价模型层，所述召回模型层包括至少一个召回模型，以及所述评价模型层包括至少两个评价模型层。在利用问答装置进行问答确定时，基于问答装置中的召回模型层来得到问答的多个答案，随后基于评价模型层中具有的至少两个评价模型来对每个答案进行评价，并且针对每个答案，对各个评价模型输出的第一评价结果进行聚合以得到该答案的第二评价结果，然后根据各个答案的第二评价结果进行答案评估，由此确定问题的目标答案。按照这种方式，首先利用各个问答引擎给出问题的候选答案的评价结果，然后对各个问答引擎针对各个候选答案的评价结果进行融合（聚合），并且基于融合后的评价结果来进行答案评估，给出问答的目标答案，由此可以使用问答装置所具备的多个问答引擎来协助确定问题答案，从而可以融合各个问答引擎的优势并且消除各个问答引擎的劣势，进而提高问题答案的准确率。

此外，利用上述方法，通过将问答引擎实现为位于问答装置外部的组件，并通过模型接口集来接入问答装置，从而使得能够在由于业务更新或业务复杂的情况下需要引入新的问答引擎（算法模型）时，可以创建对应的问答引擎，并且通过对应的模型接口集来接入问答装置，由此使得问答装置的算法模型更新迭代和扩展更加简便。

图5示出了根据本说明书的实施例的用于确定问题答案的一个示例过程的示意图。

如图5所示，在接收到问题后，将问题分别提供给召回模型层中的召回模型1 510-1到召回模型n 510-n。在各个召回模型处，基于各自的知识库来得到该问题的答案，比如，答案1到答案n。然后，在答案合并单元（模块）520处，对各个召回模型得出的答案进行合并处理（例如，汇总和去重处理），以得到答案集。

然后，将所得到的答案分别提供给评价模型层中的评价模型1 530-1到评价模型m530-m。在各个评价模型处，使用各自的评价策略（评价特征集）来进行评价，以得到第一评价结果1到第一评价结果m。

然后，在级联单元540处，对第一评价结果1到第一评价结果m进行级联，以得到第二评价结果。然后，将第二评价结果提供给第二评价模型（XGBoost模型）550来进行答案评估，然后根据各个答案的答案评估结果得出至少一个目标答案。

此外，在本说明书的实施例中，还可以对问答装置114进行性能评估和模型优化。图6示出了根据本说明书的实施例的用于问答装置性能评估和优化的方法的流程图。

如图6所示，在块610，确定问答装置的装置效能因子。在本说明书的实施例中，选用NDCG（Normalized Discounted cumulative gain, 归一化折损累计增益）来衡量装置效能因子。这里，通过选用NDCG，能够评价检索结果（即目标答案）相对于最理想的结果（即期望答案）的关联程度，以及检索结果中排名越靠前的结果越能影响最后的增益结果。

在一些应用业务场景中，需要向用户反馈与问题最相关的一个答案。在这种情况下，可以向用户推荐答案集下中的得分最高的答案，而得分靠后的答案不被考虑。由此，问答装置的装置效能因子可以采用NDCG@1指标来衡量。在本说明书的实施例中，NDCG@1可以是问答装置针对答案评估结果排序第一的目标答案的归一化折损累计增益。如何计算NDCG@1指标，可以采用本领域中的任何合适的方式来实现。

在本说明书实施例的一个示例中，还提供了用于衡量每个问答引擎的引擎效能因子的方案，以使得能够各个问答引擎进行效能评估。相应地，在块620，确定问答装置的各个问答引擎的引擎效能因子。

具体地，针对问答装置中的各个问答引擎，确定对应的缩减问答引擎集，该缩减问答引擎集包括从多个问答引擎中去除该问答引擎而得到的问答引擎集合。例如，假设问答因所使用的多个问答引擎包括问答引擎1到5，则针对问答引擎，对应的缩减问答引擎集包括问答引擎2到5。

接着，使用如图2中所述的用于确定问题的答案的方法，基于缩减问答引擎集确定针对所述问题的目标答案。然后，确定针对在缩减问答引擎集下确定出的答案评估结果排序第一的目标答案的第二归一化折损累计增益。

在确定出第一和第二归一化折损累计增益后，基于第一归一化折损累计增益和第二归一化折损累计增益，确定该问答引擎的引擎效能因子。例如，可以采用下述公式来计算引擎效能因子：

ΔG _i = G _M - G _M-i

其中，ΔG _i 表示第i个问答引擎的引擎效能因子，G _M 表示第一归一化折损累计增益，以及G _M-i 表示与该问答引擎对应的第二归一化折损累计增益。

在本说明书的实施例中，通过ΔG _i 还可以清楚地考量出该问答引擎在接入问答装置（问答平台）后为问答平台整体上带来的效能变化，例如，如果问答引擎E的ΔG _i 为负值，则该问答引擎接入问答平台后，问答平台的性能降低，由此不建议接入问答引擎E。如果问答引擎E的ΔG _i 为0，则说明问答平台中已经存在类似的问答引擎，由此不建议接入问答引擎E。此外，如果问答引擎E的ΔG _i 小于预定阈值，则说明该问答引擎E加入问答平台后并没有带来期望的效果，由此不建议接入问答引擎E。

由此，可以利用各个问答引擎的引擎效能因子来对问答装置的问答引擎架构进行优化。相应地，在块630，从问答装置的多个问答引擎中去除引擎效能因子低于预定阈值的问答引擎。

此外，在一些实施方式中，还可以评估各个问答引擎的评价模型的特征评价维度被第二评价模型（例如，XGBoost模型）的利用率，从而衡量各个特征评价维度对目标答案所产生的影响和效果。

相应地，在块640，确定各个问答引擎的第一评价模型的各个评价特征的特征权重。具体地，统计各个问答引擎的第一评价模型的各个评价特征在所述第二评价模型中的调用次数。然后，根据所统计的调用次数，确定各个第一评价模型的各个评价特征的特征权重。

此外，还可以基于所确定的各个第一评价模型的各个评价特征的特征权重，对各个第一评价模型进行特征优化。相应地，在块650，基于所确定的各个第一评价模型的各个评价特征的特征权重，对各个第一评价模型进行特征优化。

示例性地，可以将问答引擎的第一评价模型的各个评价特征的特征权重推送给对应的引擎开发者，以便于引擎开发者对其问答引擎中的第一评价模型表现不佳的或调用次数较少的特征评价维度进行优化。

例如，可以基于装置效能因子、引擎效能因子和特征权重来生成对应的榜单，以显示给各个检索引擎拥有者。由此，基于榜单机制，衡量每个问答引擎和每个评价特征对问答装置的效能贡献度，由此针对问答装置的问答引擎架构进行引擎和特征优化。

图7示出了根据本说明书的实施例的用于确定问题答案的问答装置700的一个示例的方框图。

如图7所示，问答装置700包括答案获取单元710、答案合并单元720、答案评价单元730、评价结果合并单元740、目标答案确定单元750和多个问答引擎760。每个问答引擎760可以包括召回模型和/或第一评价模型。所述多个问答引擎中的召回模型和第一评价模型分别组成召回模型层和评价模型层，所述召回模型层包括至少一个召回模型，所述评价模型层包括至少两个第一评价模型。

答案获取单元710被配置为使用问答引擎层中的各个召回模型来分别获取问题的答案。答案获取单元710的操作可以参照上面参考图2描述的块210的操作。

答案合并单元720被配置为对经由各个召回模型得到的答案进行合并，以得到问题的答案集。

答案评价单元730被配置为将所得到的答案集提供给评价模型层中的各个第一评价模型来对各个答案分别进行评价，以得到各个答案的第一评价结果集，所述第一评价结果集包括基于各个第一评价模型得到的第一评价结果。答案评价单元730的操作可以参照上面参考图2描述的块220的操作。

评价结果聚合单元740被配置为针对各个答案，对所得到的第一评价结果集中的各个第一评价结果进行聚合处理，以得到该答案的第二评价结果。例如，评价结果聚合单元740被配置为针对各个答案，按照相同的级联策略来级联所得到的第一评价结果集中的各个第一评价结果，以得到该答案的第二评价结果。此外，在一个示例中，各个答案的第二评价结果包括该答案的所有第一评价结果。评价结果聚合单元740的操作可以参照上面参考图2描述的块230的操作。

目标答案确定单元750被配置为根据各个答案的第二评价结果进行答案评估，以确定所述问题的至少一个目标答案。目标答案确定单元750的操作可以参照上面参考图2描述的块240的操作。

图8示出了根据本说明书的实施例的目标答案确定单元750的一个示例的方框图。如图8所示，目标答案确定单元750包括答案评估模块751和目标答案确定模块753。

答案评估模块751被配置为将各个答案的第二评价结果提供给第二评价模型来进行答案评估。目标答案确定模块753被配置为根据各个答案的答案评估结果，确定所述问题的至少一个目标答案。

在本说明书实施例的另一示例中，问答装置700可以不包括答案合并单元720。由此，答案评价单元730被配置为将经由各个召回模型得到的答案提供给各个问答引擎760中的第一评价模型来对各个答案分别进行评价。

此外，在本说明书实施例的另一示例中，问答装置700还可以包括装置效能因子确定单元（未示出）。装置效能因子确定单元被配置为确定问答装置针对答案评估结果排序第一的目标答案的第一归一化折损累计增益，以作为问答装置的装置效能因子。装置效能因子确定单元的操作可以参考上面参照图6描述的块610的操作。

此外，在本说明书实施例的另一示例中，问答装置700还可以包括引擎效能因子确定单元（未示出）。引擎效能因子确定单元被配置为针对问答装置中的各个问答引擎，基于第一归一化折损累计增益和与该问答引擎对应的第二归一化折损累计增益，确定该问答引擎的引擎效能因子，其中，第二归一化折损累计增益是利用基于缩减问答引擎集使用如上所述的问题答案确定方法得到的问题的目标答案确定出的，所述缩减问答引擎集包括从多个问答引擎中去除该问答引擎而得到的问答引擎集合。引擎效能因子确定单元的操作可以参考上面参照图6描述的块620的操作。

此外，在本说明书实施例的另一示例中，问答装置700还可以包括引擎优化单元（未示出）。引擎优化单元被配置为从多个问答引擎中去除引擎效能因子低于预定阈值的问答引擎。引擎优化单元的操作可以参考上面参照图6描述的块630的操作。

此外，在本说明书实施例的另一示例中，问答装置700还可以包括统计单元（未示出）和特征权重确定单元（未示出）。统计单元被配置为统计各个第一评价模型的各个评价特征在第二评价模型中的调用次数。特征权重确定单元被配置为根据所统计的调用次数，确定各个第一评价模型的各个评价特征的特征权重。统计单元和特征权重确定单元的操作可以参考上面参照图6描述的块640的操作。

此外，在本说明书实施例的另一示例中，问答装置700还可以包括特征优化单元（未示出）。特征优化单元被配置为基于所确定的各个第一评价模型的各个评价特征的特征权重，对各个第一评价模型进行特征优化。特征优化单元的操作可以参考上面参照图6描述的块650的操作。

图9示出了根据本说明书的实施例的问答装置900的方框图。问答装置900是针对图7中示出的问答装置700的修改例。

如图9所示，问答装置900包括答案获取单元910、答案合并单元920、答案评价单元930、评价结果聚合单元940、目标答案确定单元950和多个模型接口集960。答案获取单元910、答案合并单元920、答案评价单元930、评价结果聚合单元940、目标答案确定单元950与答案获取单元710、答案合并单元720、答案评价单元730、评价结果聚合单元740、目标答案确定单元750的结构和操作相同，在此不再描述。

每个模型接口集960可以包括召回模型接口和/或评价模型接口，并且每个模型接口集对应于一个问答引擎。由此，多个问答引擎可以通过对应的模型接口集耦合到问答装置900，以供问答装置900使用来进行问题答案确定。这里，取决于所对应的问答引擎是包含召回模型和第一评价模型两者还是包含召回模型或评价模型，模型接口集960可以包括召回模型接口和评价模型接口两者，或者包括召回模型接口或评价模型接口。

如上参照图1到图9，对根据本说明书实施例的用于确定问题答案的方法及装置进行了描述。在以上对方法实施例的描述中所提及的细节，同样适用于本说明书实施例的问答装置。上面的问答装置可以采用硬件实现，也可以采用软件或者硬件和软件的组合来实现。

图10示出了根据本说明书的实施例的用于确定问题答案的计算设备1000的硬件结构图。如图10所示，计算设备1000可以包括至少一个处理器1010、存储器（例如非易失性存储器）1020、内存1030和通信接口1040，并且至少一个处理器1010、存储器1020、内存1030和通信接口1040经由总线1060连接在一起。至少一个处理器1010执行在存储器中存储或编码的至少一个计算机可读指令。

在一个实施例中，在存储器中存储计算机可执行指令，其当执行时使得至少一个处理器1010：使用召回模型层中的各个召回模型来分别获取问题的答案；将经由各个召回模型得到的答案提供给评价模型层中的各个第一评价模型来对各个答案分别进行评价，以得到各个答案的第一评价结果集，第一评价结果集包括基于各个第一评价模型得到的第一评价结果；针对各个答案，按照相同的级联策略来级联所得到的第一评价结果集中的各个第一评价结果，以得到该答案的第二评价结果；以及将各个答案的第二评价结果提供给第二评价模型来进行答案评估，并且根据各个答案的答案评估结果，确定问题的至少一个目标答案。

应该理解，在存储器1020中存储的计算机可执行指令当执行时使得至少一个处理器1010进行本说明书的各个实施例中以上结合图1-9描述的各种操作和功能。

在本说明书的实施例中，计算设备1000可以包括但不限于：个人计算机、服务器计算机、工作站、桌面型计算机、膝上型计算机、笔记本计算机、移动计算设备、智能电话、平板计算机、蜂窝电话、个人数字助理（PDA）、手持装置、消息收发设备、可佩戴计算设备、消费电子设备等等。

根据一个实施例，提供了一种比如机器可读介质的程序产品。机器可读介质可以具有指令（即，上述以软件形式实现的元素），该指令当被机器执行时，使得机器执行本说明书的各个实施例中以上结合图1-9描述的各种操作和功能。具体地，可以提供配有可读存储介质的系统或者装置，在该可读存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机或处理器读出并执行存储在该可读存储介质中的指令。

在这种情况下，从可读介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此机器可读代码和存储机器可读代码的可读存储介质构成了本说明书的一部分。

可读存储介质的实施例包括软盘、硬盘、磁光盘、光盘（如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD-RW）、磁带、非易失性存储卡和ROM。可选择地，可以由通信网络从服务器计算机上或云上下载程序代码。

本领域技术人员应当理解，上面公开的各个实施例可以在不偏离发明实质的情况下做出各种变形和修改。因此，本说明书的保护范围应当由所附的权利要求书来限定。

需要说明的是，上述各流程和各系统结构图中不是所有的步骤和单元都是必须的，可以根据实际的需要忽略某些步骤或单元。各步骤的执行顺序不是固定的，可以根据需要进行确定。上述各实施例中描述的装置结构可以是物理结构，也可以是逻辑结构，即，有些单元可能由同一物理实体实现，或者，有些单元可能分由多个物理实体实现，或者，可以由多个独立设备中的某些部件共同实现。

以上各实施例中，硬件单元或模块可以通过机械方式或电气方式实现。例如，一个硬件单元、模块或处理器可以包括永久性专用的电路或逻辑（如专门的处理器，FPGA或ASIC）来完成相应操作。硬件单元或处理器还可以包括可编程逻辑或电路（如通用处理器或其它可编程处理器），可以由软件进行临时的设置以完成相应操作。具体的实现方式（机械方式、或专用的永久性电路、或者临时设置的电路）可以基于成本和时间上的考虑来确定。

上面结合附图阐述的具体实施方式描述了示例性实施例，但并不表示可以实现的或者落入权利要求书的保护范围的所有实施例。在整个本说明书中使用的术语“示例性”意味着“用作示例、实例或例示”，并不意味着比其它实施例“优选”或“具有优势”。出于提供对所描述技术的理解的目的，具体实施方式包括具体细节。然而，可以在没有这些具体细节的情况下实施这些技术。在一些实例中，为了避免对所描述的实施例的概念造成难以理解，公知的结构和装置以框图形式示出。

本公开内容的上述描述被提供来使得本领域任何普通技术人员能够实现或者使用本公开内容。对于本领域普通技术人员来说，对本公开内容进行的各种修改是显而易见的，并且，也可以在不脱离本公开内容的保护范围的情况下，将本文所定义的一般性原理应用于其它变型。因此，本公开内容并不限于本文所描述的示例和设计，而是与符合本文公开的原理和新颖性特征的最广范围相一致。

Claims (23)

1.一种用于确定问题答案的方法，所述方法由问答装置执行，所述问答装置具备利用多个问答引擎进行问题答案确定的能力，所述多个问答引擎中的召回模型和第一评价模型分别组成召回模型层和评价模型层，所述召回模型层包括至少一个召回模型，所述评价模型层包括至少两个第一评价模型，所述方法包括：

使用所述召回模型层中的各个召回模型来分别获取问题的答案；

将经由所述各个召回模型得到的答案提供给所述评价模型层中的各个第一评价模型来对各个答案分别进行评价，以得到各个答案的第一评价结果集，所述第一评价结果集包括基于各个第一评价模型得到的第一评价结果；

针对各个答案，按照相同的级联策略来级联所得到的第一评价结果集中的各个第一评价结果，以得到该答案的第二评价结果，各个答案的第二评价结果包括该答案的所有第一评价结果；

将各个答案的第二评价结果提供给第二评价模型来进行答案评估；以及

根据各个答案的答案评估结果，确定所述问题的至少一个目标答案。

2.如权利要求1所述的方法，还包括：

对经由所述各个召回模型得到的答案进行合并，以得到所述问题的答案集，

其中，将经由所述各个召回模型得到的答案提供给所述评价模型层中的各个第一评价模型来对各个答案分别进行评价包括：

将所述问题的答案集提供给所述评价模型层中的各个第一评价模型来对各个答案分别进行评价。

3.如权利要求1所述的方法，其中，各个问答引擎中的召回模型和/或评价模型是使用相同或不同的训练样本集训练出的。

4.如权利要求1所述的方法，其中，所述问答装置包括所述多个问答引擎。

5.如权利要求1所述的方法，其中，所述问答装置包括多个模型接口集，每个模型接口集包括召回模型接口和/或评价模型接口，所述多个问答引擎中的每个问答引擎经由对应的模型接口集与所述问答装置耦接，

使用所述召回模型层中的各个召回模型来分别获取问题的答案包括：

使用各个召回模型接口来接入对应的召回模型，以获取问题的答案，以及

将经由所述各个召回模型得到的答案提供给所述评价模型层中的各个第一评价模型来对各个答案分别进行评价，以得到各个答案的第一评价结果集包括：

将经由所述各个召回模型得到的答案，经由各个评价模型接口接入对应的第一评价模型来对各个答案分别进行评价，以得到各个答案的第一评价结果集。

6.如权利要求1所述的方法，还包括：

基于各个目标答案的答案评估结果，确定所述目标答案的展示模式。

7.如权利要求1所述的方法，其中，所述第二评价模型包括XGBoost模型或者LambdaMart模型。

8.如权利要求1所述的方法，还包括：

确定所述问答装置针对答案评估结果排序第一的目标答案的第一归一化折损累计增益，以作为所述问答装置的装置效能因子。

9.如权利要求8所述的方法，还包括；

针对所述问答装置中的各个问答引擎，

使用如权利要求1-7中任一所述的方法来基于缩减问答引擎集确定针对所述问题的目标答案，所述缩减问答引擎集包括从所述多个问答引擎中去除该问答引擎而得到的问答引擎集合，

确定所述问答装置针对在所述缩减问答引擎集下确定出的答案评估结果排序第一的目标答案的第二归一化折损累计增益；

基于所述第一归一化折损累计增益和所述第二归一化折损累计增益，确定该问答引擎的引擎效能因子。

10.如权利要求9所述的方法，还包括：

从所述多个问答引擎中去除引擎效能因子低于预定阈值的问答引擎。

11.如权利要求1所述的方法，还包括：

统计各个第一评价模型的各个评价特征在所述第二评价模型中的调用次数；

根据所统计的调用次数，确定所述各个第一评价模型的各个评价特征的特征权重。

12.如权利要求11所述的方法，还包括：

基于所确定的各个第一评价模型的各个评价特征的特征权重，对所述各个第一评价模型进行特征优化。

13.一种用于确定问题答案的问答装置，所述问答装置具备利用多个问答引擎来进行问题答案确定的能力，所述多个问答引擎中的召回模型和第一评价模型分别组成召回模型层和评价模型层，所述召回模型层包括至少一个召回模型，所述评价模型层包括至少两个第一评价模型，所述装置包括：

答案获取单元，使用所述召回模型层中的各个召回模型来分别获取问题的答案；

答案评价单元，将经由所述各个召回模型得到的答案提供给所述评价模型层中的各个第一评价模型来对各个答案分别进行评价，以得到各个答案的第一评价结果集，所述第一评价结果集包括基于各个第一评价模型得到的第一评价结果；

评价结果聚合单元，针对各个答案，按照相同的级联策略来级联所得到的第一评价结果集中的各个第一评价结果，以得到该答案的第二评价结果，各个答案的第二评价结果包括该答案的所有第一评价结果；以及

目标答案确定单元，根据各个答案的第二评价结果进行答案评估，以确定所述问题的至少一个目标答案，

所述目标答案确定单元包括：

答案评估模块，将各个答案的第二评价结果提供给第二评价模型来进行答案评估；以及

目标答案确定模块，根据各个答案的答案评估结果，确定所述问题的至少一个目标答案。

14.如权利要求13所述的问答装置，还包括：

答案合并单元，对经由所述各个召回模型得到的答案进行合并，以得到所述问题的答案集，

其中，所述答案评价单元将所述问题的答案集提供给所述评价模型层中的各个第一评价模型来对各个答案分别进行评价。

15.如权利要求13所述的问答装置，其中，所述问答装置包括所述多个问答引擎。

16.如权利要求13所述的问答装置，其中，所述问答装置包括多个模型接口集，每个模型接口集包括召回模型接口和/或评价模型接口，所述多个问答引擎中的每个问答引擎经由对应的模型接口集与所述问答装置耦接，

所述答案获取单元使用各个召回模型接口来接入对应的召回模型，以获取问题的答案，以及

所述答案评价单元将经由所述各个召回模型得到的答案，经由各个评价模型接口接入对应的第一评价模型来对各个答案分别进行评价，以得到各个答案的第一评价结果集。

17.如权利要求13所述的问答装置，还包括：

装置效能因子确定单元，确定所述问答装置针对答案评估结果排序第一的目标答案的第一归一化折损累计增益，以作为所述问答装置的装置效能因子。

18.如权利要求17所述的问答装置，还包括；

引擎效能因子确定单元，针对所述问答装置中的各个问答引擎，基于所述第一归一化折损累计增益和与该问答引擎对应的第二归一化折损累计增益，确定该问答引擎的引擎效能因子，

其中，所述第二归一化折损累计增益是利用如权利要求13-17中任一所述的问答装置基于缩减问答引擎集而得到的问题的目标答案确定出的，所述缩减问答引擎集包括从所述多个问答引擎中去除该问答引擎而得到的问答引擎集合。

19.如权利要求18所述的问答装置，还包括：

引擎优化单元，从所述多个问答引擎中去除引擎效能因子低于预定阈值的问答引擎。

20.如权利要求13所述的问答装置，还包括：

统计单元，统计各个第一评价模型的各个评价特征在所述第二评价模型中的调用次数；

特征权重确定单元，根据所统计的调用次数，确定所述各个第一评价模型的各个评价特征的特征权重。

21.如权利要求20所述的问答装置，还包括：

特征优化单元，基于所确定的各个第一评价模型的各个评价特征的特征权重，对所述各个第一评价模型进行特征优化。

22.一种计算设备，包括：

至少一个处理器；以及

存储器，所述存储器存储指令，当所述指令被所述至少一个处理器执行时，使得所述至少一个处理器执行如权利要求1到12中任一所述的方法。

23.一种机器可读存储介质，其存储有可执行指令，所述指令当被执行时使得所述机器执行如权利要求1到12中任一所述的方法。

Images