CN111047436A - 一种信息判定方法及装置 - Google Patents

Abstract

本申请公开了一种信息判定方法、装置及存储介质，其中，所述方法包括：基于用户的题目领域类型，从多种候选的打分器中选取与所述题目领域类型匹配的打分器；其中，所述候选的打分器中包含有一个或多个校验策略；并且不同的候选的打分器中包含的校验策略至少部分不同；基于所述用户的信息，以及选取的所述打分器包含的一个或多个校验策略，对所述用户针对题目的回答进行判定，得到一个或多个校验策略所对应的一个或多个子判定结果；对所述一个或多个子判定结果进行融合，得到所述判定结果。

Description

一种信息判定方法及装置

技术领域

本申请涉及信息处理领域，尤其涉及一种信息判定方法、装置及存储介质。

背景技术

在金融领域中，对客户诈欺行为的甄别占有重要位置，也面临较多的挑战。在该领域中，随着业务的多样化发展对反欺诈的准确性要求越来越高。相关技术中，反诈欺方案主要是基于人工问答的形式。

在人工智能问答领域，是以任务式对话或者是闲聊的方式。在其中的一种智能审核的方式下，往往需要机器来主动推送问题，然后根据用户的反馈做校验，并根据校验结果进行后续操作。但是，这种方式的主要问题在于：进行结果校验的准确率不高、以及进行结果校验时无法针对用户进行个性化的判别。

发明内容

本申请提供一种信息判定方法、装置及存储介质，以解决现有技术中存在的上述问题。

本发明一方面提供一种信息判定方法，所述方法包括：

基于用户的题目领域类型，从多种候选的打分器中选取与所述题目领域类型匹配的打分器；其中，所述候选的打分器中包含有一个或多个校验策略；并且不同的候选的打分器中包含的校验策略至少部分不同；

基于所述用户的信息，以及选取的所述打分器包含的一个或多个校验策略，对所述用户针对题目的回答进行判定，得到一个或多个校验策略所对应的一个或多个子判定结果；

对所述一个或多个子判定结果进行融合，得到判定结果。

本发明另一方面提供

一种信息判定装置，其特征在于，所述装置包括：

判定选择模块，用于基于用户的题目领域类型，从多种候选的打分器中选取与所述题目领域类型匹配的打分器；其中，所述候选的打分器中包含有一个或多个校验策略；并且不同的候选的打分器中包含的校验策略至少部分不同；

校验策略融合模块，用于基于所述用户的信息，以及选取的所述打分器包含的一个或多个校验策略，对所述用户针对题目的回答进行判定，得到一个或多个校验策略所对应的一个或多个子判定结果；对所述一个或多个子判定结果进行融合，得到所述判定结果。

本发明另一方面还提供一种存储介质，所述存储介质用于存储计算机指令，所述计算机指令用于使所述计算机执行前述方法。

通过采用上述方案，就能够针对性的对不同类型的问题的领域对应不同的打分器，进而得到不同的判定结果。如此，实现了针对不同的问题，校验策略更加灵活，通过对不同判断策略的融合大大增强了对于不同类型的题目的定制化判断的需求。并且，由于在判定中结合用户信息以及多种策略进行最终的判定，因此实现了更个性化的判定，并且准确率大大提高。

附图说明

图1为本发明实施例提供的一种信息判定方法流程示意图；

图2为本发明实施例提供的一种整体处理流程示意图；

图3为本发明实施例提供的一种打分器类型与题目领域的对应关系示意图；

图4为本发明实施例提供的一种信息判定装置的组成结构示意图。

具体实施方式

为使本申请的目的、特征、优点能够更加的明显和易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而非全部实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在相关技术中，对客户诈欺行为的甄别占有重要位置，也面临较多的挑战。反诈欺需求广泛存在于P2P贷款、众筹、消费信贷等领域。然而，一方面，小中企业缺乏足够的行为记录，平台无法通过银行等渠道获得信用评价；另一方面，线上造假的低廉成本使得平台需要处理的欺诈信息量大大增加。因此，准确高效的反诈欺问题解决方案已经成为互联网金融领域的迫切需要。

相关技术中，反诈欺方案主要是基于人工问答的形式。首先客户提交基本信息到互联网金融平台，平台的审核人员在合适的时间与客户通过电话联系，并针对客户提交的信息询问相关问题。例如询问客户工作地址的天气、附近的公共交通情况、客户从事岗位的基本工作内容等。此后，审核人员将依据客户的回答进行综合评分。如果客户使用了伪造信息，则答案中很可能出现错误以及语焉不详之处，可以作为诈欺的判别依据。所以如何根据用户提供的信息和回答，有效地对用户的回答进行综合评分变得尤为重要。

通常会采用人工智能问题的方式实现上述场景，在人工智能问答领域，主要的形式是以任务式对话或者是闲聊的方式。任务式对话主要是在特定条件下，为满足带有明确目的的用户，例如：查天气、查话费、订餐、订票和咨询等任务型的场景；闲聊型对话主要在开放领域，并不关注某项特定的任务，更关注对话中与用户的情感的交互。但是在智能审核的方式下，往往需要机器来主动推送问题，然后根据用户的反馈做校验，并根据校验结果进行后续操作。

对于这种智能审核的需求，已有的智能回答的方式不太好支持。主要集中在无法针对性的利用用户的信息对用户的回答做有效性判断。正确性的判断可以抽象为文本相似问题的判断，在人工智能领域，针对这种文本相似问题的判断，主要是基于模型和规则的方式。但是主要问题在于：

准确率不达标。模型的准确率往往不能达到审核所需，这其中主要原因来源于数据量少导致模型本身的准确率比较低，同时审核时所问的问题以及所需要的结果，对于准确率的要求是非常高的。

不同问题不同结果的定制化区分。在智能审核中，不仅仅需要区分回答的正确错误与否，同时也得区分用户是否为无效回答。现有的模型或者规则往往只能够对模型的正确和错误做校验，给出比较单一的回答，而无法针对性的为每个问题给出不一样的结果判断。。

针对上述问题，本实施例提供一种信息判定方法，如图1所示，包括：

S11：基于用户的题目领域类型，从多种候选的打分器中选取与所述题目领域类型匹配的打分器；其中，所述候选的打分器中包含有一个或多个校验策略；并且不同的候选的打分器中包含的校验策略至少部分不同；

S12：基于所述用户的信息，以及选取的所述打分器包含的一个或多个校验策略，对所述用户针对题目的回答进行判定，得到一个或多个校验策略所对应的一个或多个子判定结果；

S13：对所述一个或多个子判定结果进行融合，得到判定结果。

本实施例提供的方案可以应用于具备处理功能的系统或服务器中。

上述方案的业务逻辑结合图2进行说明，通过HTTP服务，为反诈欺审核人员提供带答案的问答题库，节省人工构建题库的时间。审核人员可以单独或批量上传客户基本信息，并从系统领取申请编号。系统将在后台进行问卷准备、答案准备、NLU(自然语言理解，Natural Language Understand)解析、答案校验等处理，最终得到校验结果也就是判定结果。

本实施例提供的方案，主要针对图2提供的处理场景中的答案校验的处理进行改进，在答案校验的处理中增加了判定选择以及校验策略融合的处理。

具体来说，判定选择主要是根据用户的题目的领域类型，选择不同的打分器。

针对不同的用户可以选择不同的题目的领域类型，再基于题目的领域类型确定指示一个问题。

可以在系统或服务器中，预先保存有多种题目，并且不同的题目对应的领域类型可以相同也可以不同，这些都是可以预设的。另外，系统或服务器中还可以保存多种候选的打分器。不同的题目的领域类型以及候选的打分器之间的关联关系也可以为预设的。

其中，由于不同的题目的领域类型对应了不同的候选的打分器；因此可以根据当前用户选取的题目所对应的题目的领域类型，选择本次所要使用的打分器。

所述题目的领域类型，包括以下之一：通用文本类型、通用数字类型、通用确认类型。

通用文本类问题、通用数字类问题和通用确认类问题等，不同的打分器针对不同的问题而设置。

其中，每个打分器都可以同时支持指向性回答和开放性回答的两种类型的校验策略。

其中，指向性回答的校验策略主要是针对选择题的回答，用于解析用户回答“我选A”、“第二个”这种表述；开放性回答的校验策略主要用于提取用户回答中的关键信息，并通过与标准答案和候选答案计算相似性给出解析结果。

在校验策略融合中，各个校验策略都是相互独立，它们各自给出自己的判定结果，最终由校验策略融合模块，根据业务需求，对各个校验策略的结果进行融合，并最终给出最后的判定结果。

在判定选择中，主要目的根据题目的领域类型选择不同的打分器，例如坐席辅助系统中，可以支持的打分器主要包括三类：通用文本类型、通用数字类型和通用确认类型。如图3所示，其中每一类型都可以根据需求进行定制扩展，例如通用文本类型扩展了生肖类型、公司类型和POI类型等；通用数字类型扩展了数字范围类型、数字日期类型等；通用确认类型扩展了确认房贷类型、确认信用卡类型等。目前扩展的打分器类型都是根据业务需求，为了更好地提高校验的准确性而设计。

所述一个或多个校验策略，包括以下至少之一：

异常回答判断策略、正确回答判断策略、错误回答判断策略、无效回答判断策略。

比如，异常回答判断策略，根据不同的打分器会有不同的实现，例如在通用文本类型打分器或者其扩展的打分器中，会加入识别否定回答的校验，如校验用户是否回复：“不知道”、“忘记了”等类似表述；

或者在通用确认类型打分器或者其扩展的打分器中，需要校验用户是否回复：“没有”、“以前办理过”等。

在一种示例中以POI打分器中的判断策略为例，对其一个或多个校验策略的处理，详细说明如下：

异常回答判断策略，主要采用规则校验用户是否有类似“不知道”、“忘记了”等表述。这里，可以认为基于预设的规则模型或者可以设置一些满足规则的关键词来实现。

正确回答判断策略，主要包括了相似命中策略和保序命中策略。

其中，所述相似命中策略，可以包括：首先要从用户话术抽取答案相关内容(其中抽取方式主要是根据已有标准答案寻找最长相似子串，以及根据句式配置句式规则模板来抽取答案相关内容)；其次根据抽取的内容计算相似度，通过相似度的阈值来判断是否命中。

所述保序命中策略，可以包括：主要是根据标准答案从用户话术中搜索是否存在顺序命中的字符。与前一策略相比，除了关注相似度是否满足对应的阈值之外，还关注了话术中每一个字(或音)出现的顺序，只有在顺序匹配并且相似度满足阈值的情况下才会认为是满足策略的要求的话术。

两种策略都是为了找出用户话术和标准答案的相似性，但是同时为了过滤这两种策略找出的错误的情况，也在这两种命中策略后加上了否定策略，例如：已有标准答案为“人大医院”，而用户的回复为“大医院”，若按照相似命中或者保序命中，则会判断为找到正确回答(实际应该为未找到)。

进一步地，还可以在前述正确性判断策略的得到的结果之后，增加一层过滤策略，通过该过滤策略来进行对不合乎规范的表述的过滤，得到处理之后的结果。

错误回答判断策略，主要是通过相似命中策略来实现。这里的相似命中策略是区别于正确回答里的相似命中策略的，因为这里的相似命中是基于已有的所有的候选POI(兴趣点，point of interest)数据的(例如医院问题，这里的候选数据是所有的医院POI数据，而不是正确回答判断策略里的附近的区域内的少数医院数据)，所以根据候选集从用户话术里抽取相关内容不现实(时间复杂度太高)。这里主要还是采取规则模板来抽取相关内容。其中，所述规则模板可以根据实际情况进行设置。

无效回答判断策略，无效采用规则来校验，由于无效回答的话术比较宽泛，难以通过有限的规则模板来识别，本系统主要针对不同的题型定制不同的规则模板。比如，无效回答可以认为是前述正确回答判断策略、错误回答判断策略均未得到相关的答案，就可以认为是无效回答。

关于策略融合，对于每个不同的打分器，策略的融合方式也有不同。总的来说，策略的融合主要是根据前述四类判断策略的结果，根据融合方案给出最终的判断结果。

融合策略可以不同的打分器不同，比如，可以在一些打分器中设置策略优先级，对优先级高的先进行判断，如果满足则判断下一个优先级的策略，以此类推。

举例来说，在POI对应的打分器中融合各个判断策略时，可以优先看异常回答策略，若命中则根据需要返回错误或者无效等；然后同时看正确回答判断策略和错误回答判断策略，若只有一个命中则返回对应结果，若同时命中或者都未命中则返回无效回答(注意这里没有看无效回答判断策略，因为本POI打分器里主要关注的是正确和错误的回答)。

又一种示例中，在前述方案的基础上，还可以进一步分析概率，基于概率来确定对应的子判定结果。

具体来说，所述基于所述用户的信息，以及选取的所述打分器包含的一个或多个校验策略，对所述用户针对题目的回答进行判定，得到一个或多个校验策略所对应的一个或多个子判定结果，包括：

当所述打分器中包含有正确回答判断策略时，基于所述用户的信息、以及所述正确回答判断策略中的第一模型，计算得到所述用户针对题目的回答与第一预设答案之间的一致性概率，将所述一致性概率作为所述正确回答判断策略的子判定结果；和/或，

当所述打分器中包含有错误回答判断策略时，基于所述用户的信息、以及所述错误回答判断策略中的第二模型，计算得到所述用户针对题目的回答与第二预设答案之间的一致性概率，将所述一致性概率作为所述错误回答判断策略的子判定结果。

也就是说，可以在前述正确回答判断策略和错误回答判断策略中可以添加模型统计方法，利用模型抽取话术中关于题目回答的表述内容，利用模型计算表述内容和标准答案的一致性，最终以概率的形式返回该策略的结果。

再另一种示例中，还可以包括：所述打分器包含的一个或多个校验策略中，不同的校验策略配置不同的权重值；

相应的，所述对所述一个或多个子判定结果进行融合，得到所述判定结果，包括：

根据所述打分器中不同的校验策略对应的不同的权重值，对所述一个或多个校验策略得到的一个或多个判定结果进行加权计算，将加权计算的结果作为所述判定结果。

也就是说，可以对不同的校验策略预先设置不同的权重，在得到一个打分器对应的多个子判定结果之后，对不同的子判定结果及其对应的权重进行加权计算，最终得到全部加权计算之后的子判定结果，再取和得到最终的判定结果。

不同判断策略的融合可以基于每个策略的权重来实现加权计算，根据每个打分器可以根据配置设置不同判断策略的权重，最后根据每个策略给出的概率做出最终结果的加权计算结果，再得到最终的判定结果。

可见，通过采用上述方案，就能够针对性的对不同类型的问题的领域对应不同的打分器，进而得到不同的判定结果。如此，实现了针对不同的问题，校验策略更加灵活，通过对不同判断策略的融合大大增强了对于不同类型的题目的定制化判断的需求。并且，由于在判定中结合用户信息以及多种策略进行最终的判定，因此实现了更个性化的判定，并且准确率大大提高。

本实施例提供一种信息判定装置，如图4所示，包括：

判定选择模块21，用于基于用户的题目领域类型，从多种候选的打分器中选取与所述题目领域类型匹配的打分器；其中，所述候选的打分器中包含有一个或多个校验策略；并且不同的候选的打分器中包含的校验策略至少部分不同；

校验策略融合模块22，用于基于所述用户的信息，以及选取的所述打分器包含的一个或多个校验策略，对所述用户针对题目的回答进行判定，得到一个或多个校验策略所对应的一个或多个子判定结果；对所述一个或多个子判定结果进行融合，得到所述判定结果。

本实施例提供的装置可以设置于具备处理功能的系统或服务器中。

所述题目的领域类型，包括以下之一：通用文本类型、通用数字类型、通用确认类型。

所述一个或多个校验策略，包括以下至少之一：

异常回答判断策略、正确回答判断策略、错误回答判断策略、无效回答判断策略。

又一种示例中，在前述方案的基础上，还可以进一步分析概率，基于概率来确定对应的子判定结果。

具体来说，校验策略融合模块22，用于当所述打分器中包含有正确回答判断策略时，基于所述用户的信息、以及所述正确回答判断策略中的第一模型，计算得到所述用户针对题目的回答与第一预设答案之间的一致性概率，将所述一致性概率作为所述正确回答判断策略的子判定结果；和/或，

当所述打分器中包含有错误回答判断策略时，基于所述用户的信息、以及所述错误回答判断策略中的第二模型，计算得到所述用户针对题目的回答与第二预设答案之间的一致性概率，将所述一致性概率作为所述错误回答判断策略的子判定结果。

再另一种示例中，还可以包括：所述打分器包含的一个或多个校验策略中，不同的校验策略配置不同的权重值；

相应的，校验策略融合模块22，用于根据所述打分器中不同的校验策略对应的不同的权重值，对所述一个或多个校验策略得到的一个或多个判定结果进行加权计算，将加权计算的结果作为所述判定结果。

可见，通过采用上述方案，就能够针对性的对不同类型的问题的领域对应不同的打分器，进而得到不同的判定结果。如此，实现了针对不同的问题，校验策略更加灵活，通过对不同判断策略的融合大大增强了对于不同类型的题目的定制化判断的需求。并且，由于在判定中结合用户信息以及多种策略进行最终的判定，因此实现了更个性化的判定，并且准确率大大提高。

在示例性实施例中，本发明实施例还提供了一种存储介质，即计算机存储介质，具体为计算机可读存储介质，例如包括存储计算机程序的存储器，上述计算机程序可由终端的处理器执行，以完成前述方法所述步骤。计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、Flash Memory、磁表面存储器、光盘、或CD-ROM等存储器。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (11)

1.一种信息判定方法，其特征在于，所述方法包括：

基于用户的题目领域类型，从多种候选的打分器中选取与所述题目领域类型匹配的打分器；其中，所述候选的打分器中包含有一个或多个校验策略；并且不同的候选的打分器中包含的校验策略至少部分不同；

基于所述用户的信息，以及选取的所述打分器包含的一个或多个校验策略，对所述用户针对题目的回答进行判定，得到一个或多个校验策略所对应的一个或多个子判定结果；

对所述一个或多个子判定结果进行融合，得到判定结果。

2.根据权利要求1所述的方法，其特征在于，所述题目的领域类型，包括以下之一：通用文本类型、通用数字类型、通用确认类型。

3.根据权利要求2所述的方法，其特征在于，所述一个或多个校验策略，包括以下至少之一：

异常回答判断策略、正确回答判断策略、错误回答判断策略、无效回答判断策略。

4.根据权利要求1所述的方法，其特征在于，所述基于所述用户的信息，以及选取的所述打分器包含的一个或多个校验策略，对所述用户针对题目的回答进行判定，得到一个或多个校验策略所对应的一个或多个子判定结果，包括：

当所述打分器中包含有正确回答判断策略时，基于所述用户的信息、以及所述正确回答判断策略中的第一模型，计算得到所述用户针对题目的回答与第一预设答案之间的一致性概率，将所述一致性概率作为所述正确回答判断策略的子判定结果；和/或，

当所述打分器中包含有错误回答判断策略时，基于所述用户的信息、以及所述错误回答判断策略中的第二模型，计算得到所述用户针对题目的回答与第二预设答案之间的一致性概率，将所述一致性概率作为所述错误回答判断策略的子判定结果。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述打分器包含的一个或多个校验策略中，不同的校验策略配置不同的权重值；

相应的，所述对所述一个或多个子判定结果进行融合，得到所述判定结果，包括：

根据所述打分器中不同的校验策略对应的不同的权重值，对所述一个或多个校验策略得到的一个或多个判定结果进行加权计算，将加权计算的结果作为所述判定结果。

6.一种信息判定装置，其特征在于，所述装置包括：

判定选择模块，用于基于用户的题目领域类型，从多种候选的打分器中选取与所述题目领域类型匹配的打分器；其中，所述候选的打分器中包含有一个或多个校验策略；并且不同的候选的打分器中包含的校验策略至少部分不同；

校验策略融合模块，用于基于所述用户的信息，以及选取的所述打分器包含的一个或多个校验策略，对所述用户针对题目的回答进行判定，得到一个或多个校验策略所对应的一个或多个子判定结果；对所述一个或多个子判定结果进行融合，得到所述判定结果。

7.根据权利要求6所述的装置，其特征在于，所述题目的领域类型，包括以下之一：通用文本类型、通用数字类型、通用确认类型。

8.根据权利要求7所述的装置，其特征在于，所述一个或多个校验策略，包括以下至少之一：

异常回答判断策略、正确回答判断策略、错误回答判断策略、无效回答判断策略。

9.根据权利要求6所述的装置，其特征在于，所述校验策略融合模块，用于当所述打分器中包含有正确回答判断策略时，基于所述用户的信息、以及所述正确回答判断策略中的第一模型，计算得到所述用户针对题目的回答与第一预设答案之间的一致性概率，将所述一致性概率作为所述正确回答判断策略的子判定结果；

和/或，

当所述打分器中包含有错误回答判断策略时，基于所述用户的信息、以及所述错误回答判断策略中的第二模型，计算得到所述用户针对题目的回答与第二预设答案之间的一致性概率，将所述一致性概率作为所述错误回答判断策略的子判定结果。

10.根据权利要求6-9任一项所述的装置，其特征在于，所述打分器包含的一个或多个校验策略中，不同的校验策略配置不同的权重值；

相应的，所述校验策略融合模块，用于根据所述打分器中不同的校验策略对应的不同的权重值，对所述一个或多个校验策略得到的一个或多个判定结果进行加权计算，将加权计算的结果作为所述判定结果。

11.一种存储介质，其特征在于，所述存储介质用于存储计算机指令，所述计算机指令用于使所述计算机执行权利要求1-5中任一项所述的方法。

Images