CN113259141B

CN113259141B - 群组预测模型的测试方法、装置和存储介质及电子设备

Info

Publication number: CN113259141B
Application number: CN202110651893.6A
Authority: CN
Inventors: 李悦馨
Original assignee: Tencent Technology Shenzhen Co Ltd
Current assignee: Guangzhou Tencent Technology Co Ltd
Priority date: 2021-06-11
Filing date: 2021-06-11
Publication date: 2021-09-24
Anticipated expiration: 2041-06-11
Also published as: CN113259141A

Abstract

本发明公开了一种群组预测模型的测试方法、装置和存储介质及电子设备。其中，该方法包括：根据第一群组预测模型，确定目标应用中的目标账号的第一预测群组集合；根据第一预测群组集合中的预测群组中的账号与预先获取的实际群组集合中的实际群组中的账号之间的匹配信息，确定第一预测群组集合与实际群组集合之间的第一匹配度；比较第一匹配度与第二匹配度；在第一匹配度大于第二匹配度的情况下，将目标应用在线使用的第二群组预测模型替换为第一群组预测模型。本发明解决了无法提高线上使用的预测模型的预测准确性的技术问题。

Description

群组预测模型的测试方法、装置和存储介质及电子设备

技术领域

本发明涉及计算机领域，具体而言，涉及一种群组预测模型的测试方法、装置和存储介质及电子设备。

背景技术

在相关技术中，一些应用会对的应用中的账号进行群组预测，例如，预测账号A的关联账号B和C是账号A的工作群组中的账号，预测账号A的关联账号E、F和G是账号A的兴趣群组中的账号。为了完成上述群组预测，需要在上线的应用中设置预测模型，通过设置的预测模型对应用中的账号进行群组预测。

目前，上述预测模型都是由开发人员设计、测试并上线。然而，对于不同的预测模型，目前无法确定其中哪个预测模型更好，例如，无法确定线上使用的预测模型A与线下新开发的预测模型B中的哪个模型对于预测的群组的准确性更高，从而在线下新开发的预测模型B更好的情况下，错过了将线上使用的预测模型A替换成预测模型B，以提高线上预测账号的群组的准确性的机会。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种群组预测模型的测试方法、装置和存储介质及电子设备，以至少解决无法提高线上使用的预测模型的预测准确性的技术问题。

根据本发明实施例的一个方面，提供了一种群组预测模型的测试方法，包括：根据第一群组预测模型，确定目标应用中的目标账号的第一预测群组集合，其中，上述第一预测群组集合中的每个预测群组包括在上述目标账号的关联账号集合中预测出的一组账号；根据上述第一预测群组集合中的预测群组中的账号与预先获取的实际群组集合中的实际群组中的账号之间的匹配信息，确定上述第一预测群组集合与上述实际群组集合之间的第一匹配度，其中，上述实际群组集合中的每个实际群组包括在上述目标账号的上述关联账号集合中预先标注的一组账号；比较上述第一匹配度与第二匹配度，其中，上述第二匹配度表示第二预测群组集合与上述实际群组集合之间的匹配度，上述第二预测群组集合是根据上述目标应用在线使用的第二群组预测模型确定的上述目标账号的预测群组集合；在上述第一匹配度大于上述第二匹配度的情况下，将上述目标应用在线使用的上述第二群组预测模型替换为上述第一群组预测模型。

根据本发明实施例的另一方面，还提供了一种群组预测模型的测试装置，包括：第一确定单元，用于根据第一群组预测模型，确定目标应用中的目标账号的第一预测群组集合，其中，上述第一预测群组集合中的每个预测群组包括在上述目标账号的关联账号集合中预测出的一组账号；第二确定单元，用于根据上述第一预测群组集合中的预测群组中的账号与预先获取的实际群组集合中的实际群组中的账号之间的匹配信息，确定上述第一预测群组集合与上述实际群组集合之间的第一匹配度，其中，上述实际群组集合中的每个实际群组包括在上述目标账号的上述关联账号集合中预先标注的一组账号；比较单元，用于比较上述第一匹配度与第二匹配度，其中，上述第二匹配度表示第二预测群组集合与上述实际群组集合之间的匹配度，上述第二预测群组集合是根据上述目标应用在线使用的第二群组预测模型确定的上述目标账号的预测群组集合；调整单元，用于在上述第一匹配度大于上述第二匹配度的情况下，将上述目标应用在线使用的上述第二群组预测模型替换为上述第一群组预测模型。

作为一种可选的方案，上述第三确定模块，包括：第四确定子模块，用于通过以下步骤确定第i个预测群组与第k个实际群组的第二类型账号的数量

：第五确定子模块，用于在上述第i个预测群组与上述第k个实际群组的匹配关系为匹配时，将

确定为上述第k个实际群组中与上述第i个预测群组中的账号不同的账号的数量；第六确定子模块，用于在上述第i个预测群组与上述第k个实际群组的匹配关系为不匹配时，将

确定为上述第k个实际群组中的账号的数量。

作为一种可选的方案，上述第四确定模块，包括：第七确定子模块，用于根据上述一组第一类型账号的数量和上述一组第二类型账号的数量，确定上述每个预测群组与上述每个实际群组之间的匹配度，得到一组匹配度；第八确定子模块，用于根据上述一组匹配度，确定上述第一预测群组集合与上述实际群组集合之间的第一匹配度。

作为一种可选的方案，上述第四确定模块，包括：第九确定子模块，用于通过以下步骤确定第i个预测群组与第k个实际群组之间的匹配度

，其中，上述第i个预测群组与上述第k个实际群组的上述第一类型账号的数量为

，上述第i个预测群组与上述第k个实际群组的上述第二类型账号的数量为

：第十确定子模块，用于将

确定为目标差值除以目标和值所得到的值，其中，上述目标和值为上述第i个预测群组中的账号的数量与上述第k个实际群组中的账号的数量之和，上述目标差值为上述目标和值减去

与

的加权和。

作为一种可选的方案，上述第八确定子模块，包括：第十一确定子模块，用于对于第i个预测群组，取最大的

作为上述第i个预测群组的匹配度

，其中，

为上述第i个预测群组与第k个实际群组之间的匹配度；第十二确定子模块，用于将上述第一匹配度确定为每个预测群组的匹配度的平均值。

作为一种可选的方案，上述第四确定模块，包括：第十三确定子模块，用于根据上述一组匹配关系，确定上述第一预测群组集合中的第一类型群组的数量，其中，上述第一类型群组与上述实际群组集合中的每个实际群组的匹配关系均为不匹配；第十四确定子模块，用于根据上述一组匹配关系，确定上述实际群组集合中的第二类型群组的数量，其中，上述第二类型群组与上述第一预测群组集合中的每个预测群组的匹配关系均为不匹配；第十五确定子模块，用于根据上述一组第一类型账号的数量和上述一组第二类型账号的数量、以及上述第一类型群组的数量和上述第二类型群组的数量，确定上述第一预测群组集合与上述实际群组集合之间的上述第一匹配度。

作为一种可选的方案，上述第十五确定子模块，包括：第一计算子单元，用于将错分圈占比确定为上述第一类型群组的数量除以上述第一预测群组集合中的预测群组的数量所得到的值；第二计算子单元，用于将漏分圈占比确定为上述第二类型群组的数量除以上述实际群组集合中的实际群组的数量所得到的值；第三计算子单元，用于根据上述一组第一类型账号的数量和上述一组第二类型账号的数量、以及上述错分圈占比和上述漏分圈占比，确定上述第一预测群组集合与上述实际群组集合之间的上述第一匹配度。

作为一种可选的方案，上述第三计算子单元，包括：第一子确定模块，用于根据上述一组第一类型账号的数量和上述一组第二类型账号的数量，确定上述第一预测群组集合中的每个预测群组的匹配度的平均值；第二子确定模块，用于将未错分圈占比确定为1-上述错分圈占比，并将未漏分圈占比确定为1-上述漏分圈占比；第三子确定模块，用于将上述第一匹配度确定为上述匹配度的平均值、上述未错分圈占比以及上述未漏分圈占比三者的加权和。

根据本发明实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述群组预测模型的测试方法。

根据本发明实施例的又一方面，还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，上述处理器通过计算机程序执行上述的群组预测模型的测试方法。

在本发明实施例中，根据第一群组预测模型，确定目标应用中的目标账号的第一预测群组集合，其中，上述第一预测群组集合中的每个预测群组包括在上述目标账号的关联账号集合中预测出的一组账号；根据上述第一预测群组集合中的预测群组中的账号与预先获取的实际群组集合中的实际群组中的账号之间的匹配信息，确定上述第一预测群组集合与上述实际群组集合之间的第一匹配度，其中，上述实际群组集合中的每个实际群组包括在上述目标账号的上述关联账号集合中预先标注的一组账号；比较上述第一匹配度与第二匹配度，其中，上述第二匹配度表示第二预测群组集合与上述实际群组集合之间的匹配度，上述第二预测群组集合是根据上述目标应用在线使用的第二群组预测模型确定的上述目标账号的预测群组集合；在上述第一匹配度大于上述第二匹配度的情况下，将上述目标应用在线使用的上述第二群组预测模型替换为上述第一群组预测模型，通过对群组预测模型的匹配度测试，将线上使用的群组预测模型调整为更优的群组预测模型，进而达到了调整线上使用的预测模型为预测准确性更高的预测模型的目的，从而实现了提高线上使用的预测模型的预测准确性的技术效果，进而解决了无法提高线上使用的预测模型的预测准确性的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的一种可选的群组预测模型的测试方法的应用环境的示意图；

图2是根据本发明实施例的一种可选的群组预测模型的测试方法的流程的示意图；

图3是根据本发明实施例的一种可选的群组预测模型的测试方法的示意图；

图4是根据本发明实施例的另一种可选的群组预测模型的测试方法的示意图；

图5是根据本发明实施例的另一种可选的群组预测模型的测试方法的示意图；

图6是根据本发明实施例的另一种可选的群组预测模型的测试方法的示意图；

图7是根据本发明实施例的另一种可选的群组预测模型的测试方法的示意图；

图8是根据本发明实施例的另一种可选的群组预测模型的测试方法的示意图；

图9是根据本发明实施例的另一种可选的群组预测模型的测试方法的示意图；

图10是根据本发明实施例的一种可选的群组预测模型的测试装置的示意图；

图11是根据本发明实施例的一种可选的电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

首先，为方便理解本发明实施例，下面对本发明中所涉及的部分术语或名词进行解释说明：

区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链（Blockchain），本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性（防伪）和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层。

区块链底层平台可以包括用户管理、基础服务、智能合约以及运营监控等处理模块。其中，用户管理模块负责所有区块链参与者的身份信息管理，包括维护公私钥生成（账户管理）、密钥管理以及用户真实身份和区块链地址对应关系维护（权限管理）等，并且在授权的情况下，监管和审计某些真实身份的交易情况，提供风险控制的规则配置（风控审计）；基础服务模块部署在所有区块链节点设备上，用来验证业务请求的有效性，并对有效请求完成共识后记录到存储上，对于一个新的业务请求，基础服务先对接口适配解析和鉴权处理（接口适配），然后通过共识算法将业务信息加密（共识管理），在加密之后完整一致的传输至共享账本上（网络通信），并进行记录存储；智能合约模块负责合约的注册发行以及合约触发和合约执行，开发人员可以通过某种编程语言定义合约逻辑，发布到区块链上（合约注册），根据合约条款的逻辑，调用密钥或者其它的事件触发执行，完成合约逻辑，同时还提供对合约升级注销的功能；运营监控模块主要负责产品发布过程中的部署、配置的修改、合约设置、云适配以及产品运行中的实时状态的可视化输出，例如：告警、监控网络情况、监控节点设备健康状态等。

平台产品服务层提供典型应用的基本能力和实现框架，开发人员可以基于这些基本能力，叠加业务的特性，完成业务逻辑的区块链实现。应用服务层提供基于区块链方案的应用服务给业务参与方进行使用。

根据本发明实施例的一个方面，提供了一种群组预测模型的测试方法，可选地，作为一种可选的实施方式，上述群组预测模型的测试方法可以但不限于应用于如图1所示的环境中。其中，可以但不限于包括用户设备102、网络110及服务器112，其中，该用户设备102上可以但不限于包括显示器108、处理器106及存储器104。

具体过程可如下步骤：

步骤S102，用户设备102获取目标账号关联的界面上显示的虚拟按钮“生成问题”触发的目标指令；

步骤S104-S106，用户设备102通过网络110将目标指令发送给服务器112；

步骤S108，服务器112通过数据库114通过处理引擎116按照最优的群组预测模型，从而获取目标指令的响应结果，其中，响应结果还包括预测出的一组账号；

步骤S110-S114，服务器112通过网络110将响应结果发送给用户设备102，用户设备102中的处理器106根据响应结果将一组账号显示在显示器108中，并将响应结果存储在存储器104中。

除图1示出的示例之外，上述步骤可以由用户设备102独立完成，即由用户设备102执行目标指令的响应结果的获取等步骤，从而减轻服务器的处理压力。该用户设备102包括但不限于手持设备（如手机）、笔记本电脑、台式电脑、车载设备等，本发明并不限制用户设备102的具体实现方式。

可选地，作为一种可选的实施方式，如图2所示，群组预测模型的测试方法包括：

S202，根据第一群组预测模型，确定目标应用中的目标账号的第一预测群组集合，其中，第一预测群组集合中的每个预测群组包括在目标账号的关联账号集合中预测出的一组账号；

S204，根据第一预测群组集合中的预测群组中的账号与预先获取的实际群组集合中的实际群组中的账号之间的匹配信息，确定第一预测群组集合与实际群组集合之间的第一匹配度，其中，实际群组集合中的每个实际群组包括在目标账号的关联账号集合中预先标注的一组账号；

S206，比较第一匹配度与第二匹配度，其中，第二匹配度表示第二预测群组集合与实际群组集合之间的匹配度，第二预测群组集合是根据目标应用在线使用的第二群组预测模型确定的目标账号的预测群组集合；

S208，在第一匹配度大于第二匹配度的情况下，将目标应用在线使用的第二群组预测模型替换为第一群组预测模型。

可选地，在本实施例中，上述群组预测模型的测试方法可以但不限于应用在对账号进行群组预测的场景下，例如在需要让用户对每道描述问题在出现的人中选择最符合的人选完成回答的具体场景下，要求每次出现的人选对应的账号是属于同一个好友群组的。而上述群组预测模型的测试方法就是在找预测好友群组的过程中，提供了一种有效的匹配度评估方式，以判定通过预测模型获得的好友群组与实际标记的好友群组的匹配度，并能够针对性的找到可优化方向。

可选地，在本实施例中，群组预测模型可以但不限于为允许根据优化方向进行更新调整的算法模型，也可以但不限于为允许根据样本数据进行迭代训练的神经网络模型，例如前馈神经网络模型、径向基函数模型、卷积神经网络模型等。

可选地，在本实施例中，目标应用可以但不限于为多个虚拟账号提供交互平台的应用程序，例如虚拟账号在目标应用上可实现信息交互、资源转移等功能。此外，目标应用可以但不限于具有需对已注册的多个虚拟账号进行群组预测的功能，例如为目标账号关联的多个虚拟账号进行群组预测功能，并对预测出的同处一个或多个群组的目标数量的虚拟账号进行显示。

可选地，在本实施例中，目标账号的关联账号集合中的（虚拟）账号，可以但不限于与目标账号之间具有关联关系，其中，关联关系可以但不限于为账号行为、账号信息、账号资源等关联的关系，例如关注关系、粉丝关系、好友关系等。

可选地，在本实施例中，实际群组集合中的实际群组可以但不限于为在实验室环境中，对信息明确的样本数据进行对应的标注，例如由账号A的用户主动对于账号A之间具有关联关系的其他账号进行群组标注，以获得多个实际群组，再将账号A作为目标账号，使用第一群组预测模型进行群组预测，并与实际群组进行信息比较，以确定第一群组预测模型的匹配度。

可选地，在本实施例中，匹配信息可以但不限于包括以下至少之一：群组集合与群组集合之间的第一匹配信息、群组与群组之间的第二匹配信息、账号与账号之间的第三匹配信息，其中，第一匹配信息可以但不限用于表示群组集合与群组集合之间的群组数是否匹配，如群组集合A中包括数量为10的群组，群组集合B中包括数量为5的群组，进而对群组数量进行比较，以获得第一匹配信息；再者，第二匹配信息可以但不限用于表示群组与群组之间的群组类型是否匹配，如群组类型包括了群组类型1、群组类型2、群组类型3，进而群组集合A中包括的群组情况为，群组类型1的群组数量为2，群组类型2的群组数量为3，群组类型3的群组数量为0，群组集合B中包括的群组情况为，群组类型1的群组数量为1，群组类型2的群组数量为1，群组类型3的群组数量为3，进而对群组类型下的群组数进行比较，以获得第二匹配信息；此外，第三匹配信息可以但不限用于表示账号与账号之间的账号信息是否匹配，如账号数量、账号类型、账号标识等，例如群组A中包括账号1以及账号2，而群组B中包括账号2以及账号3，虽然二者的账号数量都是2，但具体的账号标识不同（账号1与账号3不同），进而账号与账号之间也可以但不限于看做不匹配，或减少匹配度等。

可选地，在本实施例中，目标应用在线使用的群组预测模型可以但不限用于实现为目标应用中每一账号预测同群组账号功能，例如利用目标应用在线使用的群组预测模型为账号A预测同群组的多个账号，以及利用目标应用在线使用的群组预测模型为账号B预测同群组的多个账号，其中，账号A以及账号B仅为举例说明，例如说明在目标应用中的任一账号可以但不限于都使用上述在线使用的群组预测模型进行账号预测，但不做数量上的限定。此外，还可以但不限于为不同账号分配不同的群组预测模型，在此不做限定。

可选地，在本实施例中，可以但不限于利用多个维度的评估指标确定第一匹配度，其中，上述评估指标可以但不限于评估群组预测模型的多分人、少分人、错分圈、漏分圈这四个维度的情况，例如评估指标可以但不限于包括以下至少之一：绝对多分人总数、绝对少分人总数、绝对错分圈总数、绝对漏圈总数、相对多分人占比、相对少分人占比、相对错分圈占比、相对漏分圈占比。在评估指标包括多类的情况下，可以但不限于采用组合的方式对群组预测模型的综合评估，例如采用多分人、少分人这两个维度的组合对群组预测模型进行评估，或采用错分圈、漏分圈这两个维度的组合对群组预测模型进行评估，或采用多分人、少分人、错分圈、漏分圈四个维度的组合对群组预测模型进行评估，以提高模型评估的全面性；或为提高模型评估的效率，但也为保证模型评估的一定全面性，可选取人维度的多分人或少分人，以及圈维度的错分圈或漏分圈，进行综合评估；

进一步，以采用多分人、少分人、错分圈、漏分圈这四个维度的组合对群组预测模型进行评估为例说明，如图3所示，大致步骤如下：

S1，计算样本好友分群组（圈）；

S2，评估指标计算；

S3，线上使用；

其中，步骤S1“计算样本好友分群组”的具体步骤如下：

步骤S302-1，获取关联账号集合；

步骤S302-2，获取实际群组集合；

步骤S304，利用第一群组预测模型，预测关联账号集合的群组集合；

步骤S306，获取第一预测群组集合；

再者，步骤S2“评估指标计算”的具体步骤如下：

步骤S308-1，计算绝对错分圈（群组）总数；

步骤S308-2，计算相对错分圈占比；

步骤S308-3，计算绝对少分人总数；

步骤S308-4，计算相对少分人占比；

步骤S308-5，计算绝对多分人总数；

步骤S308-6，计算相对多分人占比；

步骤S308-7，计算绝对漏分圈总数；

步骤S308-8，计算相对漏分圈占比；

步骤S310，基于最小距离计算第一匹配度；

再者，在本实施例中，在比较第一匹配度与第二匹配度之前，或之后，或过程中，还可对第一匹配度进行除与第二匹配度比较外的多次比较，如图3所示的步骤S3“线上使用”的具体步骤如下：

步骤S312，判断第一匹配度是否符合匹配区间，若是，执行步骤S316，若否，则执行步骤S314；

步骤S314，优化第一预测模型，并将优化好的预测模型作为步骤S304所使用的当前（第一）预测模型；

步骤S316，判断第一匹配度是否大于第二匹配度，若是，则执行步骤S318，若否，则执行步骤S314；

此外，在本实施例中，在已将线上的预测模型进行替换等调整后，还可以但不限于对模型的参数进行判断，以明确是否可直接应用至目标应用中，下面以目标应用为移动端的应用程序为例说明，具体内容如图3所示，步骤如下：

步骤S318，替换线上的第二预测模型；

步骤S320，判断第一预测模型的参数是否符合移动端要求，若否，则执行步骤S322，若是，则执行步骤S324；

步骤S322，将第一预测模型配置到后台；

步骤S324，将第一预测模型配置到前端；

步骤S326，获取用户公开好友列表数据；

步骤S328，获取分群组（圈）结果；

步骤S330，按照规则抽取分群组（圈），并提取分圈的制定人（账号）数；

步骤S332，将选中的人选作为选项进行显示。

需要说明的是，通过对群组预测模型的匹配度测试，将线上使用的群组预测模型调整为更优的群组预测模型，进而调整线上使用的预测模型为预测准确性更高的预测模型，从而提高了线上使用的预测模型的预测准确性。

进一步举例说明，可选地如图4所示，根据第一群组预测模型402，在目标应用中的目标账号404的关联账号集合406中，确定第一预测群组集合408，其中，关联账号集合406中包括了与目标账号404之间具有关联关系的多个账号，如账号1、账号2、账号3等，第一预测群组集合408中包括多个预测群组，如预测群组408-1、预测群组408-2、预测群组408-3，且每个预测群组中也包括了相同或不同的账号（图中所示为不同账号，但相同账号可处于不同的预测群组中，在此不做限定）；

再者，以图4所示场景为基础，继续以图5为例，进而根据第一预测群组集合408中的每个预测群组中的账号与预先获取的实际群组集合502中的实际群组中的账号之间的匹配信息，确定第一预测群组集合408与实际群组集合502之间的第一匹配度504，其中，实际群组集合502中包括多个实际群组，如实际群组502-1、实际群组502-2、实际群组502-3；比较第一匹配度504与第二匹配度506，并根据比较结果，确定最终的线上预测算法508。

可选地，在本实施例中，在将上述群组预测模型的测试方法应用至实际应用场景的情况下，可以但不限于如图6所示，假设由某账号（如账号A）登录的目标应用602中显示有问题集合的选择界面，并获取对该选择界面上显示的问题2的虚拟按钮“选择”的账号预测指令，具体可参考图6中的（a）所示；再者，响应于上述账号预测指令，对问题2进行响应预测，在与账号A关联的多个账号中选取预测账号604，并将预测账号604作为问题2的回答选项显示在图6中的（b）所示的界面中，以供账号A进行选择，从而完成问题2的答复；

再者，若账户A不满意当前预测账号604与问题2之间的关联程度，则可对图7中的（a）所示的虚拟按钮“换人”进行触控操作，以触发预测账号的替换更新，如将图7中的（a）所示的预测账号604替换为图7中的（b）所示的预测账号702，其中，图7为以图6所示的场景为基础的附图；

此外，以图6所示的场景为基础，继续以图8所示，预测账号604的获取还可以但不限于与问题2的参考标识802相关联，如问题2的参考标识802为“初中”，则预测账号604可以但不限与账号A之间的关系为“初中”。

可选地，如图9所示，先根据参考信息（如问题的参考表示）对目标预测群组集合902中的账号进行初步筛选，以筛选得到备选账号（阴影），如账号1、账号2、账号4、账号5、账号6、账号7，并集合对预测账号的数量要求，确定预测账号904，例如假设数量要求为3，则选取同处一个预测群组且备选账号数量满足数量要求的账号，如将预测群组902-3中的账号4、账号5、账号6确定为预测账号904。

通过本申请提供的实施例，根据第一群组预测模型，确定目标应用中的目标账号的第一预测群组集合，其中，第一预测群组集合中的每个预测群组包括在目标账号的关联账号集合中预测出的一组账号；根据第一预测群组集合中的预测群组中的账号与预先获取的实际群组集合中的实际群组中的账号之间的匹配信息，确定第一预测群组集合与实际群组集合之间的第一匹配度，其中，实际群组集合中的每个实际群组包括在目标账号的关联账号集合中预先标注的一组账号；比较第一匹配度与第二匹配度，其中，第二匹配度表示第二预测群组集合与实际群组集合之间的匹配度，第二预测群组集合是根据目标应用在线使用的第二群组预测模型确定的目标账号的预测群组集合；在第一匹配度大于第二匹配度的情况下，将目标应用在线使用的第二群组预测模型替换为第一群组预测模型，通过对群组预测模型的匹配度测试，将线上使用的群组预测模型调整为更优的群组预测模型，进而达到了调整线上使用的预测模型为预测准确性更高的预测模型的目的，从而实现了提高线上使用的预测模型的预测准确性的技术效果。

作为一种可选的方案，根据第一预测群组集合中的预测群组中的账号与预先获取的实际群组集合中的实际群组中的账号之间的匹配信息，确定第一预测群组集合与实际群组集合之间的第一匹配度，包括：

S1，确定每个预测群组与每个实际群组的匹配关系，得到一组匹配关系，其中，在匹配关系为匹配时，预测群组和实际群组中具有的相同账号的数量大于或等于预设数量阈值，在匹配关系为不匹配时，预测群组和实际群组中具有的相同账号的数量小于预设数量阈值；

S2，根据一组匹配关系，确定每个预测群组与每个实际群组的第一类型账号的数量，得到一组第一类型账号的数量，其中，第一类型账号为在预测群组中、但未在实际群组中的账号；

S3，根据一组匹配关系，确定每个预测群组与每个实际群组的第二类型账号的数量，得到一组第二类型账号的数量，其中，第二类型账号为未在预测群组中、但在实际群组中的帐号；

S4，根据一组第一类型账号的数量和一组第二类型账号的数量，确定第一预测群组集合与实际群组集合之间的第一匹配度。

需要说明的是，根据一组第一类型账号以及一组第二类型账号的数量，确定第一预测群组集合与实际群组集合之间的第一匹配度，使得第一匹配度拥有群组集合之间的账号维度的匹配度，以提高第一匹配度的准确性。

进一步举例说明，可选的例如图5所示，预测群组408-1与实际群组502-1相比，相似的账号包括账号1、账号2，以及预测群组408-1与实际群组502-2相比，相似的账号包括账号9，但预测群组408-1与实际群组502-3相比，无相似的账号。

通过本申请提供的实施例，确定每个预测群组与每个实际群组的匹配关系，得到一组匹配关系，其中，在匹配关系为匹配时，预测群组和实际群组中具有的相同账号的数量大于或等于预设数量阈值，在匹配关系为不匹配时，预测群组和实际群组中具有的相同账号的数量小于预设数量阈值；根据一组匹配关系，确定每个预测群组与每个实际群组的第一类型账号的数量，得到一组第一类型账号的数量，其中，第一类型账号为在预测群组中、但未在实际群组中的账号；根据一组匹配关系，确定每个预测群组与每个实际群组的第二类型账号的数量，得到一组第二类型账号的数量，其中，第二类型账号为未在预测群组中、但在实际群组中的帐号；根据一组第一类型账号的数量和一组第二类型账号的数量，确定第一预测群组集合与实际群组集合之间的第一匹配度，达到了使得第一匹配度拥有群组集合之间的账号维度的匹配度的目的，实现了提高第一匹配度的准确性的效果。

作为一种可选的方案，根据一组匹配关系，确定每个预测群组与每个实际群组的第一类型账号的数量，得到一组第一类型账号的数量，包括：

S1，通过以下步骤确定第i个预测群组与第k个实际群组的第一类型账号的数量

：

S2，在第i个预测群组与第k个实际群组的匹配关系为匹配时，将

确定为第i个预测群组中与第k个实际群组中的账号不同的账号的数量；

S3，在第i个预测群组与第k个实际群组的匹配关系为不匹配时，将

确定为第i个预测群组中的账号的数量。

可选地，在本实施例中，对于相对多分人占比计算，首先计算预测群组Q中每个群组qi的绝对多分数AMPi，再结合每个群组qi中的人数Nqi和预测群组Q中群组的总数N计算得到相对多分人占比RMP。相对多分人占比RMP可用于评估当前预测算法的多分情况，根据需求限制不同的RMP来实现算法对多分情况的宽容度。

对于每个群组qi的绝对多分数AMPi计算，首先，计算预测群组qi与每个实际群组rk的多分人数AMPik，如下述公式(1)：

(1)；

即，若预测群组qi与实际群组rk匹配，多分人数AMPik为在qi中，且不在rk中的人数；若预测群组qi与实际群组rk不匹配，多分人数AMPik为群组在qi中的人数Nqi。

最终，绝对多分数AMPi为所有AMPik中的最小值，如下述公式(2)：

(2)；

即，绝对多分数AMPi为所有AMPik中的最小值。

此外，对于相对多分人占比RMP的计算，首先，计算每个预测群组qi的多分占比RMPi，如下述公式(3)：

(3)；

其中，AMPi为群组qi的绝对多分数，Nqi为群组qi中总人数。

最终，相对多分人占比RMP为集合Q中所有群组qi的RMPi加和除以群组总数N，如公式(4)：

(4)；

其中，N为预测群组集合Q中群组的总数。

通过本申请提供的实施例，通过以下步骤确定第i个预测群组与第k个实际群组的第一类型账号的数量

：在第i个预测群组与第k个实际群组的匹配关系为匹配时，将

确定为第i个预测群组中与第k个实际群组中的账号不同的账号的数量；在第i个预测群组与第k个实际群组的匹配关系为不匹配时，将

确定为第i个预测群组中的账号的数量，达到了全面评预测模型的匹配度的目的，实现了提高匹配度的评估维度的效果。

作为一种可选的方案，根据一组匹配关系，确定每个预测群组与每个实际群组的第二类型账号的数量，得到一组第二类型账号的数量，包括：

S1，通过以下步骤确定第i个预测群组与第k个实际群组的第二类型账号的数量

：

确定为第k个实际群组中与第i个预测群组中的账号不同的账号的数量；

确定为第k个实际群组中的账号的数量。

可选地，在本实施例中，对于相对少分人占比计算，首先计算预测群组Q中每个群组qi的绝对少分数ALPi，再结合每个群组qi中的人数Nqi和预测群组Q中群组的总数N计算得到相对少分人占比RLP。相对少分人占比RLP可用于评估当前预测算法的少分情况，根据需求限制不同的RLP来实现算法对少分情况的宽容度。

对于每个群组qi的绝对少分数ALPi计算，首先，计算预测群组qi与每个实际群组rk的少分人数ALPik，如下述公式(5)：

公式(5)

即，若预测群组qi与实际群组rk匹配，多分人数ALPik为不在qi中，且在rk中的人数；若预测群组qi与实际群组rk不匹配，多分人数ALPik为群组在rk中的人数Mrk。

最终，绝对少分数ALPi为所有ALPik中的最小值，如下述公式(6)：

公式(6)

即，绝对少分数ALPi为所有ALPik中的最小值。

对于相对少分人占比RLP的计算，首先，计算每个预测群组qi的少分占比RLPi，如公式(7)。最终，相对少分人占比RLP为集合Q中所有群组qi的RLPi加和除以群组总数N，如下述公式(8)：

公式(7)

其中，ALPi为群组qi的绝对少分数，Mrk为ALPi中最终选取的ALPik对应的实际群组rk中总人数。

相对少分人占比RLP如下述公式（8）：

公式(8)

其中，N为预测群组集合Q中群组的总数。

通过本申请提供的实施例，通过以下步骤确定第i个预测群组与第k个实际群组的第二类型账号的数量

确定为第k个实际群组中与第i个预测群组中的账号不同的账号的数量；在第i个预测群组与第k个实际群组的匹配关系为不匹配时，将

确定为第k个实际群组中的账号的数量，达到了全面评预测模型的匹配度的目的，实现了提高匹配度的评估准确性的效果。

作为一种可选的方案，根据一组第一类型账号的数量和一组第二类型账号的数量，确定第一预测群组集合与实际群组集合之间的第一匹配度，包括：

S1，根据一组第一类型账号的数量和一组第二类型账号的数量，确定每个预测群组与每个实际群组之间的匹配度，得到一组匹配度；

S2，根据一组匹配度，确定第一预测群组集合与实际群组集合之间的第一匹配度。

S1，通过以下步骤确定第i个预测群组与第k个实际群组之间的匹配度

，其中，第i个预测群组与第k个实际群组的第一类型账号的数量为

，第i个预测群组与第k个实际群组的第二类型账号的数量为

：

S2，将

确定为目标差值除以目标和值所得到的值，其中，目标和值为第i个预测群组中的账号的数量与第k个实际群组中的账号的数量之和，目标差值为目标和值减去

与

的加权和。

可选地，在本实施例中，对于匹配度的计算，首先计算预测群组Q中每一个群组qi与实际群组R中每一个群组rk的匹配度CRik，如下述公式(9)所示：

(9)

其中，对于群组qi，定义预测群组qi相对于实际群组rk的匹配度，Nqi为qi中的总人数，Nrk为rk中的总人数，AMPik为qi与rk的绝对多分人数，ALPik为qi与rk的绝对少分人数。α表示对多分的容忍度，α越大，容忍度越低。β表示对少分的容忍度，β越大，容忍度越低。

通过本申请提供的实施例，通过以下步骤确定第i个预测群组与第k个实际群组之间的匹配度

，第i个预测群组与第k个实际群组的第二类型账号的数量为

：将

与

的加权和，达到了的目的，实现了提高匹配度的计算准确性的效果。

作为一种可选的方案，根据一组匹配度，确定第一预测群组集合与实际群组集合之间的第一匹配度，包括：

S1，对于第i个预测群组，取最大的

作为第i个预测群组的匹配度

，其中，

为第i个预测群组与第k个实际群组之间的匹配度；

S2，将第一匹配度确定为每个预测群组的匹配度的平均值。

S1，根据一组匹配关系，确定第一预测群组集合中的第一类型群组的数量，其中，第一类型群组与实际群组集合中的每个实际群组的匹配关系均为不匹配；

S2，根据一组匹配关系，确定实际群组集合中的第二类型群组的数量，其中，第二类型群组与第一预测群组集合中的每个预测群组的匹配关系均为不匹配；

S3，根据一组第一类型账号的数量和一组第二类型账号的数量、以及第一类型群组的数量和第二类型群组的数量，确定第一预测群组集合与实际群组集合之间的第一匹配度。

需要说明的是，根据一组第一类型账号的数量和一组第二类型账号的数量、以及第一类型群组的数量和第二类型群组的数量，通过账号以及群组两个维度的评估指标以确定第一预测群组集合与实际群组集合之间的第一匹配度，全面提高了匹配度的计算准确性。

进一步举例说明，可选的例如根据一组第一类型账号的数量和一组第二类型账号的数量、以及第一类型群组的数量和第二类型群组的数量这四个评估指标，分别得到依次对应的四个子匹配度，并进一步整合该四个子匹配度，从而获得全面度更高的第一匹配度；或，采用多种方式组合的方式，计算不同侧重的匹配度，例如先利用一组第一类型账号的数量和一组第二类型账号的数量获取第一子匹配度，再根据第一类型群组的数量获取第二子匹配度，再根据第二类型群组的数量获取第三子匹配度，进而整合第一子匹配度、第二子匹配度以及第三子匹配度，从而获得针对性更强的第一匹配度。

通过本申请提供的实施例，根据一组匹配关系，确定第一预测群组集合中的第一类型群组的数量，其中，第一类型群组与实际群组集合中的每个实际群组的匹配关系均为不匹配；根据一组匹配关系，确定实际群组集合中的第二类型群组的数量，其中，第二类型群组与第一预测群组集合中的每个预测群组的匹配关系均为不匹配；根据一组第一类型账号的数量和一组第二类型账号的数量、以及第一类型群组的数量和第二类型群组的数量，确定第一预测群组集合与实际群组集合之间的第一匹配度，实现了提高匹配度的计算全面性的效果。

作为一种可选的方案，根据一组第一类型账号的数量和一组第二类型账号的数量、以及第一类型群组的数量和第二类型群组的数量，确定第一预测群组集合与实际群组集合之间的第一匹配度，包括：

S1，将错分圈占比确定为第一类型群组的数量除以第一预测群组集合中的预测群组的数量所得到的值；

S2，将漏分圈占比确定为第二类型群组的数量除以实际群组集合中的实际群组的数量所得到的值；

S3，根据一组第一类型账号的数量和一组第二类型账号的数量、以及错分圈占比和漏分圈占比，确定第一预测群组集合与实际群组集合之间的第一匹配度。

可选地，在本实施例中，对于相对漏分圈占比计算，首先计算实际群组R中无法与预测群组Q中任一群组匹配的群组总数，即绝对漏分圈总数ALQ，如下子项中定义。再结合实际群组R中群组的总数M计算得到相对漏分圈占比RLQ，如下述公式(10)：

(10)

其中，相对漏分圈占比RLQ可用于评估当前预测算法的漏分情况，根据需求限制不同的RLQ来实现算法对漏分情况的宽容度。即，绝对漏分圈总数ALQ在实际群组集合R中的占比，其中M为实际群组集合R中群组的总数。

此外，对于R中每个群组rk，如果无法与Q中任一群组匹配，认为rk漏分。则实际群组集合R未与预测群组集合Q匹配的总数，为绝对漏分圈总数ALQ。

通过本申请提供的实施例，将错分圈占比确定为第一类型群组的数量除以第一预测群组集合中的预测群组的数量所得到的值；将漏分圈占比确定为第二类型群组的数量除以实际群组集合中的实际群组的数量所得到的值；根据一组第一类型账号的数量和一组第二类型账号的数量、以及错分圈占比和漏分圈占比，确定第一预测群组集合与实际群组集合之间的第一匹配度，达到了全面评预测模型的匹配度的目的，实现了提高匹配度的评估准确性的效果。

作为一种可选的方案，根据一组第一类型账号的数量和一组第二类型账号的数量、以及错分圈占比和漏分圈占比，确定第一预测群组集合与实际群组集合之间的第一匹配度，包括：

S1，根据一组第一类型账号的数量和一组第二类型账号的数量，确定第一预测群组集合中的每个预测群组的匹配度的平均值；

S2，将未错分圈占比确定为1-错分圈占比，并将未漏分圈占比确定为1-漏分圈占比；

S3，将第一匹配度确定为匹配度的平均值、未错分圈占比以及未漏分圈占比三者的加权和。

可选地，在本实施例中，对于相对错分圈占比计算，首先计算预测群组Q中无法与实际群组R中任一群组匹配的群组总数，即绝对错分圈总数AMQ，如下子项中定义。再结合预测群组Q中群组的总数N计算得到相对错分圈占比RMQ，如下述公式(11)：

(11)

其中，相对错分圈占比RMQ可用于评估当前预测算法的错分情况，根据需求限制不同的RMQ来实现算法对错分情况的宽容度。即，绝对错分圈总数AMQ在预测群组集合Q中的占比，其中N为预测群组集合Q中群组的总数。

此外，对于Q中每个群组qi，如果无法与R中任一群组匹配，认为qi错分。则预测群组集合Q中无法与实际群组集合R匹配的总数，为绝对错分圈总数AMQ。

通过本申请提供的实施例，根据一组第一类型账号的数量和一组第二类型账号的数量，确定第一预测群组集合中的每个预测群组的匹配度的平均值；将未错分圈占比确定为1-错分圈占比，并将未漏分圈占比确定为1-漏分圈占比；将第一匹配度确定为匹配度的平均值、未错分圈占比以及未漏分圈占比三者的加权和，达到了全面评预测模型的匹配度的目的，实现了提高匹配度的评估准确性的效果。

作为一种可选的方案，对于第一匹配度的计算，还可以但不限于结合预测群组Q中群组的总数N、相对错分圈占比RMQ、相对漏分圈占比RLQ几个指标计算得到最终匹配度CR，如下述公式(12)，对于群组qi，定义预测群组qi相对于实际群组rk的匹配度：

(12)

具体的，整体匹配度CR由三个部分组成：

第一部分基于匹配度CRik得到，具体地，对于每个群组qi，取最大的CRik作为qi的匹配度CRi，对Q中所有群组的匹配度求平均，用以评估分圈算法细节匹配情况；

第二部分基于相对错分圈占比RMQ得到，

代表未错分圈的占比，用以评估分圈算法错分表现情况；

第三部分基于相对漏分圈占比RLQ得到，

代表未漏分圈的占比，用以评估分圈算法漏分表现情况。

其中，

。ζ表示对分圈细节的重视程度，ζ越大，重视程度越高；η表示对错分情况的容忍度，η越大，容忍度越低；θ表示对漏分情况的容忍度，θ越大，容忍度越低。

可选地，在本实施例中，当计算完所有评估指标后，进入算法评估阶段。将整体匹配度CR依次与合理匹配区间阈值σ及线上算法匹配度CR’比较，若两者均符合要求，则进入线上使用阶段，否则继续优化算法并评估。

对于整体匹配度CR与合理匹配区间阈值σ的比较，主要评估算法是否符合匹配的基本要求，若当前预测算法CR>σ，则符合要求。

对于整体匹配度CR与线上算法匹配度CR’的比较，主要评估算法是否优于线上算法，即可以替换线上算法。若当前预测算法CR>线上算法CR’，则可以替换。

对于未同时通过两项比较的情况，可基于步骤2中计算的五项指标（相对多分人占比、相对少分人占比、相对错分圈占比、相对漏分圈占比、群组匹配度），根据业务需求，进行优化。优化后的预测算法，带入步骤1重新评估。

当通过算法评估后，进入线上使用阶段。将评估通过的群组预测算法根据模型特性部署于对应平台，根据线上用户公开好友列表数据输出好友分圈结果。对于每一道问题描述，从分圈结果中抽取指定人数，将选中的人选作为问题的选项进行显示，供用户选择。

此外，对于群组预测算法的部署，根据模型大小和预测速度进行不同部署。若大小和速度符合前端运行阈值，则部署在前端上，否则部署在后台。

对于每一道问题描述的选项人选，根据群组在问题中被选中的频次、群组大小等因素，给予不同权重进行抽取。并从抽取到的群组中提取指定人数作为问题选项。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

根据本发明实施例的另一个方面，还提供了一种用于实施上述群组预测模型的测试方法的群组预测模型的测试装置。如图10所示，该装置包括：

第一确定单元1002，用于根据第一群组预测模型，确定目标应用中的目标账号的第一预测群组集合，其中，第一预测群组集合中的每个预测群组包括在目标账号的关联账号集合中预测出的一组账号；

第二确定单元1004，用于根据第一预测群组集合中的预测群组中的账号与预先获取的实际群组集合中的实际群组中的账号之间的匹配信息，确定第一预测群组集合与实际群组集合之间的第一匹配度，其中，实际群组集合中的每个实际群组包括在目标账号的关联账号集合中预先标注的一组账号；

比较单元1006，用于比较第一匹配度与第二匹配度，其中，第二匹配度表示第二预测群组集合与实际群组集合之间的匹配度，第二预测群组集合是根据目标应用在线使用的第二群组预测模型确定的目标账号的预测群组集合；

调整单元1008，用于在第一匹配度大于第二匹配度的情况下，将目标应用在线使用的第二群组预测模型替换为第一群组预测模型。

可选地，在本实施例中，上述群组预测模型的测试装置可以但不限于应用在对账号进行群组预测的场景下，例如在需要让用户对每道描述问题在出现的人中选择最符合的人选完成回答的具体场景下，要求每次出现的人选对应的账号是属于同一个好友群组的。而上述群组预测模型的测试装置就是在找预测好友群组的过程中，提供了一种有效的匹配度评估方式，以判定通过预测模型获得的好友群组与实际标记的好友群组的匹配度，并能够针对性的找到可优化方向。

具体实施例可以参考上述群组预测模型的测试装置中所示示例，本示例中在此不再赘述。

作为一种可选的方案，第二确定单元1004，包括：

第一确定模块，用于确定每个预测群组与每个实际群组的匹配关系，得到一组匹配关系，其中，在匹配关系为匹配时，预测群组和实际群组中具有的相同账号的数量大于或等于预设数量阈值，在匹配关系为不匹配时，预测群组和实际群组中具有的相同账号的数量小于预设数量阈值；

第二确定模块，用于根据一组匹配关系，确定每个预测群组与每个实际群组的第一类型账号的数量，得到一组第一类型账号的数量，其中，第一类型账号为在预测群组中、但未在实际群组中的账号；

第三确定模块，用于根据一组匹配关系，确定每个预测群组与每个实际群组的第二类型账号的数量，得到一组第二类型账号的数量，其中，第二类型账号为未在预测群组中、但在实际群组中的帐号；

第四确定模块，用于根据一组第一类型账号的数量和一组第二类型账号的数量，确定第一预测群组集合与实际群组集合之间的第一匹配度。

具体实施例可以参考上述群组预测模型的测试方法中所示示例，本示例中在此不再赘述。

作为一种可选的方案，第二确定模块，包括：

第一确定子模块，用于通过以下步骤确定第i个预测群组与第k个实际群组的第一类型账号的数量

：

第二确定子模块，用于在第i个预测群组与第k个实际群组的匹配关系为匹配时，将

第三确定子模块，用于在第i个预测群组与第k个实际群组的匹配关系为不匹配时，将

确定为第i个预测群组中的账号的数量。

作为一种可选的方案，第三确定模块，包括：

第四确定子模块，用于通过以下步骤确定第i个预测群组与第k个实际群组的第二类型账号的数量

：

第五确定子模块，用于在第i个预测群组与第k个实际群组的匹配关系为匹配时，将

第六确定子模块，用于在第i个预测群组与第k个实际群组的匹配关系为不匹配时，将

确定为第k个实际群组中的账号的数量。

作为一种可选的方案，第四确定模块，包括：

第七确定子模块，用于根据一组第一类型账号的数量和一组第二类型账号的数量，确定每个预测群组与每个实际群组之间的匹配度，得到一组匹配度；

第八确定子模块，用于根据一组匹配度，确定第一预测群组集合与实际群组集合之间的第一匹配度。

作为一种可选的方案，第四确定模块，包括：

第九确定子模块，用于通过以下步骤确定第i个预测群组与第k个实际群组之间的匹配度

，第i个预测群组与第k个实际群组的第二类型账号的数量为

：

第十确定子模块，用于将

与

的加权和。

作为一种可选的方案，第八确定子模块，包括：

第十一确定子模块，用于对于第i个预测群组，取最大的

作为第i个预测群组的匹配度

，其中，

为第i个预测群组与第k个实际群组之间的匹配度；

第十二确定子模块，用于将第一匹配度确定为每个预测群组的匹配度的平均值。

作为一种可选的方案，第四确定模块，包括：

第十三确定子模块，用于根据一组匹配关系，确定第一预测群组集合中的第一类型群组的数量，其中，第一类型群组与实际群组集合中的每个实际群组的匹配关系均为不匹配；

第十四确定子模块，用于根据一组匹配关系，确定实际群组集合中的第二类型群组的数量，其中，第二类型群组与第一预测群组集合中的每个预测群组的匹配关系均为不匹配；

第十五确定子模块，用于根据一组第一类型账号的数量和一组第二类型账号的数量、以及第一类型群组的数量和第二类型群组的数量，确定第一预测群组集合与实际群组集合之间的第一匹配度。

作为一种可选的方案，第十五确定子模块，包括：

第一计算子单元，用于将错分圈占比确定为第一类型群组的数量除以第一预测群组集合中的预测群组的数量所得到的值；

第二计算子单元，用于将漏分圈占比确定为第二类型群组的数量除以实际群组集合中的实际群组的数量所得到的值；

第三计算子单元，用于根据一组第一类型账号的数量和一组第二类型账号的数量、以及错分圈占比和漏分圈占比，确定第一预测群组集合与实际群组集合之间的第一匹配度。

作为一种可选的方案，第三计算子单元，包括：

第一子确定模块，用于根据一组第一类型账号的数量和一组第二类型账号的数量，确定第一预测群组集合中的每个预测群组的匹配度的平均值；

第二子确定模块，用于将未错分圈占比确定为1-错分圈占比，并将未漏分圈占比确定为1-漏分圈占比；

第三子确定模块，用于将第一匹配度确定为匹配度的平均值、未错分圈占比以及未漏分圈占比三者的加权和。

根据本发明实施例的又一个方面，还提供了一种用于实施上述群组预测模型的测试方法的电子设备，如图11所示，该电子设备包括存储器1102和处理器1104，该存储器1102中存储有计算机程序，该处理器1104被设置为通过计算机程序执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述电子设备可以位于计算机网络的多个网络设备中的至少一个网络设备。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，根据第一群组预测模型，确定目标应用中的目标账号的第一预测群组集合，其中，第一预测群组集合中的每个预测群组包括在目标账号的关联账号集合中预测出的一组账号；

S2，根据第一预测群组集合中的预测群组中的账号与预先获取的实际群组集合中的实际群组中的账号之间的匹配信息，确定第一预测群组集合与实际群组集合之间的第一匹配度，其中，实际群组集合中的每个实际群组包括在目标账号的关联账号集合中预先标注的一组账号；

S3，比较第一匹配度与第二匹配度，其中，第二匹配度表示第二预测群组集合与实际群组集合之间的匹配度，第二预测群组集合是根据目标应用在线使用的第二群组预测模型确定的目标账号的预测群组集合；

S4，在第一匹配度大于第二匹配度的情况下，将目标应用在线使用的第二群组预测模型替换为第一群组预测模型。

可选地，本领域普通技术人员可以理解，图11所示的结构仅为示意，电子设备也可以是智能手机（如Android手机、iOS手机等）、平板电脑、掌上电脑以及移动互联网设备（Mobile Internet Devices，MID）、PAD等终端设备。图11其并不对上述电子设备的结构造成限定。例如，电子设备还可包括比图11中所示更多或者更少的组件（如网络接口等），或者具有与图11所示不同的配置。

其中，存储器1102可用于存储软件程序以及模块，如本发明实施例中的群组预测模型的测试方法和装置对应的程序指令/模块，处理器1104通过运行存储在存储器1102内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的群组预测模型的测试方法。存储器1102可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器1102可进一步包括相对于处理器1104远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中，存储器1102具体可以但不限于用于存储第一群组预测模型、第一匹配度、第二匹配度以及第二群组预测模型等信息。作为一种示例，如图11所示，上述存储器1102中可以但不限于包括上述群组预测模型的测试装置中的第一确定单元1002、第二确定单元1004、比较单元1006及调整单元1008。此外，还可以包括但不限于上述群组预测模型的测试装置中的其他模块单元，本示例中不再赘述。

可选地，上述的传输装置1106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置1106包括一个网络适配器（Network Interface Controller，NIC），其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置1106为射频（Radio Frequency，RF）模块，其用于通过无线方式与互联网进行通讯。

此外，上述电子设备还包括：显示器1108，用于显示上述第一群组预测模型、第一匹配度、第二匹配度以及第二群组预测模型等信息；和连接总线1110，用于连接上述电子设备中的各个模块部件。

在其他实施例中，上述终端设备或者服务器可以是一个分布式系统中的一个节点，其中，该分布式系统可以为区块链系统，该区块链系统可以是由该多个节点通过网络通信的形式连接形成的分布式系统。其中，节点之间可以组成点对点（Peer To Peer，简称P2P）网络，任意形式的计算设备，比如服务器、终端等电子设备都可以通过加入该点对点网络而成为该区块链系统中的一个节点。

根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述群组预测模型的测试方法，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述计算机可读的存储介质可以被设置为存储用于执行以下步骤的计算机程序：

可选地，在本实施例中，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器（Read-Only Memory，ROM）、随机存取器（Random Access Memory，RAM）、磁盘或光盘等。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备（可为个人计算机、服务器或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims

1.一种群组预测模型的测试方法，其特征在于，包括：

根据第一群组预测模型，确定目标应用中的目标账号的第一预测群组集合，其中，所述第一预测群组集合中的每个预测群组包括在所述目标账号的关联账号集合中预测出的一组账号；

根据所述第一预测群组集合中的预测群组中的账号与预先获取的实际群组集合中的实际群组中的账号之间的匹配信息，确定所述第一预测群组集合与所述实际群组集合之间的第一匹配度，其中，所述实际群组集合中的每个实际群组包括在所述目标账号的所述关联账号集合中预先标注的一组账号；

比较所述第一匹配度与第二匹配度，其中，所述第二匹配度表示第二预测群组集合与所述实际群组集合之间的匹配度，所述第二预测群组集合是根据所述目标应用在线使用的第二群组预测模型确定的所述目标账号的预测群组集合；

在所述第一匹配度大于所述第二匹配度的情况下，将所述目标应用在线使用的所述第二群组预测模型替换为所述第一群组预测模型。

2.根据权利要求1所述的方法，其特征在于，所述根据所述第一预测群组集合中的预测群组中的账号与预先获取的实际群组集合中的实际群组中的账号之间的匹配信息，确定所述第一预测群组集合与所述实际群组集合之间的第一匹配度，包括：

确定每个预测群组与每个实际群组的匹配关系，得到一组匹配关系，其中，在所述匹配关系为匹配时，所述预测群组和所述实际群组中具有的相同账号的数量大于或等于预设数量阈值，在所述匹配关系为不匹配时，所述预测群组和所述实际群组中具有的相同账号的数量小于所述预设数量阈值；

根据所述一组匹配关系，确定所述每个预测群组与所述每个实际群组的第一类型账号的数量，得到一组第一类型账号的数量，其中，所述第一类型账号为在所述预测群组中、但未在所述实际群组中的账号；

根据所述一组匹配关系，确定所述每个预测群组与所述每个实际群组的第二类型账号的数量，得到一组第二类型账号的数量，其中，所述第二类型账号为未在所述预测群组中、但在所述实际群组中的帐号；

根据所述一组第一类型账号的数量和所述一组第二类型账号的数量，确定所述第一预测群组集合与所述实际群组集合之间的第一匹配度。

3.根据权利要求2所述的方法，其特征在于，所述根据所述一组匹配关系，确定所述每个预测群组与所述每个实际群组的第一类型账号的数量，得到一组第一类型账号的数量，包括：

通过以下步骤确定第i个预测群组与第k个实际群组的第一类型账号的数量

：

在所述第i个预测群组与所述第k个实际群组的匹配关系为匹配时，将

确定为所述第i个预测群组中与所述第k个实际群组中的账号不同的账号的数量；

在所述第i个预测群组与所述第k个实际群组的匹配关系为不匹配时，将

确定为所述第i个预测群组中的账号的数量。

4.根据权利要求2所述的方法，其特征在于，所述根据所述一组匹配关系，确定所述每个预测群组与所述每个实际群组的第二类型账号的数量，得到一组第二类型账号的数量，包括：

通过以下步骤确定第i个预测群组与第k个实际群组的第二类型账号的数量

：

确定为所述第k个实际群组中与所述第i个预测群组中的账号不同的账号的数量；

确定为所述第k个实际群组中的账号的数量。

5.根据权利要求2所述的方法，其特征在于，所述根据所述一组第一类型账号的数量和所述一组第二类型账号的数量，确定所述第一预测群组集合与所述实际群组集合之间的第一匹配度，包括：

根据所述一组第一类型账号的数量和所述一组第二类型账号的数量，确定所述每个预测群组与所述每个实际群组之间的匹配度，得到一组匹配度；

根据所述一组匹配度，确定所述第一预测群组集合与所述实际群组集合之间的第一匹配度。

6.根据权利要求5所述的方法，其特征在于，所述根据所述一组第一类型账号的数量和所述一组第二类型账号的数量，确定所述第一预测群组集合与所述实际群组集合之间的第一匹配度，包括：

通过以下步骤确定第i个预测群组与第k个实际群组之间的匹配度

，其中，所述第i个预测群组与所述第k个实际群组的所述第一类型账号的数量为

，所述第i个预测群组与所述第k个实际群组的所述第二类型账号的数量为

：

将

确定为目标差值除以目标和值所得到的值，其中，所述目标和值为所述第i个预测群组中的账号的数量与所述第k个实际群组中的账号的数量之和，所述目标差值为所述目标和值减去

与

的加权和。

7.根据权利要求5所述的方法，其特征在于，所述根据所述一组匹配度，确定所述第一预测群组集合与所述实际群组集合之间的第一匹配度，包括：

对于第i个预测群组，取最大的

作为所述第i个预测群组的匹配度

，其中，

为所述第i个预测群组与第k个实际群组之间的匹配度；

将所述第一匹配度确定为每个预测群组的匹配度的平均值。

8.根据权利要求2所述的方法，其特征在于，所述根据所述一组第一类型账号的数量和所述一组第二类型账号的数量，确定所述第一预测群组集合与所述实际群组集合之间的第一匹配度，包括：

根据所述一组匹配关系，确定所述第一预测群组集合中的第一类型群组的数量，其中，所述第一类型群组与所述实际群组集合中的每个实际群组的匹配关系均为不匹配；

根据所述一组匹配关系，确定所述实际群组集合中的第二类型群组的数量，其中，所述第二类型群组与所述第一预测群组集合中的每个预测群组的匹配关系均为不匹配；

根据所述一组第一类型账号的数量和所述一组第二类型账号的数量、以及所述第一类型群组的数量和所述第二类型群组的数量，确定所述第一预测群组集合与所述实际群组集合之间的所述第一匹配度。

9.根据权利要求8所述的方法，其特征在于，所述根据所述一组第一类型账号的数量和所述一组第二类型账号的数量、以及所述第一类型群组的数量和所述第二类型群组的数量，确定所述第一预测群组集合与所述实际群组集合之间的所述第一匹配度，包括：

将错分圈占比确定为所述第一类型群组的数量除以所述第一预测群组集合中的预测群组的数量所得到的值；

将漏分圈占比确定为所述第二类型群组的数量除以所述实际群组集合中的实际群组的数量所得到的值；

根据所述一组第一类型账号的数量和所述一组第二类型账号的数量、以及所述错分圈占比和所述漏分圈占比，确定所述第一预测群组集合与所述实际群组集合之间的所述第一匹配度。

10.根据权利要求9所述的方法，其特征在于，所述根据所述一组第一类型账号的数量和所述一组第二类型账号的数量、以及所述错分圈占比和所述漏分圈占比，确定所述第一预测群组集合与所述实际群组集合之间的所述第一匹配度，包括：

根据所述一组第一类型账号的数量和所述一组第二类型账号的数量，确定所述第一预测群组集合中的每个预测群组的匹配度的平均值；

将未错分圈占比确定为1-所述错分圈占比，并将未漏分圈占比确定为1-所述漏分圈占比；

将所述第一匹配度确定为所述匹配度的平均值、所述未错分圈占比以及所述未漏分圈占比三者的加权和。

11.一种群组预测模型的测试装置，其特征在于，包括：

第一确定单元，用于根据第一群组预测模型，确定目标应用中的目标账号的第一预测群组集合，其中，所述第一预测群组集合中的每个预测群组包括在所述目标账号的关联账号集合中预测出的一组账号；

第二确定单元，用于根据所述第一预测群组集合中的预测群组中的账号与预先获取的实际群组集合中的实际群组中的账号之间的匹配信息，确定所述第一预测群组集合与所述实际群组集合之间的第一匹配度，其中，所述实际群组集合中的每个实际群组包括在所述目标账号的所述关联账号集合中预先标注的一组账号；

比较单元，用于比较所述第一匹配度与第二匹配度，其中，所述第二匹配度表示第二预测群组集合与所述实际群组集合之间的匹配度，所述第二预测群组集合是根据所述目标应用在线使用的第二群组预测模型确定的所述目标账号的预测群组集合；

调整单元，用于在所述第一匹配度大于所述第二匹配度的情况下，将所述目标应用在线使用的所述第二群组预测模型替换为所述第一群组预测模型。

12.根据权利要求11所述的装置，其特征在于，所述第二确定单元，包括：

第一确定模块，用于确定每个预测群组与每个实际群组的匹配关系，得到一组匹配关系，其中，在所述匹配关系为匹配时，所述预测群组和所述实际群组中具有的相同账号的数量大于或等于预设数量阈值，在所述匹配关系为不匹配时，所述预测群组和所述实际群组中具有的相同账号的数量小于所述预设数量阈值；

第二确定模块，用于根据所述一组匹配关系，确定所述每个预测群组与所述每个实际群组的第一类型账号的数量，得到一组第一类型账号的数量，其中，所述第一类型账号为在所述预测群组中、但未在所述实际群组中的账号；

第三确定模块，用于根据所述一组匹配关系，确定所述每个预测群组与所述每个实际群组的第二类型账号的数量，得到一组第二类型账号的数量，其中，所述第二类型账号为未在所述预测群组中、但在所述实际群组中的帐号；

第四确定模块，用于根据所述一组第一类型账号的数量和所述一组第二类型账号的数量，确定所述第一预测群组集合与所述实际群组集合之间的第一匹配度。

13.根据权利要求12所述的装置，其特征在于，所述第二确定模块，包括：

：

第二确定子模块，用于在所述第i个预测群组与所述第k个实际群组的匹配关系为匹配时，将

第三确定子模块，用于在所述第i个预测群组与所述第k个实际群组的匹配关系为不匹配时，将

确定为所述第i个预测群组中的账号的数量。

14.一种计算机可读的存储介质，其特征在于，所述计算机可读的存储介质包括存储的程序，其中，所述程序运行时执行上述权利要求1至10任一项中所述的方法。

15.一种电子设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行所述权利要求1至10任一项中所述的方法。