CN112799949A - 一种模型优化方法、装置、系统及设备 - Google Patents
一种模型优化方法、装置、系统及设备 Download PDFInfo
- Publication number
- CN112799949A CN112799949A CN202110154006.4A CN202110154006A CN112799949A CN 112799949 A CN112799949 A CN 112799949A CN 202110154006 A CN202110154006 A CN 202110154006A CN 112799949 A CN112799949 A CN 112799949A
- Authority
- CN
- China
- Prior art keywords
- model
- target operation
- scene type
- service scene
- client
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005457 optimization Methods 0.000 title claims abstract description 74
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000000694 effects Effects 0.000 claims abstract description 75
- 238000002474 experimental method Methods 0.000 claims abstract description 40
- 238000012545 processing Methods 0.000 claims abstract description 23
- 238000004590 computer program Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 9
- 238000003860 storage Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000012360 testing method Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012821 model calculation Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3688—Test management for test execution, e.g. scheduling of test suites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3664—Environments for testing or debugging software
Abstract
本申请公开了一种模型优化方法、装置、系统及设备，包括：接收客户端发送的业务场景类型和入参信息；根据业务场景类型从预设模型库中确定目标运算模型，利用入参信息中的输入特征对目标运算模型进行配置；基于ABTest实验框架利用配置后的目标运算模型进行相应的运算处理以得到与业务场景类型对应的模型运算结果，将模型运算结果返回至客户端；获取客户端返回的能表征对模型运算结果的认可程度的效果数据，并基于效果数据从目标运算模型中确定出最优模型。本申请基于ABTest实验框架对指定业务场景类型下的多个离线运算模型进行测试，通过线上查看并分析客户端返回的效果数据确定最优模型，缩短优化周期，提高优化效率。
Description
技术领域
本发明涉及计算机技术领域，特别涉及一种模型优化方法、装置、系统及设备。
背景技术
通常与大数据相关的业务，都或多或少存在使用计算模型的情况，根据用户使用等效果数据进行训练，不断优化模型，提升模型计算的精准度。但模型的优化训练，需要根据收集的效果数据，也即模型计算的结果，进行前后对比，选择使用效果更好的模型，或者根据现有效果在对模型的算法进行调整的基础上进一步测试。这种离线训练的方式，需要每次更新模型后，重新发送到线上运行一段时间后收集效果数据，才能再次进行对比优化。这种优化方式效率低周期长，而且会和业务发布耦合，造成很大的项目风险。另外线上效果查询都要去查询数据库报表，进行数据对比十分麻烦不够直观。
发明内容
有鉴于此，本发明的目的在于提供一种模型优化方法、装置、设备及存储介质，基于ABTest实验框架对指定业务场景类型下的多个离线运算模型进行测试，通过线上查看并分析客户端返回的效果数据确定出最优模型，缩短了模型优化周期，提高了优化效率，且无需关心模型的具体内容，只需根据业务场景调用模型接口传参即可，减少了模型升级部署成本，加快了模型更新迭代频率。其具体方案如下：
本申请的第一方面提供了一种模型优化方法，应用于服务端，包括：
接收客户端发送的业务场景类型和入参信息；其中，所述入参信息包含所述目标运算模型的输入特征；
根据所述业务场景类型从预设模型库中确定所述目标运算模型，并利用所述入参信息中的所述输入特征对所述目标运算模型进行配置；其中，所述目标运算模型为所述业务场景类型下的多个离线运算模型；
基于ABTest实验框架利用配置后的所述目标运算模型进行相应的运算处理以得到与所述业务场景类型对应的模型运算结果，并将所述模型运算结果返回至所述客户端；
获取所述客户端返回的能表征对所述模型运算结果的认可程度的效果数据，并基于所述效果数据从所述目标运算模型中确定出最优模型。
可选的，所述利用所述入参信息中的所述输入特征对所述目标运算模型进行配置，包括：
利用所述入参信息中的所述输入特征对所述目标运算模型对应的模型文件和特征列表进行相应的配置。
可选的，所述基于ABTest实验框架利用配置后的所述目标运算模型进行相应的运算处理以得到与所述业务场景类型对应的模型运算结果，并将所述模型运算结果返回至所述客户端，包括：
对所述目标运算模型中的每个所述离线运算模型配置ABTest实验；
启动配置好的所述ABTest实验以使所述目标运算模型中的所述离线运算模型在对应的所述ABTest实验下进行相应的运算处理，得到每个所述离线运算模型的模型运算结果，并将所述模型运算结果返回至所述客户端。
可选的，所述基于所述效果数据从所述目标运算模型中确定出最优模型，包括：
利用所述效果数据生成实验报表，并根据所述实验报表从所述目标运算模型中确定出最优模型。
本申请的第一方面还提供了一种模型优化方法，应用于客户端，包括：
根据目标需求向服务端发送业务场景类型和入参信息，其中，所述入参信息包含目标运算模型的输入特征，以便所述服务端根据所述业务场景类型从预设模型库中确定所述目标运算模型，并利用所述入参信息中的所述输入特征对所述目标运算模型进行配置，以及基于ABTest实验框架利用配置后的所述目标运算模型进行相应的运算处理以得到与所述业务场景类型对应的模型运算结果，并将所述模型运算结果返回至所述客户端；所述目标运算模型为所述业务场景类型下的多个离线运算模型；
接收服务端返回的所述模型运算结果，并获取能表征对所述模型运算结果的认可程度的效果数据；
将所述效果数据发送至所述服务端，以便所述服务端基于所述效果数据从所述目标运算模型中确定出最优模型。
可选的，所述获取能表征对所述模型运算结果的认可程度的效果数据，包括：
通过前端打点方式和/或后端打点方式获取能表征对所述模型运算结果的认可程度的效果数据。
本申请的第二方面提供了一种模型优化装置，应用于服务端，包括：
接收模块，用于接收客户端发送的业务场景类型和入参信息；其中，所述入参信息包含所述目标运算模型的输入特征；
配置模块，用于根据所述业务场景类型从预设模型库中确定所述目标运算模型，并利用所述入参信息中的所述输入特征对所述目标运算模型进行配置；其中，所述目标运算模型为所述业务场景类型下的多个离线运算模型；
实验模块，用于基于ABTest实验框架利用配置后的所述目标运算模型进行相应的运算处理以得到与所述业务场景类型对应的模型运算结果，并将所述模型运算结果返回至所述客户端；
确定模块，用于获取所述客户端返回的能表征对所述模型运算结果的认可程度的效果数据，并基于所述效果数据从所述目标运算模型中确定出最优模型。
本申请的第二方面还提供了一种模型优化装置，应用于客户端，包括：
第一发送模块，用于根据目标需求向服务端发送业务场景类型和入参信息，其中，所述入参信息包含目标运算模型的输入特征，以便所述服务根据所述业务场景类型从预设模型库中确定目标运算模型，并利用所述入参信息中的所述输入特征对所述目标运算模型进行配置，以及基于ABTest实验框架利用配置后的所述目标运算模型进行相应的运算处理以得到与所述业务场景类型对应的模型运算结果，并将所述模型运算结果返回至所述客户端；所述目标运算模型为所述业务场景类型下的多个离线运算模型；
获取模块，用于接收服务端返回的所述模型运算结果，并获取能表征对所述模型运算结果的认可程度的效果数据；
第二发送模块，用于将所述效果数据发送至所述服务端，以便所述服务端基于所述效果数据从所述目标运算模型中确定出最优模型。
本申请的第三方面提供了一种模型优化系统，包括前文所述的应用于服务端的模型优化装置和应用于客户端的模型优化装置。
本申请的第四方面提供了一种电子设备，所述电子设备包括处理器和存储器；其中所述存储器用于存储计算机程序，所述计算机程序由所述处理器加载并执行以实现前述模型优化方法。
本申请的第五方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现前述模型优化方法。
本申请中，首先接收客户端发送的业务场景类型和入参信息，其中，所述入参信息包含所述目标运算模型的输入特征。接着根据所述业务场景类型从预设模型库中确定所述目标运算模型，并利用所述入参信息中的所述输入特征对所述目标运算模型进行配置，其中，所述目标运算模型为所述业务场景类型下的多个离线运算模型。然后基于ABTest实验框架利用配置后的所述目标运算模型进行相应的运算处理以得到与所述业务场景类型对应的模型运算结果，并将所述模型运算结果返回至所述客户端。最后获取所述客户端返回的能表征对所述模型运算结果的认可程度的效果数据，并基于所述效果数据从所述目标运算模型中确定出最优模型。本申请基于ABTest实验框架对指定业务场景类型下的多个离线运算模型进行测试，通过线上查看并分析客户端返回的效果数据确定出最优模型，缩短了模型优化周期，提高了优化效率，且上述步骤无需关心模型的具体内容，只需根据业务场景调用模型接口传参即可，减少了模型升级部署成本，加快了模型更新迭代频率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请提供的一种模型优化方法流程图；
图2为本申请提供的一种ABTest实验配置方法流程图；
图3为本申请提供的一种模型优化系统数据流转示意图；
图4为本申请提供的一种应用于服务端的模型优化装置结构示意图；
图5为本申请提供的一种应用于客户端的模型优化装置结构示意图；
图6为本申请提供的一种模型优化系统示意图；
图7为本申请提供的一种模型优化电子设备结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
现有的模型优化训练方案，大多需要根据收集的效果数据，进行前后对比，选择使用效果更好的模型，或者根据现有效果在对模型的算法进行调整的基础上进一步测试。这种离线训练的方式，需要每次更新模型后，重新发送到线上运行一段时间后收集效果数据，才能再次进行对比优化，效率低周期长，而且会和业务发布耦合，造成很大的项目风险，另外线上效果查询都要去查询数据库报表，进行数据对比十分麻烦不够直观。针对上述技术缺陷，本申请提供一种模型优化方案，能够基于ABTest实验框架对指定业务场景类型下的多个离线运算模型进行测试，通过线上查看并分析客户端返回的效果数据确定出最优模型，缩短了模型优化周期，提高了优化效率，且无需关心模型的具体内容，只需根据业务场景调用模型接口传参即可，减少了模型升级部署成本，加快了模型更新迭代频率。
图1为本申请实施例提供的一种模型优化方法流程图，应用于服务端。参见图1所示，该模型优化方法包括：
S11：接收客户端发送的业务场景类型和入参信息；其中，所述入参信息包含所述目标运算模型的输入特征。
S12：根据所述业务场景类型从预设模型库中确定所述目标运算模型，并利用所述入参信息中的所述输入特征对所述目标运算模型进行配置；其中，所述目标运算模型为所述业务场景类型下的多个离线运算模型。
本实施例中，接收客户端发送的业务场景类型和入参信息，其中，所述入参信息包含所述目标运算模型的输入特征。所述业务场景类型包括但不限于企业信息推荐、商品信息推荐、文本分类、文本风控、点击通过率(CTR，Click-Through-Rate)预估等，不同的业务场景类型对应不同的运算模型，如企业信息推荐场景下的运算模型为推荐模型等。一般来说，涉及到利用大数据进行运算的模型都适用本实施例中所述的模型优化方法。所述入参信息中的输入特征与所述业务场景类型对应的所述目标运算模型的出入参配置一致，所述目标运算模型为开发人员预先开发好并上传至服务端的离线模型，在进行优化时，客户端只需通过发送业务场景类型和入参信息来调用相应的模型即可。
本实施例中，根据所述业务场景类型从预设模型库中确定所述目标运算模型，模型文件数据包括所述目标运算模型，开发人员可以根据自己具体的业务，上传需要用到的模型文件至所述预设模型库，配置好对应业务场景以及出入参数后，当模块业务需要用到某个模型进行计算时，客户端请求时只需指定好业务场景以及入参信息，系统就会根据对应业务场景找到已发布的所述目标运算模型，并利用所述入参信息中的所述输入特征对所述目标运算模型对应的模型文件和特征列表进行相应的配置，当所述目标运算模型中的离线模型只有一个时，利用所述目标运算模型进行计算后返回结果，此时与现有技术中的模型优化方法所能达到的效果一样。但当所述目标运算模型中有不止一个离线模型时，本方案的模型优化优势就体现出来了，因此，本实施例中限定所述目标运算模型为所述业务场景类型下的多个离线运算模型。
S13：基于ABTest实验框架利用配置后的所述目标运算模型进行相应的运算处理以得到与所述业务场景类型对应的模型运算结果，并将所述模型运算结果返回至所述客户端。
本实施例中，基于ABTest实验框架利用配置后的所述目标运算模型进行相应的运算处理以得到与所述业务场景类型对应的模型运算结果，并将所述模型运算结果返回至所述客户端。业务发布的模型，可以根据需要配置ABTest实验，具体的配置流程如图2所示。本实施例对所述目标运算模型中的多个所述离线运算模型配置ABTest实验进行测试，在服务端的前端页面设置有实验列表页面，用来显示当前开发人员可查看的实验配置列表，可以对指定业务进行实验配置的管理。具体的，对所述目标运算模型中的每个所述离线运算模型配置ABTest实验，并启动配置好的所述ABTest实验以使所述目标运算模型中的所述离线运算模型在对应的所述ABTest实验下进行相应的运算处理，得到每个所述离线运算模型的模型运算结果，并将所述模型运算结果返回至所述客户端。ABTest实验的配置，主要目的是为了能更高效地利用线上流量，得到线上环境真实的数据效果反馈，对同一组业务流量，根据业务场景类型选择合适的算法进行均匀分桶，例如根据员工ID取模等，然后命中流量下配置的某个实验(比如某个具体模型文件)，根据分桶结果选择具体的离线运算模型进行运算，然后将运算结果返回至所述客户端进行显示。
相应的，所述客户端接收服务端返回的所述模型运算结果，并获取能表征对所述模型运算结果的认可程度的效果数据。一般来说，所述客户端通过前端打点方式和/或后端打点方式获取能表征对所述模型运算结果的认可程度的所述效果数据，对应前端打点和后端打点的实现方式有很多，例如可以通过专门的服务进行收集或者自建打点中心等，本实施例对此不进行限定。然后，所述客户端将所述效果数据发送至所述服务端，以便所述服务端基于所述效果数据从所述目标运算模型中确定出最优模型。
S14：获取所述客户端返回的能表征对所述模型运算结果的认可程度的效果数据，并基于所述效果数据从所述目标运算模型中确定出最优模型。
本实施例中，所述服务端获取所述客户端返回的能表征对所述模型运算结果的认可程度的效果数据，并基于所述效果数据从所述目标运算模型中确定出最优模型。更进一步的，利用所述效果数据生成实验报表，并根据所述实验报表从所述目标运算模型中确定出最优模型不难理解。不难理解，所述服务端也可以根据需求将所述效果数据、实验数据、流量数据等进行整合，并基于整合数据定时生成实验报表，所述实验报表的统计维度多样化，可以根据ABTest的实验维度或者某个时间段维度生成个性化报表数据，例如根据实验进行分组以得到实验级别的数据，方便大数据开发进行对比优化模型。图3为本实施例提供的一种模型优化系统数据流转示意图，包含了整个优化系统的数据流转，其中，不同模块之间的数据通讯可以使用常用的HTTP协议或远程过程调用协议(RPC，Remote ProcedureCall Protocol)。
可见，本申请实施例首先接收客户端发送的业务场景类型和入参信息，其中，所述入参信息包含所述目标运算模型的输入特征。接着根据所述业务场景类型从预设模型库中确定所述目标运算模型，并利用所述入参信息中的所述输入特征对所述目标运算模型进行配置，其中，所述目标运算模型为所述业务场景类型下的多个离线运算模型。然后基于ABTest实验框架利用配置后的所述目标运算模型进行相应的运算处理以得到与所述业务场景类型对应的模型运算结果，并将所述模型运算结果返回至所述客户端。最后获取所述客户端返回的能表征对所述模型运算结果的认可程度的效果数据，并基于所述效果数据从所述目标运算模型中确定出最优模型。本申请实施例基于ABTest实验框架对指定业务场景类型下的多个离线运算模型进行测试，通过线上查看并分析客户端返回的效果数据确定出最优模型，缩短了模型优化周期，提高了优化效率，且上述步骤无需关心模型的具体内容，只需根据业务场景调用模型接口传参即可，减少了模型升级部署成本，加快了模型更新迭代频率。
参见图4所示，本申请实施例还相应公开了一种模型优化装置，应用于服务端，包括：
接收模块11，用于接收客户端发送的业务场景类型和入参信息；其中，所述入参信息包含所述目标运算模型的输入特征；
配置模块12，用于根据所述业务场景类型从预设模型库中确定所述目标运算模型，并利用所述入参信息中的所述输入特征对所述目标运算模型进行配置；其中，所述目标运算模型为所述业务场景类型下的多个离线运算模型；
实验模块13，用于基于ABTest实验框架利用配置后的所述目标运算模型进行相应的运算处理以得到与所述业务场景类型对应的模型运算结果，并将所述模型运算结果返回至所述客户端；
确定模块14，用于获取所述客户端返回的能表征对所述模型运算结果的认可程度的效果数据，并基于所述效果数据从所述目标运算模型中确定出最优模型。
可见，本申请实施例首先接收客户端发送的业务场景类型和入参信息，其中，所述入参信息包含所述目标运算模型的输入特征。接着根据所述业务场景类型从预设模型库中确定所述目标运算模型，并利用所述入参信息中的所述输入特征对所述目标运算模型进行配置，其中，所述目标运算模型为所述业务场景类型下的多个离线运算模型。然后基于ABTest实验框架利用配置后的所述目标运算模型进行相应的运算处理以得到与所述业务场景类型对应的模型运算结果，并将所述模型运算结果返回至所述客户端。最后获取所述客户端返回的能表征对所述模型运算结果的认可程度的效果数据，并基于所述效果数据从所述目标运算模型中确定出最优模型。本申请实施例基于ABTest实验框架对指定业务场景类型下的多个离线运算模型进行测试，通过线上查看并分析客户端返回的效果数据确定出最优模型，缩短了模型优化周期，提高了优化效率，且上述步骤无需关心模型的具体内容，只需根据业务场景调用模型接口传参即可，减少了模型升级部署成本，加快了模型更新迭代频率。
在一些具体实施例中，所述配置模块12，具体包括：
选择单元，用于根据所述业务场景类型从预设模型库中确定所述目标运算模型；
入参单元，用于利用所述入参信息中的所述输入特征对所述目标运算模型对应的模型文件和特征列表进行相应的配置。
在一些具体实施例中，所述实验模块13，具体包括：
配置单元，用于对所述目标运算模型中的每个所述离线运算模型配置ABTest实验；
运算单元，用于启动配置好的所述ABTest实验以使所述目标运算模型中的所述离线运算模型在对应的所述ABTest实验下进行相应的运算处理，得到每个所述离线运算模型的模型运算结果，并将所述模型运算结果返回至所述客户端。
参见图5所示，本申请实施例还相应公开了一种模型优化装置，应用于客户端，包括：
第一发送模块21，用于根据目标需求向服务端发送业务场景类型和入参信息，其中，所述入参信息包含目标运算模型的输入特征，以便所述服务根据所述业务场景类型从预设模型库中确定目标运算模型，并利用所述入参信息中的所述输入特征对所述目标运算模型进行配置，以及基于ABTest实验框架利用配置后的所述目标运算模型进行相应的运算处理以得到与所述业务场景类型对应的模型运算结果，并将所述模型运算结果返回至所述客户端；所述目标运算模型为所述业务场景类型下的多个离线运算模型；
获取模块22，用于接收服务端返回的所述模型运算结果，并获取能表征对所述模型运算结果的认可程度的效果数据；
第二发送模块23，用于将所述效果数据发送至所述服务端，以便所述服务端基于所述效果数据从所述目标运算模型中确定出最优模型。
图6为本申请实施例公开的一种模型优化系统，包括上述应用于服务端的模型优化装置和应用于客户端的模型优化装置，描述整个模型优化系统与其他业务的交互及内部职责划分，本实施例结合企业信息推荐业务场景下的模型优化过程对本实施例中的整合系统作进一步说明。
该模型优化系统是一个整合系统，分为客户端和服务端，所述客户端包括对内部实验配置、数据报表等用户UI接口进行显示的前端页面及具有计算能力的后端服务层。对于前端页面常用的前端技术都可以实现，对于后端是使用J2EE的后端服务技术实现，包括但不限于SSM等常用应用框架。可以使用传统的java web服务部署方式，把代码打成war包，复制到tomcat等容器中运行，而前端页面则是npm打包后，把页面发布到服务器即可。所有企业推荐数据都统一从本系统流出。在不需要对具体业务场景下的计算模型进行优化的情况下，对企业推荐功能具有需求的业务方可以调用企业推荐服务，进行持久化，放入(如mysql等)以等缓存中，在调用推荐服务时本系统可以根据用户id读取并返回数据关系型数据库及Redis中的提前计算好的企业推荐列表以实现企业推荐服务。涉及到对具体业务场景下的计算模型进行优化的情况，现有技术中并没有成熟的线上系统可以对整个企业推荐流程进行优化，包括推荐是否精准，哪种模型算法推荐效果更好等，各个系统都各自为政，模型优化团队自己维护一个模型系统，每次都要跟随版本发布上线，而推荐效果只能线上查看打点以及数据库数据，再在测试环境进行优化，生成模型后再发布到线上进行测试，效率很低。
针对上述不足，本系统的优势就体现出来了。首先，开发人员需要开发多个离线企业推荐计算模型，设置好模型的出入参信息，所述开发人员使用开发人员的身份登录服务端的前端页面(每个企业使用的员工身份校验系统各不相同，这里也并不关心内部实现)后，上传需要上线的离线企业推荐计算模型，所述前端页面包括模型配置、数据报表和实验配置三大块功能，实验配置页面显示当前员工可查看的实验配置列表。在进行优化时，只需客户端提供与离线企业推进计算模型对应的入参信息，该入参信息可以为用户ID等，服务端通过模型计算服务功能模块将客户端的入参信息输入至原始离线企业推荐计算模型即可完成模型配置。在此基础上，通过AB测试服务模块对ABTest实验模型进行相应的配置，以使配置后的各个离线企业推荐计算模型在不同的实验下对清洗后的召回数据进行计算以对符合要求的企业集合进行打分，根据得分进行排序得出最后的企业推荐列表，并将该列表返回至客户端显示，用户浏览该列表中的推荐企业信息并点击感兴趣的企业，上述过程客户端会通过打点方式记录并生成各个离线企业推荐计算模型对应的效果数据返回至服务端，服务端的报表服务功能模块根据所述效果数据生成报表并显示在前端页面，离线企业推荐计算模型的开发人员可以在前端页面查看每天的实验统计报告并对线上报表进行对比，直观了解各离线企业推荐计算模型的好坏，从而决定出最优的模型或者进一步优化。
本实施例中的模型优化系统将模型的上传发布上线和业务迭代解耦，可以独立根据模型优化时间进行版本迭代，上线也不会对业务造成影响，用户完全无感知，需要模型计算的服务只需选择业务场景调用接口传参即可实现。一方面，由于是基于ABTest进行模型效果对比，模型开发可以更直观地观察到线上模型运行的真实数据反馈，对模型进行优化取舍，另一方面，由于是根据线上数据进行的对比，可以更加直观的了解到模型的好坏，对应用户操作是否真的对推荐数据发生了影响，为后续业务模型优化迭代指明了方向，帮助产研更好地优化产品。
进一步的，本申请实施例还提供了一种电子设备。图7是根据一示例性实施例示出的电子设备20结构图，图中的内容不能认为是对本申请的使用范围的任何限制。
图7为本申请实施例提供的一种电子设备20的结构示意图。该电子设备20，具体可以包括：至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的模型优化方法中的相关步骤。另外，本实施例中的电子设备20具体可以为入参信息及模型运算结果。
本实施例中，电源23用于为电子设备20上的各硬件设备提供工作电压；通信接口24能够为电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。
另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源可以包括操作系统221、计算机程序222及入参信息及模型运算结果数据223等，存储方式可以是短暂存储或者永久存储。
其中，操作系统221用于管理与控制电子设备20上的各硬件设备以及计算机程序222，以实现处理器21对存储器22中海量入参信息及模型运算结果223的运算与处理，其可以是Windows Server、Netware、Unix、Linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的模型优化方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。数据223可以包括电子设备20收集到的入参信息及模型运算结果。
进一步的，本申请实施例还公开了一种存储介质，所述存储介质中存储有计算机程序，所述计算机程序被处理器加载并执行时，实现前述任一实施例公开的模型优化方法步骤。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个…”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的模型优化方法、装置、设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种模型优化方法，其特征在于，应用于服务端，包括：
接收客户端发送的业务场景类型和入参信息；其中，所述入参信息包含所述目标运算模型的输入特征；
根据所述业务场景类型从预设模型库中确定所述目标运算模型，并利用所述入参信息中的所述输入特征对所述目标运算模型进行配置；其中，所述目标运算模型为所述业务场景类型下的多个离线运算模型；
基于ABTest实验框架利用配置后的所述目标运算模型进行相应的运算处理以得到与所述业务场景类型对应的模型运算结果，并将所述模型运算结果返回至所述客户端；
获取所述客户端返回的能表征对所述模型运算结果的认可程度的效果数据，并基于所述效果数据从所述目标运算模型中确定出最优模型。
2.根据权利要求1所述的模型优化方法，其特征在于，所述利用所述入参信息中的所述输入特征对所述目标运算模型进行配置，包括：
利用所述入参信息中的所述输入特征对所述目标运算模型对应的模型文件和特征列表进行相应的配置。
3.根据权利要求1所述的模型优化方法，其特征在于，所述基于ABTest实验框架利用配置后的所述目标运算模型进行相应的运算处理以得到与所述业务场景类型对应的模型运算结果，并将所述模型运算结果返回至所述客户端，包括：
对所述目标运算模型中的每个所述离线运算模型配置ABTest实验；
启动配置好的所述ABTest实验以使所述目标运算模型中的所述离线运算模型在对应的所述ABTest实验下进行相应的运算处理，得到每个所述离线运算模型的模型运算结果，并将所述模型运算结果返回至所述客户端。
4.根据权利要求1所述的模型优化方法，其特征在于，所述基于所述效果数据从所述目标运算模型中确定出最优模型，包括：
利用所述效果数据生成实验报表，并根据所述实验报表从所述目标运算模型中确定出最优模型。
5.一种模型优化方法，其特征在于，应用于客户端，包括：
根据目标需求向服务端发送业务场景类型和入参信息，其中，所述入参信息包含目标运算模型的输入特征，以便所述服务端根据所述业务场景类型从预设模型库中确定所述目标运算模型，并利用所述入参信息中的所述输入特征对所述目标运算模型进行配置，以及基于ABTest实验框架利用配置后的所述目标运算模型进行相应的运算处理以得到与所述业务场景类型对应的模型运算结果，并将所述模型运算结果返回至所述客户端；所述目标运算模型为所述业务场景类型下的多个离线运算模型；
接收服务端返回的所述模型运算结果，并获取能表征对所述模型运算结果的认可程度的效果数据；
将所述效果数据发送至所述服务端，以便所述服务端基于所述效果数据从所述目标运算模型中确定出最优模型。
6.根据权利要求5所述的模型优化方法，其特征在于，所述获取能表征对所述模型运算结果的认可程度的效果数据，包括：
通过前端打点方式和/或后端打点方式获取能表征对所述模型运算结果的认可程度的效果数据。
7.一种模型优化装置，其特征在于，应用于服务端，包括：
接收模块，用于接收客户端发送的业务场景类型和入参信息；其中，所述入参信息包含所述目标运算模型的输入特征；
配置模块，用于根据所述业务场景类型从预设模型库中确定所述目标运算模型，并利用所述入参信息中的所述输入特征对所述目标运算模型进行配置；其中，所述目标运算模型为所述业务场景类型下的多个离线运算模型；
实验模块，用于基于ABTest实验框架利用配置后的所述目标运算模型进行相应的运算处理以得到与所述业务场景类型对应的模型运算结果，并将所述模型运算结果返回至所述客户端；
确定模块，用于获取所述客户端返回的能表征对所述模型运算结果的认可程度的效果数据，并基于所述效果数据从所述目标运算模型中确定出最优模型。
8.一种模型优化装置，其特征在于，应用于客户端，包括：
第一发送模块，用于根据目标需求向服务端发送业务场景类型和入参信息，其中，所述入参信息包含目标运算模型的输入特征，以便所述服务根据所述业务场景类型从预设模型库中确定目标运算模型，并利用所述入参信息中的所述输入特征对所述目标运算模型进行配置，以及基于ABTest实验框架利用配置后的所述目标运算模型进行相应的运算处理以得到与所述业务场景类型对应的模型运算结果，并将所述模型运算结果返回至所述客户端；所述目标运算模型为所述业务场景类型下的多个离线运算模型；
获取模块，用于接收服务端返回的所述模型运算结果，并获取能表征对所述模型运算结果的认可程度的效果数据；
第二发送模块，用于将所述效果数据发送至所述服务端，以便所述服务端基于所述效果数据从所述目标运算模型中确定出最优模型。
9.一种模型优化系统，其特征在于，包括权利要求7所述的应用于服务端的模型优化装置和权利要求8所述的应用于客户端的模型优化装置。
10.一种电子设备，其特征在于，所述电子设备包括处理器和存储器；其中所述存储器用于存储计算机程序，所述计算机程序由所述处理器加载并执行以实现如权利要求1至6任一项所述的信息推荐方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110154006.4A CN112799949A (zh) | 2021-02-04 | 2021-02-04 | 一种模型优化方法、装置、系统及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110154006.4A CN112799949A (zh) | 2021-02-04 | 2021-02-04 | 一种模型优化方法、装置、系统及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112799949A true CN112799949A (zh) | 2021-05-14 |
Family
ID=75814229
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110154006.4A Pending CN112799949A (zh) | 2021-02-04 | 2021-02-04 | 一种模型优化方法、装置、系统及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112799949A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113590484A (zh) * | 2021-07-30 | 2021-11-02 | 上海寻梦信息技术有限公司 | 算法模型服务测试方法、系统、设备及存储介质 |
| CN114286356A (zh) * | 2021-12-29 | 2022-04-05 | 河北电信设计咨询有限公司 | 基于数据库构建5g业务模型的系统及方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109242514A (zh) * | 2018-08-28 | 2019-01-18 | 腾讯科技（深圳）有限公司 | 客户标签推荐方法、装置和系统 |
| CN109934512A (zh) * | 2019-03-28 | 2019-06-25 | 努比亚技术有限公司 | 一种预测模型的训练方法及系统 |
| CN110968767A (zh) * | 2018-09-28 | 2020-04-07 | 北京嘀嘀无限科技发展有限公司 | 排序引擎训练方法及装置、业务卡排序方法及装置 |
| CN111753386A (zh) * | 2019-03-11 | 2020-10-09 | 北京嘀嘀无限科技发展有限公司 | 一种数据处理方法及装置 |
-
2021
- 2021-02-04 CN CN202110154006.4A patent/CN112799949A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109242514A (zh) * | 2018-08-28 | 2019-01-18 | 腾讯科技（深圳）有限公司 | 客户标签推荐方法、装置和系统 |
| CN110968767A (zh) * | 2018-09-28 | 2020-04-07 | 北京嘀嘀无限科技发展有限公司 | 排序引擎训练方法及装置、业务卡排序方法及装置 |
| CN111753386A (zh) * | 2019-03-11 | 2020-10-09 | 北京嘀嘀无限科技发展有限公司 | 一种数据处理方法及装置 |
| CN109934512A (zh) * | 2019-03-28 | 2019-06-25 | 努比亚技术有限公司 | 一种预测模型的训练方法及系统 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113590484A (zh) * | 2021-07-30 | 2021-11-02 | 上海寻梦信息技术有限公司 | 算法模型服务测试方法、系统、设备及存储介质 |
| CN113590484B (zh) * | 2021-07-30 | 2023-11-07 | 上海寻梦信息技术有限公司 | 算法模型服务测试方法、系统、设备及存储介质 |
| CN114286356A (zh) * | 2021-12-29 | 2022-04-05 | 河北电信设计咨询有限公司 | 基于数据库构建5g业务模型的系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108427631A (zh) | 一种应用测试系统、方法、电子设备和可读存储介质 | |
| US8510720B2 (en) | System landscape trace | |
| US9119056B2 (en) | Context-driven application information access and knowledge sharing | |
| US20210323575A1 (en) | Data acquisition method and apparatus | |
| US20130024760A1 (en) | Personalized Dashboard Architecture | |
| CN110162471A (zh) | 一种基于容器云的压力测试方法及系统 | |
| US11295247B2 (en) | Discovery and generation of organizational key performance indicators utilizing glossary repositories | |
| CN107608901B (zh) | 基于Jmeter的测试方法及装置、存储介质、电子设备 | |
| CN112799949A (zh) | 一种模型优化方法、装置、系统及设备 | |
| US11010237B2 (en) | Method and system for detecting and preventing an imminent failure in a target system | |
| FR3090926A1 (fr) | Procédé et système autoadaptatif d’agrégation de sources de données | |
| CN117370162A (zh) | 测试工具管理方法、装置、设备及存储介质 | |
| US11893383B2 (en) | Configuration properties management for software | |
| US11720476B2 (en) | Automated end-to-end testing platform with dynamic container configuration | |
| CN109144864B (zh) | 用于测试窗口的方法及装置 | |
| US9542171B2 (en) | Managing an application modification process | |
| CN117716373A (zh) | 基于期望的度量值提供机器学习模型 | |
| CN114756301A (zh) | 日志处理方法、装置和系统 | |
| CN114490526A (zh) | 选课索引文件更新方法、课程搜索方法及装置 | |
| CN111159988A (zh) | 一种模型处理方法、装置、计算机设备及存储介质 | |
| CN113742243B (zh) | 应用评测方法、装置、电子设备和计算机可读介质 | |
| US20170171030A1 (en) | System and method for digital optimization of electronic discovery | |
| US20230161571A1 (en) | Integrated testing tool for data replication | |
| US11803358B1 (en) | Adaptive issue type identification platform | |
| US20230385181A1 (en) | Re-usable web-objects for use with automation tools |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |