CN114462890B - 一种评估辅助方法及装置、电子设备、存储介质 - Google Patents

一种评估辅助方法及装置、电子设备、存储介质 Download PDF

Info

Publication number
CN114462890B
CN114462890B CN202210361680.4A CN202210361680A CN114462890B CN 114462890 B CN114462890 B CN 114462890B CN 202210361680 A CN202210361680 A CN 202210361680A CN 114462890 B CN114462890 B CN 114462890B
Authority
CN
China
Prior art keywords
service
experimental
business process
business
index value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210361680.4A
Other languages
English (en)
Other versions
CN114462890A (zh
Inventor
戴振衡
陈雨强
刘鹏
孙越
石光川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
4Paradigm Beijing Technology Co Ltd
Original Assignee
4Paradigm Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 4Paradigm Beijing Technology Co Ltd filed Critical 4Paradigm Beijing Technology Co Ltd
Priority to CN202210361680.4A priority Critical patent/CN114462890B/zh
Publication of CN114462890A publication Critical patent/CN114462890A/zh
Application granted granted Critical
Publication of CN114462890B publication Critical patent/CN114462890B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0633—Workflow analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明实施例公开一种评估辅助方法及装置、电子设备、存储介质，涉及计算机技术领域，能够有助于对评估对象进行更加准确的评估。所述方法包括：接收第一业务的业务请求，并根据预设业务分配规则从各业务请求中选择一部分作为目标请求，分配给预设的实验业务流程进行处理；获取所述实验业务流程对所述目标请求的处理结果对应的反馈数据；基于所述反馈数据确定预先配置的评估指标的指标值；通过可视化的方式展示所述指标值和/或所述指标值相对于参考值的变化情况，以使观看者根据所述指标值和/或所述变化情况确定是否将所述实验业务流程转化为所述第一业务的主业务流程。本发明适用于对与用户价值的实现相关的各种问题的解决方案进行评估。

Description

一种评估辅助方法及装置、电子设备、存储介质
技术领域
本发明涉及计算机技术领域，尤其涉及一种评估辅助方法及装置、电子设备、存储介质。
背景技术
业务指标以及业务指标的变化情况能够指示业务的运转情况，为了不断提升业务指标，企业常常会对自己的产品、服务、运营策略等提出种种改进方案，例如，中国专利申请CN109344045A公开了一种业务系统切换方法、装置、电子设备及存储介质。传统上，每种改进方案是否能上线使用，即落地施行，需要企业内部进行评审。评审员一般根据自己的经验进行利弊分析讨论，形成最终结论。然而，评审员根据自己的经验得出结论，往往具有较强的主观性，即使有些方案经过内部测试，但由于内部测试的测试环境与真实的业务环境差距甚远，常常导致上线效果不如预期，无法有效提升业务指标。
发明内容
有鉴于此，本发明一个或多个实施例提供了一种评估辅助方法及装置、电子设备、存储介质，能够有助于对评估对象进行更加准确的评估。
第一方面，本发明的实施例提供一种评估辅助方法，包括：接收第一业务的业务请求，并根据预设业务分配规则从各业务请求中选择一部分作为目标请求，分配给预设的实验业务流程进行处理；获取所述实验业务流程对所述目标请求的处理结果对应的反馈数据；基于所述反馈数据确定预先配置的评估指标的指标值；通过可视化的方式展示所述指标值和/或所述指标值相对于参考值的变化情况，以使观看者根据所述指标值和/或所述变化情况确定是否将所述实验业务流程转化为所述第一业务的主业务流程。
在一种实施方式中，所述方法还包括：将各业务请求中除所述目标请求之外的请求，分配给当前的所述主业务流程进行处理。
在一种实施方式中，所述接收第一业务的业务请求包括：接收用户向所述第一业务的业务系统发起的用户业务请求，或者接收所述第一业务的业务系统针对用户产生的系统业务请求。
在一种实施方式中，所述获取所述实验业务流程对所述目标请求的处理结果对应的反馈数据包括：获取所述第一业务对应的日志数据，所述日志数据中记录有所述实验业务流程对所述目标请求的处理结果对应的反馈数据；所述基于所述反馈数据确定预先配置的评估指标的指标值包括：基于预设的指标计算规则，对所述反馈数据进行处理操作，得到所述评估指标的指标值。
在一种实施方式中，所述预设业务分配规则包括以下至少一项：根据流量分配、根据地域分配、根据用户特征分配。
在一种实施方式中，所述预设业务分配规则包括：根据流量分配；所述目标请求的数量占业务请求总量的比例小于第一阈值；所述主业务流程处理的业务请求的数量占业务请求总量的比例大于第二阈值，其中，所述第一阈值小于或等于所述第二阈值。
在一种实施方式中，所述评估指标的数量包括一个或多个，各评估指标之间具有预设的逻辑关系。
在一种实施方式中，所述预设的逻辑关系包括以下至少一种：从属关系、并列关系、协同关系、对抗关系。
在一种实施方式中，所述方法还包括：通过可视化方式展示各所述评估指标之间的所述逻辑关系。
在一种实施方式中，所述通过可视化的方式展示所述指标值和/或所述指标值相对于参考值的变化情况之后，所述方法还包括：根据各所述评估指标之间的逻辑关系，以及各所述指标值和/或所述指标值相对于各自的参考值的变化情况，提供是否将所述实验业务流程转化为所述第一业务的主业务流程的参考建议。
在一种实施方式中，所述通过可视化的方式展示所述指标值和/或所述指标值相对于参考值的变化情况之后，所述方法还包括：接收流程迭代指令；根据所述流程迭代指令，用所述实验业务流程替换所述第一业务的原主业务流程作为新的主业务流程。
在一种实施方式中，所述根据所述流程迭代指令，用所述实验业务流程替换所述第一业务的原主业务流程作为新的主业务流程包括：根据所述流程迭代指令，用所述实验业务流程替换所述第一业务的原主业务流程运行，并将所述第一业务的原主业务流程保留备用；响应于在预设时间节点之前接收到回滚指令，根据所述回滚指令，恢复所述原主业务流程作为主业务流程运行；响应于在所述预设时间节点之后接收到确认指令，根据所述确认指令，确认所述实验业务流程作为所述第一业务的主业务流程。
在一种实施方式中，所述根据所述流程迭代指令，用所述实验业务流程替换所述第一业务的原主业务流程作为新的主业务流程包括：根据所述流程迭代指令，在预设时间范围内用所述实验业务流程替换所述第一业务的原主业务流程运行，并将所述第一业务的原主业务流程保留备用；在所述预设时间结束后，恢复所述原主业务流程作为主业务流程运行。
在一种实施方式中，所述预设业务分配规则包括根据流量分配；所述通过可视化的方式展示所述指标值和/或所述指标值相对于参考值的变化情况之后，所述方法还包括：根据所述指标值和/或所述指标值相对于参考值的变化情况，调整所述目标请求的数量占业务请求总量的比例。
在一种实施方式中，所述接收第一业务的业务请求之前，所述方法还包括：提供实验业务流程创建页面，所述实验业务流程创建页面中设置有实验业务流程的配置入口；接收通过所述实验业务流程创建页面的配置入口输入的实验业务流程的配置信息；根据所述实验业务流程的配置信息，创建所述实验业务流程。
在一种实施方式中，所述接收通过所述实验业务流程创建页面的配置入口输入的实验业务流程的配置信息包括：检测实验创建人员对所述实验业务流程创建页面的配置入口执行的交互操作，所述交互操作包括以下至少一种：点击、拖拽、文本输入、语音；基于所述交互操作，获取所述实验创建人员输入的配置信息。
在一种实施方式中，所述实验业务流程的配置信息包括以下至少一项：实验业务流程对应的业务场景、实验业务流程所针对的决策点、所述决策点所涉及的决策策略、实验业务流程使用的实验室、实验室与决策策略的对应关系、所述预设业务分配规则。
在一种实施方式中，所述根据所述实验业务流程的配置信息，创建所述实验业务流程包括：根据所述配置信息，生成所述实验业务流程的业务处理逻辑。
在一种实施方式中，所述接收第一业务的业务请求之前，所述方法还包括：提供业务场景创建页面，所述业务场景创建页面中设置有业务场景的配置入口；接收通过所述业务场景创建页面的配置入口输入的业务场景配置信息；根据所述业务场景配置信息，创建业务场景；提供实验业务流程创建页面，所述实验业务流程创建页面中设置有实验业务流程的配置入口，所述配置入口包括从所述创建的业务场景选择业务场景的配置入口；接收通过所述实验业务流程创建页面的配置入口选择的业务场景；根据所述实验业务流程的业务场景，创建所述实验业务流程。
在一种实施方式中，所述业务场景配置信息包括以下至少一项：业务场景采取的分流方式、业务场景中的决策点、业务场景可使用的实验室数量。
在一种实施方式中，每个所述业务场景对应一个或多个不同的实验业务流程。
第二方面，本发明的实施例还提供一种评估辅助装置，包括：第一接收单元，用于接收第一业务的业务请求；业务分配单元，用于根据预设业务分配规则从各业务请求中选择一部分作为目标请求，分配给预设的实验业务流程进行处理；获取单元，用于获取所述实验业务流程对所述目标请求的处理结果对应的反馈数据；确定单元，用于基于所述反馈数据确定预先配置的评估指标的指标值；展示单元，用于通过可视化的方式展示所述指标值和/或所述指标值相对于参考值的变化情况，以使观看者根据所述指标值和/或所述变化情况确定是否将所述实验业务流程转化为所述第一业务的主业务流程。
在一种实施方式中，所述业务分配单元，还用于将各业务请求中除所述目标请求之外的请求，分配给当前的所述主业务流程进行处理。
在一种实施方式中，所述第一接收单元，具体用于：接收用户向所述第一业务的业务系统发起的用户业务请求，或者接收所述第一业务的业务系统针对用户产生的系统业务请求。
在一种实施方式中，所述获取单元，具体用于获取所述第一业务对应的日志数据，所述日志数据中记录有所述实验业务流程对所述目标请求的处理结果对应的反馈数据；所述确定单元，具体用于基于预设的指标计算规则，对所述反馈数据进行处理操作，得到所述评估指标的指标值。
在一种实施方式中，所述预设业务分配规则包括以下至少一项：根据流量分配、根据地域分配、根据用户特征分配。
在一种实施方式中，所述预设业务分配规则包括：根据流量分配；所述目标请求的数量占业务请求总量的比例小于第一阈值；所述主业务流程处理的业务请求的数量占业务请求总量的比例大于第二阈值，其中，所述第一阈值小于或等于所述第二阈值。
在一种实施方式中，所述评估指标的数量包括一个或多个，各评估指标之间具有预设的逻辑关系。
在一种实施方式中，所述预设的逻辑关系包括以下至少一种：从属关系、并列关系、协同关系、对抗关系。
在一种实施方式中，所述展示单元，还用于通过可视化方式展示各所述评估指标之间的所述逻辑关系。
在一种实施方式中，所述装置还包括：第一提供单元，用于在通过可视化的方式展示所述指标值和/或所述指标值相对于参考值的变化情况之后，根据各所述评估指标之间的逻辑关系，以及各所述指标值和/或所述指标值相对于各自的参考值的变化情况，提供是否将所述实验业务流程转化为所述第一业务的主业务流程的参考建议。
在一种实施方式中，所述装置还包括：第二接收单元，用于在通过可视化的方式展示所述指标值和/或所述指标值相对于参考值的变化情况之后，接收流程迭代指令；替换单元，用于根据所述流程迭代指令，用所述实验业务流程替换所述第一业务的原主业务流程作为新的主业务流程。
在一种实施方式中，所述替换单元包括：第一替换保留模块，用于根据所述流程迭代指令，用所述实验业务流程替换所述第一业务的原主业务流程运行，并将所述第一业务的原主业务流程保留备用；第一恢复模块，用于响应于在预设时间节点之前接收到回滚指令，根据所述回滚指令，恢复所述原主业务流程作为主业务流程运行；确认模块，用于响应于在所述预设时间节点之后接收到确认指令，根据所述确认指令，确认所述实验业务流程作为所述第一业务的主业务流程。
在一种实施方式中，所述替换单元包括：第二替换保留模块，用于根据所述流程迭代指令，在预设时间范围内用所述实验业务流程替换所述第一业务的原主业务流程运行，并将所述第一业务的原主业务流程保留备用；第二恢复模块，用于在所述预设时间结束后，恢复所述原主业务流程作为主业务流程运行。
在一种实施方式中，所述预设业务分配规则包括根据流量分配；所述装置还包括：调整单元，用于在通过可视化的方式展示所述指标值和/或所述指标值相对于参考值的变化情况之后，根据所述指标值和/或所述指标值相对于参考值的变化情况，调整所述目标请求的数量占业务请求总量的比例。
在一种实施方式中，所述装置还包括：第二提供单元，用于在接收第一业务的业务请求之前，提供实验业务流程创建页面，所述实验业务流程创建页面中设置有实验业务流程的配置入口；第二接收单元，用于接收通过所述实验业务流程创建页面的配置入口输入的实验业务流程的配置信息；第一创建单元，用于根据所述实验业务流程的配置信息，创建所述实验业务流程。
在一种实施方式中，所述第二接收单元包括：检测模块，用于检测实验创建人员对所述实验业务流程创建页面的配置入口执行的交互操作，所述交互操作包括以下至少一种：点击、拖拽、文本输入、语音；获取模块，用于基于所述交互操作，获取所述实验创建人员输入的配置信息。
在一种实施方式中，所述实验业务流程的配置信息包括以下至少一项：实验业务流程对应的业务场景、实验业务流程所针对的决策点、所述决策点所涉及的决策策略、实验业务流程使用的实验室、实验室与决策策略的对应关系、所述预设业务分配规则。
在一种实施方式中，所述第一创建单元，具体用于根据所述配置信息，生成所述实验业务流程的业务处理逻辑。
在一种实施方式中，所述装置还包括：第三提供单元，用于在接收第一业务的业务请求之前，提供业务场景创建页面，所述业务场景创建页面中设置有业务场景的配置入口；第三接收单元，用于接收通过所述业务场景创建页面的配置入口输入的业务场景配置信息；第二创建单元，用于根据所述业务场景配置信息，创建业务场景；第四提供单元，用于提供实验业务流程创建页面，所述实验业务流程创建页面中设置有实验业务流程的配置入口，所述配置入口包括从所述创建的业务场景选择业务场景的配置入口；第四接收单元，用于接收通过所述实验业务流程创建页面的配置入口选择的业务场景；第三创建单元，用于根据所述实验业务流程的业务场景，创建所述实验业务流程。
在一种实施方式中，所述业务场景配置信息包括以下至少一项：业务场景采取的分流方式、业务场景中的决策点、业务场景可使用的实验室数量。
在一种实施方式中，每个所述业务场景对应一个或多个不同的实验业务流程。
第三方面，本发明的实施例还提供一种电子设备，所述电子设备包括：壳体、处理器、存储器、电路板和电源电路，其中，电路板安置在壳体围成的空间内部，处理器和存储器设置在电路板上；电源电路，用于为上述电子设备的各个电路或器件供电；存储器用于存储可执行程序代码；处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，用于执行本发明的实施例提供的任一种评估辅助方法。
第四方面，本发明的实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现本发明的实施例提供的任一种评估辅助方法。
本发明地实施例提供的评估辅助方法及装置、电子设备及存储介质，能够接收第一业务的业务请求，并根据预设业务分配规则从各业务请求中选择一部分作为目标请求，分配给预设的实验业务流程进行处理，获取所述实验业务流程对所述目标请求的处理结果对应的反馈数据，基于所述反馈数据确定预先配置的评估指标的指标值，并通过可视化的方式展示所述指标值和/或所述指标值相对于参考值的变化情况，以使观看者根据所述指标值和/或所述变化情况确定是否将所述实验业务流程转化为所述第一业务的主业务流程。这样，就在实际的业务处理中将一部分业务请求分流给实验业务流程处理，并据此利用评估指标对实验业务流程进行评估，从而在保证第一业务的主业务流程正常运转的情况下，使对实验业务流程的评估建立在真实的业务场景和客观的评估指标的基础上，使评估结果的观看者能更客观、准确地确定是否用实验业务流程替换主业务流程，以便提高用户价值。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本发明的实施例提供的评估辅助方法的一种流程图；
图2为本发明的实施例中业务场景、决策点与实验室的一种关系示意图；
图3为本发明的实施例提供的评估辅助方法的一种详细流程图；
图4为图3所示的评估辅助方法中场景创建页面的一种示意图；
图5为图3所示的评估辅助方法中实验流程创建页面的一种示意图；
图6为本发明的实施例提供的评估辅助装置的一种结构示意图；
图7为本发明的实施例提供的电子设备的一种结构示意图。
具体实施方式
下面结合附图对本发明实施例进行详细描述。
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
企业需要不断追求实现或者提升北极星指标的业务方案，但是，如何准确的判断出业务方案的好与坏，业务方案对于北极星指标是否有效，最终是否选用改进的业务方案来替代现有的业务方案，最终选用哪些或者哪种业务方案，对于企业来讲都是非常棘手的。
有鉴于此，第一方面，本发明实施例提供一种评估辅助方法，能够有助于对评估对象进行更加准确的评估，从而有效达成或提升业务指标。
如图1所示，本发明的实施例提供一种评估辅助方法，包括：
S11、接收第一业务的业务请求，并根据预设业务分配规则从各业务请求中选择一部分作为目标请求，分配给预设的实验业务流程进行处理；
第一业务可以指一种需要处理的事务，例如，任意一种为用户提供的互联网业务或者与用户的参与相关的互联网业务，具体可以为搜索、推荐、自动问答等等，本发明对此不做限定。本步骤中，可以从第一业务对应的业务服务器接收第一业务的业务请求。该业务请求既可以是第一业务的业务服务器接收来自各个用户的各种不同的业务请求，例如用户搜索关键词“女士帽子”对应的业务请求，也可以是第一业务的业务服务器基于预先设置的触发条件主动向各个用户进行信息推荐、推送等的业务请求，例如第一业务的业务服务器向用户推荐本地美食的业务请求。
本发明的实施例中，可以为第一业务预先设置至少两个业务处理流程，其中一个为主业务流程，另外的一个或多个可以为实验业务流程。可以理解的是，主业务流程可以为第一业务当前采用的业务方案，而实验业务流程可以为一种新的改进的业务方案，在未设置实验业务流程时，第一业务请求均由主业务流程来执行。其中，在设置一个或多个实验业务流程时，每个实验业务流程的业务处理逻辑都可以与主业务流程的处理逻辑不同，各实验业务流程和主业务流程都可以被分配到资源，例如系统资源和用户资源，并基于这些资源处理相应的业务请求。可选的，在本发明的一个实施例中，主业务流程分配到的资源占比可以较大，而各实验业务流程分配到的资源占比可以较小，从而能够在保证第一业务总体稳定的情况下，允许适当的新业务逻辑尝试。例如，在本发明的一个实施例中，分流给实验业务流程处理的目标请求的数量占业务请求总量的比例可以小于第一阈值，该第一阈值例如可以为2%，3%，5%，7%等，而其他业务请求将分配给主业务流程处理，这样即保证第一业务稳定，又能在真实的业务环境里来评估实验业务流程的效果。
S12、获取所述实验业务流程对所述目标请求的处理结果对应的反馈数据；
由于实验业务流程具有与主业务流程不同的业务处理逻辑，因此，即使相同的业务请求，由实验业务流程处理所得到的处理结果也很可能与由主业务流程处理得到的处理结果不同，而且由不同的实验业务流程处理也很可能得到不同的处理结果，因此，一个业务请求最终得到怎样的处理结果，与该业务请求被分配给哪个业务处理流程相关。
其中，处理结果可以指实验业务流程或主业务流程提供给对应业务请求的响应或解决方案。例如，对于用户的搜索业务请求，处理结果可以为提供给用户的搜索结果列表，对于系统的推荐业务请求，处理结果可以为具体的推送内容、推送对象、推送时间等。
处理结果对应的反馈数据为基于处理结果而发生的与预设评估指标关联的响应数据，后续将基于该反馈数据确定出实验业务流程的评估指标值或评估指标的变化情况，具体可以指该业务请求所涉及的用户针对该处理结果所做出的响应行为数据，例如，用户点击了搜索结果列表中的某几条搜索结果并对其中一个搜索结果进行了消费，消费的金额，或者用户点击了推荐内容，但没有进一步点击其中的详情页面等等。本步骤中，可以从第一业务对应的业务服务器获取每个实验业务流程中，用户对相应处理结果的反馈数据，并将反馈数据与相应的实验业务流程对应起来。
S13、基于所述反馈数据确定预先配置的评估指标的指标值；
本步骤中，可以根据上述反馈数据，确定预先配置的评估指标对应的指标值。其中，评估指标的数量既可以为一个，也可以为多个，每个评估指标都预设有相应的计算方法，例如计算公式、算符、函数等。利用处理结果对应的反馈数据，并根据每个评估指标对应的计算方法，就可以计算出每个评估指标对应的指标值。举例而言，在本发明的一个实施例中，第一业务为推荐业务，结果为推荐结果清单，反馈数据包括用户的对于推荐结果的点击浏览情况以及浏览时长，评估指标可以包括点击率和平均浏览时长，则可以根据实验业务流程A中，对处理结果的反馈数据，计算出实验业务流程A对应的点击率和平均浏览时长。
S14、通过可视化的方式展示所述指标值和/或所述指标值相对于参考值的变化情况，以使观看者根据所述指标值和/或所述变化情况确定是否将所述实验业务流程转化为所述第一业务的主业务流程。
可以理解的，由于实验业务流程是运行在真实的业务环境里，而评估指标值及变化情况可以客观的反应实验业务流程的实施效果，因此，本步骤中，对实验业务流程对应的评估指标进行可视化展示，让观看者例如公司的管理层明确实验业务流程的实施效果，从而可以决策是否启用该实验业务流程为主业务流程。
具体的，本步骤中，可以展示指标值，并使观看者根据指标值确定是否将所述实验业务流程转化为所述第一业务的主业务流程，也可以展示指标值相对于参考值的变化情况，并使观看者根据指标值相对于参考值的变化情况确定是否将所述实验业务流程转化为所述第一业务的主业务流程，还可以展示指标值及指标值相对于参考值的变化情况，并使观看者结合指标值及指标值相对于参考值的变化情况做出决定。
参考值可以是指标值的一个比较基准。本发明的实施例中，可以为同一个指标值设置一个或多个参考值，从而比较出相对于不同的比较基准，当前实验业务流程对应的评估指标表现如何。例如，参考值可以包括同时期主业务流程的指标值，同时期其他实验业务流程的指标值，上个月同期主业务流程或者实验业务流程的指标值，去年同期主业务流程或者实验业务流程的指标值等，从而能够获得指标值相对于参考值的各种变化情况，例如同比变化情况、环比变化情况等。
为了使观看者能够直观了解到指标值和/或指标值相对于参考值的变化情况，本发明的实施例中，可以以可视化的方式，例如通过图、表、动画等方式，对指标值和/或指标值相对于参考值的变化情况进行展示。观看者可以根据观看到的情况，确定是否将实验业务流程转化为第一业务的主业务流程。
本发明的实施例提供的评估辅助方法，能够接收第一业务的业务请求，并根据预设业务分配规则从各业务请求中选择一部分作为目标请求，分配给预设的实验业务流程进行处理，获取所述实验业务流程对所述目标请求的处理结果对应的反馈数据，基于所述反馈数据确定预先配置的评估指标的指标值，并通过可视化的方式展示所述指标值和/或所述指标值相对于参考值的变化情况，以使观看者根据所述指标值和/或所述变化情况确定是否将所述实验业务流程转化为所述第一业务的主业务流程。这样，就在实际的业务处理中将一部分业务请求分流给实验业务流程处理，并据此利用评估指标对实验业务流程进行评估，从而在保证第一业务的主业务流程正常运转的情况下，使对实验业务流程的评估建立在真实的业务场景和客观的评估指标的基础上，使评估结果的观看者能更客观、准确地确定是否用实验业务流程替换主业务流程，以便提高用户价值。
本发明的实施例中，评估辅助方法所基于的系统可以设置在第一业务对应的业务服务器中，或者也可以设置在另外的服务器中，并与第一业务的业务服务器进行通信，例如，评估辅助方法所基于的系统可以从第一业务的业务服务器接收业务请求，并针对该业务请求进行相应处理后向第一业务的业务服务器反馈，例如可以向第一业务的业务服务器反馈一个地址链接或地址列表等，以使第一业务的业务服务器可以根据该地址链接或地址列表进行对应的操作。
基于此，在本发明的一个实施例中，步骤S11接收第一业务的业务请求具体可以包括：接收用户向所述第一业务的业务系统发起的用户业务请求，或者接收所述第一业务的业务系统针对用户产生的系统业务请求。也即是说，本发明的实施例中，接收的业务请求既可以包括用户业务请求，也可以包括系统业务请求。其中，用户业务请求可以指第一业务的业务服务器接收的来自各个用户的各种不同的业务请求，系统业务请求可以指第一业务的业务服务器主动向各个用户进行信息推荐、推送等业务请求。
本发明的实施例中，从第一业务的业务服务器接收了第一业务的业务请求后，进一步根据预设业务分配规则从各业务请求中选择一部分业务请求作为目标请求，并将这些目标请求分配给预设的实验业务流程进行处理，将各业务请求中除所述目标请求之外的请求，分配给主业务流程进行处理。
可选的，上述预设业务分配规则可以包括以下一项或多项：根据流量分配、根据地域分配、根据用户特征分配等。例如，在本发明的一个实施例中，可以将接收到的各业务请求根据预设流量比例随机分配给实验业务流程处理，并将其他业务请求分配给主业务流程处理；在本发明的另一个实施例中，可以按照地域将某个城市的业务请求作为目标请求分配给实验业务流程处理，并将其他地域的业务请求分配给主业务流程处理；在本发明的又一个实施例中，可以根据每个业务请求涉及的用户的年龄、性别、职业等特征的不同，将具备某些特征属性的用户对应的业务请求分配给实验业务流程处理，并将其他用户对应的业务请求分配给主业务流程处理，进一步地，如果存在多个实验业务流程，还可以根据上述特征确定具体分配给哪个实验业务流程处理。上述业务分配规则既可以单独使用，也可以彼此结合使用，本发明的实施例对此不做限定。
可选的，在本发明的一个实施例中，所述预设业务分配规则可以包括根据流量分配，则基于此，分配给实验业务流程处理的目标请求的数量占业务请求总量的比例可以小于第一阈值；所述主业务流程处理的业务请求的数量占业务请求总量的比例可以大于第二阈值，其中，第一阈值小于或等于第二阈值。也即是说，本实施例中，实验业务流程与主业务流程都可以接收在线业务请求，并进行处理，实验业务流程与主业务流程的主要区别之一，就是分流给实验业务流程处理的目标请求的数量占业务请求总量的比例可以较小，例如小于第一阈值，该第一阈值例如可以为2%，3%，5%，7%等，主业务流程处理的业务请求的数量占业务请求总量的比例可以较大，例如大于第二阈值，可选的，该第二阈值例如可以为80%，85%，90%等，从而可以保证第一业务运转的稳定、安全、可控，还能在真实业务环境对实验业务流程进行测试。
实验业务流程接收到分配给自己的业务请求后，可以按照自己的业务处理逻辑对该业务请求进行处理，并在得到对应的处理结果后，将该处理结果发送给第一业务的业务服务器，由第一业务的业务服务器具体执行该处理结果，例如，对用户业务请求进行响应，或者主动向用户推荐或推送信息等。相应的，第一业务的业务服务器将该处理结果呈现给对应的用户后，用户对于该处理结果会有相应的反馈，第一业务的业务服务器可以接收用户的反馈数据，并将这些反馈数据发送给评估辅助方法所基于的系统。
本发明的实施例中，评估辅助方法所基于的系统中可以预先配置有一种或多种对实验业务流程的评估指标，并详细配置有每种评估指标的计算方法。接收到上述反馈数据后，评估辅助方法所基于的系统可以从上述反馈数据中找出所需数据，并按照每种评估指标对应的计算方法计算出对应的指标值。
举例而言，在本发明的一个实施例中，步骤S12获取所述实验业务流程对所述目标请求的处理结果对应的反馈数据具体可以包括：获取所述第一业务对应的日志数据，例如用户行为日志数据，所述日志数据中记录有所述实验业务流程对所述目标请求的处理结果对应的反馈数据；基于此，步骤S13基于所述反馈数据确定预先配置的评估指标的指标值具体可以包括：基于预设的指标计算规则，对所述反馈数据进行处理操作，得到所述评估指标的指标值。
在步骤S13确定了评估指标对应的指标值后，即可在步骤S14中通过可视化的方式展示所述指标值和/或所述指标值相对于参考值的变化情况。本发明的实施例中，实验业务流程的评估指标的数量可以为一个或多个，各评估指标之间可以具有预设的逻辑关系。可选的，所述预设的逻辑关系可以包括以下一种或多种：从属关系、并列关系、协同关系、对抗关系等。其中，从属关系可以指评估指标A是评估指标B的下级指标，例如评估指标B是企业的总指标，评估指标A是其中某个部门的部门指标。并列关系可以指评估指标A与评估指标B是平级关系，例如，同一企业的两个部门的部门指标。协同关系可以指评估指标A与评估指标B的变化方向是一致的，例如产品质量和用户满意度，相同条件下，产品质量越好，用户满意度也越高，对抗关系可以指评估指标A与评估指标B的变化反向是相反的，例如成本和利润，相同条件下，成本越高，利润约低。为了能够给观看者提供更多的信息，以便更客观准确地对实验业务流程进行评估，在本发明的一个实施例中，除了展示指标值和/或指标值相对于参考值的变化情况之外，还可以通过可视化方式展示各评估指标之间的所述逻辑关系。
进一步地，在步骤S14通过可视化的方式展示所述指标值相对于参考值的变化情况之后，本发明的实施例提供的评估辅助方法还可以包括：根据各所述评估指标之间的逻辑关系，以及各所述指标值和/或所述指标值相对于各自的参考值的变化情况，提供是否将所述实验业务流程转化为所述第一业务的主业务流程的参考建议。可选的，该参考建议例如可以通过建立人工智能模型并进行相关预测得到。观看者可以根据上述指标值和/或指标值的变化情况并结合该参考建议，确定是否将所述实验业务流程转化为第一业务的主业务流程，并给评估辅助方法所基于的系统以相应的指令。
具体而言，在本发明的一个实施例中，通过可视化的方式展示所述指标值和/或所述指标值相对于参考值的变化情况之后，观看者可以下发流程迭代指令，
本发明的实施例提供的评估辅助方法还可以包括：接收流程迭代指令；根据所述流程迭代指令，用所述实验业务流程替换所述第一业务的原主业务流程作为新的主业务流程。
为了进一步确保第一业务的安全运转，防止将实验业务流程作为新的主业务流程后出现重大问题，在本发明的一个实施例中，根据所述流程迭代指令，用所述实验业务流程替换所述第一业务的原主业务流程作为新的主业务流程具体可以包括：根据所述流程迭代指令，用所述实验业务流程替换所述第一业务的原主业务流程运行，并将所述第一业务的原主业务流程保留备用；响应于在预设时间节点之前接收到回滚指令，根据所述回滚指令，恢复所述原主业务流程作为主业务流程运行；响应于在所述预设时间节点之后接收到确认指令，根据所述确认指令，确认所述实验业务流程作为所述第一业务的主业务流程。可选的，此时也可以删除所述原主业务流程以节省磁盘空间。也即是说，本实施例中，可以为新的主业务流程设置一段观察时间，在此期间，原主业务流程仍然在系统中保留备用，观察周期内，如果遇到业务指标变化情况不佳等情况，可以回滚为原主业务流程，等观察时间过后，新的主业务流程可以稳定运行时，再确认所述实验业务流程作为所述第一业务的主业务流程，从而保证了新、旧主业务流程的平稳过渡。
进一步地，本发明的实施例中，除了可以根据指标值和/或所述指标值相对于参考值的变化情况确定是否用实验业务流程替换原主业务流程之外，还可以根据指标值的变化情况进行其他参数的调整。例如，在本发明的一个实施例中，预设业务分配规则包括根据流量分配，则通过可视化的方式展示所述指标值和/或所述指标值相对于参考值的变化情况之后，本发明的实施例提供的评估辅助方法还可以包括：根据所述指标值和/或所述指标值相对于参考值的变化情况，调整所述目标请求的数量占业务请求总量的比例。
例如，一开始为了测试实验业务流程的效果，分配给实验业务流程的业务请求数量较少，例如，占业务请求的比例低于5%，而在如果发现指标值良好或指标值相对于参考值有较大改善后，可以在预设权限范围内适当增大目标请求的数量占业务请求总量的比例，例如，增大到20%，从而对实验业务流程进行更大范围的验证。
本发明的实施例中，实验业务流程与主业务流程都属于第一业务，可以同时在第一业务中运行，由于其各自拥有各自的资源，因此可以相互隔离，彼此不影响。
为了能够更灵活地利用实验业务流程尝试不同的业务实现可能，在本发明的一个实施例中，执行该评估辅助方法的系统，还能够提供构建实验业务流程的功能，从而可以使得不同的人可以创建不同的实验业务流程，从而尝试更多的可能，即，步骤S11接收第一业务的业务请求之前，本发明的实施例提供的评估辅助方法还可以包括：提供实验业务流程创建页面，所述实验业务流程创建页面中设置有实验业务流程的配置入口；接收通过所述实验业务流程创建页面的配置入口输入的实验业务流程的配置信息；根据所述实验业务流程的配置信息，创建所述实验业务流程。
其中，所述接收通过所述实验业务流程创建页面的配置入口输入的实验业务流程的配置信息具体可以包括：检测实验创建人员对所述实验业务流程创建页面的配置入口执行的交互操作，所述交互操作包括以下至少一种：点击、拖拽、文本输入、语音；基于所述交互操作，获取所述实验创建人员输入的配置信息。
可选的，在本发明的一个实施例中，实验业务流程的配置信息包括以下至少一项：实验业务流程对应的业务场景、实验业务流程所针对的决策点、所述决策点所涉及的决策策略、实验业务流程使用的实验室、实验室与决策策略的对应关系、所述预设业务分配规则。
一个实验业务流程可以针对一种业务场景，该场景中可以具有一个或多个决策点，每个决策点需要配置相应的决策策略。为了控制一种业务场景对应的实验业务流程的数量，可选的，为每种业务场景建立一定数量的实验室，实验业务流程的数量不能超过实验室的数量，一个实验业务流程占用一个实验室，其中，实验室可以指在第一业务的业务系统中划分出的相对独立的业务单元，每个实验室可以容纳一个实验业务流程进行实验，不同的实验室之间相互独立，互不影响。另外，实验室可以与决策策略相关联，比如，规则类实验室，AI类实验室，而实验室与决策策略的对应关系，例如还可以为实验室lab3验证决策策略strategy1、strategy2，实验室lab4验证决策策略strategy5、strategy6、strategy7等。预设业务分配规则用于指示主业务流程和实验业务流程如何进行业务分配，例如可以包括根据流量分配、根据地域分配、根据用户特征分配等多种规则。具体到每种分配规则，还可以配置具体的方案，例如，具体的流量比例、具体的城市或地区、用户的具体性别、年龄等。
举例说明，实验业务流程对应的业务场景例如可以为某应用程序APP的首页优化业务场景或者某推荐业务场景等，该首页优化业务场景包括首页布局和首页配色两个决策点，那么为该首页优化业务场景创建一个实验业务流程，该实验业务流程所针对的决策点为首页布局决策点和首页配色决策点，该实验业务流程会针对这两个决策点配置决策策略，即决策点所涉及的决策策略例如可以为，首页布局决策点具体采用怎样的布局策略，例如上、下结构的版面布局策略，或者左、右结构的版面布局策略等。实验业务流程使用的实验室例如可以为，实验业务流程A使用实验室lab1，实验业务流程B使用实验室lab2等。
基于上述配置操作，本发明的一个实施例中，根据所述实验业务流程的配置信息，创建所述实验业务流程具体可以包括：根据所述配置信息，生成所述实验业务流程的业务处理逻辑，该业务处理逻辑可以为执行代码，不同的配置信息，生成的具体业务处理逻辑也不同。该实验业务流程将基于所生成的业务处理逻辑进行业务处理。
一个实验业务流程可以针对一种业务场景，即实验业务流程可以是为某个具体的业务场景而设计的，因此，进一步地，在本发明的一个实施例中，可以首先创建若干个业务场景，然后针对各个业务场景创建实验业务流程，或者，可以首先创建若干个业务场景，在创建实验业务流程时，从预先创建的业务场景里面选择该实验业务流程所针对的业务场景。具体的，在接收第一业务的业务请求之前，本发明的实施例提供的评估辅助方法还可以包括：提供业务场景创建页面，所述业务场景创建页面中设置有业务场景的配置入口；接收通过所述业务场景创建页面的配置入口输入的业务场景配置信息；根据所述业务场景配置信息，创建业务场景；提供实验业务流程创建页面，所述实验业务流程创建页面中设置有实验业务流程的配置入口，所述配置入口包括从所述创建的业务场景选择业务场景的配置入口；接收通过所述实验业务流程创建页面的配置入口选择的业务场景；根据所述实验业务流程的业务场景，创建所述实验业务流程。其中，配置入口可以指用于用户输入的控件，例如对话框、下拉菜单等。也即是说，本实施例中，实验业务流程创建页面中设置的实验业务流程的配置入口，可以包括多个，其中一个配置入口可以是业务场景配置入口，该业务场景配置入口具体可以用于使用户从创建好的一个或多个业务场景中选择一个业务场景。
可选的，业务场景配置信息可以包括以下至少一项：业务场景采取的分流方式、业务场景中的决策点、业务场景可使用的实验室数量。其中，业务场景采取的分流方式指示了该业务场景的业务在主业务流程和实验业务流程之间的分配方式，例如，可以按照流量比例的方式分流，按照地域分流，也可以按照用户ID分流，或者按照店铺ID分流等。业务场景中的决策点，例如可以为首页优化场景中包括决策点1为首页布局，决策点2为首页颜色等。其中，每个决策点可以具有一个或多个决策策略，每个实验室可以对一个或多个决策点进行验证，其中每个决策点在一个实验室中选择其中一个决策策略。业务场景可使用的实验室数量例如可以为首页优化场景可使用10个实验室，也就是最多可以允许10个有关首页优化场景的实验业务流程同时运行。可选的，每个业务场景中可以包括一个或多个不同的实验业务流程，每个实验业务流程在一个实验室中运行。
示例性的，在本发明的一个实施例中，业务场景、分流方式，决策点与实验室的一种对应关系可以如图2所示。
下面通过一个具体的实施例对本发明的实施例提供的评估辅助方法进行详细说明。
如图3所示，本发明的实施例提供的评估辅助方法可以包括：
S201、提供业务场景创建页面，所述业务场景创建页面中设置有业务场景的配置入口；
示例性的，业务场景创建页面可以如图4所示；
S202、接收通过所述业务场景创建页面的配置入口输入的业务场景配置信息；
S203、根据所述业务场景配置信息，创建业务场景；
S204、提供实验业务流程创建页面，所述实验业务流程创建页面中设置有实验业务流程的配置入口，所述配置入口包括从所述创建的业务场景选择业务场景的配置入口；
示例性的，实验业务流程创建页面可以如图5所示；
S205、接收通过所述实验业务流程创建页面的配置入口选择的业务场景；
S206、根据所述实验业务流程的业务场景，创建实验业务流程；
S207、接收第一业务的业务请求；
S208、从各业务请求中选择一部分作为目标请求，分配给所述实验业务流程进行处理；
其中，可以按照创建场景时配置的分流方式进行业务请求在实验业务流程和主业务流程分配；
S209、根据所述实验业务流程的处理逻辑对所述目标请求进行第一处理操作，以返回业务处理结果；
S210、获取所述业务处理结果对应的日志数据；
例如，该日志数据可以包括用户的点击操作、停留时长等；
S211、基于预设的指标计算规则，对所述日志数据进行第二处理操作，得到所述评估指标的指标值；
例如，评估指标为用户点击率和平均浏览时长；根据日志数据分别计算出用户点击率和平均浏览时长等指标值；
S212、通过可视化的方式展示出评估指标相对于参考值的变化情况以及评估指标之间的逻辑关系；
例如，用户点击率上升10个百分点，平均浏览时长增加5个百分点；
例如，用户点击率和平均浏览时长为并列关系，在展示界面并列展示这两个指标；
S213、根据各评估指标之间的逻辑关系，以及各所述指标值相对于各自的参考值的变化情况，提供是否将所述实验业务流程转化为所述第一业务的主业务流程的参考建议；
S214、接收流程迭代指令；
S215、根据流程迭代指令，用所述实验业务流程替换所述第一业务的原主业务流程运行，并将所述第一业务的原主业务流程保留备用；
S216、响应于在预设时间节点之前接收到回滚指令，根据所述回滚指令，恢复所述原主业务流程作为主业务流程运行。
相应的，第二方面，本发明的实施例还提供一种评估辅助装置，能够有助于对评估对象进行更加准确的评估，从而有助于提高评估对象的用户价值。
如图6所示，本发明的实施例提供的评估辅助装置可以包括：
第一接收单元31，用于接收第一业务的业务请求，
业务分配单元30，用于根据预设业务分配规则从各业务请求中选择一部分作为目标请求，分配给预设的实验业务流程进行处理；
获取单元32，用于获取所述实验业务流程对所述目标请求的处理结果对应的反馈数据；
确定单元33，用于基于所述反馈数据确定预先配置的评估指标的指标值；
展示单元34，用于通过可视化的方式展示所述指标值和/或所述指标值相对于参考值的变化情况，以使观看者根据所述指标值和/或所述变化情况确定是否将所述实验业务流程转化为所述第一业务的主业务流程。
本发明的实施例提供的评估辅助装置，能够接收第一业务的业务请求，并根据预设业务分配规则从各业务请求中选择一部分作为目标请求，分配给预设的实验业务流程进行处理，获取所述实验业务流程对所述目标请求的处理结果对应的反馈数据，基于所述反馈数据确定预先配置的评估指标的指标值，并通过可视化的方式展示所述指标值和/或所述指标值相对于参考值的变化情况，以使观看者根据所述指标值和/或所述变化情况确定是否将所述实验业务流程转化为所述第一业务的主业务流程。这样，就在实际的业务处理中将一部分业务请求分流给实验业务流程处理，并据此利用评估指标对实验业务流程进行评估，从而在保证第一业务的主业务流程正常运转的情况下，使对实验业务流程的评估建立在真实的业务场景和客观的评估指标的基础上，使评估结果的观看者能更客观、准确地确定是否用实验业务流程替换主业务流程，以便提高用户价值。
可选的，业务分配单元30，还用于将各业务请求中除所述目标请求之外的请求，分配给当前的所述主业务流程进行处理。
可选的，第一接收单元31，可具体用于：接收用户向所述第一业务的业务系统发起的用户业务请求，或者接收所述第一业务的业务系统针对用户产生的系统业务请求。
可选的，获取单元32，具体可用于获取所述第一业务对应的日志数据，所述日志数据中记录有所述实验业务流程对所述目标请求的处理结果对应的反馈数据；确定单元33，具体可用于基于预设的指标计算规则，对所述反馈数据进行处理操作，得到所述评估指标的指标值。
可选的，所述预设业务分配规则可以包括以下至少一项：根据流量分配、根据地域分配、根据用户特征分配。
可选的，所述预设业务分配规则包括：根据流量分配；所述目标请求的数量占业务请求总量的比例小于第一阈值；所述主业务流程处理的业务请求的数量占业务请求总量的比例大于第二阈值，其中，所述第一阈值小于或等于所述第二阈值。
可选的，所述评估指标的数量包括一个或多个，各评估指标之间具有预设的逻辑关系。
可选的，所述预设的逻辑关系包括以下至少一种：从属关系、并列关系、协同关系、对抗关系。
可选的，展示单元34，还可用于通过可视化方式展示各所述评估指标之间的所述逻辑关系。
可选的，本发明的实施例提供的评估辅助装置还可以包括：第一提供单元，用于在通过可视化的方式展示所述指标值和/或所述指标值相对于参考值的变化情况之后，根据各所述评估指标之间的逻辑关系，以及各所述指标值和/或所述指标值相对于各自的参考值的变化情况，提供是否将所述实验业务流程转化为所述第一业务的主业务流程的参考建议。
可选的，本发明的实施例提供的评估辅助装置还可以包括：
第二接收单元，用于在通过可视化的方式展示所述指标值和/或所述指标值相对于参考值的变化情况之后，接收流程迭代指令；
替换单元，用于根据所述流程迭代指令，用所述实验业务流程替换所述第一业务的原主业务流程作为新的主业务流程。
可选的，在本发明的一个实施例中，所述替换单元可以包括：
第一替换保留模块，用于根据所述流程迭代指令，用所述实验业务流程替换所述第一业务的原主业务流程运行，并将所述第一业务的原主业务流程保留备用；
第一恢复模块，用于响应于在预设时间节点之前接收到回滚指令，根据所述回滚指令，恢复所述原主业务流程作为主业务流程运行；
确认模块，用于响应于在所述预设时间节点之后接收到确认指令，根据所述确认指令，确认所述实验业务流程作为所述第一业务的主业务流程。
可选的，在本发明的一个实施例中，所述替换单元可以包括：
第二替换保留模块，用于根据所述流程迭代指令，在预设时间范围内用所述实验业务流程替换所述第一业务的原主业务流程运行，并将所述第一业务的原主业务流程保留备用；
第二恢复模块，用于在所述预设时间结束后，恢复所述原主业务流程作为主业务流程运行。
可选的，所述预设业务分配规则包括根据流量分配；本发明的实施例提供的评估辅助装置还可以包括：调整单元，用于在通过可视化的方式展示所述指标值和/或所述指标值相对于参考值的变化情况之后，根据所述指标值和/或所述指标值相对于参考值的变化情况，调整所述目标请求的数量占业务请求总量的比例。
可选的，本发明的实施例提供的评估辅助装置还可以包括：第二提供单元，用于在接收第一业务的业务请求之前，提供实验业务流程创建页面，所述实验业务流程创建页面中设置有实验业务流程的配置入口；第二接收单元，用于接收通过所述实验业务流程创建页面的配置入口输入的实验业务流程的配置信息；第一创建单元，用于根据所述实验业务流程的配置信息，创建所述实验业务流程。
可选的，所述第二接收单元可以包括：
检测模块，用于检测实验创建人员对所述实验业务流程创建页面的配置入口执行的交互操作，所述交互操作包括以下至少一种：点击、拖拽、文本输入、语音；
获取模块，用于基于所述交互操作，获取所述实验创建人员输入的配置信息。
可选的，所述实验业务流程的配置信息包括以下至少一项：实验业务流程对应的业务场景、实验业务流程所针对的决策点、所述决策点所涉及的决策策略、实验业务流程使用的实验室、实验室与决策策略的对应关系、所述目标请求的数量占业务请求总量的比例。
可选的，所述第一创建单元，具体可用于根据所述配置信息，生成所述实验业务流程的业务处理逻辑。
可选的，本发明的实施例提供的评估辅助装置还可以包括：
第三提供单元，用于在接收第一业务的业务请求之前，提供业务场景创建页面，所述业务场景创建页面中设置有业务场景的配置入口；
第三接收单元，用于接收通过所述业务场景创建页面的配置入口输入的业务场景配置信息；
第二创建单元，用于根据所述业务场景配置信息，创建业务场景；
第四提供单元，用于提供实验业务流程创建页面，所述实验业务流程创建页面中设置有实验业务流程的配置入口，所述配置入口包括从所述创建的业务场景选择业务场景的配置入口；
第四接收单元，用于接收通过所述实验业务流程创建页面的配置入口选择的业务场景；
第三创建单元，用于根据所述实验业务流程的业务场景，创建所述实验业务流程。
可选的，所述业务场景配置信息可以包括以下至少一项：业务场景采取的分流方式、业务场景中的决策点、业务场景可使用的实验室数量。
可选的，每个所述业务场景可以对应一个或多个不同的实验业务流程。
图1示出的具体操作可由图6的装置中的各个单元来执行，这里，对于具体操作细节将不再赘述。
第三方面，相应的，本发明实施例提供一种电子设备，能够有助于对评估对象进行更加准确的评估，从而有助于提高评估对象的用户价值。
如图7所示，本发明的实施例提供的一种电子设备，可以包括：壳体41、处理器42、存储器43、电路板44和电源电路45，其中，电路板44安置在壳体41围成的空间内部，处理器42和存储器43设置在电路板44上；电源电路45，用于为上述电子设备的各个电路或器件供电；存储器43用于存储可执行程序代码；处理器42通过读取存储器43中存储的可执行程序代码来运行与可执行程序代码对应的程序，用于执行前述任一实施例所述的评估辅助方法。
处理器42对上述步骤的具体执行过程以及处理器42通过运行可执行程序代码来进一步执行的步骤，可以参见前述实施例的描述，在此不再赘述。
该电子设备以多种形式存在，可具有单机或分布式的运算结构，本发明对此不作限制。
第四方面，本发明的实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现前述实施例提供的任一种评估辅助方法，因此也能实现相应的技术效果，前文已经进行了详细说明，此处不再赘述。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
为了描述的方便，描述以上装置是以功能分为各种单元/模块分别描述。当然，在实施本发明时可以把各单元/模块的功能在同一个或多个软件和/或硬件中实现。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体（Read-Only Memory，ROM）或随机存储记忆体（Random AccessMemory，RAM）等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (21)

1.一种评估辅助方法，其特征在于，包括：
接收第一业务的业务请求，并根据预设业务分配规则从各业务请求中选择一部分作为目标请求，分配给预设的实验业务流程进行处理，将各业务请求中除所述目标请求之外的请求，分配给当前的主业务流程进行处理；其中，所述主业务流程为所述第一业务当前采用的业务方案，所述实验业务流程为改进的业务方案，所述实验业务流程包括至少一个；所述实验业务流程预先根据实验业务流程的配置信息创建，所述实验业务流程的配置信息包括以下至少一项：实验业务流程对应的业务场景、实验业务流程所针对的决策点、所述决策点所涉及的决策策略、实验业务流程使用的实验室、实验室与决策策略的对应关系、所述预设业务分配规则；每种业务场景建立有一个或多个实验室，每个所述实验室容纳一个实验业务流程进行实验，不同的实验室之间相互独立；所述实验室具有预设分类，所述预设分类包括规则类实验室和/或AI类实验室；
获取所述实验业务流程对所述目标请求的处理结果对应的反馈数据；
基于所述反馈数据确定预先配置的评估指标的指标值；
通过可视化的方式展示所述指标值和/或所述指标值相对于参考值的变化情况，以使观看者根据所述指标值和/或所述变化情况确定是否将所述实验业务流程转化为所述第一业务的主业务流程，其中，同一个所述指标值对应一个或多个参考值；
所述通过可视化的方式展示所述指标值和/或所述指标值相对于参考值的变化情况之后，所述方法还包括：
接收流程迭代指令；
根据所述流程迭代指令，用所述实验业务流程替换所述第一业务的原主业务流程作为新的主业务流程。
2.根据权利要求1所述的方法，其特征在于，所述接收第一业务的业务请求包括：
接收用户向所述第一业务的业务系统发起的用户业务请求，或者接收所述第一业务的业务系统针对用户产生的系统业务请求。
3.根据权利要求1所述的方法，其特征在于，
所述获取所述实验业务流程对所述目标请求的处理结果对应的反馈数据包括：
获取所述第一业务对应的日志数据，所述日志数据中记录有所述实验业务流程对所述目标请求的处理结果对应的反馈数据；
所述基于所述反馈数据确定预先配置的评估指标的指标值包括：
基于预设的指标计算规则，对所述反馈数据进行处理操作，得到所述评估指标的指标值。
4.根据权利要求1所述的方法，其特征在于，所述预设业务分配规则包括以下至少一项：根据流量分配、根据地域分配、根据用户特征分配。
5.根据权利要求4所述的方法，其特征在于，所述预设业务分配规则包括：根据流量分配；所述目标请求的数量占业务请求总量的比例小于第一阈值；所述主业务流程处理的业务请求的数量占业务请求总量的比例大于第二阈值，其中，所述第一阈值小于或等于所述第二阈值。
6.根据权利要求1所述的方法，其特征在于，所述评估指标的数量包括一个或多个，各评估指标之间具有预设的逻辑关系。
7.根据权利要求6所述的方法，其特征在于，所述预设的逻辑关系包括以下至少一种：从属关系、并列关系、协同关系、对抗关系。
8.根据权利要求6所述的方法，其特征在于，还包括：
通过可视化方式展示各所述评估指标之间的所述逻辑关系。
9.根据权利要求6所述的方法，其特征在于，所述通过可视化的方式展示所述指标值和/或所述指标值相对于参考值的变化情况之后，所述方法还包括：
根据各所述评估指标之间的逻辑关系，以及各所述指标值和/或所述指标值相对于各自的参考值的变化情况，提供是否将所述实验业务流程转化为所述第一业务的主业务流程的参考建议。
10.根据权利要求1所述的方法，其特征在于，所述根据所述流程迭代指令，用所述实验业务流程替换所述第一业务的原主业务流程作为新的主业务流程包括：
根据所述流程迭代指令，用所述实验业务流程替换所述第一业务的原主业务流程运行，并将所述第一业务的原主业务流程保留备用；
响应于在预设时间节点之前接收到回滚指令，根据所述回滚指令，恢复所述原主业务流程作为主业务流程运行；
响应于在所述预设时间节点之后接收到确认指令，根据所述确认指令，确认所述实验业务流程作为所述第一业务的主业务流程。
11.根据权利要求1所述的方法，其特征在于，所述根据所述流程迭代指令，用所述实验业务流程替换所述第一业务的原主业务流程作为新的主业务流程包括：
根据所述流程迭代指令，在预设时间范围内用所述实验业务流程替换所述第一业务的原主业务流程运行，并将所述第一业务的原主业务流程保留备用；
在所述预设时间结束后，恢复所述原主业务流程作为主业务流程运行。
12.根据权利要求1所述的方法，其特征在于，所述预设业务分配规则包括根据流量分配；所述通过可视化的方式展示所述指标值和/或所述指标值相对于参考值的变化情况之后，所述方法还包括：
根据所述指标值和/或所述指标值相对于参考值的变化情况，调整所述目标请求的数量占业务请求总量的比例。
13.根据权利要求1至12中任一项所述的方法，其特征在于，所述接收第一业务的业务请求之前，所述方法还包括：
提供实验业务流程创建页面，所述实验业务流程创建页面中设置有实验业务流程的配置入口；
接收通过所述实验业务流程创建页面的配置入口输入的实验业务流程的配置信息；
根据所述实验业务流程的配置信息，创建所述实验业务流程。
14.根据权利要求13所述的方法，其特征在于，所述接收通过所述实验业务流程创建页面的配置入口输入的实验业务流程的配置信息包括：
检测实验创建人员对所述实验业务流程创建页面的配置入口执行的交互操作，所述交互操作包括以下至少一种：点击、拖拽、文本输入、语音；
基于所述交互操作，获取所述实验创建人员输入的配置信息。
15.根据权利要求13所述的方法，其特征在于，所述根据所述实验业务流程的配置信息，创建所述实验业务流程包括：
根据所述配置信息，生成所述实验业务流程的业务处理逻辑。
16.根据权利要求1至12中任一项所述的方法，其特征在于，所述接收第一业务的业务请求之前，所述方法还包括：
提供业务场景创建页面，所述业务场景创建页面中设置有业务场景的配置入口；
接收通过所述业务场景创建页面的配置入口输入的业务场景配置信息；
根据所述业务场景配置信息，创建业务场景；
提供实验业务流程创建页面，所述实验业务流程创建页面中设置有实验业务流程的配置入口，所述配置入口包括从所述创建的业务场景选择业务场景的配置入口；
接收通过所述实验业务流程创建页面的配置入口选择的业务场景；
根据所述实验业务流程的业务场景，创建所述实验业务流程。
17.根据权利要求16所述的方法，其特征在于，所述业务场景配置信息包括以下至少一项：业务场景采取的分流方式、业务场景中的决策点、业务场景可使用的实验室数量。
18.根据权利要求16所述的方法，其特征在于，每个所述业务场景对应一个或多个不同的实验业务流程。
19.一种评估辅助装置，其特征在于，包括：
第一接收单元，用于接收第一业务的业务请求；
业务分配单元，用于根据预设业务分配规则从各业务请求中选择一部分作为目标请求，分配给预设的实验业务流程进行处理，将各业务请求中除所述目标请求之外的请求，分配给当前的主业务流程进行处理；其中，所述主业务流程为所述第一业务当前采用的业务方案，所述实验业务流程为改进的业务方案，所述实验业务流程包括至少一个；所述实验业务流程预先根据实验业务流程的配置信息创建，所述实验业务流程的配置信息包括以下至少一项：实验业务流程对应的业务场景、实验业务流程所针对的决策点、所述决策点所涉及的决策策略、实验业务流程使用的实验室、实验室与决策策略的对应关系、所述预设业务分配规则；每种业务场景建立有一个或多个实验室，每个所述实验室容纳一个实验业务流程进行实验，不同的实验室之间相互独立；所述实验室具有预设分类，所述预设分类包括规则类实验室和/或AI类实验室；
获取单元，用于获取所述实验业务流程对所述目标请求的处理结果对应的反馈数据；
确定单元，用于基于所述反馈数据确定预先配置的评估指标的指标值；
展示单元，用于通过可视化的方式展示所述指标值和/或所述指标值相对于参考值的变化情况，以使观看者根据所述指标值和/或所述变化情况确定是否将所述实验业务流程转化为所述第一业务的主业务流程，其中，同一个所述指标值对应一个或多个参考值；
所述装置还包括：第二接收单元，用于在通过可视化的方式展示所述指标值和/或所述指标值相对于参考值的变化情况之后，接收流程迭代指令；
替换单元，用于根据所述流程迭代指令，用所述实验业务流程替换所述第一业务的原主业务流程作为新的主业务流程。
20.一种电子设备，其特征在于，所述电子设备包括：壳体、处理器、存储器、电路板和电源电路，其中，电路板安置在壳体围成的空间内部，处理器和存储器设置在电路板上；电源电路，用于为上述电子设备的各个电路或器件供电；存储器用于存储可执行程序代码；处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，用于执行前述权利要求 1 至18任一项所述的评估辅助方法。
21.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现前述权利要求1至18中任一项所述的评估辅助方法。
CN202210361680.4A 2022-04-07 2022-04-07 一种评估辅助方法及装置、电子设备、存储介质 Active CN114462890B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210361680.4A CN114462890B (zh) 2022-04-07 2022-04-07 一种评估辅助方法及装置、电子设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210361680.4A CN114462890B (zh) 2022-04-07 2022-04-07 一种评估辅助方法及装置、电子设备、存储介质

Publications (2)

Publication Number Publication Date
CN114462890A CN114462890A (zh) 2022-05-10
CN114462890B true CN114462890B (zh) 2022-07-26

Family

ID=81416543

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210361680.4A Active CN114462890B (zh) 2022-04-07 2022-04-07 一种评估辅助方法及装置、电子设备、存储介质

Country Status (1)

Country Link
CN (1) CN114462890B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115018390B (zh) * 2022-08-05 2022-12-20 广东咏声动漫股份有限公司 一种动画项目文件的制作价值评估方法、装置及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7568183B1 (en) * 2005-01-21 2009-07-28 Microsoft Corporation System and method for automation testing and validation
CN110808872A (zh) * 2019-10-21 2020-02-18 微梦创科网络科技（中国）有限公司 一种流量实验的实现方法、装置及电子设备
CN112333246A (zh) * 2020-10-26 2021-02-05 深圳市酷开网络科技有限公司 一种ABtest实验方法、装置、智能终端及存储介质
CN113158497A (zh) * 2021-05-26 2021-07-23 中国平安人寿保险股份有限公司 在线服务实验方法、装置、计算机设备和存储介质
CN113315672A (zh) * 2020-02-27 2021-08-27 腾讯科技（深圳）有限公司 流量分配方法及装置、电子设备及计算机可读存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8359216B2 (en) * 2008-10-01 2013-01-22 International Business Machines Corporation System and method for finding business transformation opportunities by using a multi-dimensional shortfall analysis of an enterprise
WO2017072785A1 (en) * 2015-10-25 2017-05-04 Osmnez Technologies Pvt Ltd System and method for website content management
CN109344045A (zh) * 2018-07-27 2019-02-15 阿里巴巴集团控股有限公司 业务系统切换方法、装置、电子设备及存储介质
CN110413533A (zh) * 2019-09-03 2019-11-05 江苏满运软件科技有限公司 Ab测试方法、系统、设备及存储介质
CN113298354B (zh) * 2021-04-28 2023-08-01 上海淇玥信息技术有限公司 业务衍生指标的自动生成方法、装置及电子设备
CN113409138A (zh) * 2021-07-19 2021-09-17 浙江孚临科技有限公司 一种风险控制决策引擎装置
CN113836024B (zh) * 2021-09-27 2024-02-06 中南大学 基于配置驱动的流量复用ab测试方法及系统
CN114168452A (zh) * 2021-11-12 2022-03-11 南京云眼科技有限公司 一种ab测试试验程序可视化操作平台

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7568183B1 (en) * 2005-01-21 2009-07-28 Microsoft Corporation System and method for automation testing and validation
CN110808872A (zh) * 2019-10-21 2020-02-18 微梦创科网络科技（中国）有限公司 一种流量实验的实现方法、装置及电子设备
CN113315672A (zh) * 2020-02-27 2021-08-27 腾讯科技（深圳）有限公司 流量分配方法及装置、电子设备及计算机可读存储介质
CN112333246A (zh) * 2020-10-26 2021-02-05 深圳市酷开网络科技有限公司 一种ABtest实验方法、装置、智能终端及存储介质
CN113158497A (zh) * 2021-05-26 2021-07-23 中国平安人寿保险股份有限公司 在线服务实验方法、装置、计算机设备和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Vee@Cloud: The virtual test lab on the cloud;Xiaoying Bai et al.;《2013 8th International Workshop on Automation of Software Test (AST)》;20130912;第15-18页 *
移动应用灰度发布系统的设计与实现;颜振东;《中国优秀硕士学位论文全文数据库 (信息科技辑)》;20180415(第4期);第I138-925页 *

Also Published As

Publication number Publication date
CN114462890A (zh) 2022-05-10

Similar Documents

Publication Publication Date Title
Sarigöl et al. Quantifying the effect of editor–author relations on manuscript handling times
JP2017174062A (ja) 購買行動分析装置およびプログラム
US20150186368A1 (en) Comment-based media classification
Hussain et al. Provider-based optimized personalized viable SLA (OPV-SLA) framework to prevent SLA violation
CN105103176A (zh) 信息处理设备、信息处理方法和程序
CN114462890B (zh) 一种评估辅助方法及装置、电子设备、存储介质
EP4283511A1 (en) Information processing method and device, server and user equipment
Ulu et al. An interactive approach to multicriteria sorting for quasiconcave value functions
Kirdemir et al. Assessing bias in YouTube’s video recommendation algorithm in a cross-lingual and cross-topical context
Lee et al. Dynamic human resource selection for business process exceptions
CN107844496B (zh) 统计信息输出方法及装置
KR20180062546A (ko) 서비스 이용자 성향 유형에 따른 창업 업종 추천 시스템
CN116128576A (zh) 物流对象的价格预测方法、装置、设备及存储介质
CN109242690A (zh) 理财产品推荐方法、装置、计算机设备及可读存储介质
Al-Taie Explanations in recommender systems: overview and research approaches
Calleo et al. Optimizing spatial survey administration adopting RT-GSCS: A statistical perspective on performance metrics
Missaoui et al. A language modeling approach for the recommendation of tourism-related services
Elabd A dynamic reputation-based approach for web services discovery
CN114357292A (zh) 模型训练方法、设备和存储介质
CN111107439B (zh) 内容分发方法、装置、服务器及存储介质
Stiakakis et al. Developing and validating a multi-criteria model to evaluate mobile service quality
JP6122138B2 (ja) インタラクションの類似性によってリンクされるコミュニティの間の情報拡散を最適化するための方法およびデバイス
CN112508631A (zh) 用户策略分配方法、装置及电子设备
CN113723974A (zh) 一种信息处理方法、装置、设备及存储介质
US20200342302A1 (en) Cognitive forecasting

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant