CN117041356A - 指标分发方法、指标计算方法、装置、电子设备及系统 - Google Patents

指标分发方法、指标计算方法、装置、电子设备及系统 Download PDF

Info

Publication number
CN117041356A
CN117041356A CN202311294669.1A CN202311294669A CN117041356A CN 117041356 A CN117041356 A CN 117041356A CN 202311294669 A CN202311294669 A CN 202311294669A CN 117041356 A CN117041356 A CN 117041356A
Authority
CN
China
Prior art keywords
index
service node
index calculation
calculation
identifier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311294669.1A
Other languages
English (en)
Other versions
CN117041356B (zh
Inventor
文严
何林
王发修
高斌
裴雁峰
徐志华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu New Hope Finance Information Co Ltd
Original Assignee
Chengdu New Hope Finance Information Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu New Hope Finance Information Co Ltd filed Critical Chengdu New Hope Finance Information Co Ltd
Priority to CN202311294669.1A priority Critical patent/CN117041356B/zh
Publication of CN117041356A publication Critical patent/CN117041356A/zh
Application granted granted Critical
Publication of CN117041356B publication Critical patent/CN117041356B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/60Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H04L67/63Routing a service request depending on the request content or context
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0639Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393Score-carding, benchmarking or key performance indicator [KPI] analysis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004Server selection for load balancing
    • H04L67/1008Server selection for load balancing based on parameters of servers, e.g. available memory or workload
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004Server selection for load balancing
    • H04L67/1014Server selection for load balancing based on the content of a request

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Economics (AREA)
  • Operations Research (AREA)
  • Game Theory and Decision Science (AREA)
  • Computer Hardware Design (AREA)
  • Marketing (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请提供一种指标分发方法、指标计算方法、装置、电子设备及系统,涉及数据处理领域。该方法包括:获取源服务节点的第一指标计算请求;其中,第一指标计算请求包括待计算的指标标识和用户标识;用户标识为表征参与指标计算的数据信息的标识;根据待计算的指标标识确定对应的执行脚本;根据执行脚本和用户标识生成第二指标计算请求;将第二指标计算请求分发给目标服务节点,以使目标服务节点根据执行脚本对用户标识对应的数据信息进行指标计算。装置用于执行上述方法。本申请实施例通过指标管理平台在有指标计算需求时将与计算需求相关的执行脚本分发给目标服务节点进行指标计算,降低了各服务节点的代码冗余度。

Description

指标分发方法、指标计算方法、装置、电子设备及系统
技术领域
本申请涉及数据处理领域,具体而言,涉及一种指标分发方法、指标计算方法、装置、电子设备及系统。
背景技术
随着公司对外的客户群体扩大,客户数量日益增多,公司平台会用到的指标也日益增多。而指标作为一种用于衡量或评估特定目标或目标达成程度的量化衡量标准,使得各个部门各个系统中使用相同或不同的指标对客户情况进行衡量。但目前由于公司部门之间的封闭性和隔离性,数据共享性差导致需要在多个服务节点中预先配置指标计算程序以对指标进行计算,使得代码冗余。
发明内容
本申请实施例的目的在于提供一种指标分发方法、指标计算方法、装置、电子设备及系统,用以对指标进行分发和计算,降低了代码冗余度。
第一方面,本申请实施例提供一种指标分发方法,该方法应用于指标管理平台;该方法包括:获取源服务节点的第一指标计算请求;其中,第一指标计算请求包括待计算的指标标识和用户标识;用户标识为表征参与指标计算的数据信息的标识;根据待计算的指标标识确定对应的执行脚本;根据执行脚本和用户标识生成第二指标计算请求;将第二指标计算请求分发给目标服务节点,以使目标服务节点根据执行脚本对用户标识对应的数据信息进行指标计算。
本申请实施例通过指标管理平台根据获取到的源服务节点的第一指标计算请求中的待计算指标标识确定执行脚本,并根据执行脚本和用户标识生成第二指标计算请求,将第二指标计算请求分发给目标服务节点。在这个过程中,由于只有在有指标计算需求时,指标管理平台才会将由待计算的指标标识确定的执行脚本发送给目标服务节点进行指标计算,使得不需要预先在每一个服务节点中都集成计算指标的执行脚本,而是由指标管理平台进行统一管理,降低了代码冗余度。
在一些实施例中,将第二指标计算请求分发给目标服务节点,包括:获取服务集群中每个服务节点的空闲资源百分比;根据空间资源百分比确定目标服务节点;将第二指标计算请求分发给目标服务节点。
本申请实施例通过指标管理平台在对第二指标计算请求进行分发时根据集群负载情况进行分发,考虑了整个集群的负载情况。并且,通过利用集群中各服务节点的空闲资源百分比来确定每个服务节点的空闲资源,以将空闲资源较多的服务节点作为目标服务节点来执行计算过程,在降低服务节点代码冗余度的基础上,不仅提高资源利用率,还提高了计算效率。
在一些实施例中,待计算的指标标识包括多个子指标标识;将第二指标计算请求分发给目标服务节点,包括:获取每个子指标标识的指标优先级和服务集群中每个服务节点的空闲资源百分比;根据指标优先级和空闲资源百分比确定每个子指标标识对应的目标服务节点;将每个子指标标识对应的第二指标计算请求分别分发给对应的目标服务节点。
本申请实施例在需要对多个指标进行计算时,根据集群中各服务节点的空闲资源百分比和每个指标的优先级来确定计算每个指标的目标服务节点。使得在指标分发过程中能根据集群中各服务节点的实际情况和指标的优先级情况对集群资源进行合理分配,提高了资源利用率。并且,由于考虑到指标优先级,使得优先级高的指标能够优先被分发,即优先级高的指标能够优先被计算,以获得计算结果,因此,也提高了计算效率。
在一些实施例中,在将第二指标计算请求分发给目标服务节点之后,该方法还包括:获取日志信息;其中,日志信息为指标处理过程中产生的信息;根据日志信息统计待计算的指标标识对应的指标的执行信息。
本申请实施例通过日志信息对待计算的指标标识对应的指标的具体情况进行统计,便于开发人员对指标情况的了解和维护,保证了指标计算的正确性和可追溯性。
第二方面,本申请实施例提供一种指标计算方法,该方法应用于服务节点;该方法包括:接收指标管理平台的第二指标计算请求;其中,第二指标计算请求为指标管理平台根据源服务节点发送的第一指标计算请求中的待计算的指标标识确定的执行脚本和第一指标计算请求中的用户标识生成;源服务节点为服务集群中的任一服务节点;基于执行脚本获得用户标识对应的用于指标计算的目标数据;基于执行脚本,对目标数据进行指标计算。
本申请实施例通过在服务节点中执行指标计算方法,在执行指标计算时,运行执行脚本,获取与用户标识对应的目标数据,以完成对指标的计算。在这个过程中,由于只有分发了计算任务的服务节点才会根据从指标管理平台获得的执行脚本执行指标计算,因此不需要预先给每个服务节点都集成执行脚本,降低了代码冗余度。
在一些实施例中,基于执行脚本获得用户标识对应的用于指标计算的目标数据,包括:解析执行脚本,获得用于计算的目标数据源类型;从所述目标数据源类型对应的数据库中获取用户标识对应的目标数据。
本申请实施例由于执行脚本中包括了读取数据源的逻辑代码,因此,在运行执行脚本时,可直接获取到与该指标相关的数据,从而实现对指标的计算,提高了计算效率。
在一些实施例中,第二指标计算请求包括源服务节点的返回路径;在对目标数据进行指标计算之后,该方法还包括:根据源服务节点的返回路径将计算结果返回源服务节点。
本申请实施例通过返回路径将计算结果直接返回给源服务节点,加快了源服务节点获取计算结果的速度。
第三方面,本申请实施例提供一种指标分发装置,该装置包括:获取模块,用于获取源服务节点的第一指标计算请求;其中,第一指标计算请求包括待计算的指标标识和用户标识;用户标识为表征参与指标计算的数据信息的标识;确定模块,用于根据待计算的指标标识确定对应的执行脚本;生成模块,用于根据执行脚本和用户标识生成第二指标计算请求;分发模块,用于将第二指标计算请求分发给目标服务节点,以使目标服务节点根据执行脚本对用户标识对应的数据信息进行指标计算。
第四方面,本申请实施例提供一种指标计算装置,该装置包括:接收模块,用于接收指标管理平台的第二指标计算请求;其中,第二指标计算请求为指标管理平台根据源服务节点发送的第一指标计算请求中的待计算的指标标识确定的执行脚本和第一指标计算请求中的用户标识生成;源服务节点为服务集群中的任一服务节点;获得模块,用于基于执行脚本获得用户标识对应的用于指标计算的目标数据;计算模块,用于基于执行脚本,对目标数据进行指标计算。
第五方面,本申请实施例提供一种电子设备,包括:处理器、存储器、存储介质和总线,其中,所述处理器和所述存储器通过所述总线完成相互间的通信;所述存储器存储有可被所述处理器执行的程序指令,所述处理器调用所述程序指令能够执行第一方面和第二方面的方法步骤。
第六方面,本申请实施例提供一种非暂态计算机可读存储介质,包括:所述计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行第一方面和第二方面的方法步骤。
第七方面,本申请实施例提供一种指标计算系统,该系统包括指标管理平台和多个服务节点;指标管理平台和多个服务节点通信连接;指标管理平台用于运行如第一方面的方法步骤,各服务节点用于运行如第二方面的方法步骤。
本申请的有益效果如下:
本申请实施例在有指标计算需求时,指标管理平台将由待计算的指标标识确定的执行脚本发送给目标服务节点进行指标计算,使得不需要预先在每一个服务节点中都集成计算指标的执行脚本,而是由指标管理平台进行统一管理,避免了重复开发的情况,降低了代码冗余度。并且,在指标管理平台进行指标分发时,考虑集群的负载情况进行指标的分发,提高了资源利用率和指标计算效率。同时,通过指标管理平台也便于操作者对指标进行统一管理。
本申请的其他特征和优点将在随后的说明书阐述,并且,部分地从说明书中变得显而易见,或者通过实施本申请实施例了解。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种指标分发方法的流程图;
图2为本申请实施例提供的一种指标计算方法的流程图;
图3为本申请实施例提供的一种指标计算平台进行指标分发的示意图;
图4为本申请实施例提供的一种指标计算系统的示意图;
图5为本申请实施例提供的一种指标分发装置结构示意图;
图6为本申请实施例提供的一种指标计算装置结构示意图;
图7为本申请实施例提供的电子设备结构示意图。
具体实施方式
下面将结合附图对本申请技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本申请的技术方案,因此只作为示例,而不能以此来限制本申请的保护范围。
需要说明的是,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同;本文中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本申请;本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形,意图在于覆盖不排他的包含。
在本申请实施例的描述中,技术术语“第一”“第二”等仅用于区别不同对象,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量、特定顺序或主次关系。在本申请实施例的描述中,“多个”的含义是两个以上,除非另有明确具体的限定。
图1为本申请实施例提供的一种指标分发方法的流程图,该方法应用于指标管理平台,指标管理平台可以运行在终端设备(也可以称为电子设备)以及服务器,其中终端设备具体可以为智能手机、平板电脑、计算机、个人数字助理(Personal Digital Assistant,PDA)等;服务器具体可以为应用服务器,也可以为Web服务器。如图1所示,该方法包括:
步骤101,获取源服务节点的第一指标计算请求;其中,第一指标计算请求包括待计算的指标标识和用户标识;用户标识为表征参与指标计算的数据信息的标识。
在具体实施过程中,指标管理平台用于对指标进行管理,包括指标管理模块、数据源管理模块、指标分发模块。其中,指标管理模块用于对指标进行管理,包括指标维护模块、优先级管理模块、执行情况统计模块。指标维护模块用于对指标进行创建、修改、删除和查询;优先级管理模块用于对指标优先级进行设置;执行情况统计模块用于对指标处理过程进行记录和统计。数据源管理模块用于记录数据源的账号、密码、访问路径等访问信息。数据源管理模块包括数据源信息维护模块、内部接口维护模块和三方接口维护模块。指标分发模块用于对指标计算请求进行分发。指标是一种用于衡量或评估特定目标或目标达成程度的量化衡量标准,可以定量或定性,可以是单一的指标,也可以是组合的指标。
需要说明的是,指标管理平台中管理的指标可以是业务系统在处理业务中涉及的所有指标,还可以是计算复杂度比较高的指标,还可以是重要程度比较高的指标。具体指标管理平台中管理哪些指标可根据实际情况进行设置,本申请对此不做具体限定。示例性的,考虑到并不是所有指标计算都需要大量的计算资源,并且每一个服务节点的计算资源也有所不同,因此,通常在指标管理平台中维护源服务节点不能快速完成指标计算的指标。
源服务节点指有指标计算需求的节点或者需要获得指标计算结果的节点。源服务节点在需要进行指标计算时,向指标管理平台发送第一指标计算请求。指标标识可以是指标id,或者用于区分指标的符号标记等,具体指标标识的形式可根据实际情况进行设定,本申请对此不做具体限定。用户标识可以是用户id、可以是用户身份证号等能够唯一标识用户身份,并且能够准确获取到该用户相关数据的信息,具体可根据实际情况进行设定,本申请对此不做具体限定。
指标管理平台获取到源服务节点发送的第一指标计算请求后,对第一指标计算请求解析获得待计算的指标标识和用户标识。
步骤102,根据待计算的指标标识确定对应的执行脚本。
在具体实施过程中,执行脚本为开发人员预先根据指标的计算需求编写的用于进行指标计算的程序。指标管理平台获知待计算的指标标识后,利用待计算的指标标识在指标管理平台连接的数据库中查询与待计算的指标标识对应的执行脚本。需要说明的是,考虑到减少开发人员在多个服务节点中重复开发指标计算的执行脚本,因此,开发人员可以预先编写好执行脚本后,将执行脚本存入指标管理平台连接的数据库中,以便于对执行脚本进行维护和获取。
需要说明的是,执行脚本的编写语言可以是JavaScript、可以是python、还可以是lua等。具体根据实际情况选择相应的编程语言编写执行脚本,本申请对此不做具体限定。
为便于对执行脚本进行直观理解,本申请实施例给出如下示例,例如,利用JavaScript编写的计算两个值的和并返回的执行脚本如下:
function myFunction() {
y=5;
z=2;
x=y+z;
return x;
}
步骤103,根据执行脚本和用户标识生成第二指标计算请求。
在具体实施过程中,由于指标管理平台不执行计算操作,因此,需要将源服务节点的第一指标计算请求进行分发。在分发之前,为了保证目标服务节点能正常执行指标计算,指标管理平台根据执行脚本和用户标识生成第二指标计算请求进行分发。
步骤104,将第二指标计算请求分发给目标服务节点,以使目标服务节点根据执行脚本对用户标识对应的数据信息进行指标计算。
在具体实施过程中,目标服务节点是指需要进行指标计算的服务节点。指标管理平台在生成第二指标计算请求后,将第二指标计算请求分发给目标服务节点,以使目标服务节点能够根据第二指标计算请求中的执行脚本及时且高效地对用户标识对应的数据信息进行指标计算。
需要说明的是,目标服务节点预先集成了运行执行脚本的执行引擎,以使目标服务节点能够正常根据第二指标计算请求进行指标计算。
本申请实施例通过指标管理平台根据获取到的源服务节点的第一指标计算请求中的待计算指标标识确定执行脚本,并根据执行脚本和用户标识生成第二指标计算请求,将第二指标计算请求分发给目标服务节点。在这个过程中,由于只有在有指标计算需求时,指标管理平台才会将由待计算的指标标识确定的执行脚本发送给目标服务节点进行指标计算,使得不需要预先在每一个服务节点中都集成计算指标的执行脚本,而是由指标管理平台进行统一管理,降低了代码冗余度。
在一些实施例中,将第二指标计算请求分发给目标服务节点,包括:获取服务集群中每个服务节点的空闲资源百分比;根据空间资源百分比确定目标服务节点;将第二指标计算请求分发给目标服务节点。
在具体实施过程中,指标管理平台除了获取源服务节点发送的第一指标计算请求外,还可以获取服务集群的集群负载情况,用以获知服务集群中各服务节点的负载情况,便于指标管理平台对第二指标计算请求进行分发。需要说明的是,服务集群由多个服务节点构成,服务集群负载情况用于表征集群中各服务节点的负载量。
指标管理平台通过获取服务集群中每个服务节点的空闲资源百分比来获知服务集群中各服务节点的空闲资源情况,以此了解服务集群中每个服务节点是否适合执行指标计算任务,或者适合执行何种类型的指标计算任务。因此,指标管理平台在根据服务集群的负载情况对第二指标计算请求进行分发时,通过获取每个服务节点的空闲资源百分比,并根据空间资源百分比确定目标服务节点,以将第二指标计算请求分发给目标服务节点。
应当知道的是,由于指标管理平台会根据服务集群的负载情况对第二指标计算请求进行分发,因此,目标服务节点和源服务节点可以是同一个服务节点,也可以是不同的服务节点。
本申请实施例通过指标管理平台在对第二指标计算请求进行分发时根据集群负载情况进行分发,考虑了整个集群的负载情况。并且,通过利用集群中各服务节点的空闲资源百分比来确定每个服务节点的空闲资源,以将空闲资源较多的服务节点作为目标服务节点来执行计算过程,在降低服务节点代码冗余度的基础上,不仅提高资源利用率,还提高了计算效率。
在一些实施例中,待计算的指标标识包括多个子指标标识;将第二指标计算请求分发给目标服务节点,包括:获取每个子指标标识的指标优先级和服务集群中每个服务节点的空闲资源百分比;根据指标优先级和空闲资源百分比确定每个子指标标识对应的目标服务节点;将每个子指标标识对应的第二指标计算请求分别分发给对应的目标服务节点。
在具体实施过程中,由于服务集群中包括多个服务节点,而每个服务节点需要不断处理各种各样的业务,因此,指标管理平台通常是同时获取多个第一指标计算请求。需要说明的是,多个第一指标计算请求可以是一个服务节点的,也可以是多个服务节点的。
每一个第一指标计算请求对应一个指标标识,因此,待计算的指标标识包括多个子指标标识。指标管理平台根据每一个子指标标识从数据库中获取对应的执行脚本,以使目标服务节点根据执行脚本完成对应指标的计算任务。
在获取到指标标识后,指标管理平台通过指标标识确定该指标标识对应指标的指标优先级。在指标管理平台根据集群负载情况将第二指标计算请求分发给目标服务节点时,除了获取服务集群中每个服务节点的空闲资源百分比外,还需要考虑待计算指标的指标优先级。以使指标管理平台同时根据指标优先级和空闲资源百分比确定每个子指标标识对应的目标服务节点,并将每个子指标标识对应的第二指标计算请求分别分发给对应的目标服务节点。
根据指标优先级和空闲资源百分比确定每个子指标标识对应的目标服务节点的具体过程如下:
指标管理平台获取服务集群中集成了执行引擎的系统所在的各个物理机运行情况,根据物理机资源空闲百分比,将物理机按空闲资源由多至少进行排序。在有指标计算任务时,指标管理平台将优先级最高的指标计算任务分发给空闲资源百分比排在第一的物理机,然后将该物理机资源空闲设为0,将其排在最后。以此类推,根据指标优先级和空闲资源百分比将剩余的指标计算任务分发给剩余的物理机,执行指标计算。需要说明的是,由于服务节点运行在各系统中,而系统运行在各物理机中,因此,获取物理机的空闲资源百分比即获得了各服务节点的空闲资源百分比。
需要说明的是,在分发过程中,会按预设间隔时间对服务集群中的物理机的资源占比进行刷新,并重新排序。预设间隔时间可以是1秒,可以是2秒等,具体可根据实际情况进行设定,本申请对此不做具体限定。
本申请实施例在需要对多个指标进行计算时,根据集群中各服务节点的空闲资源百分比和每个指标的优先级来确定计算每个指标的目标服务节点。使得在指标分发过程中能根据集群中各服务节点的实际情况和指标的优先级情况对集群资源进行合理分配,提高了资源利用率。并且,由于考虑到指标优先级,使得优先级高的指标能够优先被分发,即优先级高的指标能够优先被计算,以获得计算结果,因此,也提高了计算效率。
在一些实施例中,在将第二指标计算请求分发给目标服务节点之后,该方法还包括:获取日志信息;其中,日志信息为指标处理过程中产生的信息;根据日志信息统计待计算的指标标识对应的指标的执行信息。
在具体实施过程中,指标管理平台在将第二指标计算请求分发给目标服务节点之后,还需获取指标管理平台和目标服务节点的日志信息,以对当前计算的指标的具体情况进行记录和统计。
应当知道的是,指标管理平台的日志信息中记录有待计算的指标标识对应的指标相关的源服务节点、目标服务节点、获取第一指标计算请求的时间、分发第二指标计算请求的时间等信息。目标服务节点的日志信息中记录有指标计算开始时间、指标计算结束时间、指标计算是否成功、指标计算占用内存和资源情况等信息。
本申请实施例通过日志信息对待计算的指标标识对应的指标的具体情况进行统计,便于开发人员对指标情况的了解和维护,保证了指标计算的正确性和可追溯性。
图2为本申请实施例提供的一种指标计算方法的流程图,该方法应用于服务节点;服务节点可以运行在终端设备(也可以称为电子设备)以及服务器,其中终端设备具体可以为智能手机、平板电脑、计算机、个人数字助理(Personal Digital Assistant,PDA)等;服务器具体可以为应用服务器,也可以为Web服务器。如图2所示,该方法包括:
步骤201,接收指标管理平台的第二指标计算请求;其中,第二指标计算请求为指标管理平台根据源服务节点发送的第一指标计算请求中的待计算的指标标识确定的执行脚本和第一指标计算请求中的用户标识生成;源服务节点为服务集群中的任一服务节点。
步骤202,基于执行脚本获得用户标识对应的用于指标计算的目标数据。
步骤203,基于执行脚本,对目标数据进行指标计算。
在具体实施过程中,服务节点接收指标管理平台发送的第二指标计算请求,其中,第二指标计算请求中包括执行脚本和用户标识。服务节点运行执行脚本,由于执行脚本中详细定义了对应指标的计算过程和需要用到的数据源。因此,服务节点运行执行脚本,根据数据源信息与对应的数据库进行连接,从而从数据库中拉取用户标识对应的用于指标计算的目标数据,获得目标数据后,则根据目标数据进行指标计算。
本申请实施例通过在服务节点中执行指标计算方法,在执行指标计算时,运行执行脚本,获取与用户标识对应的目标数据,以完成对指标的计算。在这个过程中,由于只有分发了计算任务的服务节点才会根据从指标管理平台获得的执行脚本执行指标计算,因此不需要预先给每个服务节点都集成执行脚本,降低了代码冗余度。
在一些实施例中,基于执行脚本获得用户标识对应的用于指标计算的目标数据,包括:解析执行脚本,获得用于计算的目标数据源类型;从所述目标数据源类型对应的数据库中获取用户标识对应的目标数据。
在具体实施过程中,数据源类型指用于指标计算的数据来源的类型,数据源类型可以是一方数据、二方数据、三方数据或者这些数据的组合。其中,一方数据是指企业内部数据库存储的第一手消费者相关的信息;二方数据是指可以直接向拥有数据的企业购买到的和用户直接相关的数据;三方数据为第三方数据检测公司、运营商、银联、百行、朴道等的数据。
由于执行脚本中详细定义了指标计算需要用到的数据源,因此,服务节点在解析执行脚本时,通过执行脚本中定义好的访问数据库的方法与目标数据源建立连接,从而实现从目标数据源对应的数据库中获取用户标识对应的目标数据。
本申请实施例由于执行脚本中包括了读取数据源的逻辑代码,因此,在运行执行脚本时,可直接获取到与该指标相关的数据,从而实现对指标的计算,提高了计算效率。
在一些实施例中,第二指标计算请求包括源服务节点的返回路径;在对目标数据进行指标计算之后,该方法还包括:根据源服务节点的返回路径将计算结果返回源服务节点。
在具体实施过程中,服务节点在获得指标计算结果后,根据返回路径将计算结果返回给源服务节点,以使源服务节点获得指标计算结果,便于后续流程的正常流转。
应当知道的是,服务节点在进行指标计算时,可能出现指标计算失败的情况,在此情况下,服务节点可基于执行脚本重新执行指标计算,以获得计算结果。
需要说明的是,在服务节点获得计算结果后,还可将计算结果先返回给指标管理平台,然后指标管理平台再将计算结果返回给源服务节点。并且,指标管理平台在接收到计算结果后,还可根据计算结果判断是否计算成功,若计算成功,则将计算结果返回给源服务节点,若计算不成功,则重新获取物理资源对该指标计算请求进行重新分发,重新对该指标进行计算。
还需说明的是,在服务节点或者指标管理平台判断计算成功或是失败时,根据执行引擎返回的状态码进行判断。
本申请实施例通过返回路径将计算结果直接返回给源服务节点,加快了源服务节点获取计算结果的速度。
图3为本申请实施例提供的一种指标计算平台进行指标分发的示意图,如图3所示,服务节点A向指标管理平台发送第一指标计算请求,指标管理平台获取服务集群空闲资源确定目标服务节点为服务节点B,然后向服务节点B发送第二指标计算请求,服务节点B接收到第二指标计算请求后,执行引擎根据第二指标计算请求执行指标计算,获得计算结果,然后服务节点B将结果返回给服务节点A。
示例性的:服务集群包括多个服务节点,其中服务节点A是源服务节点,服务节点B是目标服务节点,待计算的指标是某个年龄阶段的平均收入水平。客户张三在某银行申请授信,该银行的授信流程会途经多个服务节点,其中,在经过服务节点A时,需要计算与客户张三同年龄阶段的平均收入水平,以此评估张三的收入水平。由于在服务节点A需要计算与张三同年龄阶段的平均收入水平,需要获取与张三同年龄阶段的所有用户的收入进行计算,其所需计算资源较多,因此在张三的授信流程到达服务节点A后,服务节点A向指标管理平台发送第一指标计算请求,要求计算“与张三同年龄阶段的平均收入水平”,指标管理平台在接收到第一指标计算请求后,会根据集群负载情况在集群中选择一个资源空闲较多的服务节点执行指标计算,即服务节点B。
在具体分发时,在根据集群负载情况确定目标服务节点后,指标管理平台将通过第一指标计算请求中的待计算指标标识确定的执行脚本和张三的用户标识一并发送给服务节点B,以使服务节点B完成对指标的计算。
图4为本申请实施例提供的一种指标计算系统的示意图,如图4所示,指标计算系统包括指标管理平台和多个服务节点,指标管理平台和多个服务节点通信联系。在该指标计算系统中,指标管理平台执行指标分发方法,以将指标计算任务分发给服务集群中较为空闲的服务节点。各个服务节点用于执行指标计算方法,以完成指标管理平台分发的指标计算任务,获得指标计算结果。
图5为本申请实施例提供的一种指标分发装置结构示意图,如图5所示,该装置包括:获取模块501,确定模块502,生成模块503和分发模块504,其中,
获取模块501用于获取源服务节点的第一指标计算请求;其中,第一指标计算请求包括待计算的指标标识和用户标识;用户标识为表征参与指标计算的数据信息的标识。确定模块502用于根据待计算的指标标识确定对应的执行脚本。生成模块503用于根据执行脚本和用户标识生成第二指标计算请求。分发模块504用于将第二指标计算请求分发给目标服务节点,以使目标服务节点根据执行脚本对用户标识对应的数据信息进行指标计算。
在上述实施例的基础上,分发模块504具体用于获取服务集群中每个服务节点的空闲资源百分比;根据空间资源百分比确定目标服务节点;将第二指标计算请求分发给目标服务节点。
在上述实施例的基础上,待计算的指标标识包括多个子指标标识;分发模块504具体用于获取每个子指标标识的指标优先级和服务集群中每个服务节点的空闲资源百分比;根据指标优先级和空闲资源百分比确定每个子指标标识对应的目标服务节点;将每个子指标标识对应的第二指标计算请求分别分发给对应的目标服务节点。
在上述实施例的基础上,该装置还包括日志信息获取模块,用于获取日志信息;其中,日志信息为指标处理过程中产生的信息;根据日志信息统计待计算的指标标识对应的指标的执行信息。
图6为本申请实施例提供的一种指标计算装置结构示意图,如图6所示,该装置包括接收模块601、获得模块602和计算模块603,其中,
接收模块601,用于接收指标管理平台的第二指标计算请求;其中,第二指标计算请求为指标管理平台根据源服务节点发送的第一指标计算请求中的待计算的指标标识确定的执行脚本和第一指标计算请求中的用户标识生成;源服务节点为服务集群中的任一服务节点;获得模块602,用于基于执行脚本获得用户标识对应的用于指标计算的目标数据;计算模块603,用于基于执行脚本,对目标数据进行指标计算。
在上述实施例的基础上,获得模块602具体用于解析执行脚本,获得用于计算的目标数据源类型;从所述目标数据源类型对应的数据库中获取用户标识对应的目标数据。
在上述实施例的基础上,第二指标计算请求包括源服务节点的返回路径;该装置还包括计算结果返回模块,用于根据源服务节点的返回路径将计算结果返回源服务节点。
图7为本申请实施例提供的电子设备结构示意图,如图7所示,所述电子设备,包括处理器(processor)701、存储器(memory)702和总线703;其中,所述处理器701和存储器702通过所述总线703完成相互间的通信。所述处理器701用于调用所述存储器702中的程序指令,以执行上述各方法实施例所提供的方法。
处理器701可以是一种集成电路芯片,具有信号处理能力。上述处理器701可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(NetworkProcessor,NP)等;还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。其可以实现或者执行本申请实施例中公开的各种方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器702可以包括但不限于随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-OnlyMemory,PROM),可擦除只读存储器(Erasable Programmable Read-Only Memory,EPROM),电可擦除只读存储器(Electrically Erasable Programmable Read-Only Memory,EEPROM)等。
本实施例公开一种计算机程序产品,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,计算机能够执行上述各方法实施例所提供的方法,例如包括:获取源服务节点的第一指标计算请求;其中,第一指标计算请求包括待计算的指标标识和用户标识;用户标识为表征参与指标计算的数据信息的标识;根据待计算的指标标识确定对应的执行脚本;根据执行脚本和用户标识生成第二指标计算请求;将第二指标计算请求分发给目标服务节点,以使目标服务节点根据执行脚本对用户标识对应的数据信息进行指标计算。
本实施例提供一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行上述各方法实施例所提供的方法,例如包括:获取源服务节点的第一指标计算请求;其中,第一指标计算请求包括待计算的指标标识和用户标识;用户标识为表征参与指标计算的数据信息的标识;根据待计算的指标标识确定对应的执行脚本;根据执行脚本和用户标识生成第二指标计算请求;将第二指标计算请求分发给目标服务节点,以使目标服务节点根据执行脚本对用户标识对应的数据信息进行指标计算。
在本申请所提供的实施例中,应该理解到,所揭露装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
另外,作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
以上所述仅为本申请的实施例而已,并不用于限制本申请的保护范围,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (10)

1.一种指标分发方法,其特征在于,所述方法应用于指标管理平台;所述方法包括:
获取源服务节点的第一指标计算请求;其中,所述第一指标计算请求包括待计算的指标标识和用户标识;所述用户标识为表征参与指标计算的数据信息的标识;
根据所述待计算的指标标识确定对应的执行脚本;
根据所述执行脚本和所述用户标识生成第二指标计算请求;
将所述第二指标计算请求分发给目标服务节点,以使所述目标服务节点根据所述执行脚本对所述用户标识对应的数据信息进行指标计算。
2.根据权利要求1所述的指标分发方法,其特征在于,所述将所述第二指标计算请求分发给目标服务节点,包括:
获取服务集群中每个服务节点的空闲资源百分比;
根据所述空闲资源百分比确定目标服务节点;
将所述第二指标计算请求分发给所述目标服务节点。
3.根据权利要求1所述的指标分发方法,其特征在于,所述待计算的指标标识包括多个子指标标识;所述将所述第二指标计算请求分发给目标服务节点,包括:
获取每个所述子指标标识的指标优先级和服务集群中每个服务节点的空闲资源百分比;
根据所述指标优先级和所述空闲资源百分比确定每个所述子指标标识对应的目标服务节点;
将每个所述子指标标识对应的第二指标计算请求分别分发给对应的目标服务节点。
4.根据权利要求1-3任一所述的指标分发方法,其特征在于,在将所述第二指标计算请求分发给目标服务节点之后,所述方法还包括:
获取日志信息;其中,所述日志信息为指标处理过程中产生的信息;
根据所述日志信息统计所述待计算的指标标识对应的指标的执行信息。
5.一种指标计算方法,其特征在于,所述方法应用于服务节点;所述方法包括:
接收指标管理平台的第二指标计算请求;其中,所述第二指标计算请求为所述指标管理平台根据源服务节点发送的第一指标计算请求中的待计算的指标标识确定的执行脚本和所述第一指标计算请求中的用户标识生成;所述源服务节点为服务集群中的任一服务节点;
基于所述执行脚本获得所述用户标识对应的用于指标计算的目标数据;
基于所述执行脚本,对所述目标数据进行指标计算。
6.根据权利要求5所述的指标计算方法,其特征在于,所述基于所述执行脚本获得所述用户标识对应的用于指标计算的目标数据,包括:
解析所述执行脚本,获得用于计算的目标数据源类型;
从所述目标数据源类型对应的数据库中获取所述用户标识对应的所述目标数据。
7.根据权利要求5-6任一所述的指标计算方法,其特征在于,所述第二指标计算请求包括源服务节点的返回路径;在所述对所述目标数据进行指标计算之后,所述方法还包括:
根据所述源服务节点的返回路径将计算结果返回所述源服务节点。
8.一种指标分发装置,其特征在于,包括:
获取模块,用于获取源服务节点的第一指标计算请求;其中,所述第一指标计算请求包括待计算的指标标识和用户标识;所述用户标识为表征参与指标计算的数据信息的标识;
确定模块,用于根据所述待计算的指标标识确定对应的执行脚本;
生成模块,用于根据所述执行脚本和所述用户标识生成第二指标计算请求;
分发模块,用于将所述第二指标计算请求分发给目标服务节点,以使所述目标服务节点根据所述执行脚本对所述用户标识对应的数据信息进行指标计算。
9.一种电子设备,其特征在于,包括:处理器和存储器,所述存储器存储有所述处理器可执行的机器可读指令,所述机器可读指令被所述处理器执行时执行如权利要求1至4任一所述的指标分发方法和权利要求5至7任一所述的指标计算方法。
10.一种指标计算系统,其特征在于,所述系统包括指标管理平台和多个服务节点;所述指标管理平台和所述多个服务节点通信连接;所述指标管理平台用于运行如权利要求1至4任一所述的指标分发方法,所述多个服务节点用于运行如权利要求5至7任一所述的指标计算方法。
CN202311294669.1A 2023-10-09 2023-10-09 指标分发方法、指标计算方法、装置、电子设备及系统 Active CN117041356B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311294669.1A CN117041356B (zh) 2023-10-09 2023-10-09 指标分发方法、指标计算方法、装置、电子设备及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311294669.1A CN117041356B (zh) 2023-10-09 2023-10-09 指标分发方法、指标计算方法、装置、电子设备及系统

Publications (2)

Publication Number Publication Date
CN117041356A true CN117041356A (zh) 2023-11-10
CN117041356B CN117041356B (zh) 2023-12-05

Family

ID=88624853

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311294669.1A Active CN117041356B (zh) 2023-10-09 2023-10-09 指标分发方法、指标计算方法、装置、电子设备及系统

Country Status (1)

Country Link
CN (1) CN117041356B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7398380B1 (en) * 2004-02-13 2008-07-08 Fabric7 Systems, Inc. Dynamic hardware partitioning of symmetric multiprocessing systems
US20090171708A1 (en) * 2007-12-28 2009-07-02 International Business Machines Corporation Using templates in a computing environment
US20160205202A1 (en) * 2015-01-09 2016-07-14 International Business Machines Corporation Service broker for computational offloading and improved resource utilization
CN110096364A (zh) * 2019-04-30 2019-08-06 广州番禺职业技术学院 一种云服务器计算集合控制方法及系统
CN110389836A (zh) * 2019-07-17 2019-10-29 腾讯科技(深圳)有限公司 一种多集群管理方法、装置、服务器及存储介质
CN110704186A (zh) * 2019-09-25 2020-01-17 国家计算机网络与信息安全管理中心 基于混合分布架构的计算资源分配方法、装置和存储介质
CN111464659A (zh) * 2020-04-27 2020-07-28 广州虎牙科技有限公司 节点的调度、节点的预选处理方法、装置、设备及介质
CN111654538A (zh) * 2020-05-29 2020-09-11 郁健兰 基于区块链及大数据的通信处理方法及云边端计算服务器
CN111950858A (zh) * 2020-07-20 2020-11-17 深圳供电局有限公司 一种边云协同计算资源交易方法、计算机设备和存储介质
CN112416960A (zh) * 2020-11-18 2021-02-26 腾讯科技(深圳)有限公司 多场景下的数据处理方法、装置、设备及存储介质
CN112799789A (zh) * 2021-03-22 2021-05-14 腾讯科技(深圳)有限公司 一种节点集群管理方法、装置、设备及存储介质
CN114035941A (zh) * 2021-10-18 2022-02-11 阿里巴巴(中国)有限公司 资源调度系统、方法以及计算设备

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7398380B1 (en) * 2004-02-13 2008-07-08 Fabric7 Systems, Inc. Dynamic hardware partitioning of symmetric multiprocessing systems
US20090171708A1 (en) * 2007-12-28 2009-07-02 International Business Machines Corporation Using templates in a computing environment
US20160205202A1 (en) * 2015-01-09 2016-07-14 International Business Machines Corporation Service broker for computational offloading and improved resource utilization
CN110096364A (zh) * 2019-04-30 2019-08-06 广州番禺职业技术学院 一种云服务器计算集合控制方法及系统
CN110389836A (zh) * 2019-07-17 2019-10-29 腾讯科技(深圳)有限公司 一种多集群管理方法、装置、服务器及存储介质
CN110704186A (zh) * 2019-09-25 2020-01-17 国家计算机网络与信息安全管理中心 基于混合分布架构的计算资源分配方法、装置和存储介质
CN111464659A (zh) * 2020-04-27 2020-07-28 广州虎牙科技有限公司 节点的调度、节点的预选处理方法、装置、设备及介质
CN111654538A (zh) * 2020-05-29 2020-09-11 郁健兰 基于区块链及大数据的通信处理方法及云边端计算服务器
CN111950858A (zh) * 2020-07-20 2020-11-17 深圳供电局有限公司 一种边云协同计算资源交易方法、计算机设备和存储介质
CN112416960A (zh) * 2020-11-18 2021-02-26 腾讯科技(深圳)有限公司 多场景下的数据处理方法、装置、设备及存储介质
CN112799789A (zh) * 2021-03-22 2021-05-14 腾讯科技(深圳)有限公司 一种节点集群管理方法、装置、设备及存储介质
CN114035941A (zh) * 2021-10-18 2022-02-11 阿里巴巴(中国)有限公司 资源调度系统、方法以及计算设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
PANELLAIPING ZHAO ET AL.: "Reliable workflow scheduling with less resource redundancy", 《PARALLEL COMPUTING》 *
PRIMAL: "指标管理平台基于springboot、vue、element-ui、echarts_开源指标管理系统", 《CSDN》 *
殷佳欣 等: "集群数据库系统多指标动态负载均衡方法的设计与实现", 《中国科学院研究生院学报》 *

Also Published As

Publication number Publication date
CN117041356B (zh) 2023-12-05

Similar Documents

Publication Publication Date Title
CN110782240B (zh) 业务数据处理方法、装置、计算机设备和存储介质
CN109104336B (zh) 服务请求处理方法、装置、计算机设备及存储介质
CN108492005B (zh) 项目数据处理方法、装置、计算机设备和存储介质
CN108074033A (zh) 指标数据的处理方法、系统、电子设备和存储介质
CN113448985A (zh) 一种api接口生成方法、调用方法、装置及电子设备
CN110084476B (zh) 案件调整方法、装置、计算机设备和存储介质
US8924343B2 (en) Method and system for using confidence factors in forming a system
CN114282011A (zh) 知识图谱的构建方法和装置、图计算方法及装置
CN111538483B (zh) 一种数据处理方法、设备、服务器及可读存储介质
CN117041356B (zh) 指标分发方法、指标计算方法、装置、电子设备及系统
CN111752838A (zh) 问题排查方法、装置、服务器及存储介质
US10067778B2 (en) Management system, recording medium and method for managing virtual machines
CN116302652A (zh) 系统报警信息的处理方法、装置及电子设备
CN110955599A (zh) 对象创建方法、装置、电子设备及计算机可读存储介质
CN115168509A (zh) 风控数据的处理方法及装置、存储介质、计算机设备
CN111176588B (zh) 业务单据出单方法、装置、介质及电子设备
CN115564322B (zh) 一种业务处理方法、装置、电子设备及存储介质
CN115529250B (zh) 流量回放方法、装置、电子设备及存储介质
CN115495484A (zh) 一种数据返回的方法、装置及介质
CN115348053A (zh) 准入权限控制方法、装置、电子设备和计算机存储介质
CN117009202A (zh) 埋点数据处理方法、装置、设备及存储介质
CN114064584A (zh) 数据比对方法、装置、计算机设备和存储介质
CN113824847A (zh) 计费异常的确定方法、装置、计算设备及计算机存储介质
CN115529250A (zh) 流量回放方法、装置、电子设备及存储介质
CN115205019A (zh) 一种数据调度方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant