CN115694699A - 时延参数采集方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明提供了一种时延参数采集方法，包括：当所述服务器向所述客户端发送任务处理结果时，通过所述通用执行引擎记录第二时间戳信息；基于所述第一时间戳信息和所述第二时间戳信息，确定所述通用执行引擎的使用环境的时延参数。本发明还提供了时延参数采集装置、电子设备及存储介质。本发明能够实现，及时准确地获得时延参数，对在线服务进程的任务处理质量进行监控，同时在获取时延参数时，不需要入侵业务处理过程，减少对任务执行的影响。

Description

时延参数采集方法、装置、电子设备及存储介质

技术领域

本本发明涉及网络通信中时延参数采集处理技术，尤其涉及时延参数采集方法、装置、系统、设备及存储介质。

背景技术

相关技术中，提高集群资源利用率可以有几种方式，一是集群本身合理配置应用申请资源，尽量运行更多的作业。二是在波谷时段填充其他作业，运行更多的作业。在线离线混部是通过在在线作业运行过程中填充离线作业，来提高资源利用率。离线任务不能无限填充，需要保证在线作业不受影响，保证其SLO在可接受范围内，同时离线作业要能快速上线下线，当在线作业需要资源的时候，及时出让。因此，需要及时准确地获得时延参数，对在线服务进程的任务处理质量进行监控。

发明内容

有鉴于此，本发明实施例提供一种时延参数采集方法、装置、电子设备及存储介质，能够实现及时准确地获得时延参数，对在线服务进程的任务处理质量进行监控，同时在获取时延参数时，不需要入侵业务处理过程，减少对任务执行的影响。

本发明实施例的技术方案是这样实现的：

本发明实施例提供了一种时延参数采集方法包括：

获取通用执行引擎的使用环境信息；

基于所述通用执行引擎的使用环境信息，确定与所述通用执行引擎相匹配的挂钩点；

在所述挂钩点中挂载所述通用执行引擎；

当客户端向服务器发送任务请求信息时，通过所述通用执行引擎记录第一时间戳信息；

当所述服务器向所述客户端发送任务处理结果时，通过所述通用执行引擎记录第二时间戳信息；

基于所述第一时间戳信息和所述第二时间戳信息，确定所述通用执行引擎的使用环境的时延参数。

本发明实施例还提供了一种时延参数采集装置，包括：

信息传输模块，用于获取通用执行引擎的使用环境信息；

信息处理模块，用于基于所述通用执行引擎的使用环境信息，确定与所述通用执行引擎相匹配的挂钩点；

所述信息处理模块，用于在所述挂钩点中挂载所述通用执行引擎；

所述信息处理模块，用于当客户端向服务器发送任务请求信息时，通过所述通用执行引擎记录第一时间戳信息；

所述信息处理模块，用于当所述服务器向所述客户端发送任务处理结果时，通过所述通用执行引擎记录第二时间戳信息；

所述信息处理模块，用于基于所述第一时间戳信息和所述第二时间戳信息，确定所述通用执行引擎的使用环境的时延参数。

上述方案中，

所述信息处理模块，用于确定与所述任务请求信息相匹配的过滤条件；

所述信息处理模块，用于通过与所述任务请求信息相匹配的过滤条件，对所述任务请求信息进行过滤，得到经过过滤的任务请求信息；

所述信息处理模块，用于通过所述通用执行引擎，将经过过滤的任务请求信息向服务器发送，并且记录与所述经过过滤的任务请求信息相对应的第一时间戳信息。

上述方案中，

所述信息处理模块，用于确定所述通用执行引擎的配置信息；

所述信息处理模块，用于基于所述通用执行引擎的配置信息，确定所述通用执行引擎的函数调用路径对应的探测代码；

所述信息处理模块，用于基于所述探测代码，为所述通用执行引擎的配置相应的数据存储结构。

上述方案中，

所述信息处理模块，用于用户态应用进程从所述通用执行引擎的环形缓冲区域中，获得所述通用执行引擎的使用环境的时延参数和接口地址信息；

所述信息处理模块，用于基于所述通用执行引擎的使用环境的时延参数和接口地址信息，对所述服务器的在线服务质量进行测评。

上述方案中，

所述信息处理模块，用于通过所述通用执行引擎的使用环境的时延参数和接口地址信息，判断集群资源中的空闲节点资源是否满足待处理任务；

所述信息处理模块，用于当所述集群资源中的空闲节点资源满足所述待处理任务时，通过所述空闲节点资源处理待处理任务；

所述信息处理模块，用于当所述集群资源中的空闲节点资源不满足所述待处理任务时，基于所述通用执行引擎的使用环境的时延参数，选择相应的空闲节点资源。

上述方案中，

所述信息处理模块，用于对所述待处理任务进行解析，获取所述待处理任务的优先级标识；

所述信息处理模块，用于根据所述待处理任务的优先级标识，对所接收的待处理任务的优先级进行排序；

所述信息处理模块，用于根据所述待处理任务的优先级，创建相应的待处理任务队列。

上述方案中，

所述信息处理模块，用于遍历待处理任务队列，确定优先级最高的待处理任务；

所述信息处理模块，用于确定所述网络资源中各个链路的链路质量；

所述信息处理模块，用于对所述优先级最高的待处理任务配置所述网络资源中链路质量最高的链路，以实现通过所配置的链路对所述待处理任务队列中的待处理任务进行处理。

上述方案中，

所述信息处理模块，用于将通用执行引擎标识、第一时间戳信息、第二时间戳信息以及时延参数送至区块链网络，以使

所述区块链网络的节点将所述通用执行引擎标识、第一时间戳信息、第二时间戳信息以及时延参数填充至新区块，且当对所述新区块共识一致时，将所述新区块追加至区块链的尾部。

本发明实施例还提供了一种电子设备，所述电子设备包括：

存储器，用于存储可执行指令；

处理器，用于运行所述存储器存储的可执行指令时，实现前述的时延参数采集方法。

本发明实施例还提供了一种计算机可读存储介质，存储有可执行指令，所述可执行指令被处理器执行时实现前述的时延参数采集方法。

本发明实施例具有以下有益效果：

本发明通过获取通用执行引擎的使用环境信息；基于所述通用执行引擎的使用环境信息，确定与所述通用执行引擎相匹配的挂钩点；在所述挂钩点中挂载所述通用执行引擎；当客户端向服务器发送任务请求信息时，通过所述通用执行引擎记录第一时间戳信息；当所述服务器向所述客户端发送任务处理结果时，通过所述通用执行引擎记录第二时间戳信息；基于所述第一时间戳信息和所述第二时间戳信息，确定所述通用执行引擎的使用环境的时延参数。由此不但能够实现及时准确地获得时延参数，对在线服务进程的任务处理质量进行监控，同时在获取时延参数时，而且不需要入侵业务处理过程，减少对任务执行的影响。

附图说明

图1是本发明实施例提供的时延参数采集方法的使用环境示意图；

图2为本发明实施例提供的时延参数采集装置的组成结构示意图；

图3为本发明实施例提供的时延参数采集方法一个可选的流程示意图；

图4为本发明实施例提供的时延参数采集方法一个可选的流程示意图；

图5为本发明实施例提供的时延参数采集方法一个可选的流程示意图；

图6是本发明实施例提供的目标对象确定装置100的架构示意图；

图7是本发明实施例提供的区块链网络200中区块链的结构示意图；

图8是本发明实施例提供的区块链网络200的功能架构示意图；

图9为本发明实施例中时延参数采集方法的处理过程示意图；

图10为本发明实施例中时延参数采集方法的处理效果示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，所描述的实施例不应视为对本发明的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。

对本发明实施例进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。

1)通用执行引擎，eBPF(extended Berkeley Packet Filter)，提供了可基于系统或程序事件高效安全执行特定代码的通用能力，通用能力的使用者不再局限于内核开发者；eBPF可由执行字节码指令、存储对象和Helper帮助函数组成，字节码指令在内核执行前必须通过BPF验证器Verfier的验证，同时在启用BPF JIT模式的内核中，会直接将字节码指令转成内核可执行的本地指令运行。

2)终端，包括但不限于：普通终端、专用终端，其中所述普通终端与发送通道保持长连接和/或短连接，所述专用终端与所述发送通道保持长连接。

3)客户端，终端中实现特定功能的载体，例如移动客户端(APP)是移动终端中特定功能的载体，例如执行线上直播的功能或者是在线视频的播放功能。

4)响应于，用于表示所执行的操作所依赖的条件或者状态，当满足所依赖的条件或状态时，所执行的一个或多个操作可以是实时的，也可以具有设定的延迟；在没有特别说明的情况下，所执行的多个操作不存在执行先后顺序的限制。

5)运行环境，用于解释和执行代码的引擎，例如对于小程序的运行环境而言，可以是iOS平台的JavaScript Core、安卓平台的X5 JS Core。

6)云技术(Cloud technology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称，可以组成资源池，按需所用，灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源，如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用，将来每个物品都有可能存在自己的识别标志，都需要传输到后台系统进行逻辑处理，不同程度级别的数据将会分开处理，各类行业数据皆需要强大的系统后盾支撑，只能通过云计算来实现。

7)云游戏：是指游戏本身运行在云端服务器设备中，将云端设备渲染后的游戏画面编码后，通过网络传输至用户终端，由用户终端对编码文件进行解码后渲染至显示屏进行显示的游戏，从而，用户无需在本地安装游戏，而仅需要建立与云端的通信网络连接便能完成游戏交互过程。

8)服务器集群(Server cluste)，指将很多服务器集中起来一起进行同一种服务，在客户端看来就像是只有一个服务器。服务器集群可以利用多个计算机进行并行计算从而获得很高的计算速度，也可以用多个计算机做备份，从而使得任何一个机器坏了整个系统还是能正常运行。在本申请中所提供的服务器集群硬盘故障处理方法中，可以应用于云服务器使用场景和分布式服务器使用场景。

9)区块链(Block chain)，是由区块(Block)形成的加密的、链式的交易的存储结构。

例如，每个区块的头部既可以包括区块中所有交易的哈希值，同时也包含前一个区块中所有交易的哈希值，从而基于哈希值实现区块中交易的防篡改和防伪造；新产生的交易被填充到区块并经过区块链网络中节点的共识后，会被追加到区块链的尾部从而形成链式的增长。

10)区块链网络(Block chain Network)，通过共识的方式将新区块纳入区块链的一系列的节点的集合。

图1为本发明实施例提供的时延参数采集方法的使用场景示意图，参见图1，终端(包括终端10-1和终端10-2)上设置有能够执行不同功能相应客户端其中，所属客户端为终端(包括终端10-1和终端10-2)通过网络300从相应的服务器200中获取不同的任务处理结果，服务器200可以接收来自不同终端的任务处理请求，终端通过网络300连接服务器200，网络300可以是广域网或者局域网，又或者是二者的组合，使用无线链路实现数据传输。其中，服务器200可以是服务器集群中的一部分，通过在线离线混部的方式，让在线作业运行过程中填充离线作业，可以提高资源利用率。但是离线任务不能无限填充，需要保证在线作业不受影响，保证其SLO在可接受范围内，同时离线作业要能快速上线下线，当在线作业需要资源的时候，及时出让。另外，离线运行起来之后，还要保证离线作业的成功率，不能因为频繁出让资源，而导致失败率很高。现有技术往往通过CPI等硬件指标或者在线业务采集上报的方式对在线服务的质量进行监控，但是CPI等硬件指标主要反映指令执行效率，这种方法通常需要与同类型服务其他节点上的CPI数据进行比较来判断当前服务是否偏移正常值，检测的效率较低且依赖于在线服务有多个副本。另外，CPI是硬件指标，如果宿主机是云上虚拟机由于数据透传的局限性，导致无法获取CPI数据。同时，在线服务采集上报的方案由于不同服务上报的监控平台可能各有不同，监控平台本身也可能不会提供相关的api进行指标查询，因此监控的时效性不能得到保证。

作为一个示例，服务器200用于布设时延参数采集处理装置以实现本发明所提供的时延参数采集方法，以通过获取通用执行引擎的使用环境信息；基于所述通用执行引擎的使用环境信息，确定与所述通用执行引擎相匹配的挂钩点；在所述挂钩点中挂载所述通用执行引擎；当客户端向服务器发送任务请求信息时，通过所述通用执行引擎记录第一时间戳信息；当所述服务器向所述客户端发送任务处理结果时，通过所述通用执行引擎记录第二时间戳信息；基于所述第一时间戳信息和所述第二时间戳信息，确定所述通用执行引擎的使用环境的时延参数，利用通用执行引擎的使用环境的时延参数对在线服务进程的任务处理质量进行监控

下面对本发明实施例的时延参数采集装置的结构做详细说明，时延参数采集装置可以各种形式来实施，如带有时延参数采集装置处理功能的专用终端，也可以为设置有时延参数采集装置处理功能的服务器或者服务器群组，例如部署于目标系统中的目标系统，例如前序图1中的服务器200。图2为本发明实施例提供的时延参数采集装置的组成结构示意图，可以理解，图2仅仅示出了时延参数采集装置的示例性结构而非全部结构，根据需要可以实施图2示出的部分结构或全部结构。

本发明实施例提供的时延参数采集装置包括：至少一个处理器201、存储器202、用户接口203和至少一个网络接口204。时延参数采集装置中的各个组件通过总线系统205耦合在一起。可以理解，总线系统205用于实现这些组件之间的连接通信。总线系统205除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2中将各种总线都标为总线系统205。

其中，用户接口203可以包括显示器、键盘、鼠标、轨迹球、点击轮、按键、按钮、触感板或者触摸屏等。

可以理解，存储器202可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。本发明实施例中的存储器202能够存储数据以支持终端(如10-1)的操作。这些数据的示例包括：用于在终端(如10-1)上操作的任何计算机程序，如操作系统和应用程序。其中，操作系统包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序可以包含各种应用程序。

在一些实施例中，本发明实施例提供的时延参数采集装置可以采用软硬件结合的方式实现，作为示例，本发明实施例提供的时延参数采集装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本发明实施例提供的时延参数采集方法。例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC，Application SpecificIntegrated Circuit)、DSP、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable Logic Device)、现场可编程门阵列(FPGA，Field-Programmable Gate Array)或其他电子元件。

作为本发明实施例提供的时延参数采集装置采用软硬件结合实施的示例，本发明实施例所提供的时延参数采集装置可以直接体现为由处理器201执行的软件模块组合，软件模块可以位于存储介质中，存储介质位于存储器202，处理器201读取存储器202中软件模块包括的可执行指令，结合必要的硬件(例如，包括处理器201以及连接到总线205的其他组件)完成本发明实施例提供的时延参数采集方法。

作为示例，处理器201可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。

作为本发明实施例提供的时延参数采集装置采用硬件实施的示例，本发明实施例所提供的装置可以直接采用硬件译码处理器形式的处理器201来执行完成，例如，被一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，ComplexProgrammable Logic Device)、现场可编程门阵列(FPGA，Field-Programmable GateArray)或其他电子元件执行实现本发明实施例提供的时延参数采集方法。

本发明实施例中的存储器202用于存储各种类型的数据以支持时延参数采集装置的操作。这些数据的示例包括：用于在时延参数采集装置上操作的任何可执行指令，如可执行指令，实现本发明实施例的从时延参数采集方法的程序可以包含在可执行指令中。

在另一些实施例中，本发明实施例提供的时延参数采集装置可以采用软件方式实现，图2示出了存储在存储器202中的时延参数采集装置，其可以是程序和插件等形式的软件，并包括一系列的模块，作为存储器202中存储的程序的示例，可以包括时延参数采集装置，时延参数采集装置中包括以下的软件模块信息传输模块2081和信息处理模块2082。当时延参数采集装置中的软件模块被处理器201读取到RAM中并执行时，将实现本发明实施例提供的时延参数采集方法，其中，时延参数采集装置中各个软件模块的功能，包括：

信息传输模块2081，用于获取通用执行引擎的使用环境信息；

信息处理模块，用于基于所述通用执行引擎的使用环境信息，确定与所述通用执行引擎相匹配的挂钩点。

所述信息处理模块2082，用于在所述挂钩点中挂载所述通用执行引擎；

所述信息处理模块2082，用于当客户端向服务器发送任务请求信息时，通过所述通用执行引擎记录第一时间戳信息。

所述信息处理模块2082，用于当所述服务器向所述客户端发送任务处理结果时，通过所述通用执行引擎记录第二时间戳信息。

所述信息处理模块2082，用于基于所述第一时间戳信息和所述第二时间戳信息，确定所述通用执行引擎的使用环境的时延参数。

结合图2示出的时延参数采集装置说明本发明实施例提供的时延参数采集方法，其中，可以理解地，图3所示的步骤可以由时延参数采集装置的各种电子设备执行，例如可以是如带有资源调度功能的专用终端、服务器或者服务器集群控制器、云网络服务器的控制终端。其中，带有时延参数采集装置的专用终端可以封装于图1所示的服务器200中，以执行前序图2所示的时延参数采集装置中的相应软件模块。下面针对图3示出的步骤进行说明。

步骤301：时延参数采集装置获取通用执行引擎的使用环境信息。

步骤302：时延参数采集装置基于所述通用执行引擎的使用环境信息，确定与所述通用执行引擎相匹配的挂钩点。

其中，与通用执行引擎相匹配的挂钩点可以使用hook技术，在对特定的系统事件进行hook后，一旦发生已hook事件，对该事件进行hook的程序就会收到系统的通知，这时程序就能在第一时间对该事件做出响应，参考图1，服务器上部署有与消息处理设备进行通信的开放服务，该开放服务器具体可以是具有接口能力的服务。服务器与消息处理设备间的通信可通过该开放服务实现。比如，服务器可通过该开放服务提供webhook(网络钩子)地址，消息处理设备可通过该webhook地址将消息传递至服务器。接口地址是服务器所提供的用于和消息处理设备进行通信的地址。比如，服务器可通过部署的开放服务提供webhook(网络钩子)地址，消息处理设备可通过该webhook地址将消息传递至服务器。此处的webhook地址就是接口地址。与消息处理设备相应的配置参数具体可以包括与应答消息对应的预设格式、虚拟用户标识、网络地址、通信令牌、和加密密钥等。其中，网络地址是消息处理服务中用于接收会话消息的地址。

步骤303：时延参数采集装置在所述挂钩点中挂载所述通用执行引擎。

在本发明的一些实施例中，通用执行引擎可以为eBPF，eBPF是一套通用执行引擎，提供了可基于系统或程序事件高效安全执行特定代码的通用能力，通用能力的使用者不再局限于内核开发者；eBPF可由执行字节码指令、存储对象和Helper帮助函数组成，字节码指令在内核执行前必须通过BPF验证器Verfier的验证，同时在启用BPF JIT模式的内核中，会直接将字节码指令转成内核可执行的本地指令运行。

在挂钩点中挂载所述通用执行引擎时，可以首先确定所述通用执行引擎的配置信息；基于所述通用执行引擎的配置信息，确定所述通用执行引擎的函数调用路径对应的探测代码；基于所述探测代码，为所述通用执行引擎的配置相应的数据存储结构。具体来说，可以在用户程序调用某个系统调用时，在相关的函数调用路径上增加kprobe或者kretprobe探测代码，记录相关信息到eBPF内置的Map存储结构中，由此，用户态程序可以根据Map内的数据进行任务处理得到监测，其中，kprobe主要有两种使用方法，一是通过模块加载，二是通过debugfs接口进行使用，在通过模块加载的方式使用时，内核源码下有目录下sample/kprobes，该目录下有许多kprobes的例子，以kprobe_example.c为例，首先声明一个kprobe结构体，然后定义其中几个关键成员变量，包括symbol_name，pre_handler，post_handler。其中，symbol_name是函数名(kprobe_example.c中该项为do_fork)，pre_handler和post_handler分别表示在执行探测点之前和之后执行的钩子函数。然后通过register_kprobe函数注册kprobe，由此完成在相关的函数调用路径上增加kprobe探测代码。

步骤304：时延参数采集装置当客户端向服务器发送任务请求信息时，通过所述通用执行引擎记录第一时间戳信息。

在本发明的一些实施例中，参考图4，图4为本发明实施例中，通用执行引擎记录时间戳信息的过程示意图，具体包括以下步骤：

步骤401：确定与所述任务请求信息相匹配的过滤条件；

步骤402：通过与所述任务请求信息相匹配的过滤条件，对所述任务请求信息进行过滤，得到经过过滤的任务请求信息；

步骤403：通过所述通用执行引擎，将经过过滤的任务请求信息向服务器发送，并且记录与所述经过过滤的任务请求信息相对应的第一时间戳信息。

其中，以图4为例，tcp网络通信中都会调用到skb_copy_datagram_iter和tcp_sendmsg两个函数来处理。其中，sendmsg系统调用用于发送消息到另一个套接字。

如果不进行一些条件过滤，会影响整体的协议栈处理效率，所以在执行eBPF程序时需要进行一些条件过滤，提高整体执行效率。对于需要抓取的请求的时延，程序会将部分信息作为meta信息在eBPF程序中作为过滤条件，如服务端的端口号，以及请求的HTTPmethod，具体来说，HTTP method可以包括以下类型：

1)GET请求指定的页面信息，并返回实体主体。2)HEAD类似于get请求，只不过返回的响应中没有具体的内容，用于获取报头。3)POST向指定资源提交数据进行处理请求(例如提交表单或者上传文件)。数据被包含在请求体中。POST请求可能会导致新的资源的建立和/或已有资源的修改。4)PUT从客户端向服务器传送的数据取代指定的文档的内容。5)DELETE请求服务器删除指定的页面。6)CONNECT HTTP/1.1协议中预留给能够将连接改为管道方式的代理服务器。7)OPTIONS允许客户端查看服务器的性能。8)TRACE回显服务器收到的请求，主要用于测试或诊断。9)PATCH实体中包含一个表，表中说明与该URI所表示的原内容的区别10)COPY请求服务器将指定的页面拷贝至另一个网络地址。

步骤305：时延参数采集装置当所述服务器向所述客户端发送任务处理结果时，通过所述通用执行引擎记录第二时间戳信息。

步骤306：时延参数采集装置基于所述第一时间戳信息和所述第二时间戳信息，确定所述通用执行引擎的使用环境的时延参数。

在确定所述通用执行引擎的使用环境的时延参数之后，可以用户态应用进程从所述通用执行引擎的环形缓冲区域中，获得所述通用执行引擎的使用环境的时延参数和接口地址信息；基于所述通用执行引擎的使用环境的时延参数和接口地址信息，对所述服务器的在线服务质量进行测评。

参考图5，图5为本发明实施例中用户态应用进程对服务器的在线服务质量进行测评的过程示意图，具体包括以下步骤：

步骤501：通用执行引擎通过挂钩点，监听在线服务程序的任务处理进程。

在图5所示的处理过程中，内核态可以拥有资源多的状态，也可以访问资源多的状态，可以记为特权态，而用户态是非特权态，访问的而资源将受到限制。如果所监听的一个程序运行在特权态，该程序就可以访问计算机的任何资源，它的资源访问权限不受限制。如果一个程序运行在用户态，其资源需求将受到各种限制。如：要访问操作系统的内核数据结构，如进程表，则需要在特选态下才能办到。在图5的处理过程中，通用执行引擎为内核态，而用户态应用进程则仅能够获取固定环形缓冲区域中的时延数据，当执行引擎的使用环境信息发生改变时，用户态应用进程可以由用户态调整至内核态，以便于获取更多的

步骤502：通用执行引擎记录时延参数，并将时延参数向环形缓冲区域发送。

步骤503：用户态应用进程获取环形缓冲区域中的时延数据。

在本发明的一些实施例中，对服务器的在线服务质量进行测评可以通过与：

通过所述通用执行引擎的使用环境的时延参数和接口地址信息，判断集群资源中的空闲节点资源是否满足待处理任务；当所述集群资源中的空闲节点资源满足所述待处理任务时，通过所述空闲节点资源处理待处理任务；当所述集群资源中的空闲节点资源不满足所述待处理任务时，基于所述通用执行引擎的使用环境的时延参数，选择相应的空闲节点资源。在本发明的一些实施例中，可以对所述待处理任务进行解析，获取所述待处理任务的优先级标识；根据所述待处理任务的优先级标识，对所接收的待处理任务的优先级进行排序；根据所述待处理任务的优先级，创建相应的待处理任务队列。由此可以实现对不同客户的差异化处理。同时遍历待处理任务队列，确定优先级最高的待处理任务；确定所述网络资源中各个链路的链路质量；对所述优先级最高的待处理任务配置所述网络资源中链路质量最高的链路，以实现通过所配置的链路对所述待处理任务队列中的待处理任务进行传输。由此使得资源的利用效率提升，又能够保证高优先级任务的及时处理，保证云服务器用户的数据处理速度，提高用户的使用体验。

进一步地，参见图6，图6是本发明实施例提供的数据处理装置100的架构示意图，包括区块链网络200(示例性示出了共识节点210-1至共识节点210-3)、认证中心300、业务主体400和业务主体500，下面分别进行说明。

区块链网络200的类型是灵活多样的，例如可以为公有链、私有链或联盟链中的任意一种。以公有链为例，任何业务主体的电子设备例如用户终端和服务器，都可以在不需要授权的情况下接入区块链网络200；以联盟链为例，业务主体在获得授权后其下辖的电子设备(例如终端/服务器)可以接入区块链网络200，此时，成为区块链网络200中的客户端节点。

在一些实施例中，客户端节点可以只作为区块链网络200的观察者，即提供支持业务主体发起交易(例如，用于上链存储数据或查询链上数据)功能，对于区块链网络200的共识节点210的功能，例如排序功能、共识服务和账本功能等，客户端节点可以缺省或者有选择性(例如，取决于业务主体的具体业务需求)地实施。从而，可以将业务主体的数据和业务处理逻辑最大程度迁移到区块链网络200中，通过区块链网络200实现数据和业务处理过程的可信和可追溯。

区块链网络200中的共识节点接收来自不同业务主体(例如图1中示出的业务主体400和业务主体500)的客户端节点(例如，图1中示出的归属于业务主体400的客户端节点410、以及归属于数据库运营商系统500的客户端节点510)提交的交易，执行交易以更新账本或者查询账本，执行交易的各种中间结果或最终结果可以返回业务主体的客户端节点中显示。

例如，客户端节点410/510可以订阅区块链网络200中感兴趣的事件，例如区块链网络200中特定的组织/通道中发生的交易，由共识节点210推送相应的交易通知到客户端节点410/510，从而触发客户端节点410/510中相应的业务逻辑。

下面以多个业务主体接入区块链网络以实现分布式的数据处理为例，说明区块链网络的示例性应用。

参见图6，管理环节涉及的多个业务主体，如业务主体400可以是带有数据处理功能的服务器，业务主体500可以是带有自研资源调度系统的不同服务集群前端，从认证中心300进行登记注册获得各自的数字证书，数字证书中包括业务主体的公钥、以及认证中心300对业务主体的公钥和身份信息签署的数字签名，用来与业务主体针对交易的数字签名一起附加到交易中，并被发送到区块链网络，以供区块链网络从交易中取出数字证书和签名，验证消息的可靠性(即是否未经篡改)和发送消息的业务主体的身份信息，区块链网络会根据身份进行验证，例如是否具有发起交易的权限。业务主体下辖的电子设备(例如终端或者服务器)运行的客户端都可以向区块链网络200请求接入而成为客户端节点。

业务主体400的客户端节点410用于获取接收待处理作业数据，并将所述待处理作业数据提交至集群资源管理器；通过所述集群资源管理器，根据所述待处理作业数据触发相应的组件，将所述待处理作业数据中的面向对象的查询语言指令转换为与相应的计算引擎相匹配的任务，并启动所述计算引擎的作业管理器；基于数据仓工具驱动器组件所提交的资源数量，将所述待处理作业数据对应的资源申请请求向自研资源调度系统的作业管理器发送；通过所述自研资源调度系统的作业管理器对所接收的资源申请请求进行转换，以实现所述资源申请请求与所述自研资源调度系统相匹配；基于经过转换的所述资源申请请求，触发相应的任务执行组件，并通过所述任务执行组件对所述待处理作业数据进行处理，并将通用执行引擎标识、第一时间戳信息、第二时间戳信息以及时延参数发送至区块链网络200。

其中，将通用执行引擎标识、第一时间戳信息、第二时间戳信息以及时延参数发送至区块链网络200，可以预先在客户端节点410设置业务逻辑，当形成相应的文本信息时，客户端节点410将通用执行引擎标识、第一时间戳信息、第二时间戳信息以及时延参数自动发送至区块链网络200，也可以由业务主体400的业务人员在客户端节点410中登录，手动打包通用执行引擎标识、第一时间戳信息、第二时间戳信息以及时延参数，并将其发送至区块链网络200。在发送时，客户端节点410根据通用执行引擎标识、第一时间戳信息、第二时间戳信息以及时延参数生成对应更新操作的交易，在交易中指定了实现更新操作需要调用的智能合约、以及向智能合约传递的参数，交易还携带了客户端节点410的数字证书、签署的数字签名(例如，使用客户端节点410的数字证书中的私钥，对交易的摘要进行加密得到)，并将交易广播到区块链网络200中的共识节点210。

区块链网络200中的共识节点210中接收到交易时，对交易携带的数字证书和数字签名进行验证，验证成功后，根据交易中携带的业务主体400的身份，确认业务主体400是否是具有交易权限，数字签名和权限验证中的任何一个验证判断都将导致交易失败。验证成功后签署节点210自己的数字签名(例如，使用节点210-1的私钥对交易的摘要进行加密得到)，并继续在区块链网络200中广播。

区块链网络200中的共识节点210接收到验证成功的交易后，将交易填充到新的区块中，并进行广播。区块链网络200中的共识节点210广播的新区块时，会对新区块进行共识过程，如果共识成功，则将新区块追加到自身所存储的区块链的尾部，并根据交易的结果更新状态数据库，执行新区块中的交易：对于提交更新通用执行引擎标识、第一时间戳信息、第二时间戳信息以及时延参数的交易，在状态数据库中添加包括通用执行引擎标识、第一时间戳信息、第二时间戳信息以及时延参数的键值对。

业务主体500的业务人员在客户端节点510中登录，输入目标视频或者文本信息查询请求，客户端节点510根据目标视频或者文本信息查询请求生成对应更新操作/查询操作的交易，在交易中指定了实现更新操作/查询操作需要调用的智能合约、以及向智能合约传递的参数，交易还携带了客户端节点510的数字证书、签署的数字签名(例如，使用客户端节点510的数字证书中的私钥，对交易的摘要进行加密得到)，并将交易广播到区块链网络200中的共识节点210。

区块链网络200中的共识节点210中接收到交易，对交易进行验证、区块填充及共识一致后，将填充的新区块追加到自身所存储的区块链的尾部，并根据交易的结果更新状态数据库，执行新区块中的交易：对于提交的更新某一目标视频对应的人工识别结果的交易，根据人工识别结果更新状态数据库中该目标视频对应的键值对；对于提交的查询某个目标视频的交易，从状态数据库中查询目标视频对应的键值对，并返回交易结果。

值得说明的是，在图6中示例性地示出了将通用执行引擎标识、第一时间戳信息、第二时间戳信息以及时延参数直接上链的过程，但在另一些实施例中，对于目标视频的数据量较大的情况，客户端节点410可将目标视频的哈希以及相应的文本信息的哈希成对上链，将原始的目标视频以及相应的文本信息存储于分布式文件系统或数据库。客户端节点510从分布式文件系统或数据库获取到目标视频以及相应的文本信息后，可结合区块链网络200中对应的哈希进行校验，从而减少上链操作的工作量。

作为区块链的示例，参见图7，图7是本发明实施例提供的区块链网络200中区块链的结构示意图，每个区块的头部既可以包括区块中所有交易的哈希值，同时也包含前一个区块中所有交易的哈希值，新产生的交易的记录被填充到区块并经过区块链网络中节点的共识后，会被追加到区块链的尾部从而形成链式的增长，区块之间基于哈希值的链式结构保证了区块中交易的防篡改和防伪造。

下面说明本发明实施例提供的区块链网络的示例性的功能架构，参见图8，图8是本发明实施例提供的区块链网络200的功能架构示意图，包括应用层201、共识层202、网络层203、数据层204和资源层205，下面分别进行说明。

资源层205封装了实现区块链网路200中的各个节点210的计算资源、存储资源和通信资源。

数据层204封装了实现账本的各种数据结构，包括以文件系统中的文件实现的区块链，键值型的状态数据库和存在性证明(例如区块中交易的哈希树)。

网络层203封装了点对点(P2P，Point to Point)网络协议、数据传播机制和数据验证机制、接入认证机制和业务主体身份管理的功能。

其中，P2P网络协议实现区块链网络200中节点210之间的通信，数据传播机制保证了交易在区块链网络200中的传播，数据验证机制用于基于加密学方法(例如数字证书、数字签名、公/私钥对)实现节点210之间传输数据的可靠性；接入认证机制用于根据实际的业务场景对加入区块链网络200的业务主体的身份进行认证，并在认证通过时赋予业务主体接入区块链网络200的权限；业务主体身份管理用于存储允许接入区块链网络200的业务主体的身份、以及权限(例如能够发起的交易的类型)。

共识层202封装了区块链网络200中的节点210对区块达成一致性的机制(即共识机制)、交易管理和账本管理的功能。共识机制包括POS、POW和DPOS等共识算法，支持共识算法的可插拔。

交易管理用于验证节点210接收到的交易中携带的数字签名，验证业务主体的身份信息，并根据身份信息判断确认其是否具有权限进行交易(从业务主体身份管理读取相关信息)；对于获得接入区块链网络200的授权的业务主体而言，均拥有认证中心颁发的数字证书，业务主体利用自己的数字证书中的私钥对提交的交易进行签名，从而声明自己的合法身份。

账本管理用于维护区块链和状态数据库。对于取得共识的区块，追加到区块链的尾部；执行取得共识的区块中的交易，当交易包括更新操作时更新状态数据库中的键值对，当交易包括查询操作时查询状态数据库中的键值对并向业务主体的客户端节点返回查询结果。支持对状态数据库的多种维度的查询操作，包括：根据区块向量号(例如交易的哈希值)查询区块；根据区块哈希值查询区块；根据交易向量号查询区块；根据交易向量号查询交易；根据业务主体的账号(向量号)查询业务主体的账号数据；根据通道名称查询通道中的区块链。

应用层201封装了区块链网络能够实现的各种业务，包括交易的溯源、存证和验证等。

下面以容器云平台执行本申请提供的时延参数采集方法为例，对全场景在线离线混部实现时延参数采集的过程进行说明，造成集群利用率低的原因有多种，例如：1)、集群碎片过多；2)业务专有集群，不能资源共享；3)部署多个副本用于容灾处理；4)空闲buffer资源池用于临时扩容；5)用户对资源预估不准，申请量高于实际使用资源量；6)应用资源有潮汐现象，用户按照高峰时段使用量申请资源。为例提高资源利用率，节省硬件设施扩容带来的硬件成本上升，因此需要及时准确地进行时延参数采集。

参考图9，图9为本发明实施例中时延参数采集方法的处理过程示意图，具体包括以下步骤：

步骤901：基于所述通用执行引擎的使用环境信息，确定与所述通用执行引擎相匹配的挂钩点。

步骤902：在所述挂钩点中挂载所述通用执行引擎。

步骤903：当客户端向服务器发送任务请求信息时，通过所述通用执行引擎记录不同的时间戳信息。

步骤904：根据不同的时间戳信息确定时延参数。

步骤905：根据时延参数对对全场景在线离线混部场景中的服务进程进行监测。

如图9所示，在利用eBPF采集装置获取到时延数据后，时延数据会作为反映作业服务质量的重要依据，交给混部组件进行综合判断。如果混部组件判断当前获取到的时延数据过大，超出了正常设置的阈值，或者短时间内发生较大波动，会对离线作业进行资源限制和调整，以保证在线作业的服务质量。

步骤906：根据服务进程监测结果，对集群资源配置进行调整。

参考图10，图10为本发明实施例中时延参数采集方法的处理效果示意图，其中，传统技术中，在线应用集群的使用率一直维持在10.500％，通过本申请提供的时延参数采集方法，对集群资源配置进行调整，在不进行服务器集群的硬件扩容的条件下，服务器集群的cpu使用率提高至69.875％，由此可知提升了60％的服务器集群cpu使用率。

有益技术效果：

本发明通过获取通用执行引擎的使用环境信息；基于所述通用执行引擎的使用环境信息，确定与所述通用执行引擎相匹配的挂钩点；在所述挂钩点中挂载所述通用执行引擎；当客户端向服务器发送任务请求信息时，通过所述通用执行引擎记录第一时间戳信息；当所述服务器向所述客户端发送任务处理结果时，通过所述通用执行引擎记录第二时间戳信息；基于所述第一时间戳信息和所述第二时间戳信息，确定所述通用执行引擎的使用环境的时延参数。由此不但能够实现及时准确地获得时延参数，对在线服务进程的任务处理质量进行监控，同时在获取时延参数时，而且不需要入侵业务处理过程，减少对任务执行的影响。

以上所述，仅为本发明的实施例而已，并非用于限定本发明的保护范围，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (13)

1.一种时延参数采集方法，其特征在于，所述方法包括：

获取通用执行引擎的使用环境信息；

基于所述通用执行引擎的使用环境信息，确定与所述通用执行引擎相匹配的挂钩点；

在所述挂钩点中挂载所述通用执行引擎；

当客户端向服务器发送任务请求信息时，通过所述通用执行引擎记录第一时间戳信息；

当所述服务器向所述客户端发送任务处理结果时，通过所述通用执行引擎记录第二时间戳信息；

基于所述第一时间戳信息和所述第二时间戳信息，确定所述通用执行引擎的使用环境的时延参数。

2.根据权利要求1所述的方法，其特征在于，所述当客户端向服务器发送任务请求信息时，通过所述通用执行引擎记录第一时间戳信息，包括：

确定与所述任务请求信息相匹配的过滤条件；

通过与所述任务请求信息相匹配的过滤条件，对所述任务请求信息进行过滤，得到经过过滤的任务请求信息；

通过所述通用执行引擎，将经过过滤的任务请求信息向服务器发送，并且记录与所述经过过滤的任务请求信息相对应的第一时间戳信息。

3.根据权利要求1所述的方法，其特征在于，所述在所述挂钩点中挂载所述通用执行引擎，包括：

确定所述通用执行引擎的配置信息；

基于所述通用执行引擎的配置信息，确定所述通用执行引擎的函数调用路径对应的探测代码；

基于所述探测代码，为所述通用执行引擎的配置相应的数据存储结构。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

用户态应用进程从所述通用执行引擎的环形缓冲区域中，获得所述通用执行引擎的使用环境的时延参数和接口地址信息；

基于所述通用执行引擎的使用环境的时延参数和接口地址信息，对所述服务器的在线服务质量进行测评。

5.根据权利要求4所述的方法，其特征在于，所述基于所述通用执行引擎的使用环境的时延参数和接口地址信息，对所述服务器的在线服务质量进行测评，包括：

通过所述通用执行引擎的使用环境的时延参数和接口地址信息，判断集群资源中的空闲节点资源是否满足待处理任务；

当所述集群资源中的空闲节点资源满足所述待处理任务时，通过所述空闲节点资源处理待处理任务；

当所述集群资源中的空闲节点资源不满足所述待处理任务时，基于所述通用执行引擎的使用环境的时延参数，选择相应的空闲节点资源。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

对所述待处理任务进行解析，获取所述待处理任务的优先级标识；

根据所述待处理任务的优先级标识，对所接收的待处理任务的优先级进行排序；

根据所述待处理任务的优先级，创建相应的待处理任务队列。

7.根据权利要求6所述的方法，其特征在于，所述根据所述待处理任务的优先级排序，对相应的网络资源配置进行调整，包括：

遍历待处理任务队列，确定优先级最高的待处理任务；

确定所述网络资源中各个链路的链路质量；

对所述优先级最高的待处理任务配置所述网络资源中链路质量最高的链路，以实现通过所配置的链路对所述待处理任务队列中的待处理任务进行处理。

8.根据权利要求1-7任一项所述的方法，其特征在于，所述方法还包括：

将通用执行引擎标识、第一时间戳信息、第二时间戳信息以及时延参数送至区块链网络，以使

所述区块链网络的节点将所述通用执行引擎标识、第一时间戳信息、第二时间戳信息以及时延参数填充至新区块，且当对所述新区块共识一致时，将所述新区块追加至区块链的尾部。

9.根据权利要求8所述的方法，其特征在于，所述方法还包括：

接收所述区块链网络中的其他节点的数据同步请求；

响应于所述数据同步请求，对所述其他节点的权限进行验证；

当所述其他节点的权限通过验证时，控制当前节点与所述其他节点之间进行数据同步，以实现所述其他节点获取通用执行引擎标识、第一时间戳信息、第二时间戳信息以及时延参数。

10.根据权利要求8所述的方法，其特征在于，所述方法还包括：

响应于查询请求，解析所述查询请求以获取对应的对象标识；

根据所述对象标识，获取区块链网络中的目标区块内的权限信息；

对所述权限信息与所述对象标识的匹配性进行校验；

当所述权限信息与所述对象标识相匹配时，在所述区块链网络中获取相应的通用执行引擎标识、第一时间戳信息、第二时间戳信息以及时延参数；

响应于所述查询指令，将所获取的相应的资源交易数据以及与所述筛选条件相匹配的目标对象向相应的视频播放客户端进行推送，以实现所述客户端获取所述区块链网络中所保存的相应的通用执行引擎标识、第一时间戳信息、第二时间戳信息以及时延参数。

11.一种时延参数采集装置，其特征在于，所述装置包括：

信息传输模块，用于获取通用执行引擎的使用环境信息；

信息处理模块，用于基于所述通用执行引擎的使用环境信息，确定与所述通用执行引擎相匹配的挂钩点；

所述信息处理模块，用于在所述挂钩点中挂载所述通用执行引擎；

所述信息处理模块，用于当客户端向服务器发送任务请求信息时，通过所述通用执行引擎记录第一时间戳信息；

所述信息处理模块，用于当所述服务器向所述客户端发送任务处理结果时，通过所述通用执行引擎记录第二时间戳信息；

所述信息处理模块，用于基于所述第一时间戳信息和所述第二时间戳信息，确定所述通用执行引擎的使用环境的时延参数。

12.一种电子设备，其特征在于，所述电子设备包括：

存储器，用于存储可执行指令；

处理器，用于运行所述存储器存储的可执行指令时，实现权利要求1至10任一项所述的时延参数采集方法。

13.一种计算机可读存储介质，存储有可执行指令，其特征在于，所述可执行指令被处理器执行时实现权利要求1至10任一项所述的时延参数采集方法。

Images