CN116841992A - 一种数据输出方法及装置 - Google Patents

一种数据输出方法及装置 Download PDF

Info

Publication number
CN116841992A
CN116841992A CN202210305724.1A CN202210305724A CN116841992A CN 116841992 A CN116841992 A CN 116841992A CN 202210305724 A CN202210305724 A CN 202210305724A CN 116841992 A CN116841992 A CN 116841992A
Authority
CN
China
Prior art keywords
data
data acquisition
host
results
query
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210305724.1A
Other languages
English (en)
Inventor
许开文
王成宇
李阳平
余晓雪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SF Technology Co Ltd
Original Assignee
SF Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SF Technology Co Ltd filed Critical SF Technology Co Ltd
Priority to CN202210305724.1A priority Critical patent/CN116841992A/zh
Publication of CN116841992A publication Critical patent/CN116841992A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供一种数据输出方法及装置，该数据输出方法包括：获取多个数据采集任务；预执行所述多个数据采集任务，得到多个第一数据采集结果；当所述多个第一数据采集结果满足预设格式条件时，将所述多个数据采集任务下发至各个主机端，并获取所述主机端执行所述多个数据采集任务返回的第二数据采集结果；当获取到数据查询条件时，将多个第二数据采集结果中符合所述数据查询条件的数据输出。本申请提出一种数据输出方法，在管理端获取到数据采集任务时，先预执行多个数据采集任务得到多个第一数据采集结果，在确定第一数据采集结果符合格式条件时，才向主机端下发采集任务，在用户查询数据时，能够确保输出正确的数据。

Description

一种数据输出方法及装置
技术领域
本申请主要涉及数据处理技术领域，具体涉及一种数据输出方法及装置。
背景技术
现有技术采集数据并输出的方式主要是通过人工/自动化执行工具对OS主机发起执行任务并获取部分的结果数据。采集任务重复性高，采集的作业结果数据获取难度大。采集数据的展示维度多，数据来源杂。当数据被采集上来后，如果数据格式错误，当用户进行数据查询时，无法查询到正确的数据。
也即，现有技术中云平台系统容易输出错误的数据。
发明内容
本申请提供一种数据输出方法及装置，旨在解决现有技术中云平台系统容易输出错误的数据的问题。
第一方面，本申请提供一种数据输出方法，所述数据输出方法应用于云平台系统，所述云平台系统包括管理端和与所述管理端网络连接的多个主机端，所述管理端执行所述数据输出方法，所述数据输出方法包括：
获取多个数据采集任务；
预执行所述多个数据采集任务，得到多个第一数据采集结果；
当所述多个第一数据采集结果满足预设格式条件时，将所述多个数据采集任务下发至各个主机端，并获取所述主机端执行所述多个数据采集任务返回的第二数据采集结果；
当获取到数据查询条件时，将多个第二数据采集结果中符合所述数据查询条件的数据输出。
可选地，所述当获取到数据查询条件时，将多个第二数据采集结果中符合所述数据查询条件的数据输出，包括：
基于所述多个第一数据采集结果确定多个第一查询字段；
当获取到基于所述第一查询字段的数据查询条件时，将多个第二数据采集结果中符合所述数据查询条件的数据输出。
可选地，所述基于所述多个第一数据采集结果确定多个第一查询字段，包括：
获取各个第一数据采集结果的包名和项目名；
将各个第一数据采集结果的包名和项目名确定为所述第一查询字段。
可选地，所述当所述多个第一数据采集结果满足预设格式条件时，将所述多个数据采集任务下发至各个主机端，并获取所述主机端执行所述多个数据采集任务返回的第二数据采集结果，包括：
当所述第一数据采集结果满足预设格式条件时，基于各个数据采集任务的配置信息确定对应的数据定时任务，所述配置信息包括执行主机端范围、预期执行时间以及采集任务名称；
根据所述数据定时任务更新所述执行主机端范围中各个主机端的模板文件，所述模板文件存储有多个数据定时任务；
将各个主机端的模板文件分别下发至对应的主机端。
可选地，所述当获取到基于所述第一查询字段的数据查询条件时，将多个第二数据采集结果中符合所述数据查询条件的数据输出，包括：
获取各个第二数据采集结果的第二查询字段；
将各个第二数据采集结果中第二查询字段不属于所述多个第一查询字段的第二数据采集结果剔除，得到多个第三数据采集结果；
当获取到基于所述第一查询字段确定的数据查询条件时，将多个第三数据采集结果中符合所述数据查询条件的数据输出。
第二方面，本申请提供一种数据输出方法，所述数据输出方法应用于云平台系统，所述云平台系统包括管理端和与所述管理端网络连接的多个主机端，所述主机端执行所述数据输出方法，所述数据输出方法包括：
获取管理端下发的模板文件；
根据所述模板文件中的预期执行时间执行模板文件中的数据定时任务，得到多个第二数据采集结果；
将所述多个第二数据采集结果返回所述管理端，以使所述管理端基于所述第二数据采集结果输出数据。
可选地，所述根据所述模板文件中的预期执行时间执行模板文件中的数据定时任务，得到多个第二数据采集结果，包括：
获取当前时间和数据定时任务的预期执行时间；
若当前时间与所述预期执行时间相同，则执行所述数据定时任务，得到多个第二数据采集结果；
在执行完所述数据定时任务后在所述模板文件对执行完的数据定时任务标注执行标识。
第三方面，本申请提供一种管理侧数据输出装置，所述管理侧数据输出装置应用于云平台系统，所述云平台系统包括管理端和与所述管理端网络连接的多个主机端，所述管理侧数据输出装置包括：
获取单元，用于获取多个数据采集任务；
预执行单元，用于预执行所述多个数据采集任务，得到多个第一数据采集结果；
下发单元，用于当所述多个第一数据采集结果满足预设格式条件时，将所述多个数据采集任务下发至各个主机端，并获取所述主机端执行所述多个数据采集任务返回的第二数据采集结果；
数据输出单元，用于当获取到数据查询条件时，将多个第二数据采集结果中符合所述数据查询条件的数据输出。
可选地，所述数据输出单元，用于：
基于所述多个第一数据采集结果确定多个第一查询字段；
当获取到基于所述第一查询字段的数据查询条件时，将多个第二数据采集结果中符合所述数据查询条件的数据输出。
可选地，所述数据输出单元，用于：
获取各个第一数据采集结果的包名和项目名；
将各个第一数据采集结果的包名和项目名确定为所述第一查询字段。
可选地，所述下发单元，用于：
当所述第一数据采集结果满足预设格式条件时，基于各个数据采集任务的配置信息确定对应的数据定时任务，所述配置信息包括执行主机端范围、预期执行时间以及采集任务名称；
根据所述数据定时任务更新所述执行主机端范围中各个主机端的模板文件，所述模板文件存储有多个数据定时任务；
将各个主机端的模板文件分别下发至对应的主机端。
可选地，所述数据输出单元，用于：
获取各个第二数据采集结果的第二查询字段；
将各个第二数据采集结果中第二查询字段不属于所述多个第一查询字段的第二数据采集结果剔除，得到多个第三数据采集结果；
当获取到基于所述第一查询字段确定的数据查询条件时，将多个第三数据采集结果中符合所述数据查询条件的数据输出。
第四方面，本申请提供一种主机侧数据输出装置，所述主机侧数据输出装置应用于云平台系统，所述云平台系统包括管理端和与所述管理端网络连接的多个主机端，所述主机侧数据输出装置包括：
模板获取单元，用于获取管理端下发的模板文件；
任务执行单元，用于根据所述模板文件中的预期执行时间执行模板文件中的数据定时任务，得到多个第二数据采集结果；
数据返回单元，用于将所述多个第二数据采集结果返回所述管理端，以使所述管理端输入数据。
可选地，所述任务执行单元，用于
获取当前时间和数据定时任务的预期执行时间；
若当前时间与所述预期执行时间相同，则执行所述数据定时任务，得到多个第二数据采集结果；
在执行完所述数据定时任务后在所述模板文件对执行完的数据定时任务标注执行标识。
第五方面，本申请提供一种管理端，所述管理端包括：
一个或多个处理器；
存储器；以及
一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行以实现第一方面中任一项所述的数据输出方法。
第六方面，本申请提供一种主机端，所述主机端包括：
一个或多个处理器；
存储器；以及
一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行以实现第二方面中任一项所述的数据输出方法。
第七方面，本申请提供一种云平台系统，所述云平台系统包括第三方面所述的管理端和多个第四方面所述的主机端，所述管理端与多个所述主机端网络连接
第八方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行第一方面中任一项所述的数据输出方法或者第二方面中任一项所述的数据输出方法中的步骤。
本申请提供一种数据输出方法及装置，该数据输出方法包括：获取多个数据采集任务；预执行所述多个数据采集任务，得到多个第一数据采集结果；当所述多个第一数据采集结果满足预设格式条件时，将所述多个数据采集任务下发至各个主机端，并获取所述主机端执行所述多个数据采集任务返回的第二数据采集结果；当获取到数据查询条件时，将多个第二数据采集结果中符合所述数据查询条件的数据输出。本申请在现有技术中云平台系统容易输出错误数据的情况下，创造性的提出一种数据输出方法，在管理端获取到数据采集任务时，先预执行多个数据采集任务得到多个第一数据采集结果，在确定第一数据采集结果符合格式条件时，才向主机端下发采集任务，在用户查询数据时，能够确保输出正确的数据。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例所提供的云平台系统的场景示意图；
图2是本申请实施例中数据输出方法的一个实施例流程示意图；
图3是本申请实施例中数据输出方法的另一个实施例流程示意图；
图4是本申请实施例中管理侧数据输出装置的一个实施例结构流程示意图；
图5是本申请实施例中主机侧数据输出装置的另一个实施例结构流程示意图；
图6是本申请实施例中提供的计算机设备的一个实施例结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本申请中，“示例性”一词用来表示“用作例子、例证或说明”。本申请中被描述为“示例性”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本申请，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本申请。在其它实例中，不会对公知的结构和过程进行详细阐述，以避免不必要的细节使本申请的描述变得晦涩。因此，本申请并非旨在限于所示的实施例，而是与符合本申请所公开的原理和特征的最广范围相一致。
本申请实施例提供一种数据输出方法及装置，以下分别进行详细说明。
请参阅图1，图1是本申请实施例所提供的云平台系统的场景示意图，该云平台系统可以包括管理端110和与管理端110网络连接的多个主机端120，管理端110中集成有管理侧数据输出装置，主机端120中集成有主机侧数据输出装置。
本申请实施例中，该管理端110可以是独立的服务器，也可以是服务器组成的服务器网络或服务器集群，例如，本申请实施例中所描述的管理端110，其包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云服务器。其中，云服务器由基于云计算(Cloud Computing)的大量计算机或网络服务器构成。
本申请实施例中，上述的主机端120可以是一个通用计算机设备或者是一个专用计算机设备。在具体实现中主机端120可以是台式机、便携式电脑、网络服务器、掌上电脑(Personal Digital Assistant，PDA)、移动手机、平板电脑、无线终端设备、通信设备、嵌入式设备等，本实施例不限定主机端120的类型。
本领域技术人员可以理解，图1中示出的应用环境，仅仅是本申请方案的一种应用场景，并不构成对本申请方案应用场景的限定，其他的应用环境还可以包括比图1中所示更多或更少的管理端110和主机端120，例如图1中仅示出1个管理端110和3个主机端120，可以理解的，该云平台系统还可以包括一个或多个可处理数据的其他计算机设备，具体此处不作限定。
需要说明的是，图1所示的云平台系统的场景示意图仅仅是一个示例，本申请实施例描述的云平台系统以及场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着云平台系统的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
首先，本申请实施例中提供一种数据输出方法，该数据输出方法包括：获取多个数据采集任务；预执行多个数据采集任务，得到多个第一数据采集结果；当多个第一数据采集结果满足预设格式条件时，将多个数据采集任务下发至各个主机端，并获取主机端执行多个数据采集任务返回的第二数据采集结果；当获取到数据查询条件时，将多个第二数据采集结果中符合数据查询条件的数据输出。
如图2所示，图2是本申请实施例中数据输出方法的一个实施例流程示意图，该数据输出方法应用于云平台系统，云平台系统包括管理端和与管理端网络连接的多个主机端，管理端执行数据输出方法，该数据输出方法包括如下步骤S201～S204：
S201、获取多个数据采集任务。
在一个具体的实施例中，多个数据采集任务可通过人工输入的方式输入云平台系统。管理端获取多个数据采集任务。
S202、预执行多个数据采集任务，得到多个第一数据采集结果。
具体的，预执行多个数据采集任务，在预执行时间到达预设时间时停止预执行，得到多个第一数据采集结果。预设时间可以为10分钟，1小时等，根据具体情况设定即可。在一个具体的实施例中，预执行多个数据采集任务的执行频率高于主机端执行数据采集任务时的执行频率，能够在预执行阶段更快的获取数据。
S203、当多个第一数据采集结果满足预设格式条件时，将多个数据采集任务下发至各个主机端，并获取主机端执行多个数据采集任务返回的第二数据采集结果。
本申请实施例中，第一数据采集结果和第二数据采集结果可以包括结果名称result_id、输出output、CPU单元名称cpu_module_name、CPU核心数cpu_per_core_num、CPU核心数cpu_physical_num、CPU进程数cpu_process_num等等。
例如，第一数据采集结果和第二数据采集结果可以为如下的形式：
{"result_id":0,"package":0,"item":0,"message":{"41":{"rc":0,"output":{"cpu_vendor_id":"--","cpu_module_name":"--","cpu_Mhz":"--","cpu_per_core_num":"--","cpu_process_num":--,"cpu_physical_num":--,"cpu_hyper_thread":"--","Virtualization":"--","energy_mode":"--"},"run_time":0.02}},"ins_id":"--","os_ip":"--"}。
判断第一数据采集结果是否满足预设格式条件，当多个第一数据采集结果满足预设格式条件时，将多个数据采集任务下发至各个主机端，并获取主机端执行多个数据采集任务返回的第二数据采集结果。具体的，通过预设解析工具解析第一数据采集结果，若预设解析工具报错，则确定判断结果为第一数据采集结果不满足预设格式条件；若预设解析工具未报错，则确定判断结果为第一数据采集结果满足预设格式条件。其中，预设解析工具可以为JSONObject或者json.load等。
当第一数据采集结果不满足预设格式条件时，发出提示信息，提示工作人员进行系统检查。在一个具体的实施例中，将多个第一数据采集结果发送至用户浏览器，当获取到用户通过浏览器返回的确认指令时，确定多个第一数据采集结果满足预设格式条件。具体的，当获取到用户通过浏览器返回的确认指令，或者获取到第一数据采集结果满足预设格式条件的判断结果时，确定多个第一数据采集结果满足预设格式条件。
进一步的，主机端执行数据采集任务得到第二数据采集结果，将各个第二数据采集结果写入消息中间件，管理端从消息中间件中消费第二数据采集结果，得到多个第二数据采集结果。具体的，当多个第一数据采集结果全部满足预设格式条件时，将多个数据采集任务下发至各个主机端；当多个第一数据采集结果存在不满足预设格式条件的第一数据采集结果时发出提示信息，以使工作人员进行检查纠正。其中，消息中间件可以为Kafka。当然，消息中间件也可以为RabbitMQ等。Kafka具有以下特性：快速持久化；高吞吐，在一台普通的服务器上既可以达到10W/s的吞吐速率；高堆积：支持topic下消费者较长时间离线，消息堆积量大；完全的分布式系统：Broker、Producer、Consumer都原生自动支持分布式，依赖zookeeper自动实现复杂均衡；支持Hadoop数据并行加载。
S204、当获取到数据查询条件时，将多个第二数据采集结果中符合数据查询条件的数据输出。
本申请实施例中，当获取到数据查询条件时，将多个第二数据采集结果中符合数据查询条件的数据输出，可以包括：
(1)基于多个第一数据采集结果确定多个第一查询字段。
本申请实施例中，基于多个第一数据采集结果确定多个第一查询字段，可以包括：获取各个第一数据采集结果的包名和项目名；将各个第一数据采集结果的包名和项目名确定为第一查询字段。每个第一数据采集结果对应一个包名package和一个项目名item。例如，多个第一查询字段可以为package1、package2、package3、item1、item2。当一个大型程序交由数个不同的程序开发人员进行开发时，用到相同的类名是很有可能的，在java程序开发中为了避免上述事件，提供了一个包名的概念(package)，使用方法很简单，只需要在写的程序第一行使用package关键字来声明一个包。每个采集结果对应一个包名package。Item是保存结构数据的地方，Scrapy可以将解析结果以字典形式返回，但是Python中字典缺少结构，在大型爬虫系统中很不方便。Item提供了类字典的API，并且可以很方便的声明字段，很多Scrapy组件可以利用Item的其他信息。
(2)当获取到基于第一查询字段的数据查询条件时，将多个第二数据采集结果中符合数据查询条件的数据输出。
在一个具体的实施例中，当获取到基于第一查询字段的数据查询条件时，将多个第二数据采集结果中符合数据查询条件的数据输出之前可以包括：将多个第二采集结果按主机端维度进行数据存储，并存储在搜索服务器内。其中，搜索服务器可以为Elasticsearch、sphinx、solr等。将同一主机端采集的多个第二采集结果按不同的包名package分为多个采集结果集存储，将采集结果集中多个第二采集结果按不同项目名item存储。
在一个具体的实施例中，当获取到基于第一查询字段的数据查询条件时，将多个第二数据采集结果中符合数据查询条件的数据输出之前，可以包括：管理端将多个第一查询字段通过接口发送至用户浏览器界面，供用户选择。用户通过在浏览器界面上选取需要的第一查询字段，管理端获取用户输入的第一查询字段，生成数据查询条件，根据数据查询条件从搜索服务器查找符合数据查询条件的数据输出。其中，数据查询条件为包含用户输入的第一查询字段。即，在发起查询前管理端会调取多个第一查询字段中的包名package和项目名item以供选择，用户可以从中挑选想要的数据配置在结果展示字段中，同时每个采集的item也可以作为查询条件进行数据筛选，通过对第二采集结果和查询条件的匹配可以实现跨package的特定数据的页面查询。
在一个具体的实施例中，当获取到基于第一查询字段的数据查询条件时，将多个第二数据采集结果中符合数据查询条件的数据汇总显示在浏览器页面。进一步的，将符合数据查询条件的数据通过表格和数据透视表的方式汇总显示在浏览器页面。页面展示提供两种维度的展示方式，在正常表格展示之外还会提供数据透视表的展示功能，方便对采集结果数据进行汇总统计。
进一步的，为了确保采集到正确的数据，本申请实施例中，当获取到基于第一查询字段的数据查询条件时，将多个第二数据采集结果中符合数据查询条件的数据输出，可以包括：
(1)获取各个第二数据采集结果的第二查询字段。
其中，第二查询字段包括包名package和项目名item。
(2)将各个第二数据采集结果中第二查询字段不属于多个第一查询字段的第二数据采集结果剔除，得到多个第三数据采集结果。
具体的，对于每一个第二数据采集结果，获取第二数据采集结果的第二查询字段，判断第二数据采集结果的第二查询字段是否属于多个第一查询字段，若第二数据采集结果的第二查询字段不属于多个第一查询字段，说明第二数据采集结果可能为错误的数据，需要剔除。将各个第二数据采集结果中第二查询字段不属于多个第一查询字段的第二数据采集结果剔除，得到多个第三数据采集结果，能够确保采集到正确的数据。
(3)当获取到基于第一查询字段确定的数据查询条件时，将多个第三数据采集结果中符合数据查询条件的数据输出。
具体的，获取数据查询条件中的第一查询字段，将多个第三数据采集结果中包含数据查询条件中第一查询字段的数据输出
由于有些数据采集任务并非实时采集，需要将数据采集任务采用计划任务的方式下发至对应的主机端。计划任务cron是任务在约定的时间执行已经计划好的工作，可以根据配置文件约定的时间来执行特定的任务。现有技术主要是通过人工在主机端上配置和管理计划任务cron，效率较低。
为了提高数据采集任务的下发效率，在一个具体的实施例中，当多个第一数据采集结果满足预设格式条件时，将多个数据采集任务下发至各个主机端，并获取主机端执行多个数据采集任务返回的第二数据采集结果，可以包括：
(1)当第一数据采集结果满足预设格式条件时，基于各个数据采集任务的配置信息确定对应的数据定时任务，配置信息包括执行主机端范围、预期执行时间以及采集任务名称。
其中，配置信息由人工设置并输入。数据定时任务包括配置信息和数据采集任务，主机端在读取数据定时任务时，根据数据定时任务中的配置信息执行数据采集任务。
其中，执行主机端范围为执行数据采集任务的主机端组成的集合。
具体的，分别将各个数据采集任务的配置信息送入任务渲染队列，依次对各个数据采集任务的配置信息进行整合，得到各个数据采集任务对应的数据定时任务。通过任务渲染队列依次整合得到数据定时任务，可以保障每个主机端在任务渲染过程中不会发生数据冲突。
(2)根据数据定时任务更新执行主机端范围中各个主机端的模板文件，模板文件存储有多个数据定时任务。
其中，管理端中存储各个主机端的模板文件，模板文件上存储有多个数据定时任务。具体的，确定数据定时任务的执行主机端范围中多个主机端，获取执行主机端范围中多个主机端的模板文件，分别将数据定时任务增添至执行主机端范围中多个主机端的模板文件中。模板文件中存储有多个数据定时任务，主机端会定时执行数据定时任务。管理端在获取到数据采集任务并生成数据定时任务时，将数据定时任务添加至模板，后续可以以模板文件的形式发送给主机端，提高下发效率。
(3)将各个主机端的模板文件分别下发至对应的主机端。
具体的，将各个主机端的模板文件写入消息中间件，主机端从消息中间件中消费模板文件。其中，消息中间件为Kafka。当然，消息中间件也可以为RabbitMQ等。
进一步的，参阅图3，本申请提供一种数据输出方法，应用于云平台系统，云平台系统包括管理端和与管理端网络连接的多个主机端，主机端执行数据输出方法，数据输出方法包括步骤S301-S303。
S301、获取管理端下发的模板文件。
具体的，主机端从消息中间件中消费模板文件，得到模板文件。
S302、根据模板文件中的预期执行时间执行模板文件中的数据定时任务，得到多个第二数据采集结果。
在一个具体的实施例中，根据模板文件中的预期执行时间执行模板文件中的数据定时任务，得到多个第二数据采集结果，包括：
(1)获取当前时间和数据定时任务的预期执行时间。
(2)若当前时间与预期执行时间相同，则执行数据定时任务，得到多个第二数据采集结果。
(3)在执行完数据定时任务后在模板文件对执行完的数据定时任务标注执行标识。
执行后会在缓存的模板文件中标注执行标识避免重复执行。
S303、将多个第二数据采集结果返回管理端，以使管理端基于第二数据采集结果输出数据。
具体的，将多个第二数据采集结果写入消息中间件，管理端从消息中间件中消费第二数据采集结果，并基于第二数据采集结果输出数据。
为了更好实施本申请实施例中数据输出方法，在数据输出方法基础之上，本申请实施例中还提供一种管理侧数据输出装置，如图4所示，管理侧数据输出装置应用于云平台系统，云平台系统包括管理端和与管理端网络连接的多个主机端，管理侧数据输出装置包括：
获取单元401，用于获取多个数据采集任务；
预执行单元402，用于预执行多个数据采集任务，得到多个第一数据采集结果；
下发单元403，用于当多个第一数据采集结果满足预设格式条件时，将多个数据采集任务下发至各个主机端，并获取主机端执行多个数据采集任务返回的第二数据采集结果；
数据输出单元404，用于当获取到数据查询条件时，将多个第二数据采集结果中符合数据查询条件的数据输出。
可选地，数据输出单元404，用于：
基于多个第一数据采集结果确定多个第一查询字段；
当获取到基于第一查询字段的数据查询条件时，将多个第二数据采集结果中符合数据查询条件的数据输出。
可选地，数据输出单元404，用于：
获取各个第一数据采集结果的包名和项目名；
将各个第一数据采集结果的包名和项目名确定为第一查询字段。
可选地，下发单元403，用于：
当第一数据采集结果满足预设格式条件时，基于各个数据采集任务的配置信息确定对应的数据定时任务，配置信息包括执行主机端范围、预期执行时间以及采集任务名称；
根据数据定时任务更新执行主机端范围中各个主机端的模板文件，模板文件存储有多个数据定时任务；
将各个主机端的模板文件分别下发至对应的主机端。
可选地，数据输出单元404，用于：
获取各个第二数据采集结果的第二查询字段；
将各个第二数据采集结果中第二查询字段不属于多个第一查询字段的第二数据采集结果剔除，得到多个第三数据采集结果；
当获取到基于第一查询字段确定的数据查询条件时，将多个第三数据采集结果中符合数据查询条件的数据输出。
为了更好实施本申请实施例中数据输出方法，在数据输出方法基础之上，本申请实施例中还提供一种主机侧数据输出装置，如图5所示，主机侧数据输出装置应用于云平台系统，云平台系统包括管理端和与管理端网络连接的多个主机端，主机侧数据输出装置500包括：
模板获取单元501，用于获取管理端下发的模板文件；
任务执行单元502，用于根据模板文件中的预期执行时间执行模板文件中的数据定时任务，得到多个第二数据采集结果；
数据返回单元503，用于将多个第二数据采集结果返回管理端，以使管理端输入数据。
可选地，任务执行单元502，用于：
获取当前时间和数据定时任务的预期执行时间；
若当前时间与预期执行时间相同，则执行数据定时任务，得到多个第二数据采集结果；
在执行完数据定时任务后在模板文件对执行完的数据定时任务标注执行标识。
本申请实施例还提供一种管理端，其集成了本申请实施例所提供的任一种管理侧数据输出装置400，管理端包括：
一个或多个处理器；
存储器；以及
一个或多个应用程序，其中一个或多个应用程序被存储于存储器中，并配置为由处理器执行上述数据输出方法实施例中任一实施例中的数据输出方法中的步骤。
本申请实施例还提供一种主机端，其集成了本申请实施例所提供的任一种主机侧数据输出装置500，主机端包括：
一个或多个处理器；
存储器；以及
一个或多个应用程序，其中一个或多个应用程序被存储于存储器中，并配置为由处理器执行上述数据输出方法实施例中任一实施例中的数据输出方法中的步骤。
如图6所示，其示出了本申请实施例所涉及的计算机设备的结构示意图，计算机设备可以是管理端，也可以是主机端，具体来讲：
该计算机设备可以包括一个或者一个以上处理核心的处理器601、一个或一个以上计算机可读存储介质的存储器602、电源603和输入单元604等部件。本领域技术人员可以理解，图中示出的计算机设备结构并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器601是该计算机设备的控制中心，利用各种接口和线路连接整个计算机设备的各个部分，通过运行或执行存储在存储器602内的软件程序和/或模块，以及调用存储在存储器602内的数据，执行计算机设备的各种功能和处理数据，从而对计算机设备进行整体监控。可选的，处理器601可包括一个或多个处理核心；处理器601可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，优选的，处理器601可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器601中。
存储器602可用于存储软件程序以及模块，处理器601通过运行存储在存储器602的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器602可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器602可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器602还可以包括存储器控制器，以提供处理器601对存储器602的访问。
计算机设备还包括给各个部件供电的电源603，优选的，电源603可以通过电源管理系统与处理器601逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源603还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该计算机设备还可包括输入单元604，该输入单元604可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出，计算机设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，计算机设备中的处理器601会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器602中，并由处理器601来运行存储在存储器602中的应用程序，从而实现各种功能，如下：
获取多个数据采集任务；
预执行多个数据采集任务，得到多个第一数据采集结果；
当多个第一数据采集结果满足预设格式条件时，将多个数据采集任务下发至各个主机端，并获取主机端执行多个数据采集任务返回的第二数据采集结果；
当获取到数据查询条件时，将多个第二数据采集结果中符合数据查询条件的数据输出；
或者，
获取管理端下发的模板文件；
根据模板文件中的预期执行时间执行模板文件中的数据定时任务，得到多个第二数据采集结果；
将多个第二数据采集结果返回管理端，以使管理端基于第二数据采集结果输出数据。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本申请实施例提供一种计算机可读存储介质，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。其上存储有计算机程序，计算机程序被处理器进行加载，以执行本申请实施例所提供的任一种数据输出方法中的步骤。例如，计算机程序被处理器进行加载可以执行如下步骤：
获取多个数据采集任务；
预执行多个数据采集任务，得到多个第一数据采集结果；
当多个第一数据采集结果满足预设格式条件时，将多个数据采集任务下发至各个主机端，并获取主机端执行多个数据采集任务返回的第二数据采集结果；
当获取到数据查询条件时，将多个第二数据采集结果中符合数据查询条件的数据输出；
或者，
获取管理端下发的模板文件；
根据模板文件中的预期执行时间执行模板文件中的数据定时任务，得到多个第二数据采集结果；
将多个第二数据采集结果返回管理端，以使管理端基于第二数据采集结果输出数据。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文针对其他实施例的详细描述，此处不再赘述。
具体实施时，以上各个单元或结构可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元或结构的具体实施可参见前面的方法实施例，在此不再赘述。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
以上对本申请实施例所提供的一种数据输出方法及装置进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本申请的限制。

Claims (13)

1.一种数据输出方法，其特征在于，应用于云平台系统，所述云平台系统包括管理端和与所述管理端网络连接的多个主机端，所述管理端执行所述数据输出方法，所述数据输出方法包括：
获取多个数据采集任务；
预执行所述多个数据采集任务，得到多个第一数据采集结果；
当所述多个第一数据采集结果满足预设格式条件时，将所述多个数据采集任务下发至各个主机端，并获取所述主机端执行所述多个数据采集任务返回的第二数据采集结果；
当获取到数据查询条件时，将多个第二数据采集结果中符合所述数据查询条件的数据输出。
2.根据权利要求1所述的数据输出方法，其特征在于，所述当获取到数据查询条件时，将多个第二数据采集结果中符合所述数据查询条件的数据输出，包括：
基于所述多个第一数据采集结果确定多个第一查询字段；
当获取到基于所述第一查询字段的数据查询条件时，将多个第二数据采集结果中符合所述数据查询条件的数据输出。
3.根据权利要求2所述的数据输出方法，其特征在于，所述基于所述多个第一数据采集结果确定多个第一查询字段，包括：
获取各个第一数据采集结果的包名和项目名；
将各个第一数据采集结果的包名和项目名确定为所述第一查询字段。
4.根据权利要求1所述的数据输出方法，其特征在于，所述当所述多个第一数据采集结果满足预设格式条件时，将所述多个数据采集任务下发至各个主机端，并获取所述主机端执行所述多个数据采集任务返回的第二数据采集结果，包括：
当所述第一数据采集结果满足预设格式条件时，基于各个数据采集任务的配置信息确定对应的数据定时任务，所述配置信息包括执行主机端范围、预期执行时间以及采集任务名称；
根据所述数据定时任务更新所述执行主机端范围中各个主机端的模板文件，所述模板文件存储有多个数据定时任务；
将各个主机端的模板文件分别下发至对应的主机端。
5.根据权利要求2所述的数据输出方法，其特征在于，所述当获取到基于所述第一查询字段的数据查询条件时，将多个第二数据采集结果中符合所述数据查询条件的数据输出，包括：
获取各个第二数据采集结果的第二查询字段；
将各个第二数据采集结果中第二查询字段不属于所述多个第一查询字段的第二数据采集结果剔除，得到多个第三数据采集结果；
当获取到基于所述第一查询字段确定的数据查询条件时，将多个第三数据采集结果中符合所述数据查询条件的数据输出。
6.一种数据输出方法，其特征在于，应用于云平台系统，所述云平台系统包括管理端和与所述管理端网络连接的多个主机端，所述主机端执行所述数据输出方法，所述数据输出方法包括：
获取管理端下发的模板文件；
根据所述模板文件中的预期执行时间执行模板文件中的数据定时任务，得到多个第二数据采集结果；
将所述多个第二数据采集结果返回所述管理端，以使所述管理端基于所述第二数据采集结果输出数据。
7.根据权利要求6所述的数据输出方法，其特征在于，所述根据所述模板文件中的预期执行时间执行模板文件中的数据定时任务，得到多个第二数据采集结果，包括：
获取当前时间和数据定时任务的预期执行时间；
若当前时间与所述预期执行时间相同，则执行所述数据定时任务，得到多个第二数据采集结果；
在执行完所述数据定时任务后在所述模板文件对执行完的数据定时任务标注执行标识。
8.一种管理侧数据输出装置，其特征在于，所述管理侧数据输出装置应用于云平台系统，所述云平台系统包括管理端和与所述管理端网络连接的多个主机端，所述管理侧数据输出装置包括：
获取单元，用于获取多个数据采集任务；
预执行单元，用于预执行所述多个数据采集任务，得到多个第一数据采集结果；
下发单元，用于当所述多个第一数据采集结果满足预设格式条件时，将所述多个数据采集任务下发至各个主机端，并获取所述主机端执行所述多个数据采集任务返回的第二数据采集结果；
数据输出单元，用于当获取到数据查询条件时，将多个第二数据采集结果中符合所述数据查询条件的数据输出。
9.一种主机侧数据输出装置，其特征在于，所述主机侧数据输出装置应用于云平台系统，所述云平台系统包括管理端和与所述管理端网络连接的多个主机端，所述主机侧数据输出装置包括：
模板获取单元，用于获取管理端下发的模板文件；
任务执行单元，用于根据所述模板文件中的预期执行时间执行模板文件中的数据定时任务，得到多个第二数据采集结果；
数据返回单元，用于将所述多个第二数据采集结果返回所述管理端，以使所述管理端输入数据。
10.一种管理端，其特征在于，所述管理端包括：
一个或多个处理器；
存储器；以及
一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行以实现权利要求1至5中任一项所述的数据输出方法。
11.一种主机端，其特征在于，所述主机端包括：
一个或多个处理器；
存储器；以及
一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行以实现权利要求6至7中任一项所述的数据输出方法。
12.一种云平台系统，其特征在于，所述云平台系统包括权利要求10所述的管理端和多个权利要求11所述的主机端，所述管理端与多个所述主机端网络连接。
13.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行权利要求1至5任一项所述的数据输出方法或者权利要求6至7任一项所述的数据输出方法中的步骤。
CN202210305724.1A 2022-03-23 2022-03-23 一种数据输出方法及装置 Pending CN116841992A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210305724.1A CN116841992A (zh) 2022-03-23 2022-03-23 一种数据输出方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210305724.1A CN116841992A (zh) 2022-03-23 2022-03-23 一种数据输出方法及装置

Publications (1)

Publication Number Publication Date
CN116841992A true CN116841992A (zh) 2023-10-03

Family

ID=88171222

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210305724.1A Pending CN116841992A (zh) 2022-03-23 2022-03-23 一种数据输出方法及装置

Country Status (1)

Country Link
CN (1) CN116841992A (zh)

Similar Documents

Publication Publication Date Title
CN112257135B (zh) 一种基于多线程的模型加载方法、装置、存储介质及终端
CN106888236B (zh) 会话管理方法及会话管理装置
US20210248469A1 (en) Method and apparatus for scheduling deep learning reasoning engines, device, and medium
CN111045911B (zh) 性能测试方法、性能测试装置、存储介质与电子设备
EP2739097B1 (en) A mobile telecommunication device in a cellular-digital wireless telecommunication system and a method for operating thereof
CN111488492B (zh) 用于检索图数据库的方法和装置
CN105847446B (zh) 一种网络数据的获取方法、装置和系统
CN108984374B (zh) 一种数据库性能的测试方法和系统
CN112035229A (zh) 一种计算图处理方法、装置及存储介质
CN107436839B (zh) 进程负载获取方法、电子终端及计算机可读存储介质
CN110717992B (zh) 调度模型的方法、装置、计算机系统和可读存储介质
CN114816389B (zh) 一种基于元模型的管理系统搭建方法、装置、设备及介质
CN115291773B (zh) 树形结构数据展示方法及装置
CN116841992A (zh) 一种数据输出方法及装置
CN116627521A (zh) 业务模块预加载方法、跳转方法、装置及存储介质
CN114996369A (zh) 一种数据仓库指标库的构建方法和装置
CN114168329A (zh) 分布式跑批优化方法、电子设备以及计算机可读存储介质
CN106934555B (zh) 工作流的组织方法及装置、计算机设备及存储介质
CN115686506A (zh) 一种数据显示方法、装置、电子设备和存储介质
CN114595231B (zh) 一种数据库表生成方法、装置、电子设备及存储介质
US11907194B2 (en) Systems and methods for executing and hashing modeling flows
US9372936B2 (en) Partial data report generation with data costing notification
CN116881151A (zh) 应用程序匹配测试方法、装置、计算机设备及存储介质
CN115543314A (zh) 一种报表生成方法、装置、设备和存储介质
CN114253813A (zh) 算力优化的方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination