CN117909398A - 数据采集系统及方法 - Google Patents

数据采集系统及方法 Download PDF

Info

Publication number
CN117909398A
CN117909398A CN202410074621.8A CN202410074621A CN117909398A CN 117909398 A CN117909398 A CN 117909398A CN 202410074621 A CN202410074621 A CN 202410074621A CN 117909398 A CN117909398 A CN 117909398A
Authority
CN
China
Prior art keywords
collector
acquisition
data
task
collection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410074621.8A
Other languages
English (en)
Inventor
丁飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202410074621.8A priority Critical patent/CN117909398A/zh
Publication of CN117909398A publication Critical patent/CN117909398A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/26—Visual data mining; Browsing structured data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06311—Scheduling, planning or task assignment for a person or group
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06313—Resource planning in a project environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • General Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本说明书实施例公开了一种数据采集系统及方法。该系统包括采集平台服务器和若干用于连接不同业务系统的采集器。所有采集器配置有采集平台服务器允许接入的接口协议，每个采集器能根据业务系统配置数据处理规则、连接参数。采集器在采集平台服务器注册后，采集平台服务器根据用户端的采集指令，基于采集任务模板形成采集任务；采集平台服务器基于采集任务的采集器名称，调用相关的采集器并通过该采集器与相关业务系统连接；基于采集任务的采集数据信息，通过该采集器从业务系统采集数据；采集器从业务系统获取采集数据并对采集数据基于数据处理规则进行数据处理，并将处理后的数据反馈给采集平台服务器。

Description

数据采集系统及方法
技术领域
本说明书的一个或多个实施例涉及数据处理技术领域，特别的涉及一种数据采集系统及方法。
背景技术
随着互联网的发展，公司经营的业务越来也多。当公司需要了解各业务的运行状况时，往往需要从不同业务系统采集相关数据并进行加工。
由于这些数据存在于不同的业务系统当中，存储方式也各种各样，这时往往需要数据采集侧的技术人员了解不同业务系统的存储情况，开发相关的业务系统对接能力，并且进行相关的数据处理，并形成最终的数据指标进行呈现。
发明内容
本说明书一个或多个实施例描述了一种数据采集系统及方法，可实现不同数据源的数据采集。
第一方面，本说明书实施例提供了数据采集系统，包括采集平台服务器、以及若干用于连接不同业务系统的采集器；
所述采集平台服务器包括：
采集器管理模块，用于注册采集器信息并管理采集器代码发布或卸载；
采集任务生成模块，用于根据用户端的采集指令，基于采集任务模板形成采集任务；
采集模块，用于基于采集任务的采集器名称，调用相关的采集器并通过该采集器与相关业务系统连接；基于采集任务的采集数据信息，通过该采集器从业务系统采集数据；
数据接收模块，用于接收所述采集器反馈的处理后的数据；
所有采集器配置有采集平台服务器允许接入的接口协议；每个采集器包括：
处理模块，用于配置数据处理规则；
数据管道模块，用于配置连接业务系统的连接参数；
所述采集器从业务系统获取采集数据并对采集数据基于数据处理规则进行数据处理，并将处理后的数据反馈给所述采集平台服务器。
第二方面，本说明书实施例提供了数据采集方法，执行于采集平台服务器，方法包括：
根据用户端的采集指令，基于采集任务模板形成采集任务；
基于采集任务的采集器名称，调用相关的采集器并通过该采集器与相关业务系统连接；基于采集任务的采集数据信息，通过该采集器从业务系统采集数据；其中，所述采集器根据业务系统配置数据处理规则和连接参数；
接收采集器反馈的对采集数据基于数据处理规则处理后的数据。
第三方面，本说明书实施例提供了电子设备，包括处理器以及存储器；
所述处理器与所述存储器相连；
所述存储器，用于存储可执行程序代码；
所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于执行上述第二方面所述的方法。
第四方面，本说明书实施例提供了计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第二方面所述的方法。
本说明书一些实施例提供的技术方案带来的有益效果至少包括：
在本说明书一个或多个实施例中，本说明书实施例对采集器定义采集平台服务器可允许接入的统一接口协议规范，并且采集器的数据连接和预处理功能可根据业务系统的特点进行配置，该采集平台服务器可接入具有多种数据源的业务系统，并实现多种数据源的数据采集；由于采集器的数据连接和预处理功能可配置，可由熟悉业务系统的业务系统侧技术人员进行配置，采集平台服务器通过装配不同的采集器即可实现不同类别数据采集，大大加快了采集平台服务器与业务系统的对接、数据处理流程。
附图说明
为了更清楚地说明本说明书实施例中的技术方案，下面将对实施例中所需使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本说明书实施例提供的一种数据采集系统中采集平台服务器的结构框图；
图2为本说明书实施例数据采集系统与业务系统进行采集交互的结构框图；
图3为本说明书实施例提供的一种数据采集方法的流程图；
图4为本说明书实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述。
本说明书中的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
请参阅图2，图2示出了本说明书实施例的数据采集系统与业务系统交互的连接示意图。
如图2，数据采集系统包括采集平台服务器1000、若干采集器2000；所述采集平台服务器1000通过采集器2000与业务系统连接，以从业务系统采集符合用户端采集需求的采集数据。
所述业务系统有若干个，每个业务系统对应于不同的业务域，其存储该业务域下的原始数据。
所述采集平台服务器可通过一个采集器从对应的一个业务系统中采集数据，也可以通过2个或多个采集器从对应的一个业务系统中采集数据。所述采集平台服务器可通过2个或多个采集器从多个业务系统中采集数据。具体需要采用哪一个采集器采集，需要多少个采集器采集，需要采集哪些目标数据均通过采集平台服务器生成的采集任务确定。所述采集平台服务器根据采集任务确定所需的采集器，通过该采集器与对应的业务系统建立连接，之后根据采集任务，通过该采集器从业务系统中采集数据。
请参阅图1，图1示出了本说明书实施例的数据采集系统中采集平台服务器的结构框图。
如图1，该采集平台服务器1000至少可以包括：采集器管理模块1001、采集任务生成模块1002、采集模块1003、数据接收模块1004，其中：
采集器管理模块1001，用于注册采集器信息并管理采集器代码发布或卸载；
采集任务生成模块1002，用于根据用户端的采集指令，基于采集任务模板形成采集任务；
采集模块1003，用于基于采集任务的采集器名称，调用相关的采集器并通过该采集器与相关业务系统连接；基于采集任务的采集数据信息，通过该采集器从业务系统采集数据；
数据接收模块1004，用于接收所述采集器反馈的处理后的数据。
在本说明书实施例的采集平台服务器前台，用户根据采集需求，发送采集指令。所述采集平台服务器根据采集指令，基于采集任务模板形成采集任务。之后基于采集任务发起相关采集器与业务系统的连接，并进行采集。
接下来，将详细描述采集平台服务器中的每一个模块。
所述采集器管理模块1001，包括：
注册单元，用于将注册的采集器置入采集器配置清单，并注册采集器信息；
所述采集器配置单元存储有若干注册的采集器的采集器信息，所述采集器信息包括采集器名称、采集器功能描述、采集器状态(正常或停用)、代码包地址等。
管理单元，用于管理采集器代码发布或卸载。所述采集器的功能在业务系统侧开发后，在注册时，采集器的代码将打包上传采集器平台。在注册后，所述管理单元将该采集器代码发布，即将该采集器部署于采集器平台上。当不需要该采集器时，也可通过管理单元将其卸载，避免占用服务器资源。
所述采集任务生成模块1002，包括：
指令解析单元，用于解析用户端的采集指令，获得采集数据信息；所述采集数据信息包括：数据编码、数据类型、目标处理规则等。所述目标处理规则为求和规则、求平均规则、筛选规则等。满足用户采集需求采集的目标数据，需根据目标处理规则获得。例如，当用户需求是获得存款总额，目标处理规则是求和规则，需求采集反馈的数据是对明细数据处理后的总额数据。
采集器选择单元，用于基于采集数据信息，对照采集器配置清单中的采集器功能描述，从采集器配置清单中选择可用的采集器；
根据采集数据信息中的数据类型、数据编码确定能够实现该采集流程的采集器。例如，可由用户端基于采集器功能描述勾选所需采集器。又例如，基于采集数据信息中的数据类型、数据编码，获取与该数据类型、数据编码相关的关键字，通过关键字与采集器功能描述匹配的方式，确定可用的采集器。
当有多个采集器可用时，可择一选用。当有不同采集任务时，可复用同一个采集器采集数据。
任务生成单元，用于根据采集数据信息和采集器名称，基于采集任务模板，生成采集任务。
所述采集任务模板预先配置，其内包含采集数据类型、采集周期、采集器等信息。当获得采集数据信息、采集器名称后，可基于采集任务模板生成采集任务实例。
所述采集模块1003，包括：
连接单元，用于基于采集任务的采集器名称，调用相关的采集器并通过该采集器与相关业务系统连接；
采集单元，用于基于采集任务的采集数据信息，通过该采集器从业务系统采集数据。
所述数据接收模块1004，包括：
数据接收单元，用于接收采集器反馈的处理后的数据以及状态码；
状态码随反馈数据一同由采集器反馈给采集平台服务器，并且反馈时，还反馈有提示信息。
状态码判断单元，用于判断反馈的状态码与成功状态码是否一致，若是，将采集任务置为成功状态；若否，则根据提示信息判断不一致的原因。
具体地，当判断不一致的原因为采集器处理异常时，将采集任务置为失败状态，当判断不一致的原因为数据未准备好时，将采集任务置为等待状态，等待下一次数据采集，例如，等待下一次调度执行采集流程。
本说明书实施例的采集平台服务器还包括：采集任务调度模块，用于定时触发所述采集任务生成模块生成采集任务。
根据采集任务的采集周期，周期调用采集任务生成模块生成采集任务实例，触发采集模块周期进行数据采集。当采集周期为每月1号，则会在每月1号生成一个采集任务。
本说明书实施例的采集平台服务器还包括：存储模块，用于存储所述采集器反馈的处理后的数据。
所述采集器采集的数据为经过处理后的数据，在反馈给采集平台服务器后，且采集任务成功完成，则将处理后的数据存储入存储模块。所述采集平台服务器可通过前台页面将存储模块内的数据显示给用户端。
如图2，所述采集器2000至少可以包括:处理模块2001、数据管道模块2002，其中：
所述处理模块2001，用于配置数据处理规则；
所述处理规则用于对采集到的源数据进行二次处理，所述处理规则可包括：数据聚合规则、过滤规则、QLExpression规则、特征提取规则等。所述数据聚合规则包括是否进行数据聚合、聚合维度、聚合日期区间等。
所述数据管道模块2002，用于配置连接业务系统的连接参数。
所述采集器由采集平台服务器侧的技术人员开发，每个采集器定义有统一接口协议。在开发阶段，所述采集器基于开发模板配置有出入参数。比如入参包含数据编码、业务域、数据日期、是否聚合、聚合维度、聚合日期等信息，出参包含数值、状态码、提示信息等。
所述采集器开发后可由业务系统侧的技术人员进行特定配置，即可通过配置上述处理模块、数据管道模块实现采集配置。
所述采集器在基于业务系统配置后，利用插拔方式，将其注册到采集平台服务器上。
所述采集器从业务系统获取采集数据并对采集数据基于数据处理规则进行数据处理，并将处理后的数据反馈给所述采集平台服务器。
请参阅图3，图3示出了本说明书实施例的数据采集方法的流程图。
如图3，该方法包括：
步骤102，根据用户端的采集指令，基于采集任务模板形成采集任务；
步骤104，基于采集任务的采集器名称，调用相关的采集器并通过该采集器与相关业务系统连接；基于采集任务的采集数据信息，通过该采集器从业务系统采集数据；
其中，所述采集器根据业务系统配置数据处理规则和连接参数；
步骤106，接收采集器反馈的对采集数据基于数据处理规则处理后的数据。
本说明书实施例的方法执行于采集平台服务器，基于用户端的采集指令生成采集任务，并根据采集任务确定所需采集器，通过该采集器与业务系统建立连接并采集。
在步骤102中，所述根据用户端的采集指令，基于采集任务模板形成采集任务，包括：
步骤1021，解析用户端的采集指令，获得采集数据信息；
步骤1023，基于采集数据信息，对照采集器配置清单中的采集器功能描述，从采集器配置清单中选择可用的采集器；
其中，所述采集器配置清单存储有若干注册的采集器的采集器信息，所述采集器信息包括采集器名称、采集器功能描述；
步骤1025，根据采集数据信息和采集器名称，基于采集任务模板，生成采集任务。
该方法实现前，需对采集器定义有采集平台服务器允许接入的统一接口协议，且采集器根据业务系统进行配置，在采集平台服务器注册后，方能将其分配至采集任务中执行采集流程。
本说明书实施例的方法，还包括：
当有采集器注册时，将注册的采集器置入采集器配置清单，并注册采集器信息；
在采集器注册后，将该采集器代码发布。
代码发布后，则采集器被部署于采集平台服务器上，可根据采集任务执行采集流程。
本说明书实施例的方法，还包括：
步骤108，在接收到采集器反馈的处理后的数据以及状态码后，判断反馈的状态码与成功状态码是否一致，若是，将采集任务置为成功状态；若否，则根据采集器出参中的提示信息判断不一致的原因。
具体地，当判断不一致的原因为采集器处理异常时，将采集任务置为失败状态，当判断不一致的原因为数据未准备好时，将采集任务置为等待状态，等待下一次数据采集，例如，等待下一次调度执行采集流程。
上述对本说明书特定实施例进行了描述。其他实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
请参阅图4示出的本说明书实施例提供的一种电子设备的结构示意图。
如图4所示，该电子设备1100可以包括:至少一个处理器1101、至少一个网络接口1104、用户接口1103、存储器1105以及至少一个通信总线1102。
其中，通信总线1102可用于实现上述各个组件的连接通信。
其中，用户接口1103可以包括按键，可选用户接口还可以包括标准的有线接口、无线接口。
其中，网络接口1104可以但不局限于包括蓝牙模块、NFC模块、Wi-Fi模块等。
其中，处理器1101可以包括一个或者多个处理核心。处理器1101利用各种接口和线路连接整个电子设备1100内的各个部分，通过运行或执行存储在存储器1105内的指令、程序、代码集或指令集，以及调用存储在存储器1105内的数据，执行路由设备1100的各种功能和处理数据。可选的，处理器1101可以采用DSP、FPGA、PLA中的至少一种硬件形式来实现。处理器1101可集成CPU、GPU和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器1101中，单独通过一块芯片进行实现。
其中，存储器1105可以包括RAM，也可以包括ROM。可选的，该存储器1105包括非瞬时性计算机可读介质。存储器1105可用于存储指令、程序、代码、代码集或指令集。存储器1105可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器1105可选的还可以是至少一个位于远离前述处理器1101的存储装置。作为一种计算机存储介质的存储器1105中可以包括操作系统、网络通信模块、用户接口模块以及应用程序。处理器1101可以用于调用存储器1105中存储的应用程序，并执行上述一个或多个实施例中的方法。
本说明书实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机或处理器上运行时，使得计算机或处理器执行上述方法实施例中的一个或多个步骤。上述电子设备的各组成模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在所述计算机可读取存储介质中。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本说明书实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者通过所述计算机可读存储介质进行传输。所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DigitalSubscriber Line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，数字多功能光盘(DigitalVersatile Disc，DVD))、或者半导体介质(例如，固态硬盘(Solid State Disk，SSD))等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可存储程序代码的介质。在不冲突的情况下，本实施例和实施方案中的技术特征可以任意组合。
以上所述的实施例仅仅是本说明书的优选实施例方式进行描述，并非对本说明书的范围进行限定，在不脱离本说明书的设计精神的前提下，本领域普通技术人员对本说明书的技术方案作出的各种变形及改进，均应落入本说明书的权利要求书确定的保护范围内。

Claims (12)

1.数据采集系统，包括采集平台服务器、以及若干用于连接不同业务系统的采集器；
所述采集平台服务器包括：
采集器管理模块，用于注册采集器信息并管理采集器代码发布或卸载；采集任务生成模块，用于根据用户端的采集指令，基于采集任务模板形成采集任务；
采集模块，用于基于采集任务的采集器名称，调用相关的采集器并通过该采集器与相关业务系统连接；基于采集任务的采集数据信息，通过该采集器从业务系统采集数据；
数据接收模块，用于接收所述采集器反馈的处理后的数据；
所有采集器配置有采集平台服务器允许接入的接口协议；每个采集器包括：
处理模块，用于配置数据处理规则；
数据管道模块，用于配置连接业务系统的连接参数；
所述采集器从业务系统获取采集数据并对采集数据基于数据处理规则进行数据处理，并将处理后的数据反馈给所述采集平台服务器。
2.根据权利要求1所述的系统，所述采集器管理模块包括：
注册单元，用于将注册的采集器置入采集器配置清单，并注册采集器信息；其中，所述采集器信息包括采集器名称、采集器功能描述；
管理单元，用于管理采集器代码发布或卸载。
3.根据权利要求2所述的系统，所述采集任务生成模块包括：
指令解析单元，用于解析用户端的采集指令，获得采集数据信息；
采集器选择单元，用于基于采集数据信息，对照采集器配置清单中的采集器功能描述，从采集器配置清单中选择可用的采集器；
任务生成单元，用于根据采集数据信息和采集器名称，基于采集任务模板，生成采集任务。
4.根据权利要求1所述的系统，还包括：
采集任务调度模块，用于定时触发所述采集任务生成模块生成采集任务。
5.根据权利要求1所述的系统，还包括：
存储模块，用于存储所述采集器反馈的处理后的数据。
6.根据权利要求1所述的系统，所述数据接收模块包括：
数据接收单元，用于接收采集器反馈的处理后的数据以及状态码；
状态码判断单元，用于判断反馈的状态码与成功状态码是否一致，若是，将采集任务置为成功状态；若否，当判断不一致的原因为采集器处理异常时，将采集任务置为失败状态，当判断不一致的原因为数据未准备好时，将采集任务置为等待状态，等待下一次数据采集。
7.数据采集方法，执行于采集平台服务器，方法包括：
根据用户端的采集指令，基于采集任务模板形成采集任务；
基于采集任务的采集器名称，调用相关的采集器并通过该采集器与相关业务系统连接；基于采集任务的采集数据信息，通过该采集器从业务系统采集数据；其中，所述采集器根据业务系统配置数据处理规则和连接参数；
接收采集器反馈的对采集数据基于数据处理规则处理后的数据。
8.根据权利要求7所述的方法，所述根据用户端的采集指令，基于采集任务模板形成采集任务，包括：
解析用户端的采集指令，获得采集数据信息；
基于采集数据信息，对照采集器配置清单中的采集器功能描述，从采集器配置清单中选择可用的采集器；其中，所述采集器配置清单存储有若干注册的采集器的采集器信息，所述采集器信息包括采集器名称、采集器功能描述；
根据采集数据信息和采集器名称，基于采集任务模板，生成采集任务。
9.根据权利要求8所述的方法，还包括：
当有采集器注册时，将注册的采集器置入采集器配置清单，并注册采集器信息；
在采集器注册后，将该采集器代码发布。
10.根据权利要求7所述的方法，还包括：
在接收到采集器反馈的处理后的数据以及状态码后，判断反馈的状态码与成功状态码是否一致，若是，将采集任务置为成功状态；若否，当判断不一致的原因为采集器处理异常时，将采集任务置为失败状态，当判断不一致的原因为数据未准备好时，将采集任务置为等待状态，等待下一次数据采集。
11.电子设备，包括处理器以及存储器；
所述处理器与所述存储器相连；
所述存储器，用于存储可执行程序代码；
所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于执行如权利要求7-10任一项所述的方法。
12.计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求7-10任一项所述的方法。
CN202410074621.8A 2024-01-18 2024-01-18 数据采集系统及方法 Pending CN117909398A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410074621.8A CN117909398A (zh) 2024-01-18 2024-01-18 数据采集系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410074621.8A CN117909398A (zh) 2024-01-18 2024-01-18 数据采集系统及方法

Publications (1)

Publication Number Publication Date
CN117909398A true CN117909398A (zh) 2024-04-19

Family

ID=90696280

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410074621.8A Pending CN117909398A (zh) 2024-01-18 2024-01-18 数据采集系统及方法

Country Status (1)

Country Link
CN (1) CN117909398A (zh)

Similar Documents

Publication Publication Date Title
CN110928934A (zh) 一种用于业务分析的数据处理方法和装置
CN110610376A (zh) 行为数据的响应方法、装置、计算机设备及存储介质
CN114879939A (zh) 生成微服务的方法、系统、电子设备及存储介质
CN113127335B (zh) 一种系统测试的方法和装置
CN117909398A (zh) 数据采集系统及方法
CN111143408A (zh) 一种基于业务规则的事件处理方法和装置
CN113112217B (zh) 一种业务流程配置方法、装置、电子设备及计算机可读介质
CN110764911A (zh) 基于订单的资源调度方法、装置和控制系统
CN114285774B (zh) 流量录制方法、装置、电子设备及存储介质
CN113760315B (zh) 测试系统的方法和装置
CN110096377B (zh) 一种定制化软件发布的实现方法
CN114546344A (zh) 一种生成流程的方法和装置
CN115130981A (zh) 智能审批方法、装置、存储介质及服务器
CN113743630A (zh) 智能呼叫预约执行的方法和装置
CN112363716A (zh) 动态组装评估模型的方法、系统和装置
CN111400219A (zh) 接口适配器及其电子设备
CN111126937B (zh) 选房事务处理方法和装置
CN113268417B (zh) 一种任务执行方法和装置
CN113765868B (zh) 一种业务处理方法和装置
CN113935080A (zh) 审图方法、装置、设备及存储介质
CN115934089A (zh) 数据格式的转换系统及方法
CN112445671A (zh) 链路跟踪方法、装置以及计算机系统
CN106557359B (zh) 一种任务调度方法及系统
CN114398437A (zh) 用户信息处理方法、装置、电子设备和计算机可读介质
CN118838899A (zh) 一种资源处理的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination