CN112800121A - 一种系统主动周期性获取外部数据的方法 - Google Patents

一种系统主动周期性获取外部数据的方法 Download PDF

Info

Publication number
CN112800121A
CN112800121A CN202110134877.XA CN202110134877A CN112800121A CN 112800121 A CN112800121 A CN 112800121A CN 202110134877 A CN202110134877 A CN 202110134877A CN 112800121 A CN112800121 A CN 112800121A
Authority
CN
China
Prior art keywords
data
user
request
qsource
polling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110134877.XA
Other languages
English (en)
Inventor
李婷婷
薄智元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Yixiao Information Technology Co ltd
Original Assignee
Shanghai Yixiao Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Yixiao Information Technology Co ltd filed Critical Shanghai Yixiao Information Technology Co ltd
Priority to CN202110134877.XA priority Critical patent/CN112800121A/zh
Publication of CN112800121A publication Critical patent/CN112800121A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/445—Program loading or initiating
    • G06F9/44505—Configuring for program initiating, e.g. using registry, configuration files
    • G06F9/4451—User profiles; Roaming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明提供了一种系统主动周期性获取外部数据的方法，其特征在于：用户在Qsource主动轮询中配置请求参数和解析匹配规则，在设定好任务间隔后由Qsource主动轮询执行任务并解析回调数据。其中本发明的有益效果是：降低系统维护成本和数据传输任务管理成本，可以实现工作业务流程的自动化，可视化界面让用户使用更加友好，便于操作，系统灵活性更高，可扩展性强，能应用多种工作场景。

Description

一种系统主动周期性获取外部数据的方法
技术领域
本发明涉及计算机软件和互联网开发技术领域，特别涉及一种系统主动周期性获取外部数据的方法。
背景技术
随着企业管理产品数量的不断增多，大量数据分散在各种各样的系统中且数据存储格式各异，难以管理和利用。传统的解决办法是根据需要编写不同的脚本，手动调用第三方系统提供的API接口抓取数据，但是这样做带来的后果就是过多的脚本维护成本和数据传输任务管理成本。本方案所介绍的Qsource(来源)主动轮询可以将用户已有的外部数据源和系统应用关联起来，定期将外部数据源的变更(增、改、删)同步到系统中。例：用户在系统外已有一个客户数据库，用户企业内部对客户信息的改动都会修改这个客户数据库，同时用户在系统流程中需要使用这些客户数据，此时可以在系统中创建一个客户数据库应用，同时通过QSource主动轮询将该应用和用户已有的客户数据库关联起来，定时将客户数据库的改动同步到系统中。
发明内容
为了解决上述技术问题，本发明中披露了一种系统主动周期性获取外部数据的方法，本发明的技术方案是这样实施的：
一种系统主动周期性获取外部数据的方法，用户在Qsource主动轮询中配置请求参数和解析匹配规则，在设定好任务间隔后由Qsource主动轮询执行任务并解析回调数据。
优选地，具体步骤如下：
S1：建立一个Qsource主动轮询；
S2：用户在Qsource主动轮询中建立任务调度库并配置请求参数和解析匹配规则；
S3：用户在Qsource主动轮询中设定定时轮询的时间间隔；
S4：配置完成后，任务调度库保存用户配置的accessToken；
S5：Qsource主动轮询定期执行任务；
SN：用户取消轮询请求。
优选地，所述执行任务的详细流程如下：
S5.1：Qsource根据任务调度库中的accessToken拿到需要执行请求的配置；
S5.2：校验用户是否具有配置；若通过校验进行下一步，否则返回错误码给用户；
S5.3：转换配置参数并构建轮询请求；
S5.4：发起请求；
S5.5：获取回调数据；
S5.7：根据用户配置的回调数据的类型不同，分别进行处理；
S5.8：解析回调数据；
S5.9：返回解析结果；
S5.10：继续执行轮询请求；
优选地，S5.8步骤中包括使用JsonPath来解析json格式的数据。
优选地，S5.8步骤中还包括使用xPath解析xml格式的数据。
优选地，S5.8步骤中还包括使用正则表达式解析数据。
优选地，S5.2步骤中包括校检是否具有配置请求的url和请求的方法。
优选地，所述请求的方法包括get和post。
实施本发明的技术方案可解决现有技术中企业管理数据难以利用和管理的的技术问题；实施本发明的技术方案，通过使用Qsource(来源)主动轮询定期执行任务，可实现将该应用和用户已有的客户数据库关联起来，定时将客户数据库的改动同步到系统中的技术效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一种实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
其中相同的零部件用相同的附图标记表示。需要说明的是，下面描述中使用的词语“前”、“后”、“左”、“右”、“上”和“下”指的是附图中的方向，词语“底面”和“顶面”、“内”和“外”分别指的是朝向或远离特定部件几何中心的方向。
图1为本发明的流程示意图；
图2为解析数据的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了解决上述技术问题，本发明中披露了一种系统主动周期性获取外部数据的方法，本发明的技术方案是这样实施的：
实施例
在一种具体的实施例中，如图1和图2所示，一种系统主动周期性获取外部数据的方法，用户在Qsource主动轮询中配置请求参数和解析匹配规则，在设定好任务间隔后由Qsource主动轮询执行任务并解析回调数据。
具体步骤如下：
S1：建立一个Qsource主动轮询；
S2：用户在Qsource主动轮询中建立任务调度库并配置请求参数和解析匹配规则；
S3：用户在Qsource主动轮询中设定定时轮询的时间间隔；
S4：配置完成后，任务调度库保存用户配置的accessToken；
S5：Qsource主动轮询定期执行任务；
SN：用户取消轮询请求。
本实施例中的方法包括两个方案：Qsource主动轮询的设置方案和返回内容的解析方案，在本实施例中，Qsource主动轮询实际上就是我们发起用户配置的请求并解析得到相应的数据。用户需要配置一个完整的请求所需要的参数和解析的匹配规则，并设置定时轮询的时间间隔。
用户完成配置后，Qsource主动轮询会立即设置一个定时任务，这个定时任务的设置使用的Quartz(任务调度库)这个库。并且在设置定时任务时，会保存用户这个配置的accessToken(存取令牌)作为唯一标示。
解析数据时根据用户配置的回调数据类型不同，分别进行处理。使用JsonPath来解析json格式的数据，只需要用户配置的解析表达式和得到的回调数据就可以得到用户想要的解析结果；如果使用xPath解析xml格式的数据，将返回的数据按照xPath的标准解析步骤解析；如果是其他数据校验得到的数据是否符合用户配置的正则表达式，符合即可直接返回数据结果不需要解析。
Qsource主动轮询执行任务的详细流程如下：
S5.1：Qsource根据任务调度库中的accessToken拿到需要执行请求的配置；
S5.2：校验用户是否具有配置；若通过校验进行下一步，否则返回错误码给用户；由于请求的所有模块都支持用户的自定义，所以我们需要校验用户有没有配置请求的url和请求的方法(get还是post)，如果请求方法是post，校验是否配置了请求体的类型等。如果校检出现问题，返回相对应的错误码提示用户。
S5.3：转换配置参数并构建轮询请求；由于数据库里存储的数据结构和请求方法(HttpPost/Get)要求的格式不一致，先将用户配置的headers转换成HttpPost/Get的headers的格式，然后如果用户配置的是post请求就根据body的类型不同来处理body，get方法则不需要处理。
S5.4：发起请求；先将我们上述步骤得到的用户配置的url去掉空格，并且根据用户配置的时候是否以“？”结尾来拼接用户配置的Params，然后将转换完格式的headers和bodies(post请求且body的类型是urlEncode)依次配置到HttpPost/Get中，发起配置好的请求。
S5.5：获取回调数据；
S5.7：根据用户配置的回调数据的类型不同，分别进行处理；
S5.8：解析回调数据；
S5.9：返回解析结果；
S5.10：继续执行轮询请求；当一次任务执行完成后，根据用户配置的时间间隔定时进行下一次任务，以此完成工作业务流程的自动化，降低系统维护成本和数据传输任务管理成本，本实施例可以将用户已有的外部数据源和系统应用关联起来，定期将外部数据源的变更(增、改、删)同步到系统中。同时本实施例中用户配置信息的可视化界面让用户使用更加友好，便于操作。系统灵活性更高，可扩展性强，能应用多种工作场景。
需要指出的是，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种系统主动周期性获取外部数据的方法，其特征在于：用户在Qsource主动轮询中配置请求参数和解析匹配规则，在设定好任务间隔后由Qsource主动轮询执行任务并解析回调数据。
2.根据权利要求1所述的一种系统主动周期性获取外部数据的方法，其特征在于：具体步骤如下：
S1：建立一个Qsource主动轮询；
S2：用户在Qsource主动轮询中建立任务调度库并配置请求参数和解析匹配规则；
S3：用户在Qsource主动轮询中设定定时轮询的时间间隔；
S4：配置完成后，任务调度库保存用户配置的accessToken；
S5：Qsource主动轮询定期执行任务；
SN：用户取消轮询请求。
3.根据权利要求2所述的一种系统主动周期性获取外部数据的方法，其特征在于：所述执行任务的详细流程如下：
S5.1：Qsource根据任务调度库中的accessToken拿到需要执行请求的配置；
S5.2：校验用户是否具有配置；若通过校验进行下一步，否则返回错误码给用户；
S5.3：转换配置参数并构建轮询请求；
S5.4：发起请求；
S5.5：获取回调数据；
S5.7：根据用户配置的回调数据的类型不同，分别进行处理；
S5.8：解析回调数据；
S5.9：返回解析结果；
S5.10：继续执行轮询请求。
4.根据权利要求3所述的一种系统主动周期性获取外部数据的方法，其特征在于：S5.8步骤中包括使用JsonPath来解析json格式的数据。
5.根据权利要求4所述的一种系统主动周期性获取外部数据的方法，其特征在于：S5.8步骤中还包括使用xPath解析xml格式的数据。
6.根据权利要求5所述的一种系统主动周期性获取外部数据的方法，其特征在于：S5.8步骤中还包括使用正则表达式解析数据。
7.根据权利要求3所述的一种系统主动周期性获取外部数据的方法，其特征在于：S5.2步骤中包括校检是否具有配置请求的url和请求的方法。
8.根据权利要求7所述的一种系统主动周期性获取外部数据的方法，其特征在于：所述请求的方法包括get和post。
CN202110134877.XA 2021-01-29 2021-01-29 一种系统主动周期性获取外部数据的方法 Pending CN112800121A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110134877.XA CN112800121A (zh) 2021-01-29 2021-01-29 一种系统主动周期性获取外部数据的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110134877.XA CN112800121A (zh) 2021-01-29 2021-01-29 一种系统主动周期性获取外部数据的方法

Publications (1)

Publication Number Publication Date
CN112800121A true CN112800121A (zh) 2021-05-14

Family

ID=75813312

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110134877.XA Pending CN112800121A (zh) 2021-01-29 2021-01-29 一种系统主动周期性获取外部数据的方法

Country Status (1)

Country Link
CN (1) CN112800121A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6125398A (en) * 1993-11-24 2000-09-26 Intel Corporation Communications subsystem for computer-based conferencing system using both ISDN B channels for transmission
CN104881427A (zh) * 2015-04-01 2015-09-02 北京科东电力控制系统有限责任公司 一种面向电网调控运行的数据血统分析方法
CN105528823A (zh) * 2015-12-04 2016-04-27 上海易校信息科技有限公司 医生门诊排队候诊人数查询系统
CN108667930A (zh) * 2018-05-09 2018-10-16 聚龙股份有限公司 一种动态数据源配置与自动化切换方法
CN110032842A (zh) * 2019-03-03 2019-07-19 北京立思辰安科技术有限公司 同时支持单点登录及第三方登录的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6125398A (en) * 1993-11-24 2000-09-26 Intel Corporation Communications subsystem for computer-based conferencing system using both ISDN B channels for transmission
CN104881427A (zh) * 2015-04-01 2015-09-02 北京科东电力控制系统有限责任公司 一种面向电网调控运行的数据血统分析方法
CN105528823A (zh) * 2015-12-04 2016-04-27 上海易校信息科技有限公司 医生门诊排队候诊人数查询系统
CN108667930A (zh) * 2018-05-09 2018-10-16 聚龙股份有限公司 一种动态数据源配置与自动化切换方法
CN110032842A (zh) * 2019-03-03 2019-07-19 北京立思辰安科技术有限公司 同时支持单点登录及第三方登录的方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
轻流: ""轻流-帮助文档-OpenApi"", 《"轻流-帮助文档-OPENAPI"，轻流，轻流官网"HTTPS://HC.QINGFLOW.COM/HELP-CENTER/OPEN-API/"》 *
轻流: ""轻流-帮助文档-QSource 主动模式"", 《轻流官网"HTTPS://HC.QINGFLOW.COM/HELP-CENTER/Q-SOURCE-ACTIVE-MODE/"》 *
轻流: ""轻流-帮助文档-QSource主动模式"", 《轻流官网"HTTPS://HC.QINGFLOW.COM/HELP-CENTER/Q-SOURCE-ACTIVE-MODE/"》 *
轻流: ""轻流-帮助文档-Q-Source被动模式"", 《"轻流-帮助文档-Q-SOURCE被动模式"》 *

Similar Documents

Publication Publication Date Title
CN111083225B (zh) 在物联网平台中的数据处理方法、装置及物联网平台
CN110069572B (zh) 基于大数据平台的hive任务调度方法、装置、设备及存储介质
CN107370786B (zh) 一种基于微服务架构的通用信息管理系统
CN108280023B (zh) 任务执行方法、装置和服务器
CN108874558B (zh) 分布式事务的消息订阅方法、电子装置及可读存储介质
CN108804215B (zh) 一种任务处理方法、装置以及电子设备
CN111506412A (zh) 基于Airflow的分布式异步任务构建、调度系统及方法
CN106557470B (zh) 数据提取方法和装置
CN113590386B (zh) 数据的容灾恢复方法、系统、终端设备及计算机存储介质
CN110224896B (zh) 一种网络性能数据采集方法、装置及存储介质
US20120089931A1 (en) Lightweight operation automation based on gui
CN110222119B (zh) 一种异构数据库的数据转换同步方法、设备及存储介质
CN112363913B (zh) 一种并行测试任务调度寻优的方法、装置和计算设备
CN105095329B (zh) 一种人口数据校核方法
CN106713011B (zh) 一种获取测试数据的方法与系统
WO2023185310A1 (zh) 数据同步方法和系统、计算机可读存储介质
CN111240812A (zh) 任务执行方法及装置
WO2023082681A1 (zh) 基于批流一体的数据处理方法、装置、计算机设备和介质
CN110781180A (zh) 一种数据筛选方法和数据筛选装置
CN107317788A (zh) 实时数据推送方法和装置
WO2021093674A1 (zh) 工作流系统中的bi节点执行方法、装置、设备及计算机可读存储介质
CN116723166A (zh) 一种消息推送的实现方法、装置及介质
CN109005163B (zh) 一种http动态请求服务调用方法
CN112800121A (zh) 一种系统主动周期性获取外部数据的方法
CN113609026B (zh) 对服务器进行压力测试的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210514