CN111026535A - 一种非标准化的热插拔式数据批量处理方法 - Google Patents

一种非标准化的热插拔式数据批量处理方法 Download PDF

Info

Publication number
CN111026535A
CN111026535A CN201911271668.9A CN201911271668A CN111026535A CN 111026535 A CN111026535 A CN 111026535A CN 201911271668 A CN201911271668 A CN 201911271668A CN 111026535 A CN111026535 A CN 111026535A
Authority
CN
China
Prior art keywords
data
configuration file
component
processing
loading
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911271668.9A
Other languages
English (en)
Other versions
CN111026535B (zh
Inventor
余联涛
李波
罗娇娇
祝岩脉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Jiuzhou Electronic Information System Co Ltd
Original Assignee
Chengdu Jiuzhou Electronic Information System Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Jiuzhou Electronic Information System Co Ltd filed Critical Chengdu Jiuzhou Electronic Information System Co Ltd
Priority to CN201911271668.9A priority Critical patent/CN111026535B/zh
Publication of CN111026535A publication Critical patent/CN111026535A/zh
Application granted granted Critical
Publication of CN111026535B publication Critical patent/CN111026535B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/445—Program loading or initiating
    • G06F9/44505—Configuring for program initiating, e.g. using registry, configuration files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/445—Program loading or initiating
    • G06F9/44521—Dynamic linking or loading; Link editing at or after load time, e.g. Java class loading
    • G06F9/44526—Plug-ins; Add-ons
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Stored Programmes (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种非标准化的热插拔式数据批量处理方法，包括以下步骤：S1、读取约定位置的数据源配置文件；S2、加载本次执行的任务配置文件，读取任务配置文件内容并与步骤S1中的数据源进行关联；S3、对任务同步进行功能组件的初始化；S4、加载数据脚本集合；S5、对数据进行操作处理，包括数据清洗、数据修正、数据归类、数据呈现和数据打包；S6、对数据操作处理过程中出现的异常情况进行监控记录；S7、针对上述多个线程执行的任务生成本次处理的数据报告，生成文字形式的描述。本发明使用约定配置文件作为先驱任务清单，计算机多线程解析配置文件，按照配置文件的不同实现线程同步进行数据的处理。

Description

一种非标准化的热插拔式数据批量处理方法
技术领域
本发明属于数据处理方法领域，特别涉及一种非标准化的热插拔式数据批量处理方法。
背景技术
一般标准化业务开发软件都会提供数据的统计并导出Excel或者导出其它格式文件,方便用户在非本系统中进行流转。但是这样的数据格式基本上是已经固定或者可以有限制的调整，当软件用户量大时并提出各种不同的个性化数据格式导出需求时，已经设计好的系统要快速实现该功能将比较费力。
发明内容
本发明的目的在于克服现有技术的不足，提供一种使用约定配置文件作为先驱任务清单，计算机多线程解析配置文件，按照配置文件的不同实现线程同步进行数据的处理，能够实现对已产生大量的历史数据进行批量清洗、数据修正、过程监管、数据归类、数据呈现、数据打包等操作的非标准化的热插拔式数据批量处理方法。
本发明的目的是通过以下技术方案来实现的：一种非标准化的热插拔式数据批量处理方法，包括以下步骤：
S1、读取约定位置的数据源配置文件，根据数据源配置文件加载数据源驱动程序，形成一套数据源集合；
S2、加载本次执行的任务配置文件，读取任务配置文件内容并与步骤S1中的数据源进行关联；
S3、对步骤S2加载的任务同步进行功能组件的初始化，并启动热插拔加载子线程，热插拔加载子线程用于系统运行时对新加入的功能组件实现新任务的调度执行；
S4、加载数据脚本集合；
S5、对数据进行操作处理，包括数据清洗、数据修正、数据归类、数据呈现和数据打包；
S6、对数据操作处理过程中出现的异常情况进行监控记录，当任何一个步骤发生异常时首先生成异常信息并记录下来，然后判断该步骤是否还能继续执行，如果能执行则重新初始化条件后返回步骤S5，如果不能执行则中断数据处理，生成报告；
S7、针对上述多个线程执行的任务生成本次处理的数据报告，生成文字形式的描述。
进一步地，所述步骤S3中，初始化的过程是指子线程在约定的组件文件夹中查找步骤S2配置的组件信息，读取并加载组件时判断组件是否是符合标准接口约定，如果符合则把组件加载到程序中等待执行；如不符合标准则记录日志，并关闭当前执行子线程。
进一步地，所述步骤S3中，热插拔式组件用于当程序在运行时，在步骤S2配置文件所在文件夹中添加一个新任务配置文件并把新处理组件放在约定组件文件夹中，此时热插拔加载子线程会立刻加载该组件并启动一个单独线程继续完成新任务的执行。
进一步地，所述步骤S5包括以下子步骤：
S51、数据清洗，根据业务规则结合清洗脚本把提取的数据进行数据清洗，过滤掉不符合标准的数据，并把清洗的前后的结果保存下来转交给下一步处理；
S52、数据修正，承接S51的数据并把获取到的数据按照第S4数据修正规则脚本进行逐一处理，同样对数据修正前后的数据进行结果保存并转交下一步处理；
S53、数据归类，把S52生成的数据按照S4加载的数据归类原则对数据分类，放入不同的数据集合中为后续的数据呈现、数据打包准备；
S54、数据呈现，把S53步生成的数据发送到数据展示组件中，数据展示组件在电脑上按数据源名称、数据归类并以表格的方式呈现数据给用户查看结果；
S55、数据打包，按照用户喜好的方式把多个处理好的数据集合打包成文件方便用户带走。
本发明的有益效果是：本发明使用约定配置文件作为先驱任务清单，计算机多线程解析配置文件，按照配置文件的不同实现线程同步进行数据的处理，能够实现对已产生大量的历史数据进行批量清洗、数据修正、过程监管、数据归类、数据呈现、数据打包等操作。本发明充分利用了计算机多线程并行执行优势和软件执行过程约定配置文件方式驱动程序高效执行。本发明提供标准的处理流程接口，方便后续需求变化时进行功能扩充。在热插拔方面只要第三方实现提前约定的接口组件，并把组件放在约定目录，系统运行时就能自动识别并应用到系统中，能够完美快速完成不同用户提出的多种需求。
附图说明
图1为本发明的非标准化的热插拔式数据批量处理方法的流程图。
具体实施方式
本发明使用约定配置文件作为先驱任务清单，计算机多线程解析配置文件，按照配置文件的不同实现线程同步进行数据的处理。下面结合附图进一步说明本发明的技术方案。
如图1所示，一种非标准化的热插拔式数据批量处理方法，包括以下步骤：
S1、读取约定位置的数据源配置文件，根据数据源配置文件加载数据源驱动程序，形成一套数据源集合；本数据源集合可以是一种类型的数据库，也可以是不同类型的数据库，并且这些数据库可以分布在不同的网络主机中。针对这些分散的数据源使用统一的容器管理起来。
S2、加载本次执行的任务配置文件，可以实现手动选择或者默认约定文件路径的方式加载。手动加载方式优先级大于默认的约定方式，也就是当用户手动配置后默认的任务配置文件将会失效。读取任务配置文件内容并与步骤S1中的数据源进行关联，同时也可以实现一个任务关联多个数据源，或者多个任务关联一个数据源进行数据的操作。
S3、主线程启动多个计算机子线程针对步骤S2加载的任务同步进行功能组件的初始化，除了启动多任务子线程外主线程还会启动一个热插拔加载子线程，热插拔加载子线程用于系统运行时对新加入的功能组件实现新任务的调度执行。
初始化的过程是指子线程在约定的组件文件夹中查找步骤S2配置的组件信息，读取并加载组件时判断组件是否是符合标准接口约定，如果符合则把组件加载到程序中等待执行；如不符合标准则记录日志，并关闭当前执行子线程。
热插拔式组件用于当程序在运行时，在步骤S2配置文件所在文件夹中添加一个新任务配置文件并把新处理组件放在约定组件文件夹中，此时热插拔加载子线程会立刻加载该组件并启动一个单独线程继续完成新任务的执行。
S4、多个线程并行执行各自分配的任务时需要先加载各自的数据脚本集合(默认包括数据清洗、数据修正、数据归类、数据呈现、数据打包)；这些脚本集合主要是直接操作已经生成的历史业务数据。脚本按照任务名称或者数据源名称提前归类放在约定好的位置，方便组件加载读取。
S5、对数据进行操作处理，包括数据清洗、数据修正、数据归类、数据呈现和数据打包；本步骤是组件对数据处理的操作集合，集合的种类可以任意组合。组合的依据是S4加载的脚本而定，理论上可以实现自定义操作无线扩充。在操作集合中默认带有数据的清洗、数据修正、数据归类、数据呈现、数据打包。具体包括以下子步骤：
S51、数据清洗，根据业务规则结合清洗脚本把提取的数据进行数据清洗，过滤掉不符合标准的数据，并把清洗的前后的结果保存下来转交给下一步处理；
S52、数据修正，承接S51的数据并把获取到的数据按照第S4数据修正规则脚本进行逐一处理，同样对数据修正前后的数据进行结果保存并转交下一步处理；
S53、数据归类，把S52生成的数据按照S4加载的数据归类原则对数据分类，放入不同的数据集合中为后续的数据呈现、数据打包准备；
S54、数据呈现，把S53步生成的数据发送到数据展示组件中，数据展示组件在电脑上按数据源名称、数据归类并以表格的方式呈现数据给用户查看结果；
S55、数据打包，按照用户喜好的方式把多个处理好的数据集合打包成文件方便用户带走，其中打包方式用户可以自定义。
S6、对数据操作处理过程中出现的异常情况进行监控记录，当任何一个步骤发生异常时首先生成异常信息并记录下来，然后判断该步骤是否还能继续执行，如果能执行则重新初始化条件后返回步骤S5，如果不能执行则中断数据处理，生成报告；
S7、针对上述多个线程执行的任务生成本次处理的数据报告，生成文字形式的描述。例如：内容包括任务生成成功个数、失败个数、异常个数，生成的过程中原始数据集合位置、处理后数据集合位置、打包文件信息、每个任务执行时长等信息。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (4)

1.一种非标准化的热插拔式数据批量处理方法，其特征在于，包括以下步骤：
S1、读取约定位置的数据源配置文件，根据数据源配置文件加载数据源驱动程序，形成一套数据源集合；
S2、加载本次执行的任务配置文件，读取任务配置文件内容并与步骤S1中的数据源进行关联；
S3、对步骤S2加载的任务同步进行功能组件的初始化，并启动热插拔加载子线程，热插拔加载子线程用于系统运行时对新加入的功能组件实现新任务的调度执行；
S4、加载数据脚本集合；
S5、对数据进行操作处理，包括数据清洗、数据修正、数据归类、数据呈现和数据打包；
S6、对数据操作处理过程中出现的异常情况进行监控记录，当任何一个步骤发生异常时首先生成异常信息并记录下来，然后判断该步骤是否还能继续执行，如果能执行则重新初始化条件后返回步骤S5，如果不能执行则中断数据处理，生成报告；
S7、针对上述多个线程执行的任务生成本次处理的数据报告，生成文字形式的描述。
2.根据权利要求1所述的一种非标准化的热插拔式数据批量处理方法，其特征在于，所述步骤S3中，初始化的过程是指子线程在约定的组件文件夹中查找步骤S2配置的组件信息，读取并加载组件时判断组件是否是符合标准接口约定，如果符合则把组件加载到程序中等待执行；如不符合标准则记录日志，并关闭当前执行子线程。
3.根据权利要求1所述的一种非标准化的热插拔式数据批量处理方法，其特征在于，所述步骤S3中，热插拔式组件用于当程序在运行时，在步骤S2配置文件所在文件夹中添加一个新任务配置文件并把新处理组件放在约定组件文件夹中，此时热插拔加载子线程会立刻加载该组件并启动一个单独线程继续完成新任务的执行。
4.根据权利要求1所述的一种非标准化的热插拔式数据批量处理方法，其特征在于，所述步骤S5包括以下子步骤：
S51、数据清洗，根据业务规则结合清洗脚本把提取的数据进行数据清洗，过滤掉不符合标准的数据，并把清洗的前后的结果保存下来转交给下一步处理；
S52、数据修正，承接S51的数据并把获取到的数据按照第S4数据修正规则脚本进行逐一处理，同样对数据修正前后的数据进行结果保存并转交下一步处理；
S53、数据归类，把S52生成的数据按照S4加载的数据归类原则对数据分类，放入不同的数据集合中为后续的数据呈现、数据打包准备；
S54、数据呈现，把S53步生成的数据发送到数据展示组件中，数据展示组件在电脑上按数据源名称、数据归类并以表格的方式呈现数据给用户查看结果；
S55、数据打包，按照用户喜好的方式把多个处理好的数据集合打包成文件方便用户带走。
CN201911271668.9A 2019-12-12 2019-12-12 一种非标准化的热插拔式数据批量处理方法 Active CN111026535B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911271668.9A CN111026535B (zh) 2019-12-12 2019-12-12 一种非标准化的热插拔式数据批量处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911271668.9A CN111026535B (zh) 2019-12-12 2019-12-12 一种非标准化的热插拔式数据批量处理方法

Publications (2)

Publication Number Publication Date
CN111026535A true CN111026535A (zh) 2020-04-17
CN111026535B CN111026535B (zh) 2023-03-21

Family

ID=70206163

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911271668.9A Active CN111026535B (zh) 2019-12-12 2019-12-12 一种非标准化的热插拔式数据批量处理方法

Country Status (1)

Country Link
CN (1) CN111026535B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112068898A (zh) * 2020-09-01 2020-12-11 上海熙菱信息技术有限公司 一种可配置插件式服务集成系统及方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103379086A (zh) * 2012-04-11 2013-10-30 联想(北京)有限公司 一种热插拔式数据交互的实现方法及数据服务中心
CN103683496A (zh) * 2013-11-25 2014-03-26 许继电气股份有限公司 一种即插即用的电力设备规约变更方法及装置
CN104267985A (zh) * 2014-09-23 2015-01-07 杭州华三通信技术有限公司 一种软件加载方法和设备
CN106250444A (zh) * 2016-07-27 2016-12-21 北京集奥聚合科技有限公司 一种异构数据源的实时入库系统及方法
US20170068634A1 (en) * 2015-09-03 2017-03-09 Red Hat Israel, Ltd. Asynchronous mapping of hot-plugged device associated with virtual machine
CN106777345A (zh) * 2017-01-16 2017-05-31 山东浪潮商用系统有限公司 一种基于海量数据迁移的数据抽取加载方法
CN107291493A (zh) * 2017-05-27 2017-10-24 北京思特奇信息技术股份有限公司 一种后台业务处理框架的搭建方法和系统
CN108196912A (zh) * 2018-01-03 2018-06-22 新疆熙菱信息技术股份有限公司 一种基于热插拔组件式数据集成方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103379086A (zh) * 2012-04-11 2013-10-30 联想(北京)有限公司 一种热插拔式数据交互的实现方法及数据服务中心
CN103683496A (zh) * 2013-11-25 2014-03-26 许继电气股份有限公司 一种即插即用的电力设备规约变更方法及装置
CN104267985A (zh) * 2014-09-23 2015-01-07 杭州华三通信技术有限公司 一种软件加载方法和设备
US20170068634A1 (en) * 2015-09-03 2017-03-09 Red Hat Israel, Ltd. Asynchronous mapping of hot-plugged device associated with virtual machine
CN106250444A (zh) * 2016-07-27 2016-12-21 北京集奥聚合科技有限公司 一种异构数据源的实时入库系统及方法
CN106777345A (zh) * 2017-01-16 2017-05-31 山东浪潮商用系统有限公司 一种基于海量数据迁移的数据抽取加载方法
CN107291493A (zh) * 2017-05-27 2017-10-24 北京思特奇信息技术股份有限公司 一种后台业务处理框架的搭建方法和系统
CN108196912A (zh) * 2018-01-03 2018-06-22 新疆熙菱信息技术股份有限公司 一种基于热插拔组件式数据集成方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘赛等: "多源数据库数据复制模型", 《计算机与现代化》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112068898A (zh) * 2020-09-01 2020-12-11 上海熙菱信息技术有限公司 一种可配置插件式服务集成系统及方法
CN112068898B (zh) * 2020-09-01 2024-04-19 上海熙菱信息技术有限公司 一种可配置插件式服务集成系统及方法

Also Published As

Publication number Publication date
CN111026535B (zh) 2023-03-21

Similar Documents

Publication Publication Date Title
WO2020006910A1 (zh) 业务组件式开发方法、装置、计算机设备及存储介质
WO2019019381A1 (zh) 批量处理保单任务的方法、装置、计算机设备及存储介质
US20170103052A1 (en) Latency reduction in collaborative presentation sharing environment
US11720515B2 (en) Article, device, and techniques for serverless stack for streaming message processing
WO2019075774A1 (zh) 设备参数配置方法、装置、计算机设备和存储介质
CN109828905A (zh) 自动化测试方法、装置、计算机装置及存储介质
CN106293842B (zh) 一种软件安装方法及装置
WO2022000888A1 (zh) 执行定制化人工智能生产线的装置和方法、设备和介质
CN104932928A (zh) 一种基于java的插件化开发方法及系统
CN111694677A (zh) 消息队列的管理方法、装置、终端和计算机可读存储介质
CN111026535B (zh) 一种非标准化的热插拔式数据批量处理方法
CN105138344A (zh) 根据图片热度随机生成屏保的方法及系统
CN105183854B (zh) 一种数据库卸载数据的调度方法
CN107153557A (zh) 一种基于linux系统下对BIOS进行操作的装置及方法
TW202006614A (zh) 使用方塊式工作流程的限制編程
US10520929B2 (en) Techniques for implementing universal commands in a welding or cutting system
CN110019260B (zh) 一种用户数据的更新方法及相关设备
US20210279062A1 (en) Automated runtime configuration for dataflows
CN113741960B (zh) 一种基于安卓端的App自动定制打包方法及装置
CN107179969B (zh) 一键设置Benchmark测试的BIOS选项的装置及方法
CN109621406A (zh) 一种配置文件的生成方法和装置
JP6516343B2 (ja) アプリケーションユーザーインターフェース自動テスト方法、電子装置、システム及び記憶媒体
CN113022133B (zh) 喷印机效率提升方法、电子设备及存储介质
CN108845794A (zh) 一种流式运算框架、方法、可读介质和存储控制器
US9870257B1 (en) Automation optimization in a command line interface

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant