CN109684100A - 一种基于freemarker模板的数据采集系统及采集方法 - Google Patents
一种基于freemarker模板的数据采集系统及采集方法 Download PDFInfo
- Publication number
- CN109684100A CN109684100A CN201811433579.5A CN201811433579A CN109684100A CN 109684100 A CN109684100 A CN 109684100A CN 201811433579 A CN201811433579 A CN 201811433579A CN 109684100 A CN109684100 A CN 109684100A
- Authority
- CN
- China
- Prior art keywords
- data
- acquisition
- module
- information
- data source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000013480 data collection Methods 0.000 title claims abstract description 29
- 238000005538 encapsulation Methods 0.000 claims description 28
- 238000012545 processing Methods 0.000 claims description 24
- 235000006719 Cassia obtusifolia Nutrition 0.000 claims description 17
- 244000201986 Cassia tora Species 0.000 claims description 17
- 235000014552 Cassia tora Nutrition 0.000 claims description 17
- 244000131316 Panax pseudoginseng Species 0.000 claims 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims 1
- 235000003140 Panax quinquefolius Nutrition 0.000 claims 1
- 235000008434 ginseng Nutrition 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 5
- 230000003542 behavioural effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/546—Message passing systems or structures, e.g. queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/70—Software maintenance or management
- G06F8/71—Version control; Configuration management
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Stored Programmes (AREA)
Abstract
本发明具体涉及一种基于FREEMARKER模板的数据采集系统及采集方法，本发明通过将性能数据采集的任务分类配置成多个任务队列，然后根据任务队列配置采集模板，当需要采集性能数据时，直接将各种数据采集任务队列与采集模板相匹配，可以确定唯一一个采集模板，并根据采集模板进行性能数据的采集，达到了将多种来源的数据和多种格式的数据快速分类并进行采集的效果，提高了性能数据采集的效率，降低了工作量，为后续工作提供了有力的数据支持。
Description
技术领域
本发明属于计算机数据采集技术领域，具体涉及一种基于FREEMARKER模板的数据采集系统及采集方法。
背景技术
FreeMarker是一款模板引擎：即一种基于模板和要改变的数据，并用来生成输出文本(HTML网页、电子邮件、配置文件、源代码等)的通用工具。它不是面向最终用户的，而是一个Java类库，是一款程序员可以嵌入他们所开发产品的组件，模板和数据模型是FreeMarker来生成输出所必须的组成部分。
在当前一个大数据信息时代，我们可能要提前从各种渠道获取跟用户相关的数据信息；比如对于网站来说我们需要知道用户的登录信息，访问信息，购买的商品信息，看过的商品信息还有其它跟用户相关的信息，大数据时代会根据用户的这些行为习惯数据进行统计，分析出用户的行为习惯，可以提前预测用户需要购买的商品，我们可以将该类商品可以提前存储发货。但是该类行为数据采集来源众多，且来源数据格式不一，不同的数据源格式需要用复杂的程序来分别进行采集和汇总，不能进行统一适配和汇总。
发明内容
为了解决现有技术中存在的多种数据源格式的数据不能进行统一采集和汇总的问题，本发明提供了一种基于FREEMARKER模板的数据采集系统及采集方法，达到了高效采集多种来源和格式的数据的效果。本发明要解决的技术问题通过以下技术方案实现：
一种基于FREEMARKER模板的数据采集系统，该系统包括：
第一配置模块，用于将性能数据采集任务配置为多个任务队列，任务队列中包括采集性能数据所需的采集参数；
第二配置模块，用于根据每个任务队列中的采集参数配置采集模板，采集模板中包括与采集参数对应的采集配置信息、与采集配置信息对应的数据源的地址信息以及用于将采集的性能数据格式化为自定义的JAVA BEAN信息的处理子模块；
执行模块，用于根据所述数据源的地址信息以及所述采集配置信息进行性能数据的采集；
调度模块，用于调度所述处理子模块；
存储模块，用于将所述处理子模块处理完成的数据进行系统多线程处理后插入数据库。
进一步的，所述的采集参数包括第一数据源类型的标识、第一数据源的请求方法、第一数据源接口协议信息、全量采集周期和增量采集周期。
进一步的，所述采集配置信息为第二数据源类型的标识、第二数据源接口协议信息以及第二数据源的请求方法；
所述数据源的地址信息为第二接口协议信息的接口地址信息和携带参数；
所述处理子模块用于将采集的性能数据封装为自定义格式的封装数据，并将封装数据格式化为自定义的JAVA BEAN信息。
进一步的，所述执行模块包括：
执行子模块：用于根据所述全量采集周期和增量采集周期，通过所述第二数据源接口协议信息、第二数据源的请求方法以及第二接口协议信息的接口地址信息和携带参数进行性能数据的周期性采集。
进一步的，所述处理子模块包括：
前置插件，用于将采集到的性能数据中含有的特殊字符进行替换或删除；
封装模块，用于将前置插件处理后的数据封装为自定义的封装数据，并将封装数据格式化为自定义的JAVA BEAN信息；
后置插件，用于将封装数据的特殊字段进行替换或删除。
一种基于FREEMARKER模板的数据采集系统的采集方法，该方法包括以下步骤：
步骤S1，第一配置模块将性能数据采集任务配置为多个任务队列，任务队列中包括采集性能数据所需的采集参数；
步骤S2，第二配置模块根据每个任务队列中的采集参数配置采集模板；
步骤S3，执行模块根据采集模板中的数据源的地址信息以及采集配置信息进行性能数据的采集；
步骤S4，调度模块调度处理子模块处理所采集的性能数据；
步骤S5，存储模块将处理子模块处理完成的数据进行系统多线程处理后插入对应的数据库。
进一步的，所述步骤S2的具体步骤为：第二配置模块根据每个任务队列中的第一数据源类型的标识、第一数据源的请求方法和第一数据源接口协议信息配置采集模板中的第二数据源类型的标识、第二数据源的请求方法、第二数据源接口协议信息以及与第二数据源接口协议信息对应的数据源的地址信息和携带参数。
进一步的，所述步骤S3的具体步骤为：执行子模块根据所述全量采集周期和增量采集周期，通过第二数据源接口协议信息、第二数据源的请求方法以及所述数据源的地址信息和携带参数进行性能数据的周期性采集。
进一步的，所述步骤S4中处理子模块处理所采集的性能数据的方法为：将采集到的性能数据封装为自定义格式的封装数据，并将封装数据格式化为自定义的JAVA BEAN信息。
进一步的，所述步骤S4中处理子模块处理所采集的性能数据的具体步骤为：
步骤S41，前置插件将采集到的性能数据中含有的特殊字符进行替换或删除；
步骤S42，封装模块将前置插件处理后的数据封装为自定义的封装数据，并将封装数据格式化为自定义的JAVA BEAN信息；
步骤S43，后置插件将封装数据的特殊字段进行替换或删除。
与现有技术相比，本发明的有益效果：
本发明通过将性能数据采集的任务分类配置成多个任务队列，然后根据任务队列配置采集模板，当需要采集性能数据时，直接将各种数据采集任务队列与采集模板相匹配，可以确定唯一一个采集模板，并根据采集模板进行性能数据的采集，达到了将多种来源的数据和多种格式的数据快速分类并进行采集的效果，提高了性能数据采集的效率，降低了工作量，为后续工作提供了有力的数据支持。
附图说明
图1是本发明的结构框图；
图2是本发明的流程框图。
具体实施方式
下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。
如图1所示的一种基于FREEMARKER模板的数据采集系统，该系统包括：
第一配置模块10，用于将性能数据采集任务配置为多个任务队列，任务队列中包括采集性能数据所需的采集参数。
采集参数包括第一数据源类型的标识、第一数据源的请求方法、第一数据源接口协议信息、全量采集周期和增量采集周期。第一数据源类型的标识作为数据源类型的标识，全局唯一。第一数据源接口协议信息包括JDBC、REST、WEBSERVICE、JMS、FTP或其它数据采集方式。第一数据源的请求方法根据第一数据源接口协议信息的不同配置对应的第一数据源的请求方法方法进行统一采集处理。第一数据源的请求方法为在HTTP请求中的POST、GET、DELETE或PUT等其它接口方法。
第二配置模块20，用于根据每个任务队列中的采集参数配置采集模板，采集模板中包括与采集参数对应的采集配置信息、与采集配置信息对应的数据源的地址信息以及用于将采集的性能数据格式化为自定义的JAVA BEAN信息的处理子模块。采集配置信息为第二数据源类型的标识、第二数据源接口协议信息以及第二数据源的请求方法；数据源的地址信息为第二接口协议信息的接口地址信息和携带参数；处理子模块用于将采集的性能数据封装为自定义格式的封装数据，并将封装数据格式化为自定义的JAVA BEAN信息。
第一数据源类型的标识、第一数据源的请求方法、第一数据源接口协议信息分别与第二数据源类型的标识、第二数据源的请求方法、第二数据源接口协议信息对应，即为内容完全相同。第二数据源接口协议信息包括JDBC、REST、WEBSERVICE、JMS、FTP或其它数据采集方式。与第二数据源的请求方法根据第二数据源接口协议信息的不同配置对应的请求方法方法进行统一采集处理。例如，REST对应POST。在采集模板中第二接口协议信息的接口地址信息和携带参数如果是JDBC方式可以生成连接数据的相关信息，包含数据库连接URL、用户名和密码等信息；如果是FTP或REST其它接口方式，生成请求接口的URL信息，用户名密码信息，并根据需求生成对应的携带参数。
处理子模块包括：
前置插件，用于将采集到的性能数据中含有的特殊字符进行替换或删除；
封装模块，用于将前置插件处理后的数据封装为自定义的封装数据，并将封装数据格式化为自定义的JAVA BEAN信息；JAVA BEAN是一种JAVA语言写成的可重用组件。
后置插件，用于将封装数据的特殊字段进行替换或删除。
执行模块30，用于根据所述数据源的地址信息、携带参数以及所述采集配置信息进行性能数据的采集；第二数据源接口协议信息是JDBC、REST、WEBSERVICE、JMS、FTP或其它数据接口协议，根据接口协议的不同调度不同数据源的请求方法进行统一采集。
执行模块包括执行子模块，执行子模块用于根据所述全量采集周期和增量采集周期，通过所述第二数据源接口协议信息、第二数据源的请求方法以及第二接口协议信息的接口地址信息和携带参数进行性能数据的周期性采集。
调度模块40，用于调度所述处理子模块，以实现处理子模块的功能。
存储模块50，用于将所述处理子模块处理完成的数据进行系统多线程处理后插入数据库。
如图2所示的一种基于FREEMARKER模板的数据采集系统的采集方法，包括以下步骤：
步骤S1，第一配置模块10将性能数据采集任务配置为多个任务队列，任务队列中包括采集性能数据所需的采集参数；
步骤S2，第二配置模块20根据每个任务队列中的采集参数配置采集模板；
步骤S3，执行模块30根据采集模板中的数据源的地址信息以及采集配置信息进行性能数据的采集；
步骤S4，调度模块40调度处理子模块处理所采集的性能数据；
步骤S5，存储模块50将处理子模块处理完成的数据进行系统多线程处理后插入对应的数据库。
在本发明的可选实施例中，优选的步骤S2还可以为以下具体步骤：第二配置模块20根据每个任务队列中的第一数据源类型的标识、第一数据源的请求方法和第一数据源接口协议信息配置采集模板中的第二数据源类型的标识、第二数据源的请求方法、第二数据源接口协议信息以及与第二数据源接口协议信息对应的数据源的地址信息和携带参数。
在本发明的可选实施例中，优选的步骤S3还可以为以下具体步骤：
执行子模块根据所述全量采集周期和增量采集周期，通过第二数据源接口协议信息、第二数据源的请求方法以及所述数据源的地址信息和携带参数进行性能数据的周期性采集。
在本发明的可选实施例中，优选的步骤S4还可以为以下具体步骤：将采集到的性能数据封装为自定义格式的封装数据，并将封装数据格式化为自定义的JAVA BEAN信息。例如将采集到的性能数据封装为JSON(JavaScript Object Notation，对象表示法)格式，字段可以根据自己的要求修改格式，再将JSON格式数据格式化为自定义的JAVA BEAN信息。
在本发明的可选实施例中，优选的步骤S4还可以为以下具体步骤：
步骤S41，前置插件将采集到的性能数据中含有的特殊字符进行替换或删除；
步骤S42，封装模块将前置插件处理后的数据封装为自定义的封装数据，并将封装数据格式化为自定义的JAVA BEAN信息；
步骤S43，后置插件将封装数据的特殊字段进行替换或删除。
本发明根据配置不同的多个任务队列配置不同的采集模板，在性能数据采集过程中只需要根据采集模板中的采集配置信息和数据源的地址信息即可实现性能数据的采集，达到了进行分类，并根据分类进行采集处理，达到了高效采集数据的效果，提高了工作效率。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。
Claims (10)
1.一种基于FREEMARKER模板的数据采集系统，其特征在于：该系统包括：
第一配置模块，用于将性能数据采集任务配置为多个任务队列，任务队列中包括采集性能数据所需的采集参数；
第二配置模块，用于根据每个任务队列中的采集参数配置采集模板，采集模板中包括与采集参数对应的采集配置信息、与采集配置信息对应的数据源的地址信息以及用于将采集的性能数据格式化为自定义的JAVA BEAN信息的处理子模块；
执行模块，用于根据所述数据源的地址信息以及所述采集配置信息进行性能数据的采集；
调度模块，用于调度所述处理子模块；
存储模块，用于将所述处理子模块处理完成的数据进行系统多线程处理后插入数据库。
2.根据权利要求1所述的一种基于FREEMARKER模板的数据采集系统，其特征在于：所述的采集参数包括第一数据源类型的标识、第一数据源的请求方法、第一数据源接口协议信息、全量采集周期和增量采集周期。
3.根据权利要求2所述的一种基于FREEMARKER模板的数据采集系统，其特征在于：所述采集配置信息为第二数据源类型的标识、第二数据源接口协议信息以及第二数据源的请求方法；
所述数据源的地址信息为第二接口协议信息的接口地址信息和携带参数；
所述处理子模块用于将采集的性能数据封装为自定义格式的封装数据，并将封装数据格式化为自定义的JAVA BEAN信息。
4.根据权利要求3所述的一种基于FREEMARKER模板的数据采集系统，其特征在于：所述执行模块包括：
执行子模块：用于根据所述全量采集周期和增量采集周期，通过所述第二数据源接口协议信息、第二数据源的请求方法以及第二接口协议信息的接口地址信息和携带参数进行性能数据的周期性采集。
5.根据权利要求3所述的一种基于FREEMARKER模板的数据采集系统，其特征在于：所述处理子模块包括：
前置插件，用于将采集到的性能数据中含有的特殊字符进行替换或删除；
封装模块，用于将前置插件处理后的数据封装为自定义的封装数据，并将封装数据格式化为自定义的JAVA BEAN信息；
后置插件，用于将封装数据的特殊字段进行替换或删除。
6.根据权利要求1-5任一项所述的一种基于FREEMARKER模板的数据采集系统的采集方法，其特征在于：该方法包括以下步骤：
步骤S1，第一配置模块将性能数据采集任务配置为多个任务队列，任务队列中包括采集性能数据所需的采集参数；
步骤S2，第二配置模块根据每个任务队列中的采集参数配置采集模板；
步骤S3，执行模块根据采集模板中的数据源的地址信息以及采集配置信息进行性能数据的采集；
步骤S4，调度模块调度处理子模块处理所采集的性能数据；
步骤S5，存储模块将处理子模块处理完成的数据进行系统多线程处理后插入对应的数据库。
7.根据权利要求6所述的一种基于FREEMARKER模板的数据采集系统的采集方法，其特征在于：所述步骤S2的具体步骤为：第二配置模块根据每个任务队列中的第一数据源类型的标识、第一数据源的请求方法和第一数据源接口协议信息配置采集模板中的第二数据源类型的标识、第二数据源的请求方法、第二数据源接口协议信息以及与第二数据源接口协议信息对应的数据源的地址信息和携带参数。
8.根据权利要求7所述的一种基于FREEMARKER模板的数据采集系统的采集方法，其特征在于：所述步骤S3的具体步骤为：执行子模块根据所述全量采集周期和增量采集周期，通过第二数据源接口协议信息、第二数据源的请求方法以及所述数据源的地址信息和携带参数进行性能数据的周期性采集。
9.根据权利要求6所述的一种基于FREEMARKER模板的数据采集系统的采集方法，其特征在于：所述步骤S4中处理子模块处理所采集的性能数据的方法为：将采集到的性能数据封装为自定义格式的封装数据，并将封装数据格式化为自定义的JAVA BEAN信息。
10.根据权利要求9所述的一种基于FREEMARKER模板的数据采集系统的采集方法，其特征在于：所述步骤S4中处理子模块处理所采集的性能数据的具体步骤为：
步骤S41，前置插件将采集到的性能数据中含有的特殊字符进行替换或删除；
步骤S42，封装模块将前置插件处理后的数据封装为自定义的封装数据，并将封装数据格式化为自定义的JAVA BEAN信息；
步骤S43，后置插件将封装数据的特殊字段进行替换或删除。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811433579.5A CN109684100A (zh) | 2018-11-28 | 2018-11-28 | 一种基于freemarker模板的数据采集系统及采集方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811433579.5A CN109684100A (zh) | 2018-11-28 | 2018-11-28 | 一种基于freemarker模板的数据采集系统及采集方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109684100A true CN109684100A (zh) | 2019-04-26 |
Family
ID=66184445
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811433579.5A Pending CN109684100A (zh) | 2018-11-28 | 2018-11-28 | 一种基于freemarker模板的数据采集系统及采集方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109684100A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110113257A (zh) * | 2019-05-14 | 2019-08-09 | 北京京投亿雅捷交通科技有限公司 | 一种基于大数据的统一数据接入网关及实现方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140280254A1 (en) * | 2013-03-15 | 2014-09-18 | Feichtner Data Group, Inc. | Data Acquisition System |
| CN104345717A (zh) * | 2014-10-17 | 2015-02-11 | 武汉华大优能信息有限公司 | 一种基于物联网的智能远程数据采集系统 |
| CN108449407A (zh) * | 2018-03-14 | 2018-08-24 | 中煤科工集团重庆研究院有限公司 | 多源异构煤矿安全监测数据采集方法 |
-
2018
- 2018-11-28 CN CN201811433579.5A patent/CN109684100A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140280254A1 (en) * | 2013-03-15 | 2014-09-18 | Feichtner Data Group, Inc. | Data Acquisition System |
| CN104345717A (zh) * | 2014-10-17 | 2015-02-11 | 武汉华大优能信息有限公司 | 一种基于物联网的智能远程数据采集系统 |
| CN108449407A (zh) * | 2018-03-14 | 2018-08-24 | 中煤科工集团重庆研究院有限公司 | 多源异构煤矿安全监测数据采集方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110113257A (zh) * | 2019-05-14 | 2019-08-09 | 北京京投亿雅捷交通科技有限公司 | 一种基于大数据的统一数据接入网关及实现方法 |
| CN110113257B (zh) * | 2019-05-14 | 2021-06-08 | 北京京投亿雅捷交通科技有限公司 | 一种基于大数据的统一数据接入网关及实现方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105243159A (zh) | 一种基于可视化脚本编辑器的分布式网络爬虫系统 | |
| US8839198B2 (en) | Automated analysis of composite applications | |
| CN104298788A (zh) | 一种分页查询方法和系统 | |
| CN110941950B (zh) | 接口文档的生成方法、装置、服务器及存储介质 | |
| CN107403111A (zh) | Hive数据脱敏方法及装置 | |
| CN104252532A (zh) | 一种统计网站信息的方法及装置 | |
| CN103729479A (zh) | 基于分布式文件存储的网站页面内容统计的方法和系统 | |
| US10838843B1 (en) | Parsing hierarchical session log data for search and analytics | |
| CN110688830A (zh) | 征信模板的转换方法及装置 | |
| CN111953766A (zh) | 一种网络数据采集的方法及其系统 | |
| CN106777398A (zh) | 一种csv文件的生成方法及装置 | |
| CN110045950A (zh) | 基于nodejs的静态页面开发脚手架方法 | |
| CN109684100A (zh) | 一种基于freemarker模板的数据采集系统及采集方法 | |
| CN103399968B (zh) | 一种微博信息采集方法及系统 | |
| US7831635B2 (en) | Collecting information at a remote site | |
| CN113297449A (zh) | 一种流式爬虫实现方法及系统 | |
| US20060149560A1 (en) | Business application generation system | |
| Goeschka et al. | Client and legacy integration in object oriented Web engineering | |
| JP2008293186A (ja) | 鉄鋼プラント制御プログラムの自動生成方法およびその装置 | |
| CN107885843A (zh) | 一种智能爬虫任务的方法及装置 | |
| CN114238024A (zh) | 时序图生成方法与系统 | |
| CN109471966B (zh) | 一种自动获取目标数据源的方法及系统 | |
| CN106446024B (zh) | 自动生成数据模型的方法和装置 | |
| CN108073643A (zh) | 任务处理方法和装置 | |
| WO2004006111A3 (en) | System and method for generating invoices using a markup language |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190426 |