CN110837533A - 使用SpringBoot框架调度Kettle实现司法资源信息数据抽取转换的方法 - Google Patents
使用SpringBoot框架调度Kettle实现司法资源信息数据抽取转换的方法 Download PDFInfo
- Publication number
- CN110837533A CN110837533A CN201911099134.2A CN201911099134A CN110837533A CN 110837533 A CN110837533 A CN 110837533A CN 201911099134 A CN201911099134 A CN 201911099134A CN 110837533 A CN110837533 A CN 110837533A
- Authority
- CN
- China
- Prior art keywords
- task
- scheduling
- data extraction
- judicial
- framework
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000000605 extraction Methods 0.000 title claims abstract description 12
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 11
- 238000013075 data extraction Methods 0.000 claims abstract description 36
- 230000008569 process Effects 0.000 claims abstract description 8
- 239000010453 quartz Substances 0.000 claims description 6
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N silicon dioxide Inorganic materials O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 claims description 6
- 230000009471 action Effects 0.000 claims description 3
- 230000001419 dependent effect Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims 2
- 238000013501 data transformation Methods 0.000 claims 1
- 238000007726 management method Methods 0.000 claims 1
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/18—Legal services
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Tourism & Hospitality (AREA)
- Technology Law (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了使用SpringBoot框架调度Kettle实现司法资源信息数据抽取转换的方法，该方法包括以下步骤：技术框架选型、定义项目的配置、初始化资源、设计数据抽取的具体过程、通过接口操作调度任务以及触发调度任务。
Description
技术领域
该发明直接应用的技术领域为基于司法行政资源的大数据应用。
背景技术
随着司法改革的不断深化和社会经济的不断发展，司法行政也面临着许多新情况、新问题。依托司法行政资源决策技术，推进信息化条件下业务流程再造，以信息化建设推进工作机制完善，推动实现了信息主导、精准服务、精准管控、智能研判的工作新模式，构建起以“智慧决策观”“智慧服务观”“智慧组织结构观”为重点的司法行政“智慧法务”新格局，对司法行政工作向标准化、规范化、精细化方向延伸具有重要推动作用。司法资源信息大数据并非数据的简单加法，而是应建立在数据“乘法融合”，其核心不在于数据量的多少，而是数据的智能化程度之高低。当前，司法资源信息大数据利用的智能化程度有待提高，由数据系统直接生成动态的立体化司法运行状况还未能实现，数据服务还无法满足于个人定制模式，数据检索项设置还比较简单，关键词检索还不够智能，在一定程度上影响了数据库的使用效能。
司法资源信息大数据的智能化要求实现大数据与互联网、人工智能等现代科技手段融合发展，共同运用到司法实践中，实现人工智能在司法领域的深度应用，打破部门信息壁垒，实现部门内部上下级之间数据的对流和交换，促成不同部门之间横向的数据开放与交流。大量的司法资源信息数据如何抽取到大数据平台呢？其中一个解决方案就是使用开源的ETL工具Kettle来进行抽取，但是Kettle的每次抽取都要手动去点击执行，使用并不友好和方便。所以，一个功能友好的、可配置的调度工具来调度kettle的司法资源信息大数据抽取任务十分必要。
发明内容
为实现上述目的，本发明提供如下技术方案：使用SpringBoot框架调度Kettle实现司法资源信息数据抽取转换的方法，该方法包括以下步骤：技术框架选型、定义项目的配置、初始化资源、设计数据抽取的具体过程、通过接口操作调度任务以及触发调度任务。
作为本发明的一种优选技术方案，所述技术框架选型采用目前Java EE最新的开发框架SpringBoot2.0搭建一个提供RESTful接口的Web项目，集成定时调度框架Quartz，和调用Kettle的依赖jar包。
作为本发明的一种优选技术方案，所述定义项目的配置包括：
定义统一的RESTful接口数据返回格式；
重写JobFactory的实现方式，使其可以放入到sping容器中进行管理；
使用hikari数据库连接池连接资源库和其他数据库，并初始化调度任务数据库和kettle的资源库；
配置quartz为数据库存储，配置其部署方式为集群部署；
配置kettle连接资源库的信息。
作为本发明的一种优选技术方案，所述初始化资源包括：
在工程启动的时候初始化Kettle的运行环境，并返回全局的KettleDatabaseRepository资源库对象，供后面操作；
创建2种Job的类，一种拿来实例化kettle的Trans任务，一种拿来实例化kettle的Job任务。
作为本发明的一种优选技术方案，所述设计数据抽取的具体过程包括：
创建调度数据抽取任务；
运行调度数据抽取任务；
暂停调度数据抽取任务；
恢复调度数据抽取任务；
删除调度数据抽取任务；
更新调度数据抽取任务；
查询调度数据抽取任务列表。
作为本发明的一种优选技术方案，所述触发调度任务为运行状态的调度数据抽取任务，在时间触发器的作用下，会触发任务，它根据悲观锁的方式选择一个调度节点执行调度任务，满足数据抽取的需求。
与现有技术相比，本发明提供了使用SpringBoot框架调度Kettle实现司法资源信息数据抽取转换的方法，具备以下有益效果：
本发明提供了一种界面友好的、功能强大的、易于操作的司法资源信息大数据抽取调度工具，为司法行政资源的大数据检索提供便捷。
附图说明
图1为本发明的结构示意图。
具体实施方式
参照图1，本发明提供一种技术方案：使用SpringBoot框架调度Kettle实现司法资源信息数据抽取转换的方法，该方法包括以下步骤：技术框架选型、定义项目的配置、初始化资源、设计数据抽取的具体过程、通过接口操作调度任务以及触发调度任务，具体地，在使用前，先安装3台Centos7服务器，配置好服务器对应的IP为静态地址，在服务器中安装JDK＞＝1.8版本的Java运行环境，其中一台服务器安装Mysq1数据库；在3台服务器上上传kettle8.1版本的执行文件，启动carte服务器，然后在安装Mysq1数据库的服务器作为master节点，使用启动一个kettle的spoon.sh创建一个资源库后连接资源库，并创建一个数据转换的集群任务；将工程项目配置好数据库连接信息和kettle连接信息后编译为一个可运行的jar包，传送到3台服务器上，并后台运行3个jar包；通过接口访问其中任意一台服务器的功能接口都行，对接一个前端，可以完成可视化操作接口，达到方便，友好的操作调度任务，集群部署方式能达到稳定，高效的功能。
本实施例中，所述技术框架选型采用目前Java EE最新的开发框架SpringBoot2.0搭建一个提供RESTful接口的Web项目，集成定时调度框架Quartz，和调用Kettle的依赖jar包。
本实施例中，所述定义项目的配置包括：
定义统一的RESTfu1接口数据返回格式；
重写JobFactory的实现方式，使其可以放入到sping容器中进行管理；
使用hikari数据库连接池连接资源库和其他数据库，并初始化调度任务数据库和kettle的资源库；
配置quartz为数据库存储，配置其部署方式为集群部署；
配置kettle连接资源库的信息。
本实施例中，所述初始化资源包括：
在工程启动的时候初始化Kettle的运行环境，并返回全局的KettleDatabaseRepository资源库对象，供后面操作；
创建2种Job的类，一种拿来实例化kettle的Trans任务，一种拿来实例化kettle的Job任务。
本实施例中，所述设计数据抽取的具体过程包括：
创建调度数据抽取任务；
运行调度数据抽取任务；
暂停调度数据抽取任务；
恢复调度数据抽取任务；
删除调度数据抽取任务；
更新调度数据抽取任务；
查询调度数据抽取任务列表。
本实施例中，所述触发调度任务为运行状态的调度数据抽取任务，在时间触发器的作用下，会触发任务，它根据悲观锁的方式选择一个调度节点执行调度任务，达到简洁，高效，健壮的功能，满足数据抽取的需求。
以上所述，仅为发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (6)
1.使用SpringBoot框架调度Kettle实现司法资源信息数据抽取转换的方法，其特征在于，该方法包括以下步骤：技术框架选型、定义项目的配置、初始化资源、设计数据抽取的具体过程、通过接口操作调度任务以及触发调度任务。
2.根据权利要求1所述的使用SpringBoot框架调度Kettle实现司法资源信息数据抽取转换的方法，其特征在于，所述技术框架选型采用目前Java EE最新的开发框架SpringBoot2.0搭建一个提供RESTful接口的Web项目，集成定时调度框架Quartz，和调用Kettle的依赖jar包。
3.根据权利要求1所述的使用SpringBoot框架调度Kettle实现司法资源信息数据抽取转换的方法，其特征在于，所述定义项目的配置包括：
定义统一的RESTful接口数据返回格式；
重写JobFactory的实现方式，使其可以放入到sping容器中进行管理；
使用hikari数据库连接池连接资源库和其他数据库，并初始化调度任务数据库和kettle的资源库；
配置quartz为数据库存储，配置其部署方式为集群部署；
配置kettle连接资源库的信息。
4.根据权利要求1所述的使用SpringBoot框架调度Kettle实现司法资源信息数据抽取转换的方法，其特征在于，所述初始化资源包括：
在工程启动的时候初始化Kettle的运行环境，并返回全局的KettleDatabaseRepository资源库对象，供后面操作；
创建2种Job的类，一种拿来实例化kettle的Trans任务，一种拿来实例化kettle的Job任务。
5.根据权利要求1所述的使用SpringBoot框架调度Kettle实现司法资源信息数据抽取转换的方法，其特征在于，所述设计数据抽取的具体过程包括：
创建调度数据抽取任务；
运行调度数据抽取任务；
暂停调度数据抽取任务；
恢复调度数据抽取任务；
删除调度数据抽取任务；
更新调度数据抽取任务；
查询调度数据抽取任务列表。
6.根据权利要求1所述的使用SpringBoot框架调度Kettle实现司法资源信息数据抽取转换的方法，其特征在于，所述触发调度任务为运行状态的调度数据抽取任务，在时间触发器的作用下，会触发任务，它根据悲观锁的方式选择一个调度节点执行调度任务，满足数据抽取的需求。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911099134.2A CN110837533A (zh) | 2019-11-11 | 2019-11-11 | 使用SpringBoot框架调度Kettle实现司法资源信息数据抽取转换的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911099134.2A CN110837533A (zh) | 2019-11-11 | 2019-11-11 | 使用SpringBoot框架调度Kettle实现司法资源信息数据抽取转换的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110837533A true CN110837533A (zh) | 2020-02-25 |
Family
ID=69574791
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911099134.2A Withdrawn CN110837533A (zh) | 2019-11-11 | 2019-11-11 | 使用SpringBoot框架调度Kettle实现司法资源信息数据抽取转换的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110837533A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111966394A (zh) * | 2020-08-28 | 2020-11-20 | 珠海格力电器股份有限公司 | 基于etl的数据分析方法、装置、设备和存储介质 |
| CN115687486A (zh) * | 2022-11-14 | 2023-02-03 | 浪潮智慧科技有限公司 | 一种基于kettle的轻量级数据采集方法及设备 |
-
2019
- 2019-11-11 CN CN201911099134.2A patent/CN110837533A/zh not_active Withdrawn
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111966394A (zh) * | 2020-08-28 | 2020-11-20 | 珠海格力电器股份有限公司 | 基于etl的数据分析方法、装置、设备和存储介质 |
| CN111966394B (zh) * | 2020-08-28 | 2024-05-31 | 珠海格力电器股份有限公司 | 基于etl的数据分析方法、装置、设备和存储介质 |
| CN115687486A (zh) * | 2022-11-14 | 2023-02-03 | 浪潮智慧科技有限公司 | 一种基于kettle的轻量级数据采集方法及设备 |
| CN115687486B (zh) * | 2022-11-14 | 2023-06-13 | 浪潮智慧科技有限公司 | 一种基于kettle的轻量级数据采集方法及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108809972B (zh) | 基于开源生态系统的物联网综合实验及应用开发平台 | |
| CN111061788B (zh) | 一种基于云架构的多源异构数据转换整合系统及其实现方法 | |
| CN101699393B (zh) | 一种面向网络的智能化软件界面动态生成方法 | |
| JPH09508742A (ja) | 従来の非オブジェクト指向業務アプリケーションをアクセスするためのオブジェクト構造を生成するための方法論 | |
| CN103283209A (zh) | 一种应用服务平台系统及其实现方法 | |
| CN101287040A (zh) | 基于发送方与接收方之间的交互历史和上下文的动作预测 | |
| US10089084B2 (en) | System and method for reusing JavaScript code available in a SOA middleware environment from a process defined by a process execution language | |
| CN102103497A (zh) | 有限状态机执行装置和方法、在应用中的建立和使用方法 | |
| CN101667147A (zh) | 一种多任务的可控自动快照方法 | |
| CN110837533A (zh) | 使用SpringBoot框架调度Kettle实现司法资源信息数据抽取转换的方法 | |
| CN113626128B (zh) | 视听媒体微服务第三方模块接入方法、系统、电子设备 | |
| CN110532058B (zh) | 容器集群服务的管理方法、装置、设备及可读存储介质 | |
| CN104536819A (zh) | 基于web服务的任务调度方法 | |
| CN101202792B (zh) | 基于发送方与接收方之间的关系处理消息的方法和装置 | |
| CN115934855A (zh) | 一种全链路字段级血缘解析方法、系统、设备及存储介质 | |
| CN112286628A (zh) | 一种统一纳管Kubernetes异构应用的系统及运行方法 | |
| US9535678B2 (en) | Providing distributed array containers for programming objects | |
| CN101286215A (zh) | 同时支持人工流和自动流的工作流引擎 | |
| CN107391274A (zh) | 离线消息的处理方法及装置 | |
| CN112182075A (zh) | 基于SpringBoot框架调度Kettle进行数据抽取转换的方法 | |
| US10268496B2 (en) | System and method for supporting object notation variables in a process defined by a process execution language for execution in a SOA middleware environment | |
| CN111142882A (zh) | 一种用于大型微服务部署的服务附加依赖管理方法 | |
| CN101968747B (zh) | 一种机群应用管理系统及其应用管理方法 | |
| CN106354612A (zh) | 云诊断资源的服务化封装方法及系统 | |
| CN115617487A (zh) | 一种容器重调度方法、装置、设备、存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20200225 |
|
| WW01 | Invention patent application withdrawn after publication |