CN103793519A - 一种支持海量数据导出的自动化工具 - Google Patents
一种支持海量数据导出的自动化工具 Download PDFInfo
- Publication number
- CN103793519A CN103793519A CN201410051176.XA CN201410051176A CN103793519A CN 103793519 A CN103793519 A CN 103793519A CN 201410051176 A CN201410051176 A CN 201410051176A CN 103793519 A CN103793519 A CN 103793519A
- Authority
- CN
- China
- Prior art keywords
- data
- xml
- configuration
- object model
- exportation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims abstract description 15
- 238000009795 derivation Methods 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 8
- 238000013519 translation Methods 0.000 claims description 5
- 238000012986 modification Methods 0.000 claims description 2
- 230000004048 modification Effects 0.000 claims description 2
- 238000012423 maintenance Methods 0.000 abstract description 5
- 238000012544 monitoring process Methods 0.000 abstract 1
- 230000008447 perception Effects 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 235000013372 meat Nutrition 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种支持海量数据导出的自动化工具，通过它用户可方便的对个专业资源进行导出然后去现场核查。流程作为保证数据更新的手段，而导出工具则作为监督录入情况的有效手段。通过xml配置多线程导出xml数据，能让维护人员仅仅配置xml文件就可方便的对外提供数据，引入多线程则保证更有效的利用服务器资源，最快的导出数据。而对各个模型单独导出则满足了日常用户对数据的提取需求。海量数据导出工具给综合资源后台提供了一揽子解决方案。通过他可以让后台代码标准版化，维护工作流水化，降低了后台人员的工作量，减少维护人员数量，产生良好的客户感知。
Description
技术领域
本发明涉及一种计算机应用技术领域, 具体地说是一种支持海量数据导出的自动化工具。
背景技术
在移动通信中，综合资源管理系统作为网管系统的基础数据来源，需要对各种系统做各种数据接口。并且为了保证数据的准确性，需要对入网和存量的数据进行流程管控。
但是，随着管理的专业越来越多，数据越来越大，传统的对外数据提供和导出方式已经不适合目前的数据规模。
传统的数据导出，效率比较低下，配置繁琐，没有引入多进程和自动化，人工配置和人肉操作过多，并且对新需求和维护需要投入大量的工作。
在维护上，传统的代码都是面向过程的，代码可读性，可维护性，可复用性低下。现在通过对各种操作进行封装，使得代码清晰、简洁，可复用性、可读性、可维护性大幅提升。原来需要3个人做的维护，现在一个人就可以完成。
发明内容
本发明的目的是提供一种支持海量数据导出的自动化工具。
本发明的目的是按以下方式实现的，通过perl,sh实现，使用perl面向对象编程对各种操作封装，通过读配置文件或者读系统对象模型属性表来获取相关表的字段和翻译信息。引入多线程和sql查询语句分页快速导出数据并进行翻译。并且生成各种特定的excel格式。
本发明所要解决的问题是提供一种方法能最快的导出相关联的数据，并生成指定格式。因代码是通过面向对象编写，对常用操作都进行了封装，使得后续开发速度大幅提升，并且维护简单。
本发明技术方案如下：
1.1维护一个关联关系配置文件或配置导出模型相关的xml配置文件，包含相关数据的中英文字段；
1.2每个配置文件一个结构体里描叙了对象模型自身和上下级的关系
1.3根据传入的参数初始化系统导出方式包括：A站点关联导出;B对象模型分页导出；C导出xm配置数据；
A顺序读取xml关系配置文件，对每个ConfigClass数据经过处理生成相应的导出sql语句和属性字段，根据配置判断是否插入下级关联关系；B导出系统默认查询或者修改模版,生成导出sql语句；C顺序读取xml对象模型配置文件，对每个ConfigClass数据经过处理生成相应的导出sql语句和属性字段；
1.4执行生成的sql分页语句；
1.5将导出的数据根据属性信息进行翻译生成相应的文件。
步骤1.4中的sql分页语句和函数翻译是动态生成的。
步骤1.4A中的关联关系配置是可扩展的，每个对象模型可以有多个上级，也可以存在多个下级；
步骤1.4B中的默认查询或者模版是实时从数据库读获取，任何情况下导出都是最新模版数据；
步骤1.4C中的xml导出配置是可多线程分页导出，能在短的时间内导出各个专业数据，特别是数据量特别大的表，效果显著，可灵活定义线程数和页面大小。
在本发明中，定义一个对象模型名称，具有唯一性特征，说明数据的来源。
本发明的目的有益效果是：采用本发明所述方法，与现有技术相比，可以实现快速导出相关接口数据，并且快速导出关联数据或者单个数据。由于本发明采用了根据配置文件，多线程分页导出资源数据，分页依靠的是sql查询分页，翻译用的是系统配置生成的动态函数，也可人工编写函数翻译。与传统方式相比维护和执行效率上有大幅提升。但是对于大数据量的导出和翻译上面应该还有提升的空间。因为是多线程导出对系统的内存和数据库连接的使用较大。一般情况下开5-10个进程，每10万数据一个文件。
附图说明
图1是海量数据导出导出的各个模块的处理执行流程和处理过程图；
图2是当模型增加修改和需求调整需要做的调整流程图；
图3是站点导出配置表屏幕截图；
图4是带链接excel统计表屏幕截图；
图5是sql语句和中英字段屏幕截图；
图6是导出结果屏幕截图；
图7是多线程导出成标准的xml屏幕截图。
具体实施方式
分别对站点导出，xml配置导出，对象模型导出做相关配置介绍。
A:站点导出配置情况如图3所示；
对于站点导出的配置文件有如下相关属性
#对象模型名称|分页字段|关连字段|关联字段ID|是否有下级资源|作为下级资源编号|关联字段类型|导出excel表头
其中对象模型必须唯一
分页字段 用于排序分页
关联字段 和关联关系表关联的字段
关联字段ID 关联检索的编号
是否有下级资源 是否有其他的模型相关联
作为下级资源编号 做为下级资源关联检索的编号
关联字段类型 区分关联字段是数字还是名称
导出excel表头 对数据文件排序的文件名前缀
模型之间通过关联关系表动态导出，插入关联数据，可方便灵活的进行数据关联导出，极大的提高了检索速度。
（如表4所示）生成带链接excel统计表格，让人一目了然的看出某个机房里的数据情况，点击数据就可以看到详情，方便，快捷。
B:xml配置导出
只需要维护导出配置的sql语句和中英字段，如图5所示，即可方便的对入网的数据进行一键导出，导出结果如图5所示：
这样的方式效率快，一般情况下2分钟左右导出29中资源的相应数据，可方便的对入网流程数据录入情况进行核查。
也可以多线程导出成标准的xml。如图7所示；
C:对象模型分页导出
只需要知道对象模型名称和相应的导出条件就可以方便的对资源数据进行模版导出，并且可选定字段分页。如果不选定字段系统默认每3万一页（可配置）。导出数据效果如图6所示。
在下面的图1中介绍了海量数据导出导出工具各个模块的处理执行流程和处理过程；
图2中说明当模型增加修改和需求调整需要做的调整。
除说明书所描述的技术特征外，均为本领域技术人员的公知技术。
Claims (4)
1.一种支持海量数据导出的自动化工具, 其特征在于具体步骤如下：
1）维护一个关联关系配置文件或配置导出模型相关的xml配置文件，xml配置文件包含相关数据的中英文字段以及翻译；
2）每个配置文件在一个结构体里描叙对象模型自身和上下级的关系；
3）根据传入的参数初始化系统描叙对象模型自身和上下级关系的方式包括：A站点关联导出;B对象模型分页导出；C导出xm配置数据，其中：
A.顺序读取xml关系配置文件，对每个ConfigClass数据经过处理生成相应的导出sql语句和属性字段，根据配置判断是否插入下级关联关系；
B.导出系统默认查询或者修改模版,动态生成导出sql语句；
C.顺序读取xml对象模型配置文件，对每个ConfigClass数据经过处理生成相应的导出sql语句和属性字段；
4）执行生成的sql语句；
5）定义一个对象模型名称，表明数据来源，将导出的数据根据属性信息进行翻译生成相应的文件。
2.根据权利要求1所述的海量数据导出方法，其特征在于，关联关系配置是可扩展的，每个对象模型有多个上级或存在多个下级。
3.根据权利要求1所述的海量数据导出方法，其特征在于，默认查询或者模版是实时从数据库读取的，任何情况下导出都是最新的模版数据。
4.根据权利要求1所述的海量数据导出方法，其特征在于， xml导出配置是可多线程分页导出，能在短的时间内导出各个专业数据，特别是数据量特别大的表，可灵活定义线程数和页面大小。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410051176.XA CN103793519B (zh) | 2014-02-14 | 2014-02-14 | 一种支持海量数据导出的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410051176.XA CN103793519B (zh) | 2014-02-14 | 2014-02-14 | 一种支持海量数据导出的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103793519A true CN103793519A (zh) | 2014-05-14 |
| CN103793519B CN103793519B (zh) | 2018-04-06 |
Family
ID=50669185
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410051176.XA Active CN103793519B (zh) | 2014-02-14 | 2014-02-14 | 一种支持海量数据导出的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103793519B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104881469A (zh) * | 2015-05-27 | 2015-09-02 | 北京京东尚科信息技术有限公司 | 一种数据导出方法和装置 |
| CN106407231A (zh) * | 2015-08-03 | 2017-02-15 | 天脉聚源（北京）科技有限公司 | 一种数据多线程导出方法及系统 |
| CN107798111A (zh) * | 2017-11-01 | 2018-03-13 | 四川长虹电器股份有限公司 | 一种分布式环境中大批量导出数据的方法 |
| CN109213813A (zh) * | 2018-09-14 | 2019-01-15 | 汉能移动能源控股集团有限公司 | 一种数据导出的方法和装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100100870A1 (en) * | 2008-10-21 | 2010-04-22 | Oracle International Corporation | Configuration deployment management |
| CN103092993A (zh) * | 2013-02-18 | 2013-05-08 | 五八同城信息技术有限公司 | 数据导出方法及装置 |
| CN103500196A (zh) * | 2013-09-22 | 2014-01-08 | 成都交大光芒科技股份有限公司 | 多并发大数据量环境下excel数据导出方法及其导出装置 |
-
2014
- 2014-02-14 CN CN201410051176.XA patent/CN103793519B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100100870A1 (en) * | 2008-10-21 | 2010-04-22 | Oracle International Corporation | Configuration deployment management |
| CN103092993A (zh) * | 2013-02-18 | 2013-05-08 | 五八同城信息技术有限公司 | 数据导出方法及装置 |
| CN103500196A (zh) * | 2013-09-22 | 2014-01-08 | 成都交大光芒科技股份有限公司 | 多并发大数据量环境下excel数据导出方法及其导出装置 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104881469A (zh) * | 2015-05-27 | 2015-09-02 | 北京京东尚科信息技术有限公司 | 一种数据导出方法和装置 |
| CN104881469B (zh) * | 2015-05-27 | 2018-12-18 | 北京京东尚科信息技术有限公司 | 一种数据导出方法和装置 |
| CN106407231A (zh) * | 2015-08-03 | 2017-02-15 | 天脉聚源（北京）科技有限公司 | 一种数据多线程导出方法及系统 |
| CN107798111A (zh) * | 2017-11-01 | 2018-03-13 | 四川长虹电器股份有限公司 | 一种分布式环境中大批量导出数据的方法 |
| CN107798111B (zh) * | 2017-11-01 | 2021-04-06 | 四川长虹电器股份有限公司 | 一种分布式环境中大批量导出数据的方法 |
| CN109213813A (zh) * | 2018-09-14 | 2019-01-15 | 汉能移动能源控股集团有限公司 | 一种数据导出的方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103793519B (zh) | 2018-04-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104133772B (zh) | 一种自动生成测试数据的方法 | |
| CN103559217B (zh) | 一种面向异构数据库的海量组播数据入库实现方法 | |
| CN103838672A (zh) | 一种通用报表的自动化测试方法及装置 | |
| CN111078702B (zh) | 一种sql语句分类管理及统一查询方法和装置 | |
| US10324710B2 (en) | Indicating a trait of a continuous delivery pipeline | |
| CN106293891B (zh) | 多维投资指标监督方法 | |
| CN109508355A (zh) | 一种数据抽取方法、系统及终端设备 | |
| CN107957713B (zh) | 用于生成多工作表导出的系统和方法 | |
| CN104268428A (zh) | 一种用于指标计算的可视化配置方法 | |
| CN108536745A (zh) | 基于Shell的数据表提取方法、终端、设备及存储介质 | |
| CN103793519A (zh) | 一种支持海量数据导出的自动化工具 | |
| CN108228664B (zh) | 非结构化数据处理方法及装置 | |
| CN106294128B (zh) | 一种导出报表数据的自动化测试方法及装置 | |
| CN112163017A (zh) | 一种知识挖掘系统及方法 | |
| CN104933077B (zh) | 基于规则的多文件信息分析方法 | |
| CN105653777A (zh) | 一种地下电力管线普查智能成图系统 | |
| CN103440302B (zh) | 实时数据交换的方法和系统 | |
| CN111401023B (zh) | 一种报表生成方法、装置、服务器及存储介质 | |
| CN109068286B (zh) | 一种信息解析的方法、介质及设备 | |
| CN108108444B (zh) | 一种企业业务单元自适应系统及其实现方法 | |
| CN107277095A (zh) | 会话分割方法及装置 | |
| CN115543428A (zh) | 一种基于策略模板的模拟数据生成方法和装置 | |
| CN109446201A (zh) | 一种Excel表格批注信息的整理方法、装置及设备 | |
| CN107894940A (zh) | 一种日志分析装置及方法 | |
| CN104216986A (zh) | 以数据更新周期进行预操作提高数据查询效率的装置及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 250100 Ji'nan high tech Zone, Shandong, No. 1036 wave road Applicant after: Beijing MetarNet Technology Co.,Ltd. Address before: 250101 Shandong Province, Ji'nan City hi tech Development Zone, Nga Road No. 1036 Applicant before: INSPUR COMMUNICATION AND INFORMATION SYSTEM Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: 250100 S06 tower, 1036, Chao Lu Road, hi tech Zone, Ji'nan, Shandong. Patentee after: INSPUR COMMUNICATION AND INFORMATION SYSTEM Co.,Ltd. Address before: No. 1036, Shandong high tech Zone wave road, Ji'nan, Shandong Patentee before: Beijing MetarNet Technology Co.,Ltd. |
|
| CP03 | Change of name, title or address | ||
| CB03 | Change of inventor or designer information |
Inventor after: Li Hai Inventor after: Qiu Jianbo Inventor before: Qiu Jianbo |
|
| CB03 | Change of inventor or designer information |