CN104123376B - 一种基于列模板的智能文本数据采集方法和系统 - Google Patents
一种基于列模板的智能文本数据采集方法和系统 Download PDFInfo
- Publication number
- CN104123376B CN104123376B CN201410366176.9A CN201410366176A CN104123376B CN 104123376 B CN104123376 B CN 104123376B CN 201410366176 A CN201410366176 A CN 201410366176A CN 104123376 B CN104123376 B CN 104123376B
- Authority
- CN
- China
- Prior art keywords
- data
- row
- masterplate
- database
- imported
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 15
- 230000008676 import Effects 0.000 claims abstract description 24
- 238000004458 analytical method Methods 0.000 claims abstract description 8
- 238000006243 chemical reaction Methods 0.000 claims description 27
- 230000009466 transformation Effects 0.000 claims description 14
- 230000002708 enhancing effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000003012 network analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于列模板的智能文本数据采集方法和系统，包括数据文件、列模版、列模版分析引擎、数据写入模块和数据库；该列模版用于建立数据文件与数据库的列对应关系，该列模版分析引擎用于按列模版将原始数据转换为目标数据以完成列的组合，该数据写入模块将转换后的列数据导入数据库；通过列模板方式的细化控制粒度，增强数据导入程序的灵活性和通用性。
Description
技术领域
本发明属于数据库技术领域，具体涉及一种将数据文件导入数据库的方法和系统，尤其适合将各种不同格式数据导入到数据库中。
背景技术
现有技术中，将数据文件导入数据库的方法为：首先提取数据文件中的一条数据，然后进行分析，根据分析结果，建立相应数据表以及数据表和该数据文件数据行的对应关系，然后编写程序将文件导入数据库。这种方法导入数据，必须针对不同的数据文件编写不同的导入程序，其缺点主要表现如下：
（1）必须针对每个数据文件编写不同的导入程序，开发工作量大。而且一旦数据文件格式变化，必须修改相应的导入程序，维护工作量大。
（2）对于文件格式预先不知道的情况，无法胜任。只适合预定义特定格式文件导入情况。
发明内容
为解决上述技术问题，本发明的目的是提供一种基于列模板的智能文本数据采集方法和系统。
本发明采用的技术方案是：
一种基于列模板的智能文本数据采集方法，包括以下步骤：
A、分析数据文件，确定数据文件包含数据项信息；
B、根据数据文件数据项信息制定列模板；
C、转换数据，根据列模板将原始数据转换目标数据；
D、导入数据，将转换后的数据导入数据库。
其中，所述列模板包括对应数据库列名、数据类型、转换规则。
进一步的，所述转换规则包括直接导入转换、字典导入转换、关联导入转换。
所述直接导入直接转换为数据不做转换；所述字典导入转换为按字典对应关系转换; 所述关联导入转换以现有数据做一次转换。
所述关联导入转换通过预先定义的SQL语句完成。
本发明还包括基于上述方法的技术方案，一种基于列模板的智能文本数据采集系统，其特征在于：包括数据文件、列模版、列模版分析引擎、数据写入模块和数据库；该列模版用于建立数据文件与数据库的列对应关系，该列模版分析引擎用于按列模版将原始数据转换为目标数据以完成列的组合，该数据写入模块将转换后的列数据导入数据库。
所述列模版包括对应数据库列名、数据类型、转换规则。
所述转换规则包括直接导入转换、字典导入转换、关联导入转换。
所述字典导入转换为按字典对应关系转换; 所述关联导入转换以现有数据做一次转换。
所述关联导入转换通过预先定义的SQL语句完成。
本发明的有益效果：
本发明智能文本数据采集方法和系统通过列模板方式的细化控制粒度，将数据文件每一个数据项和数据库的一列建立对应关系和转换规则，转换程序也是基于列的，数据导入程序动态组合不同的列导入不同的数据行；这样，只要写一次导入程序就可以导入不同格式的数据问题，从而实现一个导入程序采集各种不同数据文件的数据。
附图说明
下面结合附图对本发明的具体实施方式做进一步的说明。
图1是本发明的系统架构图；
图2是本发明的数据采集流程图；
图3是本发明具体实施例的列模板示意图。
具体实施方式
如图1所示，为本发明的一种基于列模板的智能文本数据采集系统，包括数据文件、列模版、列模版分析引擎、数据写入模块和数据库；该列模版用于建立数据文件与数据库的列对应关系，该列模版分析引擎用于按列模版将原始数据转换为目标数据以完成列的组合，该数据写入模块将转换后的列数据导入数据库。
其中列模板和列模板分析引擎是整个系统的核心。
所述列模版包括对应数据库列名、数据类型、转换规则。所述转换规则包括直接导入转换、字典导入转换、关联导入转换。具体的，所述字典导入转换为按字典对应关系转换;所述关联导入转换以现有数据做一次转换，该关联导入转换通过预先定义的SQL语句完成。
本发明的系统通过列模板方式的细化控制粒度，增强数据导入程序的灵活性和通用性，而无需传统数据表导入时必须针对不同的数据文件编写不同的导入程序。
本发明还包括基于上述系统同一个发明构思的技术方案，一种基于列模板的智能文本数据采集方法，包括以下步骤：（见图2）
A、分析数据文件，确定数据文件包含数据项信息；
B、根据数据文件数据项信息制定列模板；
E、 转换数据，根据列模板将原始数据转换目标数据；
F、 导入数据，将转换后的数据导入数据库。
本技术方案的具体实施例如图3所示，以用户资料导入为例，用户资料主要包括用户名称，性别，年龄，身份证号，地址等五项数据。假设其中一条数据为：张三，男，24,423322198805103266，广东省中山市中山四路88号。本例中数据项之间采用逗号分隔，也可以采用其他符号风格，比如空格和分号等。
相应的，如图所示，所述列模板包括对应数据库列名、数据类型、转换规则。进一步的，所述转换规则包括直接导入转换、字典导入转换、关联导入转换。
具体的，所述直接导入直接转换为数据不做转换；
所述字典导入转换：主要按字典对应关系转换。比如：性别导入 提供的数据是男，女，未知 而数据库存储的值是 0 --男，1 --女 ，2 --未知。这样数据导入之前需要做一层转换，转换的依据就是字典（0：男，1：女 ，2：未知）；
所述关联导入转换以现有数据做一次转换，（比如：导入一个物品的类别，需要先到类别数据表找到对应类别的ID，然后将ID导入数据库），所述关联导入转换通过预先定义的SQL语句完成。
本发明智能文本数据采集方法和系统分析数据分析文件是基于列粒度的，将数据文件每一个数据项和数据库的一列建立对应关系和转换规则，转换程序也是基于列的，数据导入程序动态组合不同的列导入不同的数据行；这样，只要写一次导入程序就可以导入不同格式的数据问题，从而实现一个导入程序采集各种不同数据文件的数据。
以上所述仅为本发明的优先实施方式，本发明并不限定于上述实施方式，只要以基本相同手段实现本发明目的的技术方案都属于本发明的保护范围之内。
Claims (6)
1.一种基于列模板的智能文本数据采集方法，其特征在于包括以下步骤：
A、分析数据文件，确定数据文件包含数据项信息；
B、根据数据文件数据项信息制定列模板；
C、转换数据，根据列模板将原始数据转换目标数据；
D、导入数据，将转换后的数据导入数据库；
所述列模板包括对应数据库列名、数据类型和转换规则；
所述转换规则包括直接导入转换、字典导入转换和关联导入转换。
2.根据权利要求1所述的一种基于列模板的智能文本数据采集方法，其特征在于：所述直接导入直接转换为数据不做转换；
所述字典导入转换为按字典对应关系转换；所述关联导入转换以现有数据做一次转换。
3.根据权利要求2所述的一种基于列模板的智能文本数据采集方法，其特征在于：所述关联导入转换通过预先定义的SQL语句完成。
4.一种基于列模板的智能文本数据采集系统，其特征在于：包括数据文件、列模版、列模版分析引擎、数据写入模块和数据库；该列模版用于建立数据文件与数据库的列对应关系，该列模版分析引擎用于按列模版将原始数据转换为目标数据以完成列的组合，该数据写入模块将转换后的列数据导入数据库；
所述列模版包括对应数据库列名、数据类型和转换规则；
所述转换规则包括直接导入转换、字典导入转换和关联导入转换。
5.根据权利要求4所述的一种基于列模板的智能文本数据采集系统，其特征在于：所述字典导入转换为按字典对应关系转换；所述关联导入转换以现有数据做一次转换。
6.根据权利要求5所述的一种基于列模板的智能文本数据采集系统，其特征在于：所述关联导入转换通过预先定义的SQL语句完成。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410366176.9A CN104123376B (zh) | 2014-07-29 | 2014-07-29 | 一种基于列模板的智能文本数据采集方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410366176.9A CN104123376B (zh) | 2014-07-29 | 2014-07-29 | 一种基于列模板的智能文本数据采集方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104123376A CN104123376A (zh) | 2014-10-29 |
| CN104123376B true CN104123376B (zh) | 2018-05-01 |
Family
ID=51768787
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410366176.9A Active CN104123376B (zh) | 2014-07-29 | 2014-07-29 | 一种基于列模板的智能文本数据采集方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104123376B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104536998A (zh) * | 2014-12-15 | 2015-04-22 | 浪潮通用软件有限公司 | 一种数据导入方法及装置 |
| CN105760977A (zh) * | 2014-12-18 | 2016-07-13 | 航天信息股份有限公司 | 一种制证方法和系统 |
| CN105389295A (zh) * | 2015-09-30 | 2016-03-09 | 金邦达有限公司 | 一种卡片个人化的数据处理方法及系统 |
| CN105912735A (zh) * | 2016-06-28 | 2016-08-31 | 浪潮软件股份有限公司 | 一种文本文件的并行解析过滤方法 |
| CN107436917A (zh) * | 2017-06-16 | 2017-12-05 | 浙江百世技术有限公司 | 一种导入模板配置方法、数据批量导入方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101000615A (zh) * | 2006-12-31 | 2007-07-18 | 华为技术有限公司 | 一种基于数据库的业务处理方法及装置 |
| CN101957865A (zh) * | 2010-10-27 | 2011-01-26 | 杭州新中大软件股份有限公司 | 一种异构系统间数据交换与共享技术 |
| CN103744982A (zh) * | 2014-01-15 | 2014-04-23 | 北京神州普惠科技股份有限公司 | 一种将Excel数据导入数据库的方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2411331A (en) * | 2004-02-19 | 2005-08-24 | Trigenix Ltd | Rendering user interface using actor attributes |
-
2014
- 2014-07-29 CN CN201410366176.9A patent/CN104123376B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101000615A (zh) * | 2006-12-31 | 2007-07-18 | 华为技术有限公司 | 一种基于数据库的业务处理方法及装置 |
| CN101957865A (zh) * | 2010-10-27 | 2011-01-26 | 杭州新中大软件股份有限公司 | 一种异构系统间数据交换与共享技术 |
| CN103744982A (zh) * | 2014-01-15 | 2014-04-23 | 北京神州普惠科技股份有限公司 | 一种将Excel数据导入数据库的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104123376A (zh) | 2014-10-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104123376B (zh) | 一种基于列模板的智能文本数据采集方法和系统 | |
| CN104881488B (zh) | 基于关系表的可配置信息抽取方法 | |
| CN100445987C (zh) | 一种表格的可变数据排版的方法 | |
| CN103345484A (zh) | 基于动态域的报表处理系统及方法 | |
| CN106126522A (zh) | 一种会计报表的处理系统 | |
| CN102012935A (zh) | 通过Excel对系统之间数据治理的方法 | |
| CN102521551B (zh) | 一种实现ic卡个人化发行装置及方法 | |
| Starrs | Japanese Cultural Nationalism: At Home and in the Asia-Pacific | |
| CN104298705A (zh) | 一种关系型数据和非结构化数据的转换方法 | |
| CN101751400A (zh) | 技术数据分析的系统与方法以及专利分析的系统 | |
| CN106547765A (zh) | 基于sql的数据库管理方法及装置 | |
| CN107038224A (zh) | 数据处理方法及数据处理装置 | |
| CN103440197B (zh) | 一种基于对比测试自动生成差异测试报告的方法 | |
| CN101393526A (zh) | 一种可实现可编程的数据转换和文件转换功能的数据同步方法 | |
| CN102521713A (zh) | 数据处理装置和数据处理方法 | |
| CN105912723A (zh) | 一种自定义字段的存储方法 | |
| CN110489247A (zh) | 一种数据实时集成方法及装置 | |
| CN106407173A (zh) | 一种在线自动图文本排版系统及其排版方法 | |
| CN103744983A (zh) | 一种电子文档的元信息提取方法 | |
| CN106326306A (zh) | Pdf文件自动识别生成数字报刊技术 | |
| CN104731946A (zh) | 一种互联网信息数据挖掘方法 | |
| CN103873530A (zh) | 多渠道信息反馈的信息推荐方法 | |
| CN102609664B (zh) | 基于可执行体的进程指纹智能识别与模糊采集系统及其方法 | |
| CN103294480B (zh) | 网格行数据转化为数据列表的方法 | |
| CN107943988B (zh) | 一种数据拼接方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Intelligent text data collection method and system based on column template Effective date of registration: 20200708 Granted publication date: 20180501 Pledgee: China Everbright Bank Zhongshan branch Pledgor: GUANGDONG NENGLONG EDUCATION Co.,Ltd. Registration number: Y2020980003904 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PC01 | Cancellation of the registration of the contract for pledge of patent right |
Date of cancellation: 20210817 Granted publication date: 20180501 Pledgee: China Everbright Bank Zhongshan branch Pledgor: GUANGDONG NENGLONG EDUCATION Co.,Ltd. Registration number: Y2020980003904 |
|
| PC01 | Cancellation of the registration of the contract for pledge of patent right |