CN111858632A - 一种基于NiFi的关系型数据库增量数据的入库方法 - Google Patents
一种基于NiFi的关系型数据库增量数据的入库方法 Download PDFInfo
- Publication number
- CN111858632A CN111858632A CN202010715426.0A CN202010715426A CN111858632A CN 111858632 A CN111858632 A CN 111858632A CN 202010715426 A CN202010715426 A CN 202010715426A CN 111858632 A CN111858632 A CN 111858632A
- Authority
- CN
- China
- Prior art keywords
- incremental data
- relational database
- processing component
- data
- update
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000012545 processing Methods 0.000 claims abstract description 81
- 238000003780 insertion Methods 0.000 claims description 5
- 230000037431 insertion Effects 0.000 claims description 5
- 238000012217 deletion Methods 0.000 claims description 4
- 230000037430 deletion Effects 0.000 claims description 4
- 230000009977 dual effect Effects 0.000 claims description 2
- 238000013500 data storage Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2379—Updates performed during online database operations; commit processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
本发明公开一种基于NiFi的关系型数据库增量数据的入库方法，涉及数据处理技术领域，该入库方法基于增设在关系型数据库的处理组件，该处理组件用于判断新增、更新或者删除的增量数据，同时，该处理组件还用于支持新增、更新或者删除的增量数据入库，并支持设置忽略更新字段；在从源关系型数据库获取增量数据时，通过处理组件去目标关系型数据库中查询该增量数据是否存在，并根据查询结果，在目标关系型数据库中进行更新、插入或删除操作，完成增量数据的入库。本方法可以实现一个关系型数据库中增量数据到另一个关系型数据库的同步，具有灵活多样、可根据实际情况进行自由扩展的特点。
Description
技术领域
本发明涉及数据处理技术领域，具体的说是一种基于NiFi的关系型数据库增量数据的入库方法。
背景技术
现在的社会是一个高速发展的社会，科技发达，信息流通，人们之间的交流越来越密切，生活也越来越方便，大数据就是这个高科技时代的产物。大数据是如此重要，以至于其数据采集、储存、搜索、共享、分析，乃至可视化地呈现，都成为了当前重要的研究课题。而数据采集和入库是一切大数据应用分析的开始和前提。
关系型数据库目前在各行各业中仍然占据很大的市场份额，例如Oracle等成熟的商业数据库，由于其强大的性能和可靠性在政府、金融、电信等行业中占有率极高，MySQL等开源数据库由于其开源、免费、易用等特性，在互联网企业中被广泛应用。进行数据应用分析时需要在这些关系型数据库之间进行数据的流转汇聚。在进行数据的增量同步时，源库表的数据中往往会同时存在新增、更新或者删除的场景，同时针对数据更新的场景，一般目标库表的某些字段是不允许再次被覆盖更新的，例如status等字段。
发明内容
本发明针对目前技术发展的需求和不足之处，提供一种基于NiFi的关系型数据库增量数据的入库方法。
本发明的一种基于NiFi的关系型数据库增量数据的入库方法，解决上述技术问题采用的技术方案如下：
一种基于NiFi的关系型数据库增量数据的入库方法，该入库方法基于增设在关系型数据库的处理组件，该处理组件用于判断新增、更新或者删除的增量数据，同时，该处理组件还用于支持新增、更新或者删除的增量数据入库，并支持设置忽略更新字段；在从源关系型数据库获取增量数据时，通过处理组件去目标关系型数据库中查询该增量数据是否存在，并根据查询结果，在目标关系型数据库中进行更新、插入或删除操作，完成增量数据的入库。
进一步的，该入库方法的具体实现内容包括：
步骤1、基于NiFi，在关系型数据库中增设一个处理组件，该处理组件用于判断新增、更新或者删除的增量数据，同时，该处理组件还用于支持新增、更新或者删除的增量数据入库，并支持设置忽略更新字段；
步骤2、从源关系型数据库中获取增量数据；
步骤3、将获取的增量数据传送至目标关系型数据库，根据源关系型数据库的处理组件设置的删除标识，目标关系型数据库的处理组件对该数据库的对应数据进行同步删除；
步骤4、随后，目标关系型数据库的处理组件通过比对查询该数据库是否包含从源关系型数据库获取的增量数据，
若存在，则处理组件进行更新操作，此时，还可以根据设置的忽略更新字段进行忽略，
若不存在，则处理组件进行插入操作；
步骤5、完成源关系型数据库中增量数据到目标关系型数据库的入库。
更进一步的，步骤2中，增量数据的来源可以是MySQL、Oracle、SqlServer、postgreSQL任一关系型数据库，也可以是关系型数据库包含的不同格式的文件。
优选的，通过时间戳字段从源关系型数据库MySQL的库表中获取增量数据，或者，通过读取源关系型数据库MySQL的binlog日志获取增量数据。
更进一步的，在执行步骤3之前，首先查看获取增量数据的格式，
若增量数据为avro格式，则直接执行步骤3，
若增量数据不是avro格式，则基于NiFi默认的数据格式为avro，应当将获取增量数据的格式转换为avro格式，随后执行步骤3。
具体的，当源关系型数据库为MySQL时，
a)通过sql查询获取到的增量数据为avro格式，获取的增量数据没有操作标识，此时，通过处理组件手动设置比对字段，然后执行步骤3，将获取的增量数据传送至目标关系型数据库，
b)通过binlog日志获取到的增量数据为json格式，获取的增量数据带有操作标识table.operation，此时，需要对json相应的路径进行处理以得到入库时所期望的字段值key:value映射方式，同时将binlog日志中的操作类型添加到table.operation属性中，随后执行步骤3。
基于a)，更进一步的，当获取的增量数据没有操作标识时，如果获取增量数据的源关系型数据库或者增量数据入库的目标关系型数据库是MySQL/MariaDB数据库和PostgreSQL9.5及以上版本数据库，则分别根据ON DUPLICATE KEY UPDATE和ON CONFLICTDO UPDATE SET省略手动比对步骤，处理组件通过主键判断直接进行插入更新操作。
基于b)，更进一步的，所涉及table.operation的属性包括INSERT、UPDATE、DELETE，
当获取增量数据的table.operation为UPDATE时，处理组件进行插入操作，
当获取增量数据的table.operation为INSERT时，处理组件进行更新操作，
当获取增量数据的table.operation为DELETE时，处理组件进行删除操作，
其中，处理组件通过设置对比键为对比条件，进行更新和删除操作，且进行更新操作时可根据设置的“Not Update Column”忽略更新对应的字段。
更进一步的，通过binlog日志获取的增量数据进行入库之前，应当判断table.operation的属性，若没有此属性，则通过处理组件设置的更新删除的比对字段来判断目标关系型数据库是否存在此条数据，然后进行执行步骤3。
本发明的一种基于NiFi的关系型数据库增量数据的入库方法，与现有技术相比具有的有益效果是：
本发明通过在关系型数据库中增设处理组件，并基于处理组件可以用于判断新增、更新或者删除的增量数据，还用于支持新增、更新或者删除的增量数据入库，并支持设置忽略更新字段，来实现一个关系型数据库中增量数据到另一个关系型数据库的同步，具有灵活多样、可根据实际情况进行自由扩展的特点。
附图说明
附图1是本发明关系型数据库中所增设处理组件的显示界面；
附图2是本发明所获取增量数据的操作标识table.operation及操作标识table.operation的具体属性。
具体实施方式
为使本发明的技术方案、解决的技术问题和技术效果更加清楚明白，以下结合具体实施例，对本发明的技术方案进行清楚、完整的描述。
实施例一：
本实施例提出一种基于NiFi的关系型数据库增量数据的入库方法，该入库方法基于增设在关系型数据库的处理组件，该处理组件用于判断新增、更新或者删除的增量数据，同时，该处理组件还用于支持新增、更新或者删除的增量数据入库，并支持设置忽略更新字段；在从源关系型数据库获取增量数据时，通过处理组件去目标关系型数据库中查询该增量数据是否存在，并根据查询结果，在目标关系型数据库中进行更新、插入或删除操作，完成增量数据的入库。
参考附图1，其为处理组件的显示界面，其中“Update or Delete Key”为更新或删除比对字段，为空时默认取目标表主键，“Not Update Column”为更新数据入库时需要忽略更新的字段，“Case Convert”为表名和字段名大小写转换设置，“Record Reader”为数据读取服务，可读取avro、json、xml、csv等格式的数据内容。
本实施例以MySQL作为源关系型数据库，以Oracle作为目标关系型数据库，将MySQL中增量数据同步至Oracle的具体实现流程包括：
步骤1、基于NiFi，在MySQL和Oracle中分别增设一个处理组件，该处理组件用于判断新增、更新或者删除的增量数据，同时，该处理组件还用于支持新增、更新或者删除的增量数据入库，并支持设置忽略更新字段；
步骤2、通过时间戳字段从MySQL中获取增量数据，增量数据为avro格式，获取的增量数据没有操作标识，需要通过处理组件手动设置比对字段，
步骤3、查看获取增量数据的格式，发现增量数据为avro格式，执行步骤4；
步骤4、将avro格式的增量数据传送至目标关系型数据库，根据源关系型数据库的处理组件设置的删除标识，目标关系型数据库的处理组件对该数据库的对应数据进行同步删除；
步骤5、随后，目标关系型数据库的处理组件通过比对查询该数据库是否包含从源关系型数据库获取的增量数据，
若存在，则处理组件进行更新操作，此时，还可以根据设置的忽略更新字段进行忽略，
若不存在，则处理组件进行插入操作；
步骤6、完成源关系型数据库中增量数据到目标关系型数据库的入库。
本实施例中，需要补充的是，如果获取增量数据的源关系型数据库或者增量数据入库的目标关系型数据库是MySQL/MariaDB数据库和PostgreSQL9.5及以上版本数据库，则分别根据ON DUPLICATE KEY UPDATE和ON CONFLICT DO UPDATE SET省略手动比对步骤，处理组件通过主键判断直接进行插入更新操作。
实施例二：
本实施例提出一种基于NiFi的关系型数据库增量数据的入库方法，该入库方法基于增设在关系型数据库的处理组件，该处理组件用于判断新增、更新或者删除的增量数据，同时，该处理组件还用于支持新增、更新或者删除的增量数据入库，并支持设置忽略更新字段；在从源关系型数据库获取增量数据时，通过处理组件去目标关系型数据库中查询该增量数据是否存在，并根据查询结果，在目标关系型数据库中进行更新、插入或删除操作，完成增量数据的入库。
参考附图1，其为处理组件的显示界面，其中“Update or Delete Key”为更新或删除比对字段，为空时默认取目标表主键，“Not Update Column”为更新数据入库时需要忽略更新的字段，“Case Convert”为表名和字段名大小写转换设置，“Record Reader”为数据读取服务，可读取avro、json、xml、csv等格式的数据内容。
本实施例以MySQL作为源关系型数据库，以Oracle作为目标关系型数据库，将MySQL中增量数据同步至Oracle的具体实现流程包括：
步骤1、基于NiFi，在MySQL和Oracle中分别增设一个处理组件，该处理组件用于判断新增、更新或者删除的增量数据，同时，该处理组件还用于支持新增、更新或者删除的增量数据入库，并支持设置忽略更新字段；
步骤2、通过读取MySQL的binlog日志获取增量数据，增量数据为json格式，获取的增量数据带有操作标识table.operation，此时，需要对json相应的路径进行处理以得到入库时所期望的字段值key:value映射方式，同时将binlog日志中的操作类型添加到table.operation属性中，随后执行步骤3；
步骤3、查看获取增量数据的格式，发现增量数据为json格式，基于NiFi默认的数据格式为avro，将json格式的增量数据转换为avro格式；
步骤4、基于通过binlog日志获取的增量数据，判断table.operation的属性，若没有此属性，则通过处理组件设置的更新删除的比对字段来判断目标关系型数据库是否存在此条数据，然后进行执行步骤5；
步骤5、将avro格式的增量数据传送至目标关系型数据库，根据源关系型数据库的处理组件设置的删除标识，目标关系型数据库的处理组件对该数据库的对应数据进行同步删除；
步骤6、随后，目标关系型数据库的处理组件通过比对查询该数据库是否包含从源关系型数据库获取的增量数据，
若存在，则处理组件进行更新操作，此时，还可以根据设置的忽略更新字段进行忽略，
若不存在，则处理组件进行插入操作；
步骤7、完成源关系型数据库中增量数据到目标关系型数据库的入库。
本实施例中，针对步骤2、步骤4，table.operation的属性包括INSERT、UPDATE、DELETE，
当获取增量数据的table.operation为UPDATE时，处理组件进行插入操作，
当获取增量数据的table.operation为INSERT时，处理组件进行更新操作，
当获取增量数据的table.operation为DELETE时，参考附图2，处理组件进行删除操作，
其中，处理组件通过设置对比键为对比条件，进行更新和删除操作，且进行更新操作时可根据设置的“Not Update Column”忽略更新对应的字段。
上述两个实施例中所述的“源关系型数据库”和“目标关系型数据库”是为了体现增量数据的获取来源和最终入库，其实，“源关系型数据库”和“目标关系型数据库”都指的是关系型数据库。
针对上述两个实施例，需要说明的是：增量数据的来源不限于MySQL，还可以是Oracle、SqlServer、postgreSQL任一关系型数据库，或者Oracle、SqlServer、postgreSQL任一关系型数据库的不同格式的日志文件。
综上可知，采用本发明的一种基于NiFi的关系型数据库增量数据的入库方法，可以实现一个关系型数据库中增量数据到另一个关系型数据库的同步，具有灵活多样、可根据实际情况进行自由扩展的特点。
基于本发明的上述具体实施例，本技术领域的技术人员在不脱离本发明原理的前提下，对本发明所作出的任何改进和修饰，皆应落入本发明的专利保护范围。
Claims (9)
1.一种基于NiFi的关系型数据库增量数据的入库方法，其特征在于,该入库方法基于增设在关系型数据库的处理组件，该处理组件用于判断新增、更新或者删除的增量数据，同时，该处理组件还用于支持新增、更新或者删除的增量数据入库，并支持设置忽略更新字段；在从源关系型数据库获取增量数据时，通过处理组件去目标关系型数据库中查询该增量数据是否存在，并根据查询结果，在目标关系型数据库中进行更新、插入或删除操作，完成增量数据的入库。
2.根据权利要求1所述的一种基于NiFi的关系型数据库增量数据的入库方法，其特征在于，该入库方法的具体实现内容包括：
步骤1、基于NiFi，在关系型数据库中增设一个处理组件，该处理组件用于判断新增、更新或者删除的增量数据，同时，该处理组件还用于支持新增、更新或者删除的增量数据入库，并支持设置忽略更新字段；
步骤2、从源关系型数据库中获取增量数据；
步骤3、将获取的增量数据传送至目标关系型数据库，根据源关系型数据库的处理组件设置的删除标识，目标关系型数据库的处理组件对该数据库的对应数据进行同步删除；
步骤4、随后，目标关系型数据库的处理组件通过比对查询该数据库是否包含从源关系型数据库获取的增量数据，
若存在，则处理组件进行更新操作，此时，还可以根据设置的忽略更新字段进行忽略，
若不存在，则处理组件进行插入操作；
步骤5、完成源关系型数据库中增量数据到目标关系型数据库的入库。
3.根据权利要求2所述的一种基于NiFi的关系型数据库增量数据的入库方法，其特征在于，步骤2中，增量数据的来源可以是MySQL、Oracle、SqlServer、postgreSQL任一关系型数据库，也可以是关系型数据库包含的不同格式的文件。
4.根据权利要求3所述的一种基于NiFi的关系型数据库增量数据的入库方法，其特征在于，通过时间戳字段从源关系型数据库MySQL的库表中获取增量数据，或者，通过读取源关系型数据库MySQL的binlog日志获取增量数据。
5.根据权利要求3所述的一种基于NiFi的关系型数据库增量数据的入库方法，其特征在于，在执行步骤3之前，首先查看获取增量数据的格式，
若增量数据为avro格式，则直接执行步骤3，
若增量数据不是avro格式，则基于NiFi默认的数据格式为avro，应当将获取增量数据的格式转换为avro格式，随后执行步骤3。
6.根据权利要求5所述的一种基于NiFi的关系型数据库增量数据的入库方法，其特征在于，当源关系型数据库为MySQL时，
a)通过sql查询获取到的增量数据为avro格式，获取的增量数据没有操作标识，此时，通过处理组件手动设置比对字段，然后执行步骤3，将获取的增量数据传送至目标关系型数据库，
b)通过binlog日志获取到的增量数据为json格式，获取的增量数据带有操作标识table.operation，此时，需要对json相应的路径进行处理以得到入库时所期望的字段值key:value映射方式，同时将binlog日志中的操作类型添加到table.operation属性中，随后执行步骤3。
7.根据权利要求6所述的一种基于NiFi的关系型数据库增量数据的入库方法，其特征在于，当获取的增量数据没有操作标识时，如果获取增量数据的源关系型数据库或者增量数据入库的目标关系型数据库是MySQL/MariaDB数据库和PostgreSQL9.5及以上版本数据库，则分别根据ON DUPLICATE KEY UPDATE和ON CONFLICT DO UPDATE SET省略手动比对步骤，处理组件通过主键判断直接进行插入更新操作。
8.根据权利要求6所述的一种基于NiFi的关系型数据库增量数据的入库方法，其特征在于，所述table.operation的属性包括INSERT、UPDATE、DELETE，
当获取增量数据的table.operation为UPDATE时，处理组件进行插入操作，
当获取增量数据的table.operation为INSERT时，处理组件进行更新操作，
当获取增量数据的table.operation为DELETE时，处理组件进行删除操作，
其中，处理组件通过设置对比键为对比条件，进行更新和删除操作，且进行更新操作时可根据设置的“Not Update Column”忽略更新对应的字段。
9.根据权利要求8所述的一种基于NiFi的关系型数据库增量数据的入库方法，其特征在于，通过binlog日志获取的增量数据进行入库之前，应当判断table.operation的属性，若没有此属性，则通过处理组件设置的更新删除的比对字段来判断目标关系型数据库是否存在此条数据，然后进行执行步骤3。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010715426.0A CN111858632B (zh) | 2020-07-22 | 2020-07-22 | 一种基于NiFi的关系型数据库增量数据的入库方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010715426.0A CN111858632B (zh) | 2020-07-22 | 2020-07-22 | 一种基于NiFi的关系型数据库增量数据的入库方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111858632A true CN111858632A (zh) | 2020-10-30 |
| CN111858632B CN111858632B (zh) | 2024-02-20 |
Family
ID=72949726
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010715426.0A Active CN111858632B (zh) | 2020-07-22 | 2020-07-22 | 一种基于NiFi的关系型数据库增量数据的入库方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111858632B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112632123A (zh) * | 2020-12-18 | 2021-04-09 | 甘肃恒石公路检测科技有限公司 | 一种基于nifi技术实现公路技术状况评定系统数据智能化入库的方法 |
| CN112685426A (zh) * | 2021-01-21 | 2021-04-20 | 浪潮云信息技术股份公司 | 一种基于NiFi的Kafka消费NewSQL CDC流数据转换方法 |
| CN112800073A (zh) * | 2021-01-27 | 2021-05-14 | 浪潮云信息技术股份公司 | 一种基于NiFi更新Delta Lake的方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108052681A (zh) * | 2018-01-12 | 2018-05-18 | 毛彬 | 一种关系型数据库间结构化数据的同步方法及系统 |
| US20190370263A1 (en) * | 2018-06-04 | 2019-12-05 | Cisco Technology, Inc. | Crowdsourcing data into a data lake |
| CN110879813A (zh) * | 2019-11-20 | 2020-03-13 | 浪潮软件股份有限公司 | 一种基于二进制日志解析的MySQL数据库增量同步实现方法 |
| CN111125214A (zh) * | 2019-12-02 | 2020-05-08 | 武汉虹信技术服务有限责任公司 | 一种轻量级增量数据同步方法、装置及计算机可读介质 |
| CN111209344A (zh) * | 2020-02-07 | 2020-05-29 | 浪潮软件股份有限公司 | 数据同步方法及装置 |
-
2020
- 2020-07-22 CN CN202010715426.0A patent/CN111858632B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108052681A (zh) * | 2018-01-12 | 2018-05-18 | 毛彬 | 一种关系型数据库间结构化数据的同步方法及系统 |
| US20190370263A1 (en) * | 2018-06-04 | 2019-12-05 | Cisco Technology, Inc. | Crowdsourcing data into a data lake |
| CN110879813A (zh) * | 2019-11-20 | 2020-03-13 | 浪潮软件股份有限公司 | 一种基于二进制日志解析的MySQL数据库增量同步实现方法 |
| CN111125214A (zh) * | 2019-12-02 | 2020-05-08 | 武汉虹信技术服务有限责任公司 | 一种轻量级增量数据同步方法、装置及计算机可读介质 |
| CN111209344A (zh) * | 2020-02-07 | 2020-05-29 | 浪潮软件股份有限公司 | 数据同步方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 龚健雅: "空间数据库管理系统的概念与发展趋势", 测绘科学, no. 03 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112632123A (zh) * | 2020-12-18 | 2021-04-09 | 甘肃恒石公路检测科技有限公司 | 一种基于nifi技术实现公路技术状况评定系统数据智能化入库的方法 |
| CN112685426A (zh) * | 2021-01-21 | 2021-04-20 | 浪潮云信息技术股份公司 | 一种基于NiFi的Kafka消费NewSQL CDC流数据转换方法 |
| CN112800073A (zh) * | 2021-01-27 | 2021-05-14 | 浪潮云信息技术股份公司 | 一种基于NiFi更新Delta Lake的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111858632B (zh) | 2024-02-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107273506B (zh) | 一种数据库多表联合查询的方法 | |
| CN111858632A (zh) | 一种基于NiFi的关系型数据库增量数据的入库方法 | |
| US7051033B2 (en) | Providing a consistent hierarchical abstraction of relational data | |
| US9436779B2 (en) | Techniques of efficient XML query using combination of XML table index and path/value index | |
| US7533136B2 (en) | Efficient implementation of multiple work areas in a file system like repository that supports file versioning | |
| US7472140B2 (en) | Label-aware index for efficient queries in a versioning system | |
| US7953755B2 (en) | Semantic relational database | |
| US8015165B2 (en) | Efficient path-based operations while searching across versions in a repository | |
| EP2843567B1 (en) | Computer-implemented method for improving query execution in relational databases normalized at level 4 and above | |
| CN103345521B (zh) | 一种在哈希表数据库中处理键值的方法和装置 | |
| US11275759B2 (en) | Data storage method and apparatus, server, and storage medium | |
| CN106462592A (zh) | 优化对索引的多版本支持的系统和方法 | |
| US7299404B2 (en) | Dynamic maintenance of web indices using landmarks | |
| AU2002334747A1 (en) | Providing a consistent hierarchical abstraction of relational data | |
| CN109726305A (zh) | 一种基于图结构的复杂关系数据存储及检索方法 | |
| CN112506964A (zh) | 数据查询方法、系统及计算机可读存储介质 | |
| CN113901279B (zh) | 一种图数据库的检索方法和装置 | |
| US20050256835A1 (en) | Automatic use of a functional index as a primary filter | |
| US6701328B1 (en) | Database management system | |
| US7739234B1 (en) | Techniques for synchronizing data store tables | |
| US20060117049A1 (en) | Processing path-based database operations | |
| CN116303834A (zh) | 一种数据仓库历史数据存储与处理方法、系统和装置 | |
| CN109144995B (zh) | 一种高速公路海量交易数据检索方法 | |
| CN113282600B (zh) | 一种Oracle数据库同步环境下批量主键更新处理方法及系统 | |
| CN113986861A (zh) | 一种基于值日志系统的数据修改历史的查询方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |