CN114064620A - 一种基于字典转换的nifi组件多源数据治理方法及系统 - Google Patents
一种基于字典转换的nifi组件多源数据治理方法及系统 Download PDFInfo
- Publication number
- CN114064620A CN114064620A CN202111047555.8A CN202111047555A CN114064620A CN 114064620 A CN114064620 A CN 114064620A CN 202111047555 A CN202111047555 A CN 202111047555A CN 114064620 A CN114064620 A CN 114064620A
- Authority
- CN
- China
- Prior art keywords
- field
- module
- component
- data
- flowfile
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 73
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000013523 data management Methods 0.000 title claims abstract description 15
- 238000012790 confirmation Methods 0.000 claims description 34
- 230000000007 visual effect Effects 0.000 claims description 14
- 238000011144 upstream manufacturing Methods 0.000 claims description 10
- 238000010200 validation analysis Methods 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 4
- 230000010354 integration Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 6
- 238000011161 development Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013079 data visualisation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
- G06F16/2433—Query languages
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/26—Visual data mining; Browsing structured data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/285—Clustering or classification
- G06F16/287—Visualization; Browsing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于字典转换的NIFI组件多源数据治理方法及系统，属于计算机数据库领域；所述的方法具体步骤如下：S1确认来源表和目标表信息；S2对字典转换组件进行可视化配置；S3获取字典转换组件参数、判断FlowFile中是否存在目标字段；S4针对新增字段，FlowFile输出时需要得到所有属性的Schema进行字段赋值，写出输出流；S5输出流FlowFile设置Mime.Type为application/avro‑binaty,对扩展属性ADDRESS需要进行输入组件字段保存；本发明方法能够针对数据集成数据治理过程中，针对数据多源化，数据量大、字段类型多样、字段替换或新增利用数据库工具操作难度大特点。
Description
技术领域
本发明公开一种基于字典转换的NIFI组件多源数据治理方法及系统，涉及计算机数据库技术领域。
背景技术
随着现代信息技术的快速发展，世界已跨入互联网+大数据时代，人工智能技术的突飞猛进也是近些年来大数据长足发展的结果。信息正深刻改变着人们的思维、生产和生活方式，越来越多的行业开始注重数据应用，在原应用基础上利用现在数据共享。对源数据的字段替换和字段扩展获取有用的数据，使用数据为业务赋能，近几年来，各种企业数据治理应用平台快速兴起和发展，提供数据集成、数据开发、数据科学、数据治理、数据服务、数据可视化等一站式服务。
在数据治理过程中，如何在复杂网络环境下提供丰富的多源数据库之间高速稳定的数据迁移和繁杂业务背景下的数据扩展已然成为不可或缺的能力。很多系统在现有数据的基础上，需要融合共享数据，对现有数据与共享数据建立关联关系，通过关联关系获取共享数据中的字段，对源数据进行替换或扩展字段。该过程涉及从不同数据源获取数据，对数据建立关联，替换源数据或新增字段存储数据。数据治理组件中，NIFI有着强大的功能，可以从不同的数据源获取数据，也可以向不同的数据源输出数据，实现数据自动流通。对获取的数据流按需进行融合扩展，就需要一款组件来实现源数据流的字段替换或字段新增，为下游数据流提供可靠数据，实现数据流之间的数据治理；
故现发明一种基于字典转换的NIFI组件多源数据治理方法及系统，以解决上述问题。
发明内容
本发明针对现有技术的问题，提供一种基于字典转换的NIFI组件多源数据治理方法及系统，所采用的技术方案为：一种基于字典转换的NIFI组件多源数据治理方法，所述的方法具体步骤如下：
S1确认来源表和目标表信息；
S2对字典转换组件进行可视化配置；
S3获取字典转换组件参数、判断FlowFile中是否存在目标字段；
S4针对新增字段，FlowFile输出时需要得到所有属性的Schema进行字段赋值，写出输出流；
S5输出流FlowFile设置Mime.Type为application/avro-binaty,对扩展属性ADDRESS需要进行输入组件字段保存。
所述S1确认来源表和目标表信息的具体步骤如下：
S101根据源表字段确定对应的目标表格信息；
S102根据Oracle数据源确定对应的目标表格信息；
S103根据数据库与JDBC标准确认源表条件字段和目标表条件字段对应关系。
所述S2对字典转换组件进行可视化配置的具体步骤如下：
S201确认上源表和目标表相关信息满足字典转换条件；
S202通过上游组件获取Mysql的源表数据路由到字典转换组件；
S203通过可视化界面进行字典转换组件配置。
所述S4针对新增字段，FlowFile输出时需要得到所有属性的Schema进行字段赋值，写出输出流的具体步骤如下：
S401根据输入FileFlows流的条件CODE值组装预编译SQL语句；
S402通过Connection执行SQL语句获取目标值；
S403利用DataFileWriter写出新的FlowFile输出流。
所述S5输出流FlowFile设置Mime.Type为application/avro-binaty,对扩展属性ADDRESS需要进行输入组件字段保存的具体步骤如下：
S501获取字典转换组件处理后Oracle数据源的ADDRESS值；
S502扩展字段并赋值给新的FlowFile。
一种基于字典转换的NIFI组件多源数据治理系统，所述的系统具体包括信息确认模块、组件配置模块、字段判断模块、字段输出模块和字段保存模块：
信息确认模块：认来源表和目标表信息；
组件配置模块：对字典转换组件进行可视化配置；
字段判断模块：获取字典转换组件参数、判断FlowFile中是否存在目标字段；
字段输出模块：针对新增字段，FlowFile输出时需要得到所有属性的 Schema进行字段赋值，写出输出流；
字段保存模块：输出流FlowFile设置Mime.Type为 application/avro-binaty,对扩展属性ADDRESS需要进行输入组件字段保存。
所述信息确认模块具体包括字段确认模块、数据确认模块和关系确认模块：
字段确认模块：据源表字段确定对应的目标表格信息；
数据确认模块：据Oracle数据源确定对应的目标表格信息；
关系确认模块：根据数据库与JDBC标准确认源表条件字段和目标表条件字段对应关系。
所述组件配置模块具体包括条件确认模块、数据路由模块和字典转换模块：
条件确认模块：确认源表和目标表相关信息满足字典转换条件；
数据路由模块：通过上游组件获取Mysql的源表数据路由到字典转换组件；
字典转换模块：通过可视化界面进行字典转换组件配置。
所述字段输出模块具体包括组装编辑模块、语句执行模块和输出编辑模块：
组装编辑模块：根据输入FileFlows流的条件CODE值组装预编译SQL语句；
语句执行模块：通过Connection执行SQL语句获取目标值；
输出编辑模块：利用DataFileWriter写出新的FlowFile输出流。
所述字段保存模块具体包括数值获取模块和字段编辑模块：
数值获取模块：获取字典转换组件处理后Oracle数据源的ADDRESS值；
字段编辑模块：扩展字段并赋值给新的FlowFile。
本发明的有益效果为：本发明方法能够针对数据集成数据治理过程中，针对数据多源化，数据量大、字段类型多样、字段替换或新增利用数据库工具操作难度大特点。通过该方法实现数据集成NIFI组件，利用上游组件获取源数据，通过可视化界面，建立源数据表与目标表数据间的关联关系，自动通过字典转换来实现字段值替换或字段新增，降低不同数据库带来的复杂性，为下游组件使用数据提供可靠的数据。提升开发人员和运维人员的效率，提高数据质量，快速达到数据治理的目的。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例的Mysql利用Oracle字典转换方案流程图；图2是本 发明实施例的Mysql数据源test_persopn_info表字段的部分界面图；图3是 本发明实施例的Oracle数据源user_copy表字段的部分界面图；图4是本发明 实施例的字典转换组件可视化配置的部分界面图；图5是本发明实施例的通过 字典转换组件治理前后上下游FlowFile数据的部分界面对比图；图6是本发明 实施例的流转字段转换组件的上下游NIFI组件部分流程图；图7是本发明方法 的流程图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
实施例一：
一种基于字典转换的NIFI组件多源数据治理方法，所述的方法具体步骤如下：
S1确认来源表和目标表信息；
S2对字典转换组件进行可视化配置；
S3获取字典转换组件参数、判断FlowFile中是否存在目标字段，不存在需要根据步骤一中JDBC对应关系为字段组装新的Schema；
S4针对新增字段，FlowFile输出时需要得到所有属性的Schema进行字段赋值，写出输出流；
S5输出流FlowFile设置Mime.Type为application/avro-binaty,对扩展属性ADDRESS需要进行输入组件字段保存；
本发明提供一种基于字典转换的NIFI组件多源数据治理方法，其最主要利用了JDBC的标准，对多源数据库间建立关联关系，利用数据间的字典转换及 NIFI中对不同数据类型Schema的处理，达到源表数据替换目标数据或新增字段存储目标值的目的；借助NIFI的FlowFile能够保存数据的特点，下游组件能够持续进行数据治理。降低多源数据库间数据治理的复杂度，提高数据质量；
其中JDBC标准是不同数据源之间同JDBC的映射机制；利用JDBC统一标准来实现不同数据源之间类型的相互转化；
其中Schema是针对新增字段，FlowFile输出时需要得到所有属性的Schema 进行字段赋值，写出输出流；
其中关联关系和字典转换，借助表与表之间字段值的关系，获取目标表值，赋值给源数据字段，达到目标数据写入源数据的目的；
其中下游FlowFile,该组件处理后，FlowFile中保存完整数据及字段，供后续NIFI组件进一步进行数据治理。保证数据可靠性；
进一步的，所述S1确认来源表和目标表信息的具体步骤如下：
S101根据源表字段确定对应的目标表格信息；
S102根据Oracle数据源确定对应的目标表格信息；
S103根据数据库与JDBC标准确认源表条件字段和目标表条件字段对应关系；
根据源表字段如图2所示，确定Mysql源表test_persopn_info的字典key 值字段身份证号CODE,作为源表关联条件，确认字段类型VARCHAR；
根据Oracle数据源,数据库oracle_153下的目标表user_copy字段如图3 所示，确认目标关联条件CODE,目标值ADDRESS，确认字段类型VARCHAR2；
确认目标值字段应在源表为扩展字段，根据数据库与JDBC标准确认源表条件字段和目标表条件字段对应关系；
进一步的，所述S2对字典转换组件进行可视化配置的具体步骤如下：
S201确认上源表和目标表相关信息满足字典转换条件；
S202通过上游组件获取Mysql的源表数据路由到字典转换组件；
S203通过可视化界面进行字典转换组件配置；
| Mysql字段类型 | JDBC标准类型 | Oracle字段类型 |
| VARchar | VARchar | VARchar2 |
| char | VARchar | VARchar |
| DATE | DATE | DATE |
| DATETIME | DATE | DATE |
| TIMESTAMP | TIMESTAMP | DATE |
| INT | INTEGER | NUMBER |
| DOUBLE | DOUBLE | NUMBER |
| FLOAT | FLOAT | NUMBER |
| TEXT | CLOB | CLOB |
| BIT | BIT | NUMBER |
| TINYINT | TINYINT | NUMBER |
| SMALLINT | SMALLINT | NUMBER |
以上源表和目标表相关信息确认后，满足字典转换条件，上游组件获取Mysql的源表数据路由到字典转换组件，通过可视化界面(如附图1)进行字典转换组件配置；
转换列来源表即源表test_persopn_info，
转换列即字典Key字段CODE,
转换值存放列即扩展字段，非源表字段为输入字段ADDRESS,
目标数据源类型即Oracle,
目标数据库即Oracle_153,
目标表即user_copy,
目标条件字段即目标表关联条件CODE,
目标字段即目标值ADDRESS
进一步的，所述S4针对新增字段，FlowFile输出时需要得到所有属性的 Schema进行字段赋值，写出输出流的具体步骤如下：
S401根据输入FileFlows流的条件CODE值组装预编译SQL语句；
S402通过Connection执行SQL语句获取目标值；
S403利用DataFileWriter写出新的FlowFile输出流；
根据输入FileFlows流的条件CODE值，组装预编译SQL语句，通过 Connection执行SQL语句获取目标值。利用DataFileWriter写出新的FlowFile 输出流；
再进一步的，所述S5输出流FlowFile设置Mime.Type为 application/avro-binaty,对扩展属性ADDRESS需要进行输入组件字段保存的具体步骤如下：
S501获取字典转换组件处理后Oracle数据源的ADDRESS值；
S502扩展字段并赋值给新的FlowFile；
输出流FlowFile设置Mime.Type为application/avro-binaty,对扩展属性ADDRESS需要进行输入组件字段保存。方便后续治理组件解析处理；
通过上述步骤，典转换组件处理后获取到Oracle数据源的ADDRESS值，并成功扩展字段并赋值给新的FlowFile,附图5展示了字典转换前后FileFlow数据；如附图6所示可继续治理或存入其他数据源；实现了Mysql源数据扩展 Oracle数据源数据的功能，本实施例仅以单字段举例，通过该思路可以实现多源数据库下数据的融合，为解决业务需求和数据治理提供帮助。
实施例二：
一种基于字典转换的NIFI组件多源数据治理系统，所述的系统具体包括信息确认模块、组件配置模块、字段判断模块、字段输出模块和字段保存模块：
信息确认模块：认来源表和目标表信息；
组件配置模块：对字典转换组件进行可视化配置；
字段判断模块：获取字典转换组件参数、判断FlowFile中是否存在目标字段；
字段输出模块：针对新增字段，FlowFile输出时需要得到所有属性的 Schema进行字段赋值，写出输出流；
字段保存模块：输出流FlowFile设置Mime.Type为 application/avro-binaty,对扩展属性ADDRESS需要进行输入组件字段保存；
进一步的，所述信息确认模块具体包括字段确认模块、数据确认模块和关系确认模块：
字段确认模块：据源表字段确定对应的目标表格信息；
数据确认模块：据Oracle数据源确定对应的目标表格信息；
关系确认模块：根据数据库与JDBC标准确认源表条件字段和目标表条件字段对应关系；
进一步的，所述组件配置模块具体包括条件确认模块、数据路由模块和字典转换模块：
条件确认模块：确认源表和目标表相关信息满足字典转换条件；
数据路由模块：通过上游组件获取Mysql的源表数据路由到字典转换组件；
字典转换模块：通过可视化界面进行字典转换组件配置；
进一步的，所述字段输出模块具体包括组装编辑模块、语句执行模块和输出编辑模块：
组装编辑模块：根据输入FileFlows流的条件CODE值组装预编译SQL语句；
语句执行模块：通过Connection执行SQL语句获取目标值；
输出编辑模块：利用DataFileWriter写出新的FlowFile输出流；
再进一步的，所述字段保存模块具体包括数值获取模块和字段编辑模块：
数值获取模块：获取字典转换组件处理后Oracle数据源的ADDRESS值；
字段编辑模块：扩展字段并赋值给新的FlowFile。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于字典转换的NIFI组件多源数据治理方法，其特征是所述的方法具体步骤如下：
S1确认来源表和目标表信息；
S2对字典转换组件进行可视化配置；
S3获取字典转换组件参数、判断FlowFile中是否存在目标字段；
S4针对新增字段，FlowFile输出时需要得到所有属性的Schema进行字段赋值，写出输出流；
S5输出流FlowFile设置Mime.Type为application/avro-binaty,对扩展属性ADDRESS需要进行输入组件字段保存。
2.根据权利要求1所述的方法，其特征是所述S1确认来源表和目标表信息的具体步骤如下：
S101根据源表字段确定对应的目标表格信息；
S102根据Oracle数据源确定对应的目标表格信息；
S103根据数据库与JDBC标准确认源表条件字段和目标表条件字段对应关系。
3.根据权利要求2所述的方法，其特征是所述S2对字典转换组件进行可视化配置的具体步骤如下：
S201确认上源表和目标表相关信息满足字典转换条件；
S202通过上游组件获取Mysql的源表数据路由到字典转换组件；
S203通过可视化界面进行字典转换组件配置。
4.根据权利要求3所述的方法，其特征是所述S4针对新增字段，FlowFile输出时需要得到所有属性的Schema进行字段赋值，写出输出流的具体步骤如下：
S401根据输入FileFlows流的条件CODE值组装预编译SQL语句；
S402通过Connection执行SQL语句获取目标值；
S403利用DataFileWriter写出新的FlowFile输出流。
5.根据权利要求4所述的方法，其特征是所述S5输出流FlowFile设置Mime.Type为application/avro-binaty,对扩展属性ADDRESS需要进行输入组件字段保存的具体步骤如下：
S501获取字典转换组件处理后Oracle数据源的ADDRESS值；
S502扩展字段并赋值给新的FlowFile。
6.一种基于字典转换的NIFI组件多源数据治理系统，其特征是所述的系统具体包括信息确认模块、组件配置模块、字段判断模块、字段输出模块和字段保存模块：
信息确认模块：认来源表和目标表信息；
组件配置模块：对字典转换组件进行可视化配置；
字段判断模块：获取字典转换组件参数、判断FlowFile中是否存在目标字段；
字段输出模块：针对新增字段，FlowFile输出时需要得到所有属性的Schema进行字段赋值，写出输出流；
字段保存模块：输出流FlowFile设置Mime.Type为application/avro-binaty,对扩展属性ADDRESS需要进行输入组件字段保存。
7.根据权利要求6所述的系统，其特征是所述信息确认模块具体包括字段确认模块、数据确认模块和关系确认模块：
字段确认模块：据源表字段确定对应的目标表格信息；
数据确认模块：据Oracle数据源确定对应的目标表格信息；
关系确认模块：根据数据库与JDBC标准确认源表条件字段和目标表条件字段对应关系。
8.根据权利要求7所述的系统，其特征是所述组件配置模块具体包括条件确认模块、数据路由模块和字典转换模块：
条件确认模块：确认源表和目标表相关信息满足字典转换条件；
数据路由模块：通过上游组件获取Mysql的源表数据路由到字典转换组件；
字典转换模块：通过可视化界面进行字典转换组件配置。
9.根据权利要求8所述的系统，其特征是所述字段输出模块具体包括组装编辑模块、语句执行模块和输出编辑模块：
组装编辑模块：根据输入FileFlows流的条件CODE值组装预编译SQL语句；
语句执行模块：通过Connection执行SQL语句获取目标值；
输出编辑模块：利用DataFileWriter写出新的FlowFile输出流。
10.根据权利要求9所述的系统，其特征是所述字段保存模块具体包括数值获取模块和字段编辑模块：
数值获取模块：获取字典转换组件处理后Oracle数据源的ADDRESS值；
字段编辑模块：扩展字段并赋值给新的FlowFile。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111047555.8A CN114064620A (zh) | 2021-09-08 | 2021-09-08 | 一种基于字典转换的nifi组件多源数据治理方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111047555.8A CN114064620A (zh) | 2021-09-08 | 2021-09-08 | 一种基于字典转换的nifi组件多源数据治理方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114064620A true CN114064620A (zh) | 2022-02-18 |
Family
ID=80233628
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111047555.8A Pending CN114064620A (zh) | 2021-09-08 | 2021-09-08 | 一种基于字典转换的nifi组件多源数据治理方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114064620A (zh) |
-
2021
- 2021-09-08 CN CN202111047555.8A patent/CN114064620A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107958057B (zh) | 一种用于异构数据库中数据迁移的代码生成方法及装置 | |
| CN110222237B (zh) | 数据库表和xml报文的转换方法及其系统 | |
| CN107463637A (zh) | 一种分布式NewSQL数据库系统和数据储存方法 | |
| CN104572895B (zh) | MPP数据库与Hadoop集群数据互通方法、工具及实现方法 | |
| CN103514223A (zh) | 一种数据仓库数据同步方法和系统 | |
| CN109871406B (zh) | 通用监控报表平台的设计方法 | |
| CN108829884B (zh) | 数据映射方法及装置 | |
| CN103995698A (zh) | 一种面向业务的应用表单敏捷开发方法及系统 | |
| CN111914066B (zh) | 多源数据库全局搜索方法及系统 | |
| CN111563173A (zh) | 一种基于制造领域的知识图谱构建方法及系统 | |
| CN103049251A (zh) | 一种数据库持久层装置及数据库操作方法 | |
| CN114398442B (zh) | 一种基于数据驱动的情报处理系统 | |
| CN114218218A (zh) | 基于数据仓库的数据处理方法、装置、设备及存储介质 | |
| CN111581212B (zh) | 关系型数据库的数据存储方法、系统、服务器和存储介质 | |
| CN111930862B (zh) | 一种基于大数据平台的sql交互式分析方法及系统 | |
| CN103699746B (zh) | 基于数据库的cadds5管系三维设计方法及系统 | |
| CN116680445B (zh) | 基于知识图谱的电力光通信系统多源异构数据融合方法及系统 | |
| CN111914028A (zh) | 一种基于图增量同步异构数据源数据关系的方法及装置 | |
| CN114064620A (zh) | 一种基于字典转换的nifi组件多源数据治理方法及系统 | |
| CN113254457B (zh) | 一种对账方法、系统及计算机可读存储介质 | |
| CN112395343B (zh) | 一种基于dsg的字段变更数据采集抽取方法 | |
| CN115495440A (zh) | 异构数据库的数据迁移方法、装置、设备及存储介质 | |
| CN109828972B (zh) | 一种基于有向图结构的数据集成方法 | |
| CN115390936A (zh) | 统一校验方法、装置、设备和存储介质 | |
| CN110647518B (zh) | 一种数据源融合计算方法、组件及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |