CN112632050A - 跨平台同步数据的数据质量检查方法、装置及存储介质 - Google Patents

跨平台同步数据的数据质量检查方法、装置及存储介质 Download PDF

Info

Publication number
CN112632050A
CN112632050A CN202011543529.XA CN202011543529A CN112632050A CN 112632050 A CN112632050 A CN 112632050A CN 202011543529 A CN202011543529 A CN 202011543529A CN 112632050 A CN112632050 A CN 112632050A
Authority
CN
China
Prior art keywords
data
platform
synchronization
synchronous
checking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011543529.XA
Other languages
English (en)
Other versions
CN112632050B (zh
Inventor
杨连群
张研
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Aisino Technology Co ltd
Original Assignee
Anhui Aisino Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Aisino Technology Co ltd filed Critical Anhui Aisino Technology Co ltd
Priority to CN202011543529.XA priority Critical patent/CN112632050B/zh
Publication of CN112632050A publication Critical patent/CN112632050A/zh
Application granted granted Critical
Publication of CN112632050B publication Critical patent/CN112632050B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种跨平台同步数据的数据质量检查方法、装置及存储介质，该方法包括：获取源数据平台的第一数据源类型和目标数据平台的第二数据源类型；根据第一数据源类型和第二数据源类型确定源数据平台和目标数据平台之间的平台映射关系；数据同步过程中获取源数据平台的第一同步数据和目标数据平台的第二同步数据，根据平台映射关系将第一同步数据和第二同步数据转换成同一类型的数据，根据预先确定的数据检查项对转换后的第一同步数据和转换后的第二同步数据进行检查，输出检查结果。本发明的技术方案提高了跨平台同步数据时数据质量检查的准确性，能够及时发现数据采集同步过程中的异常数据。

Description

跨平台同步数据的数据质量检查方法、装置及存储介质
技术领域
本发明涉及数据检测技术领域，具体而言，涉及跨平台同步数据的数据质量检查方法、装置及存储介质。
背景技术
随着互联网和云计算等的蓬勃发展，数据量呈爆发式增长，大数据环境下各种数据的来源和数据的类型丰富多样，使得在不同数据平台下的进行数据的采集同步时，存在很多的差异和不确定性。为了保证数据采集同步的一致性，需要对数据采集同步过程中的数据进行数据质量检查。
但是目前的数据质量检查方法常对单个平台的数据进行检查，用于对跨平台的同步数据进行数据质量检查时准确性较差。
发明内容
本发明解决的问题是如何提高跨平台同步数据的数据质量检查的准确性。
为解决上述问题，本发明提供一种跨平台同步数据的数据质量检查方法、装置及存储介质。
第一方面，本发明提供了一种跨平台同步数据的数据质量检查方法，包括：
获取源数据平台的第一数据源类型和目标数据平台的第二数据源类型；
根据所述第一数据源类型和所述第二数据源类型确定所述源数据平台和所述目标数据平台之间的平台映射关系；
根据所述平台映射关系进行数据同步，同步过程中获取所述源数据平台的第一同步数据和所述目标数据平台的第二同步数据，并根据所述平台映射关系将所述第一同步数据和所述第二同步数据转换成同一类型的数据，获得转换后的第一同步数据和转换后的第二同步数据；
根据预先确定的数据检查项对所述转换后的第一同步数据和所述转换后的第二同步数据进行检查，输出检查结果。
可选地，所述数据检查项包括完整性检查项、数据准确性检查项、数据及时性检查项和数据一致性检查项中的至少一种。
可选地，所述同步过程中获取所述源数据平台的第一同步数据和所述目标数据平台的第二同步数据包括：
获取同步过程中的同步日志，根据所述同步日志设置抽样数据表；
根据所述抽样数据表在所述源数据平台中随机提取所述第一同步数据，并在所述目标数据平台中提取对应的所述第二同步数据，将所述第一同步数据和所述第二同步数据缓存至中间表。
可选地，所述根据预先确定的数据检查项对所述转换后的第一同步数据和所述转换后的第二同步数据进行检查包括：
根据所述数据检查项配置SQL语句，采用所述SQL语句对所述转换后的第一同步数据和所述转换后的第二同步数据进行比对检查。
可选地，所述方法还包括：
当无法获取数据同步过程中所述源数据平台的所述第一同步数据时或同步结束后，读取所述同步日志中记录的同步日志数据；
将所述同步日志数据和所述第二同步数据转换成同一类型的数据，获得转换后的同步日志数据和转换后的第二同步数据；
根据所述数据检查项对所述转换后的同步日志数据和所述转换后的第二同步数据进行检查，输出检查结果。
可选地，所述输出检查结果之后还包括：
当所述检查结果显示有数据异常时，输出告警信号；
当所述检查结果无异常时，输出数据质量检查报告。
可选地，所述同步日志中包括数据表名、数据记录总数、主键字段、区分字段、分区字段值、同步开始时间、同步结束使劲按和同步状态标识中的至少一种；
所述抽样数据表包括数据表名、主键字段、主键值、抽样字段类型、抽样字段列中的至少一种。
第二方面，本发明提供了一种跨平台同步数据的数据质量检查装置，包括：
获取模块，用于获取源数据平台的第一数据源类型和目标数据平台的第二数据源类型；
处理模块，用于根据所述第一数据源类型和所述第二数据源类型确定所述源数据平台和所述目标数据平台之间的平台映射关系；
同步模块，用于根据所述平台映射关系进行数据同步，同步过程中获取所述源数据平台的第一同步数据和所述目标数据平台的第二同步数据，并根据所述平台映射关系将所述第一同步数据和所述第二同步数据转换成同一类型的数据，获得转换后的第一同步数据和转换后的第二同步数据；
检查模块，用于根据预先确定的数据检查项对所述转换后的第一同步数据和所述转换后的第二同步数据进行检查，输出检查结果。
第三方面，本发明提供了一种跨平台同步数据的数据质量检查装置，包括存储器和处理器；
所述存储器，用于存储计算机程序；
所述处理器，用于当执行所述计算机程序时，实现如上所述的跨平台同步数据的数据质量检查方法。
第四方面，本发明提供了一种计算机可读存储介质，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现如上所述的跨平台同步数据的数据质量检查方法。
本发明的跨平台同步数据的数据质量检查方法、装置及存储介质的有益效果是：获取源数据平台的第一数据源类型和目标数据平台的第二数据源类型，通过第一数据源类型和第二数据源类型确定两个数据平台之间的平台映射关系，便于源数据平台根据平台映射关系将数据同步至目标数据平台，例如将源数据平台的第一同步数据同步至目标数据平台，由于不同数据平台中数据类型的差别，得到目标数据平台的第二同步数据，获取同步过程中的第一同步数据和第二同步数据，根据平台映射关系将第一同步数据和第二同步数据转换为同一类型的数据，并采用预先确定的数据检查项对转换后的第一同步数据和转换后第二同步数据进行数据质量检查，确定同步过程中的数据质量，实现同步过程中对源数据平台的第一同步数据和目标数据平台的第二同步数据的数据质量检查。本发明的技术方案中，在数据同步过程中对同步的数据进行质量检查，能够及时发现异常数据，便于及时进行处理，并且提高了跨平台同步数据时数据质量检查的准确性。
附图说明
图1为本发明实施例的一种跨平台同步数据的数据质量检查方法的流程示意图；
图2为本发明实施例的数据采集同步的流程示意图；
图3为本发明另一实施例的一种跨平台同步数据的数据质量检查方法的流程示意图；
图4为本发明实施例的跨平台同步数据的数据质量检查装置的结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
如图1至图3所示，本发明实施例提供的一种跨平台同步数据的数据质量检查方法，包括：
步骤S110，获取源数据平台的第一数据源类型和目标数据平台的第二数据源类型。
具体地，可接入各种不同类型的数据平台，例如关系型数据平台和大数据平台等，第一数据源类型和第二数据源类型包括结构化数据、非结构化数据和半结构化数据。如图2所示，源数据平台的数据源类型可包括数据库类型，如结构化数据，文本类型，如JSON、XML等半结构化数据，文件类型，如非结构化数据。
步骤S120，根据所述第一数据源类型和所述第二数据源类型确定所述源数据平台和所述目标数据平台之间的平台映射关系。
具体地，例如源数据平台可为关系型数据平台oracle，目标数据平台可为大数据平台hive，当将oracle中的数据同步至hive中时，假如同步数据的类型转换为Int->double，varchar->String，number->double，date->timestamp，根据转换前的数据类型和转换后的数据类型就可确定两个平台的平台间映射关系。如表一所示，为数据平台oracle、hive和kudu的常见数据源类型：
表一各数据平台的数据源类型
Figure BDA0002855270750000051
在确定源数据平台的第一数据源类型和目标数据平台的第二数据源类型之后，可在数据平台映射关系配置表中确定源数据平台和目标数据平台之间的平台映射关系，数据平台映射关系配置表中包括各种平台映射关系。
步骤S130，根据所述平台映射关系进行数据同步，同步过程中获取所述源数据平台的第一同步数据和所述目标数据平台的第二同步数据，并根据所述平台映射关系将所述第一同步数据和所述第二同步数据转换为同一类型的数据，获得转换厚度额第一同步数据和转换后的第二同步数据。
可选地，所述同步过程中获取所述源数据平台的第一同步数据和所述目标数据平台的第二同步数据包括：
获取同步过程中的同步日志，根据所述同步日志设置抽样数据表；
根据所述抽样数据表在所述源数据平台中随机提取所述第一同步数据，并在所述目标数据平台中提取对应的所述第二同步数据，将所述第一同步数据和所述第二同步数据缓存至中间表。
可选地，所述同步日志中包括数据表名、数据记录总数、主键字段、区分字段、分区字段值、同步开始时间、同步结束使劲按和同步状态标识中的至少一种；所述抽样数据表包括数据表名、主键字段、主键值、抽样字段类型、抽样字段列中的至少一种。
步骤S140，根据预先确定的数据检查项对所述转换后的第一同步数据和所述转换后的第二同步数据进行检查，输出检查结果。
可选地，所述数据检查项包括完整性检查项、数据准确性检查项、数据及时性检查项和数据一致性检查项中的至少一种。
完整性检查项可包括数据元素完整性和数据记录完整性，数据准确性检查项可包括数据内容正确性、数据格式合规性、数据重复率、数据唯一性和脏数据出现率，数据及时性检查项可包括基于时间点的及时性、基于时间段的及时性和时序性，数据一致性检查项可包括相同数据一致性和关联数据一致性。
可选地，所述根据预先确定的数据检查项对所述转换后的第一同步数据和所述转换后的第二同步数据进行检查包括：
根据所述数据检查项配置SQL语句，采用所述SQL语句对所述转换后的第一同步数据和所述转换后的第二同步数据进行比对检查。
可选地，还包括：
当无法获取数据同步过程中所述源数据平台的所述第一同步数据时或同步结束后，读取所述同步日志中记录的同步日志数据；
将所述同步日志数据和所述第二同步数据转换成同一类型的数据，获得转换后的同步日志数据和转换后的第二同步数据；
根据所述数据检查项对所述转换后的同步日志数据和所述转换后的第二同步数据进行检查，输出检查结果。
本可选的实施例中，在同步过程中通过对第一同步数据和第二同步数据进行比对检查，输出检查结果；在同步结束后或未获取到第一同步数据时，通过对同步日志中的同步日志数据与第二同步数据进行比对检查，输出检查结果，实现双重比对检查，能够大幅提高数据质量检查的精度，保证同步过程中的数据准确性。
可选地，所述输出检查结果之后还包括：
当所述检查结果显示有数据异常时，输出告警信号，对异常结果进行告警；
当所述检查结果无异常时，输出数据质量检查报告。
本可选的实施例中，当检查结果显示有数据异常时，输出告警信号提醒用户及时进行处理，保证数据质量；当检查结果无异常时，输出数据质量检查报告，将数据采集同步过程中的数据质量可视化，便于观察和分析。
可选地，跨平台同步日志匹配规则配置，在数据同步过程中，会生成相应的日志文件，也可获取日志文件中相应的日志记录，例如：Record Replicator error、Invalidatevalue、Cannot parse、SQLException、AuthFailed、ConnectException、IllegalArgumentException、ExitCode、Query Failed等异常记录，当检查到异常记录时，输出告警信号。
本实施例中，获取源数据平台的第一数据源类型和目标数据平台的第二数据源类型，通过第一数据源类型和第二数据源类型确定两个数据平台之间的平台映射关系，便于源数据平台根据平台映射关系将数据同步至目标数据平台，例如将源数据平台的第一同步数据同步至目标数据平台，由于不同数据平台中数据类型的差别，得到目标数据平台的第二同步数据，获取同步过程中的第一同步数据和第二同步数据，根据平台映射关系将第一同步数据和第二同步数据转换为同一类型的数据，并采用预先确定的数据检查项对转换后的第一同步数据和转换后第二同步数据进行数据质量检查，确定同步过程中的数据质量，实现同步过程中对源数据平台的第一同步数据和目标数据平台的第二同步数据的数据质量检查。本发明的技术方案中，在数据同步过程中对同步的数据进行质量检查，能够及时发现异常数据，便于及时进行处理，并且提高了跨平台同步数据时数据质量检查的准确性。
如图4所示，本发明实施例提供的一种跨平台同步数据的数据质量检查装置，包括：
获取模块，用于获取源数据平台的第一数据源类型和目标数据平台的第二数据源类型；
处理模块，用于根据所述第一数据源类型和所述第二数据源类型确定所述源数据平台和所述目标数据平台之间的平台映射关系；
同步模块，用于根据所述平台映射关系进行数据同步，同步过程中获取所述源数据平台的第一同步数据和所述目标数据平台的第二同步数据，并根据所述平台映射关系将所述第一同步数据和所述第二同步数据转换成同一类型的数据，获得转换后的第一同步数据和转换后的第二同步数据；
检查模块，用于根据预先确定的数据检查项对所述转换后的第一同步数据和所述转换后的第二同步数据进行检查，输出检查结果。
本发明另一实施例提供的一种跨平台同步数据的数据质量检查装置包括存储器和处理器；所述存储器，用于存储计算机程序；所述处理器，用于当执行所述计算机程序时，实现如上所述的跨平台同步数据的数据质量检查方法。该装置可为计算机或服务器等。
本发明再一实施例提供的一种计算机可读存储介质，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现如上所述的跨平台同步数据的数据质量检查方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。在本申请中，所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
虽然本发明公开披露如上，但本发明公开的保护范围并非仅限于此。本领域技术人员在不脱离本发明公开的精神和范围的前提下，可进行各种变更与修改，这些变更与修改均将落入本发明的保护范围。

Claims (10)

1.一种跨平台同步数据的数据质量检查方法，其特征在于，包括：
获取源数据平台的第一数据源类型和目标数据平台的第二数据源类型；
根据所述第一数据源类型和所述第二数据源类型确定所述源数据平台和所述目标数据平台之间的平台映射关系；
根据所述平台映射关系进行数据同步，同步过程中获取所述源数据平台的第一同步数据和所述目标数据平台的第二同步数据，并根据所述平台映射关系将所述第一同步数据和所述第二同步数据转换成同一类型的数据，获得转换后的第一同步数据和转换后的第二同步数据；
根据预先确定的数据检查项对所述转换后的第一同步数据和所述转换后的第二同步数据进行检查，输出检查结果。
2.根据权利要求1所述的跨平台同步数据的数据质量检查方法，其特征在于，所述数据检查项包括完整性检查项、数据准确性检查项、数据及时性检查项和数据一致性检查项中的至少一种。
3.根据权利要求1所述的跨平台同步数据的数据质量检查方法，其特征在于，所述同步过程中获取所述源数据平台的第一同步数据和所述目标数据平台的第二同步数据包括：
获取同步过程中的同步日志，根据所述同步日志设置抽样数据表；
根据所述抽样数据表在所述源数据平台中随机提取所述第一同步数据，并在所述目标数据平台中提取对应的所述第二同步数据，将所述第一同步数据和所述第二同步数据缓存至中间表。
4.根据权利要求3所述的跨平台同步数据的数据质量检查方法，其特征在于，所述根据预先确定的数据检查项对所述转换后的第一同步数据和所述转换后的第二同步数据进行检查包括：
根据所述数据检查项配置SQL语句，采用所述SQL语句对所述转换后第一同步数据和所述转换后的第二同步数据进行比对检查。
5.根据权利要求3所述的跨平台同步数据的数据质量检查方法，其特征在于，还包括：
当无法获取数据同步过程中所述源数据平台的所述第一同步数据时或同步结束后，读取所述同步日志中记录的同步日志数据；
将所述同步日志数据和所述第二同步数据转换成同一类型的数据，获得转换后的同步日志数据和转换后的第二同步数据；
根据所述数据检查项对所述转换后的同步日志数据和所述转换后的第二同步数据进行检查，输出检查结果。
6.根据权利要求5所述的跨平台同步数据的数据质量检查方法，其特征在于，所述输出检查结果之后还包括：
当所述检查结果显示有数据异常时，输出告警信号；
当所述检查结果无异常时，输出数据质量检查报告。
7.根据权利要求6所述的跨平台同步数据的数据质量检查方法，其特征在于，所述同步日志中包括数据表名、数据记录总数、主键字段、区分字段、分区字段值、同步开始时间、同步结束使劲按和同步状态标识中的至少一种；
所述抽样数据表包括数据表名、主键字段、主键值、抽样字段类型、抽样字段列中的至少一种。
8.一种跨平台同步数据的数据质量检查装置，其特征在于，包括：
获取模块，用于获取源数据平台的第一数据源类型和目标数据平台的第二数据源类型；
处理模块，用于根据所述第一数据源类型和所述第二数据源类型确定所述源数据平台和所述目标数据平台之间的平台映射关系；
同步模块，用于根据所述平台映射关系进行数据同步，同步过程中获取所述源数据平台的第一同步数据和所述目标数据平台的第二同步数据，并根据所述平台映射关系将所述第一同步数据和所述第二同步数据转换成同一类型的数据，获得转换后的第一同步数据和转换后的第二同步数据；
检查模块，用于根据预先确定的数据检查项对所述转换后的第一同步数据和所述转换后第二同步数据进行检查，输出检查结果。
9.一种跨平台同步数据的数据质量检查装置，其特征在于，包括存储器和处理器；
所述存储器，用于存储计算机程序；
所述处理器，用于当执行所述计算机程序时，实现如权利要求1至7任一项所述的跨平台同步数据的数据质量检查方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现如权利要求1至7任一项所述的跨平台同步数据的数据质量检查方法。
CN202011543529.XA 2020-12-24 2020-12-24 跨平台同步数据的数据质量检查方法、装置及存储介质 Active CN112632050B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011543529.XA CN112632050B (zh) 2020-12-24 2020-12-24 跨平台同步数据的数据质量检查方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011543529.XA CN112632050B (zh) 2020-12-24 2020-12-24 跨平台同步数据的数据质量检查方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN112632050A true CN112632050A (zh) 2021-04-09
CN112632050B CN112632050B (zh) 2023-09-05

Family

ID=75322132

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011543529.XA Active CN112632050B (zh) 2020-12-24 2020-12-24 跨平台同步数据的数据质量检查方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN112632050B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103440273A (zh) * 2013-08-06 2013-12-11 北京航空航天大学 一种数据跨平台迁移方法及装置
US20170308602A1 (en) * 2015-01-09 2017-10-26 Landmark Graphics Corporation Apparatus And Methods Of Data Synchronization
CN111782690A (zh) * 2019-04-04 2020-10-16 上海晶赞融宣科技有限公司 多源异构数据的汇聚方法及装置、存储介质、终端

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103440273A (zh) * 2013-08-06 2013-12-11 北京航空航天大学 一种数据跨平台迁移方法及装置
US20170308602A1 (en) * 2015-01-09 2017-10-26 Landmark Graphics Corporation Apparatus And Methods Of Data Synchronization
CN111782690A (zh) * 2019-04-04 2020-10-16 上海晶赞融宣科技有限公司 多源异构数据的汇聚方法及装置、存储介质、终端

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
申利民;李志伟;: "面向服务的柔性异构数据集成模型研究", 燕山大学学报, no. 02 *

Also Published As

Publication number Publication date
CN112632050B (zh) 2023-09-05

Similar Documents

Publication Publication Date Title
EP3343411A1 (en) Sql auditing method and apparatus, server and storage device
CN111522922A (zh) 日志信息查询方法、装置、存储介质及计算机设备
US20160299903A1 (en) Path analysis method and apparatus
CN110019384B (zh) 一种血缘数据的获取方法、提供血缘数据的方法及装置
CN111046036A (zh) 数据同步方法、装置、系统及存储介质
WO2014167647A1 (ja) データ管理装置、データ管理方法及び非一時的な記録媒体
CN113076310A (zh) 实时数据仓库的数据校验方法、系统及计算机可读介质
CN111008241A (zh) 数据同步方法、装置、存储介质和计算机设备
US20180032567A1 (en) Method and device for processing data blocks in a distributed database
CN112307124A (zh) 数据库同步验证方法、装置、设备及存储介质
CN115757626A (zh) 一种数据质量检测方法、装置、电子设备及存储介质
CN112100275A (zh) 一种数据同步方法、系统及电子设备
CN110737650A (zh) 数据质量检测方法及装置
US9009161B2 (en) Data processing
CN112632050B (zh) 跨平台同步数据的数据质量检查方法、装置及存储介质
US8805566B2 (en) Product line management system and method thereof
CN113553341A (zh) 多维数据分析方法、装置、设备及计算机可读存储介质
CN111309726A (zh) 一种有向图的生成方法、生成装置及可读存储介质
CN115827777A (zh) 一种多数据源的自适应同步与差异识别方法、装置及设备
CN107273293B (zh) 大数据系统性能测试方法、装置及电子设备
CN114840497A (zh) 一种数据库的行迁移预处理方法、系统、装置及存储介质
CN116136859A (zh) 一种数据处理方法、装置、设备及存储介质
CN113742213A (zh) 一种用于数据分析的方法、系统和介质
JP5814039B2 (ja) 情報処理装置、データ取得方法、データ取得プログラム、及び記録媒体
CN112363944A (zh) 一种用于多环境接口返回值对比的方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant