CN112395276A - 一种数据比对方法及相关设备 - Google Patents
一种数据比对方法及相关设备 Download PDFInfo
- Publication number
- CN112395276A CN112395276A CN202011270960.1A CN202011270960A CN112395276A CN 112395276 A CN112395276 A CN 112395276A CN 202011270960 A CN202011270960 A CN 202011270960A CN 112395276 A CN112395276 A CN 112395276A
- Authority
- CN
- China
- Prior art keywords
- data
- rows
- column
- row
- comparison
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000003860 storage Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 5
- 241000233805 Phoenix Species 0.000 claims description 4
- 102100023927 Asparagine synthetase [glutamine-hydrolyzing] Human genes 0.000 claims 1
- 101100380329 Homo sapiens ASNS gene Proteins 0.000 claims 1
- 238000004891 communication Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000001174 ascending effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012432 intermediate storage Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本说明书一个或多个实施例提供一种数据比对方法及相关设备。所述方法包括：获取两种不同数据源中的数据；将所述数据顺序写入非关系型数据库的不同表中；比对所述不同表的数据，得到是否数据遗漏或重复的比对结果。本发明解决了大数据量下数据比对运行速度慢，比对效率不高和现有技术只能比对同源的数据的问题。
Description
技术领域
本说明书一个或多个实施例涉及计算机技术领域，尤其涉及一种数据比对方法及相关设备。
背景技术
随着计算机技术的发展各种数据比对方法现在已经很普遍的应用在了数据比较、数据统计等领域中了，然而传统的数据比对方案虽然比对逻辑比较简单但是比对运行速度比较慢，比对效率不高，一种比较典型的数据比对方法其具体步骤为：首先在比对数据中提取一条比对数据，而后将比对数据分别逐一的与被比数据进行比对并逐一反馈比对结果，但是当被比数据的数据量非常庞大的时候此种比对方法的运算速度以及运算效率是非常低的。另二种比较典型的数据比对方法其具体步骤为：首先在比对数据中提取一条比对数据并传输到内存中，而后从被比对数据中逐一提取被比对数据到内存中，在内存中比对数据与被比对数据进行比对并反馈比对结果，此种方式通过加入内存能够提升比对速度，但是当数据量非常庞大的时候其也需要很长的运算时间。
基于此，需要一种能够提高比对效率，减少运算时间和能够对非同源数据进行比对的数据比对方案。
发明内容
有鉴于此，本说明书一个或多个实施例的目的在于提出一种数据比对方法及相关设备。
基于上述目的，本说明书一个或多个实施例提供了一种数据比对方法，包括：
从第一数据源获取N行第一数据，并将其以第一行键从初始值递增的方式按顺序写入非关系型数据库的第一表的第一数据列，其中N为预设的大于1的整数；
从与所述第一数据源异构的第二数据源获取N行第二数据，并将其以第二行键从所述初始值递增的方式按顺序写入所述非关系型数据库的第二表的第二数据列；
基于所述第一行键和所述第二行键，比对所述第一表的第一数据列中的所述第一数据与所述第二表的第二数据列中的所述第二数据，得到数据比对结果。
基于同一发明构思，本说明书一个或多个实施例还提供了一种数据比对装置，包括：
第一获取与写入模块，被配置为从第一数据源获取N行第一数据，并将其以第一行键从初始值递增的方式按顺序写入非关系型数据库的第一表的第一数据列，其中N为预设的大于1的整数；
第二获取与写入模块，被配置为从与所述第一数据源异构的第二数据源获取N行第二数据，并将其以第二行键从所述初始值递增的方式按顺序写入所述非关系型数据库的第二表的第二数据列；
比对模块，被配置为基于所述第一行键和所述第二行键，比对所述第一表的第一数据列中的所述第一数据与所述第二表的第二数据列中的所述第二数据，得到数据比对结果。
基于同一发明构思，本说明书一个或多个实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上任意一项所述的方法。
基于同一发明构思，本说明书一个或多个实施例还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上任一所述方法。
从上面所述可以看出，本说明书一个或多个实施例提供的数据比对方法及相关设备，基于非关系型数据库的技术框架，通过将异构数据源的数据分成两组顺序写入非关系型数据库，之后将两组数据按队列顺序进行比对，得到两组数据的比对结果，在可以实时的完成数据比对的同时提高了数据比对效率。
附图说明
为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书一个或多个实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本说明书一个或多个实施例的数据比对方法流程图；
图2为本说明书一个或多个实施例的数据比对装置结构示意图；
图3为本说明书一个或多个实施例的电子设备结构示意图。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。
需要说明的是，除非另外定义，本说明书一个或多个实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本说明书一个或多个实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。
如背景技术部分所述，现有的数据比对方案虽然比对逻辑比较简单但是比对运行速度比较慢，比对效率不高，同时不能对非同源数据进行比对，难以满足比对需要。申请人在实现本公开的过程中发现现有的比对方法存在的主要问题在于：在比对数据中提取一条比对数据，将比对数据分别逐一的与被比数据进行比对并逐一反馈比对结果，这种方式在被比数据的数据量非常庞大的时候运算速度以及运算效率是非常低的。将数据写入内存能够提升比对速度，但是当数据量非常庞大的时候其也需要很长的运算时间。
有鉴于此，本说明书一个或多个实施例提供了一种数据比对方案，具体的，首先将两种不同数据源中的数据通过不同的方式分别写入非关系型数据库的第一表和第二表中。所述第一表和第二表都是以递增数据列作为表的行键(RowKey)，所述第一表和第二表中的RowKey都是从相同的初始值(例如1)开始递增，每插入一条数据，RowKey自动加1，例如插入第二条，RowKey变为2，以此类推。所述第一表和第二表的数据都是顺序写入，把每张表的数据当做一个队列，起始的数据RowKey都是一样的，这样就保证两个队列的数据查询位置的RowKey都是一样的，通过对比所述第一表和第二表的数据从而计算丢数和重复，计算以第一表为基准，计算第二表是否数据遗漏或者重复。
可见，本说明书一个或多个实施例提供的数据比对方案，基于非关系型数据库的技术框架，通过将异构数据源中的数据分成两组顺序写入非关系型数据库，之后将两组数据按队列顺序进行比对，得到两组数据的比对结果，在可以实时完成数据比对的同时提高了数据比对的效率。
以下，通过具体的实施例来详细说明本说明书一个或多个实施例的技术方案。
参考图1，本说明书一个实施例的数据比对方法可以包括以下步骤。
步骤S101、从第一数据源获取N行第一数据，并将其以第一行键从初始值递增的方式按顺序写入非关系型数据库的第一表的第一数据列，其中N为预设的大于1的整数。
步骤S102、从与所述第一数据源异构的第二数据源获取N行第二数据，并将其以第二行键从所述初始值递增的方式按顺序写入所述非关系型数据库的第二表的第二数据列。
本实施例中，非关系型数据库以HBase为例，可选的，还可以使用Redis，Cassandra，RocksDB，Kudu作为中间存储的方案。
例如，第一数据源为MongoDB数据库，第二数据源为Kafka系统。通过抓取MongoDB的程序和消费kafka的程序将数据写入到HBase的第一表和第二表中，MongoDB的数据，通过读取MongoDB的oplog中的数据，并进行解析，通过Phoenix引擎插入HBase的第一表中；Kafka中的数据通过KafkaConsumer消费数据，并对数据进行格式转换，将JSON格式数据转换为Phoenix引擎可以执行的SQL格式，进而插入HBase第二表中。
本实施例所述第一表和第二表，都是以递增数据列作为表的RowKey，所述第一表和第二表的中RowKey都是从1开始递增，每写入一条数据，所述RowKey自动加1，插入第二条，RowKey变为2，依次类推。所述第一表和第二表的数据都是顺序写入，把每张表的数据当做一个队列，起始的数据RowKey都是一样的，这样就保证两个队列的数据查询位置的RowKey都是一样的，通过对比所述第一表和第二表的数据从而计算丢数和重复，计算基准都是以第一表为基准的，从而计算第二表是否数据遗漏或者重复。在数据没有出现异常的情况下，所述第一表和第二表的RowKey是一样的，并且所述第一表和第二表的内容也是一样的。
步骤S103、基于所述第一行键和所述第二行键，比对所述第一表的第一数据列中的所述第一数据与所述第二表的第二数据列中的所述第二数据，得到数据比对结果。
例如，一个程序负责从所述第一表和第二表中抓取数据进行比对。比对的程序通过设置每次比对的数据行数抓取对应数量的数据，本实施例中设置为1000，比对程序分别从所述第一表和第二表中抓取1000行数的数据，然后以所述第一表为基准比对每条数据RowKey一样的数据，再通过比对所述RowKey一样的数据中的ObjectId和TS来确定数据内容是否一样，如果RowKey一样，而ObjectId和TS不一样，则通过所述第二表中不一样的ObjectId和TS返回到所述第一表，查询所述第一表中该ObjectId和TS对应的数据的RowKey，如果发现所述第一表中对应的RowKey比所述第二表中的RowKey大，则证明所述第二表中数据有数据遗漏，如果发现所述第一表中对应的RowKey比所述第二表中的RowKey小，则证明所述第二表中有数据重复，如果发现所述1000行数据有重复或数据遗漏，则证明所述1000行数据有问题，并发出报警信息。然后将所述1000行数据的最后一条数据的信息发送到消费Kafka的程序和抓取MongoDB的程序中，让这两个程序从所述1000行数据的下一条数据重新开始抓数到所述第一表和第二表中，开始下一个批次的比对。
可见，在本实施例中，通过两个调用程序将MongoDB和Kafka中的数据插入到HBase的所述第一表和第二表中，再根据设定的行数抓取所述第一表和第二表中的数据进行比对，并对异常的数据进行警报处理，使得本实施例的方法对异构数据源MongoBD与Kafka中的数据，可以实时的完成数据比对，有效的提升比对效率。
需要说明的是，本说明书一个或多个实施例的方法可以由单个设备执行，例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本说明书一个或多个实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成所述的方法。
需要说明的是，上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
基于同一发明构思，与上述任意实施例方法相对应的，本说明书一个或多个实施例还提供了一种数据比对装置。参考图2，所述的数据比对装置，包括：
第一获取与写入模块201，被配置为从第一数据源获取N行第一数据，并将其以第一行键从初始值递增的方式按顺序写入非关系型数据库的第一表的第一数据列，其中N为预设的大于1的整数；
第二获取与写入模块202，被配置为从与所述第一数据源异构的第二数据源获取N行第二数据，并将其以第二行键从所述初始值递增的方式按顺序写入所述非关系型数据库的第二表的第二数据列；
比对模块203，被配置为基于所述第一行键和所述第二行键，比对所述第一表的第一数据列中的所述第一数据与所述第二表的第二数据列中的所述第二数据，得到数据比对结果。
为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本说明书一个或多个实施例时可以把各模块的功能在同一个或多个软件和/或硬件中实现。
上述实施例的装置用于实现前述任一实施例中相应的方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
基于同一发明构思，与上述任意实施例方法相对应的，本说明书一个或多个实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上任意一实施例所述的数据比对方法。
图3示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图，该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。
处理器1010可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。
存储器1020可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。
输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口1040用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线1050包括一通路，在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。
需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。
上述实施例的电子设备用于实现前述任一实施例中相应的数据比对方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
基于同一发明构思，与上述任意实施例方法相对应的，本说明书一个或多个实施例还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上任一实施例所述的数据比对方法。
本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
上述实施例的存储介质存储的计算机指令用于使所述计算机执行如上任一实施例所述的数据比对方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本公开的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本说明书一个或多个实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。
尽管已经结合了本公开的具体实施例对本公开进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。
本说明书一个或多个实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本说明书一个或多个实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本公开的保护范围之内。
Claims (10)
1.一种数据比对方法，其特征在于，包括：
从第一数据源获取N行第一数据，并将其以第一行键从初始值递增的方式按顺序写入非关系型数据库的第一表的第一数据列，其中N为预设的大于1的整数；
从与所述第一数据源异构的第二数据源获取N行第二数据，并将其以第二行键从所述初始值递增的方式按顺序写入所述非关系型数据库的第二表的第二数据列；
基于所述第一行键和所述第二行键，比对所述第一表的第一数据列中的所述第一数据与所述第二表的第二数据列中的所述第二数据，得到数据比对结果。
2.根据权利要求1所述的方法，其特征在于，所述非关系型数据库的类型为HBase、Redis、Cassandra、RocksDB、Kudu中的任一种。
3.根据权利要求2所述的方法，其特征在于，所述非关系型数据库为HBase数据库，所述第一数据源为MongoDB数据库，而所述第二数据源为Kafka系统。
4.根据权利要求3所述的方法，其特征在于，所述从第一数据源获取N行第一数据，并将其以第一行键从初始值递增的方式按顺序写入非关系型数据库的第一表的第一数据列，包括：
从所述MongoDB数据库的oplog中读取所述N行第一数据，并将其解析后通过Phoenix引擎按顺序插入所述HBase数据库的第一表的第一数据列。
5.根据权利要求4所述的方法，其特征在于，所述从与所述第一数据源异构的第二数据源获取N行第二数据，并将其以第二行键从所述初始值递增的方式按顺序写入所述非关系型数据库的第二表的第二数据列，包括：
通过KafkaConsumer消费所述Kafka系统中的所述N行第二数据，并将其转换成JSON格式的数据；
将所述JSON格式的数据转换为Phoenix引擎可执行的SQL格式数据后按顺序插入所述HBase数据库的第二表的第二数据列。
6.根据权利要求3至5中任一项所述的方法，其特征在于，所述基于所述第一行键和所述第二行键，比对所述第一表的第一数据列中的所述第一数据与所述第二表的第二数据列中的所述第二数据，得到数据比对结果，包括：
对于所述HBase数据库的第二表中的每个第二行键RowKey2，
查找所述HBase数据库的第一表中与RowKey2相同的第一行键RowKey1；
将所述HBase数据库的第一表中RowKey1对应的第一数据中的对象标识符ObjectId1和TS1与所述HBase数据库的第二表中RowKey2对应的第二数据中的对象标识符ObjectId2和TS2分别进行比对；
若通过所述比对确定ObjectId2和TS2与ObjectId1和TS1不完全一致，则在所述第一表中查找与ObjectId2和TS2完全一致的对象标识符ObjectId11和TS11对应的第一数据及其对应的第一行键RowKey11；
若RowKey11大于RowKey2，则确定所述第二表中有数据遗漏，而若RowKey11小于RowKey2，则确定所述第二表中有数据重复。
7.根据权利要求6所述的方法，其特征在于，还包括：
若确定所述第二表中有数据遗漏或数据重复，则发出对应的警报信息。
8.一种数据比对装置，其特征在于，包括：
第一获取与写入模块，被配置为从第一数据源获取N行第一数据，并将其以第一行键从初始值递增的方式按顺序写入非关系型数据库的第一表的第一数据列，其中N为预设的大于1的整数；
第二获取与写入模块，被配置为从与所述第一数据源异构的第二数据源获取N行第二数据，并将其以第二行键从所述初始值递增的方式按顺序写入所述非关系型数据库的第二表的第二数据列；
比对模块，被配置为基于所述第一行键和所述第二行键，比对所述第一表的第一数据列中的所述第一数据与所述第二表的第二数据列中的所述第二数据，得到数据比对结果。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可由所述处理器执行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现根据权利要求1至7中任意一项所述的方法。
10.一种非暂态计算机可读存储介质，其特征在于，所述存储介质上存储有计算机指令，所述计算机指令在被计算机执行时，使所述计算机实现根据权利要求1至7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011270960.1A CN112395276B (zh) | 2020-11-13 | 2020-11-13 | 一种数据比对方法及相关设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011270960.1A CN112395276B (zh) | 2020-11-13 | 2020-11-13 | 一种数据比对方法及相关设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112395276A true CN112395276A (zh) | 2021-02-23 |
| CN112395276B CN112395276B (zh) | 2024-05-28 |
Family
ID=74600814
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011270960.1A Active CN112395276B (zh) | 2020-11-13 | 2020-11-13 | 一种数据比对方法及相关设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112395276B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113065051A (zh) * | 2021-04-02 | 2021-07-02 | 西南石油大学 | 一种可视化农业大数据分析交互系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11102363A (ja) * | 1997-09-26 | 1999-04-13 | Sharp Corp | データ管理システム及び記録媒体 |
| US20120317134A1 (en) * | 2011-06-09 | 2012-12-13 | International Business Machines Incorporation | Database table comparison |
| CN104424219A (zh) * | 2013-08-23 | 2015-03-18 | 华为技术有限公司 | 一种数据文件的管理方法及装置 |
| US20170237445A1 (en) * | 2014-08-05 | 2017-08-17 | Illumina Cambridge Limited | Methods and systems for data analysis and compression |
| CN107301203A (zh) * | 2017-05-27 | 2017-10-27 | 北京思特奇信息技术股份有限公司 | 一种海量数据的比对方法及系统 |
| WO2018121025A1 (zh) * | 2016-12-30 | 2018-07-05 | 华为技术有限公司 | 比较数据表的数据的方法和系统 |
| CN110290005A (zh) * | 2019-06-27 | 2019-09-27 | 杭州迪普信息技术有限公司 | 一种配置差异检测方法和装置 |
| CN110413629A (zh) * | 2019-08-06 | 2019-11-05 | 上海德拓信息技术股份有限公司 | 基于日志解析的异构数据库数据一致性的检查方法 |
| CN110765162A (zh) * | 2019-09-06 | 2020-02-07 | 上海陆家嘴国际金融资产交易市场股份有限公司 | 数据比对方法、装置、计算机设备和存储介质 |
-
2020
- 2020-11-13 CN CN202011270960.1A patent/CN112395276B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11102363A (ja) * | 1997-09-26 | 1999-04-13 | Sharp Corp | データ管理システム及び記録媒体 |
| US20120317134A1 (en) * | 2011-06-09 | 2012-12-13 | International Business Machines Incorporation | Database table comparison |
| CN104424219A (zh) * | 2013-08-23 | 2015-03-18 | 华为技术有限公司 | 一种数据文件的管理方法及装置 |
| US20170237445A1 (en) * | 2014-08-05 | 2017-08-17 | Illumina Cambridge Limited | Methods and systems for data analysis and compression |
| WO2018121025A1 (zh) * | 2016-12-30 | 2018-07-05 | 华为技术有限公司 | 比较数据表的数据的方法和系统 |
| CN107301203A (zh) * | 2017-05-27 | 2017-10-27 | 北京思特奇信息技术股份有限公司 | 一种海量数据的比对方法及系统 |
| CN110290005A (zh) * | 2019-06-27 | 2019-09-27 | 杭州迪普信息技术有限公司 | 一种配置差异检测方法和装置 |
| CN110413629A (zh) * | 2019-08-06 | 2019-11-05 | 上海德拓信息技术股份有限公司 | 基于日志解析的异构数据库数据一致性的检查方法 |
| CN110765162A (zh) * | 2019-09-06 | 2020-02-07 | 上海陆家嘴国际金融资产交易市场股份有限公司 | 数据比对方法、装置、计算机设备和存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113065051A (zh) * | 2021-04-02 | 2021-07-02 | 西南石油大学 | 一种可视化农业大数据分析交互系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112395276B (zh) | 2024-05-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106202235B (zh) | 一种数据处理方法及装置 | |
| US8370303B1 (en) | Generating snapshots of data tables | |
| US20160364273A1 (en) | Data Processing Apparatus and Method for Processing Serial Tasks | |
| US10496659B2 (en) | Database grouping set query | |
| CN111061758B (zh) | 数据存储方法、装置及存储介质 | |
| CN109359109B (zh) | 一种基于分布式流计算的数据处理方法及系统 | |
| CN109359141B (zh) | 一种可视化报表数据展示方法及装置 | |
| CN112199935B (zh) | 数据的比对方法、装置、电子设备及计算机可读存储介质 | |
| CN108228443B (zh) | 一种web应用的测试方法及装置 | |
| CN106649210B (zh) | 一种数据转换方法及装置 | |
| CN112506992B (zh) | Kafka数据的模糊查询方法、装置、电子设备和存储介质 | |
| CN112395276A (zh) | 一种数据比对方法及相关设备 | |
| US20150205845A1 (en) | Next generation architecture for database connectivity | |
| CN112579676B (zh) | 异构系统间的数据处理方法、装置、存储介质和设备 | |
| CN112506490A (zh) | 一种接口生成方法、装置、电子设备及存储介质 | |
| CN112333294A (zh) | 日志归并方法、装置、介质和设备 | |
| CN109144809B (zh) | 一种焦点变化监控方法、存储介质、电子设备及系统 | |
| CN107153651B (zh) | 一种多维交叉数据处理方法及装置 | |
| CN112463785B (zh) | 一种数据质量监控方法、装置、电子设备及存储介质 | |
| CN110188069B (zh) | 一种csv文件存储方法、装置及计算机设备 | |
| CN111143464A (zh) | 数据获取方法、装置和电子设备 | |
| CN110888865A (zh) | 一种基于单向链表的数据处理方法及装置 | |
| CN111125425A (zh) | 一种视频数据的读写方法、系统、装置及可读存储介质 | |
| CN111625524B (zh) | 数据处理方法、装置、设备及存储介质 | |
| CN112463798B (zh) | 跨数据库数据提取方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |