CN111858738A - 数据信息传输方法、装置及计算机可读介质 - Google Patents
数据信息传输方法、装置及计算机可读介质 Download PDFInfo
- Publication number
- CN111858738A CN111858738A CN202010748892.9A CN202010748892A CN111858738A CN 111858738 A CN111858738 A CN 111858738A CN 202010748892 A CN202010748892 A CN 202010748892A CN 111858738 A CN111858738 A CN 111858738A
- Authority
- CN
- China
- Prior art keywords
- data information
- piece
- data
- identity
- transmission
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 82
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000012545 processing Methods 0.000 claims abstract description 40
- 230000002159 abnormal effect Effects 0.000 claims description 5
- 230000005012 migration Effects 0.000 description 9
- 238000013508 migration Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 6
- 239000002184 metal Substances 0.000 description 6
- 238000004806 packaging method and process Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了数据信息传输方法、装置及计算机可读介质，数据信息传输方法包括：获取源数据库和目标数据库中的至少一条数据信息，其中，每条数据信息中包括自身的身份标识，身份标识相同的数据信息包含的数据相同；根据所述身份标识对所述至少一条数据信息进行处理，得到至少一条传输数据信息；将所述至少一条传输数据信息传输给所述目标数据库。本发明的方案能够提高数据信息传输的效率。
Description
技术领域
本发明涉及数据处理技术领域，特别涉及数据信息传输方法、装置及计算机可读介质。
背景技术
在大数据时代，面对公司海量的数据信息，在面对系统升级或重构时，如何快速实现数据信息的迁移就显得誉为重要，也就是把其他源数据库中的数据信息传输到指定的目标数据库中，从而完成数据信息的迁移。
然而，在数据信息传输的时候，不会对源数据库和目标数据库中的数据信息进行处理，直接将源数据库中的数据信息写入目标数据库中，这样一来，不仅可能会造成目标数据库中的数据重复、错误，需要依次比对、删除，从而增大数据库的压力，导致数据信息传输效率较低。
因此，需要一种效率更高的数据信息传输方式。
发明内容
本发明实施例提供了数据信息传输方法、装置及计算机可读介质，能够提高数据传输的效率。
第一方面，本发明实施例提供了数据信息传输方法，包括：
获取源数据库和目标数据库中的至少一条数据信息，其中，每条数据信息中包括自身的身份标识，身份标识相同的数据信息包含的数据相同；
根据所述身份标识对所述至少一条数据信息进行处理，得到至少一条传输数据信息；
将所述至少一条传输数据信息传输给所述目标数据库。
优选地，
所述根据所述身份标识对所述至少一条数据信息进行处理，获得至少一条传输数据信息，包括：
针对于所述至少一个数据信息中的目标数据信息，判断所述至少一条数据信息中当前是否存在至少一条与自身的身份标识重复的数据信息，若是，将所述身份标识重复的数据信息删除；
将剩余未删除的至少一条数据信息作为所述传输数据信息。
优选地，
所述获取源数据库和目标数据库中的至少一条数据信息之后，还包括：
将所述数据信息的格式修改为所述目标数据库支持的数据格式。
优选地，
所述判断所述至少一条数据信息中当前是否存在至少一条与自身的身份标识重复的数据信息，若是，判断该目标数据信息的数据与所述身份标识重复的数据信息的数据是否相同，若是，将所述身份标识重复的数据信息删除，若否，发送异常报告。
第二方面，本发明实施例提供了数据信息传输装置，包括：
获取单元、处理单元、传输单元；
所述获取单元，用于获取源数据库和目标数据库中的至少一条数据信息，其中，每条数据信息中包括自身的身份标识，身份标识相同的数据信息包含的数据相同；
所述处理单元，用于根据所述身份标识对所述至少一条数据信息进行处理，得到至少一条传输数据信息；
所述传输单元，用于将所述至少一条传输数据信息传输给所述目标数据库。
优选地，
所述处理单元在执行所述根据所述身份标识对所述至少一条数据信息进行处理，获得至少一条传输数据信息时，具体执行：针对于所述至少一个数据信息中的目标数据信息，判断所述至少一条数据信息中当前是否存在至少一条与自身的身份标识重复的数据信息，若是，将所述身份标识重复的数据信息删除；
将剩余未删除的至少一条数据信息作为所述传输数据信息。
优选地，
所述获取单元，在执行所述所述获取源数据库和目标数据库中的至少一条数据信息之后，将所述数据信息的格式修改为所述目标数据库支持的数据格式。
优选地，
所述处理单元，用于判断所述至少一条数据信息中当前是否存在至少一条与自身的身份标识重复的数据信息，若是，判断该目标数据信息的数据与所述身份标识重复的数据信息的数据是否相同，若是，将所述身份标识重复的数据信息删除，若否，发送异常报告。
第三方面，本发明实施例提供了数据信息传输装置，包括：至少一个存储器和至少一个处理器；
所述至少一个存储器，用于存储机器可读程序；
所述至少一个处理器，用于调用所述机器可读程序，执行权利要求1至4中任一所述的方法。
第四方面，本发明实施例提供了计算机可读介质，所述计算机可读介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行权利要求1至4中任一所述的方法。
由上述技术方案可知，首先，从数据信息来源的源数据库和作为数据信息传输目标的目标数据库中获取两者已保存的至少一条数据信息，每条数据信息都有自己的唯一身份标识，因此通常来说身份标识相同的数据信息包含的数据是相同的。根据身份标识对所述至少一条数据信息进行处理，得到要向目标数据库传输的至少一条传输数据信息，将所述至少一条传输数据信息传输给所述目标数据库。由此可见，本发明提供的方案会根据数据信息的身份标识对数据进行进行处理，获得能够进行数据信息传输的传输数据信息，而不是直接将源数据库中的数据信息不做任何处理就传输给目标数据库，通过传输处理后的传输数据信息能够避免影响传输效率的情况发生，因此，本发明的方案能够提高数据信息传输的效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供的一种数据传输方法的流程图；
图2是本发明一实施例提供的源数据库中的数据表格；
图3是本发明一实施例提供的目标数据库中的数据表格；
图4是本发明一实施例提供的一种数据传输装置的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
如前所述在大数据时代，面对公司海量的数据信息，在面对系统升级或重构时，如何快速实现数据信息的迁移就显得誉为重要，也就是把其他源数据库中的数据信息传输到指定的目标数据库中，从而完成数据信息的迁移。
然而，在数据信息传输的时候，不会对源数据库和目标数据库中的数据信息进行处理，直接将源数据库中的数据信息写入目标数据库中，这样一来，不仅可能会造成目标数据库中的数据重复、错误，需要依次比对、删除，从而增大数据库的压力，导致数据信息传输效率较低。
下面结合附图对本发明实施例提供的智能设备控制面板和智能设备控制系统进行详细说明。
如图1所示，本发明一实施例提供了一种数据信息传输方法，该方法包括以下步骤：
步骤101：获取源数据库和目标数据库中的至少一条数据信息，其中，每条数据信息中包括自身的身份标识，身份标识相同的数据信息包含的数据相同。
步骤102：根据所述身份标识对所述至少一条数据信息进行处理，得到至少一条传输数据信息。
步骤103：将所述至少一条传输数据信息传输给所述目标数据库。
具体来说，首先，从数据信息来源的源数据库和作为数据信息传输目标的目标数据库中获取两者已保存的至少一条数据信息，每条数据信息都有自己的唯一身份标识，因此通常来说身份标识相同的数据信息包含的数据是相同的。根据身份标识对所述至少一条数据信息进行处理，得到要向目标数据库传输的至少一条传输数据信息，将所述至少一条传输数据信息传输给所述目标数据库。由此可见，本发明提供的方案会根据数据信息的身份标识对数据进行进行处理，获得能够进行数据信息传输的传输数据信息，而不是直接将源数据库中的数据信息不做任何处理就传输给目标数据库，通过传输处理后的传输数据信息能够避免影响传输效率的情况发生，因此，本发明的方案能够提高数据信息传输的效率。
在本发明一实施例中，所述步骤102中所述根据所述身份标识对所述至少一条数据信息进行处理，获得至少一条传输数据信息，包括：
针对于所述至少一个数据信息中的目标数据信息，判断所述至少一条数据信息中当前是否存在至少一条与自身的身份标识重复的数据信息，若是，将所述身份标识重复的数据信息删除；
将剩余未删除的至少一条数据信息作为所述传输数据信息。
具体来说，由于每个相同的身份标识对应的数据信息包含的数据是相同的，因此，可以根据身份标识来判断是否存在重复的数据信息。将源数据库和目标数据库在一起的所有数据信息进行比对，然后针对所有数据信息中的目标数据信息，判断是否有与目标数据信息的身份标识重复的数据信息，说明这些身份标识重复的数据信息中包含的数据和目标数据信息包含的数据相同，因此，将身份标识重复的这些数据信息删除，这样，就实现了过滤重复数据信息的效果。
在本发明一实施例中，在所述步骤101中所述获取源数据库和目标数据库中的至少一条数据信息之后，还包括：
将所述数据信息的格式修改为所述目标数据库支持的数据格式。
具体来说，为了防止数据信息因为格式不正确而无法成功传输至目标数据库，在根据身份标识对数据信息进行处理前，提前将数据信息的格式修改为目标数据库支持的格式，保证数据信息传输的成功。
在本发明一实施例中，所述判断所述至少一条数据信息中当前是否存在至少一条与自身的身份标识重复的数据信息，若是，判断该目标数据信息的数据与所述身份标识重复的数据信息的数据是否相同，若是，将所述身份标识重复的数据信息删除，若否，发送异常报告。
具体来说，身份标识相同的数据信息中包含的数据应当是相同的，然而，对于某些特殊格式，会出现数据不同的情况。一般这种情况是存在于日期格式以及数组格式中。相同的data数据可能是yyyy-MM-dd，也可能是yyyy-MM-dd HH:mm:ss，会导致判断有问题，返回bug。而数组格式是因为有些数据库不支持数组格式，所以在传输过程中数据格式会改变或者无法传输。key值一般不会用这两种格式的数据，如果出现的话，数据传输的过程中此条数据信息会报错，发送异常报告提醒用户。
上述提供的数据传输方法，可以通过DataX来实现，DataX实现了在异构的数据库之间高速交换数据的功能，实现在任意的数据系统之间的数据同步。其工作原理为：
DataX会启动一个进程来完成整个作业的同步过程。Job指代的是单个作业，作为中枢管理节点，承担了数据清理、任务切分、Task管理等功能。在启动Job后，切分成多个小子任务(Task)，便于并发执行。Task作为DataX作业的最小单元，每一个Task都会负责相应的数据同步工作。在通过Scheduler模块，根据配置的并发数据量，将拆分成的Task重新组合，组装成任务组(TaskGroup)。TaskGroup启动后，其负责的每一个Task都会自动启动，然后按照固定的逻辑运行Reader—>Channel—>Writer的线程来完成任务同步工作。DataX作业运行起来之后，Job监控并等待多个TaskGroup模块任务完成，等待所有TaskGroup任务完成后Job成功退出。
为了弥补数据信息传输过程中的不足，本发明通过采取兼职对(key-data)比较的方法进行实现，也就是将源数据库与目标库的每条数据封装成键值对，其中key值唯一且在源数据库与目标库中一一对应，key即为每个数据信息的身份标识。
通过通过DataX提供的Reader组件获取源数据库与目标数据库的数据，在执行job的init()方法时，会初始化Reader插件，同时也会对reader的configuration进行配置，读取源数据源与目标数据源每条数据信息的key对封装成map对象，确保源数据源与目标数据源的key值唯一并一一对应。再将map对象中具有相同key的数据存储在Collection对象中，进行下一步处理。
比如说，源数据库中包括如图2所示的数据表格，目标数据库中包括如图3所示的表格，通过表格可以看出，
目标数据源图3中既有源数据库图2的数据，也有图2中不存在的数据。下面，获取两个表格中的数据信息。
将图2中的数据信息提取出来封装成map对象：
Map(1，(姓名：姓名1，性别：男，type：table_A))；
Map(2，(姓名：姓名2，性别：女，type：table_A))；
Map(3，(姓名：姓名3，性别：男，type：table_A))；
将图3中的数据信息提取出来封装成map对象：
Map(1，(姓名：姓名1，性别：男，type：table_B))；
Map(4，(姓名：姓名4，性别：女，type：table_B))；
其中type是用于标注数据的来源，判断其属于源数据库还是目标数据库，属于自动生成字段。
之后，通过身份标识key来对map对象的数据信息进行处理。将map对象根据key相同的数据进行封装到Collection对象中，形成的Collection对象将会是：
Collection(1，(姓名：姓名1，性别：男，type：table_A)，(姓名：姓名1，性别：男，type：table_B))；
Collection(2，(姓名：姓名2，性别：女，type：table_A))；
Collection(3，(姓名：姓名3，性别：男，type：table_A))；
Collection(4，(姓名：姓名4，性别：女，type：table_B))。
将Collection中收集到的数据进行比对，若有key值相同的数据，会储存在一条Collection对象中，此时将Collection中的数据进行比对，如果前后key值相同而data不同，那么数据迁移的过程中，此条数据会报错，测试时会出现bug。
1)针对Collection对象进行比对之后，我们会得到如下的传输数据信息：
Collection(1，(姓名：姓名1，性别：男，))；
Collection(2，(姓名：姓名2，性别：女，))；
Collection(3，(姓名：姓名3，性别：男，))；
Collection(4，(姓名：姓名4，性别：女，))。
此时将Collection对象转换为DataX工具数据写入所能识别的格式，执行writer组件，将数据写入目标数据源中，至此数据迁移完成。
举例来说，数据信息为医院的员工信息，key值为每个员工信息最具代表性的标识，比如可以是医生的身份证号码。假设总共是有四个医生，医生1在两张表中是重复的，key相当于这四个医生的身份证，通过比较key的值来判断是否是重复数据，然后将重复的数据封装到一个Collection对象中之后，在这个Collection对象里面会对姓名，性别进行比对，如果确认是重复信息，过滤之后会自动删掉。比如医生1之前在一号医院，后来调到了二号医院，那么两个医院的数据库里都有医生1，我现在已经把一号医院的医生1数据导入到自己的数据库了，在导入二号医院的医生数据时，自己数据库已经存在了医生1，那么通过判断身份证号key值，就可以判断出医生1已经存在了就不需要再次导入了。
为测试此类方法的准确性，可以将上述流程在分布式系统中实现，例如Hadoop系统，使用Hadoop系统流程图如图3所示，下面是Hadoop系统测试的完整步骤：
1)使用DataX工具读取源数据库和目标数据库，并将表格式转换为Hadoop系统能够处理的格式，并将数据拉到Hadoop系统下。
2)在Hadoop系统中实现map对象的封装，将子系统的处理结果按照key值进行汇总到Collection对象中，并将Collection对象中的数据进行比较处理，将处理之后的结果转换为原格式。
Hadoop系统所反馈的结果返回给DataX工具，完成数据迁移工作。同时，针对key值相同而data值不同的结果，单独反馈为bug输出，方便查看。
如图4所示，本发明一实施例提供了数据信息传输装置，其特征在于，包括：
获取单元401、处理单元402、传输单元403；
所述获取单元401，用于获取源数据库和目标数据库中的至少一条数据信息，其中，每条数据信息中包括自身的身份标识，身份标识相同的数据信息包含的数据相同；
所述处理单元402，用于根据所述身份标识对所述至少一条数据信息进行处理，得到至少一条传输数据信息；
所述传输单元403，用于将所述至少一条传输数据信息传输给所述目标数据库。
在本发明一实施例中，所述处理单元402在执行所述根据所述身份标识对所述至少一条数据信息进行处理，获得至少一条传输数据信息时，具体执行：针对于所述至少一个数据信息中的目标数据信息，判断所述至少一条数据信息中当前是否存在至少一条与自身的身份标识重复的数据信息，若是，将所述身份标识重复的数据信息删除；
将剩余未删除的至少一条数据信息作为所述传输数据信息。
在本发明一实施例中，所述获取单元401，在执行所述所述获取源数据库和目标数据库中的至少一条数据信息之后，将所述数据信息的格式修改为所述目标数据库支持的数据格式。
在本发明一实施例中，所述处理单元402，用于判断所述至少一条数据信息中当前是否存在至少一条与自身的身份标识重复的数据信息，若是，判断该目标数据信息的数据与所述身份标识重复的数据信息的数据是否相同，若是，将所述身份标识重复的数据信息删除，若否，发送异常报告。
可以理解的是，本发明实施例示意的结构并不构成对数据信息传输装置的具体限定。在本发明的另一些实施例中，数据信息传输装置可以包括比图示更多或者更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件、软件或者软件和硬件的组合来实现。
上述装置内的各单元之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。
本发明还提供了一种计算机可读介质，存储用于使一计算机执行如本文所述的数据信息传输方法的指令。具体地，可以提供配有存储介质的系统或者装置，在该存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机(或CPU或MPU)读出并执行存储在存储介质中的程序代码。
在这种情况下，从存储介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此程序代码和存储程序代码的存储介质构成了本发明的一部分。
用于提供程序代码的存储介质实施例包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD+RW)、磁带、非易失性存储卡和ROM。可选择地，可以由通信网络从服务器计算机上下载程序代码。
此外，应该清楚的是，不仅可以通过执行计算机所读出的程序代码，而且可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全部的实际操作，从而实现上述实施例中任意一项实施例的功能。
此外，可以理解的是，将由存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展单元中设置的存储器中，随后基于程序代码的指令使安装在扩展板或者扩展单元上的CPU等来执行部分和全部实际操作，从而实现上述实施例中任一实施例的功能。
本发明各个实施例至少具有以下优点：
1、在本发明实施例中，本发明提供的方案会根据数据信息的身份标识对数据进行进行处理，获得能够进行数据信息传输的传输数据信息，而不是直接将源数据库中的数据信息不做任何处理就传输给目标数据库，通过传输处理后的传输数据信息能够避免影响传输效率的情况发生，因此，本发明的方案能够提高数据信息传输的效率。
2、在本发明实施例中，该发明简化了DataX增量同步配置，可实现数据在传输过程中的比较，简化了DataX工具的使用难度。
3、在本发明实施例中，通过分布式系统，可获得数据迁移详细结果，包括迁移成功数据，以及失败数据所返回的bug输出。
需要说明的是，上述各流程和各系统结构图中不是所有的步骤和模块都是必须的，可以根据实际的需要忽略某些步骤或模块。各步骤的执行顺序不是固定的，可以根据需要进行调整。上述各实施例中描述的系统结构可以是物理结构，也可以是逻辑结构，即，有些模块可能由同一物理实体实现，或者，有些模块可能分由多个物理实体实现，或者，可以由多个独立设备中的某些部件共同实现。
以上各实施例中，硬件单元可以通过机械方式或电气方式实现。例如，一个硬件单元可以包括永久性专用的电路或逻辑(如专门的处理器，FPGA或ASIC)来完成相应操作。硬件单元还可以包括可编程逻辑或电路(如通用处理器或其它可编程处理器)，可以由软件进行临时的设置以完成相应操作。具体的实现方式(机械方式、或专用的永久性电路、或者临时设置的电路)可以基于成本和时间上的考虑来确定。
上文通过附图和优选实施例对本发明进行了详细展示和说明，然而本发明不限于这些已揭示的实施例，基与上述多个实施例本领域技术人员可以知晓，可以组合上述不同实施例中的代码审核手段得到本发明更多的实施例，这些实施例也在本发明的保护范围之内。
Claims (10)
1.数据信息传输方法，其特征在于，
获取源数据库和目标数据库中的至少一条数据信息，其中，每条数据信息中包括自身的身份标识，身份标识相同的数据信息包含的数据相同；
根据所述身份标识对所述至少一条数据信息进行处理，得到至少一条传输数据信息；
将所述至少一条传输数据信息传输给所述目标数据库。
2.根据权利要求1所述的方法，其特征在于，
所述根据所述身份标识对所述至少一条数据信息进行处理，获得至少一条传输数据信息，包括：
针对于所述至少一个数据信息中的目标数据信息，判断所述至少一条数据信息中当前是否存在至少一条与自身的身份标识重复的数据信息，若是，将所述身份标识重复的数据信息删除；
将剩余未删除的至少一条数据信息作为所述传输数据信息。
3.根据权利要求1所述的方法，其特征在于，
所述获取源数据库和目标数据库中的至少一条数据信息之后，进一步包括：
将所述数据信息的格式修改为所述目标数据库支持的数据格式。
4.根据权利要求2所述的方法，其特征在于，
所述判断所述至少一条数据信息中当前是否存在至少一条与自身的身份标识重复的数据信息，若是，判断该目标数据信息的数据与所述身份标识重复的数据信息的数据是否相同，若是，将所述身份标识重复的数据信息删除，若否，发送异常报告。
5.数据信息传输装置，其特征在于，包括：
获取单元、处理单元、传输单元；
所述获取单元，用于获取源数据库和目标数据库中的至少一条数据信息，其中，每条数据信息中包括自身的身份标识，身份标识相同的数据信息包含的数据相同；
所述处理单元，用于根据所述身份标识对所述至少一条数据信息进行处理，得到至少一条传输数据信息；
所述传输单元，用于将所述至少一条传输数据信息传输给所述目标数据库。
6.根据权利要求5所述的装置，其特征在于，
所述处理单元在执行所述根据所述身份标识对所述至少一条数据信息进行处理，获得至少一条传输数据信息时，具体执行：针对于所述至少一个数据信息中的目标数据信息，判断所述至少一条数据信息中当前是否存在至少一条与自身的身份标识重复的数据信息，若是，将所述身份标识重复的数据信息删除；
将剩余未删除的至少一条数据信息作为所述传输数据信息。
7.根据权利要求5所述的装置，其特征在于，
所述获取单元，在执行所述所述获取源数据库和目标数据库中的至少一条数据信息之后，将所述数据信息的格式修改为所述目标数据库支持的数据格式。
8.根据权利要求6所述的装置，其特征在于，
所述处理单元，用于判断所述至少一条数据信息中当前是否存在至少一条与自身的身份标识重复的数据信息，若是，判断该目标数据信息的数据与所述身份标识重复的数据信息的数据是否相同，若是，将所述身份标识重复的数据信息删除，若否，发送异常报告。
9.数据信息传输装置，其特征在于，包括：至少一个存储器和至少一个处理器；
所述至少一个存储器，用于存储机器可读程序；
所述至少一个处理器，用于调用所述机器可读程序，执行权利要求1至4中任一所述的方法。
10.计算机可读介质，其特征在于，所述计算机可读介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行权利要求1至4中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010748892.9A CN111858738A (zh) | 2020-07-30 | 2020-07-30 | 数据信息传输方法、装置及计算机可读介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010748892.9A CN111858738A (zh) | 2020-07-30 | 2020-07-30 | 数据信息传输方法、装置及计算机可读介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111858738A true CN111858738A (zh) | 2020-10-30 |
Family
ID=72946154
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010748892.9A Withdrawn CN111858738A (zh) | 2020-07-30 | 2020-07-30 | 数据信息传输方法、装置及计算机可读介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111858738A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116089436A (zh) * | 2022-11-29 | 2023-05-09 | 荣耀终端有限公司 | 一种大数据量的数据稽核方法和电子设备 |
-
2020
- 2020-07-30 CN CN202010748892.9A patent/CN111858738A/zh not_active Withdrawn
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116089436A (zh) * | 2022-11-29 | 2023-05-09 | 荣耀终端有限公司 | 一种大数据量的数据稽核方法和电子设备 |
| CN116089436B (zh) * | 2022-11-29 | 2023-11-07 | 荣耀终端有限公司 | 一种大数据量的数据稽核方法和电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110781231B (zh) | 基于数据库的批量导入方法、装置、设备及存储介质 | |
| CN108667725A (zh) | 一种基于多种接入及边缘计算的工业软网关以及实现方法 | |
| CN109299074B (zh) | 一种基于模板化数据库视图的数据校验方法及系统 | |
| CN109995643A (zh) | 业务邮件推送方法及装置 | |
| CN112015815A (zh) | 数据同步方法、装置及计算机可读存储介质 | |
| CN114780370A (zh) | 基于日志的数据修正方法、装置、电子设备及存储介质 | |
| JP6615071B2 (ja) | 計算機システム及びテストケース管理方法 | |
| CN111858738A (zh) | 数据信息传输方法、装置及计算机可读介质 | |
| CN111753015B (zh) | 支付清算系统的数据查询方法及装置 | |
| CN105933396B (zh) | 一种协同各渠道系统接口实现长流程的方法及系统 | |
| CN108363671B (zh) | 一种接口切换的方法、终端设备及存储介质 | |
| CN115145870A (zh) | 失败任务原因定位方法、装置、电子设备及存储介质 | |
| CN113254446B (zh) | 数据融合方法、装置、电子设备及介质 | |
| CN114691782A (zh) | 数据库表增量同步方法、装置及存储介质 | |
| CN112148574B (zh) | 一种性能数据采集方法、计算机设备及存储介质 | |
| CN114116253A (zh) | 一种消息队列的消息处理方法及系统 | |
| CN110347650B (zh) | 一种元数据采集方法及装置 | |
| CN114721952A (zh) | 多套测试环境同步部署方法、装置、设备及存储介质 | |
| CN102630087A (zh) | 异构处理方法及装置 | |
| CN113723813A (zh) | 业绩排行方法、装置、电子设备及可读存储介质 | |
| CN113469649A (zh) | 项目进度分析方法、装置、电子设备及存储介质 | |
| CN112596806A (zh) | 数据湖数据加载脚本生成方法和系统 | |
| CN113033169A (zh) | 业务数据处理方法和装置 | |
| CN111767703A (zh) | 表单数据采集方法、装置和系统 | |
| CN111865930B (zh) | 一种不间断电源字符类协议自动提取的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20201030 |