CN111708794A - 基于大数据平台的数据比对方法、装置和计算机设备 - Google Patents
基于大数据平台的数据比对方法、装置和计算机设备 Download PDFInfo
- Publication number
- CN111708794A CN111708794A CN202010574263.9A CN202010574263A CN111708794A CN 111708794 A CN111708794 A CN 111708794A CN 202010574263 A CN202010574263 A CN 202010574263A CN 111708794 A CN111708794 A CN 111708794A
- Authority
- CN
- China
- Prior art keywords
- data
- comparison
- compared
- task scheduling
- database table
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000003709 image segmentation Methods 0.000 claims description 28
- 238000004590 computer program Methods 0.000 claims description 27
- 230000002159 abnormal effect Effects 0.000 claims description 26
- 230000005540 biological transmission Effects 0.000 claims description 12
- 238000013075 data extraction Methods 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 abstract description 6
- 238000012545 processing Methods 0.000 description 20
- 239000000284 extract Substances 0.000 description 14
- 230000008569 process Effects 0.000 description 13
- 230000001360 synchronised effect Effects 0.000 description 10
- 230000003203 everyday effect Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000004888 barrier function Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000008676 import Effects 0.000 description 3
- 238000013500 data storage Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000007306 turnover Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013501 data transformation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000011068 loading method Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012015 optical character recognition Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2365—Ensuring data consistency and integrity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/148—Segmentation of character regions
- G06V30/153—Segmentation of character regions using recognition of characters or words
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Security & Cryptography (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请大数据技术领域，特别涉及一种基于大数据平台的数据比对方法、装置和计算机设备。所述方法包括：接收任务调度请求，任务调度请求中携带有多个来源业务标识；分别从各来源业务标识对应的业务系统中提取比对数据以及待比对数据；利用预设算法将比对数据存储至对应格式类型的比对数据库表；利用预设算法将待比对数据存储至对应格式类型的待比对数据库表；将比对数据库表与待比对数据库表中的数据分别进行比对，并将比对失败的数据进行推送。采用本方法能够提高数据比对的效率。此外，本发明还涉及区块链技术，所述比对数据和/或所述待比对数据可存储于区块链中。
Description
技术领域
本申请涉及大数据技术领域，特别是涉及一种基于大数据平台的数据比对方法、装置和计算机设备。
背景技术
在具体的业务场景中，存储于不同业务系统中的数据需要进行数据比对，以保证同一个数据在不同业务系统中的一致性，如可以对不同业务系统中存储的应收手续费进行比对以保证应收手续费数据在不同业务系统中的正确性。但是由于不同业务系统间存在跨系统使得数据存储的方式不同，进而导致不同业务系统中存储的数据不能直接进行比对。
传统技术中，实现数据在不同业务系统间的比对，需要先将待比对数据同步到能够与目标业务系统直接进行数据比对的中间业务系统，然后再利用同步到中间业务系统中的数据与目标业务系统中的数据进行比对，需要多个业务系统同时参与到数据的同步过程，使得数据同步的难度较大，并且在数据同步的过程中多个业务系统的参与，还会使得同步的数据量比较大的，导致数据比对的效率低下，此外在数据同步的时候，还会出现数据同步不完整的情况，进而使得利用同步过来的数据进行数据比对的准确率低下。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高数据比对效率的基于大数据平台的数据比对方法、装置、计算机设备和存储介质。
一种基于大数据平台的数据比对方法，方法包括：
接收任务调度请求，任务调度请求中携带有多个来源业务标识；
分别从各来源业务标识对应的业务系统中提取比对数据以及待比对数据；
利用预设算法将比对数据存储至对应格式类型的比对数据库表；
利用预设算法将待比对数据存储至对应格式类型的待比对数据库表；
将比对数据库表与待比对数据库表中的数据分别进行比对，并将比对失败的数据进行推送。
在其中一个实施例中，将比对数据库表与待比对数据库表中的数据分别进行比对，并将比对失败的数据进行推送，包括：
从比对数据库表中提取比对字段对应的比对数据；
从待比对数据库表中提取待比对字段对应的待比对数据；
将比对数据与待比对数据进行比对；
当比对失败时，将比对失败的比对字段以及待比对字段进行推送。
在其中一个实施例中，当比对失败时，将比对失败的比对字段以及待比对字段进行推送，包括：
当比对失败时，将比对失败的比对字段以及待比对字段标记为异常数据；
通过预先配置的数据传递接口将异常数据同步至业务系统，以指示业务系统对异常数据进行校验。
在其中一个实施例中，接收任务调度请求之前，还包括：
接收针对任务调度请求的任务调度参数；
根据任务调度参数生成任务调度请求。
在其中一个实施例中，分别从各来源业务标识对应的业务系统中提取比对数据以及待比对数据，包括：
从任务调度请求中提取任务调度时间、比对业务标识以及待比对业务标识；
根据任务调度时间分别从比对业务标识对应的比对业务系统中提取比对数据，从待比对业务标识对应的待比对业务系统中提取待比对数据。
在其中一个实施例中，分别从各来源业务标识对应的业务系统中提取比对数据以及待比对数据，包括：
分别从各来源业务标识对应的业务系统中提取比对图像以及待比对图像；
对比对图像以及待比对图像进行图像分割得到包含数据的目标图像；
对目标图像进行内容识别得到比对数据以及待比对数据。
在其中一个实施例中，对比对图像以及待比对图像进行图像分割得到包含数据的目标图像，包括：
利用预先训练的图像分割模型对比对图像以及待比对图像进行图像分割，得到包含表格数据的目标图像；
对目标图像进行内容识别得到比对数据以及待比对数据，包括：
利用文字识别算法对目标图像进行字符识别得到比对数据以及待比对数据；其中，所述比对数据和/或所述待比对数据和/或比对图像和/或待比对图像和/或比对失败的数据存储于区块链中。
一种基于大数据平台的数据比对装置，装置包括：
请求接收模块，用于接收任务调度请求，任务调度请求中携带有多个来源业务标识；
数据提取模块，用于分别从各来源业务标识对应的业务系统中提取比对数据以及待比对数据；
比对表获取模块，用于利用预设算法将比对数据存储至对应格式类型的比对数据库表；
待比对表获取模块，用于利用预设算法将待比对数据存储至对应格式类型的待比对数据库表；
比对模块，用于将比对数据库表与待比对数据库表中的数据分别进行比对，并将比对失败的数据进行推送。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。
上述基于大数据平台的数据比对方法、装置、计算机设备和存储介质，接收任务调度请求，任务调度请求中携带有多个来源业务标识；分别从各来源业务标识对应的业务系统中提取比对数据以及待比对数据；利用预设算法将比对数据存储至对应格式类型的比对数据库表，以及利用预设算法将待比对数据存储至对应格式类型的待比对数据库表；将比对数据库表与待比对数据库表中的数据分别进行比对得到不同业务系统中数据的比对结果。通过将从各业务系统中获取到的数据存储为预设格式的数据库表，进而实现了直接根据数据库表执行不同业务系统之间的数据比对，解决了不同业务系统之间不能直接进行数据交互的弊端，并且在数据比对的过程中只需要将比对业务系统以及待比对业务系统中的数据进行比对，不需要多个业务系统的参与，进而减少了计算机资源的浪费提高了数据比对的效率。进一步地，当比对失败时还可以将比对失败的数据进行推送，使得能够及时获取失败数据并对失败数据执行相关的业务操作，通过时刻监控比对失败的数据并进行推送能够保证数据比对业务的正常进行以及提高数据比对的准确率。
附图说明
图1为一个实施例中基于大数据平台的数据比对方法的应用环境图；
图2为一个实施例中基于大数据平台的数据比对方法的流程示意图；
图3为一个实施例中从各来源业务标识对应的业务系统中提取比对数据以及待比对数据的方法流程示意图；
图4为一个实施例中基于大数据平台的数据比对装置的结构框图；
图5为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的基于大数据平台的数据比对方法，可以应用于如图1所示的应用环境中。其中，比对业务系统101以及待比对业务系统102通过网络与大数据平台103进行通信。具体地，大数据平台103接收任务调度请求，任务调度请求中携带有多个来源业务标识，来源业务标识包括待比对业务标识以及比对业务标识；大数据平台103分别从比对业务标识对应的比对业务系统102中提取比对数据以及从待比对业务标识对应的待比对业务系统103中提取待比对数据；大数据平台103利用预设算法将比对数据存储至对应格式类型的比对数据库表；大数据平台103利用预设算法将待比对数据存储至对应格式类型的待比对数据库表；大数据平台103将比对数据库表与待比对数据库表中的数据分别进行比对，并将比对失败的数据进行推送至比对业务系统101或者待比对业务系统102。
在一个实施例中，如图2所示，提供了一种基于大数据平台的数据比对方法，以该方法应用于图1中的大数据平台103为例进行说明，包括以下步骤：
步骤210，接收任务调度请求，任务调度请求中携带有多个来源业务标识。
任务调度是指从计算机中获取资源的过程，如各种企业应用都会遇到任务调度的需求，比如每天凌晨统计论坛用户的积分排名等等，即在特定的时间做特定的事情。具体地，任务调度对应的调度框架可属于分布式执行，分布式应用可以在给定时间同时在网络的多个系统上运行，通过协调它们以快速有效的完成特定任务。具体地，大数据平台如Hadoop平台接收任务调度请求，从任务调度请求中提取多个来源业务标识，然后对多个来源业务标识对应的业务系统中执行调度任务。
来源业务标识用于唯一标识数据来源的业务系统，当大数据平台接收到任务调度请求时执行从各来源业务标识对应的业务系统中调度任务。进一步地，来源业务标识可包含多个如两个或者两个以上，分别对应不同的业务系统。
步骤220，分别从各来源业务标识对应的业务系统中提取比对数据以及待比对数据。
具体地，大数据平台从接收到的任务调度请求中提取来源业务标识，然后从来源业务标识对应的业务系统中提取目标数据。其中，目标数据可包含从比对业务系统中获取到的比对数据以及从待比对业务系统中获取到的待比对数据。在具体实施中，比对数据可以为存储在业务系统中的财务数据，具体地财务数据可以为保单中的应收手续费数据，待比对数据可以为财务中心存储的财务数据，并且财务中心中的财务数据可以是从业务系统中同步过来的数据，通过将比对数据与待比对数据进行数据比对可对不同业务系统中数据同步的准确率进行验证。进一步地，业务系统中存储了大量的业务数据，大数据平台可以根据预先设定的需求分别从各业务系统中的业务数据中提取需求的比对数据以及待比对数据，然后将提取到的比对数据以及待比对数据存储至大数据平台中的预设数据库中。进一步地，大数据平台可以并行从多个业务系统中执行任务调度，进而可以同时从多个业务系统中获取数据以提高数据获取的效率。
步骤230，利用预设算法将比对数据存储至对应格式类型的比对数据库表。
由于来自不同业务系统中的数据间存在跨系统障碍，使得不同业务系统中的数据不能直接进行比对，当需要将不同业务系统中的数据进行数据比对时需要将从属于不同系统的数据同步到同一个系统才能做数据处理，在具体的业务过程中，如果在创展财务系统做应收手续费对账功能的话，就需要先把产险手续费同步到创展财务系统中，再进行应收手续费对账，而且同步的数据量(每天有百万条手续费)往往是比较大的。并且在数据同步的过程中，会具有多个中间业务系统的参与，造成数据同步占用大量的计算机资源，导致数据同步效率低下，进而造成数据比对的效率低下。并且不同业务系统之间的数据传输不仅需要打破业务系统之间的数据传输壁垒，同时在数据同步的时候，还有可能出现数据不完整的情况，比如说执行超时，服务器突然故障等原因都会造成数据同步过程中无法保证数据同步的准确性。
本步骤中利用大数据平台从不同业务系统中获取业务数据后，将业务数据存储至对应格式类型的数据库表中，以使得可以根据数据库表直接进行数据的比对，具体地，大数据平台中可以预先配置hive数据库，然后将接收到的数据存储至hive数据库中，利用大数据平台中的hive数据库存储数据，提高了数据的处理性能。具体地，包括：在hive数据库中直接关联不同业务系统对应的数据库的表查询，如可以对产险财务系统中的手续费表和已同步到创展财务系统中手续费表的数据进行数据对账，并实时记录对账差异数据，减少了不同业务系统中数据库之间大量数据同步的步骤，解决了数据处理耗时长的问题。其中hive数据库是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。具体地，hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行，进一步地hive数据库还可适用于高吞吐的读写场景，采用类似SQL的查询语句HQL。
步骤240，利用预设算法将待比对数据存储至对应格式类型的待比对数据库表。
大数据平台将获取到的待比对数据存储至预先配置的hive数据库中，进而生成待比对数据库表。具体地，大数据平台中的hive数据库能够将从不同业务系统中获取到的数据进行数据处理，如可以将从业务系统中获取到的结构化的数据文件映射为一张数据库表，使得来自不同业务系统中的数据之间能够打破跨系统的壁垒，进而能够直接在大数据平台中进行数据的比对。
步骤250，将比对数据库表与待比对数据库表中的数据分别进行比对，并将比对失败的数据进行推送。
具体地，大数据平台根据比对数据库表以及待比对数据库表将对应的数据进行比对，并且当数据比对通过时说明待比对数据与比对数据在不同业务系统中是一致的，故而数据是正确的，当数据比对未通过时，说明比对数据与待比对数据在不同业务系统中是不一致的，判定数据为不合格数据，给出待比对数据以及比对数据是错误的指示，如可以将错误的数据进行推送，如可以推送至业务系统中以指示业务系统对错误的数据进行处理。
在本实施例中，使用大数据平台可以直接从多个业务系统中获取数据，并且还能够直接对多个如两个系统如产险财务手续费和创展财务手续费进行对账，不仅不需要打破在不同业务系中进行数据同步的系统壁垒，也避免了不必要的业务系统的参与，极大地减少了不必要的数据处理过程，极大地提高了数据比对的效率。进一步地，将应收手续费对账功能与业务系统解耦，不会受业务系统的影响，同时减少了业务系统的负载。
在其中一个实施例中，将比对数据库表与待比对数据库表中的数据分别进行比对，并将比对失败的数据进行推送，包括：从比对数据库表中提取比对字段对应的比对数据；从待比对数据库表中提取待比对字段对应的待比对数据；将比对数据与待比对数据进行比对；当比对失败时，将比对失败的比对字段以及待比对字段进行推送。
数据库表中存储了大量的业务数据，具体地，数据库表中包含很多字段，并且字段与业务数据关联存储，并且数据库表中存储的业务数据中包含需要进行比对的数据也包含不需要进行比对的数据。具体地，任务调度请求中携带有字段标识，字段标识用于标识需要进行数据比对的字段，如字段标识包含比对字段标识以及待比对字段标识，大数据平台根据比对字段标识以及待比对字段标识分别从对应的业务系统中提取比对数据以及待比对数据。具体地，大数据平台根据获取到的需要进行数据比对的字段标识，利用字段标识从数据库表中提取字段标识对应的字段，以及查找字段对应的数据，然后将查找到的数据进行数据比对。如大数据平台根据比对字段标识从比对数据库表中提取比对字段，根据比对字段查找对应的比对数据，根据待比对字段从待比对数据库表中提取待比对字段，根据待比对字段查找对应的待比对数据。然后大数据平台根据预设的数据比对技术对比对数据与待比对数据进行比对，若比对数据与待比对数据为一致判定该字段对应的数据是正确的数据，若比对数据与待比对数据不一致时说明该字段对应的数据是错误的数据，进一步地，将该比对失败的字段标识进行推送如将比对字段以及待比对字段进行推送。
在本实施例中，在数据比对的过程中，利用大数据平台获取到的字段标识从比对数据库表以及待比对数据库表中提取比对数据以及待比对数据，而不是对数据库表中的所有字段的数据皆进行数据比对，减少了不必要的数据比对过程，提高了数据比对的效率。
在其中一个实施例中，当比对失败时，将比对失败的比对字段以及待比对字段进行推送，包括：当比对失败时，将比对失败的比对字段以及待比对字段标记为异常数据；通过预先配置的数据传递接口将异常数据同步至业务系统，以指示业务系统对异常数据进行校验。
数据传递接口可以是大数据平台中预先配置的数据发送接口，如具体地可以为Sqoop，当比对未通过时，将比对未通过的异常数据通过大数据平台中预先配置的sqoop同步至业务系统中，并在预设的时间使得业务系统将异常数据发送至对应的用户终端。其中Sqoop是一个数据导入导出工具，用来将Hadoop和业务系统中的关系型数据库中的数据相互转移的工具，可以将一个关系型数据库例如MySQL、Oracle、Postgres等中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中，其中Hadoop对海量数据进行分布式处理。
在具体实施中，大数据平台可以直接对产险的手续费表和创展的手续费表进行数据对账，把对账后的差异应收手续费数据通过sqoop同步到业务系统如创展财务数据库，然后通过定时邮件的形式将差异数据发给相关责任人处理，处理成功后数据状态会翻转，如可以将异常数据翻转为正常数据。这样可以第一时间发现问题，解决问题，避免造成同一时间处理大量异常数据的情况。
在本实施例中，大数据平台将比对失败的数据标记为异常数据，进而可以及时将异常数据进行数据推送，以及时对异常数据进行处理，实现了对业务数据的实时监控，保证了业务的正常执行。
在其中一个实施例中，接收任务调度请求之前，还包括：接收针对任务调度请求的任务调度参数；根据任务调度参数生成任务调度请求。
针对某一个具体的待处理业务，可以预先在服务器中配置好任务调度需求，以使得大数据平台可以根据预先设置的任务调度需求执行任务调度作业。具体地，根据预先配置的任务调度需求，触发大数据平台从多个业务系统中执行任务调度，得到比对数据以及待比对数据。在具体实施中可以利用灵度任务调度平台(Linkdo)从业务系统中获取比对数据以及待比对数据，如大数据平台可以每天在固定的时间通过Linkdo任务调度平台执行调度任务，进一步地，还可以提供可视化的Linkdo任务调度平台，支持任务的配置，操作，日志查询，清单提取，进而可以快速分析任务的调度情况和数据处理情况。采用任务调度的方式，每天定时对手续费数据处理，可以方便快捷的监控任务运行情况。
在具体实施中，应收手续费对账利用大数据平台进行产险财务手续费和创展财务手续费对账，每天会定点通过Linkdo任务调度平台调度，使用大数据平台可以直接对两个业务系统中的手续费对账，并且把对账后的差异应收手续费数据通过sqoop同步到创展财务数据库，然后通过邮件的形式将差异数据发给相关责任人处理，可以第一时间发现有差异的手续费数据，并邮件通知责任人处理，提高问题处理速度。并且，将对账功能利用LINKDO自动调度运行，每天得到全量的汇总差异手续费数据，定时去跟进，使得每月月底前可以确保差异表没有遗留数据。
在本实施例中，采用任务调度的方式，每天定时对手续费数据处理，可以方便快捷的监控任务运行情况，提高数据比对的效率。
在其中一个实施例中，分别从各来源业务标识对应的业务系统中提取比对数据以及待比对数据，包括：从任务调度请求中提取任务调度时间、比对业务标识以及待比对业务标识；根据任务调度时间分别从比对业务标识对应的比对业务系统中提取比对数据，从待比对业务标识对应的待比对业务系统中提取待比对数据。
如任务调度需求中可包含任务调度时间、获取待比对数据的待比对业务系统标识以及获取比对数据对应的比对业务标识等。其中，任务调度时间可以为固定的时间，如每周三的凌晨1：00，也可以为根据不同的业务需求实时生成的动态时间，如可以根据调度任务的任务量大小动态生成调度时间，当任务量达到一定程度时触发大数据平台执行任务调动任务。具体地，大数据平台从任务调度需求中提取携带的任务调度时间以及比对业务标识以及待比对业务标识，以使得大数据平台根据提取到的任务调度时间内从比对业务标识对应的比对业务系统中提取比对数据，从待比对业务标识对应的待比对业务系统中提取待比对数据。
其中，任务调度需求中携带的业务系统标识可唯一标识业务系统，以使得大数据平台根据业务标识获取对应的业务系统，进而可以从业务系统中执行任务调度作业。如业务系统标识可包含产险业务标识以及创展业务标识，大数据平台根据业务标识从产险财务业务系统中的保险业务中获取对应的产险手续费，以及从创展财务业务系统中保险业务中获取对应的创展手续费。并且需要说明的是，大数据平台可以从云数据库中获取数据，也可以从本地数据库中获取数据，在此不作限制。
在其中一个实施例中，如图3所示，提供了一种从各来源业务标识对应的业务系统中提取比对数据以及待比对数据的方法流程示意图，包括：
具体地，大数据平台可以从任务调度需求中提取各业务系统标识对应的调度数据类型；从业务系统标识对应的业务系统中获取调度数据类型对应的数据。
具体地，任务调度需求中还可包含从业务系统中获取的调度数据的数据类型，具体地，数据类型可包含表格数据类型、文字数据类型以及图片数据类型。进一步地，还可以包含对各数据类型对应的数据如电子保单中的数据进行数据识别进而得到财务数据。
进一步地，当所述数据类型为图片类型时，还包括：对图片类型的数据进行识别得到文本格式类型的数据。如对图片进行识别的方法可包括对利用光学字符识别算法等。在其他实施例中，还可以包括对获取到的图片进行图像处理，如对图像进行锐化处理、膨胀处理或者腐蚀处理或者进行清晰度检测，具体地，当图像清晰度不符合标准时，还可以包括对图像进行清晰度处理，使其清晰度符合预设的标准。
步骤310，分别从各来源业务标识对应的业务系统中提取比对图像以及待比对图像。
具体地，当来源业务系统中的数据是以图像格式存储时，还包括从来源业务系统中的提取对应的图像数据，如可以根据比对业务标识获取比对业务系统，根据比对图像标识从比对业务系统中提取比对图像，可以根据待比对业务标识获取待比对业务系统，根据待比对图像标识从待比对业务系统中提取待比对图像。
步骤320，对比对图像以及待比对图像进行图像分割得到包含数据的目标图像。
比对图像以及待比对图像中可包含比对数据以及其他业务数据，具体地，需要对比对图像以及待比对图像进行图像分割以及图像识别，进而可以从图像中提取比对数据以及待比对数据。具体地，可以利用预设的图像分割算法对比对图像以及待比对图像进行图像分割得到包含数据的目标图像，进一步地可以从目标图像中提取进行数据比对的业务数据。如图像分割算法可以是基于深度学习的神经网络算法等，在此不作限制。
步骤330，对目标图像进行内容识别得到比对数据以及待比对数据。
目标图像中包含了比对数据以及待比对数据，具体地，可以利用图像识别算法从图像中识别数据并将数据提取出来，进而得到比对数据以及待比对数据。
在本实施例中，当从业务系统中提取到的数据时图像类型时，还可以利用图像分割以及图像识别算法对图像进行处理得到待比对数据以及比对数据，使得对业务系统中的数据格式不做限制，提高了数据获取的能力，并且利用人工智能相关技术参与相关数据处理，提高了数据处理的能力。
在其中一个实施例中，对比对图像以及待比对图像进行图像分割得到包含数据的目标图像，包括：利用预先训练的图像分割模型对比对图像以及待比对图像进行图像分割，得到包含表格数据的目标图像；对目标图像进行内容识别得到比对数据以及待比对数据，包括：利用文字识别算法对目标图像进行字符识别得到比对数据以及待比对数据。
具体地，可以预先根据包含表格数据的图像进行机器学习模型训练，得到分割网络模型，以利用分割网络模型对目标图像进行分割得到包含表格数据的目标图像。然后服务器还可以根据预先训练的识别模型对目标图像中的内容进行识别得到比对数据以及待比对数据。
在本实施例中，利用预先训练的模型对目标图像进行图像处理，进而可以从目标图像中提取比对数据以及待比对数据，扩大了比对数据以及待比对数据的获取能力。
进一步地，将利用图像识别算法得到的比对数据以及待比对数据存储至大数据平台中的预设数据库表中，然后根据数据库表进行数据比对。
在另一个实施例中，还可以包括：从业务系统中获取待比对数据以及比对数据之前就进行数据的预检测，只将有效的数据，非冗余的数据提取为待比对数据以及比对数据。
在本实施例中，通过对待比对数据的预处理，能够保证待比对数据的有效性，减少了不必要的数据处理以及数据传输，可以减少计算机资源的占用，提高数据处理的效率。
在其中一个实施例中，为了保证获取到的待比对数据以及比对数据的有效性，还包括对待比对数据进行预处理，可包括：进行冗余性检测以及有效性检测，将冗余的数据以及损坏的数据及时去除，可以提高后续进行数据比对的准确率。
在其中一个实施例中，需要强调的是，为进一步保证上述比对数据和/或待比对数据和/或比对图像和/或待比对图像和/或比对失败的数据的私密和安全性，上述信息还可以存储于一区块链的节点中。
应该理解的是，虽然图2-3的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-3中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图4所示，提供了一种基于大数据平台的数据比对装置，包括：请求接收模块410、数据提取模块420、比对表获取模块430、待比对表获取模块440和比对推送模块450，其中：
请求接收模块410，用于接收任务调度请求，任务调度请求中携带有多个来源业务标识。
数据提取模块420，用于分别从各来源业务标识对应的业务系统中提取比对数据以及待比对数据。
比对表获取模块430，用于利用预设算法将比对数据存储至对应格式类型的比对数据库表。
待比对表获取模块440，用于利用预设算法将待比对数据存储至对应格式类型的待比对数据库表。
比对推送模块450，用于将比对数据库表与待比对数据库表中的数据分别进行比对，并将比对失败的数据进行推送。
在其中一个实施例中，比对推送模块，包括：
比对字段数据提取单元，用于从比对数据库表中提取比对字段对应的比对数据。
待比对字段数据提取单元，用于从待比对数据库表中提取待比对字段对应的待比对数据。
数据比对单元，用于将比对数据与待比对数据进行比对。
失败数据推送单元，用于当比对失败时，将比对失败的比对字段以及待比对字段进行推送。
在其中一个实施例中，失败数据推送单元，包括：
异常数据标记子单元，用于当比对失败时，将比对失败的比对字段以及待比对字段标记为异常数据。
校验子单元，用于通过预先配置的数据传递接口将异常数据同步至业务系统，以指示业务系统对异常数据进行校验。
在其中一个实施例中，基于大数据平台的数据比对装置还包括：
调度参数接收模块，用于接收针对任务调度请求的任务调度参数。
请求生成模块，用于根据任务调度参数生成任务调度请求。
在其中一个实施例中，数据提取模块420，包括：
参数提取单元，用于从任务调度请求中提取任务调度时间、比对业务标识以及待比对业务标识。
数据提取单元，用于根据任务调度时间分别从比对业务标识对应的比对业务系统中提取比对数据，从待比对业务标识对应的待比对业务系统中提取待比对数据。
在其中一个实施例中，数据提取模块420，包括：
图像提取单元，用于分别从各来源业务标识对应的业务系统中提取比对图像以及待比对图像。
目标图像获取单元，用于对比对图像以及待比对图像进行图像分割得到包含数据的目标图像。
内容识别单元，用于对目标图像进行内容识别得到比对数据以及待比对数据。
在其中一个实施例中，目标图像获取单元，包括：
目标图像获取子单元，用于利用预先训练的图像分割模型对比对图像以及待比对图像进行图像分割，得到包含表格数据的目标图像。
内容识别单元，包括：
内容识别子单元，用于利用文字识别算法对目标图像进行字符识别得到比对数据以及待比对数据。
关于基于大数据平台的数据比对装置的具体限定可以参见上文中对于基于大数据平台的数据比对方法的限定，在此不再赘述。上述基于大数据平台的数据比对装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储基于大数据平台的数据比对数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于大数据平台的数据比对方法。
本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：接收任务调度请求，任务调度请求中携带有多个来源业务标识；分别从各来源业务标识对应的业务系统中提取比对数据以及待比对数据；利用预设算法将比对数据存储至对应格式类型的比对数据库表；利用预设算法将待比对数据存储至对应格式类型的待比对数据库表；将比对数据库表与待比对数据库表中的数据分别进行比对，并将比对失败的数据进行推送。
在其中一个实施例中，处理器执行计算机程序时实现将比对数据库表与待比对数据库表中的数据分别进行比对，并将比对失败的数据进行推送的步骤时还用于：从比对数据库表中提取比对字段对应的比对数据；从待比对数据库表中提取待比对字段对应的待比对数据；将比对数据与待比对数据进行比对；当比对失败时，将比对失败的比对字段以及待比对字段进行推送。
在其中一个实施例中，处理器执行计算机程序时实现当比对失败时，将比对失败的比对字段以及待比对字段进行推送的步骤时还用于：当比对失败时，将比对失败的比对字段以及待比对字段标记为异常数据；通过预先配置的数据传递接口将异常数据同步至业务系统，以指示业务系统对异常数据进行校验。
在其中一个实施例中，处理器执行计算机程序时实现接收任务调度请求之前的步骤时还用于：接收针对任务调度请求的任务调度参数；根据任务调度参数生成任务调度请求。
在其中一个实施例中，处理器执行计算机程序时实现分别从各来源业务标识对应的业务系统中提取比对数据以及待比对数据的步骤时还用于：从任务调度请求中提取任务调度时间、比对业务标识以及待比对业务标识；根据任务调度时间分别从比对业务标识对应的比对业务系统中提取比对数据，从待比对业务标识对应的待比对业务系统中提取待比对数据。
在其中一个实施例中，处理器执行计算机程序时实现分别从各来源业务标识对应的业务系统中提取比对数据以及待比对数据的步骤时还用于：分别从各来源业务标识对应的业务系统中提取比对图像以及待比对图像；对比对图像以及待比对图像进行图像分割得到包含数据的目标图像；对目标图像进行内容识别得到比对数据以及待比对数据。
在其中一个实施例中，处理器执行计算机程序时实现对比对图像以及待比对图像进行图像分割得到包含数据的目标图像的步骤时还用于：利用预先训练的图像分割模型对比对图像以及待比对图像进行图像分割，得到包含表格数据的目标图像；处理器执行计算机程序时实现对目标图像进行内容识别得到比对数据以及待比对数据的步骤时还用于：利用文字识别算法对目标图像进行字符识别得到比对数据以及待比对数据。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：接收任务调度请求，任务调度请求中携带有多个来源业务标识；分别从各来源业务标识对应的业务系统中提取比对数据以及待比对数据；利用预设算法将比对数据存储至对应格式类型的比对数据库表；利用预设算法将待比对数据存储至对应格式类型的待比对数据库表；将比对数据库表与待比对数据库表中的数据分别进行比对，并将比对失败的数据进行推送。
在其中一个实施例中，计算机程序被处理器执行时实现将比对数据库表与待比对数据库表中的数据分别进行比对，并将比对失败的数据进行推送的步骤时还用于：从比对数据库表中提取比对字段对应的比对数据；从待比对数据库表中提取待比对字段对应的待比对数据；将比对数据与待比对数据进行比对；当比对失败时，将比对失败的比对字段以及待比对字段进行推送。
在其中一个实施例中，计算机程序被处理器执行时实现当比对失败时，将比对失败的比对字段以及待比对字段进行推送的步骤时还用于：当比对失败时，将比对失败的比对字段以及待比对字段标记为异常数据；通过预先配置的数据传递接口将异常数据同步至业务系统，以指示业务系统对异常数据进行校验。
在其中一个实施例中，计算机程序被处理器执行时实现接收任务调度请求之前的步骤时还用于：接收针对任务调度请求的任务调度参数；根据任务调度参数生成任务调度请求。
在其中一个实施例中，计算机程序被处理器执行时实现分别从各来源业务标识对应的业务系统中提取比对数据以及待比对数据的步骤时还用于：从任务调度请求中提取任务调度时间、比对业务标识以及待比对业务标识；根据任务调度时间分别从比对业务标识对应的比对业务系统中提取比对数据，从待比对业务标识对应的待比对业务系统中提取待比对数据。
在其中一个实施例中，计算机程序被处理器执行时实现分别从各来源业务标识对应的业务系统中提取比对数据以及待比对数据的步骤时还用于：分别从各来源业务标识对应的业务系统中提取比对图像以及待比对图像；对比对图像以及待比对图像进行图像分割得到包含数据的目标图像；对目标图像进行内容识别得到比对数据以及待比对数据。
在其中一个实施例中，计算机程序被处理器执行时实现对比对图像以及待比对图像进行图像分割得到包含数据的目标图像的步骤时还用于：利用预先训练的图像分割模型对比对图像以及待比对图像进行图像分割，得到包含表格数据的目标图像；计算机程序被处理器执行时实现对目标图像进行内容识别得到比对数据以及待比对数据的步骤时还用于：利用文字识别算法对目标图像进行字符识别得到比对数据以及待比对数据。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
需要说明的是，本申请可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种基于大数据平台的数据比对方法，其特征在于，所述方法包括：
接收任务调度请求，所述任务调度请求中携带有多个来源业务标识；
分别从各所述来源业务标识对应的业务系统中提取比对数据以及待比对数据；
利用预设算法将所述比对数据存储至对应格式类型的比对数据库表；
利用预设算法将所述待比对数据存储至对应格式类型的待比对数据库表；
将所述比对数据库表与所述待比对数据库表中的数据分别进行比对，并将比对失败的数据进行推送。
2.根据权利要求1所述的方法，其特征在于，所述将所述比对数据库表与所述待比对数据库表中的数据分别进行比对，并将比对失败的数据进行推送，包括：
从所述比对数据库表中提取比对字段对应的比对数据；
从所述待比对数据库表中提取待比对字段对应的待比对数据；
将所述比对数据与所述待比对数据进行比对；
当比对失败时，将比对失败的比对字段以及待比对字段进行推送。
3.根据权利要求2所述的方法，其特征在于，所述当比对失败时，将比对失败的比对字段以及待比对字段进行推送，包括：
当比对失败时，将比对失败的比对字段以及待比对字段标记为异常数据；
通过预先配置的数据传递接口将所述异常数据同步至所述业务系统，以指示所述业务系统对所述异常数据进行校验。
4.根据权利要求1所述的方法，其特征在于，所述接收任务调度请求之前，还包括：
接收针对任务调度请求的任务调度参数；
根据所述任务调度参数生成任务调度请求。
5.根据权利要求1或4所述的方法，其特征在于，所述分别从各所述来源业务标识对应的业务系统中提取比对数据以及待比对数据，包括：
从所述任务调度请求中提取任务调度时间、比对业务标识以及待比对业务标识；
根据所述任务调度时间分别从所述比对业务标识对应的比对业务系统中提取比对数据，从所述待比对业务标识对应的待比对业务系统中提取待比对数据。
6.根据权利要求1所述的方法，其特征在于，所述分别从各所述来源业务标识对应的业务系统中提取比对数据以及待比对数据，包括：
分别从各所述来源业务标识对应的业务系统中提取比对图像以及待比对图像；
对所述比对图像以及所述待比对图像进行图像分割得到包含数据的目标图像；
对所述目标图像进行内容识别得到比对数据以及待比对数据。
7.根据权利要求6所述的方法，其特征在于，所述对所述比对图像以及所述待比对图像进行图像分割得到包含数据的目标图像，包括：
利用预先训练的图像分割模型对所述比对图像以及所述待比对图像进行图像分割，得到包含表格数据的目标图像；
所述对所述目标图像进行内容识别得到比对数据以及待比对数据，包括：
利用文字识别算法对所述目标图像进行字符识别得到比对数据以及待比对数据，其中，所述比对数据和/或所述待比对数据和/或比对图像和/或待比对图像和/或比对失败的数据存储于区块链中。
8.一种基于大数据平台的数据比对装置，其特征在于，所述装置包括：
请求接收模块，用于接收任务调度请求，所述任务调度请求中携带有多个来源业务标识；
数据提取模块，用于分别从各所述来源业务标识对应的业务系统中提取比对数据以及待比对数据；
比对表获取模块，用于利用预设算法将所述比对数据存储至对应格式类型的比对数据库表；
待比对表获取模块，用于利用预设算法将所述待比对数据存储至对应格式类型的待比对数据库表；
比对模块，用于将所述比对数据库表与所述待比对数据库表中的数据分别进行比对，并将比对失败的数据进行推送。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010574263.9A CN111708794B (zh) | 2020-06-22 | 2020-06-22 | 基于大数据平台的数据比对方法、装置和计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010574263.9A CN111708794B (zh) | 2020-06-22 | 2020-06-22 | 基于大数据平台的数据比对方法、装置和计算机设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111708794A true CN111708794A (zh) | 2020-09-25 |
| CN111708794B CN111708794B (zh) | 2024-05-03 |
Family
ID=72541713
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010574263.9A Active CN111708794B (zh) | 2020-06-22 | 2020-06-22 | 基于大数据平台的数据比对方法、装置和计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111708794B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112488844A (zh) * | 2020-11-16 | 2021-03-12 | 中国人寿保险股份有限公司 | 一种保险信息对标方法及装置 |
| CN112910999A (zh) * | 2021-01-29 | 2021-06-04 | 四川虹微技术有限公司 | 一种基于区块链的信息度量方法、装置、系统和度量盒子 |
| CN113268500A (zh) * | 2021-06-08 | 2021-08-17 | 中国联合网络通信集团有限公司 | 业务处理方法、装置及电子设备 |
| CN113626524A (zh) * | 2021-08-12 | 2021-11-09 | 浙江网商银行股份有限公司 | 数据处理方法及装置、数据核对系统 |
| CN118689912A (zh) * | 2024-08-27 | 2024-09-24 | 杭州乒乓智能技术有限公司 | 数据比对方法、装置、业务数据比对系统和电子装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106326219A (zh) * | 2015-06-16 | 2017-01-11 | 阿里巴巴集团控股有限公司 | 核对业务系统数据的方法、装置及系统 |
| US20170286514A1 (en) * | 2016-04-05 | 2017-10-05 | Ytria Inc. | Methods and system for comparing data of an electronic dataset |
| US20180137186A1 (en) * | 2016-11-11 | 2018-05-17 | International Business Machines Corporation | Copying data changes to a target database |
| CN109313710A (zh) * | 2018-02-02 | 2019-02-05 | 深圳蓝胖子机器人有限公司 | 目标识别模型训练方法、目标识别方法、设备及机器人 |
| CN110633299A (zh) * | 2019-08-19 | 2019-12-31 | 中国平安财产保险股份有限公司 | 业务数据的缓存方法、装置、计算机设备及存储介质 |
| CN110765162A (zh) * | 2019-09-06 | 2020-02-07 | 上海陆家嘴国际金融资产交易市场股份有限公司 | 数据比对方法、装置、计算机设备和存储介质 |
| CN111144394A (zh) * | 2019-12-13 | 2020-05-12 | 中国平安财产保险股份有限公司 | 基于人工智能的自动审核方法、装置、设备及存储介质 |
-
2020
- 2020-06-22 CN CN202010574263.9A patent/CN111708794B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106326219A (zh) * | 2015-06-16 | 2017-01-11 | 阿里巴巴集团控股有限公司 | 核对业务系统数据的方法、装置及系统 |
| US20170286514A1 (en) * | 2016-04-05 | 2017-10-05 | Ytria Inc. | Methods and system for comparing data of an electronic dataset |
| US20180137186A1 (en) * | 2016-11-11 | 2018-05-17 | International Business Machines Corporation | Copying data changes to a target database |
| CN109313710A (zh) * | 2018-02-02 | 2019-02-05 | 深圳蓝胖子机器人有限公司 | 目标识别模型训练方法、目标识别方法、设备及机器人 |
| CN110633299A (zh) * | 2019-08-19 | 2019-12-31 | 中国平安财产保险股份有限公司 | 业务数据的缓存方法、装置、计算机设备及存储介质 |
| CN110765162A (zh) * | 2019-09-06 | 2020-02-07 | 上海陆家嘴国际金融资产交易市场股份有限公司 | 数据比对方法、装置、计算机设备和存储介质 |
| CN111144394A (zh) * | 2019-12-13 | 2020-05-12 | 中国平安财产保险股份有限公司 | 基于人工智能的自动审核方法、装置、设备及存储介质 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112488844A (zh) * | 2020-11-16 | 2021-03-12 | 中国人寿保险股份有限公司 | 一种保险信息对标方法及装置 |
| CN112910999A (zh) * | 2021-01-29 | 2021-06-04 | 四川虹微技术有限公司 | 一种基于区块链的信息度量方法、装置、系统和度量盒子 |
| CN113268500A (zh) * | 2021-06-08 | 2021-08-17 | 中国联合网络通信集团有限公司 | 业务处理方法、装置及电子设备 |
| CN113268500B (zh) * | 2021-06-08 | 2023-06-02 | 中国联合网络通信集团有限公司 | 业务处理方法、装置及电子设备 |
| CN113626524A (zh) * | 2021-08-12 | 2021-11-09 | 浙江网商银行股份有限公司 | 数据处理方法及装置、数据核对系统 |
| CN118689912A (zh) * | 2024-08-27 | 2024-09-24 | 杭州乒乓智能技术有限公司 | 数据比对方法、装置、业务数据比对系统和电子装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111708794B (zh) | 2024-05-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111708794B (zh) | 基于大数据平台的数据比对方法、装置和计算机设备 | |
| CN111831636A (zh) | 一种数据处理方法、装置、计算机系统及可读存储介质 | |
| CN109241325B (zh) | 一种基于深度特征的大规模人脸检索方法和设备 | |
| CN110188103A (zh) | 数据对账方法、装置、设备和存储介质 | |
| CN111858467B (zh) | 基于人工智能的文件数据处理方法、装置、设备和介质 | |
| CN110674360B (zh) | 一种用于数据的溯源方法和系统 | |
| CN108769255A (zh) | 企业数据的采集和治理方法 | |
| CN103716384A (zh) | 跨数据中心实现云存储数据同步的方法和装置 | |
| CN111177469A (zh) | 人脸检索方法及人脸检索装置 | |
| CN113850260A (zh) | 关键信息抽取方法、装置、电子设备及可读存储介质 | |
| CN110399485B (zh) | 基于词向量和机器学习的数据溯源方法和系统 | |
| CN114547696A (zh) | 文件脱敏方法、装置、电子设备及存储介质 | |
| CN117423124A (zh) | 基于表格图像的表格数据处理方法和装置、设备及介质 | |
| CN106708869B (zh) | 一种群组数据处理的方法及装置 | |
| CN111651452A (zh) | 数据存储方法、装置、计算机设备及存储介质 | |
| CN115391596A (zh) | 视频档案生成方法、装置及存储介质 | |
| CN115145870A (zh) | 失败任务原因定位方法、装置、电子设备及存储介质 | |
| CN112364121B (zh) | 问卷pdf的自动创建方法、装置、存储介质及计算机设备 | |
| CN113342579A (zh) | 一种数据还原方法及装置 | |
| US20180268007A1 (en) | Means for inductively populating a compactable tier set, tentative estasblishing or ruling out the existence of certain mlmd common subsequences among two or more sequences, and identifying one or more text intersection groups among two or more text segments | |
| CN113420169B (zh) | 档案存储、查询方法、系统、电子设备及介质 | |
| CN111339574B (zh) | 区块数据处理方法、装置、计算机设备和存储介质 | |
| CN112732335B (zh) | 目标代码提取方法、装置、计算机设备和存储介质 | |
| CN113886246A (zh) | O2o项目流程管理系统测试方法、装置、设备及存储介质 | |
| CN116226077A (zh) | 一种数据存储方法、计算机程序产品及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |