CN112613892A - 基于业务系统的数据处理方法、装置以及电子设备 - Google Patents
基于业务系统的数据处理方法、装置以及电子设备 Download PDFInfo
- Publication number
- CN112613892A CN112613892A CN202011573615.5A CN202011573615A CN112613892A CN 112613892 A CN112613892 A CN 112613892A CN 202011573615 A CN202011573615 A CN 202011573615A CN 112613892 A CN112613892 A CN 112613892A
- Authority
- CN
- China
- Prior art keywords
- data
- information
- data table
- node
- selection operation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 21
- 238000000034 method Methods 0.000 claims abstract description 48
- 238000012545 processing Methods 0.000 claims abstract description 32
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 27
- 238000010586 diagram Methods 0.000 claims description 33
- 230000004044 response Effects 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 8
- 238000013523 data management Methods 0.000 abstract description 3
- 238000004458 analytical method Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000011144 upstream manufacturing Methods 0.000 description 3
- GNFTZDOKVXKIBK-UHFFFAOYSA-N 3-(2-methoxyethoxy)benzohydrazide Chemical compound COCCOC1=CC=CC(C(=O)NN)=C1 GNFTZDOKVXKIBK-UHFFFAOYSA-N 0.000 description 2
- 230000019771 cognition Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003203 everyday effect Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- YTAHJIFKAKIKAV-XNMGPUDCSA-N [(1R)-3-morpholin-4-yl-1-phenylpropyl] N-[(3S)-2-oxo-5-phenyl-1,3-dihydro-1,4-benzodiazepin-3-yl]carbamate Chemical compound O=C1[C@H](N=C(C2=C(N1)C=CC=C2)C1=CC=CC=C1)NC(O[C@H](CCN1CCOCC1)C1=CC=CC=C1)=O YTAHJIFKAKIKAV-XNMGPUDCSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/01—Customer relationship services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2471—Distributed queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/02—Banking, e.g. interest calculation or account maintenance
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Economics (AREA)
- Development Economics (AREA)
- Software Systems (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Technology Law (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Computational Linguistics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请提供了一种基于业务系统的数据处理方法、装置以及电子设备，涉及数据处理技术领域，缓解了人工管理数据导致数据质量较差的技术问题。该方法包括：响应于针对所述业务系统中的待检测数据的选择操作，确定所述选择操作对应的第一数据表；利用Spark算法对所述待检测数据进行处理，生成第二数据表；如果所述第一数据表中的第一信息与所述第二数据表中的第二信息不一致，则确认所述第一信息是待核实数据。
Description
技术领域
本申请涉及数据处理技术领域，尤其是涉及一种基于业务系统的数据处理方法、装置以及电子设备。
背景技术
目前，在多种工作领域内，都需要根据客户信息构建并管理客户名单，进而了解客户信息，例如，在银行领域内，对于集团客户的构建审批和维护，全靠各个分行业务经理根据自己的认知以及行内集团客户的认定规则来手动认定集团客户，并纳入集团客户管理。
但是，业务经理手动认定集团客户时，经常会有认定错误的情况发生。例如，由于银行业务系统内集团客户的信息量较大，有些集团客户的信息比较模糊，或者银行业务系统内的数据不是最新数据，从而无法识别出集团客户或者集团客户之间的关系，导致不能获取准确的客户信息，所以，根据人工认定并管理集团客户信息的方式不能准确的发现数据中的问题。
发明内容
本申请的目的在于提供一种基于业务系统的数据处理方法、装置以及电子设备，以缓解人工管理数据导致数据质量较差的技术问题。
第一方面，本申请实施例提供了一种基于业务系统的数据处理方法，所述方法包括：
响应于针对所述业务系统中的待检测数据的选择操作，确定所述选择操作对应的第一数据表；
利用Spark算法对所述待检测数据进行处理，生成第二数据表；
如果所述第一数据表中的第一信息与所述第二数据表中的第二信息不一致，则确认所述第一信息是待核实数据。
在一个可能的实现中，所述利用Spark算法对所述待检测数据进行处理，生成第二数据表的步骤，包括：
通过预设接口获取所述待检测数据；
利用Spark算法将所述待检测数据转化为树形结构图，所述树形结构图包括：多个节点、针对多个所述节点的入边及针对多个所述节点的出边；
根据所述多个节点、所述入边及所述出边确定所述树形结构图的目标节点；
对所述节点向下一个所述节点发送信息的过程进行迭代处理，确定每个所述节点的目标信息，所述目标信息包括投资数据信息；
根据每个所述节点及每个所述节点对应的投资数据信息确定所述第二数据表。
在一个可能的实现中，在所述利用Spark算法将所述待检测数据转化为树形结构图的步骤之后，还包括：
判断所述树形结构图中是否存在环形路线；
如果所述树形结构图中存在环形路线，根据所述目标信息截断所述环形路线，得到以所述目标节点为起点的所述树形结构图。
在一个可能的实现中，所述待核实数据的类型包括：应纳未纳数据、应出未出数据及新增数据。
在一个可能的实现中，所述方法还包括：
当确认所述待核实数据的类型是所述应纳未纳数据时，生成包括所述应纳未纳数据的第三数据表；
响应于针对所述第三数据表的选择操作，更新所述选择操作对应的所述第一信息。
在一个可能的实现中，所述方法还包括：
当确认所述待核实数据的类型是所述应出未出数据时，生成包括所述应出未出数据的第四数据表；
响应于针对所述第四数据表的选择操作，更新所述选择操作对应的所述第一信息。
在一个可能的实现中，所述方法还包括：
当确认所述待核实数据的类型是所述新增数据时，生成包括所述新增数据的第五数据表；
响应于针对所述第五数据表的选择操作，更新所述选择操作对应的所述第一信息。
第二方面，提供了一种基于业务系统的数据处理装置，包括：
第一生成模块，用于响应于针对所述业务系统中的待检测数据的选择操作，确定所述选择操作对应的第一数据表；
第二生成模块，用于利用Spark算法对所述待检测数据进行处理，生成第二数据表；
确认模块，用于如果所述第一数据表中的第一信息与所述第二数据表中的第二信息不一致，则确认所述第一信息是待核实数据。
第三方面，本申请实施例又提供了一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的第一方面所述方法。
第四方面，本申请实施例又提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可运行指令，所述计算机可运行指令在被处理器调用和运行时，所述计算机可运行指令促使所述处理器运行上述的第一方面所述方法。
本申请实施例带来了以下有益效果：
本申请实施例提供的一种基于业务系统的数据处理方法、装置以及电子设备，能够响应于针对所述业务系统中的待检测数据的选择操作，确定所述选择操作对应的第一数据表；利用Spark算法对所述待检测数据进行处理，生成第二数据表；如果所述第一数据表中的第一信息与所述第二数据表中的第二信息不一致，则确认所述第一信息是待核实数据。本方案中，由于利用Spark算法分析生成的第二数据表非常准确，所以可以将第二数据表作为参考标准表，将基于人工分析待检测数据得到的第一数据表内的第一信息与第二数据表内的第二信息进行对比，如果第一信息与第二信息不一致，则确认第一信息是待核实数据，因此，通过Spark算法分析生成的第二数据表，可以准确识别出人工分析出的第一数据表内的待核实数据，以便用户进一步确认待核实数据，便于用户精准管理待处理数据，缓解了人工管理数据导致数据质量较差的技术问题。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的基于业务系统的数据处理方法的流程示意图；
图2为本申请实施例提供的基于业务系统的数据处理装置的另一流程示意图；
图3示出了本申请实施例所提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例中所提到的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括其他没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
目前，在多种工作领域内，都需要根据客户信息构建并管理客户名单，进而了解客户信息，例如，在银行领域内，对于集团客户的构建审批和维护，全靠各个分行业务经理根据自己的认知以及行内集团客户的认定规则来手动认定集团客户，并纳入集团客户管理。
但是，业务经理手动认定集团客户时，经常会有认定错误的情况发生。例如，由于银行业务系统内集团客户的信息量较大，有些集团客户的信息比较模糊，或者银行业务系统内的数据不是最新数据，从而无法准确识别出集团客户或者集团客户之间的关系，导致不能获取准确的客户信息，所以，根据人工认定并管理集团客户信息的方式不能准确的发现数据中的问题。
基于此，本申请实施例提供了一种基于业务系统的数据处理方法、装置以及电子设备，通过该方法可以缓解人工管理数据导致数据质量较差的技术问题。
下面结合附图对本申请实施例进行进一步地介绍。
图1为本申请实施例提供的一种基于业务系统的数据处理方法的流程示意图。其中，该方法应用于电子设备。如图1所示，该方法包括：
步骤S110，响应于针对业务系统中的待检测数据的选择操作，确定选择操作对应的第一数据表；
需要说明的是，业务系统可以指包括多种业务类型的业务系统，例如，业务系统指银行主业务系统或银行子业务系统等。
在本步骤中，当用户针对业务系统中的待检测数据进行分析操作时，响应于该分析操作，电子设备可以生成该分析操作对应的第一数据表。
步骤S120，利用Spark算法对待检测数据进行处理，生成第二数据表；
需要说明的是，Spark算法可以指用于分析海量数据的大数据技术，所以，电子设备可以根据Spark算法对待检测数据进行分析处理，生成第二数据表。
步骤S130，如果第一数据表中的第一信息与第二数据表中的第二信息不一致，则确认第一信息是待核实数据。
在本步骤中，电子设备将第一数据表中的第一信息与第二数据表中的第二信息进行对比，如果第一信息与第二信息不一致，则确认第一信息是待核实数据。
本申请实施例可以响应于针对业务系统中的待检测数据的选择操作，确定选择操作对应的第一数据表；利用Spark算法对待检测数据进行处理，生成第二数据表；如果第一数据表中的第一信息与第二数据表中的第二信息不一致，则确认第一信息是待核实数据。本方案中，由于利用Spark算法分析生成的第二数据表非常准确，所以可以将第二数据表作为参考标准表，将基于人工分析待检测数据得到的第一数据表内的第一信息与第二数据表内的第二信息进行对比，如果第一信息与第二信息不一致，则确认第一信息是待核实数据，因此，通过Spark算法分析生成的第二数据表，电子设备可以准确识别出人工分析出的第一数据表内的待核实数据，以便用户进一步确认待核实数据，便于用户精准管理待处理数据，缓解了人工管理数据导致数据质量较差的技术问题。
下面对上述步骤进行详细介绍。
在一些实施例中，基于上述步骤S120，可以根据Spark算法生成第二数据表。作为一个示例，上述步骤S120可以包括如下步骤：
步骤a)，通过预设接口获取待检测数据；
步骤b)，利用Spark算法将待检测数据转化为树形结构图，树形结构图包括：多个节点、针对多个节点的入边及针对多个节点的出边；
步骤c)，根据多个节点、入边及出边确定树形结构图的目标节点；
步骤d)，对节点向下一个节点发送信息的过程进行迭代处理，确定每个节点的目标信息，目标信息包括投资数据信息；
步骤e)，根据每个节点及每个节点对应的投资数据信息确定第二数据表。
对于上述步骤a)，需要说明的是，待检测数据可以包括工商信息及企业股权投资信息等，获取待检测数据时，可以先通过厂商进行采购，然后通过预设接口从厂商处获取待检测数据，并且，可以设置获取周期，例如，可以设置成每天上午9：00获取一次待检测数据，所以，获取的待检测数据可以每日更新。
对于上述步骤b)，具体的，获取待检测数据后，将工商信息及企业股权投资信息等数据加载到Hive库中，利用Spark算法读取Hive中的工商信息表及企业股权投资表，利用Spark算法中的图计算接口(Spark Graphx)处理工商信息表及企业股权投资表，将工商信息表及企业股权投资表转化为树形结构图，树形结构图包括：多个节点、针对多个节点的入边及针对多个节点的出边，节点可以表示企业的工商信息，入边及出边均可以表示企业之间的企业股权投资关系。
对于上述步骤c)，需要说明的是，目标节点是指树形结构图的根节点，由于树形结构图中的入边及出边可以显示多个节点之间的连接关系，所以，可以确定树形结构图的目标节点。
示例性的，节点1分别指向节点2和节点3，节点3指向节点4，所以，节点1是根节点，节点2、节点3和节点4均属于根节点1的子节点，其中，节点2和节点3属于同一层级，节点4单独属于一个层级。还可以将根节点1、节点2、节点3和节点4组成一个集团并划分为同一社区，在该社区中，根节点1代表母企业，节点2、节点3和节点4代表子企业。
对于上述步骤d)，具体的，在无限迭代计算中，各个层级下游节点会收到所有上游节点发送的信息，同时向上游反馈已收到信息，制订逻辑规则，并融合银行内部的集团客户认定规则优化算法避免重复发送。在迭代的过程中各个节点根据接收到的值和下游反馈到的值改变各自携带的信息及向下游传递的投资数据信息，最后得到每个节点的目标信息，目标信息包括投资数据信息，投资数据信息可以指投资比例。
所以，经过迭代后，可以根据每个节点及每个节点对应的投资数据信息确定同一社区中的最大股东，并得到第二数据表，第二数据表可以用来表示集团客户图谱，在集团客户图谱的基础上根据各个企业的注册资本、直投企业数量及该社区内各个企业总注册资本给企业打标签，根据标签展示企业在集团中的重要程度，并提供企业清单列表下载功能，以及企业工商信息检索功能，以便用户下载企业清单列表和检索企业的工商信息。
本申请实施例可以通过预设接口获取待检测数据；利用Spark算法将待检测数据转化为树形结构图，树形结构图包括：多个节点、针对多个节点的入边及针对多个节点的出边；根据多个节点、入边及出边确定树形结构图的目标节点；对节点向下一个节点发送信息的过程进行迭代处理，确定每个节点的目标信息，目标信息包括投资数据信息；根据每个节点及每个节点对应的投资数据信息确定第二数据表。所以，通过Spark算法将待检测数据转化为树形结构图，可以准确的分析出企业之间的最新投资关系，得到实时更新的第二数据表，进而，便于根据第二数据表确定第一数据表中的待核实数据。
在一些实施例中，基于上述步骤b)，可以判断树形结构图中是否存在环形路线，以清理环形路线，得到单向路线。作为一个示例，在步骤b)之后，该方法还可以包括以下步骤：
步骤b1)，判断树形结构图中是否存在环形路线；
步骤b2)，如果树形结构图中存在环形路线，根据目标信息截断环形路线，得到以目标节点为起点的树形结构图。
需要说明的是，电子设备判断树形结构图中是否存在环形路线，即判断至少两个企业之间是否有互相投资的关系，可以根据节点之间的边进行判断，例如，判断两个企业之间是否有互相投资的关系，节点1和节点2之间有两条边，分别是针对节点1的入边及针对节点2的入边，针对节点2的入边代表节点1对节点2进行投资，相应的是投资数据1，且针对节点1的入边代表节点2对节点1进行投资，相应的是投资数据2，所以，确定树形结构图中存在环形路线，然后对比投资数据1与投资数据2，如果投资数据1大于投资数据2，则取节点1对节点2的投资关系，保留针对节点2的入边，删除针对节点1的入边，最后得到节点1指向节点2的单向路线。
或者，电子设备判断三个企业之间是否有互相投资的关系，节点1和节点2之间有一条边，是针对节点2的入边，代表节点1对节点2进行投资，相应的是投资数据3；节点2和节点3之间有一条边，是针对节点3的入边，代表节点2对节点3进行投资，相应的是投资数据4；节点3和节点1之间有一条边，是针对节点1的入边，代表节点3对节点1进行投资，相应的是投资数据5；所以，对节点1-节点2-节点3-节点1的路线进行检测，确定该路线中节点1出现2次，说明树形结构图中存在环形路线，然后将指向节点1的上游路线截断，即：将节点3指向节点1的边截断，取节点1-节点2-节点3的投资关系，保留针对节点2及节点3的入边，删除针对节点1的入边，最后得到节点1指向节点2、节点2指向节点3的单向路线。
在本申请实施例中，判断树形结构图中是否存在环形路线；如果树形结构图中存在环形路线，根据目标信息截断环形路线，得到以目标节点为起点的树形结构图。所以，当发现环形路线时，电子设备及时截断环形路线，对数据进行清洗，方便后续对该树形结构图进行分析。
在一些实施例中，可以进一步确认待核实数据的类型。基于此，待核实数据的类型包括：应纳未纳数据、应出未出数据及新增数据。
示例性的，应纳未纳数据、应出未出数据及新增数据均可以表示企业或者企业之间的投资数据信息。
在一些实施例中，可以根据确定的应纳未纳数据更新第一信息。作为一个示例，该方法还可以包括如下步骤：
步骤f)，当确认待核实数据的类型是应纳未纳数据时，生成包括应纳未纳数据的第三数据表；
步骤g)，响应于针对第三数据表的选择操作，更新选择操作对应的第一信息。
对于上述步骤f)，具体的，当确认待核实数据的类型是应纳未纳数据，且应纳未纳数据是企业时，电子设备根据该企业生成对应的第三数据表。
对于上述步骤g)，具体的，用户可以下载第三数据表，当用户根据第三数据表在第一数据表内添加该企业时，响应于针对第三数据表的选择操作，更新选择操作对应的第一数据表内的第一信息。
本申请实施例中，当确认待核实数据的类型是应纳未纳数据时，生成包括应纳未纳数据的第三数据表；响应于针对第三数据表的选择操作，更新选择操作对应的第一信息。所以，电子设备通过向用户提示包含待核实数据的第三数据表，可以指导用户根据第三数据表对第一数据表进行修改，得到更新后的第一数据表，减少了人为分析数据的错误，使得最终得到的数据更精准。
在一些实施例中，可以根据确定的应出未出数据更新第一信息。作为一个示例，该方法还可以包括如下步骤：
步骤h)，当确认待核实数据的类型是应出未出数据时，生成包括应出未出数据的第四数据表；
步骤i)，响应于针对第四数据表的选择操作，更新选择操作对应的第一信息。
对于上述步骤h)，具体的，当确认待核实数据的类型是应出未出数据，且应出未出数据是企业时，电子设备根据该企业生成对应的第四数据表。
对于上述步骤i)，具体的，用户可以下载第四数据表，当用户根据第四数据表在第一数据表内删除该企业时，响应于针对第四数据表的选择操作，更新选择操作对应的第一数据表内的第一信息。
本申请实施例中，当确认待核实数据的类型是应出未出数据时，生成包括应出未出数据的第四数据表；响应于针对第四数据表的选择操作，更新选择操作对应的第一信息。所以，电子设备通过向用户提示包含待核实数据的第四数据表，可以指导用户根据第四数据表对第一数据表进行修改，得到更新后的第一数据表，减少了人为分析的错误，使得最终得到的数据更精准。
在一些实施例中，可以根据确定的新增数据更新第一信息。作为一个示例，该方法还可以包括如下步骤：
步骤j)，当确认待核实数据的类型是新增数据时，生成包括新增数据的第五数据表；
步骤k)，响应于针对第五数据表的选择操作，更新选择操作对应的第一信息。
对于上述步骤f)，具体的，当确认待核实数据的类型是新增数据，且新增数据是两个企业之间的投资数据信息时，电子设备根据该投资数据信息生成对应的第五数据表。
对于上述步骤g)，具体的，用户可以下载第五数据表，当用户根据第五数据表，在第一数据表内添加第一企业指向第二企业的投资数据信息时，响应于针对第五数据表的选择操作，更新选择操作对应的第一数据表内的第一信息。
本申请实施例中，当确认待核实数据的类型是新增数据时，生成包括新增数据的第五数据表；响应于针对第五数据表的选择操作，更新选择操作对应的第一信息。所以，电子设备通过向用户提示包含待核实数据的第五数据表，可以指导用户根据第五数据表对第一数据表进行修改，得到更新后的第一数据表，减少了人为分析的错误，使得最终得到的数据更精准，还能向用户推荐企业，便于用户拓展更多的企业，便于用户根据新增数据对客户进行精准营销。
图2提供了一种基于业务系统的数据处理装置的结构示意图。该装置可以应用于电子设备。如图2所示，基于业务系统的数据处理装置200包括：
第一生成模块201，用于响应于针对业务系统中的实际数据的选择操作，确定选择操作对应的第一数据表；
第二生成模块202，用于利用Spark算法对实际数据进行处理，生成第二数据表；
确认模块203，用于如果第一数据表中的第一信息与第二数据表中的第二信息不一致，则确认第一信息是待核实数据。
在一些实施例中，判断模块具体用于：
获取模块，用于通过预设接口获取待检测数据；
转化模块，用于利用Spark算法将待检测数据转化为树形结构图，树形结构图包括：多个节点、针对多个节点的入边及针对多个节点的出边；
第一确定模块，用于根据多个节点、入边及出边确定树形结构图的目标节点；
第二确定模块，用于对节点向下一个节点发送信息的过程进行迭代处理，确定每个节点的目标信息，目标信息包括投资数据信息；
第三确定模块，用于根据每个节点及每个节点对应的投资数据信息确定第二数据表。
在一些实施例中，在转化模块之后，还包括判断模块，该判断模块用于：
判断树形结构图中是否存在环形路线；
如果树形结构图中存在环形路线，根据目标信息截断环形路线，得到以目标节点为起点的树形结构图。
在一些实施例中，待核实数据的类型包括：应纳未纳数据、应出未出数据及新增数据。
在一些实施例中，基于业务系统的数据处理装置还用于：
当确认待核实数据的类型是应纳未纳数据时，生成包括应纳未纳数据的第三数据表；
响应于针对第三数据表的选择操作，更新选择操作对应的第一信息。
在一些实施例中，基于业务系统的数据处理装置还用于：
当确认待核实数据的类型是应出未出数据时，生成包括应出未出数据的第四数据表；
响应于针对第四数据表的选择操作，更新选择操作对应的第一信息。
在一些实施例中，基于业务系统的数据处理装置还用于：
当确认待核实数据的类型是新增数据时，生成包括新增数据的第五数据表；
响应于针对第五数据表的选择操作，更新选择操作对应的第一信息。
本申请实施例提供的基于业务系统的数据处理装置，与上述实施例提供的基于业务系统的数据处理方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。
本申请实施例提供的一种电子设备，如图3所示，电子设备300包括存储器301、处理器302，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述实施例提供的方法的步骤。
参见图3，电子设备还包括：总线303和通信接口304，处理器302、通信接口304和存储器301通过总线303连接；处理器302用于执行存储器301中存储的可执行模块，例如计算机程序。
其中，存储器301可能包含高速随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口304(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。
总线303可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
其中，存储器301用于存储程序，所述处理器302在接收到执行指令后，执行所述程序，前述本申请任一实施例揭示的过程定义的装置所执行的方法可以应用于处理器302中，或者由处理器302实现。
处理器302可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器302中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器302可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DigitalSignal Processing，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器301，处理器302读取存储器301中的信息，结合其硬件完成上述方法的步骤。
对应于上述基于业务系统的数据处理方法，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可运行指令，所述计算机可运行指令在被处理器调用和运行时，所述计算机可运行指令促使所述处理器运行上述基于业务系统的数据处理方法的步骤。
本申请实施例所提供的基于业务系统的数据处理装置可以为设备上的特定硬件或者安装于设备上的软件或固件等。本申请实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的系统、装置和单元的具体工作过程，均可以参考上述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
再例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述基于业务系统的数据处理方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种基于业务系统的数据处理方法，其特征在于，所述方法包括：
响应于针对所述业务系统中的待检测数据的选择操作，确定所述选择操作对应的第一数据表；
利用Spark算法对所述待检测数据进行处理，生成第二数据表；
如果所述第一数据表中的第一信息与所述第二数据表中的第二信息不一致，则确认所述第一信息是待核实数据。
2.根据权利要求1所述的基于业务系统的数据处理方法，其特征在于，所述利用Spark算法对所述待检测数据进行处理，生成第二数据表的步骤，包括：
通过预设接口获取所述待检测数据；
利用Spark算法将所述待检测数据转化为树形结构图，所述树形结构图包括：多个节点、针对多个所述节点的入边及针对多个所述节点的出边；
根据所述多个节点、所述入边及所述出边确定所述树形结构图的目标节点；
对所述节点向下一个所述节点发送信息的过程进行迭代处理，确定每个所述节点的目标信息，所述目标信息包括投资数据信息；
根据每个所述节点及每个所述节点对应的投资数据信息确定所述第二数据表。
3.根据权利要求2所述的基于业务系统的数据处理方法，其特征在于，在所述利用Spark算法将所述待检测数据转化为树形结构图的步骤之后，还包括：
判断所述树形结构图中是否存在环形路线；
如果所述树形结构图中存在环形路线，根据所述目标信息截断所述环形路线，得到以所述目标节点为起点的所述树形结构图。
4.根据权利要求1所述的基于业务系统的数据处理方法，其特征在于，所述待核实数据的类型包括：应纳未纳数据、应出未出数据及新增数据。
5.根据权利要求4所述的基于业务系统的数据处理方法，其特征在于，所述方法还包括：
当确认所述待核实数据的类型是所述应纳未纳数据时，生成包括所述应纳未纳数据的第三数据表；
响应于针对所述第三数据表的选择操作，更新所述选择操作对应的所述第一信息。
6.根据权利要求4所述的基于业务系统的数据处理方法，其特征在于，所述方法还包括：
当确认所述待核实数据的类型是所述应出未出数据时，生成包括所述应出未出数据的第四数据表；
响应于针对所述第四数据表的选择操作，更新所述选择操作对应的所述第一信息。
7.根据权利要求4所述的基于业务系统的数据处理方法，其特征在于，所述方法还包括：
当确认所述待核实数据的类型是所述新增数据时，生成包括所述新增数据的第五数据表；
响应于针对所述第五数据表的选择操作，更新所述选择操作对应的所述第一信息。
8.一种基于业务系统的数据处理装置，其特征在于，包括：
第一生成模块，用于响应于针对所述业务系统中的待检测数据的选择操作，确定所述选择操作对应的第一数据表；
第二生成模块，用于利用Spark算法对所述待检测数据进行处理，生成第二数据表；
确认模块，用于如果所述第一数据表中的第一信息与所述第二数据表中的第二信息不一致，则确认所述第一信息是待核实数据。
9.一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至7任一项所述的方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可运行指令，所述计算机可运行指令在被处理器调用和运行时，所述计算机可运行指令促使所述处理器运行所述权利要求1至7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011573615.5A CN112613892B (zh) | 2020-12-25 | 2020-12-25 | 基于业务系统的数据处理方法、装置以及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011573615.5A CN112613892B (zh) | 2020-12-25 | 2020-12-25 | 基于业务系统的数据处理方法、装置以及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112613892A true CN112613892A (zh) | 2021-04-06 |
| CN112613892B CN112613892B (zh) | 2024-03-15 |
Family
ID=75248047
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011573615.5A Active CN112613892B (zh) | 2020-12-25 | 2020-12-25 | 基于业务系统的数据处理方法、装置以及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112613892B (zh) |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009123297A1 (ja) * | 2008-04-03 | 2009-10-08 | 株式会社日立ハイテクノロジーズ | 質量分析装置を用いた定量分析方法 |
| CN106407833A (zh) * | 2015-08-03 | 2017-02-15 | 阿里巴巴集团控股有限公司 | 用于服务提供者、服务使用者的项目空间设备及其封装方法 |
| CN106407292A (zh) * | 2016-08-29 | 2017-02-15 | 北京农业信息技术研究中心 | 一种空间数据库中矢量数据几何变化检测的方法及装置 |
| CN108363751A (zh) * | 2018-01-29 | 2018-08-03 | 武汉迎风聚智科技有限公司 | 一种住房公积金业务系统的检测方法及系统 |
| CN108959374A (zh) * | 2018-05-24 | 2018-12-07 | 北京三快在线科技有限公司 | 数据存储方法、装置及电子设备 |
| CN108965318A (zh) * | 2018-08-02 | 2018-12-07 | 杭州安恒信息技术股份有限公司 | 检测工业控制网络中未授权接入设备ip的方法及装置 |
| CN109210268A (zh) * | 2018-10-19 | 2019-01-15 | 杭州电子科技大学 | 一种基于超低功率电磁阀的大数据处理方法 |
| CN109656917A (zh) * | 2018-12-18 | 2019-04-19 | 深圳前海微众银行股份有限公司 | 多数据源的数据检测方法、装置、设备及可读存储介质 |
| CN109753531A (zh) * | 2018-12-26 | 2019-05-14 | 深圳市麦谷科技有限公司 | 一种大数据统计方法、系统、计算机设备及存储介质 |
| US20200021609A1 (en) * | 2018-07-13 | 2020-01-16 | Ribbon Communications Operating Company, Inc. | Communications methods and apparatus for dynamic detection and/or mitigation of threats and/or anomalies |
| CN111190906A (zh) * | 2019-12-31 | 2020-05-22 | 全球能源互联网研究院有限公司 | 一种传感网数据异常检测方法 |
| CN111209309A (zh) * | 2020-01-13 | 2020-05-29 | 腾讯科技（深圳）有限公司 | 数据流图处理结果确定方法、装置、设备及存储介质 |
| CN111708807A (zh) * | 2020-05-27 | 2020-09-25 | 中国平安财产保险股份有限公司 | 数据扁平化处理方法、装置、设备及存储介质 |
| CN112052138A (zh) * | 2020-08-31 | 2020-12-08 | 平安科技（深圳）有限公司 | 业务数据质量检测方法、装置、计算机设备及存储介质 |
-
2020
- 2020-12-25 CN CN202011573615.5A patent/CN112613892B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009123297A1 (ja) * | 2008-04-03 | 2009-10-08 | 株式会社日立ハイテクノロジーズ | 質量分析装置を用いた定量分析方法 |
| CN106407833A (zh) * | 2015-08-03 | 2017-02-15 | 阿里巴巴集团控股有限公司 | 用于服务提供者、服务使用者的项目空间设备及其封装方法 |
| CN106407292A (zh) * | 2016-08-29 | 2017-02-15 | 北京农业信息技术研究中心 | 一种空间数据库中矢量数据几何变化检测的方法及装置 |
| CN108363751A (zh) * | 2018-01-29 | 2018-08-03 | 武汉迎风聚智科技有限公司 | 一种住房公积金业务系统的检测方法及系统 |
| CN108959374A (zh) * | 2018-05-24 | 2018-12-07 | 北京三快在线科技有限公司 | 数据存储方法、装置及电子设备 |
| US20200021609A1 (en) * | 2018-07-13 | 2020-01-16 | Ribbon Communications Operating Company, Inc. | Communications methods and apparatus for dynamic detection and/or mitigation of threats and/or anomalies |
| CN108965318A (zh) * | 2018-08-02 | 2018-12-07 | 杭州安恒信息技术股份有限公司 | 检测工业控制网络中未授权接入设备ip的方法及装置 |
| CN109210268A (zh) * | 2018-10-19 | 2019-01-15 | 杭州电子科技大学 | 一种基于超低功率电磁阀的大数据处理方法 |
| CN109656917A (zh) * | 2018-12-18 | 2019-04-19 | 深圳前海微众银行股份有限公司 | 多数据源的数据检测方法、装置、设备及可读存储介质 |
| CN109753531A (zh) * | 2018-12-26 | 2019-05-14 | 深圳市麦谷科技有限公司 | 一种大数据统计方法、系统、计算机设备及存储介质 |
| CN111190906A (zh) * | 2019-12-31 | 2020-05-22 | 全球能源互联网研究院有限公司 | 一种传感网数据异常检测方法 |
| CN111209309A (zh) * | 2020-01-13 | 2020-05-29 | 腾讯科技（深圳）有限公司 | 数据流图处理结果确定方法、装置、设备及存储介质 |
| CN111708807A (zh) * | 2020-05-27 | 2020-09-25 | 中国平安财产保险股份有限公司 | 数据扁平化处理方法、装置、设备及存储介质 |
| CN112052138A (zh) * | 2020-08-31 | 2020-12-08 | 平安科技（深圳）有限公司 | 业务数据质量检测方法、装置、计算机设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 刘牧雷等: "基于spark的大数据三枝决策分类方法", 《上海电力学院学报》 * |
| 张雨等: "电网大数据跨行业数据融合交互途径研究", 《机电信息》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112613892B (zh) | 2024-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112434061B (zh) | 支持循环依赖的任务调度方法和系统 | |
| CN110888866B (zh) | 数据扩充方法、装置、数据处理设备及存储介质 | |
| CN109788026B (zh) | 消息处理方法及装置 | |
| CN107329765B (zh) | 程序文件处理方法及装置 | |
| CN110990233A (zh) | 一种利用甘特图展示soar的方法和系统 | |
| US20150113008A1 (en) | Providing automatable units for infrastructure support | |
| CN112686418A (zh) | 一种履约时效预测方法和装置 | |
| CN113011907A (zh) | 数据处理方法、装置、存储介质及设备 | |
| CN111327466A (zh) | 一种告警分析方法、系统、设备以及介质 | |
| CN108595685B (zh) | 一种数据处理方法及装置 | |
| CN110554951A (zh) | 一种埋点管理的方法和装置 | |
| CN112732710A (zh) | 数据处理方法、装置以及电子设备 | |
| CN110719200A (zh) | 信息识别方法和装置 | |
| CN111813765B (zh) | 一种异常数据处理的方法、装置、电子设备、计算机可读介质 | |
| CN112613892A (zh) | 基于业务系统的数据处理方法、装置以及电子设备 | |
| CN108491440B (zh) | 一种gnss非实时数据溯源可视化方法和系统 | |
| CN113468248B (zh) | 数据统计方法、装置、设备及存储介质 | |
| CN106789145B (zh) | 一种告警信息推送方法及装置 | |
| CN115643172A (zh) | 一种异常检测方法、装置、终端设备及存储介质 | |
| CN106776257B (zh) | 一种用于系统性能测试的响应时间统计方法及装置 | |
| CN112925774A (zh) | 地址数据的清洗方法及装置、存储介质、计算机设备 | |
| CN112699009A (zh) | 数据检测方法和装置、服务器及存储介质 | |
| CN112468443A (zh) | 一种通过大数据态势分析实现优化决策的方法与系统 | |
| CN111127161A (zh) | 数据处理方法、系统、电子设备及可读存储介质 | |
| CN112799797A (zh) | 一种任务管理的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |