CN113590604A - 业务数据的处理方法、装置和服务器 - Google Patents

业务数据的处理方法、装置和服务器 Download PDF

Info

Publication number
CN113590604A
CN113590604A CN202110889334.9A CN202110889334A CN113590604A CN 113590604 A CN113590604 A CN 113590604A CN 202110889334 A CN202110889334 A CN 202110889334A CN 113590604 A CN113590604 A CN 113590604A
Authority
CN
China
Prior art keywords
service data
preset
data
target service
matching degree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110889334.9A
Other languages
English (en)
Other versions
CN113590604B (zh
Inventor
夏鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202110889334.9A priority Critical patent/CN113590604B/zh
Publication of CN113590604A publication Critical patent/CN113590604A/zh
Application granted granted Critical
Publication of CN113590604B publication Critical patent/CN113590604B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2365—Ensuring data consistency and integrity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24553—Query execution of query operations
    • G06F16/24554—Unary operations; Data partitioning operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/02—Banking, e.g. interest calculation or account maintenance

Abstract

本说明书提供了业务数据的处理方法、装置和服务器。基于该方法，在接收到新的目标业务数据后，可以先确定并根据基于文本字段的第一匹配度，确定新接收的目标业务数据是否属于当前已有的预设业务数据；在根据第一匹配度无法确定目标业务数据是否属于预设业务数据的情况下，再基于预设的取数规则，确定并根据基于数据值的第二匹配度，进一步确定该目标业务数据是否属于预设业务数据，从而可以基于文本字段和数据值两种不同的维度，高效、精准地确定出新接收的目标业务数据是否属于已有的预设业务数据，能较好地适用于结构复杂的分布式数据处理系统，准确、有效地对该系统所接入的大量不同来源的业务数据进行数据统一和数据管理。

Description

业务数据的处理方法、装置和服务器
技术领域
本说明书属于大数据处理技术领域，尤其涉及业务数据的处理方法、装置和服务器。
背景技术
在大数据处理场景中，分布式数据处理系统每时每刻都会接收到不同数据源(例如，不同的来源机构)传入的海量业务数据。
但是，由于不同数据源所使用的业务数据命名规则、业务数据处理方式、业务数据的统计口径等存在差异，导致分布式数据处理系统往往无法准确地辨识出实质相同的业务数据，难以对所接收到的业务数据进行较为有效的数据统一和数据管理，进而容易出现对系统中实质相同的业务数据进行重复处理，导致系统中存储的业务数据存在冗余、影响系统性能等技术问题。
针对上述问题，目前尚未提出有效的解决方案。
发明内容
本说明书提供了一种业务数据的处理方法、装置和服务器，能较好地适用于结构复杂的分布式数据处理系统，能够准确、有效地对该系统所接入的大量不同来源的业务数据进行数据统一和数据管理，避免对本质相同的业务数据进行重复处理。
本说明书实施例提供了一种业务数据的处理方法，包括：
获取目标业务数据，以及目标业务数据的要素信息；其中，所述目标业务数据的要素信息至少包括目标业务数据的名称字段和目标业务数据的业务定义文本；
根据所述目标业务数据的要素信息、预设的业务元数据表，计算目标业务数据与预设业务数据基于文本字段的第一匹配度；其中，所述预设的业务元数据表包含有业务数据库中保存的多个预设业务数据的要素信息和关联信息；
根据所述第一匹配度，确定所述目标业务数据是否属于预设业务数据；并在根据第一匹配度确定所述目标业务数据属于待定数据的情况下，确定出目标业务数据的相似业务数据；
根据预设的取数规则，通过与分布式存储系统进行相应交互，确定出目标业务数据与相似业务数据基于数据值的第二匹配度；
根据所述第二匹配度，确定所述目标业务数据是否属于预设业务数据。
在一些实施例中，所述预设业务数据的关联信息包括以下至少之一：预设业务数据的来源机构的机构标识、共享预设业务数据的应用的应用标识、预设业务数据的取数应用的应用标识、存储预设业务数据的数据值的子系统的系统标识、预设业务数据的属性类型标识。
在一些实施例中，根据所述目标业务数据的要素信息、预设的业务元数据表，计算目标业务数据与预设业务数据基于文本字段的第一匹配度，包括：
统计并根据目标业务数据的名称字段与预设业务数据的名称字段中相同字符的数量，确定第一匹配参数；
确定目标业务数据的业务定义文本与预设业务数据的业务定义文本的相似度，作为第二匹配参数；
根据所述第一匹配参数和第二匹配参数，确定目标业务数据与预设业务数据基于文本字段的第一匹配度。
在一些实施例中，根据所述第一匹配度，确定所述目标业务数据是否属于预设业务数据，包括：
将所述第一匹配度分别与预设的第一匹配度阈值、预设的第二匹配度阈值进行比较，得到对应的比较结果；其中，预设的第一匹配度阈值大于预设的第二匹配度阈值；
根据所述比较结果，在确定第一匹配度大于等于预设的第一匹配度阈值的情况下，确定目标业务数据属于预设业务数据；
根据所述比较结果，在确定第一匹配度小于等于预设的第二匹配度阈值的情况下，确定目标业务数据不属于预设业务数据；
根据所述比较结果，在确定第一匹配度大于预设的第二匹配度阈值且小于预设的第一匹配度阈值的情况下，确定目标业务数据属于待定数据。
在一些实施例中，在确定目标业务数据属于预设业务数据的情况下，所述方法还包括：
根据所述目标业务数据，对预设的业务元数据表中对应的预设业务数据的关联信息进行更新操作。
在一些实施例中，在确定目标业务数据不属于预设业务数据的情况下，所述方法还包括：
利用所述目标业务数据，对预设的业务元数据表进行新增预设业务数据操作。
在一些实施例中，根据预设的取数规则，通过与分布式存储系统进行相应交互，确定出目标业务数据与相似业务数据基于数据值的第二匹配度，包括：
根据预设的取数规则，与分布式存储系统交互，以获取预设时间段内目标业务数据的数据值和相似业务数据的数据值；其中，所述分布式存储系统包括多个子系统；所述子系统被设置为存储对应的主题类型的业务数据的数据值；所述分布式存储系统与多个来源机构相连；
根据预设时间段内目标业务数据的数据值和相似业务数据的数据值，计算预设时间段内数据值的方差，作为所述目标业务数据和相似业务数据基于数据值的第二匹配度。
在一些实施例中，所述预设的取数规则包括基于zookeeper控制的kafka消息队列机制的取数规则。
在一些实施例中，根据所述第二匹配度，确定所述目标业务数据是否属于预设业务数据，包括：
检测所述第二匹配度是否小于等于预设的第三匹配度阈值；
在确定所述第二匹配度小于等于预设的第三匹配度阈值的情况下，确定所述目标业务数据属于预设业务数据。
在一些实施例中，所述目标业务数据包括目标指标数据，预设业务数据包括已有的预设指标数据；相应的，所述数据值包括指标值。
本说明书实施例提供了一种业务数据的处理装置，包括：
获取模块，用于获取目标业务数据，以及目标业务数据的要素信息；其中，所述目标业务数据的要素信息至少包括目标业务数据的名称字段和目标业务数据的业务定义文本；
第一匹配模块，用于根据所述目标业务数据的要素信息、预设的业务元数据表，计算目标业务数据与预设业务数据基于文本字段的第一匹配度；其中，所述预设的业务元数据表包含有业务数据库中保存的多个预设业务数据的要素信息和关联信息；
第一确定模块，用于根据所述第一匹配度，确定所述目标业务数据是否属于预设业务数据；并在根据第一匹配度确定所述目标业务数据属于待定数据的情况下，确定出目标业务数据的相似业务数据；
第二匹配模块，用于根据预设的取数规则，通过与分布式存储系统进行相应交互，确定出目标业务数据与相似业务数据基于数据值的第二匹配度；
第二确定模块，用于根据所述第二匹配度，确定所述目标业务数据是否属于预设业务数据。
本说明书实施例提供了一种服务器，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现：获取目标业务数据，以及目标业务数据的要素信息；其中，所述目标业务数据的要素信息至少包括目标业务数据的名称字段和目标业务数据的业务定义文本；根据所述目标业务数据的要素信息、预设的业务元数据表，计算目标业务数据与预设业务数据基于文本字段的第一匹配度；其中，所述预设的业务元数据表包含有业务数据库中保存的多个预设业务数据的要素信息和关联信息；根据所述第一匹配度，确定所述目标业务数据是否属于预设业务数据；并在根据第一匹配度确定所述目标业务数据属于待定数据的情况下，确定出目标业务数据的相似业务数据；根据预设的取数规则，通过与分布式存储系统进行相应交互，确定出目标业务数据与相似业务数据基于数据值的第二匹配度；根据所述第二匹配度，确定所述目标业务数据是否属于预设业务数据。
本说明书实施例提供了一种计算机可读存储介质，其上存储有计算机指令，所述指令被执行时实现以下步骤：获取目标业务数据，以及目标业务数据的要素信息；其中，所述目标业务数据的要素信息至少包括目标业务数据的名称字段和目标业务数据的业务定义文本；根据所述目标业务数据的要素信息、预设的业务元数据表，计算目标业务数据与预设业务数据基于文本字段的第一匹配度；其中，所述预设的业务元数据表包含有业务数据库中保存的多个预设业务数据的要素信息和关联信息；根据所述第一匹配度，确定所述目标业务数据是否属于预设业务数据；并在根据第一匹配度确定所述目标业务数据属于待定数据的情况下，确定出目标业务数据的相似业务数据；根据预设的取数规则，通过与分布式存储系统进行相应交互，确定出目标业务数据与相似业务数据基于数据值的第二匹配度；根据所述第二匹配度，确定所述目标业务数据是否属于预设业务数据。
本说明书提供了一种业务数据的处理方法、装置和服务器，基于该方法，在接收到新的目标业务数据后，先确定并根据数据处理量较小的基于文本字段的第一匹配度，来进行第一次检测判断，确定新接收的目标业务数据是否属于当前已有的预设业务数据；在根据第一匹配度无法确定目标业务数据是否属于预设业务数据的情况下，将该目标业务数据标记为待定数据，再基于预设的取数规则，确定并根据基于数据值的第二匹配度，进一步进行第二次检测判断，来确定该目标业务数据是否属于预设业务数据，从而可以基于文本字段和数据值两种不同的维度，高效、精准地确定出系统新接收的目标业务数据是否属于预设业务数据，能较好地适用于结构复杂的分布式数据处理系统，准确、有效地对该系统所接入的大量不同来源的业务数据进行数据统一和数据管理，避免对系统中实质相同的业务数据进行重复处理，解决了现有方法中存在的无法准确地对分布式数据处理系统中的业务数据进行较为有效的数据统一和数据管理，导致系统中存储的业务数据存在冗余、影响系统性能的技术问题。
附图说明
为了更清楚地说明本说明书实施例，下面将对实施例中所需要使用的附图作简单地介绍，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本说明书的一个实施例提供的业务数据的处理方法的流程示意图；
图2是在一个场景示例中，应用本说明书实施例提供的业务数据的处理方法的一种实施例的示意图；
图3是本说明书的一个实施例提供的服务器的结构组成示意图；
图4是本说明书的一个实施例提供的业务数据的处理装置的结构组成示意图；
图5是在一个场景示例中，应用本说明书实施例提供的业务数据的处理方法的一种实施例的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。
参阅图1所示，本说明书实施例提供了一种业务数据的处理方法，其中，该方法具体应用于服务器一侧。具体实施时，该方法可以包括以下内容：
S101：获取目标业务数据，以及目标业务数据的要素信息；其中，所述目标业务数据的要素信息至少包括目标业务数据的名称字段和目标业务数据的业务定义文本；
S102：根据所述目标业务数据的要素信息、预设的业务元数据表，计算目标业务数据与预设业务数据基于文本字段的第一匹配度；其中，所述预设的业务元数据表包含有业务数据库中保存的多个预设业务数据的要素信息和关联信息；
S103：根据所述第一匹配度，确定所述目标业务数据是否属于预设业务数据；并在根据第一匹配度确定所述目标业务数据属于待定数据的情况下，确定出目标业务数据的相似业务数据；
S104：根据预设的取数规则，通过与分布式存储系统进行相应交互，确定出目标业务数据与相似业务数据基于数据值的第二匹配度；
S105：根据所述第二匹配度，确定所述目标业务数据是否属于预设业务数据。
通过上述实施例，分布式数据处理系统中的负责业务数据的统一和管理的业务数据库服务器在分布式数据处理系统接收到新的目标业务数据之后，可以先获取至少包含有目标业务数据的名称字段和业务定义文本的目标业务数据的要素信息；并根据目标业务数据的要素信息、预设的业务元数据表，计算出目标业务数据与业务数据库中当前已有的预设业务数据基于文本字段的第一匹配度；再根据第一匹配度，进行第一次检测判断，以确定目标业务数据是否属于预设业务数据；在根据第一匹配度无法确定目标业务数据是否属于预设业务数据的情况下，将该目标业务数据标记为待定数据；再根据预设的取数规则，通过与分布式存储系统交互，确定出目标业务数据与相似业务数据基于数据值的第二匹配度；根据第二匹配度进行进一步的第二次检测判断，以确定出目标业务数据是否属于预设业务数据。从而可以基于文本字段和数据值两种不同的维度，高效、精准地确定出新接收的目标业务数据是否属于预设业务数据，能较好地适用于结构复杂的分布式数据处理系统，实现准确且有效地对该系统所接入的大量不同来源的业务数据进行数据统一和数据管理。
在一些实施例中，上述业务数据的处理方法具体可以应用于业务数据库服务器一侧。其中，上述业务数据库服务器具体负责对分布式数据处理系统所接入的业务数据进行数据统一和数据管理。
进一步，上述业务数据库服务器具体还可以连接有业务数据库，所述业务数据库保存有多个已有的预设业务数据。此外，业务数据库服务器还持有并管理与上述业务数据库关联的预设的业务元数据表。
其中，上述预设的业务元数据表具体可以是业务数据库服务器根据预设的模板规则，基于业务数据库中所保存的多个预设业务数据的相关信息生成的。具体的，上述预设的业务元数据表包含有业务数据库中所保存的多个预设业务数据的要素信息和关联信息。
在本实施例中，上述业务数据库服务器具体可以包括一种应用于分布式数据处理系统一侧，能够实现数据传输、数据处理等功能的后台负责数据处理的服务器。具体的，所述业务数据库服务器例如可以为一个具有数据运算、存储功能以及网络交互功能的电子设备。或者，所述业务数据库服务器也可以为运行于该电子设备中，为数据处理、存储和网络交互提供支持的软件程序。在本实施例中，并不具体限定所述业务数据库服务器所包含的服务器的数量。所述业务数据库服务器具体可以为一个服务器，也可以为几个服务器，或者，由若干服务器形成的服务器集群。
在一些实施例中，上述目标业务数据具体可以理解为一种新接入的由外接数据源(例如，分布式数据处理系统外接的来源机构)所生成并上传的业务数据。
在本实施例，由于不同的外接数据源所使用的数据命名规则、数据处理方式、统计口径等存在差异，出现本质上完全相同的两个业务数据在名称、标识或定义，甚至数据值等存在差异，导致分布式处理系统容易将上述两个本质上完全相同的业务数据错误地识别成两种不同的业务数据进行重复处理。
因此，分布式数据处理系统在每接入一个新的业务数据后，业务数据库服务器都会应用上述业务数据的处理方法，利用预设的业务元数据表，来检测判断新接入的业务数据在本质上是否与业务数据库中所保存的某个已有的预设业务数据相同，是否属于某一个已有的预设业务数据，从而可以有效地避免后续对本质相同的业务数据进行重复处理。
在一些实施例中，所述目标业务数据具体可以包括目标指标数据，预设业务数据具体可以包括已有的预设指标数据；相应的，所述数据值具体可以包括指标值。类似的，上述业务数据库可以包括指标数据库；上述预设的业务元数据表可以包括预设的指标元数据表等。
通过上述实施例，可以应用本说明书实施例所提供的业务数据的处理方法对不同来源机构上传至分布式数据处理系统的不同指标数据进行较为有效的处理，以实现数据统一和数据管理，避免后续对本质相同的指标数据进行重复处理，减少分布式数据处理系统的数据冗余。
在一些实施例中，针对不同的数据处理场景，保存于指标数据库中的预设指标数据具体可以包括针对不同应用场景的多种不同类型的指标数据。
具体的，以银行系统的交易数据处理场景为例，上述预设指标数据可以包括银行系统中的存贷款指标数据和中间业务指标数据。具体的，例如，净利润、小企业贷款、机构活期存款、信用卡收入、个人客户数、法人客户数等等。
当然，需要说明的是，上述所列举的预设指标数据只是一种示意性说明。具体实施时，根据具体的应用场景和处理需求，上述预设指标数据还可以包括其他类型的指标数据。对此，本说明书不作限定。
在一些实施例中，具体实施前，业务数据库服务器(简称服务器)可以先分布式数据处理系统已有的业务数据进行数据统一，得到相互之间本质上存在差异的多个预设业务数据，并将上述多个预设业务数据保存在业务数据库中。进一步，业务数据库服务器可以获取并根据业务数据库中的预设业务数据的相关信息，基于预设的模板规则，确定出各个预设业务数据的要求信息和关联信息，以构建得到相应的预设的业务元数据表。
在一些实施例中，上述预设业务数据的要素信息至少包括：预设业务数据的名称字段和预设业务数据的业务定义文本等。
在一些实施例中，上述预设业务数据的关联信息包括以下至少之一：预设业务数据的来源机构的机构标识、共享预设业务数据的应用的应用标识、预设业务数据的取数应用的应用标识、存储预设业务数据的数据值的子系统的系统标识、预设业务数据的属性类型标识等。
通过上述实施例，可以获取并利用上述预设业务数据的关联信息，构建得到数据信息较为丰富、全面的预设的业务元数据表。
在一些实施例中，具体实施时，服务器在接收到分布式数据处理系统新接入的目标业务数据后，可以根据预设的模板规则，获取该目标业务数据的名称字段和业务定义文本作为目标业务数据的要素信息。
在一些实施例中，上述根据所述目标业务数据的要素信息、预设的业务元数据表，计算目标业务数据与预设业务数据基于文本字段的第一匹配度，具体实施时，可以包括以下内容：
S1：统计并根据目标业务数据的名称字段与预设业务数据的名称字段中相同字符的数量，确定第一匹配参数；
S2：确定目标业务数据的业务定义文本与预设业务数据的业务定义文本的相似度，作为第二匹配参数；
S3：根据所述第一匹配参数和第二匹配参数，确定目标业务数据与预设业务数据基于文本字段的第一匹配度。
通过上述实施例，可以较为精准地确定出新接入的目标业务数据与已有的预设业务数据基于文本字段维度的第一匹配度。
在一些实施例中，具体确定第一匹配参数时，可以先统计出目标业务数据的名称字段与预设业务数据的名称字段中相同字符的数量；再计算相同字符的数量与目标业务数据的名称字段中字符总数的比值，作为第一匹配参数。
在一些实施例中，具体确定第二匹配参数时，可以先调用预先训练好的语义识别模型分别处理目标业务数据的定义文本，以及预设业务数据的定义文本，得到对应的目标业务数据的定义文本的语义识别结果(记为第一语义识别结果)，以及预设业务数据的定义文本的语义识别结果(记为第二语义识别结果)；再根据第一语义识别结果和第二语义识别结果，计算目标业务数据的业务定义文本与预设业务数据的业务定义文本的语义相似度，作为第二匹配参数。
在一些实施例中，具体确定第二匹配参数时，还可以先统计目标业务数据的业务定义文本与预设业务数据的业务定义文本中相同字符的数量；再计算相同字符的数量与目标业务数据的业务定义文本中字符总数的比值，作为第二匹配参数。
在一些实施例中，上述根据所述第一匹配度，确定所述目标业务数据是否属于预设业务数据，具体实施时，可以包括以下内容：
S1：将所述第一匹配度分别与预设的第一匹配度阈值、预设的第二匹配度阈值进行比较，得到对应的比较结果；其中，预设的第一匹配度阈值大于预设的第二匹配度阈值；
S2：根据所述比较结果，在确定第一匹配度大于等于预设的第一匹配度阈值的情况下，确定目标业务数据属于预设业务数据；
S3：根据所述比较结果，在确定第一匹配度小于等于预设的第二匹配度阈值的情况下，确定目标业务数据不属于预设业务数据；
S4：根据所述比较结果，在确定第一匹配度大于预设的第二匹配度阈值且小于预设的第一匹配度阈值的情况下，确定目标业务数据属于待定数据。
通过上述实施例，可以先确定出数据处理量相对较小的基于文本字段的第一匹配度，再根据第一匹配度对目标业务数据进行第一次的检测判断，以确定出具体属于以下三种情况的哪一种：目标业务数据属于预设业务数据，即，确定目标业务数据与业务数据库中所保存的某个已有的预设业务数据在本质上是相同的；或者，目标业务数据不属于预设业务数据，即，确定目标业务数据与业务数据库中当前所保存的任何一个已有的预设业务数据在本质上都是不相同的；又或者，当前仅根据基于文本字段的第一匹配度无法确定出目标业务数据是否属于预设业务数据，进而可以将该目标业务数据标记为待定数据，以便后续计算并利用基于数据值的第二匹配度进行第二次的检测判断。
在一些实施例中，上述预设的第一匹配度阈值大于预设的第二匹配度阈值。其中，上述预设的第一匹配度阈值、预设的第二匹配度阈值可以通过对历史数据进行学习统计得到的。
在一些实施例中，在根据第一匹配度确定目标业务数据属于待定数据的情况下，可以根据目标业务数据与预设业务数据的第一匹配度，从业务数据库所保存的多个预设业务数据中筛选出第一匹配度最高的预设业务数据，作为目标业务数据的相似业务数据。进而后续可以根据预设的取数规则，只计算并根据目标业务数据与该相似业务数据基于数据值的第二匹配度，来对目标业务数据是否属于预设业务数据进行第二次的检测判断。
在一些实施例中，上述根据预设的取数规则，通过与分布式存储系统进行相应交互，确定出目标业务数据与相似业务数据基于数据值的第二匹配度，具体实施时，可以包括以下内容：
S1：根据预设的取数规则，与分布式存储系统交互，以获取预设时间段内目标业务数据的数据值和相似业务数据的数据值；其中，所述分布式存储系统包括多个子系统；所述子系统被设置为存储对应的主题类型的业务数据的数据值；所述分布式存储系统与多个来源机构相连；
S2：根据预设时间段内目标业务数据的数据值和相似业务数据的数据值，计算预设时间段内数据值的方差，作为所述目标业务数据和相似业务数据基于数据值的第二匹配度。
通过上述实施例，可以基于预设的取数规则，高效地获取并利用存储于分布式存储系统中的不同子系统上的业务数据的数据值，快速、准确地计算得到符合要求的基于数据值的第二匹配度。
在一些实施例中，需要说明的是，在分布式数据处理系统中，预设业务数据的相关信息可以集中存储在业务数据库中。而分布式数据处理系统所接入的各个业务数据的具体数据值，可以采用分布式存储系统分别存储到对应的子系统中。
在一些实施例中，为了能够更加高效地从分布式存储系统中拉取所需要的业务数据的数据值，所使用的预设的取数规则具体可以包括一种基于zookeeper控制的kafka消息队列机制的取数规则。
通过上述实施例，服务器可以根据预设的取数规则更加高效地从分布式存储系统中取出所需要的业务数据的数据值，来计算得到基于数据值维度的第二匹配度。
在一些实施例中，上述zookeeper具体可以理解为一种控制程序，用于协调控制管理kafka消息队列(或集群)。具体的，基于上述预设的取数规则，可以利用zookeeper控制kafka在启动时产生多个broker。其中，每一个broker是分布式部署并且相互独立的节点。基于zookeeper，可以记录相应的broker节点，并且通过zookeeper还可以动态管理各个broker来实现集群间的动态负载均衡。此外，上述broker当中具有选举的机制，具体可以由选举出的leader进行读写请求，处理数据消息同步等内容。
在一些实施例中，为了方便后续获取业务数据的数据值。分布式存储系统中的每一个子系统分别被设置为存储所对应的一种或多种主题类型(topic)的业务数据的数据值。这样分布式数据处理系统所接入的业务数据的数据值会先根据业务数据的主题类型，被存储至与主题类型所对应的子系统中。相应的，后续业务数据库服务器在获取业务数据的数据值时，可以根据业务数据的主题类型，与分布式存储系统中对应子系统进行交互，以更加快速地找到所需要的业务数据的数据值；并通过zookeeper控制kafka消息队列以并行的方式，高效地从对应的子系统中获取所需要的业务数据的数据值。
在一些实施例中，具体的，对应不同的子系统可以预先建立不同的topic(主题类型)，即每一个topic对应一个子系统所存储的一类业务数据的数据值。这样可以较好的隔离多源系统中取数时受其他子系统的影响，保证了每个topic对应一条数据链路。
基于上述分布式存储系统，可以将通用的消费者和生产者程序部署到各个加盟的应用中，即订阅topic；并消费这些已发布的内容。同时，消费者在消费上述内容后会转变成生产者，再将相应的数据请求结果发布到结果topic中，供数据消费者来进行订阅。具体的，可以通过发送生产者->发送消费者->结果生产者->结果消费者的模式形成一套数据的闭环，最终完成从异构系统当中取到相应的指标数据。
具体的，基于上述分布式存储系统，根据预设的取数规则，服务器作为生产者，可以通过zookeeper将携带有目标业务数据的名称字段的第一请求，以及携带有相似业务数据的名称字段的第二请求，基于kafka消息队列机制，分别发送至与目标业务数据的主题类型、相似业务数据的主题类型分别对应的子系统中。上述子系统作为消费者，基于kafka消息队列机制，接收并获取第一请求、第二请求。同时，上述子系统又作为结果生产者，基于kafka消息队列机制，响应上述第一请求、第二请求，根据所携带的目标业务数据的名称字段、相似业务数据的名称字段，查询并获得对应的目标业务数据的数据值，以及相似业务数据的数据值，并通过kafka消息队列反馈给服务器。服务器作为结果消费者，基于kafka消息队列机制，接收并获取子系统所反馈的目标业务数据的数据值、相似业务数据的数据值。
在一些实施例中，以目标业务数据为目标指标数据为例。参阅图2所示，具体实施时，可以包括以下步骤：
S1：由指标数据库服务器发布请求信息到kafka消息队列，此时指标数据库服务器是kafka消息队列中的生产者，根据取数应用的不同，可以将消息发布到不同的topic上，在本实施例中，可以发布到请求topic上。
S2：同时部署在对应应用的子系统是kafka消息队列中的消费者，由于请求topic发生变化，可以通过订阅请求topic，并从broker拉取数据，来消费(处理)请求消息。
S3：分布式存储系统中的各个子系统获得请求消息后，可以对该请求消息进行消费，并将结果发布到kafka消息队列的结果topic中。
S4：由于结果topic:中的数据发生了变化，指标数据库服务器作为消费者接收到上述变化，并从相应的broker当中来取数据，最终获得所需要的指标数据的指标值。
通过上述实施例，服务器可以利用基于zookeeper控制的kafka消息队列机制的取数规则高效地取出得到所需要的指标数据(包括目标指标数据和相似指标数据)的指标值。
在一些实施例中，在按照上述方式获取指标数据的指标值的过程中，还可以通过部署于kafka消息队列中的指标日志分析内容生产端，将相应的日志信息记录日志topic；并由指标数据库服务器作为消费者对上述指标日志进行数据调用。进而服务器可以通过对指标日志的调用，更加合理的处理新接入的目标指标数据。同时，还可以通过对指标日志的分析，提取出指标访问量信息，以确定出高访问量的指标数据，进一步提高指标数据的数据质量。
在一些实施例中，上述预设时间段具体可以是30天，或者最近一周，最近一天等。对于预设时间段的具体时长，本说明书不作限定。
在一些实施例中，具体实施时，服务器可以根据预设时间段的目标业务数据的数据值和相似业务数据的数据值，计算得到对应该预设时间段的数据值的方差，作为基于数据值维度的第二匹配度。
通常如果目标业务数据和相似业务数据在本质上属于相同的业务数据，在数据值维度上，方差的数值会比较小，相应的，第二匹配度也会相对较小。如果目标业务数据和相似业务数据在本质上属于不同的业务数据，在数据值维度上，方差的数值会比较大，相应的，第二匹配度也会相对较大。
因此，可以利用第二匹配度从数值维度上来检测判断目标业务数据和相似业务数据是否属于同一种业务数据。
在一些实施例中，上述根据所述第二匹配度，确定所述目标业务数据是否属于预设业务数据，具体实施时，可以包括以下内容：
S1：检测所述第二匹配度是否小于等于预设的第三匹配度阈值；
S2：在确定所述第二匹配度小于等于预设的第三匹配度阈值的情况下，确定所述目标业务数据属于预设业务数据。即，确定目标业务数据在本质上与相似业务数据是相同的业务数据。
通过上述实施例，可以利用目标业务数据和相似业务数据的第二匹配度，从数据值的维度出发进行第二次检测判断，来确定目标业务数据在本质上是否属于已有的预设业务数据。
在一些实施例中，在确定第二匹配度大于等于预设的第三匹配度阈值的情况下，可以进一步检测第二匹配度是否大于预设的第四匹配度阈值；其中，预设的第四匹配度阈值大于预设的第三匹配度阈值；在确定第二匹配度大于预设的第四匹配度阈值的情况下，确定目标业务数据不属于已有的预设业务数据，即确定目标业务数据在本质上与相似业务数据是不同的业务数据。其中，上述预设的第三匹配度阈值、预设的第四匹配度阈值具体可以是通过对历史数据进行学习统计得到的。
在一些实施例中，在确定第二匹配度小于预设的第四匹配度阈值，且大于预设的第三匹配度阈值的情况下，可以将该目标业务数据发送至人工检测端，提醒业务员进行人工检测，以最终确定是否属于已有的预设业务数据。
在一些实施例中，在确定目标业务数据属于预设业务数据的情况下，所述方法具体实施时，还可以包括：根据所述目标业务数据，对预设的业务元数据表中对应的预设业务数据的关联信息进行更新操作。
通过上述实施例，在确定目标业务数据属于已有的预设业务数据的情况下，可以根据目标业务数据的相关信息，对预设的业务元数据表中对应的预设业务数据的关联信息及时进行更新，得到更新后的预设的业务元数据表。
在本实施例中，在确定目标业务数据属于预设业务数据的情况下，确定该目标业务数据在本质上与业务数据库中所保存的某个已有的预设业务数据(可以记为同质业务数据)是相同的业务数据。进一步，服务器可以获取目标业务数据的关联信息，并根据目标业务数据的关联信息和/或要素信息，对预设的业务元数据表中目标业务数据的同质业务数据的关联信息和要素信息进行相应的更新，实现更新操作。例如，可以根据目标业务数据，在预设的业务元数据表中增加目标业务数据的同质业务数据的来源机构的机构标识、应用标识等。
在一些实施例中，在确定目标业务数据不属于预设业务数据的情况下，所述方法具体实施时，还可以包括以下内容：利用所述目标业务数据，对预设的业务元数据表进行新增预设业务数据操作。
通过上述实施例，在确定目标业务数据不属于已有的预设业务数据的情况下，可以根据目标业务数据的相关信息，在预设的业务元数据表中及时增加新的预设业务数据，同时将该目标业务数据作为新的预设业务数据保存在业务数据库中，从而可以得到较为全面的预设的业务元数据表和业务数据库。
在本实施例中，在确定目标业务数据不属于预设业务数据的情况下，即确定该目标业务数据在本质上与业务数据库中所保存的任何一个已有的预设业务数据都不相同。进一步，服务器可以获取并利用目标业务数据的要素信息和关联信息，在预设的业务元数据表中增加目标业务数据的要素信息和关联信息，并将该目标业务数据作为一个新的预设业务数据保存在业务数据库中，实现新增预设业务数据操作。
由上可见，基于本说明书实施例提供的业务数据的处理方法，在接收到新的目标业务数据之后，可以先获取至少包含有目标业务数据的名称字段和业务定义文本的目标业务数据的要素信息；并根据目标业务数据的要素信息、预设的业务元数据表，计算出目标业务数据与业务数据库中当前已有的预设业务数据基于文本字段的第一匹配度；再根据第一匹配度，确定目标业务数据是否属于预设业务数据；在根据第一匹配度无法确定目标业务数据是否属于预设业务数据的情况下，根据预设的取数规则，通过与分布式存储系统交互，确定出目标业务数据与相似业务数据基于数据值的第二匹配度；根据第二匹配度进一步确定目标业务数据是否属于预设业务数据。通过先确定并根据数据处理量较小的基于文本字段的第一匹配度，确定新接收的目标业务数据是否属于当前已有的预设业务数据；在根据第一匹配度无法确定目标业务数据是否属于预设业务数据的情况下，再基于预设的取数规则，确定并根据基于数据值的第二匹配度，进一步确定该目标业务数据是否属于预设业务数据，从而可以基于文本字段和数据值两种不同的维度，高效、精准地确定出新接收的目标业务数据是否属于预设业务数据，能较好地适用于结构复杂的分布式数据处理系统，实现准确且有效地对该系统所接入的大量不同来源的业务数据进行数据统一和数据管理。能够有效地避免对系统中实质相同的业务数据进行重复处理，解决了现有方法中存在的无法准确地对分布式数据处理系统中的业务数据进行较为有效的数据统一和数据管理，导致系统中存储的业务数据存在冗余、影响系统性能的技术问题。
本说明书实施例还提供一种服务器，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器具体实施时可以根据指令执行以下步骤：获取目标业务数据，以及目标业务数据的要素信息；其中，所述目标业务数据的要素信息至少包括目标业务数据的名称字段和目标业务数据的业务定义文本；根据所述目标业务数据的要素信息、预设的业务元数据表，计算目标业务数据与预设业务数据基于文本字段的第一匹配度；其中，所述预设的业务元数据表包含有业务数据库中保存的多个预设业务数据的要素信息和关联信息；根据所述第一匹配度，确定所述目标业务数据是否属于预设业务数据；并在根据第一匹配度确定所述目标业务数据属于待定数据的情况下，确定出目标业务数据的相似业务数据；根据预设的取数规则，通过与分布式存储系统进行相应交互，确定出目标业务数据与相似业务数据基于数据值的第二匹配度；根据所述第二匹配度，确定所述目标业务数据是否属于预设业务数据。
为了能够更加准确地完成上述指令，参阅图3所示，本说明书实施例还提供了另一种具体的服务器，其中，所述服务器包括网络通信端口301、处理器302以及存储器303，上述结构通过内部线缆相连，以便各个结构可以进行具体的数据交互。
其中，所述网络通信端口301，具体可以用于获取目标业务数据，以及目标业务数据的要素信息；其中，所述目标业务数据的要素信息至少包括目标业务数据的名称字段和目标业务数据的业务定义文本。
所述处理器302，具体可以用于根据所述目标业务数据的要素信息、预设的业务元数据表，计算目标业务数据与预设业务数据基于文本字段的第一匹配度；其中，所述预设的业务元数据表包含有业务数据库中保存的多个预设业务数据的要素信息和关联信息；根据所述第一匹配度，确定所述目标业务数据是否属于预设业务数据；并在根据第一匹配度确定所述目标业务数据属于待定数据的情况下，确定出目标业务数据的相似业务数据；根据预设的取数规则，通过与分布式存储系统进行相应交互，确定出目标业务数据与相似业务数据基于数据值的第二匹配度；根据所述第二匹配度，确定所述目标业务数据是否属于预设业务数据。
所述存储器303，具体可以用于存储相应的指令程序。
在本实施例中，所述网络通信端口301可以是与不同的通信协议进行绑定，从而可以发送或接收不同数据的虚拟端口。例如，所述网络通信端口可以是负责进行web数据通信的端口，也可以是负责进行FTP数据通信的端口，还可以是负责进行邮件数据通信的端口。此外，所述网络通信端口还可以是实体的通信接口或者通信芯片。例如，其可以为无线移动网络通信芯片，如GSM、CDMA等；其还可以为Wifi芯片；其还可以为蓝牙芯片。
在本实施例中，所述处理器302可以按任何适当的方式实现。例如，处理器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式等等。本说明书并不作限定。
在本实施例中，所述存储器303可以包括多个层次，在数字系统中，只要能保存二进制数据的都可以是存储器；在集成电路中，一个没有实物形式的具有存储功能的电路也叫存储器，如RAM、FIFO等；在系统中，具有实物形式的存储设备也叫存储器，如内存条、TF卡等。
本说明书实施例还提供了一种基于上述业务数据的处理方法的计算机可读存储介质，所述计算机可读存储介质存储有计算机程序指令，在所述计算机程序指令被执行时实现：获取目标业务数据，以及目标业务数据的要素信息；其中，所述目标业务数据的要素信息至少包括目标业务数据的名称字段和目标业务数据的业务定义文本；根据所述目标业务数据的要素信息、预设的业务元数据表，计算目标业务数据与预设业务数据基于文本字段的第一匹配度；其中，所述预设的业务元数据表包含有业务数据库中保存的多个预设业务数据的要素信息和关联信息；根据所述第一匹配度，确定所述目标业务数据是否属于预设业务数据；并在根据第一匹配度确定所述目标业务数据属于待定数据的情况下，确定出目标业务数据的相似业务数据；根据预设的取数规则，通过与分布式存储系统进行相应交互，确定出目标业务数据与相似业务数据基于数据值的第二匹配度；根据所述第二匹配度，确定所述目标业务数据是否属于预设业务数据。
在本实施例中，上述存储介质包括但不限于随机存取存储器(Random AccessMemory,RAM)、只读存储器(Read-Only Memory,ROM)、缓存(Cache)、硬盘(Hard DiskDrive,HDD)或者存储卡(Memory Card)。所述存储器可以用于存储计算机程序指令。网络通信单元可以是依照通信协议规定的标准设置的，用于进行网络连接通信的接口。
在本实施例中，该计算机可读存储介质存储的程序指令具体实现的功能和效果，可以与其它实施方式对照解释，在此不再赘述。
参阅图4所示，在软件层面上，本说明书实施例还提供了一种业务数据的处理装置，该装置具体可以包括以下的结构模块：
获取模块401，具体可以用于获取目标业务数据，以及目标业务数据的要素信息；其中，所述目标业务数据的要素信息至少包括目标业务数据的名称字段和目标业务数据的业务定义文本；
第一匹配模块402，具体可以用于根据所述目标业务数据的要素信息、预设的业务元数据表，计算目标业务数据与预设业务数据基于文本字段的第一匹配度；其中，所述预设的业务元数据表包含有业务数据库中保存的多个预设业务数据的要素信息和关联信息；
第一确定模块403，具体可以用于根据所述第一匹配度，确定所述目标业务数据是否属于预设业务数据；并在根据第一匹配度确定所述目标业务数据属于待定数据的情况下，确定出目标业务数据的相似业务数据；
第二匹配模块404，具体可以用于根据预设的取数规则，通过与分布式存储系统进行相应交互，确定出目标业务数据与相似业务数据基于数据值的第二匹配度；
第二确定模块405，具体可以用于根据所述第二匹配度，确定所述目标业务数据是否属于预设业务数据。
需要说明的是，上述实施例阐明的单元、装置或模块等，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本说明书时可以把各模块的功能在同一个或多个软件和/或硬件中实现，也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
由上可见，基于本说明书实施例提供的业务数据的处理装置，可以基于文本字段和数据值两种不同的维度，高效、精准地确定出新接收的目标业务数据是否属于预设业务数据，能较好地适用于结构复杂的分布式数据处理系统，准确、有效地对该系统所接入的大量不同来源的业务数据进行数据统一和数据管理。
在一个具体的场景示例中，可以应用本说明书实施例提供的业务数据的处理方法来处理银行系统所接入的指标数据(一种目标业务数据)进行登记处理。具体实施过程可以参阅图5所示，包括以下内容。
服务器可以在指标库系统(业务数据库)中建立指标元数据登记(例如，预设的业务元数据表)，可以按照指标的属性对指标进行分类：根指标和组合指标。其中，根指标具有原子性，满足唯一且不可拆分；组合指标由根指标经过逻辑运算加工而来。再根据统一的模板(预设的模板规则)，确定并获取指标编号、指标名称、业务定义、机构编码、币种信息、维度信息、共享应用、取数应用等信息，将指标模板信息导入到指标元数据表(得到预设的业务元数据表)。
S1：进行指标数据(目标指标数据)的要素信息的收集与筛选。
S2：将所获取的指标的要素信息导入到指标元数据表当中，进行检测处理。具体可以包括以下子步骤。
S2-1：导入数据跟指标元数据当中的数据进行比对，如果指标元数据表无此数据，则进行新增指标元数据操作。
S2-2：导入数据通过名字比对发现已经存在于指标元数据表当中，则进入指标初审(第一次检测判断)进行数据处理。
S2-3：在指标初审时，根据指标初审规则，包括：指标名称字段的匹配程度检测，指标业务定义的文字相似性匹配程度检测。其中，指标名称相似度包括指标名称，及相应指标业务定义的描述。可以设立相似度匹配阀值X(例如，预设的第二匹配度阈值)，根据匹配度的不同分成如下的3类情况：
情况1，指标名称与指标的业务定义完全一致，即待入库指标与已入库的指标(例如，已有的预设业务数据)的指标名称，指标业务定义完全一致，相似度100％(例如，预设的第一匹配度阈值)，则更新指标元数据表中共享应用这个字段。
情况2，指标名称与指标业务定义相似度小于预设的相似度匹配阀值X，则新增指标元数据操作。
情况3，如果指标名称相似度大于等于相似度匹配阀值X且阀值小于100％，则这条指标元数据进入到指标再审(第二次检测判断)。
S2-4：针对情况3，指标再审可以采用联机小批量取数的方式(根据预设的取数规则)，通过指标元数据进行分布式获取指标值并对指标值进行比对处理。由于金融系统当中多源异构系统总行的数据通过不同的渠道核对值应该是一致的，因此选择总行的数据分别取30天(例如，预设时间段)待入库指标值及已入库指标值，根据方差公式求得30天指标值的方差成为指标值相似度(例如，第二匹配度)。可以设定相似度下限阀值Y(例如，预设的第三匹配度阈值)，相似度上限阀值Z(例如，预设的第四匹配度阈值)，且Y<Z。
在本场景示例中，具体取数时，可以基于kafka，zookeeper构建多源异构的指标取数，在完成指标元数据的归一化处理后，通过kafka的消息队列机制可以获得多源系统的指标数据。具体过程可以参阅图2。
需要说明的是，这里使用相似度采用的方差的概念，对于银行系统来说，多源应用基本上采用的机构树是不同的例如目前使用的主机机构树，BOM机构树，不同的机构树挂的网点，机构略有不同，对30天的指标取数求其相应的方差，当方差越小证明波动的越小，指标越稳定，比如A市银行下面挂着多个分区支行，不同支行提供的指标数据的这个波动越小越接近于相似的指标，反之越大则差异越大。
情况1，如果指标值相似度小于等于下限阀值Y则更新指标元数据表当中的共享应用字段。
情况2，如果指标值相似度大于上限阀值Z，则新增指标元数据操作。
情况3，如果指标值相似度阀值大于下限阀值Y并且小于上限阀值Z，则需要进行人工审核，以进一步判断是需要更新共享应用字段还是新增指标元数据操作。
通过上述场景示例，验证了基于本说明书实施例所提供过的业务数据的处理方法，可以有效地整合各种数据资源，提炼有效的指标信息进行统一；还可以采用zookeeper加Kafka大数据分布式框架，利用kafka的消息队列机制，将各个源系统的数据上送注册中心，在进行消息的读取，有效解决多源指标收集问题；对于多源的系统的指标进行相似性分析，将纳入指标进行重复性筛选，减少系统数据的冗余复杂程度；还可以对指标访问量及指标搜索的分析捕获当前的热点指标信息，提高相应指标数据的数据质量。
虽然本说明书提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的手段可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的装置或客户端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境，甚至为分布式数据处理环境)。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、产品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、产品或者设备所固有的要素。在没有更多限制的情况下，并不排除在包括所述要素的过程、方法、产品或者设备中还存在另外的相同或等同要素。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内部包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构、类等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机可读存储介质中。
通过以上的实施例的描述可知，本领域的技术人员可以清楚地了解到本说明书可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本说明书的技术方案本质上可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，移动终端，服务器，或者网络设备等)执行本说明书各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例采用递进的方式描述，各个实施例之间相同或相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。本说明书可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。
虽然通过实施例描绘了本说明书，本领域普通技术人员知道，本说明书有许多变形和变化而不脱离本说明书的精神，希望所附的权利要求包括这些变形和变化而不脱离本说明书的精神。

Claims (13)

1.一种业务数据的处理方法，其特征在于，包括：
获取目标业务数据，以及目标业务数据的要素信息；其中，所述目标业务数据的要素信息至少包括目标业务数据的名称字段和目标业务数据的业务定义文本；
根据所述目标业务数据的要素信息、预设的业务元数据表，计算目标业务数据与预设业务数据基于文本字段的第一匹配度；其中，所述预设的业务元数据表包含有业务数据库中保存的多个预设业务数据的要素信息和关联信息；
根据所述第一匹配度，确定所述目标业务数据是否属于预设业务数据；并在根据第一匹配度确定所述目标业务数据属于待定数据的情况下，确定出目标业务数据的相似业务数据；
根据预设的取数规则，通过与分布式存储系统进行相应交互，确定出目标业务数据与相似业务数据基于数据值的第二匹配度；
根据所述第二匹配度，确定所述目标业务数据是否属于预设业务数据。
2.根据权利要求1所述的方法，其特征在于，所述预设业务数据的关联信息包括以下至少之一：预设业务数据的来源机构的机构标识、共享预设业务数据的应用的应用标识、预设业务数据的取数应用的应用标识、存储预设业务数据的数据值的子系统的系统标识、预设业务数据的属性类型标识。
3.根据权利要求2所述的方法，其特征在于，根据所述目标业务数据的要素信息、预设的业务元数据表，计算目标业务数据与预设业务数据基于文本字段的第一匹配度，包括：
统计并根据目标业务数据的名称字段与预设业务数据的名称字段中相同字符的数量，确定第一匹配参数；
确定目标业务数据的业务定义文本与预设业务数据的业务定义文本的相似度，作为第二匹配参数；
根据所述第一匹配参数和第二匹配参数，确定目标业务数据与预设业务数据基于文本字段的第一匹配度。
4.根据权利要求2所述的方法，其特征在于，根据所述第一匹配度，确定所述目标业务数据是否属于预设业务数据，包括：
将所述第一匹配度分别与预设的第一匹配度阈值、预设的第二匹配度阈值进行比较，得到对应的比较结果；其中，预设的第一匹配度阈值大于预设的第二匹配度阈值；
根据所述比较结果，在确定第一匹配度大于等于预设的第一匹配度阈值的情况下，确定目标业务数据属于预设业务数据；
根据所述比较结果，在确定第一匹配度小于等于预设的第二匹配度阈值的情况下，确定目标业务数据不属于预设业务数据；
根据所述比较结果，在确定第一匹配度大于预设的第二匹配度阈值且小于预设的第一匹配度阈值的情况下，确定目标业务数据属于待定数据。
5.根据权利要求1所述的方法，其特征在于，在确定目标业务数据属于预设业务数据的情况下，所述方法还包括：
根据所述目标业务数据，对预设的业务元数据表中对应的预设业务数据的关联信息进行更新操作。
6.根据权利要求1所述的方法，其特征在于，在确定目标业务数据不属于预设业务数据的情况下，所述方法还包括：
利用所述目标业务数据，对预设的业务元数据表进行新增预设业务数据操作。
7.根据权利要求1所述的方法，其特征在于，根据预设的取数规则，通过与分布式存储系统进行相应交互，确定出目标业务数据与相似业务数据基于数据值的第二匹配度，包括：
根据预设的取数规则，与分布式存储系统交互，以获取预设时间段内目标业务数据的数据值和相似业务数据的数据值；其中，所述分布式存储系统包括多个子系统；所述子系统被设置为存储对应的主题类型的业务数据的数据值；所述分布式存储系统与多个来源机构相连；
根据预设时间段内目标业务数据的数据值和相似业务数据的数据值，计算预设时间段内数据值的方差，作为所述目标业务数据和相似业务数据基于数据值的第二匹配度。
8.根据权利要求7所述的方法，其特征在于，所述预设的取数规则包括基于zookeeper控制的kafka消息队列机制的取数规则。
9.根据权利要求7所述的方法，其特征在于，根据所述第二匹配度，确定所述目标业务数据是否属于预设业务数据，包括：
检测所述第二匹配度是否小于等于预设的第三匹配度阈值；
在确定所述第二匹配度小于等于预设的第三匹配度阈值的情况下，确定所述目标业务数据属于预设业务数据。
10.根据权利要求1所述的方法，其特征在于，所述目标业务数据包括目标指标数据，预设业务数据包括已有的预设指标数据；相应的，所述数据值包括指标值。
11.一种业务数据的处理装置，其特征在于，包括：
获取模块，用于获取目标业务数据，以及目标业务数据的要素信息；其中，所述目标业务数据的要素信息至少包括目标业务数据的名称字段和目标业务数据的业务定义文本；
第一匹配模块，用于根据所述目标业务数据的要素信息、预设的业务元数据表，计算目标业务数据与预设业务数据基于文本字段的第一匹配度；其中，所述预设的业务元数据表包含有业务数据库中保存的多个预设业务数据的要素信息和关联信息；
第一确定模块，用于根据所述第一匹配度，确定所述目标业务数据是否属于预设业务数据；并在根据第一匹配度确定所述目标业务数据属于待定数据的情况下，确定出目标业务数据的相似业务数据；
第二匹配模块，用于根据预设的取数规则，通过与分布式存储系统进行相应交互，确定出目标业务数据与相似业务数据基于数据值的第二匹配度；
第二确定模块，用于根据所述第二匹配度，确定所述目标业务数据是否属于预设业务数据。
12.一种服务器，其特征在于，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现权利要求1至10中任一项所述方法的步骤。
13.一种计算机可读存储介质，其特征在于，其上存储有计算机指令，所述指令被执行时实现权利要求1至10中任一项所述方法的步骤。
CN202110889334.9A 2021-08-04 2021-08-04 业务数据的处理方法、装置和服务器 Active CN113590604B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110889334.9A CN113590604B (zh) 2021-08-04 2021-08-04 业务数据的处理方法、装置和服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110889334.9A CN113590604B (zh) 2021-08-04 2021-08-04 业务数据的处理方法、装置和服务器

Publications (2)

Publication Number Publication Date
CN113590604A true CN113590604A (zh) 2021-11-02
CN113590604B CN113590604B (zh) 2024-03-26

Family

ID=78254725

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110889334.9A Active CN113590604B (zh) 2021-08-04 2021-08-04 业务数据的处理方法、装置和服务器

Country Status (1)

Country Link
CN (1) CN113590604B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114661524A (zh) * 2022-03-21 2022-06-24 重庆市规划和自然资源信息中心 基于日志分析的不动产登记数据回备技术的实现方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140081897A1 (en) * 2012-09-16 2014-03-20 International Business Machines Corporation Utilizing a dynamic data source to affect business rule management
CN108984712A (zh) * 2018-07-06 2018-12-11 深圳前海微众银行股份有限公司 基于业务场景的造数方法、设备及可读存储介质
CN109614409A (zh) * 2018-10-29 2019-04-12 阿里巴巴集团控股有限公司 业务数据处理方法、装置和服务器
CN113093958A (zh) * 2021-04-06 2021-07-09 中国工商银行股份有限公司 数据处理方法、装置和服务器

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140081897A1 (en) * 2012-09-16 2014-03-20 International Business Machines Corporation Utilizing a dynamic data source to affect business rule management
CN108984712A (zh) * 2018-07-06 2018-12-11 深圳前海微众银行股份有限公司 基于业务场景的造数方法、设备及可读存储介质
CN109614409A (zh) * 2018-10-29 2019-04-12 阿里巴巴集团控股有限公司 业务数据处理方法、装置和服务器
CN113093958A (zh) * 2021-04-06 2021-07-09 中国工商银行股份有限公司 数据处理方法、装置和服务器

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114661524A (zh) * 2022-03-21 2022-06-24 重庆市规划和自然资源信息中心 基于日志分析的不动产登记数据回备技术的实现方法
CN114661524B (zh) * 2022-03-21 2023-06-02 重庆市规划和自然资源信息中心 基于日志分析的不动产登记数据回备技术的实现方法

Also Published As

Publication number Publication date
CN113590604B (zh) 2024-03-26

Similar Documents

Publication Publication Date Title
US11627053B2 (en) Continuous data sensing of functional states of networked computing devices to determine efficiency metrics for servicing electronic messages asynchronously
US20190258904A1 (en) Analytic system for machine learning prediction model selection
US20170109657A1 (en) Machine Learning-Based Model for Identifying Executions of a Business Process
US10572456B2 (en) Method, apparatus, and computer program product for data quality analysis
US20160034571A1 (en) Method and system for implementing alerts in semantic analysis technology
US20170109676A1 (en) Generation of Candidate Sequences Using Links Between Nonconsecutively Performed Steps of a Business Process
US20170109668A1 (en) Model for Linking Between Nonconsecutively Performed Steps in a Business Process
US20170109667A1 (en) Automaton-Based Identification of Executions of a Business Process
US11481412B2 (en) Data integration and curation
US20210136122A1 (en) Crowdsourced innovation laboratory and process implementation system
US20170109636A1 (en) Crowd-Based Model for Identifying Executions of a Business Process
CN110232010A (zh) 一种告警方法、告警服务器及监控服务器
CA3009354A1 (en) Event stream processing cluster manager
US20170109639A1 (en) General Model for Linking Between Nonconsecutively Performed Steps in Business Processes
Milosevic et al. Real-time analytics
CN107862425B (zh) 风控数据采集方法、设备、系统及可读存储介质
CN112580914A (zh) 汇集多源数据的企业级数据中台系统的实现方法及装置
CN109656963A (zh) 元数据获取方法、装置、设备及计算机可读存储介质
CN113157947A (zh) 知识图谱的构建方法、工具、装置和服务器
US11665247B2 (en) Resource discovery agent computing device, software application, and method
CN109559218A (zh) 一种异常交易的确定方法、装置及存储介质
US20170109640A1 (en) Generation of Candidate Sequences Using Crowd-Based Seeds of Commonly-Performed Steps of a Business Process
CN113590604B (zh) 业务数据的处理方法、装置和服务器
CN110245684A (zh) 数据处理方法、电子设备和介质
CN111898766B (zh) 基于自动机器学习的以太坊燃料限制预测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant