CN115496470A - 全链路配置化数据处理方法、装置和电子设备 - Google Patents

全链路配置化数据处理方法、装置和电子设备 Download PDF

Info

Publication number
CN115496470A
CN115496470A CN202211172979.1A CN202211172979A CN115496470A CN 115496470 A CN115496470 A CN 115496470A CN 202211172979 A CN202211172979 A CN 202211172979A CN 115496470 A CN115496470 A CN 115496470A
Authority
CN
China
Prior art keywords
checking
data
quality
task
problem data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211172979.1A
Other languages
English (en)
Inventor
宋丽娟
兰中亮
王蓉
杨玲玲
乔佳娲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sunshine Life Insurance Co ltd
Original Assignee
Sunshine Life Insurance Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sunshine Life Insurance Co ltd filed Critical Sunshine Life Insurance Co ltd
Priority to CN202211172979.1A priority Critical patent/CN115496470A/zh
Publication of CN115496470A publication Critical patent/CN115496470A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/103—Workflow collaboration or project management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395—Quality analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/548—Queue

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Software Systems (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Tourism & Hospitality (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Game Theory and Decision Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种全链路配置化的数据治理方法、装置和电子设备，包括：获取用户根据数据治理需求配置的数据检核的基础配置；根据基础配置创建检核任务并调用生态技术组件执行检核任务，得到检核问题数据，其中，每个检核问题数据携带有对应的检核信息；根据预设映射关系和检核信息匹配与每个检核问题数据相对应的质量负责人，并分别发送检核问题数据至相对应的质量负责人，以使质量负责人对接收到的检核问题数据进行治理；重新执行检核任务，实现对质量负责人数据治理结果的复查。该方法可以根据需求配置数据检核的基础配置，并通过生态技术组件执行检核任务实现对检核问题数据的获取，在提高数据治理效率的同时降低了平台开发和维护的难度。

Description

全链路配置化数据处理方法、装置和电子设备
技术领域
本发明涉及数据治理的技术领域，尤其是涉及一种全链路配置化数据处理方法、装置和电子设备。
背景技术
随着各大公司数字化建设推进和数据平台搭建技术的日渐成熟，数据治理几乎涵盖整个数字化进程的生命周期。但是，目前随着各公司业务数字化建设的深入，传统开发方式对数据质量监控相关的技术方案开发维护成本高、效率低下。
综上所述，现有的数据治理方法存在治理效率低和难以开发维护的技术问题。
发明内容
本发明的目的在于提供一种全链路配置化数据处理方法、装置和电子设备，以缓解现有的数据治理方法存在治理效率低和难以开发维护的技术问题。
第一方面，本发明提供了一种全链路配置化的数据治理方法，应用于数据治理平台，包括：
获取用户根据数据治理需求配置的数据检核的基础配置；
根据所述基础配置创建检核任务并调用生态技术组件执行所述检核任务，得到检核问题数据，其中，每个所述检核问题数据携带有对应的检核信息；
根据预设映射关系和所述检核信息匹配与每个所述检核问题数据相对应的质量负责人，并分别发送所述检核问题数据至相对应的质量负责人，以使所述质量负责人对接收到的所述检核问题数据进行治理；
重新执行所述检核任务，实现对所述质量负责人数据治理结果的复查。
进一步的，所述基础配置包括：质量规则、质量负责人、检核规则脚本和检核规则集，其中，所述检核规则集内检核规则的数量为至少一条。
进一步的，调用生态技术组件执行所述检核任务，得到检核问题数据，包括：
在所述检核任务的检核规则脚本中输入目标关键字，从而确定与所述目标关键字对应的待检核的任务数据；
通过生态技术组件将所述检核规则集内的每条检核规则对应封装为消息对象，并发送所述消息对象至检核引擎监听的消息队列；
监听到所述消息队列，对每一所述消息对象采用一个线程调用所述检核规则脚本对所述待检核的任务数据进行检核，得到与每一所述消息对象的每一线程对应的所述待检核的任务数据内的检核问题数据。
进一步的，所述方法还包括：
通过生态技术组件创建包含多个分区的检核问题数据表，其中，每个所述分区携带对应的线程号；
根据所述检核问题数据对应的线程将所述检核问题数据插入与所述线程对应的分区。
进一步的，所述检核信息包括：规则编码和业务字段。
进一步的，根据预设映射关系和所述检核信息匹配与每个所述检核问题数据相对应的质量负责人，包括：
将每个所述检核问题数据携带的规则编码与所述预设映射关系中的待匹配规则编码进行匹配，根据匹配结果得到与所述规则编码对应的质量规则；
将每个所述检核问题数据携带的业务字段与所述质量规则中的业务字段进行匹配，根据匹配结果得到对应的业务负责人，进而得到与每个所述检核问题数据相对应的质量负责人。
进一步的，分别发送所述检核问题数据至相对应的质量负责人，包括：
根据所述质量负责人，将所述检核问题数据划分为与每个所述质量负责人相对应的检核问题数据组；
分别封装每个所述质量负责人及对应的检核问题数据组为一个集合，并根据所述集合生成对应的待办任务；
发送所述待办任务至相对应的所述集合内的质量负责人。
第一方面，本发明还提供了一种全链路配置化的数据治理装置，包括：
获取模块，用于获取用户根据数据治理需求配置的数据检核的基础配置；
创建和执行模块，用于根据所述基础配置创建检核任务并调用生态技术组件执行所述检核任务，得到检核问题数据，其中，每个所述检核问题数据携带有对应的检核信息；
匹配和发送模块，用于根据预设映射关系和所述检核信息匹配与每个所述检核问题数据相对应的质量负责人，并分别发送所述检核问题数据至相对应的质量负责人，以使所述质量负责人对接收到的所述检核问题数据进行治理；
执行模块，用于重新执行所述检核任务，实现对所述质量负责人数据治理结果的复查。
第三方面，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面任一项所述的方法的步骤。
第四方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有机器可运行指令，所述机器可运行指令在被处理器调用和运行时，所述机器可运行指令促使所述处理器运行上述第一方面任一项所述的方法。
在本发明实施例中，提供了一种全链路配置化的数据治理方法，应用于数据治理平台，包括：获取用户根据数据治理需求配置的数据检核的基础配置；根据基础配置创建检核任务并调用生态技术组件执行检核任务，得到检核问题数据，其中，每个检核问题数据携带有对应的检核信息；根据预设映射关系和检核信息匹配与每个检核问题数据相对应的质量负责人，并分别发送检核问题数据至相对应的质量负责人，以使质量负责人对接收到的检核问题数据进行治理；重新执行检核任务，实现对质量负责人数据治理结果的复查。通过上述描述可知，本发明的全链路配置化的数据治理方法，可以根据需求配置数据检核的基础配置，并通过生态技术组件执行检核任务实现对检核问题数据的获取，在提高数据治理效率的同时降低了平台开发和维护的难度。此外，该方法达到数据治理的全流程闭环，从检核问题数据提取、检核任务创建、检核问题数据处理以及后续平台对更正状态跟踪的一整套数据治理方案，有效缓解了现有的数据治理方法存在治理效率低和难以开发维护的技术问题。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种全链路配置化的数据治理方法的流程图；
图2为本发明实施例提供的一种配置基础配置的界面示意图；
图3为本发明实施例提供的一种配置质量规则的界面示意图；
图4为本发明实施例提供的一种配置质量负责人的界面示意图；
图5为本发明实施例提供的一种配置检核规则的界面示意图；
图6为本发明实施例提供的一种配置检核规则集的界面示意图；
图7为本发明实施例提供的一种执行检核任务的方法的流程图；
图8为本发明实施例提供的一种创建检核问题数据表的方法的流程图；
图9为本发明实施例提供的一种匹配质量负责人的方法的流程图；
图10为本发明实施例提供的一种发送检核问题数据至质量负责人的方法的流程图；
图11为一种全链路配置化的数据治理装置的示意图；
图12为一种电子设备的示意图。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为便于对本实施例进行理解，首先对本发明实施例所公开的一种全链路配置化的数据治理方法进行详细介绍。
实施例一：
根据本发明实施例，提供了一种全链路配置化的数据治理方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的一种全链路配置化的数据治理方法的流程图，如图1所示，该方法包括如下步骤：
步骤S102，获取用户根据数据治理需求配置的数据检核的基础配置；
具体的，本实施例中全链路配置化的数据治理方法主要应用于数据治理平台，该方法主要针对数据的真实性和完整性的问题。在进行数据治理前，首先需要对存在问题的数据进行获取，而问题数据获取的手段是通过在数据治理平台上根据基础配置进行数据检核得到的。基于此，本实施例首先对用户的基础配置进行获取，其中，基础配置是用户根据数据治理需求在数据治理平台进行的前期配置工作。
为了更好的理解本实施例，下面以具体的保险领域的数据治理进行介绍。在保险领域，不同用户对于数据治理的需求并不相同，例如，在监管人员的监管角度，其数据治理需求更注重数据的真实性，即保单上客户信息(身份、地址等)是否如实填写等；在业务人员的角度，其数据治理需求更注重数据的完整性，即保单上必填项是否存在漏填的缺失、缺失字段等。因此，用户间不同的数据治理需求将针对不同的问题数据，其对应的数据检核的基础配置也将不同。值得注意的是，用户后期如需要修改基础配置，可以在数据治理平台的配置页面灵活地进行修改、新增和删除操作。
步骤S104，根据基础配置创建检核任务并调用生态技术组件执行检核任务，得到检核问题数据，其中，每个检核问题数据携带有对应的检核信息；
具体的，参考图2，根据获取到的基础配置，利用数据治理平台定时创建数据检核的检核任务，或用户手动创建检核任务。调用hadoop生态技术组件执行检核任务，从而得到携带有检核信息的检核问题数据，其中，本实施例中通过引入hadoop生态技术执行检核任务，并在执行过程中进行数据存储与计算，可以解决离散数据的孤岛情况，将一套数据集中在一个数据平台和体系，有效提高了数据治理平台性能的稳定、数据处理效率和存储量。
步骤S106，根据预设映射关系和检核信息匹配与每个检核问题数据相对应的质量负责人，并分别发送检核问题数据至相对应的质量负责人，以使质量负责人对接收到的检核问题数据进行治理；
具体的，根据预设映射关系和检核信息，将获取到的检核问题数据对应匹配并分发至相对应的质量负责人，从而通过质量负责人对检核问题数据进行治理。质量负责人进行数据治理后，会发送kafka消息通知数据平台此条检核问题数据已经处理。
步骤S108，重新执行检核任务，实现对质量负责人数据治理结果的复查。
具体的，数据治理平台接收到kafka消息后，会重新根据前述步骤拉取待检核数据执行检核任务，从而根据重新执行检核任务后的结果，判断质量负责人是否成功完成数据治理，即对质量负责人数据治理结果进行复查，避免出现检核问题数据的遗留问题。具体实现时，平台会将重新执行检核任务后的结果与质量负责人治理的检核问题数据进行比对。若重新执行检核任务后的结果不在包含比对的检核问题数据，则表明数据治理成功。否则，数据治理失败，平台会发送邮件通知质量负责人重新进行数据治理。
在本发明实施例中，提供了一种全链路配置化的数据治理方法，应用于数据治理平台，包括：获取用户根据数据治理需求配置的数据检核的基础配置；根据基础配置创建检核任务并调用生态技术组件执行检核任务，得到检核问题数据，其中，每个检核问题数据携带有对应的检核信息；根据预设映射关系和检核信息匹配与每个检核问题数据相对应的质量负责人，并分别发送检核问题数据至相对应的质量负责人，以使质量负责人对接收到的检核问题数据进行治理；重新执行检核任务，实现对质量负责人数据治理结果的复查。通过上述描述可知，本发明的全链路配置化的数据治理方法，可以根据需求配置数据检核的基础配置，并通过生态技术组件执行检核任务实现对检核问题数据的获取，在提高数据治理效率的同时降低了平台开发和维护的难度。此外，该方法达到数据治理的全流程闭环，从检核问题数据提取、检核任务创建、检核问题数据处理以及后续平台对更正状态跟踪的一整套数据治理方案，有效缓解了现有的数据治理方法存在治理效率低和难以开发维护的技术问题。
上述内容对本发明的全链路配置化的数据治理方法进行了简要介绍，下面对其中涉及到的具体内容进行详细描述。
在本发明的一个可选实施例中，基础配置包括：质量规则、质量负责人、检核规则脚本和检核规则集，其中，检核规则集内检核规则的数量为至少一条。
具体的，基础配置包括：质量规则、质量负责人、检核规则脚本和包含至少一条检核规则的检核规则集。其中，质量规则与质量负责人相互关联，两者之间存在映射关系；其次，检核规则脚本采用SQL脚本编写，用于配置化数据的检核规则的开发，从而缩短开发周期、提升数据处理速度、快速响应业务需求，从而为数字化经营提供数据服务支撑。
最后，每一项基础配置在实际应用中的配置过程参考图3、图4、图5和图6。
在本发明的一个可选实施例中，参考图7，调用生态技术组件执行检核任务，得到检核问题数据，包括如下步骤：
步骤S201，在检核任务的检核规则脚本中输入目标关键字，从而确定与目标关键字对应的待检核的任务数据；
具体的，检核任务创建后，通过修改SQL脚本实现将检核任务的检核规则脚本内关键字替换为目标关键字、或直接输入目标关键字，从而圈定出与目标关键字对应的待检核的任务数据。例如，通过脚本修改同一批保单内部分保单对应的表名(即关键字)，从而实现该批保单数据量的限制，相当于修改了保单的权限问题。
步骤S202，通过生态技术组件将检核规则集内的每条检核规则对应封装为消息对象，并发送消息对象至检核引擎监听的消息队列；
具体的，通过生态技术组件redis的lpush将每条检核规则对应封装成一个消息对象，并将消息对象放入至检核引擎监听的消息队列。
步骤S203，监听到消息队列，对每一所述消息对象采用一个线程调用检核规则脚本对待检核的任务数据进行检核，得到与每一消息对象的每一线程对应的待检核的任务数据内的检核问题数据。
具体的，检核引擎实时监听消息队列，并通过生态技术组件redis的brpop接收消息对象后，多线程创建任务详情。同时，通过生态技术组件jdbc调用hive执行脚本对待检核的任务数据进行检核，提取出每一消息对象的每一线程对应的待检核的任务数据内的检核问题数据。其中，上述任务详情用于实时记录检核任务的执行情况，例如，在hive执行脚本提取检核问题数据后，当前任务详情显示问题数据已提取。
在本发明的一个可选实施例中，参考图8，该方法还包括如下步骤：
步骤S301，通过生态技术组件创建包含多个分区的检核问题数据表，其中，每个分区携带对应的线程号；
具体的，对于获取到的多线程的检核问题数据，hive执行脚本会创建指定partition分区的检核问题数据表，其中，每个分区携带与每个线程对应的线程号。
步骤S302，根据检核问题数据对应的线程将检核问题数据插入与线程对应的分区。
具体的，将多线程的检核问题数据，对应插入至具有相同线程号的分区，从而提升后续提数效率，避免出现锁表的情况。
上述过程执行完成后，根据返回结果实时修改任务详情对应的内容。例如，正常完成则修改任务详情为任务已完成；若上述过程存在某一环节的执行脚本失败，则修改任务详情为任务失败，并通过平台发送邮件至用户进行报警，从而使得用户可以在平台当前页面点击重新检核按钮，扫描失败的执行脚本并重新执行。
在本发明的一个可选实施例中，检核信息包括：规则编码和业务字段。
具体的，为了实现将获取到的检核问题数据对应匹配并分发至相对应的质量负责人，每个检核问题数据携带有对应的检核信息，即规则编码和业务字段。
在本发明的一个可选实施例中，参考图9，根据预设映射关系和检核信息匹配与每个检核问题数据相对应的质量负责人，包括：
步骤S401，将每个检核问题数据携带的规则编码与预设映射关系中的待匹配规则编码进行匹配，根据匹配结果得到与规则编码对应的质量规则；
具体的，查询hive执行脚本创建的检核问题数据表，根据表内每个检核问题数据携带的规则编码与预设映射关系中的待匹配规则编码进行匹配，从而匹配到对应的质量规则。
步骤S402，将每个检核问题数据携带的业务字段与质量规则中的业务字段进行匹配，根据匹配结果得到对应的业务负责人，进而得到与每个检核问题数据相对应的质量负责人。
具体的，进一步将表内每个检核问题数据携带的业务字段与匹配到的质量规则的业务字段进行匹配，从而匹配到对应的业务负责人，即该检核问题数据相对应的质量负责人。
在本发明的一个可选实施例中，参考图10，分别发送检核问题数据至相对应的质量负责人，包括：
步骤S501，根据质量负责人，将检核问题数据划分为与每个质量负责人相对应的检核问题数据组；
具体的，根据质量负责人对检核问题数据分组，将检核问题数据划分为与每个质量负责人相对应的检核问题数据组，即质量负责人、检核问题数据为一对多关系。
步骤S502，分别封装每个质量负责人及对应的检核问题数据组为一个集合，并根据集合生成对应的待办任务；
具体的，分别将每个质量负责人、及其对应的检核问题数据组封装为一个集合，进而遍历集合生成待办任务。
步骤S503，发送待办任务至相对应的集合内的质量负责人。
具体的，根据待办任务发送邮件至对应质量负责人在数据治理平台的账号下，使得质量负责人登陆个人账号后，可以查询并处理待办任务，其中，待办任务会在平台的待办任务列表中展示。
实施例二：
本发明实施例还提供了一种全链路配置化的数据治理装置，该全链路配置化的数据治理装置主要用于执行本发明实施例一中所提供的全链路配置化的数据治理方法，以下对本发明实施例提供的全链路配置化的数据治理装置做具体介绍。
图11是根据本发明实施例的一种全链路配置化的数据治理装置的示意图，如图11所示，该装置主要包括：获取模块10、创建和执行模块20、匹配和发送模块30和执行模块40，其中：
获取模块10，用于获取用户根据数据治理需求配置的数据检核的基础配置；
创建和执行模块20，用于根据基础配置创建检核任务并调用生态技术组件执行检核任务，得到检核问题数据，其中，每个检核问题数据携带有对应的检核信息；
匹配和发送模块30，用于根据预设映射关系和检核信息匹配与每个检核问题数据相对应的质量负责人，并分别发送检核问题数据至相对应的质量负责人，以使质量负责人对接收到的检核问题数据进行治理；
执行模块40，用于重新执行检核任务，实现对质量负责人数据治理结果的复查。
在本发明实施例中，提供了一种全链路配置化的数据治理装置，应用于数据治理平台，包括：获取用户根据数据治理需求配置的数据检核的基础配置；根据基础配置创建检核任务并调用生态技术组件执行检核任务，得到检核问题数据，其中，每个检核问题数据携带有对应的检核信息；根据预设映射关系和检核信息匹配与每个检核问题数据相对应的质量负责人，并分别发送检核问题数据至相对应的质量负责人，以使质量负责人对接收到的检核问题数据进行治理；重新执行检核任务，实现对质量负责人数据治理结果的复查。通过上述描述可知，本发明的全链路配置化的数据治理装置，可以根据需求配置数据检核的基础配置，并通过生态技术组件执行检核任务实现对检核问题数据的获取，在提高数据治理效率的同时降低了平台开发和维护的难度。此外，该装置达到数据治理的全流程闭环，从检核问题数据提取、检核任务创建、检核问题数据处理以及后续平台对更正状态跟踪的一整套数据治理方案，有效缓解了现有的数据治理方法存在治理效率低和难以开发维护的技术问题。
可选地，基础配置包括：质量规则、质量负责人、检核规则脚本和检核规则集，其中，检核规则集内检核规则的数量为至少一条。
可选地，创建和执行模块20还用于：在检核任务的检核规则脚本中输入目标关键字，从而确定与目标关键字对应的待检核的任务数据；
通过生态技术组件将检核规则集内的每条检核规则对应封装为消息对象，并发送消息对象至检核引擎监听的消息队列；
监听到所述消息队列，对每一消息对象采用一个线程调用检核规则脚本对待检核的任务数据进行检核，得到与每一消息对象的每一线程对应的待检核的任务数据内的检核问题数据。
可选地，全链路配置化的数据治理装置还用于：通过生态技术组件创建包含多个分区的检核问题数据表，其中，每个分区携带对应的线程号；
根据检核问题数据对应的线程将检核问题数据插入与线程对应的分区。
可选地，检核信息包括：规则编码和业务字段。
可选地，匹配和发送模块30还用于：将每个检核问题数据携带的规则编码与预设映射关系中的待匹配规则编码进行匹配，根据匹配结果得到与规则编码对应的质量规则；
将每个检核问题数据携带的业务字段与质量规则中的业务字段进行匹配，根据匹配结果得到对应的业务负责人，进而得到与每个检核问题数据相对应的质量负责人。
可选地，匹配和发送模块30还用于：根据质量负责人，将检核问题数据划分为与每个质量负责人相对应的检核问题数据组；
分别封装每个质量负责人及对应的检核问题数据组为一个集合，并根据集合生成对应的待办任务；
发送待办任务至相对应的集合内的质量负责人。
本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
如图12所示，本申请实施例提供的一种电子设备800，包括：处理器801、存储器802和总线，所述存储器802存储有所述处理器801可执行的机器可读指令，当电子设备运行时，所述处理器801与所述存储器802之间通过总线通信，所述处理器801执行所述机器可读指令，以执行如上述全链路配置化的数据治理方法的步骤。
具体地，上述存储器802和处理器801能够为通用的存储器和处理器，这里不做具体限定，当处理器801运行存储器802存储的计算机程序时，能够执行上述全链路配置化的数据治理方法。
处理器801可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器801中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器801可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DigitalSignal Processing，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器802，处理器801读取存储器802中的信息，结合其硬件完成上述方法的步骤。
对应于上述全链路配置化的数据治理方法，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有机器可运行指令，所述计算机可运行指令在被处理器调用和运行时，所述计算机可运行指令促使所述处理器运行上述全链路配置化的数据治理方法的步骤。
本申请实施例所提供的全链路配置化的数据治理装置可以为设备上的特定硬件或者安装于设备上的软件或固件等。本申请实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的系统、装置和单元的具体工作过程，均可以参考上述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
再例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种全链路配置化的数据治理方法，其特征在于，应用于数据治理平台，包括：
获取用户根据数据治理需求配置的数据检核的基础配置；
根据所述基础配置创建检核任务并调用生态技术组件执行所述检核任务，得到检核问题数据，其中，每个所述检核问题数据携带有对应的检核信息；
根据预设映射关系和所述检核信息匹配与每个所述检核问题数据相对应的质量负责人，并分别发送所述检核问题数据至相对应的质量负责人，以使所述质量负责人对接收到的所述检核问题数据进行治理；
重新执行所述检核任务，实现对所述质量负责人数据治理结果的复查。
2.根据权利要求1所述的数据治理方法，其特征在于，所述基础配置包括：质量规则、质量负责人、检核规则脚本和检核规则集，其中，所述检核规则集内检核规则的数量为至少一条。
3.根据权利要求2所述的数据治理方法，其特征在于，调用生态技术组件执行所述检核任务，得到检核问题数据，包括：
在所述检核任务的检核规则脚本中输入目标关键字，从而确定与所述目标关键字对应的待检核的任务数据；
通过生态技术组件将所述检核规则集内的每条检核规则对应封装为消息对象，并发送所述消息对象至检核引擎监听的消息队列；
监听到所述消息队列，对每一所述消息对象采用一个线程调用所述检核规则脚本对所述待检核的任务数据进行检核，得到与每一所述消息对象的每一线程对应的所述待检核的任务数据内的检核问题数据。
4.根据权利要求3所述的数据治理方法，其特征在于，所述方法还包括：
通过生态技术组件创建包含多个分区的检核问题数据表，其中，每个所述分区携带对应的线程号；
根据所述检核问题数据对应的线程将所述检核问题数据插入与所述线程对应的分区。
5.根据权利要求2所述的数据治理方法，其特征在于，所述检核信息包括：规则编码和业务字段。
6.根据权利要求5所述的数据治理方法，其特征在于，根据预设映射关系和所述检核信息匹配与每个所述检核问题数据相对应的质量负责人，包括：
将每个所述检核问题数据携带的规则编码与所述预设映射关系中的待匹配规则编码进行匹配，根据匹配结果得到与所述规则编码对应的质量规则；
将每个所述检核问题数据携带的业务字段与所述质量规则中的业务字段进行匹配，根据匹配结果得到对应的业务负责人，进而得到与每个所述检核问题数据相对应的质量负责人。
7.根据权利要求6所述的数据治理方法，其特征在于，分别发送所述检核问题数据至相对应的质量负责人，包括：
根据所述质量负责人，将所述检核问题数据划分为与每个所述质量负责人相对应的检核问题数据组；
分别封装每个所述质量负责人及对应的检核问题数据组为一个集合，并根据所述集合生成对应的待办任务；
发送所述待办任务至相对应的所述集合内的质量负责人。
8.一种全链路配置化的数据治理装置，其特征在于，包括：
获取模块，用于获取用户根据数据治理需求配置的数据检核的基础配置；
创建和执行模块，用于根据所述基础配置创建检核任务并调用生态技术组件执行所述检核任务，得到检核问题数据，其中，每个所述检核问题数据携带有对应的检核信息；
匹配和发送模块，用于根据预设映射关系和所述检核信息匹配与每个所述检核问题数据相对应的质量负责人，并分别发送所述检核问题数据至相对应的质量负责人，以使所述质量负责人对接收到的所述检核问题数据进行治理；
执行模块，用于重新执行所述检核任务，实现对所述质量负责人数据治理结果的复查。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有机器可运行指令，所述机器可运行指令在被处理器调用和运行时，所述机器可运行指令促使所述处理器运行上述权利要求1至7中任一项所述的方法。
CN202211172979.1A 2022-09-26 2022-09-26 全链路配置化数据处理方法、装置和电子设备 Pending CN115496470A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211172979.1A CN115496470A (zh) 2022-09-26 2022-09-26 全链路配置化数据处理方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211172979.1A CN115496470A (zh) 2022-09-26 2022-09-26 全链路配置化数据处理方法、装置和电子设备

Publications (1)

Publication Number Publication Date
CN115496470A true CN115496470A (zh) 2022-12-20

Family

ID=84470705

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211172979.1A Pending CN115496470A (zh) 2022-09-26 2022-09-26 全链路配置化数据处理方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN115496470A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116010349A (zh) * 2023-02-17 2023-04-25 广州汇通国信科技有限公司 基于元数据的数据检核方法和装置、电子设备和存储介质
CN116010349B (zh) * 2023-02-17 2024-05-31 广州汇通国信科技有限公司 基于元数据的数据检核方法和装置、电子设备和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116010349A (zh) * 2023-02-17 2023-04-25 广州汇通国信科技有限公司 基于元数据的数据检核方法和装置、电子设备和存储介质
CN116010349B (zh) * 2023-02-17 2024-05-31 广州汇通国信科技有限公司 基于元数据的数据检核方法和装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
CN108076098A (zh) 一种业务处理方法及系统
CN112835560A (zh) Web多终端低代码智能软件开发平台
CN105095056A (zh) 一种数据仓库数据监控的方法
CN110750592B (zh) 数据同步的方法、装置和终端设备
CN109656700A (zh) 多租户下分布式链路跟踪方法、系统、设备以及存储介质
CN113361838A (zh) 业务风控方法、装置、电子设备和存储介质
CN111639309A (zh) 一种数据处理方法、装置、节点设备及存储介质
US20210216381A1 (en) Dynamic management method for menu, server and system
CN112559525B (zh) 数据检查系统、方法、装置和服务器
CN112598529B (zh) 数据处理方法及装置、计算机可读存储介质、电子设备
CN114172785A (zh) 告警信息处理方法、装置、设备和存储介质
CN110442782B (zh) 一种云资源检索方法与装置
CN111752838A (zh) 问题排查方法、装置、服务器及存储介质
CN115496470A (zh) 全链路配置化数据处理方法、装置和电子设备
CN115328457A (zh) 基于参数配置的表单页面实现方法和装置
CN115480748A (zh) 业务编排方法、设备及存储介质
CN114064678A (zh) 事件数据处理方法、装置及终端设备
CN113259878B (zh) 话单结算方法、系统、电子设备及计算机可读存储介质
CN113918405A (zh) 一种日志监控方法及装置、电子设备和存储介质
CN113934552A (zh) 功能代码的确定方法及装置、存储介质、电子装置
CN110597572B (zh) 一种服务调用关系分析方法和计算机系统
CN114157662A (zh) 一种云平台参数适配方法、装置、终端设备及储存介质
CN108551484B (zh) 用户信息同步方法、装置、计算机装置及存储介质
CN111475291A (zh) 一种数据处理方法、系统、服务器及介质
CN112950138B (zh) 协同开发的状态管理方法、装置和服务器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination