具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
应当理解,当在本说明书和所附权利要求书中使用时,术语“包括”和 “包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
请参阅图1,图1为本申请实施例提供的基于数据血缘关系的数据资产可视化方法的一个流程示意图。如图1所示,该方法包括以下步骤S11-S13:
S11、基于数据资产的预设数据加工流向路径图,获取所述预设数据加工流向路径图包含的预设节点按钮的按钮触发指令,其中,所述预设节点按钮用于描述所述数据资产加工过程中的预设数据流向节点。
具体地,将大数据进行分析,根据大数据中数据之间的关联关系,得到大数据中包含的数据资产,需要计算机设备通过算法对大数据进行一系列的处理过程,该处理过程可以用预设数据加工流向路径图来描述,所述预设数据加工流向路径图包含多个预设数据流向节点,每个所述预设数据流向节点用于描述对大数据的处理过程及处理流向,同时,将每个所述预设数据流向节点以对应的预设节点按钮进行显示,将所有所述预设节点按钮按照数据处理流程进行显示,从而构建对大数据进行数据分析得到的数据资产的预设数据加工流向图(即数据加工流程图),所述预设数据加工流向图用于描述从大数据中的源数据到数据资产的整个处理过程。例如,针对业务源端对应的数据源头的结构化数据与非结构化数据,结构化数据如Oracle、MySQL、Mogodb及Postgresql,非结构化数据包括Excel、Xml,大数据仓库会设计数据分层,数据流向如下:ODS层->DWD层 ->DWM 层->DWS层 ->DMM层,ODS层、DWD层、DWM层、DWS层 及DMM层分别各自作为对应的预设数据流向节点,每个所述预设数据流向节点以对应的预设节点按钮进行显示,并将所有预设节点按钮按照数据处理流程进行显示,从而构建对大数据进行数据分析得到的数据资产的数据加工流向图,请参阅图2,图2为本申请实施例提供的基于数据血缘关系的数据资产可视化方法中无抵押放款报表实施例的流程结构示意图,如图2所示,图2为无抵押放款报表的数据资产可视化流程结构示意图,前置数据流程,如ODS层包含A101数据表至 A112数据表,DWD层包含B101数据表至B112数据表,DWM层包含保险转售模型表、电话销售模型表及申请基础模型表等数据表,及DWS层包含销售维度表、进件维度表、客户维度表及贷后放款维度表,dmm层包含无抵押放款报表,各个层及各个数据表之间的血缘关系具体如图2所示,从而各个层级的数据加工过程都将被分析并显示出来。
其中,ODS,英文为Operation Data Store ,数据准备区,也称为贴源层,为数据运营层,保持和源数据相同,数据仓库源头系统的数据表通常会原封不动的存储一份,这称为ODS层,是后续数据仓库加工数据的来源。DWD,英文为Data warehouse details ,细节数据层,是业务层与数据仓库的隔离层,DWD作为数据清洗和加密层,主要对ODS数据层做一些数据清洗和规范化的操作, 数据清洗,例如可以为去除空值、脏数据、超过极限范围的。DWM,英文为Data WareHouse Middle,数据中间层,DWM可以作为数据模型层,会在DWD层的数据基础上,对数据做轻度的聚合操作,生成一系列的中间表,提升公共指标的复用性,减少重复加工。DWS,英文为Data Warehouse Summary,数据汇总层,可以直接提供数据服务,也可以给其它DWM层供数。DMM, 英文为Direct Model Mapping ,直接模型映射 ,又可以称为数据集市层,作为报表层开发给前端对接,最终作为一个图像或报表展示,为一张张可以直接用的结果表,根据业务需求加工后的可以直接用的表,可以提供数据集市,可以提供报表的数据支撑,可以提供给前端进行数据展示。
针对每一项数据资产,将所述数据资产的预设数据加工流向路径图进行显示,用户需要查看所述预设数据加工流向路径图包含的预设数据流向节点的血缘关系,直接点击所述预设数据流向节点对应的预设节点按钮,计算机设备即可获取预设数据流向节点对应的预设节点按钮的按钮触发指令,并后续响应于所述按钮触发指令,将所述预设数据流向节点的血缘关系进行显示。
S12、根据所述按钮触发指令,获取所述预设数据流向节点关联的数据报表的预设数据报表标识,并根据所述预设数据报表标识,获取所述预设数据流向节点所关联的数据血缘关系。
具体地,在对大数据进行分析得到数据资产的过程中,会对大数据进行不同阶段的处理,每个处理阶段对应一个预设数据流向节点,每个所述预设数据流向节点会形成对应的数据血缘关系,所述数据血缘关系用于描述所述预设数据流向节点对所述大数据进行处理所对应的前向加工详情及加工的数据依赖关系,其中,数据血缘属于数据治理中的一个概念,是在数据溯源的过程中找到相关数据之间的联系,大数据的数据血缘是指数据产生的链路,直白点说,即数据资产产生过程中每个预设数据流向节点的数据是怎么来的,经过了哪些过程、阶段及依赖数据等依赖关系。例如,请继续参阅图1,在通过大数据仓库对大数据进行处理的过程中,会包含ODS、DWD、DWM、DWS 及DMM等各个预设数据流向节点,每个预设数据流向节点对大数据进行不同的处理,从而每个预设数据流向节点会对应相应的数据血缘关系,所述数据血缘关系用于描述所述预设数据流向节点对所述大数据进行处理所对应的前向加工详情及加工的数据依赖关系。
计算机设备获取预设节点按钮的按钮触发指令后,根据所述按钮触发指令,确定所述预设节点按钮对应的预设数据流向节点,根据所述预设数据流向节点,获取所述预设数据流向节点关联的数据报表的预设数据报表标识,由于所述预设数据流向节点关联的数据报表来源于对应的前向加工详情及加工的数据依赖关系,因此,可以根据所述预设数据报表标识,获取所述预设数据流向节点所关联的数据血缘关系。例如,请继续参阅图2,进件维度表的血缘关系包括申请基础模型的加工详情及其依赖关系,还包括申请模型过程表的加工详情及其依赖关系,用户点击进件维度表对应的预设节点按钮后,将会获取申请基础模型的加工详情及其依赖关系与申请模型过程表的加工详情及其依赖关系。
S13、将所述数据血缘关系与所述预设节点按钮以预设关联方式进行显示。
具体地,获取所述预设数据流向节点所关联的数据血缘关系后,将所述数据血缘关系与所述预设节点按钮以关联方式进行显示,除了以箭头描述所述预设节点按钮与所述数据血缘关系的关联关系外,还可以采取曲线、单横线、双横线等其它方式进行关联关系的描述,点击数据资产可视化过程中每个节点可以看到该节点所关联的任务名,请参阅图3,图3为本申请实施例提供的基于数据血缘关系的数据资产可视化方法中一个子任务下关联的子任务的血缘关系示意图,如图3所示,在该示例中,可以看到dwm任务下关联的子任务包括B101数据表至B112数据表各自对应的子任务。
本申请实施例,通过基于数据资产的预设数据加工流向路径图,获取所述预设数据加工流向路径图包含的预设节点按钮的按钮触发指令,其中,所述预设节点按钮用于描述所述数据资产加工过程中的预设数据流向节点,根据所述按钮触发指令,获取所述预设数据流向节点关联的数据报表的预设数据报表标识,并根据所述预设数据报表标识,获取所述预设数据流向节点所关联的数据血缘关系,再将所述数据血缘关系与所述预设节点按钮以预设关联方式进行显示,无论对于运营人员、运维人员还是开发人员,可以根据需要点击预设数据流向节点对应的预设节点按钮,即可获取所述预设节点按钮的数据血缘关系,能够可视化查看每个报表的血缘能够很明晰了解每个加工过程,尤其能够帮助运营人员了解每个报表的加工过程,从而能够迅速了解节点数据的来龙去脉,根据需要迅速定位相关数据,提高了数据资产可视化的效率。
请参阅图4,图4为本申请实施例提供的基于数据血缘关系的数据资产可视化方法的第一个子流程示意图。如图4所示,在该实施例中,所述基于数据资产的预设数据加工流向路径图,获取所述预设数据加工流向路径图包含的预设节点按钮的按钮触发指令的步骤之前,还包括:
S101、获取所述数据资产对应的数据报表关联的预设初始大数据;
S102、根据所述数据报表对应的预设数据流向节点,对所述预设初始大数据进行处理,得到所述预设数据流向节点对应的数据血缘关系;
S103、将所述数据血缘关系关联至所述预设数据流向节点对应的预设节点按钮;
S104、根据所述预设数据流向节点对所述预设初始大数据处理的先后顺序,将所有所述预设节点按钮生成所述数据资产对应的数据加工流向路径图,并将所述数据加工流向路径图进行显示。
具体地,为了生成一项数据资产,对于一项数据资产,所述数据资产对应数据报表,所述数据报表中存储有所述数据资产涉及的报表数据,每项所述报表数据由预设数据流向节点组成的数据加工流向路径图对应的处理过程对大数据处理得到。在对预设初始大数据进行处理以得到数据资产的过程中,所述预设数据流向节点对预设初始大数据处理时,会形成所述预设数据流向节点对应的数据血缘关系,进而生成一项数据资产的生成过程对应的数据加工流向路径图时,可以获取所述数据资产对应的数据报表关联的预设初始大数据,根据所述数据报表对应的预设数据流向节点,通过所述预设数据流向节点对所述预设初始大数据进行处理,得到所述预设数据流向节点对应的数据血缘关系,然后将所述数据血缘关系关联至所述预设数据流向节点对应的预设节点按钮,针对将所述预设初始大数据进行处理的多个所述预设数据流向节点,根据所述预设数据流向节点对所述预设初始大数据处理的先后顺序,将所有所述预设节点按钮生成数据加工流向路径图,并将所述数据加工流向路径图进行显示,从而得到所述数据资产对应的数据加工流向路径图。
请参阅图5,图5为本申请实施例提供的基于数据血缘关系的数据资产可视化方法的第二个子流程示意图。如图5所示,在该实施例中,所述根据所述预设数据流向节点对所述预设初始大数据处理的先后顺序,将所有所述预设节点按钮生成所述数据资产对应的数据加工流向路径图的步骤之前,还包括:
S105、监测所述预设数据流向节点对所述预设初始大数据进行处理的处理过程是否存在异常;
S106、若所述预设数据流向节点对所述预设初始大数据进行处理的处理过程存在异常,将所述预设数据流向节点对应的预设节点按钮进行告警。
具体地,可以根据所述预设数据流向节点对所述预设初始大数据进行处理的实际内容,在所述预设数据流向节点对所述预设初始大数据进行处理的处理过程中设置针对性的监测程序,以监测所述预设数据流向节点对所述预设初始大数据进行处理的处理过程是否存在异常,若所述预设数据流向节点对所述预设初始大数据进行处理的处理过程存在异常,将所述预设数据流向节点对应的预设节点按钮进行告警。例如,可以在一预设数据流向节点中设置定时检测子任务成功标识,以预设时间周期的形式监测子任务是否处理成功,还可以在一预设数据流向节设置监测子任务结果里的数据行数是否符合规定,或者在一预设数据流向节设置监测子任务结果中的某个字段是否符合标准(例如是否为空、字符长度是否符合预设要求、是否有脏数据、方差是否超过标准或者偏差是否过大等)。需要说明的是,每个预设数据流向节点对应监测的内容是开发人员根据各个预设数据流向节点对应的实际数据报表实际情况进行配置,不全一样,针对不同的数据资产,提供统一配置方法,如配置数据值监测,有的表配置监测0-1,有的表配置10000-1000000,不一而同,提供的只是统一配置界面,至于里面的值根据实际情况调整,因此,更进一步地,监测所述预设数据流向节点对所述预设初始大数据进行处理的处理过程是否存在异常的步骤可以包括:获取对预设监测参数进行配置的配置指令,根据所述配置指令,显示所述预设监测参数对应的预设配置界面,基于所述预设配置界面,接收对所述预设监测参数进行配置的配置数据,基于所述配置数据,监测所述预设数据流向节点对所述预设初始大数据进行处理的处理过程是否存在异常,从而可以通过统一的预设配置界面,针对不同的预设数据流向节点配置所述预设数据流向节点对应的监测参数,提高监测参数配置的灵活性与监测参数配置的效率。本申请实施例提供的数据资产可视化及预警方法,可以实现将复杂任务可视化展示,将完全只有IT人员可看的任务转化为可视化图表,提供为运维、运营、数据分析岗人员进行查看,还可以集成多种监测策略,将原来人工监测任务的工作自动化,更直观的可视化方式,从上而下看到每一个延误的底层关联方,并快速通知关联方及时处理。
请参阅图6,图6为本申请实施例提供的基于数据血缘关系的数据资产可视化方法的第三个子流程示意图。如图6所示,在该实施例中,所述将所述预设数据流向节点对应的预设节点按钮进行告警的步骤包括:
S1061、获取所述预设节点按钮对应的预设突出显示方式;
S1062、将所述预设节点按钮以所述预设突出显示方式进行显示。
具体地,若所述预设数据流向节点对所述预设初始大数据进行处理的处理过程存在异常,可以获取所述预设节点按钮对应的预设突出显示方式,所述预设突出显示方式包括所述预设节点按钮以预设图形进行突出显示,例如可以以爆炸图进行突出显示,或者所述预设节点按钮以预设颜色进行突出显示,例如以红色或者橙色进行突出显示,再或者所述预设节点按钮以预设标点符号进行突出显示,例如对于监测异常的所述预设数据流向节点,可以加个“!”叹号以示警戒,将所述预设节点按钮以所述预设突出显示方式进行显示,从而将所述预设数据流向节点对应的预设节点按钮进行告警,例如,在一示例中,如果哪个预设节点按钮对应的预设数据流向节点的处理过程中发现了异常或不符合监测标准,会爆出红色预设样式,点击该过程,运营人员和开发运维人员可以很快的定位到哪个任务是有错误和延迟的,进而快速定位到后端程序代码中。
更进一步地,所述获取所述预设节点按钮对应的预设突出显示方式的步骤包括:
获取所述预设节点按钮对应的预设突出显示颜色和/或预设突出显示图形,所述预设突出显示颜色和/或预设突出显示图形与其它预设节点按钮对应的预设显示颜色和/或预设显示图形不相同。
具体地,将预设数据流向节点存在异常与预设数据流向节点不存在异常各自对应的预设节点按钮分别以不同的预设颜色或者不同的预设图形等不同的预设显示方式进行显示,例如,将预设数据流向节点存在异常的预设节点按钮以红色或者橙色进行显示,将预设数据流向节点不存在异常的预设节点按钮以红色之外或者橙色之外的其它颜色进行显示,例如将预设数据流向节点不存在异常的预设节点按钮以绿色进行显示,将预设数据流向节点存在异常的预设节点按钮以爆炸图形进行显示,将预设数据流向节点不存在异常的预设节点按钮以非爆炸图形进行显示,也可以将预设显示颜色与预设显示图形结合起来,从颜色与图形两个角度加以突出显示,从而方便运营人员、开发人员或者运维人员可以很快的定位到哪个任务是有错误和延迟的,进而快速定位到后端程序代码中,根据需要迅速定位相关数据,提高了数据资产可视化的效率。
请参阅图7,图7为本申请实施例提供的基于数据血缘关系的数据资产可视化方法的第四个子流程示意图。如图7所示,在该实施例中,所述将所述预设数据流向节点对应的预设节点按钮进行告警的步骤还包括:
S1063、获取所述预设节点按钮对应的预设告警发送方式;
S1064、根据所述预设告警发送方式,将所述预设节点按钮存在异常的预设异常内容进行发送。
具体地,除了将预设数据流向节点对所述预设初始大数据进行处理的处理过程存在异常的对应预设节点按钮以预设突出显示方式进行显示外,为了进一步实现快速对异常进行维护,从而提高数据资产可视化的效率,还可以结合其它预设告警方式,将预设数据流向节点对所述预设初始大数据进行处理的处理过程存在异常的情形通知预先配置的相关方,例如可以通过自动群发邮件方式、通过自动拨打24小时电话方式、通过自动组件工作群方式等所述预设节点按钮对应的预设告警发送方式,将所述预设节点按钮存在异常的预设异常内容进行发送,以提示相关人员进行对所述预设节点按钮对应的预设数据流向节点的异常进行处理,从而尽快维护预设数据流向节点的异常,进一步提高提高数据资产可视化的效率。
请参阅图8,图8为本申请实施例提供的基于数据血缘关系的数据资产可视化方法的第五个子流程示意图。如图8所示,在该实施例中,所述获取所述预设节点按钮对应的预设告警发送方式的步骤包括:
S10631、获取所述预设节点按钮的预设相关方对应的预设对象标识;
S10632、根据所述预设对象标识,获取所述预设对象标识关联的预设告警发送方式。
具体地,预先将预设相关方各种预设告警方式与所述预设相关方的预设对象标识相关联,尤其在预设相关方存在多种预设告警方式时,只需将预设相关方对应的预设对象标识配置至预设节点按钮即可,无需对不同的预设节点按钮均将相同预设告警方式均进行描述。
针对每个预设节点按钮,可以通过预设对象标识设置对应的预设告警相关方,例如,一个预设节点按钮设置的预设告警相关方为开发人员及运维人员,另一个预设节点按钮设置的预设告警相关方为开发人员、维护人员及运营人员,该预设告警相关方可以通过预设相关方对应的预设对象标识进行描述,进而在将预设对象标识匹配对应的预设告警发送方式,在根据所述预设告警发送方式,将所述预设节点按钮存在异常的预设异常内容进行发送时,先获取所述预设节点按钮的预设相关方对应的预设对象标识,再根据所述预设对象标识,获取所述预设对象标识关联的预设告警发送方式,所述预设告警发送方式可以为预设邮箱、预设24小时电话或者工作时间电话等,并通过所述预设告警发送方式,将所述预设节点按钮存在异常的预设异常内容进行发送。
进一步地,所述根据所述预设对象标识,获取所述预设对象标识关联的预设告警发送方式的步骤包括:
获取所述数据资产对应的预设数据任务等级;
根据所述预设数据任务等级,获取所述预设数据任务等级对应的预设对象标识;
根据所述预设对象标识,获取所述预设对象标识关联的所述预设数据任务等级对应的预设告警发送方式。
具体地,针对不同的数据资产对应的数据任务,可以根据数据任务的轻重缓急等情形,预先将数据任务配置不同的预设数据任务等级,按照所述预设数据任务等级,配置对应的预设告警发送的预设对象标识,再根据所述预设对象标识,获取所述预设对象标识关联的预设告警发送方式,从而获取所述预设数据任务等级对应的预设告警发送方式。例如,针对数据任务等级高的数据任务,可以通知更高级别的领导,进行相关人员更全面的预警,针对数据任务等级较低的数据任务,可以不通知更高级别的领导等。所述预设数据任务等级可以由人员预先配置,也可以由计算机设备根据积累的数据样本,基于AI智能学习自动进行配置,从而可以对所述预设数据任务等级可以进行修改或者动态调整,使数据任务的配置更具备灵活性。
预先将预设数据任务等级与预设对象标识及预设对象标识对应的预设告警发送方式进行匹配与关联,例如,A级数据任务为重要且紧急的数据任务,A级任务可以关联ABCDE各自的24小时电话告警发送方式,且可以自动组件工作群告警发送方式,B级任务为不重要的数据任务,B级任务可以关联ABCDE各自的邮件告警发送方式。根据所述预设对象标识,获取所述预设对象标识关联的预设告警发送方式时,先获取所述数据资产对应的预设数据任务等级,再根据所述预设数据任务等级,获取所述预设数据任务等级对应的预设对象标识,根据所述预设对象标识,获取所述预设对象标识关联的所述预设数据任务等级对应的预设告警发送方式,然后根据所述预设告警发送方式,将所述预设节点按钮存在异常的预设异常内容进行发送。
更进一步地,所述获取所述数据资产对应的预设数据任务等级的步骤包括:
获取所述数据资产的预设数据资产属性,其中,所述预设数据资产属性包括所述数据资产对应的数据任务所属的任务重要程度和/或时效性要求;
根据所述预设数据资产属性,获取与所述预设数据资产属性相匹配的预设数据任务等级。
具体地,预先将预设数据资产属性与预设数据任务等级匹配起来,可以通过预设数据任务等级表进行描述,其中,所述预设数据资产属性可以为所述数据资产对应的数据任务所属的任务重要程度,所述预设数据资产属性也可以为所述数据资产对应的数据任务对应的任务时效性要求,所述预设数据资产属性还可以为将所述数据资产对应的数据任务所属的任务重要程度与述数据资产对应的数据任务对应的任务时效性要求结合起来确定对应的所述预设数据资产属性相匹配的预设数据任务等级。获取所述数据资产对应的预设数据任务等级时,获取所述数据资产的预设数据资产属性,根据所述预设数据资产属性,从预设数据任务等级表中,获取与所述预设数据资产属性相匹配的预设数据任务等级。
需要说明的是,上述各个实施例所述的基于数据血缘关系的数据资产可视化方法,可以根据需要将不同实施例中包含的技术特征重新进行组合,以获取组合后的实施方案,但都在本申请要求的保护范围之内。
请参阅图9,图9为本申请实施例提供的基于数据血缘关系的数据资产可视化装置的示意性框图。对应于上述所述基于数据血缘关系的数据资产可视化方法,本申请实施例还提供一种基于数据血缘关系的数据资产可视化装置。如图9所示,该基于数据血缘关系的数据资产可视化装置包括用于执行上述所述基于数据血缘关系的数据资产可视化方法的单元,该基于数据血缘关系的数据资产可视化装置可以被配置于计算机设备中。具体地,请参阅图9,该基于数据血缘关系的数据资产可视化装置90,所述基于数据血缘关系的数据资产可视化装置90包括第一获取单元91、第二获取单元92及显示单元93。
其中,第一获取单元91,用于基于数据资产的预设数据加工流向路径图,获取所述预设数据加工流向路径图包含的预设节点按钮的按钮触发指令,其中,所述预设节点按钮用于描述所述数据资产加工过程中的预设数据流向节点;第二获取单元92,用于根据所述按钮触发指令,获取所述预设数据流向节点关联的数据报表的预设数据报表标识,并根据所述预设数据报表标识,获取所述预设数据流向节点所关联的数据血缘关系;显示单元93,用于将所述数据血缘关系与所述预设节点按钮以预设关联方式进行显示。
在一实施例中,所述基于数据血缘关系的数据资产可视化装置90还包括:
第二获取单元,用于获取所述数据资产对应的数据报表关联的预设初始大数据;
处理单元,用于根据所述数据报表对应的预设数据流向节点,对所述预设初始大数据进行处理,得到所述预设数据流向节点对应的数据血缘关系;
关联单元,用于将所述数据血缘关系关联至所述预设数据流向节点对应的预设节点按钮;
生成单元,用于根据所述预设数据流向节点对所述预设初始大数据处理的先后顺序,将所有所述预设节点按钮生成所述数据资产对应的数据加工流向路径图,并将所述数据加工流向路径图进行显示。
在一实施例中,所述基于数据血缘关系的数据资产可视化装置90还包括还包括:
监测单元,用于监测所述预设数据流向节点对所述预设初始大数据进行处理的处理过程是否存在异常;
告警单元,用于若所述预设数据流向节点对所述预设初始大数据进行处理的处理过程存在异常,将所述预设数据流向节点对应的预设节点按钮进行告警。
在一实施例中,所述告警单元包括:
第一获取子单元,用于获取所述预设节点按钮对应的预设突出显示方式;
第一显示子单元,用于将所述预设节点按钮以所述预设突出显示方式进行显示。
在一实施例中,所述第一获取子单元,具体用于获取所述预设节点按钮对应的预设突出显示颜色和/或预设突出显示图形,所述预设突出显示颜色和/或预设突出显示图形与其它预设节点按钮对应的预设显示颜色和/或预设显示图形不相同。
在一实施例中,所述告警单元还包括:
第二获取子单元,用于获取所述预设节点按钮对应的预设告警发送方式;
发送子单元,用于根据所述预设告警发送方式,将所述预设节点按钮存在异常的预设异常内容进行发送 。
在一实施例中,所述第二获取子单元包括:
第三获取子单元,用于获取所述预设节点按钮的预设相关方对应的预设对象标识;
第四获取子单元,用于根据所述预设对象标识,获取所述预设对象标识关联的预设告警发送方式。
需要说明的是,所属领域的技术人员可以清楚地了解到,上述基于数据血缘关系的数据资产可视化装置和各单元的具体实现过程,可以参考前述方法实施例中的相应描述,为了描述的方便和简洁,在此不再赘述。
同时,上述基于数据血缘关系的数据资产可视化装置中各个单元的划分和连接方式仅用于举例说明,在其他实施例中,可将基于数据血缘关系的数据资产可视化装置按照需要划分为不同的单元,也可将基于数据血缘关系的数据资产可视化装置中各单元采取不同的连接顺序和方式,以完成上述基于数据血缘关系的数据资产可视化装置的全部或部分功能。
上述基于数据血缘关系的数据资产可视化装置可以实现为一种计算机程序的形式,该计算机程序可以在如图10所示的计算机设备上运行。
请参阅图10,图10是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备500可以是台式机电脑或者服务器等计算机设备,也可以是其他设备中的组件或者部件。
参阅图10,该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505,其中,存储器可以包括非易失性存储介质503和内存储器504,所述存储器也可以为易失性存储介质。
该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032被执行时,可使得处理器502执行一种上述基于数据血缘关系的数据资产可视化方法。
该处理器502用于提供计算和控制能力,以支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境,该计算机程序5032被处理器502执行时,可使得处理器502执行一种上述基于数据血缘关系的数据资产可视化方法。
该网络接口505用于与其它设备进行网络通信。本领域技术人员可以理解,图10中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备500的限定,具体的计算机设备500可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。例如,在一些实施例中,计算机设备可以仅包括存储器及处理器,在这样的实施例中,存储器及处理器的结构及功能与图10所示实施例一致,在此不再赘述。
其中,基于数据血缘关系的数据资产可视化方法,所述处理器502用于运行存储在存储器中的计算机程序5032,以实现如下步骤:基于数据资产的预设数据加工流向路径图,获取所述预设数据加工流向路径图包含的预设节点按钮的按钮触发指令,其中,所述预设节点按钮用于描述所述数据资产加工过程中的预设数据流向节点;根据所述按钮触发指令,获取所述预设数据流向节点关联的数据报表的预设数据报表标识,并根据所述预设数据报表标识,获取所述预设数据流向节点所关联的数据血缘关系;将所述数据血缘关系与所述预设节点按钮以预设关联方式进行显示。
在一实施例中,所述处理器502在实现所述基于数据资产的预设数据加工流向路径图,获取所述预设数据加工流向路径图包含的预设节点按钮的按钮触发指令的步骤之前,还实现以下步骤:
获取所述数据资产对应的数据报表关联的预设初始大数据;
根据所述数据报表对应的预设数据流向节点,对所述预设初始大数据进行处理,得到所述预设数据流向节点对应的数据血缘关系;
将所述数据血缘关系关联至所述预设数据流向节点对应的预设节点按钮;
根据所述预设数据流向节点对所述预设初始大数据处理的先后顺序,将所有所述预设节点按钮生成所述数据资产对应的数据加工流向路径图,并将所述数据加工流向路径图进行显示。
在一实施例中,所述处理器502在实现所述根据所述预设数据流向节点对所述预设初始大数据处理的先后顺序,将所有所述预设节点按钮生成所述数据资产对应的数据加工流向路径图的步骤之前,还实现以下步骤:
监测所述预设数据流向节点对所述预设初始大数据进行处理的处理过程是否存在异常;
若所述预设数据流向节点对所述预设初始大数据进行处理的处理过程存在异常,将所述预设数据流向节点对应的预设节点按钮进行告警。
在一实施例中,所述处理器502在实现所述将所述预设数据流向节点对应的预设节点按钮进行告警的步骤时,具体实现以下步骤:
获取所述预设节点按钮对应的预设突出显示方式;
将所述预设节点按钮以所述预设突出显示方式进行显示。
在一实施例中,所述处理器502在实现所述获取所述预设节点按钮对应的预设突出显示方式的步骤时,具体实现以下步骤:
获取所述预设节点按钮对应的预设突出显示颜色和/或预设突出显示图形,所述预设突出显示颜色和/或预设突出显示图形与其它预设节点按钮对应的预设显示颜色和/或预设显示图形不相同。
在一实施例中,所述处理器502在实现所述将所述预设数据流向节点对应的预设节点按钮进行告警的步骤时,具体实现以下步骤:
获取所述预设节点按钮对应的预设告警发送方式;
根据所述预设告警发送方式,将所述预设节点按钮存在异常的预设异常内容进行发送。
在一实施例中,所述处理器502在实现所述获取所述预设节点按钮对应的预设告警发送方式的步骤时,具体实现以下步骤:
获取所述预设节点按钮的预设相关方对应的预设对象标识;
根据所述预设对象标识,获取所述预设对象标识关联的预设告警发送方式。
应当理解,在本申请实施例中,处理器502可以是中央处理单元 (CentralProcessing Unit,CPU),该处理器502还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路 (Application Specific IntegratedCircuit,ASIC)、现成可编程门阵列 (Field-Programmable Gate Array,FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中,通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程,是可以通过计算机程序来完成,该计算机程序可存储于一计算机可读存储介质。该计算机程序被该计算机系统中的至少一个处理器执行,以实现上述方法的实施例的流程步骤。
因此,本申请还提供一种计算机可读存储介质。该计算机可读存储介质可以为非易失性的计算机可读存储介质,也可以为易失性的计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序被处理器执行时使处理器执行以上各实施例中所描述的所述基于数据血缘关系的数据资产可视化方法的步骤。
所述计算机可读存储介质可以是前述设备的内部存储单元,例如设备的硬盘或内存。所述计算机可读存储介质也可以是所述设备的外部存储设备,例如所述设备上配备的插接式硬盘,智能存储卡(Smart Media Card, SMC),安全数字(Secure Digital, SD)卡,闪存卡(Flash Card)等。进一步地,所述计算机可读存储介质还可以既包括所述设备的内部存储单元也包括外部存储设备。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的设备、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
所述存储介质为实体的、非瞬时性的存储介质,例如可以是U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、磁碟或者光盘等各种可以存储计算机程序的实体存储介质。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的。例如,各个单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。
本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本申请实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以是两个或两个以上单元集成在一个单元中。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分,或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台电子设备(可以是个人计算机,终端,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。
以上所述,仅为本申请的具体实施方式,但本申请明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。