CN114817162A - 数据流向的分析方法、装置及服务器 - Google Patents

数据流向的分析方法、装置及服务器 Download PDF

Info

Publication number
CN114817162A
CN114817162A CN202210434970.7A CN202210434970A CN114817162A CN 114817162 A CN114817162 A CN 114817162A CN 202210434970 A CN202210434970 A CN 202210434970A CN 114817162 A CN114817162 A CN 114817162A
Authority
CN
China
Prior art keywords
data
analyzed
flow direction
service
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210434970.7A
Other languages
English (en)
Inventor
任建飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kingsoft Cloud Network Technology Co Ltd
Original Assignee
Beijing Kingsoft Cloud Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kingsoft Cloud Network Technology Co Ltd filed Critical Beijing Kingsoft Cloud Network Technology Co Ltd
Priority to CN202210434970.7A priority Critical patent/CN114817162A/zh
Publication of CN114817162A publication Critical patent/CN114817162A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/16File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G06F16/164File meta data generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/17Details of further file system functions
    • G06F16/176Support for shared access to files; File sharing support
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/17Details of further file system functions
    • G06F16/178Techniques for file synchronisation in file systems
    • G06F16/1794Details of file format conversion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供了一种数据流向的分析方法、装置及服务器,涉及数据处理技术领域,包括:获取待分析的多个业务系统的待分析数据集合;对各所述待分析数据集合所包含的待分析数据进行相似性分析得到分析结果;其中,所述分析结果包括各所述业务系统之间的共享关系;根据所述分析结果确定各所述业务系统之间的数据流向结果。本发明可以高效、准确地对异构业务系统的数据流向进行分析,从而基于数据流向辅助管理数据生命周期。

Description

数据流向的分析方法、装置及服务器
技术领域
本发明涉及数据处理技术领域,尤其是涉及一种数据流向的分析方法、装置及服务器。
背景技术
对于传统企业或部分公共业务平台而言,其业务系统相对而言较为独立,各个业务系统所采用的技术架构、系统服务商均可能存在一定差异,导致无法进行统一数据分析,从而导致无法较好地对业务系统的数据生命周期进行管理。
发明内容
有鉴于此,本发明的目的在于提供一种数据流向的分析方法、装置及服务器,可以高效、准确地对异构业务系统的数据流向进行分析,从而基于数据流向辅助管理数据生命周期。
第一方面,本发明实施例提供了一种数据流向的分析方法,包括:获取待分析的多个业务系统的待分析数据集合;对各所述待分析数据集合所包含的待分析数据进行相似性分析得到分析结果;其中,所述分析结果包括各所述业务系统之间的共享关系;根据所述分析结果确定各所述业务系统之间的数据流向结果。
在一种实施方式中,所述获取待分析的多个业务系统的待分析数据集合的步骤,包括:建立与多个业务系统之间的通信连接,按照指定数据标准采集各个所述业务系统的元数据,对所述元数据进行数据盘点处理确定所述元数据对应的数据属性;以及,将预设数据模板发送至各个所述业务系统,接收各个所述业务系统基于所述预设数据模板反馈的共享数据和所述共享数据对应的数据属性;对于每个所述业务系统,基于该业务系统所包含的所述元数据、所述元数据对应的数据属性、所述共享数据、所述共享数据对应的数据属性,构造该业务系统的待分析数据集合;其中,所述待分析数据包括所述元数据和所述共享数据。
在一种实施方式中,所述对各所述待分析数据集合所包含的待分析数据进行相似性分析得到分析结果的步骤,包括:对于每个所述业务系统,计算该业务系统的待分析数据集合中每个所述待分析数据,与其他业务系统的待分析数据集合中每个所述待分析数据之间的数据相似度;根据预设的第一相似度阈值和所述数据相似度,从该业务系统的待分析数据集合中确定目标待分析数据,以及与该业务系统共享所述目标待分析数据的目标业务系统。
在一种实施方式中,所述对各所述待分析数据集合所包含的待分析数据进行相似性分析得到分析结果的步骤,还包括:根据各所述待分析数据集合确定各所述业务系统对应的数据字典;计算各所述业务系统对应的数据字典之间的字典相似度;根据预设的第二相似度阈值和所述字典相似度,确定各所述业务系统之间的共享关系。
在一种实施方式中,所述根据所述分析结果确定各所述业务系统之间的数据流向结果的步骤,包括:根据所述分析结果确定各所述业务系统之间共享的目标待分析数据;根据所述目标待分析数据的数据属性确定各所述业务系统之间的数据流向结果。
在一种实施方式中,所述方法还包括:根据所述数据属性生成数据目录;其中,所述数据目录用于描述所述待分析数据的数据属性和所述待分析数据所处业务系统。
在一种实施方式中,所述方法还包括:通过目录展示界面展示所述数据目录;响应针对于所述数据目录的标签设置操作,获取属性标签并将所述属性标签添加至所述数据目录。
第二方面,本发明实施例还提供一种数据流向的分析装置,包括:数据获取模块,用于获取待分析的多个业务系统的待分析数据集合;相似性分析模块,用于对各所述待分析数据集合所包含的待分析数据进行相似性分析得到分析结果;其中,所述分析结果包括各所述业务系统之间的共享关系;流向确定模块,用于根据所述分析结果确定各所述业务系统之间的数据流向结果。
第三方面,本发明实施例还提供一种服务器,包括处理器和存储器,所述存储器存储有能够被所述处理器执行的计算机可执行指令,所述处理器执行所述计算机可执行指令以实现第一方面提供的任一项所述的方法。
第四方面,本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令在被处理器调用和执行时,计算机可执行指令促使处理器实现第一方面提供的任一项所述的方法。
本发明实施例提供的一种数据流向的分析方法、装置及服务器,首先获取待分析的多个业务系统的待分析数据集合,然后对各所述待分析数据集合所包含的待分析数据进行相似性分析得到分析结果(包括各所述业务系统之间的共享关系),最后根据所述分析结果确定各所述业务系统之间的数据流向结果。上述方法获取异构的多个业务系统的待分析数据集合,通过相似性分析确定各个业务系统之间的共享关系,并在该共享关系的基础上确定出各个业务系统之间的数据流向结果,数据流向结果为数据生命周期的管理提供关键性的技术,从而可以基于数据流向结果较好地辅助管理数据生命周期。
本发明的其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种数据流向的分析方法的流程示意图;
图2为本发明实施例提供的一种数据流向分析平台的架构图;
图3为本发明实施例提供的一种数据流向的分析装置的结构示意图;
图4为本发明实施例提供的一种服务器的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合实施例对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
目前,在数字化时代,业务均为数据服务,对于传统企业或者相关部门而言,把握数据的生命周期是一件很重要的事情。基于大数据平台建设的互联网行业可以很方便的实现数据的统一管理,针对性的分析数据血缘,把控数据的来龙去脉,但针对传统企业或者公共业务平台,在业务稳定运行的情况下,无法及时的改造系统,各个业务系统相对而言比较独立,通常为单体服务,各个业务系统分散在不通的职能部门,而且每个只能各自自己建设业务系统,其系统服务商和所采用的技术架构通常存在一定差异,导致无法构成统一的数据分析系统,从而无法较好地对业务系统的数据生命周期进行管理。
基于此,本发明实施提供了一种数据流向的分析方法、装置及服务器,可以高效、准确地对异构业务系统的数据流向进行分析,从而基于数据流向辅助管理数据生命周期。
为便于对本实施例进行理解,首先对本发明实施例所公开的一种数据流向的分析方法进行详细介绍,参见图1所示的一种数据流向的分析方法的流程示意图,该方法主要包括以下步骤S102至步骤S106:
步骤S102,获取待分析的多个业务系统的待分析数据集合。其中,待分析数据集合可以包括业务系统的元数据和共享数据,还可以包括元数据的数据属性以及共享数据的数据属性,元数据可以包括业务数据、数据库数据、文档数据等,共享数据可以包括库表数据、库共享管理数据、表共享关系数据、接口共享关系数据等,数据属性可以用于表征数据的规模、分类和标签等。在一种实施方式中,可以预先设置指定数据标准,从而按照该指定数据标准采集各个业务系统的元数据,还可以根据预先定制的数据模板获取各个业务系统的共享数据。
步骤S104,对各待分析数据集合所包含的待分析数据进行相似性分析得到分析结果。其中,分析结果包括各业务系统之间的共享关系,共享关系可以理解为两个或多个业务系统均使用了同一数据,例如,业务系统A和业务系统B均调用了接口1,或业务系统A和业务系统B均调用了库表2等。在一种实施方式中,考虑到不同业务系统的待分析数据集合中存在部分数据之间的共享关系无法确定,因此对各个待分析数据集合所包含的待分析数据进行相似性分析,当两个或多个业务系统的待分析数据集合中待分析数据的相似度高于预设相似度阈值时,可以确定这些业务系统存在共享关系。示例性的,当业务系统A的待分析数据集合中的待分析数据a与业务系统B的待分析数据集合中的待分析数据b之间的相似度高于预设相似度阈值时,可以确定业务系统A和业务系统B使用了统一数据,也即业务系统A与业务系统B之间存在共享关系。
步骤S106,根据分析结果确定各业务系统之间的数据流向结果。其中,数据流向也即数据的共享开放流转信息。在一种实施方式中,分析结果还可以包括存在共享关系的业务系统之间共享的待分析数据,且该待分析数据的数据属性中标注有数据来源,从而可以基于该数据来源确定存在共享关系的各个业务系统之间的数据流向结果。
本发明实施例提供的上述数据流向的分析方法,获取异构的多个业务系统的待分析数据集合,通过相似性分析确定各个业务系统之间的共享关系,并在该共享关系的基础上确定出各个业务系统之间的数据流向结果,数据流向结果为数据生命周期的管理提供关键性的技术,从而可以基于数据流向结果较好地辅助管理数据生命周期。
在一种实施方式中,上述数据流向的分析方法可以应用于数据流向分析平台,该数据流向分析平台包括数据同步系统和数据集成系统,数据同步系统用于接入异构数据源(也即,上述业务系统),并对获取的元数据进行数据盘点处理得到元数据的数据属性,数据集成系统用于获取上述元数据及其数据属性,还用于获取各个异构数据源的共享数据,此外,数据集成系统还可提供相似性分析功能和数据流向确定功能等。
为便于理解,本发明实施例提供了如图2所示的一种数据流向分析平台的架构图,数据流向分析系统分别与业务系统A、业务系统B至业务系统N通信连接,数据流向分析系统包括数据盘点、定制模板(也即,上述数据模板)数据采集、数据字典相似性分析和共享数据相似性分析等功能,数据流向分析系统还可以提供数据目录展示、分析结果汇总等功能。
在上述图2的基础上,本发明实施例提供了一种获取待分析的多个业务系统的待分析数据集合的实施方式,参见如下步骤1至步骤3:
步骤1,建立与多个业务系统之间的通信连接,按照指定数据标准采集各个业务系统的元数据,对元数据进行数据盘点处理确定元数据对应的数据属性。在一种实施方式中,可以通过数据同步系统接入多个业务系统,分析多个业务系统,对齐数据标准,数据同步系统将按照该数据标准采集各个业务系统的业务数据、数据库数据和文档数据等元数据,具体的可通过自研或者开源的数据采集工具对数据进行自动化采集。数据同步系统还将对元数据进行数据盘点,数据盘点也即对业务系统的业务属性、平台属性、业务数据、业务元数据进行完整的数据梳理,可选的,数据盘点的主要内容可以为对元数据进行分类分级管理,根据业务系统的规划梳理出数据的规模、分类和标签等数据属性。
步骤2,将预设数据模板发送至各个业务系统,接收各个业务系统基于预设数据模板反馈的共享数据和共享数据对应的数据属性。在一种实施方式中,对于各个业务系统之间的共享数据,可以预先定制数据模板,将该数据模板发送至各个业务系统,业务系统将按照该数据模板上传共享数据和共享数据对应的数据属性,数据集成系统对业务系统反馈的数据模板进行解析可以得到平台、系统、子系统、库表、库共享管理、表共享关系、接口共享关系等共享数据。
步骤3,对于每个业务系统,基于该业务系统所包含的元数据、元数据对应的数据属性、共享数据、共享数据对应的数据属性,构造该业务系统的待分析数据集合。其中,待分析数据包括元数据和共享数据。
对于上述步骤S104,本发明实施例提供了对各待分析数据集合所包含的待分析数据进行相似性分析得到分析结果的实施方式,参见如下方式一至方式二:
方式一:(1)对于每个业务系统,计算该业务系统的待分析数据集合中每个待分析数据,与其他业务系统的待分析数据集合中每个待分析数据之间的数据相似度,可选的,可以根据库表、字段、业务属性等数据计算两个待分析数据之间的数据相似度,例如,将业务系统A的待分析数据集合中的待分析数据a与业务系统B的待分析数据集合中的待分析数据b之间的字段重复率作为数据相似度;(2)根据预设的第一相似度阈值和数据相似度,从该业务系统的待分析数据集合中确定目标待分析数据,以及与该业务系统共享目标待分析数据的目标业务系统。示例性的,假设第一相似度阈值为90%,当待分析数据a与待分析数据b之间的字段重复率大于或等于90%时,可以将待分析数据a和待分析数据b均确定为目标待分析数据,且确定业务系统A与业务系统B之间共享该待分析数据a,从而可以确定业务系统A与业务系统B之间的业务关联关系。
方式二:(1)根据各待分析数据集合确定各业务系统对应的数据字典;(2)计算各业务系统对应的数据字典之间的字典相似度;(3)根据预设的第二相似度阈值和字典相似度,确定各业务系统之间的共享关系。其中,数据字典是指对数据的数据项、数据结构、数据流、数据存储、处理逻辑等进行定义和描述,在一种实施方式中,可以通过对枚举表的数据采集,以一定的规则算法做系统间数据字典相似性分析,具体的,进行数据整理得出业务平台依赖的枚举字段,从中分析出业务系统的关联关系。
对于前述步骤S106,在一种实施方式中,可以根据分析结果确定各业务系统之间共享的目标待分析数据,然后根据目标待分析数据的数据属性确定各业务系统之间的数据流向结果。示例性的,业务系统A共享待分析数据a,需要将待分享数据a上传至第三方数据库,该待分享数据a将携带有数据来源,数据来源表明该待分享数据a来自业务系统A,业务系统B可以从第三方数据库中读取待分享数据a,因此当确定业务系统A与业务系统B存在共享关系时,可以根据共享的数据的数据来源确定业务系统A与业务系统B之间的数据流向结果。
另外,请继续参见图2,图2示意出数据流向分析系统还可以提供数据目录展示功能。在一种实施方式中,可以根据数据属性生成数据目录。其中,数据目录用于描述待分析数据的数据属性和待分析数据所处业务系统。数据目录不包含真实的数据,而是用于描述数据属性和所处业务系统,便于用户基于该数据目录检索所需的数据。进一步的,还可以通过目录展示界面展示数据目录,并响应针对于数据目录的标签设置操作,获取属性标签并将属性标签添加至数据目录。示例性的,可以为属于同一业务的数据添加相同的属性标签,从而便于用户对数据目录做全生命周期的管理。
综上所述,本发明实施例提供的上述数据流向的分析方法,定义了完整的数据流向分析的过程,实现了标准的数据盘点、数据分析、数据结果展示、数据流向输出的步骤和技术方案,而且提供了模板化的采集方案,支持定制化的采集,另外,本发明实施例提供的上述数据流向的分析方法,可以根据相似性算法分析数据间流通情况,而且还提供了标准的数据目录管理系统,能对数据目录做全生命周期的管理。
对于前述实施例提供的数据流向的分析方法,本发明实施例提供了一种数据流向的分析装置,参见图3所示的一种数据流向的分析装置的结构示意图,该装置可以包括以下部分:
数据获取模块302,用于获取待分析的多个业务系统的待分析数据集合;
相似性分析模块304,用于对各待分析数据集合所包含的待分析数据进行相似性分析得到分析结果;其中,分析结果包括各业务系统之间的共享关系;
流向确定模块306,用于根据分析结果确定各业务系统之间的数据流向结果。
本发明实施例提供的上述数据流向的分析装置,获取异构的多个业务系统的待分析数据集合,通过相似性分析确定各个业务系统之间的共享关系,并在该共享关系的基础上确定出各个业务系统之间的数据流向结果,数据流向结果为数据生命周期的管理提供关键性的技术,从而可以基于数据流向结果较好地辅助管理数据生命周期。
在一种实施方式中,数据获取模块302还用于:建立与多个业务系统之间的通信连接,按照指定数据标准采集各个业务系统的元数据,对元数据进行数据盘点处理确定元数据对应的数据属性;以及,将预设数据模板发送至各个业务系统,接收各个业务系统基于预设数据模板反馈的共享数据和共享数据对应的数据属性;对于每个业务系统,基于该业务系统所包含的元数据、元数据对应的数据属性、共享数据、共享数据对应的数据属性,构造该业务系统的待分析数据集合;其中,待分析数据包括元数据和共享数据。
在一种实施方式中,相似性分析模块304还用于:对于每个业务系统,计算该业务系统的待分析数据集合中每个待分析数据,与其他业务系统的待分析数据集合中每个待分析数据之间的数据相似度;根据预设的第一相似度阈值和数据相似度,从该业务系统的待分析数据集合中确定目标待分析数据,以及与该业务系统共享目标待分析数据的目标业务系统。
在一种实施方式中,相似性分析模块304还用于:根据各待分析数据集合确定各业务系统对应的数据字典;计算各业务系统对应的数据字典之间的字典相似度;根据预设的第二相似度阈值和字典相似度,确定各业务系统之间的共享关系。
在一种实施方式中,流向确定模块306还用于:根据分析结果确定各业务系统之间共享的目标待分析数据;根据目标待分析数据的数据属性确定各业务系统之间的数据流向结果。
在一种实施方式中,上述装置还包括目标生成模块,用于:根据数据属性生成数据目录;其中,数据目录用于描述待分析数据的数据属性和待分析数据所处业务系统。
在一种实施方式中,上述装置还包括标签标注模块,用于:通过目录展示界面展示数据目录;响应针对于数据目录的标签设置操作,获取属性标签并将属性标签添加至数据目录。
本发明实施例所提供的装置,其实现原理及产生的技术效果和前述方法实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。
本发明实施例提供了一种服务器,具体的,该服务器包括处理器和存储器;存储器上存储有计算机程序,计算机程序在被所述处理器运行时执行如上所述实施方式的任一项所述的方法。
图4为本发明实施例提供的一种服务器的结构示意图,该服务器100包括:处理器40,存储器41,总线42和通信接口43,所述处理器40、通信接口43和存储器41通过总线42连接;处理器40用于执行存储器41中存储的可执行模块,例如计算机程序。
其中,存储器41可能包含高速随机存取存储器(RAM,Random Access Memory),也可能还包括非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。通过至少一个通信接口43(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接,可以使用互联网,广域网,本地网,城域网等。
总线42可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图4中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
其中,存储器41用于存储程序,所述处理器40在接收到执行指令后,执行所述程序,前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器40中,或者由处理器40实现。
处理器40可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器40中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器40可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital SignalProcessing,简称DSP)、专用集成电路(Application Specific Integrated Circuit,简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器41,处理器40读取存储器41中的信息,结合其硬件完成上述方法的步骤。
本发明实施例所提供的可读存储介质的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行前面方法实施例中所述的方法,具体实现可参见前述方法实施例,在此不再赘述。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种数据流向的分析方法,其特征在于,包括:
获取待分析的多个业务系统的待分析数据集合;
对各所述待分析数据集合所包含的待分析数据进行相似性分析得到分析结果;其中,所述分析结果包括各所述业务系统之间的共享关系;
根据所述分析结果确定各所述业务系统之间的数据流向结果。
2.根据权利要求1所述的方法,其特征在于,所述获取待分析的多个业务系统的待分析数据集合的步骤,包括:
建立与多个业务系统之间的通信连接,按照指定数据标准采集各个所述业务系统的元数据,对所述元数据进行数据盘点处理确定所述元数据对应的数据属性;
以及,将预设数据模板发送至各个所述业务系统,接收各个所述业务系统基于所述预设数据模板反馈的共享数据和所述共享数据对应的数据属性;
对于每个所述业务系统,基于该业务系统所包含的所述元数据、所述元数据对应的数据属性、所述共享数据、所述共享数据对应的数据属性,构造该业务系统的待分析数据集合;其中,所述待分析数据包括所述元数据和所述共享数据。
3.根据权利要求1所述的方法,其特征在于,所述对各所述待分析数据集合所包含的待分析数据进行相似性分析得到分析结果的步骤,包括:
对于每个所述业务系统,计算该业务系统的待分析数据集合中每个所述待分析数据,与其他业务系统的待分析数据集合中每个所述待分析数据之间的数据相似度;
根据预设的第一相似度阈值和所述数据相似度,从该业务系统的待分析数据集合中确定目标待分析数据,以及与该业务系统共享所述目标待分析数据的目标业务系统。
4.根据权利要求1所述的方法,其特征在于,所述对各所述待分析数据集合所包含的待分析数据进行相似性分析得到分析结果的步骤,还包括:
根据各所述待分析数据集合确定各所述业务系统对应的数据字典;
计算各所述业务系统对应的数据字典之间的字典相似度;
根据预设的第二相似度阈值和所述字典相似度,确定各所述业务系统之间的共享关系。
5.根据权利要求1所述的方法,其特征在于,所述根据所述分析结果确定各所述业务系统之间的数据流向结果的步骤,包括:
根据所述分析结果确定各所述业务系统之间共享的目标待分析数据;
根据所述目标待分析数据的数据属性确定各所述业务系统之间的数据流向结果。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
根据数据属性生成数据目录;其中,所述数据目录用于描述所述待分析数据的数据属性和所述待分析数据所处业务系统。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
通过目录展示界面展示所述数据目录;
响应针对于所述数据目录的标签设置操作,获取属性标签并将所述属性标签添加至所述数据目录。
8.一种数据流向的分析装置,其特征在于,包括:
数据获取模块,用于获取待分析的多个业务系统的待分析数据集合;
相似性分析模块,用于对各所述待分析数据集合所包含的待分析数据进行相似性分析得到分析结果;其中,所述分析结果包括各所述业务系统之间的共享关系;
流向确定模块,用于根据所述分析结果确定各所述业务系统之间的数据流向结果。
9.一种服务器,其特征在于,包括处理器和存储器,所述存储器存储有能够被所述处理器执行的计算机可执行指令,所述处理器执行所述计算机可执行指令以实现权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令在被处理器调用和执行时,计算机可执行指令促使处理器实现权利要求1至7任一项所述的方法。
CN202210434970.7A 2022-04-24 2022-04-24 数据流向的分析方法、装置及服务器 Pending CN114817162A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210434970.7A CN114817162A (zh) 2022-04-24 2022-04-24 数据流向的分析方法、装置及服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210434970.7A CN114817162A (zh) 2022-04-24 2022-04-24 数据流向的分析方法、装置及服务器

Publications (1)

Publication Number Publication Date
CN114817162A true CN114817162A (zh) 2022-07-29

Family

ID=82507743

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210434970.7A Pending CN114817162A (zh) 2022-04-24 2022-04-24 数据流向的分析方法、装置及服务器

Country Status (1)

Country Link
CN (1) CN114817162A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117648213A (zh) * 2024-01-30 2024-03-05 杭银消费金融股份有限公司 一种数据传输通路模型搭建方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117648213A (zh) * 2024-01-30 2024-03-05 杭银消费金融股份有限公司 一种数据传输通路模型搭建方法及系统
CN117648213B (zh) * 2024-01-30 2024-05-07 杭银消费金融股份有限公司 一种数据传输通路模型搭建方法及系统

Similar Documents

Publication Publication Date Title
CN111488363B (zh) 数据处理方法、装置、电子设备及介质
US9104720B2 (en) Generation of technical description of report from functional description of report
CN109933514B (zh) 一种数据测试方法和装置
CN109524070B (zh) 数据处理方法及装置、电子设备、存储介质
US20170364861A1 (en) Method and apparatus for processing logistics information
CN110737689B (zh) 数据标准符合性检测方法、装置、系统及存储介质
CN111078776A (zh) 数据表的标准化方法、装置、设备及存储介质
CN110765750B (zh) 报表数据录入方法及终端设备
CN113672781A (zh) 数据查询方法、装置、电子设备及存储介质
CN110705998A (zh) 基于区块链的信息审核方法及装置、电子设备、存储介质
CN111400361A (zh) 数据实时存储方法、装置、计算机设备和存储介质
US20150113008A1 (en) Providing automatable units for infrastructure support
CN111553137A (zh) 报告生成方法、装置、存储介质及计算机设备
CN111258819A (zh) MySQL数据库备份文件的数据获取方法、装置和系统
CN114817162A (zh) 数据流向的分析方法、装置及服务器
CN111652658A (zh) 画像融合方法、装置、电子设备及计算机可读存储介质
CN113934733A (zh) 问题定位方法、装置、系统、存储介质及电子设备
CN112445866A (zh) 数据处理方法、装置、计算机可读介质及电子设备
CN112256517B (zh) 基于lstm-dssm的虚拟化平台的日志分析方法及装置
CN115295109A (zh) 医疗数据溯源方法及装置、存储介质、终端设备
CN114528313A (zh) 数据处理方法、装置和电子设备
CN113032515A (zh) 基于多数据源生成图表的方法、系统、设备及存储介质
WO2019019387A1 (zh) 信息推送建议生成方法、装置、计算机设备和存储介质
CN113159118A (zh) 物流数据指标的处理方法、装置、设备及存储介质
CN113138974A (zh) 数据库合规检测的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination