CN115859323A - 一种数据处理的方法、装置、计算机设备和介质 - Google Patents
一种数据处理的方法、装置、计算机设备和介质 Download PDFInfo
- Publication number
- CN115859323A CN115859323A CN202211549492.0A CN202211549492A CN115859323A CN 115859323 A CN115859323 A CN 115859323A CN 202211549492 A CN202211549492 A CN 202211549492A CN 115859323 A CN115859323 A CN 115859323A
- Authority
- CN
- China
- Prior art keywords
- data
- metadata
- standard
- entity
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Storage Device Security (AREA)
Abstract
本申请提供了一种数据处理的方法、装置、计算机设备和介质,该方法包括:从目标企业的多个子系统分别获取初始数据实体,所述初始数据实体中包括至少一个元数据;利用所述目标企业的预设数据标准,对所述初始数据实体中的元数据进行标准化处理,得到标准数据实体;基于预设加密标准,对所述标准数据实体中的目标数据进行加密,得到加密后的标准数据实体;根据每个加密后的标准数据实体中元数据的数据信息,生成所述目标企业的数据资产目录;将所述目标企业的数据资产目录和所述加密后的标准数据实体进行整合,得到提供给目标用户的数据资产。
Description
技术领域
本申请涉及数据处理领域,具体而言,涉及一种数据处理的方法、装置、计算机设备和介质。
背景技术
随着大数据时代的到来,数据已作为重要生产要素,成为企业战略转型的新赛道。目前,在信息庞杂、数据量激增、技术快速迭代的大数据背景下,传统数据治理一直落在数据资产能够更好地被快速检索、便于理解,而数据资产的被使用情况及其发挥的价值,往往被忽视,导致数据资产管理相关工作难以聚焦并体现价值,进而导致数据资产价值阻滞,存在低质量数据和数据竖井问题。
发明内容
有鉴于此,本申请的目的在于提供一种数据处理的方法、装置、计算机设备和介质,用于解决现有技术中存在低质量数据和数据竖井问题的问题。
第一方面,本申请实施例提供了一种数据处理的方法,该方法包括:
从目标企业的多个子系统分别获取初始数据实体,所述初始数据实体中包括至少一个元数据;
利用所述目标企业的预设数据标准,对所述初始数据实体中的元数据进行标准化处理,得到标准数据实体;
根据每个标准数据实体中元数据的数据信息,生成所述目标企业的数据资产目录;
基于所述数据资产目录和预设加密标准,对所述标准数据实体中的目标数据进行加密,得到加密后的标准数据实体;
基于所述目标企业的数据资产目录和所述加密后的标准数据实体,得到提供给用户的数据资产。
可选的,所述方法还包括:
根据所述目标企业的业务需求,确定数据模型;
利用所述数据模型和所述数据资产目录,在加密后的所述标准数据实体中筛选出满足所述业务需求的目标数据,并基于所述目标数据生成实体联系图。
可选的,所述数据信息包括以下信息中的任意一种或多种:所述元数据的业务描述信息、所述元数据的业务示例信息、所述元数据的业务标签、所述元数据的加密等级标签、所述元数据的数据来源。
可选的,利用所述目标企业的预设数据标准,对所述初始数据实体中的元数据进行标准化处理,得到标准数据实体,包括:
在所述初始数据实体中为符合预设业务标准的元数据设置业务标签,得到标准数据实体。
可选的,所述根据每个标准数据实体中元数据的数据信息,生成所述目标企业的数据资产目录,包括:
根据每个标准数据实体中元数据的数据信息中的业务标签和所述业务标签的业务等级,生成所述目标企业的数据资产目录。
可选的,所述方法还包括:
根据加密后的所述标准数据实体中每个元数据的成本参数和价值参数,计算加密后的标准数据实体中每个元数据的数据收益;
基于每个元数据的数据收益生成数据分析结果。
第二方面,本申请实施例提供的一种数据处理的装置,包括:
获取模块,用于从目标企业的多个子系统分别获取初始数据实体,所述初始数据实体中包括至少一个元数据;
标准化模块,用于利用所述目标企业的预设数据标准,对所述初始数据实体中的元数据进行标准化处理,得到标准数据实体;
加密模块,用于基于预设加密标准,对所述标准数据实体中的目标数据进行加密,得到加密后的标准数据实体;
第一生成模块,用于根据每个加密后的标准数据实体中元数据的数据信息,生成所述目标企业的数据资产目录;
整合模块,用于将所述目标企业的数据资产目录和所述加密后的标准数据实体进行整合,得到提供给目标用户的数据资产。
可选的,所述装置还包括:
确定模块,用于根据所述目标企业的业务需求,确定数据模型;
第二生成模块,用于利用所述数据模型和所述数据资产目录,在加密后的所述标准数据实体中筛选出满足所述业务需求的目标数据,并基于所述目标数据生成实体联系图。
第三方面,本申请实施例提供的一种计算机设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述方法的步骤。
第四方面,本申请实施例提供的一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行上述方法的步骤。
本申请实施例所述提供的数据处理的方法,首先,从目标企业的多个子系统分别获取初始数据实体,所述初始数据实体中包括至少一个元数据;其次,利用所述目标企业的预设数据标准,对所述初始数据实体中的元数据进行标准化处理,得到标准数据实体;然后,根据每个标准数据实体中元数据的数据信息,生成所述目标企业的数据资产目录;进一步的,基于所述数据资产目录和预设加密标准,对所述标准数据实体中的目标数据进行加密,得到加密后的标准数据实体;最后,基于所述目标企业的数据资产目录和所述加密后的标准数据实体,得到提供给用户的数据资产。
在某些实施例中,通过对不同子系统中获取到的初始数据实体进行标准化处理,提升了数据质量和数据使用效率,然后对标准化后的标准数据实体进行加密处理,可以提升数据安全,然后在利用加密后的标准数据实体生成数据资产目录,将数据资产目录和加密后的标准数据实体整合后提供给目标用户,这样目标用户可以基于数据资产目录可以更容易的聚焦自己所需要的数据,并且不需要将自己所需要的数据进行单独存储,降低了数据的存储成本。
为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种数据处理的方法的流程示意图;
图2为本申请实施例提供的一种实体联系图的示意图;
图3为本申请实施例提供的一种数据处理的装置的结构示意图;
图4为本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
现有技术中,传统数据治理一直专注在数据资产能够高能耗的快速检索,但是数值之间很容易出现数据竖井的问题,并且数据安全也很容易被忽视,所以在数据治理资源有限的情况下,如何在既满足数据的质量、安全的基础要求,又能满足大数据时代背景下尤其数据价值挖掘的高时效用数场景的需求已成为大数据治理亟需解决的主要矛盾和难题。
基于上述缺陷,本申请实施例提供了一种数据处理的方法,如图1所示,包括以下步骤:
S101,从目标企业的多个子系统分别获取初始数据实体,所述初始数据实体中包括至少一个元数据;
S102,利用所述目标企业的预设数据标准,对所述初始数据实体中的元数据进行标准化处理,得到标准数据实体;
S103,根据每个标准数据实体中元数据的数据信息,生成所述目标企业的数据资产目录;
S104,基于所述数据资产目录和预设加密标准,对所述标准数据实体中的目标数据进行加密,得到加密后的标准数据实体;
S105,基于所述目标企业的数据资产目录和所述加密后的标准数据实体,得到提供给用户的数据资产。
在上述步骤S101中,目标企业为需要进行数据资产分析的企业,目标企业可以包括多个子系统,每个子系统下都有自己对应的运行标准。运行标准为子系统获取元数据的标准,每个子系统之间的运行标准可能是不一样的,不同的运行标准下,导致每个子系统所获取的元数据是可能存在差异的,每个子系统获取的元数据是可以组成至少一个初始数据实体。初始数据实体可以是数据表,元数据可以用户基于子系统办理业务时所录入的数据,比如,某一用户基于子系统办理业务,元数据为用户在办理业务时所录入的用户的姓名、用户办理业务时间、用户身份证号、用户职业信息、用户性别信息、用户编号等。
在上述步骤S102中,目标企业预设数据标准是为目标企业进行数据资产分析的标准,目标企业预设数据标准用于将各个子系统对应的初始数据实体整理为统一的标准,其中,目标企业预设数据标准可以是为各个子系统对应的初始数据实体中的元数据分别设置统一标准的标签,标签可以是以下形式中的任意一种或多种:编号、业务标签等。业务标签可以是基于目标企业的业务需求设置的。
比如,在目标企业的子系统A中有初始数据实体B,在目标企业的子系统C中有初始数据实体D,在初始数据实体B和初始数据实体D中记录的均是用户在向目标企业的子系统进行身份登记的身份信息,为了能够在对目标企业中所有的数据能够进行资产化管理,会将初始数据实体B和初始数据实体D设置统一的名称,统一的名称可以和初始数据实体B或初始数据实体D的原始名称一致,也可以和初始数据实体B和初始数据实体D的名称不一致,如,初始数据实体B和初始数据实体D统称为身份信息数据表。上述过程是对初始数据实体进行的标准化处理。在初始数据实体B和初始数据实体D中子系统可能会为每个元数据进行编号,初始数据实体B中可能用的字符编号,在初始数据实体D中可能用的数字编号,且初始数据实体B和初始数据实体D中可能有同一个用户提供的相同信息,因此,为了方便数据整理和资产化,还会用目标企业预设数据标准对初始数据实体B和初始数据实体D中的元数据进行整理,比如用同一的编号方式为每一个不同的元数据进行编号,这样同一个用户的身份信息在目标企业中就只有一个唯一的编号了,方便了数据查询和整理,为数据资产化奠定了基础。
进一步的,目标企业预设数据标准包括预设业务标准,预设业务标准是基于目标企业的预设业务场景确定的,比如,业务场景为按照不同用户的家庭住址所在区域范围,为不同区域范围内的用户推荐房产信息,因此需要根据预设业务标准对初始数据实体中的元数据进行划分,也就是,步骤S102,包括:
步骤1021,在所述初始数据实体中为符合预设业务标准的元数据设置业务标签,得到标准数据实体。
在上述步骤1021中,预设业务标准是基于目标企业的预设业务场景确定的,预设业务标准中携带有第一预设筛选规则,进而利用打底衣预设筛选规则可以在初始数据实体中筛选出符合预设业务标准的元数据,进而对筛选之后的元数据设置该预设业务场景的业务标签,这样就可以基于业务标签将各个初始数据实体中元数据进行划分,这样也就得到的标准数据实体,在标准数据实体中利用业务标签对元数据进行划分,为之后的步骤S103至步骤S105做好了基础。
本申请中将初始数据实体进行标准化处理的目的是为了筑牢数据质量基础,拉通整个目标企业中数据的统一性,确保这些数据在整个目标企业内外使用和交换中的一致性和准确性,为增量数据转化为数据资产,提升数据质量奠定基础。
在上述步骤S103中,预设加密标准可以是目标企业规定的保密标准,也可以是相关规定的保密标准等,预设加密标准中还会有等级分类,预设加密标准中会设置有第二预设筛选规则,利用第二预设筛选规则可以在标准数据实体中筛选出需要进行加密的数据,并为第二预设筛选规则筛选出的数据设置加密标签。并且预设加密标准也会设置等级,有些预设加密标准等级较高,有些预设加密标准等级较低,利用第二预设筛选规则筛选出的数据设置加密标签的同时也会设置对应的等级,进而也就是为利用第二预设筛选规则筛选出的数据加密等级标签,该加密等级标签能够表征该元数据需要进行加密和加密等级的信息。在为元数据设置加密等级标签后,会基于加密等级标签为对应的元数据进行对应级别的加密处理,这样使得需要使用元数据进行资产化分析的工作人员无法看到需要进行加密的元数据的详细信息。
在传统数据治理模式较难精细化赋能数据安全,导致在数据所有权、使用权、管理权的确权认定以及敏感数据分级分类方面,仍存在界定不清晰的隐患,数据安全管控策略简单粗暴。本申请通过上述步骤S103实现对数据安全的集成加密、动态脱敏、名单过滤、实时智能阻断等管控措施,在确保敏感数据不泄漏的前提下,降低数据使用成本,提升数据洞察效率,已在工程人员开发测试、经营人员自助分析、一线人员灵活查询等场景中发挥出重要作用。
在上述步骤S104中,数据信息能够表征标准数据实体中元数据的特征,数据信息包括以下信息中的任意一种或多种:所述元数据的业务描述信息、所述元数据的业务示例信息、所述元数据的业务标签、所述元数据的加密等级标签、所述元数据的数据来源。元数据的业务描述信息可以是目标企业针对业务的含义进行详细、完整、准确的描述的内容。元数据的业务示例信息可以是基于元数据的业务描述信息的内容进行的示例性说明。元数据的业务标签可以是与目标企业的业务相匹配的标签。元数据的数据来源可以是元数据所属的标准数据实体以及标准数据实体所属的子系统。数据资产目录是目标企业中所包含的所有元数据对应业务标签的清单。
具体实施中,根据标准数据实体中元数据的数据信息中的业务标签和加密等级标签,将所有元数据的业务标签和加密等级标签整理成目标企业的数据资产目录,数据资产目录中的业务标签和加密等级标签会基于对应元数据的数据来源与元数据进行关联,这样工作人员只要通过数据资产目录中的业务标签就可以找到该业务标签对应的元数据。本申请中通过对数据分类,为数据打上多维度的标签,明确对数据实体操作的相关功能,为查找数据资产,了解数据流向,掌握数据用途提供支撑。从而达到数据资产的可见,可懂,可用。
在上述步骤S105中,在数据资产目录中包括了多个标签,每个标签可以对应至少一个元数据,生成数据资产目录最主要的目的为了能够更快的聚焦,找到改标签对应的元数据,以及不需要根据每一个标签都生成一个单独的数据实体并进行存储,降低了存储成本,因此,数据资产目录需要与加密后的标准数据实体进行强关联,使得工作人员能够基于数据资产目录中的标签快速的找到对应的元数据。
具体实施中,将目标企业的数据资产目录和加密后的标准数据实体进行整合,也就是,将目标企业的数据资产目录中的标签与其对应的元数据的所在的加密后的标准数据实体进行关联存储,这样将具有关联关系的数据资产目录和加密后的标准数据实体发送给工作人员之后,工作人员可以基于数据资产目录中的标签找到对应元数据所在的加密后的标准数据实体,然后再从加密后的标准数据实体中筛选出携带有该标签的元数据。
在进行数据分析的过程中,可以通过统一的数据视图可以让工作人员更直观的了解到数据资产的价值,也就是,本申请的方法还包括:
步骤106,根据所述目标企业的业务需求,确定数据模型;
步骤107,利用所述数据模型和所述数据资产目录,在加密后的所述标准数据实体中筛选出满足所述业务需求的目标数据,并基于所述目标数据生成实体联系图。
在上述步骤106中,数据模型可以是利用DDM建模工具根据业务架构、数据需求构建的,数据模型可以包括企业级数据模型和系统级数据模型,具体的企业级数据模型可以包括盖面模型和逻辑模型,系统级数据模型可以包括物理模型。具体是构建何种模型可以是基于目标企业的业务需求对应的业务架构和数据需求构建得到的。
在上述步骤107中,在确定出数据模型后,会利用数据资产目录可以快速的在加密后的所述标准数据实体中筛选出符合数据模型需求的目标数据,然后在利用数据模型将获取的目标数据整理为符合业务需求的实体联系图。
比如,在加密后的标准数据实体e中记录有学生的学生信息,学生信息包括学生编号、姓名、班级、手机号、院系。在加密后的标准数据实体f中记录有饭卡的管理信息,管理信息包括饭卡、管理办公室、管理时间。在加密后的标准数据实体g中记录有饭卡的消费信息,消费信息包括消费位置(如,食堂、超市)、在消费位置对应的编号。如图2所示,根据概念模型,确定每个加密后的标准数据实体之间的联系,也就是,学生对饭卡的使用关系,以及办公室对饭卡的管理关系,饭卡对消费位置之间的消费关系。
在生成数据资产目录时,在数据资产目录中不同的标签之间可能会存在不同的等级关系,也就是,步骤S104包括:
步骤1041,根据每个标准数据实体中元数据的数据信息中的业务标签和所述目标企业的业务等级,生成所述目标企业的数据资产目录,并将所述数据资产目录中的各级目录与对应的所述标准数据实体中的元数据进行资产挂接。
在上述步骤1041中,业务等级可以是目标企业根据预设业务场景的等级确定的。而业务标签是基于预设业务场景确定的,所以每个业务标签也会有对应的业务等级。
具体实施中,在生成数据资产目录的过程中,会先确定每个业务标签的业务等级,然后在基于业务等级,确定各个业务标签在数据资产目录中的位置。
比如,业务标签h、业务标签i、业务标签j、业务标签k均属于顶级业务场景下,不过业务标签i对应的第一业务场景是顶级业务场景下的子业务系统,业务标签j、业务标签k分别对应的第二业务场景和第三业务场景是第一业务场景下的子业务系统,因此,业务标签h的业务等级为3,业务标签i的业务等级为2,业务标签j、业务标签k的业务等级为1,所以在数据资产目录中,通过业务标签h可以查询到业务标签i,通过业务标签i可以查询到业务标签j、业务标签k。
在通过上述步骤S105将目标企业的数据资产目录和加密后的标准数据实体进行整合,得到提供给用户的数据资产后,为了验证得到的数据资产是否得到了对应的收益,本申请的方法包括以下步骤:
步骤108,根据加密后的所述标准数据实体中每个元数据的成本参数和价值参数,计算加密后的标准数据实体中每个元数据的数据收益;
步骤109,基于每个元数据的数据收益生成数据分析结果。
在上述步骤108中,数据收益为被调用的元数据的价值参数与成本参数之间的比值。
在上述步骤108中,可以使用如下公式计算计算元数据的成本参数:
f(成本)=f(计算成本)+f(存储成本)+f(运行时长);
可以使用如下公式计算计算元数据的价值参数:
f(价值)=f(活跃度)+f(影响力)+f(贡献度);
其中,f(成本)为元数据的成本参数,f(计算成本)指的是工作人员计算数据资产的成本,f(存储成本)指的是存储元数据的存储成本,f(运行时长)指的是元数据的在系统中的运行时长。f(价值)为元数据的价值参数,f(活跃度)指的是工作人员在计算数据资产时元数据被调用的次数,f(影响力)指的是通过元数据所在的标准数据实体与其他标准数据实体之间的关联关系确定出来的元数据与其他元数据之间的依赖数量,f(贡献度)指的是元数据的重要等级。
基于上述两个公式,可以计算元数据的数据收益:
其中,ROI元数据的数据收益,f(成本)为元数据的成本参数,f(价值)为元数据的价值参数。
本申请所提供的实施例中,通过对不同子系统中获取到的初始数据实体进行标准化处理,提升了数据质量和数据使用效率,然后对标准化后的标准数据实体进行加密处理,可以提升数据安全,然后在利用加密后的标准数据实体生成数据资产目录,将数据资产目录和加密后的标准数据实体整合后提供给目标用户,这样目标用户可以基于数据资产目录可以更容易的聚焦自己所需要的数据,并且不需要将自己所需要的数据进行单独存储,降低了数据的存储成本。
基于上述数据处理的方法,本申请实施例提供了一种数据处理的装置,如图3所示,包括:
获取模块301,用于从目标企业的多个子系统分别获取初始数据实体,所述初始数据实体中包括至少一个元数据;
标准化模块302,用于利用所述目标企业的预设数据标准,对所述初始数据实体中的元数据进行标准化处理,得到标准数据实体;
加密模块303,用于基于预设加密标准,对所述标准数据实体中的目标数据进行加密,得到加密后的标准数据实体;
第一生成模块304,用于根据每个加密后的标准数据实体中元数据的数据信息,生成所述目标企业的数据资产目录;
整合模块305,用于将所述目标企业的数据资产目录和所述加密后的标准数据实体进行整合,得到提供给目标用户的数据资产。
可选的,所述装置还包括:
确定模块,用于根据所述目标企业的业务需求,确定数据模型;
第二生成模块,用于利用所述数据模型和所述数据资产目录,在加密后的所述标准数据实体中筛选出满足所述业务需求的目标数据,并基于所述目标数据生成实体联系图。
可选的,所述数据信息包括以下信息中的任意一种或多种:所述元数据的业务描述信息、所述元数据的业务示例信息、所述元数据的业务标签、所述元数据的加密等级标签、所述元数据的数据来源。
可选的,标准化模块,包括:
标准化单元,用于在所述初始数据实体中为符合预设业务标准的元数据设置业务标签,得到标准数据实体。
可选的,所示第一生成模块,包括:
生活单元,用于根据每个标准数据实体中元数据的数据信息中的业务标签和所述业务标签的业务等级,生成所述目标企业的数据资产目录。
可选的,所述装置还包括:
计算模块,用于根据加密后的所述标准数据实体中每个元数据的成本参数和价值参数,计算加密后的标准数据实体中每个元数据的数据收益;
分析模块,用于基于每个元数据的数据收益生成数据分析结果。
对应于图1中的数据处理的方法,本申请实施例还提供了一种计算机设备400,如图4所示,该设备包括存储器401、处理器402及存储在该存储器401上并可在该处理器402上运行的计算机程序,其中,上述处理器402执行上述计算机程序时实现上述数据处理的方法。
具体地,上述存储器401和处理器402能够为通用的存储器和处理器,这里不做具体限定,当处理器402运行存储器401存储的计算机程序时,能够执行上述数据处理的方法,解决了现有技术中存在低质量数据和数据竖井问题的问题。
对应于图1中的数据处理的方法,本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述数据处理的方法的步骤。
具体地,该存储介质能够为通用的存储介质,如移动磁盘、硬盘等,该存储介质上的计算机程序被运行时,能够执行上述数据处理的方法,解决了现有技术中存在低质量数据和数据竖井问题的问题,本申请通过对不同子系统中获取到的初始数据实体进行标准化处理,提升了数据质量和数据使用效率,然后对标准化后的标准数据实体进行加密处理,可以提升数据安全,然后在利用加密后的标准数据实体生成数据资产目录,将数据资产目录和加密后的标准数据实体整合后提供给目标用户,这样目标用户可以基于数据资产目录可以更容易的聚焦自己所需要的数据,并且不需要将自己所需要的数据进行单独存储,降低了数据的存储成本。
在本申请所提供的实施例中,应该理解到,所揭露方法和装置,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请提供的实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释,此外,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
最后应说明的是:以上所述实施例,仅为本申请的具体实施方式,用以说明本申请的技术方案,而非对其限制,本申请的保护范围并不局限于此,尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种数据处理的方法,其特征在于,包括:
从目标企业的多个子系统分别获取初始数据实体,所述初始数据实体中包括至少一个元数据;
利用所述目标企业的预设数据标准,对所述初始数据实体中的元数据进行标准化处理,得到标准数据实体;
基于预设加密标准,对所述标准数据实体中的目标数据进行加密,得到加密后的标准数据实体;
根据每个加密后的标准数据实体中元数据的数据信息,生成所述目标企业的数据资产目录;
将所述目标企业的数据资产目录和所述加密后的标准数据实体进行整合,得到提供给目标用户的数据资产。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
根据所述目标企业的业务需求,确定数据模型;
利用所述数据模型和所述数据资产目录,在加密后的所述标准数据实体中筛选出满足所述业务需求的目标数据,并基于所述目标数据生成实体联系图。
3.根据权利要求1所述的方法,其特征在于,所述数据信息包括以下信息中的任意一种或多种:所述元数据的业务描述信息、所述元数据的业务示例信息、所述元数据的业务标签、所述元数据的加密等级标签、所述元数据的数据来源。
4.根据权利要求3所述的方法,其特征在于,利用所述目标企业的预设数据标准,对所述初始数据实体中的元数据进行标准化处理,得到标准数据实体,包括:
在所述初始数据实体中为符合预设业务标准的元数据设置业务标签,得到标准数据实体。
5.根据权利要求3所述的方法,其特征在于,所述根据每个标准数据实体中元数据的数据信息,生成所述目标企业的数据资产目录,包括:
根据每个标准数据实体中元数据的数据信息中的业务标签和所述业务标签的业务等级,生成所述目标企业的数据资产目录。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
根据加密后的所述标准数据实体中每个元数据的成本参数和价值参数,计算加密后的标准数据实体中每个元数据的数据收益;
基于每个元数据的数据收益生成数据分析结果。
7.一种数据处理的装置,其特征在于,包括:
获取模块,用于从目标企业的多个子系统分别获取初始数据实体,所述初始数据实体中包括至少一个元数据;
标准化模块,用于利用所述目标企业的预设数据标准,对所述初始数据实体中的元数据进行标准化处理,得到标准数据实体;
加密模块,用于基于预设加密标准,对所述标准数据实体中的目标数据进行加密,得到加密后的标准数据实体;
第一生成模块,用于根据每个加密后的标准数据实体中元数据的数据信息,生成所述目标企业的数据资产目录;
整合模块,用于将所述目标企业的数据资产目录和所述加密后的标准数据实体进行整合,得到提供给目标用户的数据资产。
8.根据权利要求7所述的装置,其特征在于,所述装置还包括:
确定模块,用于根据所述目标企业的业务需求,确定数据模型;
第二生成模块,用于利用所述数据模型和所述数据资产目录,在加密后的所述标准数据实体中筛选出满足所述业务需求的目标数据,并基于所述目标数据生成实体联系图。
9.一种计算机设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现上述权利要求1-6中任一项所述的方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,其特征在于,所述计算机程序被处理器运行时执行上述权利要求1-6中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211549492.0A CN115859323A (zh) | 2022-12-05 | 2022-12-05 | 一种数据处理的方法、装置、计算机设备和介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211549492.0A CN115859323A (zh) | 2022-12-05 | 2022-12-05 | 一种数据处理的方法、装置、计算机设备和介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115859323A true CN115859323A (zh) | 2023-03-28 |
Family
ID=85669914
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211549492.0A Pending CN115859323A (zh) | 2022-12-05 | 2022-12-05 | 一种数据处理的方法、装置、计算机设备和介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115859323A (zh) |
-
2022
- 2022-12-05 CN CN202211549492.0A patent/CN115859323A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112699175B (zh) | 一种数据治理系统及其方法 | |
US10546351B2 (en) | System and method for automatic generation of reports based on electronic documents | |
Laranjeiro et al. | A survey on data quality: classifying poor data | |
CN105868373B (zh) | 电力业务信息系统关键数据处理方法及装置 | |
CN112182246B (zh) | 通过大数据分析建立企业画像的方法、系统、介质及应用 | |
CN107729519B (zh) | 基于多源多维数据的评估方法及装置、终端 | |
CN110929969A (zh) | 一种供应商的评价方法及装置 | |
CN110109908B (zh) | 基于社会基础信息挖掘人物潜在关系的分析系统及方法 | |
CN111966866A (zh) | 一种数据资产管理的方法和装置 | |
CN113722301A (zh) | 基于教育信息的大数据处理方法、装置及系统、存储介质 | |
CN111078980A (zh) | 基于征信大数据的管理方法、装置、设备及存储介质 | |
US11308102B2 (en) | Data catalog automatic generation system and data catalog automatic generation method | |
CN111125357A (zh) | 一种工程造价管理用信息分类系统 | |
CN114840519A (zh) | 一种数据打标签的方法、设备及存储介质 | |
Fraihat et al. | Business Intelligence Framework Design and Implementation: A Real-estate Market Case Study | |
CN112631889B (zh) | 针对应用系统的画像方法、装置、设备及可读存储介质 | |
CN110222180A (zh) | 一种文本数据分类与信息挖掘方法 | |
CN116483822B (zh) | 业务数据预警方法、装置、计算机设备、存储介质 | |
CN109947797B (zh) | 一种数据检查装置及方法 | |
CN112363996A (zh) | 用于建立电网知识图谱的物理模型的方法及系统和介质 | |
CN113535966A (zh) | 知识图谱的创建方法、信息获取的方法、装置和设备 | |
CN116932632A (zh) | 一种数据资产管理和可视化的方法和系统 | |
CN116228402A (zh) | 一种金融征信特征仓库技术支持系统 | |
CN116414854A (zh) | 数据资产查询方法、装置、计算机设备和存储介质 | |
CN115859323A (zh) | 一种数据处理的方法、装置、计算机设备和介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |