CN113342921B - 资源编目方法及装置 - Google Patents
资源编目方法及装置 Download PDFInfo
- Publication number
- CN113342921B CN113342921B CN202110667769.9A CN202110667769A CN113342921B CN 113342921 B CN113342921 B CN 113342921B CN 202110667769 A CN202110667769 A CN 202110667769A CN 113342921 B CN113342921 B CN 113342921B
- Authority
- CN
- China
- Prior art keywords
- resource
- metadata
- catalog
- data
- directory
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000013523 data management Methods 0.000 claims abstract description 47
- 238000006243 chemical reaction Methods 0.000 claims description 14
- 230000003068 static effect Effects 0.000 claims description 14
- 238000007726 management method Methods 0.000 claims description 12
- 238000010801 machine learning Methods 0.000 claims description 6
- 230000008676 import Effects 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims 2
- 230000008569 process Effects 0.000 abstract description 15
- 238000010586 diagram Methods 0.000 description 8
- 238000013500 data storage Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000004140 cleaning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000005067 remediation Methods 0.000 description 2
- 238000012550 audit Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/31—Indexing; Data structures therefor; Storage structures
- G06F16/316—Indexing structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/12—Use of codes for handling textual entities
- G06F40/151—Transformation
- G06F40/16—Automatic learning of transformation rules, e.g. from examples
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
- G06F40/186—Templates
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供一种资源编目方法及装置,该方法可以包括:获取数据治理系统针对数据资源发送的元数据信息,所述元数据信息包括所述数据资源对应的资源元数据;确定所述资源元数据与所述资源目录系统定义的目录模板中的目录元数据之间的第一对应关系;根据确定出的第一对应关系将所述资源元数据导入所述目录模板,以得到对应于所述数据资源的资源目录。通过本申请的技术方案,可以在不需要手动输入目录内容的情况下,实现数据资源的自动编目,有效简化资源编目的操作过程,提高编目效率和准确率。
Description
技术领域
本申请涉及大数据技术领域,特别是资源编目方法及装置。
背景技术
随着大数据、云计算等技术的发展,大量数据,企业、政府等部门的数据资源通常数量多且分布分散,为了充分发挥数据价值方便用户发现和定位所需的数据资源,资源目录系统通过对数据资源的特征进行描述,形成统一规范的目录内容,通过对目录内容的有效组织和管理,方便用户根据资源目录查询所需的数据资源。
相关技术中,资源目录编写通常由人工完成,采用人工梳理的方式对数据资源进行统计,并将梳理得到的数据信息手动录入资源目录系统中实现资源目录的编写,工作效率较低且容易出错。
发明内容
有鉴于此,本申请提供资源编目方法及装置,用以在不需要手动输入目录内容的情况下实现数据资源的自动编目,有效简化资源编目的操作过程,提高编目效率和准确率。
具体的,本申请通过如下技术方案实现:
根据本申请的第一方面,提出了一种资源编目方法,应用于资源目录系统,包括:
获取数据治理系统针对数据资源发送的元数据信息,所述元数据信息包括所述数据资源对应的资源元数据;
确定所述资源元数据与所述资源目录系统定义的目录模板中的目录元数据之间的第一对应关系;
根据确定出的第一对应关系将所述资源元数据导入所述目录模板,以得到对应于所述数据资源的资源目录。
根据本申请的第二方面,提出了一种资源编目装置,应用于资源目录系统,包括:
获取单元,用于获取数据治理系统针对数据资源发送的元数据信息,所述元数据信息包括所述数据资源对应的资源元数据;
确定单元,用于确定所述资源元数据与所述资源目录系统定义的目录模板中的目录元数据之间的第一对应关系;
导入单元,用于根据确定出的第一对应关系将所述资源元数据导入所述目录模板,以得到对应于所述数据资源的资源目录。
根据本申请的第三方面,提供一种电子设备,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器通过运行所述可执行指令以实现如上述第一方面的实施例中所述的方法。
根据本申请实施例的第四方面,提供一种计算机可读存储介质,其上存储有计算机指令,该指令被处理器执行时实现如上述第一方面的实施例中所述方法的步骤。
由以上本申请提供的技术方案可见,本申请通过获取数据资源对应的资源元数据,并将资源元数据导入目录模板中使其与目录模板中的目录元数据相对应,可以在不需要手动输入目录内容的情况下实现数据资源的自动编目,有效简化了资源编目的操作过程,提高编目的效率和准确率。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
图1是根据本申请一示例性实施例示出的一种资源编目方法的流程图;
图2是应用本申请实施例的资源编目系统的网络架构示意图;
图3是根据本申请一示例性实施例示出的一种资源编目方法的多方交互流程图;
图4是根据本申请一示例性实施例示出的一种资源编目电子设备示意图;
图5是根据本申请一示例性实施例示出的一种资源编目装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
接下来对本申请实施例进行详细说明。
数据治理与数据资源目录服务都是数据管理的重要组成部分。数据治理系统可以用于对数据的全生命周期进行管理,包括数据采集、清洗、转换等基本功能。通过有效的数据资源控制手段使得数据从零散没有规律变为统一规划的主数据,消除数据的不一致性,建立规范的数据应用标准,保证数据的可用性、完整性、合规性和安全性,确保在整个数据生命周期中都具有较高的数据质量。
而资源目录系统主要包括目录编目、注册、发布、查询和维护等基本功能,按照统一规范对资源数据的特征进行描述,形成统一规范的目录内容,其中所述资源数据可以是数据表资源,也可以是数据API服务资源等,本申请对此不作限制。资源目录系统通过资源目录形式描述资源数据并将资源数据挂载在编制得到的资源目录下,使得资源数据与编制得到的资源目录相关联,通过对目录内容的有效组织和管理,方便用户通过查询资源目录发现、定位和共享资源目录对应的资源数据。
在相关技术中,数据治理系统与资源目录系统之间数据隔离,资源目录系统无法有效应用数据治理系统中所得到的治理结果,若想要对数据治理过程中产生的数据资源进行编目,则需要人工将数据治理系统所得到的数据资源手动录入资源目录系统。
为了解决从数据治理到目录发布过程中数据的重复输入问题,本申请提出了一种资源编目方法。图1为根据本申请一示例性实施例示出的一种资源编目方法的流程图。如图1所示,该方法应用于资源目录系统,可以包括如下步骤:
步骤102:获取数据治理系统针对数据资源发送的元数据信息,所述元数据信息包括所述数据资源对应的资源元数据。
其中,资源元数据用于描述数据资源的特征信息,在实际应用场景中可以根据具体需要灵活设置所要描述的具体特征,本申请对此不作限制。举例而言,资源元数据可以包括:资源分类、资源名称、资源代码、资源提供方、资源提供方代码、资源摘要、资源格式、信息项信息、共享属性、开放属性、更新周期、发布日期和关联资源代码中的一项或多项,本申请对此不作限制。数据资源中的资源元数据可以是该数据资源中部分字符的含义,也可以是特定的字段信息,本申请对此不作限制。举例而言,若数据治理系统中的数据资源以数据表形式进行展示,则可以将数据表的名称作为资源元数据中的信息资源名称。
在一实施例中,所述数据治理系统对接多个数据治理工具,各个数据治理工具注册有互不相同的源信息,所述元数据信息还包括:提供所述数据资源的数据治理工具对应的源信息。资源目录系统可以同时获取多个数据治理工具所发送的元数据信息,为了区分各个元数据信息的数据来源,可以在将数据治理工具接入资源目录系统的同时为其注册源信息。数据治理工具在发送的元数据信息时可以将其注册的源信息中包含在内,方便用户根据数据治理工具源信息选取想要进行编目的元数据信息进行处理。
在一实施例中,元数据信息可以由数据治理系统直接向资源目录系统推送,也可以由第三方服务从数据治理工具系统拉取元数据,转发至数据目录系统,本申请对此不作限制。另外,数据治理系统发送元数据信息可以是按照固定时间周期,可以根据预设指令,也可以根据数据资源的变化等,本申请对此不作限制。
步骤104:确定所述资源元数据与所述资源目录系统定义的目录模板中的目录元数据之间的第一对应关系。
其中,目录模板可以由资源目录系统根据数据治理系统中待编目的数据资源的类型在预保存的多个目录模板中进行选取,也可以是由预设管理对象自行设置,且所述目录模板中的目录元数据可以根据国家相关标准规范进行设置,也可以根据用户需求自行定义,本申请对此均不作限制。根据预定义目录模板以及对应的目录元数据,即可确定资源目录系统需要针对数据资源的哪些特征进行编目。举例而言,针对一个需要进行编目的政务数据表A,可以选取对应的政务目录模板,该目录模板中的目录元数据可以包括:资源的分类、资源的标识、资源的代码、资源的提供方、资源的提供方代码、资源的摘要、资源的格式、信息项信息、共享属性、开放属性、更新周期、发布日期和关联资源代码中的一项或多项。其中,信息项信息包括信息项名称(用于保存数据表中字段的标识)和数据类型(用于保存数据表中字段的值的数据类型,例如整型、字符串等),共享属性包括共享类型、共享条件和共享方式,开放属性包括是否向社会开放和开放条件等。应当理解的是,目录模板的表现形式可以是数据表形式,也可以是树形图等其他形式,本申请对此不作限制。
在一实施例中,所述元数据信息符合预定义的消息规范,所述消息规范定义了消息字段与目录元数据的第二对应关系,所述确定所述资源元数据与所述资源目录系统定义的目录模板中的目录元数据之间的第一对应关系包括:根据所述元数据信息所含的资源元数据分别所处的消息字段和所述第二对应关系,生成所述资源元数据与所述资源目录系统定义的目录模板中的目录元数据之间的第一对应关系。资源目录系统基于目录模板定义的了目录元数据与消息资源的对应关系,并基于该对应关系确定消息规范,使得数据治理系统可以根据与该消息规范中的消息字段相匹配的资源元数据生成元数据信息。资源目录系统在接收到元数据信息后,可以确定与元数据信息中资源元数据所处的消息字段相对应的目录元数据,该目录元数据即为与资源元数据对应的目录元数据。
步骤106:根据确定出的第一对应关系将所述资源元数据导入所述目录模板,以得到对应于所述数据资源的资源目录。
在一实施例中,所述根据确定出的第一对应关系将所述资源元数据导入所述目录模板包括:根据预定义的转换规则修改所述资源元数据;根据确定出的第一对应关系将修改后的资源元数据导入所述目录模板。在数据导入过程中,并非必须将元数据信息中的资源元数据原封不动的填充进目录模板内,而是可以按照特定转换规则修改资源元数据的具体内容,使其更加符合目录需求。
在实际应用过程中,转换规则可以根据具体需要进行具体设置,可以是为资源元数据添加前缀后缀,也可以是换算资源元数据的计量单位等,本申请对此不作限制。举例而言,在全国人口调查统计中,针对资源名称这一目录元数据,不同省市在各自生成资源目录时所统计的人口调查数据的资源名称可能会存在些许差异,例如A市数据治理工具所发送的元数据信息中的资源元数据为“人口调查”,而B市数据治理工具所发送的元数据信息中的资源元数据为“人口调查表”,为了统一资源名称的格式规范,在将资源元数据导入目录模板以生成资源目录过程中可以为A市的“人口调查”这一资源元数据添加后缀“表”,将其修改为“人口调查表”;又或者,针对数据存储量这一目录元数据,A市数据治理工具所发送的元数据信息中的资源元数据为“256G”,而B市数据治理工具所发送的元数据信息中的资源元数据为“0.4T”,在生成资源目录过程中可以先将A市的“256G”换算为“0.25T”后再将其导入目录模板。通过转换规则修改资源元数据,可以将资源目录中的具体数据内容按照用户需求以特定形式进行编制,从而能够增加资源目录的可读性,方便用户检索资源目录以获取对应数据资源。
在一实施例中,所述转换规则包括:对历史资源目录和生成所述历史资源目录的历史元数据信息进行训练得到的机器学习模型。在资源编目过程中,资源目录系统可以根据机器学习模型对接收到的资源元数据信息进行分析,向用户提供转换规则建议。其中通过对历史资源目录进行训练得到机器学习的过程可以参考现有技术中机器学习算法的相关内容,本申请对此不作限制。
在一实施例中,所述根据确定出的第一对应关系将所述资源元数据导入所述目录模板,以得到对应于所述数据资源的资源目录,包括:判断所述资源目录系统中是否已存在对应于所述数据资源的历史资源目录;当不存在时,根据确定出的第一对应关系将所述资源元数据导入所述目录模板,以生成对应于所述数据资源的资源目录;当存在时,根据当前获取的资源元数据对所述历史资源目录进行更新。在接收到的元数据信息中可以包含资源唯一标识,该标识与带编目的数据资源唯一对应。若资源目录系统中不存在包含该标识的资源目录,则确定该元数据信息所对应的数据资源还未生成资源目录,则将该元数据信息导入目录模板生成资源目录。若资源目录系统中存在包含该标识的资源目录,则确定该元数据信息所对应的数据资源已存在对应的资源目录,可以根据当前接收到的元数据信息对该资源目录进行更新,避免重复生成资源目录。
在一实施例中,所述目录元数据的数据类型包括静态元数据和动态元数据,所述根据当前获取的资源元数据对所述历史资源目录进行更新,包括:将所述历史资源目录中的历史资源元数据与当前获取的资源元数据进行比较,确定发生变化的资源元数据;若所述发生变化的资源元数据对应的目录元数据为动态元数据,则直接对所述历史资源目录进行更新,并发布更新后的资源目录。可以预先根据用户需要定义不同的目录元数据的数据类型,针对不同的数据类型可以设置不同的更新方式。例如,针对数据存储量这类变化较为频繁目录元数据,可以将其设置为动态元数据,使得数据治理工具中的数据资源发生变化时对应资源目录中对应的资源元数据能够自动实时更新。
若发生变化的资源元数据对应的目录元数据为静态元数据,则基于预设管理对象发送的更新指令对所述历史资源目录进行更新,并在所述预设管理对象审批通过后发布更新后的资源目录。通常情况下,可以将资源信息项、资源共享方式这类变化不是特别频繁且较为重要的目录元数据设置为静态元数据,当这类目录元数据所对应的资源元数据发生变化时可以先向用户发送变化提醒,并将变化的资源元数据内容向用户进行展示,在接收到用户发送的更新指令后再执行目录更新。进一步的,还可以在目录更新后增加审核操作,由目录管理员对更新后的资源目录是否符合编制规范要求进行审核,只有审核通过才能发布更新后的资源目录,若审核不通过还可以标识审核未通过的资源元数据以方便用户进行修改。通过设置数据类型对目录元数据进行划分,从而针对不同的目录元数据执行不同的更新操作,以更为灵活的方式针对性的对资源目录进行更新,从而平衡资源目录的稳定性与时效性。
另外应当理解的是,若根据数据治理工具发送的元数据信息无法将目录模板中的目录元数据全都填充上对应的资源元数据,本申请所公开的资源目录系统还可以在自动编目结束向用户提供手动补全功能,方便用户以手工录入的方式填写目录模板中空余目录元数据所对应的资源元数据。
由以上本申请提供的技术方案可见,通过获取数据资源对应的资源元数据,并将资源元数据导入目录模板使其与目录模板中的目录元数据相对应,使得资源目录系统能够自动对数据治理系统中的数据资源进行编目,由此能够简化操作流程,不需要手动输入目录内容,从而有效提高资源编目的效率和准确率。
图2为应用本申请实施例的资源编目系统的网络架构示意图。如图2所示,该资源编目系统可以包括资源目录系统21和数据治理系统22,其中数据治理系统22可以包括多个数据治理工具,如数据治理工具22a、数据治理工具22b和数据治理工具22c等,当然本申请并不限数据治理系统22所含数据治理工具的数量。上述数据治理系统22中的各个数据治理工具均可以用于对数据的全生命周期进行管理,包括数据采集、清洗、转换等功能,资源目录系统21可以获取数据治理系统22中数据资源的对应资源元数据,并将资源元数据导入资源目录系统21预定义的目录模板使其与目录模板中的目录元数据相对应,以实现对数据治理系统22中的数据资源的编目。
而在本申请的技术方案中,通过可以基于数据资源的元数据自动对该数据资源进行编目。下面结合图3进行详细说明。其中,图3根据本申请一示例性实施例示出的一种资源编目方法的多方交互的流程图。如图3所示,资源目录系统21和数据治理系统22的交互过程可以包括以下步骤:
步骤301,资源目录系统201确定目录模板。
资源目录系统201可以根据数据治理系统22中待编目的数据资源选择预先设置的目录模板,也可以根据用户需求自定义目录模板,本申请对此不做限制。如表1所示,为资源目录系统201确定的目录模板。
资源唯一标记 | 来源 | 信息资源名称 | 数据存储总量 | 信息项名称 |
表1
步骤302,资源目录系统21根据目录模板向数据治理系统22发送消息规范。
根据所选取目录模板中包含的目录元数据确定消息规范,定义消息字段与目录元数据的对应关系。
在本实施例中,基于表1所示的目录模板,生成包含资源唯一标记、来源、信息资源名称、数据存储总量、信息项名称的消息规范:
[{"guid":"资源唯一标记","source":"来源","catalogTitle":"信息资源名称","storageTotal":"数据存储总量","CatalogItems":["信息项名称"]}]
步骤303,数据治理系统22生成元数据信息。
举例而言,数据治理系统22在治理过程中形成如表2所示的数据资源。
表2
数据治理系统22根据上述消息规范提取表2所示数据资源中对应的资源元数据,生成元数据信息,在本实施例中,该元数据信息可以表示为:
[{"guid":"01","source":"source1","catalogTitle":"人口调查","storageTotal":"128G","CatalogItems":["姓名","身份证号"]}]
步骤304,数据治理系统22向资源目录系统21发送元数据信息。
步骤305,资源目录系统21根据接收到的元数据信息生成资源目录。
资源目录系统21可以根据预定义的转换规则修改所述资源元数据。在本实施例中,基于在资源名称所对应的资源元数据后增加后缀的预定义转换规则,将“人口调查”修改为“人口调查表”。
根据预定义消息规范和接收到的元数据信息,资源目录系统21确定资源元数据与目录元数据的对应关系,并根据该对应关系将资源元数据信息导入目录模板,得到对应于表2所示数据资源的如表3所示的资源目录。
表3
步骤306,数据治理系统22生成更新后的元数据信息。
表4为数据治理系统22在治理过程中更新后的数据资源。
表4
数据治理系统22根据更新后的数据资源按照预定义消息规范向资源目录系统21发送对应于更新后数据资源的元数据信息:
[{"guid":"01","source":"source1","catalogTitle":"人口调查","storageTotal":"256G","CatalogItems":["姓名","身份证号","年龄","性别"]}]
步骤307,数据治理系统22将更新后的元数据信息发送给资源目录系统21。
步骤308,资源目录系统21根据接收到的更新后的元数据信息更新资源目录。
举例而言,资源目录系统将该目录模板中的数据存储总量设置为动态元数据,将资源唯一标识、来源、信息资源名称和信息项名称设置为静态元数据。在本实施例中,将所述历史资源目录表3中的历史资源元数据与当前获取的资源元数据进行比较,确定发生变化的资源元数据为“256G”、“年龄”和“性别”。其中“256G”这一资源元数据所对应的目录元数据为动态元数据,如表5所示,可以直接将表3这一资源目录中数据存储总量所对应的“128G”替换为“256G”,生成更新后的资源目录。
表5
基于上述举例,发生变化的“性别”“年龄”这两个资源元数据所对应的目录元首为静态元数据,资源目录系统21在接收预设管理对象发送的更新指令后更新表3的历史资源目录,如表6所示,在信息项下增加性别”、“年龄”这两资源元数据,得到更新后的资源目录。
表6
由此,通过提取数据治理系统22中的资源数据的资源元数据并将资源元数据与目录元数据相关联,使得在不需要手动输入数据内容的情况下,资源目录系统21可以直接生成与数据治理系统22中的资源数据所对应的资源目录,并根据数据治理系统22中的资源数据的数据变化及时对资源目录进行更新。
与上述方法实施例相对应,本说明书还提供了一种装置的实施例。
图4是根据本申请一示例性实施例示出的一种资源编目电子设备的结构示意图。参考图4,在硬件层面,该电子设备包括处理器402、内部总线404、网络接口406、内存408以及非易失性存储器410,当然还可能包括其他业务所需要的硬件。处理器402从非易失性存储器410中读取对应的计算机程序到内存408中然后运行,在逻辑层面上形成解决资源编目手动输入时数据无法复用问题的装置。当然,除了软件实现方式之外,本申请并不排除其他实现方式,比如逻辑器件抑或软硬件结合的方式等等,也就是说以下处理流程的执行主体并不限定于各个逻辑单元,也可以是硬件或逻辑器件。
图5是根据本申请一示例性实施例示出的一种资源编目装置的框图。参照图5,该装置包括获取单元502、确定单元504和导入单元506,其中:
获取单元502被配置为获取数据治理系统针对数据资源发送的元数据信息,所述元数据信息包括所述数据资源对应的资源元数据;
确定单元504被配置为确定所述资源元数据与所述资源目录系统定义的目录模板中的目录元数据之间的第一对应关系;
导入单元506被配置为根据确定出的第一对应关系将所述资源元数据导入所述目录模板,以得到对应于所述数据资源的资源目录。
可选的,所述元数据信息符合预定义的消息规范,所述消息规范定义了消息字段与目录元数据的第二对应关系,所述确定所述资源元数据与所述资源目录系统定义的目录模板中的目录元数据之间的第一对应关系包括:根据所述元数据信息所含的资源元数据分别所处的消息字段和所述第二对应关系,生成所述资源元数据与所述资源目录系统定义的目录模板中的目录元数据之间的第一对应关系。
可选的,所述数据治理系统对接多个数据治理工具,各个数据治理工具注册有互不相同的源信息,所述元数据信息还包括:提供所述数据资源的数据治理工具对应的源信息。
可选的,所述根据确定出的第一对应关系将所述资源元数据导入所述目录模板包括:根据预定义的转换规则修改所述资源元数据;根据确定出的第一对应关系将修改后的资源元数据导入所述目录模板。
可选的,所述根据预定义的转换规则修改所述资源元数据包括:在所述资源元数据的内容前增加前缀;或者,换算所述资源元数据的计量单位。
可选的,所述转换规则包括:对历史资源目录和生成所述历史资源目录的历史元数据信息进行训练得到的机器学习模型。
可选的,所述根据确定出的第一对应关系将所述资源元数据导入所述目录模板,以得到对应于所述数据资源的资源目录,包括:判断所述资源目录系统中是否已存在对应于所述数据资源的历史资源目录;当不存在时,根据确定出的第一对应关系将所述资源元数据导入所述目录模板,以生成对应于所述数据资源的资源目录;当存在时,根据当前获取的资源元数据对所述历史资源目录进行更新。
可选的,所述目录元数据的数据类型包括静态元数据和动态元数据,所述根据当前获取的资源元数据对所述历史资源目录进行更新,包括:将所述历史资源目录中的历史资源元数据与当前获取的资源元数据进行比较,确定发生变化的资源元数据;若所述发生变化的资源元数据对应的目录元数据为动态元数据,则直接对所述历史资源目录进行更新,并发布更新后的资源目录;若所对应的为静态元数据,则基于预设管理对象发送的更新指令对所述历史资源目录进行更新,并在所述预设管理对象审批通过后发布更新后的资源目录。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器,上述指令可由资源编目装置的处理器执行以实现如上述实施例中任一所述的方法,比如该方法可以包括:
获取数据治理系统针对数据资源发送的元数据信息,所述元数据信息包括所述数据资源对应的资源元数据;确定所述资源元数据与所述资源目录系统定义的目录模板中的目录元数据之间的第一对应关系;根据确定出的第一对应关系将所述资源元数据导入所述目录模板,以得到对应于所述数据资源的资源目录。
其中,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等,本申请并不对此进行限制。
以上所述仅为本申请的较佳实施例而已,并不用以限制本申请,凡在本申请的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本申请保护的范围之内。
Claims (10)
1.一种资源编目方法,其特征在于,应用于资源目录系统,所述方法包括:
获取数据治理系统针对数据资源发送的元数据信息,所述元数据信息包括所述数据资源对应的资源元数据;
确定所述资源元数据与所述资源目录系统定义的目录模板中的目录元数据之间的第一对应关系,所述目录元数据的数据类型包括静态元数据和动态元数据;
根据确定出的第一对应关系将所述资源元数据导入所述目录模板,以得到对应于所述数据资源的资源目录,包括:当判断出所述资源目录系统中已存在对应于所述数据资源的历史资源目录时,将所述历史资源目录中的历史资源元数据与当前获取的资源元数据进行比较,确定发生变化的资源元数据;若所述发生变化的资源元数据对应的目录元数据为动态元数据,则直接对所述历史资源目录进行更新,并发布更新后的资源目录;若所对应的为静态元数据,则基于预设管理对象发送的更新指令对所述历史资源目录进行更新,并在所述预设管理对象审批通过后发布更新后的资源目录。
2.根据权利要求1所述方法,其特征在于,所述元数据信息符合预定义的消息规范,所述消息规范定义了消息字段与目录元数据的第二对应关系,所述确定所述资源元数据与所述资源目录系统定义的目录模板中的目录元数据之间的第一对应关系包括:
根据所述元数据信息所含的资源元数据分别所处的消息字段和所述第二对应关系,生成所述资源元数据与所述资源目录系统定义的目录模板中的目录元数据之间的第一对应关系。
3.根据权利要求1所述方法,其特征在于,所述数据治理系统对接多个数据治理工具,各个数据治理工具注册有互不相同的源信息,所述元数据信息还包括:提供所述数据资源的数据治理工具对应的源信息。
4.根据权利要求1所述方法,其特征在于,所述根据确定出的第一对应关系将所述资源元数据导入所述目录模板包括:
根据预定义的转换规则修改所述资源元数据;
根据确定出的第一对应关系将修改后的资源元数据导入所述目录模板。
5.根据权利要求4所述方法,其特征在于,所述根据预定义的转换规则修改所述资源元数据包括:
在所述资源元数据的内容前增加前缀;
或者,换算所述资源元数据的计量单位。
6.根据权利要求4所述方法,其特征在于,所述转换规则包括:对历史资源目录和生成所述历史资源目录的历史元数据信息进行训练得到的机器学习模型。
7.根据权利要求1所述方法,其特征在于,还包括:
当判断出所述资源目录系统中不存在对应于所述数据资源的历史资源目录时,根据确定出的第一对应关系将所述资源元数据导入所述目录模板,以生成对应于所述数据资源的资源目录。
8.一种资源编目装置,其特征在于,应用于资源目录系统,所述装置包括:
获取单元,用于获取数据治理系统针对数据资源发送的元数据信息,所述元数据信息包括所述数据资源对应的资源元数据;
确定单元,用于确定所述资源元数据与所述资源目录系统定义的目录模板中的目录元数据之间的第一对应关系,所述目录元数据的数据类型包括静态元数据和动态元数据;
导入单元,用于根据确定出的第一对应关系将所述资源元数据导入所述目录模板,以得到对应于所述数据资源的资源目录,包括:当判断出所述资源目录系统中已存在对应于所述数据资源的历史资源目录时,将所述历史资源目录中的历史资源元数据与当前获取的资源元数据进行比较,确定发生变化的资源元数据;若所述发生变化的资源元数据对应的目录元数据为动态元数据,则直接对所述历史资源目录进行更新,并发布更新后的资源目录;若所对应的为静态元数据,则基于预设管理对象发送的更新指令对所述历史资源目录进行更新,并在所述预设管理对象审批通过后发布更新后的资源目录。
9.一种电子设备,其特征在于,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器通过运行所述可执行指令以实现如权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质,其上存储有计算机指令,其特征在于,该指令被处理器执行时实现如权利要求1-7中任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110667769.9A CN113342921B (zh) | 2021-06-16 | 2021-06-16 | 资源编目方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110667769.9A CN113342921B (zh) | 2021-06-16 | 2021-06-16 | 资源编目方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113342921A CN113342921A (zh) | 2021-09-03 |
CN113342921B true CN113342921B (zh) | 2024-03-22 |
Family
ID=77475746
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110667769.9A Active CN113342921B (zh) | 2021-06-16 | 2021-06-16 | 资源编目方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113342921B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115510204B (zh) * | 2022-09-29 | 2024-01-12 | 河北雄安睿天科技有限公司 | 一种智慧水务数据资源目录管理方法及装置 |
CN116932832B (zh) * | 2023-09-15 | 2024-01-23 | 深圳市智慧城市科技发展集团有限公司 | 数据资产目录生成方法、设备及计算机可读存储介质 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02183364A (ja) * | 1989-01-10 | 1990-07-17 | Nec Corp | 図表目次及び目次自動作成方式 |
CN102254022A (zh) * | 2011-07-27 | 2011-11-23 | 河海大学 | 一种面向多数据类型信息资源元数据的共享方法 |
CN102609420A (zh) * | 2011-01-24 | 2012-07-25 | 邹坚伟 | 一种信息控制系统和方法 |
US9043311B1 (en) * | 2011-10-20 | 2015-05-26 | Amazon Technologies, Inc. | Indexing data updates associated with an electronic catalog system |
CN106649227A (zh) * | 2015-10-30 | 2017-05-10 | 方正国际软件(北京)有限公司 | 一种目录更新方法及装置 |
CN109254971A (zh) * | 2018-08-31 | 2019-01-22 | 新华三大数据技术有限公司 | 资源编目方法及装置 |
CN109766433A (zh) * | 2018-12-06 | 2019-05-17 | 湖南科创信息技术股份有限公司 | 自动编目方法及系统、计算机可读存储介质 |
US10425350B1 (en) * | 2015-04-06 | 2019-09-24 | EMC IP Holding Company LLC | Distributed catalog service for data processing platform |
KR102047012B1 (ko) * | 2019-07-31 | 2019-11-20 | 심경 | 정보 제공 시스템 |
CN111488128A (zh) * | 2019-12-30 | 2020-08-04 | 北京浪潮数据技术有限公司 | 一种元数据的更新方法、装置、设备及介质 |
CN112380416A (zh) * | 2020-11-25 | 2021-02-19 | 北京慕华信息科技有限公司 | 一种更新课程索引的方法、课程搜索方法和装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5016610B2 (ja) * | 2005-12-21 | 2012-09-05 | ディジマーク コーポレイション | ルール駆動パンidメタデータルーティングシステム及びネットワーク |
US20100250591A1 (en) * | 2009-03-30 | 2010-09-30 | Morris Robert P | Methods, Systems, And Computer Program Products For Providing Access To Metadata For An Identified Resource |
US10296650B2 (en) * | 2015-09-03 | 2019-05-21 | Oracle International Corporation | Methods and systems for updating a search index |
-
2021
- 2021-06-16 CN CN202110667769.9A patent/CN113342921B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02183364A (ja) * | 1989-01-10 | 1990-07-17 | Nec Corp | 図表目次及び目次自動作成方式 |
CN102609420A (zh) * | 2011-01-24 | 2012-07-25 | 邹坚伟 | 一种信息控制系统和方法 |
CN102254022A (zh) * | 2011-07-27 | 2011-11-23 | 河海大学 | 一种面向多数据类型信息资源元数据的共享方法 |
US9043311B1 (en) * | 2011-10-20 | 2015-05-26 | Amazon Technologies, Inc. | Indexing data updates associated with an electronic catalog system |
US10425350B1 (en) * | 2015-04-06 | 2019-09-24 | EMC IP Holding Company LLC | Distributed catalog service for data processing platform |
CN106649227A (zh) * | 2015-10-30 | 2017-05-10 | 方正国际软件(北京)有限公司 | 一种目录更新方法及装置 |
CN109254971A (zh) * | 2018-08-31 | 2019-01-22 | 新华三大数据技术有限公司 | 资源编目方法及装置 |
CN109766433A (zh) * | 2018-12-06 | 2019-05-17 | 湖南科创信息技术股份有限公司 | 自动编目方法及系统、计算机可读存储介质 |
KR102047012B1 (ko) * | 2019-07-31 | 2019-11-20 | 심경 | 정보 제공 시스템 |
CN111488128A (zh) * | 2019-12-30 | 2020-08-04 | 北京浪潮数据技术有限公司 | 一种元数据的更新方法、装置、设备及介质 |
CN112380416A (zh) * | 2020-11-25 | 2021-02-19 | 北京慕华信息科技有限公司 | 一种更新课程索引的方法、课程搜索方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN113342921A (zh) | 2021-09-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2924588B1 (en) | Report creation method, device and system | |
CN113342921B (zh) | 资源编目方法及装置 | |
JP5087261B2 (ja) | データ要素命名システムおよび方法 | |
CN108572963A (zh) | 信息获取方法和装置 | |
CN109284323B (zh) | 检测数据的管理方法及装置 | |
AU2016302371A1 (en) | Building and managing data-processing attributes for modeled data sources | |
US20170192755A1 (en) | Method and Apparatus for Enabling Agile Development of Services in Cloud Computing and Traditional Environments | |
CN110795524B (zh) | 主数据映射处理方法、装置、计算机设备及存储介质 | |
CN110019314B (zh) | 基于数据项分析的动态数据封装方法、客户端和服务端 | |
CN115017182A (zh) | 一种可视化的数据分析方法及设备 | |
CN104008087A (zh) | 一种针对具有标准格式的文案的自动排版方法和系统 | |
CN109241075B (zh) | 指标基础数据的处理方法、设备及计算机可读存储介质 | |
CN114090760B (zh) | 表格问答的数据处理方法、电子设备及可读存储介质 | |
CN105302556A (zh) | 实现计算的方法和系统以及服务器装置 | |
CN114253995A (zh) | 数据溯源方法、装置、设备及计算机可读存储介质 | |
CN111401023B (zh) | 一种报表生成方法、装置、服务器及存储介质 | |
CN116303641A (zh) | 一种支持多数据源可视化配置的实验室报告管理方法 | |
CN108205564B (zh) | 知识体系构建方法及系统 | |
CN112948441B (zh) | 一种面向财务数据的多维数据归集方法及设备 | |
US20230195792A1 (en) | Database management methods and associated apparatus | |
CN108132940A (zh) | 一种应用程序数据提取方法及装置 | |
CN111079391B (zh) | 一种报表的生成方法及装置 | |
CN118445293B (zh) | 一种复杂业务场景下多级数据联动方法、装置及存储介质 | |
CN115952174B (zh) | 一种数据表联接方法、系统、终端及存储介质 | |
CN109598659B (zh) | 电力企业网络案例管理系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |