CN108509577B - 一种数据编目方法及装置 - Google Patents

一种数据编目方法及装置 Download PDF

Info

Publication number
CN108509577B
CN108509577B CN201810263597.7A CN201810263597A CN108509577B CN 108509577 B CN108509577 B CN 108509577B CN 201810263597 A CN201810263597 A CN 201810263597A CN 108509577 B CN108509577 B CN 108509577B
Authority
CN
China
Prior art keywords
data
demand
configuration file
cataloging
temporary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810263597.7A
Other languages
English (en)
Other versions
CN108509577A (zh
Inventor
汤奇峰
陈满新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Data Exchange Corp
Original Assignee
Shanghai Data Exchange Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Data Exchange Corp filed Critical Shanghai Data Exchange Corp
Priority to CN201810263597.7A priority Critical patent/CN108509577B/zh
Publication of CN108509577A publication Critical patent/CN108509577A/zh
Application granted granted Critical
Publication of CN108509577B publication Critical patent/CN108509577B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种数据编目方法和装置。所述方法包括:获取数据需求方发布数据需求时形成的临时需求配置文件;根据响应所述数据需求的数据提供方预先设定的更改规则,对所述临时需求配置文件进行更改,生成与所述数据需求对应的最终需求配置文件;根据预设的编目算法计算所述最终需求配置文件,生成与所述数据需求具有唯一对应关系的数据目录项;将所述数据目录项加入所述数据提供方的数据目录。本发明通过数据需求驱动数据编目,尤其是响应数据需求的数据提供方有一个以上时,能够在一个以上的数据提供方侧进行数据编目,有助于提高数据编目的效率。

Description

一种数据编目方法及装置
技术领域
本发明涉及计算机技术领域,特别地涉及一种数据编目方法及装置。
背景技术
随着信息技术的发展,数据成为人们生活工作必不可少的元素,而在人们工作、生活中产生的数据量也是巨大的,并且数据量增长速度也越来越高。
对于企业或团体而言,数据是一种资产或资源,其价值基本上都通过交换和共享来实现。在广告营销、金融征信、智慧城市、政府数据共享等多个领域,存在大量的数据交换和共享需求。无论是企业还是政府各系统或其他团体机构,日常的业务运行会产生大量的数据。随着生产运营等行为与电子信息以及计算机技术结合越来越紧密,数据的需求者和供应者面临的数据量也越来越大,甚至达到海量数据的级别。数据编目为大量或海量数据的使用者提供了极大的便利。因此,现有技术中常常需要对数据进行编目。
目前,对数据进行编目主要采用纯人工或半自动的方式,这样的编目方式工作量大,数据编目的成本高。更重要的是,供需多方对所需和所拥有的数据资源描述存在差异,依照现有方式编目的数据资源,大多数情况下并不能完全满足和贴合数据需求方的真实业务需求,严重阻碍数据的共享和交换,影响了数据需求方对数据的有效利用。
发明内容
有鉴于此,本发明提供一种数据编目方法及装置,有助于比较合理地处理数据资源的编目问题,从而有助更有效地发挥数据的价值。本发明的其他目的和有益效果将结合具体实施方式加以说明或体现。
为实现上述目的,根据本发明的一个方面,提供了一种数据编目方法。
本发明实施例的数据编目方法,包括:获取数据需求方发布数据需求时形成的临时需求配置文件;根据响应所述数据需求的数据提供方预先设定的更改规则,对所述临时需求配置文件进行更改,以生成与所述数据需求对应的最终需求配置文件;根据预设的编目算法计算所述最终需求配置文件,以生成与所述数据需求具有唯一对应关系的数据目录项;将所述数据目录项加入所述数据提供方的数据目录。
可选的,所述获取数据需求方发布数据需求时形成的临时需求配置文件的步骤之前,该方法还包括:接收数据需求方发布的数据需求;按照设定的过滤规则,过滤所述数据需求,形成所述临时需求配置文件。
可选的,所述更改规则包括编目条件和补充规则;所述根据响应所述数据需求的数据提供方预先设定的更改规则,对所述临时需求配置文件进行更改,生成与所述数据需求对应的最终需求配置文的步骤包括:解析所述临时需求配置文件条件参数;判断所述条件参数是否符合所述编目条件;若所述数据需求符合所述编目条件,则根据所述补充规则,生成附加信息;然后将所述附加信息写入所述临时需求配置文件,生成所述最终需求配置文件。
可选的,所述判断所述数据需求是否符合所述编目条件的步骤之后,还包括:若所述数据需求不符合所述编目条件,且所述条件参数中包含有动态变化的条件参数,则获取最近更新的动态变化的条件参数;返回判断所述数据需求是否符合所述编目条件的步骤。
可选的,所述根据预设的编目算法计算所述最终需求配置文件,生成与所述数据需求具有唯一对应关系的数据目录项的步骤包括:从所述最终需求配置文件中提取出片段内容;如果在已有知识库中,存在与所述片段内容对应的编码符,则获取所述编码符;如果在已有知识库中,不存在所述编码符,则新增所述编码符,加入所述已有知识库中;根据所述预设的编目算法计算所述编码符,生成与所述数据需求具有唯一对应关系的标识符,然后结合所述标识符和所述最终需求配置文件,生成所述数据目录项。
根据本发明的另一方面,提供了一种数据编目装置。
本发明的数据编目装置包括:临时需求配置文件获取模块:用于获取数据需求方发布数据需求时形成的临时需求配置文件;最终需求配置文件生成模块:用于根据响应所述数据需求的数据提供方预先设定的更改规则,对所述临时需求配置文件进行更改,以生成与所述数据需求对应的最终需求配置文件;数据目录项生成模块:用于根据预设的编目算法计算所述最终需求配置文件,以生成与所述数据需求具有唯一对应关系的数据目录项;数据目录项添加模块:用于将所述数据目录项加入所述数据提供方的数据目录。
可选的,所述装置还包括:数据需求发布模块:用于接收数据需求方发布的数据需求;临时需求配置文件生成模块:用于按照设定的过滤规则,过滤所述数据需求,形成所述临时需求配置文件。
可选的,所述更改规则包括编目条件和补充规则;所述最终配置文件生成模块包括:临时需求配置文件解析单元:用于解析所述临时需求配置文件条件参数;判断单元:用于判断所述条件参数是否符合所述编目条件;补充信息生成单元:用于若所述数据需求符合所述编目条件,则根据所述补充规则,生成附加信息;然后将所述附加信息写入所述临时需求配置文件,生成所述最终需求配置文件。
可选的,所述最终配置文件生成模块还包括:条件参数变化检测单元:用于若所述数据需求不符合所述编目条件,且所述条件参数中包含有动态变化的条件参数,则获取最近更新的动态变化的条件参数;然后触发所述判断单元。
可选的,所述数据目录项生成模块包括:片段内容提取单元:用于从所述最终需求配置文件中提取出片段内容;编码符获取单元:用于如果在已有知识库中,存在与所述片段内容对应的编码符,则获取所述编码符;如果在已有知识库中,不存在所述编码符,则新增所述编码符,加入所述已有知识库中;标识符生成单元:用于根据所述预设的编目算法计算所述编码符,生成与所述数据需求具有唯一对应关系的标识符,然后结合所述标识符和所述最终需求配置文件,生成所述数据目录项。
根据本发明的又一方面,提供了一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如本发明所述的方法。
根据本发明的又一方面,提供了一种计算机可读介质,其上存储有计算机程序,所述程序被处理器执行时实现如本发明所述的方法。
根据本发明的技术方案,当数据需求方发布数据需求后,获取发布数据需求时生成的临时需求配置文件,并根据临时需求配置文件生成唯一对应的数据目录项,从而能够通过数据需求方的数据需求驱动并引导数据编目,不仅可以为数据供方减少编目成本,而且所提供的数据资源能客观反映数据需求方的真实需求,从而推动政务数据和商业数据的共享和交换,发挥数据的价值。
附图说明
附图用于更好地理解本发明,不构成对本发明的不当限定。其中:
图1是根据本发明实施方式的数据编目方法的主要步骤的示意图;
图2是根据本发明实施方式的一种最终需求配置文件生成过程的主要步骤示意图;
图3是根据本发明实施方式的一种数据目录项生成过程的主要步骤示意图;
图4是本发明另一种具体实施方式的数据编目方法主要步骤示意图;
图5是根据本发明实施方式的数据编目装置的主要模块的示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明,其中包括本发明实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本发明的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
在本发明实施方式中,按照数据需求方对数据的需求,将数据提供方的数据进行编目。以下结合附图进行详细说明。图1是根据本发明实施方式的数据编目方法的主要步骤的示意图。
步骤101:获取数据需求方发布数据需求时形成的临时需求配置文件。
数据需求方在发布其数据需求时,按照填写标准填写数据需求,填写标准可以采用元数据描述标准。元数据描述标准包含查询ID类型、赋值类型、使用场景、更新频率、数据名称、返回值格式、覆盖地域范围、价格等参数,这些参数能够客观反映数据的基本信息,体现数据需求方对数据的真实需求。通过需求发布系统发布填写后的数据需求,需求发布系统发布数据需求时,形成临时需求配置文件。本发明实施例提供的编目方法在临时需求配置文件形成之后,主动获取该临时需求配置文件,从而对数据资源的编目操作由发布数据需求的行为进行触发,无需人工手动操作,从而减少数据编目的时间和难度,节省数据编目的人工成本。
步骤102:根据响应所述数据需求的数据提供方预先设定的更改规则,对所述临时需求配置文件进行更改,以生成与所述数据需求对应的最终需求配置文件。
响应数据需求方发布的数据需求的数据提供方,可以根据其编目要求设定更改规则。例如,数据需求方可设定更改规则为:对所有能够响应的数据需求进行后续的编目处理,同时,还要补充必要的附加信息形成最终配置文件,以供后续编目算法计算。或者,数据需求方可设定更改规则为:从能够响应的所有数据需求中,对符合编目条件的数据需求进行后续的编目处理,对不符合编目条件的数据需求不进行处理,同时,对符合编目条件的数据需求的临时需求配置文件补充必要的附加信息形成最终配置文件,以供后续编目算法计算。上述对所述临时需求配置文件进行更改,除了包括补充临时需求配置文件之外,还包括对临时需求配置文件的内容进行替换或删除等。
在本发明实施例中,上述响应所述数据需求的数据提供方,可以是一个或一个以上。本发明实施例应用在多个数据提供方相应某一数据需求的场景下,能够在多个数据提供方侧形成数据编目,提高编目效率。
步骤103:根据预设的编目算法计算所述最终需求配置文件,以生成与所述数据需求具有唯一对应关系的数据目录项。
上述编目算法根据应用场景、对应不同的生成规则设定。由于数据目录项与本次数据需求具有唯一对应关系,从而该数据目录项能够反映本次真实的数据需求。
本实施例中,上述与所述数据需求具有唯一对应关系的数据目录项,指数据目录项与数据需求具有唯一对应关系,并不限定本次数据需求仅能生成一个数据目录项。
步骤104:将所述数据目录项加入所述数据提供方的数据目录。如果数据目录中的目录项,均根据数据需求方一次次发布的数据需求进行编目,那么整个数据目录就能够直接地体现大量数据需求方对数据的真实需求,有助于提高数据共享和交换效率
本发明实施例中,在数据需求方发布数据需求时,获取临时需求配置文件,经过转化和计算,生成数据目录项,从而数据编目根据数据需求方的数据需求执行,使得编目能够完全与数据需求方的数据需求相符合,进而数据共享和交换能够满足和贴合数据需求方的需求,保证数据需求方对数据的有效利用。
在本发明一些实施例中,所述获取数据需求方发布数据需求时形成的临时需求配置文件的步骤之前,该方法还包括:
接收数据需求方发布的数据需求;
按照设定的过滤规则,过滤所述数据需求,形成所述临时需求配置文件。
例如,根据过滤规则,对敏感信息应当进行过滤,则接收到数据需求方发布的数据需求之后,判断该数据需求中是否包含敏感信息,若包含敏感信息,则驳回数据需求方发布的该数据需求;若不包含敏感信息,则根据过滤规则过滤后的数据需求仍然为数据需求方发布的数据需求,形成与该数据需求对应的临时配置文件。
在本发明一些实施例中,所述更改规则包括编目条件和补充规则;参照图2所示,所述根据响应所述数据需求的数据提供方预先设定的更改规则,对所述临时需求配置文件进行更改,生成与所述数据需求对应的最终需求配置文的步骤包括:
步骤201:解析所述临时需求配置文件条件参数。
步骤202:判断所述条件参数是否符合所述编目条件。
步骤203:若所述数据需求符合所述编目条件,则根据所述补充规则,生成附加信息;然后将所述附加信息写入所述临时需求配置文件,生成所述最终需求配置文件。
数据提供方为保证数据目录项的有效性或减少冗余等目的,设置一定的编目条件,如是否自动响应、需求完备度超过设定阈值等。在获取到临时需求配置文件后,根据数据提供方设定的编目条件进行判断,若不满足条件,则不处理;若满足条件,则根据补充规则,生成附加信息写入临时需求配置文件中。具体而言,附加信息可依据不同的编目场景进行信息获取,如当数据类别为政务类数据时,补充规则规定获取响应数据需求的数据提供方的名称、数据公开方式、数据共享方式等信息。
在本发明一些实施例中,仍然参照图2,所述判断所述数据需求是否符合所述编目条件的步骤之后,还包括:
步骤204:若所述数据需求不符合所述编目条件,且所述条件参数中包含有动态变化的条件参数,获取最近更新的动态变化的条件参数。然后返回判断所述数据需求是否符合所述编目条件的步骤
由于数据需求方对数据的需求情况会随着时代、科技等的发展而发生一定的变化,动态检测条件参数的变化,并及时调整数据编目,从而数据编目能够随着数据需求的发展而发展,更加准确地反映当前各个数据需求方对数据的需求状况。
在本发明一些实施例中,参照图3所示,所述根据预设的编目算法计算所述最终需求配置文件,生成与所述数据需求具有唯一对应关系的数据目录项的步骤包括:
步骤1031:从所述最终需求配置文件中提取出片段内容。当提取片段内容为多个时,生成对应的片段内容表,如表1所示:
提取片段 片段内容
提取片段1 片段内容1
提取片段2 片段内容2
提取片段N 片段内容N
表1
步骤1032:若在已有知识库中,存在与所述片段内容对应的编码符,则获取所述编码符。例如片段内容为:综合-交通类,在已有知识库中存在对应的编码符AB002,则获取该编码符。
步骤1033:若在已有知识库中,不存在所述编码符,则新增所述编码符,及生成与片段内容对应的编码符,加入所述已有知识库中。例如片段内容为:综合-水务类,在已有知识库中无对应的编码符,则根据已有知识库的编码规则,自动生成新的编码符ZB001,对应“综合-水务类”的片段内容,并则将此编码符及对应的片段内容增加到已有知识库中,补充已有知识库,同时获取为片段内容“综合-水务类”新增的编码符。
无论通过步骤1032或是步骤1033获得的编码符,均对应添加在片段内容表中,生成如表2所示的片段内容和编码符表:
片段内容 对比知识库 知识库编码符
片段内容1 知识库1 编码符1
片段内容2 知识库2 编码符2
片段内容N 知识库N 编码符N
表2
步骤1034:根据所述预设的编目算法计算所述编码符,生成与所述数据需求具有唯一对应关系的标识符。根据预设的编目算法中的标识符生成规则生成的标识符,可唯一制备最终需求配置文件中的信息,从而与本次数据需求方发布的数据需求具有唯一对应的关系。
步骤1035:结合所述标识符和所述最终需求配置文件,生成所述数据目录项。
在本发明一种具体实施例中,数据需求方发布政务数据领域关于“个体工商登记信息”的数据需求,对于该数据需求,有三个数据提供方S1、S2、S3响应。则在数据提供方S1、S2、S3侧按照设定的更改规则进行数据编目。参照图4所示,具体包括如下步骤:
步骤401:接收数据需求方发布的数据需求。
数据需求方需要“个体工商登记信息”的数据,依据元数据描述标准填写数据需求,并发布需求。
步骤402:按照设定的过滤规则,过滤所述数据需求,形成所述临时需求配置文件。例如,本实施例中,规律规则为:过滤敏感信息。经过判断,数据需求方对于“个体工商登记信息”的数据需求不是敏感信息,因此根据设定的过滤规则,不存在需要过滤的内容,临时需求配置文件根据未过滤的数据需求形成。
需求发布模块根据发送数据需求临时配置文件TemReq001(文件格式为json或xml格式),临时需求配置文件包含的信息可从数据需求方填写的数据需求内容中获得,或在数据需求方发布数据需求时自动生成,如下表3:
二级类目名称 业务类
分类类目名称 工商;业务类
信息资源名称 个体工商户登记
信息资源摘要 个体工商户登记
关键字 个体工商户登记
关键字词典 /
交换方式 接口交换
交换频率 每年
获取方式 在线浏览
更新频度 每年
收费方式 免费服务
响应方1 S1:上海市工商行政管理局信息中心
响应方2 S2:上海市民政局信息中心
响应方3 S3:上海市税务局信息中心
需求完备度 90%
需求热度 30%
表3
步骤403:获取数据需求方发布数据需求时形成的临时需求配置文件。
步骤404:解析所述临时需求配置文件条件参数。
步骤405:判断所述条件参数是否符合数据提供方设定的编目条件。例如,本实施例中的数据提供方S1设定的编目条件为:响应后编目。数据提供方S2设定的编目条件为:条件参数需求完备度达到100%则进行编目。数据提供方S3设定的更改规则为:需求热度达到80%则进行编目。
步骤406:若所述数据需求符合所述编目条件,则根据所述补充规则,生成附加信息。根据数据提供方S1设置的补充规则,附加信息如下表4:
Figure BDA0001610762740000101
Figure BDA0001610762740000111
表4
根据数据提供方S2设置的补充规则,没有附加信息。
根据数据提供方S3设置的补充规则,附加信息如下表5:
Figure BDA0001610762740000112
表5
步骤407:将所述附加信息写入所述临时需求配置文件,以生成所述最终需求配置文件。条件参数复合数据提供方S1的编目条件,则在S1侧生成最终需求文件FinReq001,其中包括如表6所示的信息:
Figure BDA0001610762740000113
Figure BDA0001610762740000121
表6
由于条件参数不符合数据提供方S2、S3分别设定的完备度达到100%和需求热度达到80%的编目条件,不进行编目处理。
步骤408:在数据提供方S1侧,从所述最终需求配置文件中提取出片段内容,如下表7:
二级类目名称 业务类
分类类目名称 工商;业务类
响应方 上海市工商行政管理局信息中心
表7
步骤409:获取与片段内容在已有知识库中对应的编码符,如表8所示:
片段内容 对比知识库 知识库编码符
二级类目名称 二级类目知识库 3
分类类目名称 主题知识库 00 000
响应方 委办局知识库 AC6
部门名称 信息中心 001
表8
步骤410:根据预设的编目算法计算所述编码符,生成与所述数据需求具有唯一对应关系的标识符,包括信息资源标识符和元数据标识符,由于数据提供方S1为上海市工商行政管理局,需要信息资源标识符和元数据标识符符合上海市信息资源标识符和上海市元数据标识符的要求。格式分别为:
上海市信息资源标识符:前段码(6位,包括3位机构码和3位内部扩展码)/后段码(6位);
上海市元数据标识符:上海市元数据标识符:类目码(9位包括3位一级码、1位二级码、2位三级码)-年份码(4位)-流水码(3位);
根据表8的编码符,生成信息资源标识符:AC6000/010005和元数据标识符:AC6300000-2018-005。
步骤411:结合所述标识符和所述最终需求配置文件,生成所述数据目录项并写入数据目录。将生成的信息资源标识符、数据标识符和最终需求配置文件FinReq001的数据信息结合,形成一条完整的数据目录项写入数据库的数据目录中,完成数据编目全过程。
由于数据提供方设定的编目条件依赖于需求热度,而需求热度实现动态变化,如果检测到本次数据需求对应的需求热度上涨且达到数据提供方S3设定的80%的要求,按照上述步骤406-步骤410的原理在数据提供方S3侧生成数据目录项。
本发明实施例提供的数据编目方法,在数据需求方发布数据需求时,获取临时需求配置文件,根据临时需求配置文件进行数据编目操作,生成与本次数据需求对应的目录项。从而本发明实施例所提供的数据编目方法能够完全基于用户对数据的真实需求进行数据编目,使得数据供应方编目的数据资源能够贴合数据需求方的真实需求,提高数据供需双方的数据交换效率,提高数据利用率。
以下再对本发明实施方式中的数据编目装置进行说明。图5是根据本发明实施方式的数据编目装置的主要模块的示意图。该装置500可以用计算机软件实现,主要包括临时需求配置文件获取模块、最终需求配置文件生成模块、数据目录项生成模块以及数据目录项添加模块,可设置在上文中的数据供应方一侧,使得数据供应方能够根据数据需求方对数据的真实需求对数据进行编目。
所述临时需求配置文件获取模块:用于获取数据需求方发布数据需求时形成的临时需求配置文件。
所述最终需求配置文件生成模块:用于根据响应所述数据需求的数据提供方预先设定的更改规则,对所述临时需求配置文件进行更改,生成与所述数据需求对应的最终需求配置文件。
所述数据目录项生成模块:用于根据预设的编目算法计算所述最终需求配置文件,生成与所述数据需求具有唯一对应关系的数据目录项。
所述数据目录项添加模块:用于将所述数据目录项加入所述数据提供方的数据目录。
在本发明一些实施例中,所述装置500还包括:
数据需求发布模块:用于接收数据需求方发布的数据需求;
临时需求配置文件生成模块:用于按照设定的过滤规则,过滤所述数据需求,形成所述临时需求配置文件。
在本发明一些实施例中,所述更改规则包括编目条件和补充规则;所述最终配置文件生成模块包括:
临时需求配置文件解析单元:用于解析所述临时需求配置文件条件参数;
判断单元:用于判断所述条件参数是否符合所述编目条件;
补充信息生成单元:用于若所述数据需求符合所述编目条件,则根据所述补充规则,生成附加信息;然后将所述附加信息写入所述临时需求配置文件,以生成所述最终需求配置文件。
在本发明一些实施例中,所述最终配置文件生成模块还包括:
条件参数变化检测单元:用于若所述数据需求不符合所述编目条件,且所述条件参数中包含有动态变化的条件参数,则获取最近更新的动态变化的条件参数;然后触发所述判断单元。
在本发明一些实施例中,所述数据目录项生成模块包括:
片段内容提取单元:用于从所述最终需求配置文件中提取出片段内容;
编码符获取单元:用于如果在已有知识库中,存在与所述片段内容对应的编码符,则获取所述编码符;如果在已有知识库中,不存在所述编码符,则新增所述编码符,加入所述已有知识库中;
标识符生成单元:用于根据所述预设的编目算法计算所述编码符,生成与所述数据需求具有唯一对应关系的标识符,然后结合所述标识符和所述最终需求配置文件,生成所述数据目录项。
作为另一方面,本发明实施方式提供一种电子设备,该电子设备包含一个或多个处理器;以及存储装置,用于存储一个或多个程序,当上述一个或多个程序被上述一个或多个处理器执行,使得上述一个或多个处理器实现本发明实施例所述的方法,例如按照图1所执行的方法。作为再一方面,本发明实施方式还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的设备中所包含的;也可以是单独存在,而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该设备能够执行本发明实施例所述的方法,例如按照图1所执行的方法。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,取决于设计要求和其他因素,可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。

Claims (10)

1.一种数据编目方法,其特征在于,包括:
获取数据需求方发布数据需求时形成的临时需求配置文件;
根据响应所述数据需求的数据提供方预先设定的更改规则,对所述临时需求配置文件进行更改,以生成与所述数据需求对应的最终需求配置文件;
根据预设的编目算法计算所述最终需求配置文件,以生成与所述数据需求具有唯一对应关系的数据目录项,
生成所述数据目录项的步骤包括:从所述最终需求配置文件中提取出片段内容,
如果在已有知识库中,存在与所述片段内容对应的编码符,则获取所述编码符;如果在已有知识库中,不存在所述编码符,则新增所述编码符,加入所述已有知识库中,
根据所述预设的编目算法计算所述编码符,生成与所述数据需求具有唯一对应关系的标识符,然后结合所述标识符和所述最终需求配置文件,生成所述数据目录项;
将所述数据目录项加入所述数据提供方的数据目录。
2.根据权利要求1所述的方法,其特征在于,所述获取数据需求方发布数据需求时形成的临时需求配置文件的步骤之前,该方法还包括:
接收数据需求方发布的数据需求;
按照设定的过滤规则,过滤所述数据需求,形成所述临时需求配置文件。
3.根据权利要求1所述的方法,其特征在于,所述更改规则包括编目条件和补充规则;所述根据响应所述数据需求的数据提供方预先设定的更改规则,对所述临时需求配置文件进行更改,生成与所述数据需求对应的最终需求配置文的步骤包括:
解析所述临时需求配置文件条件参数;
判断所述条件参数是否符合所述编目条件;
若所述数据需求符合所述编目条件,则根据所述补充规则,生成附加信息;然后将所述附加信息写入所述临时需求配置文件,生成所述最终需求配置文件。
4.根据权利要求3所述的方法,其特征在于,所述判断所述数据需求是否符合所述编目条件的步骤之后,还包括:
若所述数据需求不符合所述编目条件,且所述条件参数中包含有动态变化的条件参数,获取最近更新的动态变化的条件参数;
返回判断所述数据需求是否符合所述编目条件的步骤。
5.一种数据编目装置,其特征在于,包括:
临时需求配置文件获取模块:用于获取数据需求方发布数据需求时形成的临时需求配置文件;
最终需求配置文件生成模块:用于根据响应所述数据需求的数据提供方预先设定的更改规则,对所述临时需求配置文件进行更改,以生成与所述数据需求对应的最终需求配置文件;
数据目录项生成模块:用于根据预设的编目算法计算所述最终需求配置文件,以生成与所述数据需求具有唯一对应关系的数据目录项,所述数据目录项生成模块包括:
片段内容提取单元:用于从所述最终需求配置文件中提取出片段内容,
编码符获取单元:用于如果在已有知识库中,存在与所述片段内容对应的编码符,则获取所述编码符;如果在已有知识库中,不存在所述编码符,则新增所述编码符,加入所述已有知识库中,
标识符生成单元:用于根据所述预设的编目算法计算所述编码符,生成与所述数据需求具有唯一对应关系的标识符,然后结合所述标识符和所述最终需求配置文件,生成所述数据目录项;
数据目录项添加模块:用于将所述数据目录项加入所述数据提供方的数据目录。
6.根据权利要求5所述的装置,其特征在于,所述装置还包括:
数据需求发布模块:用于接收数据需求方发布的数据需求;
临时需求配置文件生成模块:用于按照设定的过滤规则,过滤所述数据需求,形成所述临时需求配置文件。
7.根据权利要求5所述的装置,其特征在于,所述更改规则包括编目条件和补充规则;所述最终配置文件生成模块包括:
临时需求配置文件解析单元:用于解析所述临时需求配置文件条件参数;
判断单元:用于判断所述条件参数是否符合所述编目条件;
补充信息生成单元:用于若所述数据需求符合所述编目条件,则根据所述补充规则,生成附加信息;然后将所述附加信息写入所述临时需求配置文件,生成所述最终需求配置文件。
8.根据权利要求7所述的装置,其特征在于,所述最终需求 配置文件生成模块还包括:
条件参数变化检测单元:用于若所述数据需求不符合所述编目条件,且所述条件参数中包含有动态变化的条件参数,获取最近更新的动态变化的条件参数;然后触发所述判断单元。
9.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1至4中任一项所述的方法。
10.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1至4中任一项所述的方法。
CN201810263597.7A 2018-03-28 2018-03-28 一种数据编目方法及装置 Active CN108509577B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810263597.7A CN108509577B (zh) 2018-03-28 2018-03-28 一种数据编目方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810263597.7A CN108509577B (zh) 2018-03-28 2018-03-28 一种数据编目方法及装置

Publications (2)

Publication Number Publication Date
CN108509577A CN108509577A (zh) 2018-09-07
CN108509577B true CN108509577B (zh) 2023-07-14

Family

ID=63378874

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810263597.7A Active CN108509577B (zh) 2018-03-28 2018-03-28 一种数据编目方法及装置

Country Status (1)

Country Link
CN (1) CN108509577B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103902723A (zh) * 2014-04-10 2014-07-02 中央电视台 一种媒体文件编目元数据聚合方法及装置
CN103995826A (zh) * 2014-04-09 2014-08-20 浙江图讯科技有限公司 一种安全生产监督管理政务信息的自动编目方法
CN105550219A (zh) * 2015-12-04 2016-05-04 航天科工智慧产业发展有限公司 一种信息资源的自动编目方法
CN105653732A (zh) * 2016-02-02 2016-06-08 优品财富管理有限公司 一种基于元数据自动建立表方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104679537A (zh) * 2013-11-28 2015-06-03 英业达科技有限公司 使用镜像建立可开机储存装置的系统及其方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103995826A (zh) * 2014-04-09 2014-08-20 浙江图讯科技有限公司 一种安全生产监督管理政务信息的自动编目方法
CN103902723A (zh) * 2014-04-10 2014-07-02 中央电视台 一种媒体文件编目元数据聚合方法及装置
CN105550219A (zh) * 2015-12-04 2016-05-04 航天科工智慧产业发展有限公司 一种信息资源的自动编目方法
CN105653732A (zh) * 2016-02-02 2016-06-08 优品财富管理有限公司 一种基于元数据自动建立表方法及系统

Also Published As

Publication number Publication date
CN108509577A (zh) 2018-09-07

Similar Documents

Publication Publication Date Title
CN104394118A (zh) 一种用户身份识别方法及系统
CN105446991A (zh) 数据存储方法、查询方法及设备
CN102279851A (zh) 一种智能导航方法、装置和系统
CN110110006A (zh) 数据管理方法及相关产品
CN102542351A (zh) 一种酒店数据库建立方法及自动预订酒店的方法
CN107832440B (zh) 一种数据挖掘方法、装置、服务器及计算机可读存储介质
CN104182846A (zh) 一种客户管理系统
CN102904824A (zh) 服务提供实体选择方法及装置
CN102971703A (zh) 数据库搜索的加强查询
CN109615172A (zh) 一种处理考核数据的方法及终端
CN101576922A (zh) 接入系统和接入方法
CN111415196A (zh) 一种广告召回方法、装置、服务器及存储介质
CN110825919B (zh) Id数据处理方法和装置
CN110716955A (zh) 一种快速响应数据查询请求的方法和系统
CN108509577B (zh) 一种数据编目方法及装置
CN109145092B (zh) 一种数据库更新、智能问答管理方法、装置及其设备
CN103020189A (zh) 数据处理装置和数据处理方法
CN105721586A (zh) 信息智能分配装置、方法及系统
CN105468763A (zh) 大数据操作多人协作方法
CN107391695A (zh) 一种基于大数据的信息提取方法
CN108228691B (zh) 一种政务信息管理中数据元的加工方法
CN110472972A (zh) 一种区块链存储数据同步快照方法及系统
CN104468948A (zh) 信息处理方法及电子设备
CN106547843A (zh) 多级分类查询方法和装置
CN110808961B (zh) 用于安全验证的数据处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned

Effective date of abandoning: 20220909

AD01 Patent right deemed abandoned
GR01 Patent grant
GR01 Patent grant