CN110377697B

CN110377697B - 元数据标准的更新方法、装置、设备及存储介质

Info

Publication number: CN110377697B
Application number: CN201910532827.XA
Authority: CN
Inventors: 李勇
Original assignee: Ping An International Smart City Technology Co Ltd
Current assignee: Ping An International Smart City Technology Co Ltd
Priority date: 2019-06-19
Filing date: 2019-06-19
Publication date: 2020-09-22
Anticipated expiration: 2039-06-19
Also published as: CN110377697A

Abstract

本发明提供一种元数据标准的更新方法、装置、设备及存储介质，即在检测到不符合预设标准的元数据时，获取所述元数据在预设时间段中的使用频率，并判断所述使用频率是否超过预设阈值；若所述使用频率超过所述预设阈值，则判断所述元数据是否符合预设命名规则；若所述元数据符合所述预设命名规则，则根据所述元数据生成对应的标准数据更新推荐信息，并在接收到用户根据所述更新推荐信息反馈的确认指令时，将所述元数据添加至预设标准库。本发明可以根据元数据的实际使用情况进行数据标准的推荐，实现标准元数据的增量更新和反向丰富标准体系，从而对事先制定的标准进行有效补充，提升了用户体验，提高了标准的制定效率。

Description

元数据标准的更新方法、装置、设备及存储介质

技术领域

本发明涉及数据处理领域，尤其涉及一种元数据标准的更新方法、装置、设备及计算机可读存储介质。

背景技术

随着信息系统建设发展到一定阶段,数据资源将成为战略资产,而有效的数据治理才是数据资产形成的必要条件。数据治理是指从使用零散数据变为使用统一主数据、从具有很少或没有组织和流程治理到企业范围内的综合数据治理、从尝试处理主数据混乱状况到主数据井井有条的一个过程。而数据治理成功的关键在于元数据管理，即赋予数据上下文和含义的参考框架。目前市面上的数据治理系统中，元数据的标准一般是事先制定的。然而随着大数据时代的来临，事先制定的标准元数据已经无法满足用户需求。

因此，如何解决现有事先制定的标准元数据无法满足用户需求的问题，是目前亟需解决的问题。

发明内容

本发明的主要目的在于提供一种元数据标准的更新方法、装置、设备及计算机可读存储介质，旨在解决现有事先制定的标准元数据无法满足用户需求的技术问题。

为实现上述目的，本发明提供一种元数据标准的更新方法，所述元数据标准的更新方法包括以下步骤：

在检测到不符合预设标准的元数据时，获取所述元数据在预设时间段中的使用频率，并判断所述使用频率是否超过预设阈值；

若所述使用频率超过所述预设阈值，则判断所述元数据是否符合预设命名规则；

若所述元数据符合所述预设命名规则，则根据所述元数据生成对应的标准数据更新推荐信息，并在接收到用户根据所述更新推荐信息反馈的确认指令时，将所述元数据添加至预设标准库。

可选地，所述若所述元数据符合所述预设命名规则，则根据所述元数据生成对应的标准数据更新推荐信息，并在接收到用户根据所述更新推荐信息反馈的确认指令时，将所述元数据添加至预设标准库的步骤包括：

若所述元数据符合所述预设命名规则，则根据预设词典判断所述元数据是否为所述标准库中标准元数据对应的相关词；

若所述元数据为所述标准库中标准元数据对应的相关词，则将所述元数据与对应的标准元数据建立映射关联关系。

若所述元数据不是所述标准库中标准元数据对应的相关词，则根据所述元数据生成对应的标准数据更新推荐信息，以便将所述元数据推荐至所述用户进行标准元数据的人工审核；

在接收到所述用户根据所述更新推荐信息反馈的确认指令时，将所述元数据添加至预设标准库，作为标准元数据。

可选地，所述若所述元数据不是所述标准库中标准元数据对应的相关词，则根据所述元数据生成对应的标准数据更新推荐信息，以便将所述元数据推荐至所述用户进行标准元数据的人工审核的步骤之后，还包括：

在接收到所述用户根据所述更新推荐信息反馈的取消指令时，将所述元数据添加待推荐标识，并将添加待推荐标识的所述元数据添加至待推荐列表，以便在其他时间段中监测所述元数据的使用频率。

在接收到所述用户根据所述更新推荐信息反馈的屏蔽指令时，将所述元数据添加待屏蔽标识，并将添加待屏蔽标识的所述元数据添加至屏蔽列表，以屏蔽所述待屏蔽标识对应元数据的推荐指令。

可选地，所述若所述元数据符合所述预设命名规则，则根据所述元数据生成对应的标准数据更新推荐信息，并在接收到用户根据所述更新推荐信息反馈的确认指令时，将所述元数据添加至预设标准库的步骤之后，还包括：

若所述元数据不符合所述预设命名规则，则根据所述元数据生成对应的数据异常的提醒消息，将所述元数据添加至异常数据列表，并记录所述元数据对应的数据位置，以便后续进行所述元数据的查找与处理。

可选地，所述若所述使用频率超过所述预设阈值，则判断所述元数据是否符合预设命名规则的步骤具体包括：

若所述使用频率超过所述预设阈值，则根据自然语言处理NLP对所述元数据进行分词处理以及数据分析，并根据所述NLP判断分词后的各个单位数据是否符合自然语言的命名规则。

此外，为实现上述目的，本发明还提供一种元数据标准的更新装置，所述元数据标准的更新装置包括：

数据判断模块，用于在检测到不符合预设标准的元数据时，获取所述元数据在预设时间段中的使用频率，并判断所述使用频率是否超过预设阈值；

命名判断模块，用于若所述使用频率超过所述预设阈值，则判断所述元数据是否符合预设命名规则；

标准添加模块，用于若所述元数据符合所述预设命名规则，则根据所述元数据生成对应的标准数据更新推荐信息，并在接收到用户根据所述更新推荐信息反馈的确认指令时，将所述元数据添加至预设标准库。

此外，为实现上述目的，本发明还提供一种元数据标准的更新设备，所述元数据标准的更新设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的元数据标准的更新程序，其中所述元数据标准的更新程序被所述处理器执行时，实现如上述的元数据标准的更新方法的步骤。

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有元数据标准的更新程序，其中所述元数据标准的更新程序被处理器执行时，实现如上述的元数据标准的更新方法的步骤。

本发明提供一种元数据标准的更新方法，即在检测到不符合预设标准的元数据时，获取所述元数据在预设时间段中的使用频率，并判断所述使用频率是否超过预设阈值；若所述使用频率超过所述预设阈值，则判断所述元数据是否符合预设命名规则；若所述元数据符合所述预设命名规则，则根据所述元数据生成对应的标准数据更新推荐信息，并在接收到用户根据所述更新推荐信息反馈的确认指令时，将所述元数据添加至预设标准库。通过上述方式，本发明可以根据元数据的实际使用情况进行数据标准的推荐，实现反向丰富标准体系，从而对事先制定的标准进行有效补充，提升了用户体验，提高了标准的制定效率，解决了现有事先制定的标准元数据无法满足用户需求的技术问题。

附图说明

图1为本发明实施例方案中涉及的元数据标准的更新设备的硬件结构示意图；

图2为本发明元数据标准的更新方法第一实施例的流程示意图；

图3为本发明元数据标准的更新方法第二实施例的流程示意图；

图4为本发明元数据标准的更新方法第三实施例的流程示意图；

图5为本发明元数据标准的更新装置第一实施例的功能模块示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例涉及的元数据标准的更新方法主要应用于元数据标准的更新设备，该元数据标准的更新设备可以是PC、便携计算机、移动终端等具有显示和处理功能的设备。

参照图1，图1为本发明实施例方案中涉及的元数据标准的更新设备的硬件结构示意图。本发明实施例中，元数据标准的更新设备可以包括处理器1001(例如CPU)，通信总线1002，用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信；用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)；网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)；存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器，存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的硬件结构并不构成对元数据标准的更新设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

继续参照图1，图1中作为一种计算机可读存储介质的存储器1005可以包括操作系统、网络通信模块以及元数据标准的更新程序。

在图1中，网络通信模块主要用于连接服务器，与服务器进行数据通信；而处理器1001可以调用存储器1005中存储的元数据标准的更新程序，并执行本发明实施例提供的元数据标准的更新方法。

本发明实施例提供了一种元数据标准的更新方法。

参照图2，图2为本发明元数据标准的更新方法第一实施例的流程示意图。

本实施例中，所述元数据标准的更新方法包括以下步骤：

步骤S10，在检测到不符合预设标准的元数据时，获取所述元数据在预设时间段中的使用频率，并判断所述使用频率是否超过预设阈值；

本实施例中，针对现有事先制定好的标准不够丰富，不能使用适应现有系统的普遍习惯和现状，即事先制定的标准在特定领域，即具有专用用词用语的领域系统，不能适用的技术问题，提供一种反向挖掘标准的元数据标准的更新方法，根据特定领域特定系统中的通用习惯进行标准挖掘，由此丰富现有标准体系。具体地，预先建立了标准体系，并根据所述标准体系中标准库中存储的标准元数据，对系统中已有的元数据或者系统当前接收的元数据进行数据稽核。在检测到有不符合标准的元数据时，即不符合标准的元数据不是标准库中存储的标准元数据，获取所述元数据在预设时间段中的使用频率，即统计所述元数据在指定时间段中的出现次数，判断所述元数据的使用频率是否超过了预设阈值，其中，所述预设时间段可以是当前时间起的一周内、一个月或者三个月内等。所述预设阈值可以根据实际情况进行设定，且使用频率超过所述预设阈值的元数据即为用户高频使用的元数据。具体实施例中，还可以通过统计所述元数据在预设时间段中的出现次数。

步骤S20，若所述使用频率超过所述预设阈值，则判断所述元数据是否符合预设命名规则；

本实施例中，在判定所述使用频率超过设定的预设阈值时，即所述元数据虽然不是存储在预设数据库中的标准元数据，但是所述元数据被用户频繁使用。首先对所述元数据进行分析，即判断所述元数据是否是符合自然语言命名规则的用户用词或用语。

进一步地，所述步骤S20具体包括：

本实施例中，在判定所述使用频率超过设定的预设阈值时，对所述元数据进行NLP(Natural Language Processing，自然语言处理)分析处理。在所述元数据为词组时，将所述元数据进行分词处理，并对分词后的各个单位数据分别进行判断，即判断元数据分词后的各个单位数据是否符合自然语言的命名规则。其中，所述命名规则可以是判断各个单位数据是否为中文词语、英文单词或者其他有效的语言词语等。具体实施例中，可以根据对应的语言词典，判断各个单位数据是否为有效的语言词语。

步骤S30，若所述元数据符合所述预设命名规则，则根据所述元数据生成对应的标准数据更新推荐信息，并在接收到用户根据所述更新推荐信息反馈的确认指令时，将所述元数据添加至预设标准库。

本实施例中，在判定所述元数据符合对应的命名规则时，即可将所述元数据推荐至管理员，以便管理员判断是否将所述元数据添加至预设数据库，存储为标准元数据。具体推荐步骤为：根据所述元数据生成对应的推荐信息，如：是否将“IC(家电维修业中对集成电路称作IC)存储为标准元数据”。并同时生成确认或者取消指令，以便管理员根据审核结果触发对应指令。若接收到确认指令时，即管理员审核通过，将所述元数据存储至预设标准库，即将所述元数据存储为标准元数据，以便后续用户使用。

本实施例提供一种元数据标准的更新方法，即在检测到不符合预设标准的元数据时，获取所述元数据在预设时间段中的使用频率，并判断所述使用频率是否超过预设阈值；若所述使用频率超过所述预设阈值，则判断所述元数据是否符合预设命名规则；若所述元数据符合所述预设命名规则，则根据所述元数据生成对应的标准数据更新推荐信息，并在接收到用户根据所述更新推荐信息反馈的确认指令时，将所述元数据添加至预设标准库。通过上述方式，本发明可以根据元数据的实际使用情况进行数据标准的推荐，实现反向丰富标准体系，从而对事先制定的标准进行有效补充，提升了用户体验，提高了标准的制定效率，解决了现有事先制定的标准元数据无法满足用户需求的技术问题。

参照图3，图3为本发明元数据标准的更新方法第二实施例的流程示意图。

基于上述图2所示实施例，本实施例中，所述步骤S30包括：

步骤S31，若所述元数据符合所述预设命名规则，则根据预设词典判断所述元数据是否为所述标准库中标准元数据对应的相关词；

本实施例中，现有对于已经投入生产使用的系统，有些不符合标准的元数据是不能进行更改的，因此，需要将这些不符合标准的元数据与标准数据之间建立一个映射关系，比便在下次稽核系统数据时，可识别出上述元数据。具体地，获取所述元数据的同义数据，并根据所述元数据的同义数据在标准库中进行查找匹配，从而快速高效的查找到所述标准库中与所述元数据对应的同义标准数据。即判定所述元数据为所述标准库中标准元数据对应的相关词。其中，具体查找步骤为：在所述元数据为英文数据时，基于认知语言学的英语词典WordNet，获取所述元数据对应的同义数据集合，将所述同义数据集合与标准库进行匹配，从而获取所述元数据对应的统同义标准数据。具体实施例中，在元数据为中文数据时，基于中文近义词或同义词词典，获取所述元数据对应的同义数据集合，将所述同义数据集合与所述标准库中标准元数据进行比对，以判断所述元数据是否为所述标准库中标准元数据对应的相关词。

步骤S32，若所述元数据为所述标准库中标准元数据对应的相关词，则将所述元数据与对应的标准元数据建立映射关联关系。

本实施例中，在判定所述元数据为所述标准库中标准元数据对应的相关词时，将所述元数据与所述标准库中的标准元数据建立对应的映射关联关系，从而便于在后续稽核系统数据时，可识别出所述元数据即为对应映射的标准数据。具体实施例中，还可以按照相似度进行相关词查找，例如：wordNet找到trade的synset:trade、transaction、business、deal，并按相似度排序，推荐出来，其中transaction、business是该标准库中的标准元数据，高亮显示，按相似度可将transaction选中作为trade的映射标准。免去了人工从成千上万个标准中找出同义词即相关词的过程。

进一步地，所述步骤S31之后，还包括：

本实施例中，若判定所述元数据不是所述标准库中标准元数据对应的相关词，即所述元数据为具有新含义的数据，根据所述元数据对应的数据标识，如数据名称，生成所述元数据对应的标准数据更新推荐信息，并将所述标准数据推荐信息发送至管理所述标准库中标准数据的管理员，以便所述管理员根据实际情况决定是否将所述元数据添加至标准库中作为标准元数据。若接收到所述用户根据所述更新推荐信息反馈的确认指令时，即管理员需要将所述元数据添加至标准库中作为标准元数据，即根据所述确认指令将所述元数据添加至预设标准库中，以将所述元数据设置为标准元数据。

进一步地，所述若所述元数据不是所述标准库中标准元数据对应的相关词，则根据所述元数据生成对应的标准数据更新推荐信息，以便将所述元数据推荐至所述用户进行标准元数据的人工审核的步骤之后，还包括：

本实施例中，若接收到所述用户根据所述更新推荐信息反馈的取消指令时，即管理员认为不需要将所述元数据添加至标准库中作为标准元数据，将所述元数据添加待推荐标识，并加入待推荐列表中。定时检测所述待推荐列表中的待推荐元数据的使用频率，并根据所述使用频率判断是否再次将所述待推荐元数据生成对应的更新推荐信息。更多实施例中，还包括：在接收到所述用户根据所述更新推荐信息反馈的屏蔽指令时，将所述元数据添加待屏蔽标识，并将添加待屏蔽标识的所述元数据添加至屏蔽列表，以屏蔽所述待屏蔽标识对应元数据的推荐指令。即在检测到所述待屏蔽列表中的待屏蔽元数据时，自动取消所述待屏蔽元数据的更新推荐程序。

参照图4，图4为本发明元数据标准的更新方法第三实施例的流程示意图。

基于上述图2所示实施例，本实施例中，所述步骤S30之后，还包括：

步骤S40，若所述元数据不符合所述预设命名规则，则根据所述元数据生成对应的数据异常的提醒消息，将所述元数据添加至异常数据列表，并记录所述元数据对应的数据位置，以便后续进行所述元数据的查找与处理。

本实施例中，若判定所述元数据不符合所述预设命名规则，即表示所述元数据可能为使用错误的数据标识，将所述元数据添加至异常数据列表，并获取所述元数据对应的数据标识以及对应的数据位置。根据所述元数据生成对应的数据异常提醒消息，并将所述元数据对应的数据标识、数据位置以及异常提醒消息发送至管理端，以便管理员在判定所述元数据为异常元数据时进行对应的错误元数据查找与处理。

此外，本发明实施例还提供一种元数据标准的更新装置。

参照图5，图5为本发明元数据标准的更新装置第一实施例的功能模块示意图。

本实施例中，所述元数据标准的更新装置包括：

数据判断模块10，用于在检测到不符合预设标准的元数据时，获取所述元数据在预设时间段中的使用频率，并判断所述使用频率是否超过预设阈值；

命名判断模块20，用于若所述使用频率超过所述预设阈值，则判断所述元数据是否符合预设命名规则；

标准添加模块30，用于若所述元数据符合所述预设命名规则，则根据所述元数据生成对应的标准数据更新推荐信息，并在接收到用户根据所述更新推荐信息反馈的确认指令时，将所述元数据添加至预设标准库。

进一步地，所述命名判断模块20还用于：

进一步地，所述标准添加模块30具体包括：

相关词判断单元，用于若所述元数据符合所述预设命名规则，则根据预设词典判断所述元数据是否为所述标准库中标准元数据对应的相关词；

映射建立单元，用于若所述元数据为所述标准库中标准元数据对应的相关词，则将所述元数据与对应的标准元数据建立映射关联关系。

进一步地，所述标准添加模块30还用于：

进一步地，所述元数据标准的更新装置还包括：

其中，上述元数据标准的更新装置中各个模块与上述元数据标准的更新方法实施例中各步骤相对应，其功能和实现过程在此处不再一一赘述。

此外，本发明实施例还提供一种计算机可读存储介质。

本发明计算机可读存储介质上存储有元数据标准的更新程序，其中所述元数据标准的更新程序被处理器执行时，实现如上述的元数据标准的更新方法的步骤。

其中，元数据标准的更新程序被执行时所实现的方法可参照本发明元数据标准的更新方法的各个实施例，此处不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims

1.一种元数据标准的更新方法，其特征在于，所述元数据标准的更新方法包括以下步骤：

若所述元数据符合所述预设命名规则，则根据所述元数据生成对应的标准数据更新推荐信息，并在接收到用户根据所述更新推荐信息反馈的确认指令时，将所述元数据添加至预设标准库；

其中，所述若所述元数据符合所述预设命名规则，则根据所述元数据生成对应的标准数据更新推荐信息，并在接收到用户根据所述更新推荐信息反馈的确认指令时，将所述元数据添加至预设标准库的步骤包括：

其中，所述根据预设词典判断所述元数据是否为所述标准库中标准元数据对应的相关词的步骤具体包括：

在所述元数据为英文数据时，基于认知语言学的英语词典WordNet，获取所述元数据对应的同义数据集合，将所述同义数据集合与标准库进行匹配，以获取所述元数据对应的同义标准数据；

在所述元数据为中文数据时，基于中文近义词或同义词词典，获取所述元数据对应的同义数据集合，将所述同义数据集合与所述标准库中标准元数据进行比对，以判断所述元数据是否为所述标准库中标准元数据对应的相关词；

2.如权利要求1所述的元数据标准的更新方法，其特征在于，所述若所述元数据符合所述预设命名规则，则根据所述元数据生成对应的标准数据更新推荐信息，并在接收到用户根据所述更新推荐信息反馈的确认指令时，将所述元数据添加至预设标准库的步骤包括：

3.如权利要求2所述的元数据标准的更新方法，其特征在于，所述若所述元数据不是所述标准库中标准元数据对应的相关词，则根据所述元数据生成对应的标准数据更新推荐信息，以便将所述元数据推荐至所述用户进行标准元数据的人工审核的步骤之后，还包括：

4.如权利要求2所述的元数据标准的更新方法，其特征在于，所述若所述元数据不是所述标准库中标准元数据对应的相关词，则根据所述元数据生成对应的标准数据更新推荐信息，以便将所述元数据推荐至所述用户进行标准元数据的人工审核的步骤之后，还包括：

5.如权利要求1所述的元数据标准的更新方法，其特征在于，所述若所述元数据符合所述预设命名规则，则根据所述元数据生成对应的标准数据更新推荐信息，并在接收到用户根据所述更新推荐信息反馈的确认指令时，将所述元数据添加至预设标准库的步骤之后，还包括：

6.如权利要求1至5任意一项所述的元数据标准的更新方法，其特征在于，所述若所述使用频率超过所述预设阈值，则判断所述元数据是否符合预设命名规则的步骤具体包括：

7.一种元数据标准的更新装置，其特征在于，所述元数据标准的更新装置包括：

标准添加模块，用于若所述元数据符合所述预设命名规则，则根据所述元数据生成对应的标准数据更新推荐信息，并在接收到用户根据所述更新推荐信息反馈的确认指令时，将所述元数据添加至预设标准库；

其中，所述标准添加模块具体包括：

其中，所述相关词判断单元还用于：

8.一种元数据标准的更新设备，其特征在于，所述元数据标准的更新设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的元数据标准的更新程序，其中所述元数据标准的更新程序被所述处理器执行时，实现如权利要求1至6中任一项所述的元数据标准的更新方法的步骤。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有元数据标准的更新程序，其中所述元数据标准的更新程序被处理器执行时，实现如权利要求1至6中任一项所述的元数据标准的更新方法的步骤。