CN114490679A - 一种基于标识解析的数据治理方法、装置、设备及介质 - Google Patents

一种基于标识解析的数据治理方法、装置、设备及介质 Download PDF

Info

Publication number
CN114490679A
CN114490679A CN202111578776.8A CN202111578776A CN114490679A CN 114490679 A CN114490679 A CN 114490679A CN 202111578776 A CN202111578776 A CN 202111578776A CN 114490679 A CN114490679 A CN 114490679A
Authority
CN
China
Prior art keywords
service
label
model
data
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111578776.8A
Other languages
English (en)
Inventor
张鹏
商广勇
李程
马岩堂
马振
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Inspur Industrial Internet Industry Co Ltd
Original Assignee
Shandong Inspur Industrial Internet Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Inspur Industrial Internet Industry Co Ltd filed Critical Shandong Inspur Industrial Internet Industry Co Ltd
Priority to CN202111578776.8A priority Critical patent/CN114490679A/zh
Publication of CN114490679A publication Critical patent/CN114490679A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/955Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请公开了一种基于标识解析的数据治理方法、装置、设备及介质,方案包括:对标识网关上传的多源异构待治理数据进行集成;根据不同的业务类型,调用不同的预设业务标签提取模型;对业务类型进行编码,生成业务类型的业务标识;通过预设标签提取模型对待治理数据进行分析,确定业务类型的业务标签信息;确定预先构建的业务类型的标签数据模型,基于标签数据模型中设置的业务标签字段,将业务标签信息写入标签数据模型;根据标签数据模型以及业务标识,生成业务类型对应的业务模型;获取用户对业务标识的解析请求,通过解析业务标识将业务模型反馈至用户。自动生成满足用户需求的业务模型,提高了数据治理的效率,能够快速得到待治理数据是否异常。

Description

一种基于标识解析的数据治理方法、装置、设备及介质
技术领域
本申请涉及大数据技术领域,尤其涉及一种基于标识解析的数据治理方法、装置、设备及介质。
背景技术
目前,在数据采集时,只能从本企业或者本地业务系统上进行采集,对于跨域系统的则通过爬虫的方式在互联网爬取一些与企业相关的非业务类型的数据。然而在多业务系统时,无法对多源异构数据进行采集和管理。同时,为构建满足用户需求的业务模型,往往需要不断的对跨域系统中的多源异构数据进行分析,此过程耗时较长,从而导致数据治理效率低下,无法快速得到待治理数据是否异常。
发明内容
本申请实施例提供一种基于标识解析的数据治理方法、装置、设备及介质,用于解决数据治理效率低下,无法快速得到待治理数据是否异常的问题。
本申请实施例采用下述技术方案:
一方面,本申请实施例提供了一种基于标识解析的数据治理方法,该方法包括:对标识网关上传的多源异构待治理数据进行集成;根据不同的业务类型,调用不同的预设业务标签提取模型;对所述业务类型进行编码,生成所述业务类型的业务标识;通过预设标签提取模型对所述待治理数据进行分析,确定所述业务类型的业务标签信息;确定预先构建的所述业务类型的标签数据模型,基于所述标签数据模型中设置的业务标签字段,将所述业务标签信息写入所述标签数据模型;根据所述标签数据模型以及所述业务标识,生成所述业务类型对应的业务模型;获取用户对所述业务标识的解析请求,通过解析所述业务标识将所述业务模型反馈至所述用户。
一个示例中,所述获取用户对所述业务标识的解析请求,通过解析所述业务标识将所述业务模型反馈至所述用户,具体包括:获取所述用户对所述业务标识的解析请求,确定所述业务标识以及所述业务标识所对应的编码标准的标准识别码;根据所述标准识别码获取所述业务标识的分级结构信息;其中,所述分级结构信息用于表示所述业务标识的编码方式;根据权威信息指针资源记录中的正则表达式以及所述分级结构信息,确定所述业务标识的域名转换规则;通过所述域名转换规则将所述业务标识格式转换成完全合格的域名格式;确定所述业务标识关联的统一资源定位器地址,根据所述统一资源定位器地址进行空间寻址获取所述业务模型,将所述业务模型反馈至所述用户。
一个示例中,所述根据权威信息指针资源记录中的正则表达式以及所述分级结构信息,确定所述业务标识的域名转换规则,具体包括:对所述权威信息指针资源记录进行查询;其中,所述资源记录中的正则表达式用于对所述不同标准体系的编码进行不同描述;通过所述正则表达式对所述分级结构信息进行描述,确定所述业务标识的域名转换规则。
一个示例中,所述通过预设标签提取模型对所述待治理数据进行分析,确定所述业务类型的业务标签信息,具体包括:确定所述预设标签提取模型包括所述业务类型的若干业务标签分别对应的调用函数;通过所述调用函数查询业务标签在所述待治理数据中所对应的业务标签信息,以确定所述业务类型的业务标签信息。
一个示例中,所述通过所述调用函数查询业务标签在所述待治理数据中所对应的业务标签信息,以确定所述业务类型的业务标签信息,具体包括:通过所述调用函数查询业务标签在所述待治理数据中所对应的业务标签信息;若所述业务标签在所述待治理数据中所对应的业务标签信息为空,则在所述待治理数据中确定与所述业务标签信息的相关信息;根据所述业务标签信息的相关信息预测所述业务标签信息,以确定所述业务类型的业务标签信息。
一个示例中,所述根据所述标签数据模型以及所述业务标识生成所述业务类型对应的业务模型之后,所述方法还包括:提取所述业务模型中的所述业务标识;在预设业务信息数据库中查找所述业务标识;若存在所述业务标识,则对所述业务模型进行更新;若不存在所述业务标识,则将所述业务模型添加至所述业务信息数据库。
一个示例中,所述通过解析所述业务标识将所述业务模型反馈至所述用户之后,所述方法还包括:在所述预设业务信息数据库中,获取所述业务类型的历史业务模型;对所述历史业务模型进行业务标签提取,获取历史业务标签信息;根据所述历史业务标签信息确定所述业务标签信息对应的参数区间;对所述历史业务标签信息和所述业务标签信息进行匹配校验,判断所述业务标签信息是否在所述参数区间内;若所述业务标签信息均处于所述参数区间内,确定所述待治理数据不存在异常;若存在至少一个业务标签信息不在所述参数范围内,确定所述待治理数据存在异常。
另一方面,本申请实施例提供了一种基于标识解析的数据治理装置,所述装置包括:集成模块,对标识网关上传的多源异构待治理数据进行集成;调用模块,根据不同的业务类型,调用不同的预设业务标签提取模型;第一生成模块,对所述业务类型进行编码,生成所述业务类型的业务标识;确定模块,通过预设标签提取模型对所述待治理数据进行分析,确定所述业务类型的业务标签信息;写入模块,确定预先构建的所述业务类型的标签数据模型,基于所述标签数据模型中设置的业务标签字段,将所述业务标签信息写入所述标签数据模型;第二生成模块,根据所述标签数据模型以及所述业务标识生成所述业务类型对应的业务模型;解析模块,获取用户对所述业务标识的解析请求,通过解析所述业务标识将所述业务模型反馈至所述用户。
另一方面,本申请实施例提供了一种基于标识解析的数据治理设备,所述设备包括:至少一个处理器;以及,与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够:对标识网关上传的多源异构待治理数据进行集成;根据不同的业务类型,调用不同的预设业务标签提取模型;对所述业务类型进行编码,生成所述业务类型的业务标识;通过预设标签提取模型对所述待治理数据进行分析,确定所述业务类型的业务标签信息;确定预先构建的所述业务类型的标签数据模型,基于所述标签数据模型中设置的业务标签字段,将所述业务标签信息写入所述标签数据模型;根据所述标签数据模型以及所述业务标识生成所述业务类型对应的业务模型;获取用户对所述业务标识的解析请求,通过解析所述业务标识将所述业务模型反馈至所述用户。
另一方面,本申请实施例提供了一种基于标识解析的数据治理非易失性计算机存储介质,存储有计算机可执行指令,其特征在于,所述计算机可执行指令设置为:对标识网关上传的多源异构待治理数据进行集成;根据不同的业务类型,调用不同的预设业务标签提取模型;对所述业务类型进行编码,生成所述业务类型的业务标识;通过预设标签提取模型对所述待治理数据进行分析,确定所述业务类型的业务标签信息;确定预先构建的所述业务类型的标签数据模型,基于所述标签数据模型中设置的业务标签字段,将所述业务标签信息写入所述标签数据模型;根据所述标签数据模型以及所述业务标识生成所述业务类型对应的业务模型;获取用户对所述业务标识的解析请求,通过解析所述业务标识将所述业务模型反馈至所述用户。
本申请实施例采用的上述至少一个技术方案能够达到以下有益效果:
本申请通过基于标识多源异构待治理数据,能够对多源异构数据进行统一管理,同时,通过预设业务标签提取模型对待治理数据进行分析确定业务类型的业务标签信息,并且基于业务标签信息,通过标签数据模型、业务标识,自动生成满足用户需求的业务模型,提高了数据治理的效率,能够快速得到待治理数据是否异常。
附图说明
为了更清楚地说明本申请的技术方案,下面将结合附图来对本申请的部分实施例进行详细说明,附图中:
图1为本申请实施例提供的一种基于标识解析的数据治理方法的流程示意图;
图2为本申请实施例提供的一种基于标识解析的数据治理装置的结构示意图;
图3为本申请实施例提供的一种基于标识解析的数据治理设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合具体实施例及相应的附图对本申请的技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
下面参照附图来对本申请的一些实施例进行详细说明。
图1为本申请实施例提供的一种基于标识解析的数据治理方法的流程示意图。该流程可以由相应领域的计算设备执行,为了方便理解和描述,以下实施例均以服务器为例进行详细描述。流程中的某些输入参数或者中间结果允许人工干预调节,以帮助提高准确性。
需要说明的是,该服务器可以是单独的一台设备,可以是有多台设备组成的系统,即,分布式服务器,本申请对此不做具体限定。
图1中的流程可以包括以下步骤:
S101:对标识网关上传的多源异构待治理数据进行集成。
在本申请的一些实施例中,标识解析作为工业互联网基础核心设施,承载物理、虚拟资产的运营数据,能够实现数据的跨主体、跨系统、跨行业的链接。
因此,服务器对标识网关上传的多源异构待治理数据进行集成,形成数据湖,比如,多源异构待治理数据采集组织内部业务系统、物联网、应用等来源,也就是说,多源异构待治理数据均带有标识,能够对多源异构数据进行采集和管理,实现海量多源异构工业数据汇聚,满足各种业务分析及应用对工业大数据的需求。
进一步地,服务器提供Hadoop等大数据产品服务,实现多源异构待治理数据集中存储,并支持离线批处理、在线流式处理、查询搜索、机器学习等各类大数据计算分析场景。
更进一步地,服务器提供可视化一站式数据开发环境,帮助开发人员轻松实现离线开发、实时开发、机器学习、流程编排、作业调度等各项任务,快速完成数据全链路的加工处理,加速数据变现。
更进一步地,服务器提供数据标准、规范、建模等功能,实现数据标准化、规范化管理。
基于此,接下来继续对如何基于标识解析进行数据治理进行描述。
S102:根据不同的业务类型,调用不同的预设业务标签提取模型。
在本申请的一些实施例中,在集成待治理数据之后,为了实现能够对多源异构数据进行分析,需要对待治理数据进行治理,能够为用户提供相关服务。
具体地,由于用户具有多种需求,导致存在多种业务类型,因此服务器将预先构建多种业务标签提取模型,即,一种业务类型对应专属的业务标签提取模型。其中,业务标签提取模型用于提取待治理数据的业务标签,即,能够实现对待治理数据进行归类。
进一步地,为了由于待治理数据比较杂乱,因此为了在提取业务标签时,既能有效保证准确性,又能减少服务器的计算压力,采用了调用函数的方式。
具体地,在业务标签提取模型中设置业务标签分别对应的多种调用函数,即,各业务标签有专属的调用函数,调用函数用于查询业务标签在待治理数据中所对应的业务标签。从而服务器能够通过调用函数查询业务标签在待治理数据中所对应的业务标签信息。
S103:对所述业务类型进行编码,生成所述业务类型的业务标识。
在本申请的一些实施例中,用户后续调用不同业务类型的服务,为了能够实现快速识别到业务类型对应的服务,并且实现跨系统调用服务,将生成业务类型的业务标识。
S104:通过预设标签提取模型对所述待治理数据进行分析,确定所述业务类型的业务标签信息。
在本申请的一些实施例中,通过调用函数查询业务标签在待治理数据中所对应的业务标签信息,从而得到业务类型的业务标签信息。
但是,由于待治理数据具有局限性,而业务类型又是多样的,因此存在业务标签在待治理数据中所对应的业务标签信息为空的情况,在此情况下,给用户可能带来数据上的缺失,因此可以在保证数据准确性的前提下,弥补该数据缺失。
具体地,在若业务标签在待治理数据中所对应的业务标签信息为空,则在待治理数据中确定与业务标签信息的相关信息,然后根据业务标签信息的相关信息预测业务标签信息,以确定业务类型的业务标签信息。
其中,相关信息是与业务标签信息在业务功能上具有关联性。比如,业务类型为入库业务类型,业务标签包括商品名称、入库时间、入库数量、进货批次等。如果某商品的入库时间信息为空,由于商品的入库时间一定在该商品的出库时间,因此按照经验,可以在得知出库时间的前提下,预测该商品的入库时间。此时,出库时间则是入库时间的相关信息。
在待治理数据中确定与业务标签信息的相关信息时,可以根据预先设置的映射表中,查询与业务标签信息的相关信息。即,在映射表中设置业务标签对应的关联业务标签,然后服务器首先确定待查询的业务标签,从而定位到关联业务标签,然后根据关联业务标签获取在待治理数据中获取到关联业务标签信息。
在根据业务标签信息的相关信息预测业务标签信息时,可以根据预先构建的预测模型,该预测模型可以是将相关信息以及相关信息与业务标签信息之间的规则作为输入,将业务标签信息作为输出进行训练得到。
S105:确定预先构建的所述业务类型的标签数据模型,基于所述标签数据模型中设置的业务标签字段,将所述业务标签信息写入所述标签数据模型。
在本申请的一些实施例中,标签数据模型可以设置为表格的形式,在表格中设置业务标签字段,从而将业务标签信息写入标签数据模型。
S106:根据所述标签数据模型以及所述业务标识,生成所述业务类型对应的业务模型。
其中,业务模型是指能够将业务类型的业务标签信息以预定的形式展示给用户。
在生成业务模型之后,服务器将对业务模型存储至业务信息数据库,因此服务器在生成业务模型之后,将提取业务模型中的业务标识,在预设业务信息数据库中查找所述业务标识,若存在业务标识,则对业务模型进行更新,若不存在业务标识,则将业务模型添加至业务信息数据库。
需要说明的是,在对业务模型进行更新时,会将待更新的业务模型输入至历史业务模型队列,在历史业务模型队列中包括预设时间段的多个历史业务模型。
S107:获取用户对所述业务标识的解析请求,通过解析所述业务标识将所述业务模型反馈至所述用户。
在本申请的一些实施例中,由于在对业务类型进行编码时,存在多种编码标准,各编码标准之间不能相互兼容,因此,服务器首先获取用户对业务标识的解析请求,确定业务标识以及业务标识所对应的编码标准的标准识别码。其中,标准识别码可以用来区分不同的编码标准。该编码标准的标准识别码是全球统一进行分配的。
然后,如果对业务编码进行转换为完全合格的域名格式,需要获取业务标识的分级结构,其中,分级结构信息用于表示业务标识的编码方式。因此,根据标准识别码获取业务标识的分级结构信息。
正则表达式主要是利用单个字符串来描述和匹配符合某种规则的字符串,它能对字符串进行分段、排序等操作。因此,通过正则表达式的描述机制,实现对域名转换规则的获取,能够实现多种编码标准的业务标识转换成完全域名格式,然后再进行解析寻址。
具体地,服务器根据权威信息指针资源记录中的正则表达式以及分级结构信息,确定业务标识的域名转换规则,通过域名转换规则将业务标识格式转换成完全合格的域名格式,确定业务标识关联的统一资源定位器地址,根据统一资源定位器地址进行空间寻址获取业务模型,将业务模型反馈至用户。
进一步地,服务器对权威信息指针资源记录进行查询;其中,资源记录中的正则表达式用于对不同标准体系的编码进行不同描述,通过正则表达式对分级结构信息进行描述,确定业务标识的域名转换规则。
在本申请的一些实施例中,由于待治理数据可能存在异常,因此为了能够及时检测到异常待治理数据,在预设业务信息数据库中,获取业务类型的历史业务模型,对历史业务模型进行业务标签提取,获取历史业务标签信息,最后根据历史业务标签信息确定业务标签信息对应的参数区间,对历史业务标签信息和业务标签信息进行匹配校验,判断业务标签信息是否在参数区间内,若业务标签信息均处于参数区间内,确定待治理数据不存在异常,若存在至少一个业务标签信息不在参数范围内,确定待治理数据存在异常。
需要说明的是,虽然本申请实施例是参照图1来对步骤S101至步骤S107依次进行介绍说明的,但这并不代表步骤S101至步骤S107必须按照严格的先后顺序执行。本申请实施例之所以按照图1中所示的顺序对步骤S101至步骤S107依次进行介绍说明,是为了方便本领域技术人员理解本申请实施例的技术方案。换句话说,在本申请实施例中,步骤S101至步骤S107之间的先后顺序可以根据实际需要进行适当调整。
通过图1的方法,基于标识多源异构待治理数据,能够对多源异构数据进行统一管理,同时,通过预设业务标签提取模型对待治理数据进行分析确定业务类型的业务标签信息,并且基于业务标签信息,通过标签数据模型、业务标识,自动生成满足用户需求的业务模型,提高了数据治理的效率,能够快速得到待治理数据是否异常。
基于同样的思路,本申请的一些实施例还提供了上述方法对应的装置。
图2为本申请实施例提供的一种基于标识解析的数据治理装置的结构示意图,所述装置包括:
集成模块201,对标识网关上传的多源异构待治理数据进行集成;
调用模块202,根据不同的业务类型,调用不同的预设业务标签提取模型;
第一生成模块203,对所述业务类型进行编码,生成所述业务类型的业务标识;
确定模块204,通过预设标签提取模型对所述待治理数据进行分析,确定所述业务类型的业务标签信息;
写入模块205,确定预先构建的所述业务类型的标签数据模型,基于所述标签数据模型中设置的业务标签字段,将所述业务标签信息写入所述标签数据模型;
第二生成模块206,根据所述标签数据模型以及所述业务标识生成所述业务类型对应的业务模型;
解析模块207,获取用户对所述业务标识的解析请求,通过解析所述业务标识将所述业务模型反馈至所述用户。
基于同样的思路,本申请的一些实施例还提供了上述方法对应的设备和非易失性计算机存储介质。
图3为本申请实施例提供的一种基于标识解析的数据治理设备,所述设备包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够:
对标识网关上传的多源异构待治理数据进行集成;
根据不同的业务类型,调用不同的预设业务标签提取模型;
对所述业务类型进行编码,生成所述业务类型的业务标识;
通过预设标签提取模型对所述待治理数据进行分析,确定所述业务类型的业务标签信息;
确定预先构建的所述业务类型的标签数据模型,基于所述标签数据模型中设置的业务标签字段,将所述业务标签信息写入所述标签数据模型;
根据所述标签数据模型以及所述业务标识生成所述业务类型对应的业务模型;
获取用户对所述业务标识的解析请求,通过解析所述业务标识将所述业务模型反馈至所述用户。
本申请的一些实施例提供的一种基于标识解析的数据治理非易失性计算机存储介质,存储有计算机可执行指令,所述计算机可执行指令设置为:
对标识网关上传的多源异构待治理数据进行集成;
根据不同的业务类型,调用不同的预设业务标签提取模型;
对所述业务类型进行编码,生成所述业务类型的业务标识;
通过预设标签提取模型对所述待治理数据进行分析,确定所述业务类型的业务标签信息;
确定预先构建的所述业务类型的标签数据模型,基于所述标签数据模型中设置的业务标签字段,将所述业务标签信息写入所述标签数据模型;
根据所述标签数据模型以及所述业务标识生成所述业务类型对应的业务模型;
获取用户对所述业务标识的解析请求,通过解析所述业务标识将所述业务模型反馈至所述用户。
本申请中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、设备和介质实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本申请实施例提供的装置、设备和介质与方法是一一对应的,因此,装置、设备和介质也具有与其对应的方法类似的有益技术效果,由于上面已经对方法的有益技术效果进行了详细说明,因此,这里不再赘述设备和介质的有益技术效果。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请技术原理之内所作的任何修改、等同替换、改进等,均应落入本申请的保护范围之内。

Claims (10)

1.一种基于标识解析的数据治理方法,其特征在于,所述方法包括:
对标识网关上传的多源异构待治理数据进行集成;
根据不同的业务类型,调用不同的预设业务标签提取模型;
对所述业务类型进行编码,生成所述业务类型的业务标识;
通过预设标签提取模型对所述待治理数据进行分析,确定所述业务类型的业务标签信息;
确定预先构建的所述业务类型的标签数据模型,基于所述标签数据模型中设置的业务标签字段,将所述业务标签信息写入所述标签数据模型;
根据所述标签数据模型以及所述业务标识,生成所述业务类型对应的业务模型;
获取用户对所述业务标识的解析请求,通过解析所述业务标识将所述业务模型反馈至所述用户。
2.根据权利要求1所述的方法,其特征在于,所述获取用户对所述业务标识的解析请求,通过解析所述业务标识将所述业务模型反馈至所述用户,具体包括:
获取所述用户对所述业务标识的解析请求,确定所述业务标识以及所述业务标识所对应的编码标准的标准识别码;
根据所述标准识别码获取所述业务标识的分级结构信息;其中,所述分级结构信息用于表示所述业务标识的编码方式;
根据权威信息指针资源记录中的正则表达式以及所述分级结构信息,确定所述业务标识的域名转换规则;
通过所述域名转换规则将所述业务标识格式转换成完全合格的域名格式;
确定所述业务标识关联的统一资源定位器地址,根据所述统一资源定位器地址进行空间寻址获取所述业务模型,将所述业务模型反馈至所述用户。
3.根据权利要求2所述的方法,其特征在于,所述根据权威信息指针资源记录中的正则表达式以及所述分级结构信息,确定所述业务标识的域名转换规则,具体包括:
对所述权威信息指针资源记录进行查询;其中,所述资源记录中的正则表达式用于对所述不同标准体系的编码进行不同描述;
通过所述正则表达式对所述分级结构信息进行描述,确定所述业务标识的域名转换规则。
4.根据权利要求1所述的方法,其特征在于,所述通过预设标签提取模型对所述待治理数据进行分析,确定所述业务类型的业务标签信息,具体包括:
确定所述预设标签提取模型包括所述业务类型的若干业务标签分别对应的调用函数;
通过所述调用函数查询业务标签在所述待治理数据中所对应的业务标签信息,以确定所述业务类型的业务标签信息。
5.根据权利要求4所述的方法,其特征在于,所述通过所述调用函数查询业务标签在所述待治理数据中所对应的业务标签信息,以确定所述业务类型的业务标签信息,具体包括:
通过所述调用函数查询业务标签在所述待治理数据中所对应的业务标签信息;
若所述业务标签在所述待治理数据中所对应的业务标签信息为空,则在所述待治理数据中确定与所述业务标签信息的相关信息;
根据所述业务标签信息的相关信息预测所述业务标签信息,以确定所述业务类型的业务标签信息。
6.根据权利要求1所述的方法,其特征在于,所述根据所述标签数据模型以及所述业务标识生成所述业务类型对应的业务模型之后,所述方法还包括:
提取所述业务模型中的所述业务标识;
在预设业务信息数据库中查找所述业务标识;
若存在所述业务标识,则对所述业务模型进行更新;
若不存在所述业务标识,则将所述业务模型添加至所述业务信息数据库。
7.根据权利要求6所述的方法,其特征在于,所述通过解析所述业务标识将所述业务模型反馈至所述用户之后,所述方法还包括:
在所述预设业务信息数据库中,获取所述业务类型的历史业务模型;
对所述历史业务模型进行业务标签提取,获取历史业务标签信息;
根据所述历史业务标签信息确定所述业务标签信息对应的参数区间;
对所述历史业务标签信息和所述业务标签信息进行匹配校验,判断所述业务标签信息是否在所述参数区间内;
若所述业务标签信息均处于所述参数区间内,确定所述待治理数据不存在异常;
若存在至少一个业务标签信息不在所述参数范围内,确定所述待治理数据存在异常。
8.一种基于标识解析的数据治理装置,其特征在于,所述装置包括:
集成模块,对标识网关上传的多源异构待治理数据进行集成;
调用模块,根据不同的业务类型,调用不同的预设业务标签提取模型;
第一生成模块,对所述业务类型进行编码,生成所述业务类型的业务标识;
确定模块,通过预设标签提取模型对所述待治理数据进行分析,确定所述业务类型的业务标签信息;
写入模块,确定预先构建的所述业务类型的标签数据模型,基于所述标签数据模型中设置的业务标签字段,将所述业务标签信息写入所述标签数据模型;
第二生成模块,根据所述标签数据模型以及所述业务标识生成所述业务类型对应的业务模型;
解析模块,获取用户对所述业务标识的解析请求,通过解析所述业务标识将所述业务模型反馈至所述用户。
9.一种基于标识解析的数据治理设备,其特征在于,所述设备包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够:
对标识网关上传的多源异构待治理数据进行集成;
根据不同的业务类型,调用不同的预设业务标签提取模型;
对所述业务类型进行编码,生成所述业务类型的业务标识;
通过预设标签提取模型对所述待治理数据进行分析,确定所述业务类型的业务标签信息;
确定预先构建的所述业务类型的标签数据模型,基于所述标签数据模型中设置的业务标签字段,将所述业务标签信息写入所述标签数据模型;
根据所述标签数据模型以及所述业务标识生成所述业务类型对应的业务模型;
获取用户对所述业务标识的解析请求,通过解析所述业务标识将所述业务模型反馈至所述用户。
10.一种基于标识解析的数据治理非易失性计算机存储介质,存储有计算机可执行指令,其特征在于,所述计算机可执行指令设置为:
对标识网关上传的多源异构待治理数据进行集成;
根据不同的业务类型,调用不同的预设业务标签提取模型;
对所述业务类型进行编码,生成所述业务类型的业务标识;
通过预设标签提取模型对所述待治理数据进行分析,确定所述业务类型的业务标签信息;
确定预先构建的所述业务类型的标签数据模型,基于所述标签数据模型中设置的业务标签字段,将所述业务标签信息写入所述标签数据模型;
根据所述标签数据模型以及所述业务标识生成所述业务类型对应的业务模型;
获取用户对所述业务标识的解析请求,通过解析所述业务标识将所述业务模型反馈至所述用户。
CN202111578776.8A 2021-12-22 2021-12-22 一种基于标识解析的数据治理方法、装置、设备及介质 Pending CN114490679A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111578776.8A CN114490679A (zh) 2021-12-22 2021-12-22 一种基于标识解析的数据治理方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111578776.8A CN114490679A (zh) 2021-12-22 2021-12-22 一种基于标识解析的数据治理方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN114490679A true CN114490679A (zh) 2022-05-13

Family

ID=81494116

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111578776.8A Pending CN114490679A (zh) 2021-12-22 2021-12-22 一种基于标识解析的数据治理方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN114490679A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116226108A (zh) * 2023-02-23 2023-06-06 广州大学 可实现不同治理程度的数据治理方法及系统
CN117880329A (zh) * 2024-03-12 2024-04-12 福建时代星云科技有限公司 一种物联网设备多网关接入方法
CN117880329B (zh) * 2024-03-12 2024-05-28 福建时代星云科技有限公司 一种物联网设备多网关接入方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116226108A (zh) * 2023-02-23 2023-06-06 广州大学 可实现不同治理程度的数据治理方法及系统
CN117880329A (zh) * 2024-03-12 2024-04-12 福建时代星云科技有限公司 一种物联网设备多网关接入方法
CN117880329B (zh) * 2024-03-12 2024-05-28 福建时代星云科技有限公司 一种物联网设备多网关接入方法

Similar Documents

Publication Publication Date Title
CN106682097B (zh) 一种处理日志数据的方法和装置
CN109343857B (zh) 线上部署机器学习模型的方法、设备和存储介质
CN106951231B (zh) 一种计算机软件开发方法及装置
CN106293891B (zh) 多维投资指标监督方法
CN112559475B (zh) 数据实时捕获和传输方法及系统
Patwardhan et al. A survey on predictive maintenance through big data
CN112882974A (zh) 一种json数据转换方法、装置、计算机设备和存储介质
CN108540351B (zh) 分布式大数据服务的自动化测试方法
CN112363718A (zh) 一种基于微服务架构的工业应用集成系统
CN111680868A (zh) 医药工艺流程化方法、装置、计算机设备和存储介质
CN105786941B (zh) 一种信息挖掘方法和装置
CN114490679A (zh) 一种基于标识解析的数据治理方法、装置、设备及介质
Pelekh et al. Design of a system for dynamic integration of weakly structured data based on mash-up technology
CN115881106A (zh) 一种基于多场景语义分析的智能填单方法、设备及介质
CN111142849A (zh) 流程处理方法、装置、存储介质及处理器
CN110457010B (zh) 基于协作平台批量更改任务单的方法及装置
CN111381935A (zh) 一种基于dsl配置表达式的功能实现方法及系统
CN111026972A (zh) 物联网中的订阅数据推送方法、装置、设备及存储介质
CN107505852B (zh) 一种包含仿真信息的云制造服务描述文件的构建方法
CN111125087A (zh) 数据的存储方法及装置
CN114265883A (zh) 一种实时数据治理的方法、设备、存储介质
EP3465562A1 (en) Data driven invocation of real time wind market forecasting analytics
CN114047999A (zh) 页面配置的方法、系统、电子设备和存储介质
CN114138787A (zh) 一种条码识别方法、设备及介质
CN113553047A (zh) 一种将dsl转换为可视化页面的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination