CN110765100A - 标签的生成方法、装置、计算机可读存储介质及服务器 - Google Patents
标签的生成方法、装置、计算机可读存储介质及服务器 Download PDFInfo
- Publication number
- CN110765100A CN110765100A CN201910848735.2A CN201910848735A CN110765100A CN 110765100 A CN110765100 A CN 110765100A CN 201910848735 A CN201910848735 A CN 201910848735A CN 110765100 A CN110765100 A CN 110765100A
- Authority
- CN
- China
- Prior art keywords
- data
- model
- labeling target
- target model
- label
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/211—Schema design and management
- G06F16/212—Schema design and management with details for data modelling support
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
- G06F16/2246—Trees, e.g. B+trees
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请属于数据处理技术领域,提供了一种标签的生成方法、装置、计算机可读存储介质及服务器,该方法包括:以贴标目标模型以及模型库中除所述贴标目标模型以外的若干数据模型作为节点,构建有向图;将所述贴标目标模型中的数据内容与若干所述数据模型中的数据内容逐一比对;若所述贴标目标模型与所述数据模型中的数据内容具有相同字段且所述相同字段为至少一个模型的主键,则在所述有向图中新增一条连接所述贴标目标模型和所述数据模型的边;根据预设筛选条件对所述有向图中的数据结构进行筛选,生成树状图;根据所述树状图的数据结构进行标签计算,获得标签数据。本申请实施例简化标签计算流程,提高标签计算效率。
Description
技术领域
本发明涉及数据处理的技术领域,尤其涉及一种标签的生成方法、装置、计算机可读存储介质及服务器。
背景技术
在互联网时代,各个行业例如金融行业中公司之间的线上业务往来以及客户在线上平台的业务办理等线上业务的高速发展,使得系统中存储有庞大的客户数据以及交易数据等数据。为实现对不同群体实现更精准的服务推送、服务设计以及客户行为分析,需对系统中大数据进行数据分析,其中比较常用的数据分析处理方法为数据标签化,按标签设计将数据打上标签。
现有的数据标签化方法采用SQL(结构化查询语言)生成标签,但此方法在对业务人员编辑的业务逻辑进行解析以及对涉及的大量数据模型进行标签计算过程时,业务人员对数据模型并不熟悉且不具备脚本编写能力,导致无法实现业务需求、科技沟通成本过高的问题,工作效率低下。
发明内容
有鉴于此,本发明实施例提供了一种标签的生成方法、装置、计算机可读存储介质及服务器,以解决业务人员对数据模型并不熟悉且不具备脚本编写能力,导致无法实现业务需求、科技沟通成本过高的问题。
本发明实施例的第一方面提供了一种标签的生成方法,包括:
以贴标目标模型以及模型库中除所述贴标目标模型以外的若干数据模型作为节点,构建有向图;
将所述贴标目标模型中的数据内容与若干所述数据模型中的数据内容逐一比对;
若所述贴标目标模型与所述数据模型中的数据内容具有相同字段且所述相同字段为所述贴标目标模型和所述数据模型中至少一个模型的主键,则在所述有向图中新增一条连接所述贴标目标模型和所述数据模型的边;
将所述贴标目标模型与若干所述数据模型中的数据内容遍历后,根据预设筛选条件对所述有向图中的数据结构进行筛选,生成树状图;
根据所述树状图的数据结构进行标签计算,获得标签数据。
在一个实施示例中,所述模型库中还包括所述贴标目标模型与所述模型库中除所述贴标目标模型以外的若干所述数据模型之间的模型关系;
若所述贴标目标模型与所述数据模型中的数据内容无相同字段,根据所述模型关系判断所述数据模型是否为所述贴标目标模型的关联模型;
若是,则在所述有向图中新增一条从所述贴标目标模型指向所述数据模型的边。
在一个实施示例中,若所述贴标目标模型与所述数据模型中的数据内容无相同字段,根据所述模型关系判断所述数据模型是否为所述贴标目标模型的关联模型之后,还包括:
若所述数据模型不为所述贴标目标模型的关联模型,根据所述模型关系查找所述数据模型与所述贴标目标模型的间接关联关系;
所述间接关联关系存在时,生成以所述贴标目标模型为根节点通过中间路径与所述数据模型连接的联通子图;所述中间路径根据所述间接关联关系中涉及的数据模型生成;
将所述联通子图合并至所述有向图中。
在一个实施示例中,所述将所述贴标目标模型与若干所述数据模型中的数据内容遍历后,根据预设筛选条件对所述有向图中的数据结构进行筛选,生成树状图,包括:
舍去所述有向图中具有多对多关系的数据结构;
根据筛选后的有向图中数据结构,生成以所述贴标目标模型为根节点的树状图。
在一个实施示例中,所述根据所述树状图的数据结构进行标签计算,获得标签数据,包括:
查找所述树状图中包含由所述数据模型构成的所有节点的最小生成树;
解析预设的标签规则获得聚合、过滤及运算条件;
根据所述聚合、过滤及运算条件对所述最小生成树中的数据进行标签计算,获得标签数据。
在一个实施示例中,在以贴标目标模型以及模型库中除所述贴标目标模型以外的若干数据模型作为节点,构建有向图之前,还包括:
导入贴标目标模型以及模型库中除所述贴标目标模型以外的若干数据模型;所述贴标目标模型和所述数据模型中均包括对应的数据内容。
在一个实施示例中,所述在所述有向图中新增一条连接所述贴标目标模型和所述数据模型的边,包括:
若所述相同字段为所述贴标目标模型的主键,则在所述有向图中新增一条从所述贴标目标模型指向所述数据模型的边;
若所述相同字段不是所述贴标目标模型的主键,则在所述有向图中新增一条从所述数据模型指向所述贴标目标模型的边。
本发明实施例的第二方面提供了一种标签的生成装置,包括:
有向图构建模块,用于以贴标目标模型以及模型库中除所述贴标目标模型以外的若干数据模型作为节点,构建有向图;
对比模块,用于将所述贴标目标模型中的数据内容与若干所述数据模型中的数据内容逐一比对;
结构构建模块,用于若所述贴标目标模型与所述数据模型中的数据内容具有相同字段且所述相同字段为所述贴标目标模型和所述数据模型中至少一个模型的主键,则在所述有向图中新增一条连接所述贴标目标模型和所述数据模型的边;
树状图生成模块,用于将所述贴标目标模型与若干所述数据模型中的数据内容遍历后,根据预设筛选条件对所述有向图中的数据结构进行筛选,生成树状图;
标签计算模块,用于根据所述树状图的数据结构进行标签计算,获得标签数据。
本发明实施例的第三方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面所述方法的步骤。
本发明实施例的第四方面提供了一种服务器,包括:存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现第一方面所述方法的步骤。
本发明实施例提供的一种标签的生成方法、装置、计算机可读存储介质及服务器,通过以贴标目标模型以及模型库中除所述贴标目标模型以外的若干数据模型作为节点,构建有向图;将所述贴标目标模型中的数据内容与若干所述数据模型中的数据内容逐一比对;若所述贴标目标模型与所述数据模型中的数据内容具有相同字段且所述相同字段为所述贴标目标模型和所述数据模型中至少一个模型的主键,则在所述有向图中新增一条连接所述贴标目标模型和所述数据模型的边;将所述贴标目标模型与若干所述数据模型中的数据内容遍历后,根据预设筛选条件对所述有向图中的数据结构进行筛选,生成树状图;根据所述树状图的数据结构进行标签计算,获得标签数据。在涉及大量模型数据的情况下,根据血缘关系自动找到贴标目标模型与其他数据模型的数据关联关系并进行表关联和计算生成树状图后再进行标签计算,从而实现对涉及的大量模型数据进行预先处理,简化标签计算流程,提高数据处理速率。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例一提供的标签的生成方法的流程示意图;
图2是本发明实施例二提供的标签的生成方法的流程示意图;
图3是本发明实施例三提供的标签的生成装置的结构示意图;
图4是本发明实施例五提供的服务器的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚地描述,显然,所描述的实施例是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“包括”以及它们任何变形,意图在于覆盖不排他的包含。例如包含一系列步骤或单元的过程、方法或系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。此外,术语“第一”、“第二”和“第三”等是用于区别不同对象,而非用于描述特定顺序。
实施例一
如图1所示,是本发明实施例一提供的标签的生成方法的流程示意图。本实施例可适用于对各行业的系统中数据进行数据标签化的处理过程。该方法可以由服务器执行。在本发明实施例中以该服务器作为执行主体进行说明,该方法具体包括如下步骤:
S110、以贴标目标模型以及模型库中除所述贴标目标模型以外的若干数据模型作为节点,构建有向图;
在互联网时代,各个行业例如金融行业中公司之间的线上业务往来以及客户在线上平台的业务办理等线上业务的高速发展,使得系统中存储有庞大的客户数据以及交易数据等数据。为实现不同的业务需求,可对系统中大数据进行数据标签化处理。其中,由于系统中存储有大量用户以及业务数据,可预先将系统中数据按属性分类归档构建若干数据模型并将这些数据模型存储在模型库中方便标签计算时调用。当业务员定义标签规则后可进入标签的生成过程。
在一个实施示例中,在以贴标目标模型以及模型库中除所述贴标目标模型以外的若干数据模型作为节点,构建有向图之前,可先从模型库中导入贴标目标模型以及模型库中除所述贴标目标模型以外的若干数据模型;所述贴标目标模型和所述数据模型中均包括对应的数据内容。其中,当业务员定义标签规则后进入标签的生成过程时,可依据预设的标签规则中业务员的业务需求确定需求对应的数据模型为贴标目标模型。
导入模型库中的贴标目标模型和模型库中除去该贴标目标模型的其它若干数据模型,服务器以贴标目标模型以及模型库中除贴标目标模型以外的其它若干数据模型作为节点,先初始化构建空的有向图数据结构。可选的,该有向图可为带权有向无环图数据结构graph。
S120、将所述贴标目标模型中的数据内容与若干所述数据模型中的数据内容逐一比对;
由于贴标目标模型和数据模型中均包括对应的数据内容,可将贴标目标模型中的每一数据内容与导入的若干数据模型中的数据内容进行逐一比对即将所述贴标目标模型与若干所述数据模型中的数据内容遍历,查找贴标模型是否与若干数据模型之中的数据内容具有相同字段,并且提取该相同字段至相同字段合集中。
S130、若所述贴标目标模型与所述数据模型中的数据内容具有相同字段且所述相同字段为所述贴标目标模型和所述数据模型中至少一个模型的主键,则在所述有向图中新增一条连接所述贴标目标模型和所述数据模型的边;
在将贴标目标模型的每一数据内容与若干数据模型的数据内容逐一对比的过程中,当对比发现存在某一数据模型与贴标目标模型具有相同字段时,判断该相同字段是否还为此数据模型和贴标目标模型中至少一个模型的主键;若是,则在之前构建的有向图中新增一条连接贴标目标模型和此数据模型的边。并且由于在有向图中贴标目标模型和其它若干数据模型均以节点的形式存在,新增一条连接贴标目标模型和此数据模型的边可为在有向图中新增一条贴标目标模型的节点连接该数据模型的节点的边。
在一个实施示例中,可依据以相同字段为主键的模型确定在有向图中新增的一条边由哪一节点出边。贴标目标模型与某一数据模型中的数据内容具有相同字段且该相同字段为贴标目标模型和此数据模型中至少一个模型的主键,此时存在三种可能的情况;其一,该相同字段只为贴标目标模型的主键;其二,该相同字段只为与贴标目标模型具有相同字段的某一数据模型的主键;其三,该相同字段为贴标目标模型和数据模型的主键。可选的,通过判断该相同字段是否为所述贴标目标模型的主键确定出边节点;若该相同字段是贴标目标模型的主键,则在有向图中新增一条从贴标目标模型的节点指向与贴标目标模型具有相同字段的某一数据模型的节点的边。若该相同字段不是贴标目标模型的主键,则在有向图中新增一条从与贴标目标模型具有相同字段的某一数据模型的节点指向贴标目标模型的节点的边。
具体地,服务器模型库中还包括贴标目标模型与模型库中除贴标目标模型以外的其它若干所述数据模型之间的模型关系。当服务器判断贴标目标模型与某一数据模型中的数据内容无相同字段时,还可从模型库中获取模型关系并根据模型关系判断与目标贴标模型的数据内容无相同字段的某一数据模型是否为贴标目标模型的关联模型。在贴标目标模型与某一数据模型中的数据内容无相同字段的情况下,通过模型关系查找贴标目标模型与此数据模型的关联性。
在一个实施示例中,若所述贴标目标模型与所述数据模型中的数据内容无相同字段,根据所述模型关系判断所述数据模型是否为所述贴标目标模型的关联模型;若是,则在所述有向图中新增一条从所述贴标目标模型指向所述数据模型的边。具体地,若根据模型关系判断与目标贴标模型的数据内容无相同字段的某一数据模型为目标贴标模型的关联模型时,目标贴标模型与该数据模型具有直接关联关系,在最新的有向图的基础上新增一条从目标贴标模型的节点指向该数据模型的节点的边。
在另一个实施示例中,在某一数据模型与贴标目标模型中的数据内容无相同字段的情况下,若服务器根据模型关系判断该数据模型不为贴标目标模型的关联模型,则还可根据模型库中的模型关系查找该数据模型与贴标目标模型的间接关联关系;例如当贴标目标模型与数据模型A不为关联模型时,若根据模型关系查找得到贴标目标模型与数据模型B相关联并且数据模型B与数据模型A也相关联时,可判断贴标目标模型与数据模型A存在间接关联关系。
因此,当服务器根据模型关系查找到贴标目标模型与该数据模型的间接关联关系即间接关联关系存在时,生成以所述贴标目标模型为根节点通过中间路径与所述数据模型连接的联通子图;所述中间路径根据所述间接关联关系中涉及的数据模型生成。具体地,例如贴标目标模型与数据模型A的间接关联关系为贴标目标模型与数据模型B相关联,数据模型B与数据模型A相关联,则贴标目标模型与数据模型A的间接关联关系中涉及数据模型B,在生成的以贴标目标模型为根节点通过中间路径与数据模型A连接的联通子图中,以贴标目标模型的节点为根节点新增一条指向数据模型B的节点的边,然后再从数据模型B的节点新增一条指向数据模型A的边,获得体现贴标目标模型与某一数据模型的间接关联关系的数据结构。其中,中间路径包括数据模型B的节点以及节点上边的指向。
在服务器查找得到贴标目标模型与某一数据模型的间接关联关系并根据该间接关联关系生成以贴标目标模型为根节点通过中间路径与该数据模型连接的联通子图后,将生成的联通子图合并至有向图中,以将体现贴标目标模型与该数据模型的间接关联关系的数据结构添加至有向图中,使得有向图中贴标目标模型与若干数据模型之间的关联关系更加完善。
S140、将所述贴标目标模型与若干所述数据模型中的数据内容遍历后,根据预设筛选条件对所述有向图中的数据结构进行筛选,生成树状图;
由于贴标目标模型和数据模型中均包括对应的数据内容,可将贴标目标模型中的每一数据内容与导入的若干数据模型中的数据内容进行逐一比对即将所述贴标目标模型与若干所述数据模型中的数据内容遍历,根据血缘关系自动找到与贴标目标模型相关联的数据模型并在有向图中构建关联关系对应的数据结构。在服务器将所述贴标目标模型与若干所述数据模型中的数据内容遍历后,服务器根据预设筛选条件对有向图中的数据结构进行筛选,将多余以及无效的数据结构剔除。并根据筛选后的有向图中的数据结构生成树状图,从而实现对涉及的大量模型数据进行预先处理,简化标签计算流程。
S150、根据所述树状图的数据结构进行标签计算,获得标签数据。
通过服务器预先对目标贴标模型与模型库中目标贴标模型以外的其它若干数据模型进行数据关联关系查找并生成树状图,简化模型关系的构建。服务器获取到业务员预设的标签规则后对标签规则中的业务逻辑进行解析生成标签计算的SQL计算语言,只需对预处理获得的树状图的数据结构进行标签计算,就能够获得标签数据,简化标签计算流程并提高数据处理速率。
本发明实施例提供的一种标签的生成方法,通过以贴标目标模型以及模型库中除所述贴标目标模型以外的若干数据模型作为节点,构建有向图;将所述贴标目标模型中的数据内容与若干所述数据模型中的数据内容逐一比对;若所述贴标目标模型与所述数据模型中的数据内容具有相同字段且所述相同字段为所述贴标目标模型和所述数据模型中至少一个模型的主键,则在所述有向图中新增一条连接所述贴标目标模型和所述数据模型的边;将所述贴标目标模型与若干所述数据模型中的数据内容遍历后,根据预设筛选条件对所述有向图中的数据结构进行筛选,生成树状图;根据所述树状图的数据结构进行标签计算,获得标签数据。在涉及大量模型数据的情况下,根据血缘关系自动找到贴标目标模型与其他数据模型的数据关联关系并进行表关联和计算生成树状图后再进行标签计算,从而实现对涉及的大量模型数据进行预先处理,简化标签计算流程,提高数据处理速率。
实施例二
如图2所示,是本发明实施例二提供的标签的生成方法的流程示意图。在实施例一的基础上,本实施例还提供了根据预设标签定义进行标签计算的过程,从而获得标签数据。
S210、以贴标目标模型以及模型库中除所述贴标目标模型以外的若干数据模型作为节点,构建有向图;
S220、将所述贴标目标模型中的数据内容与若干所述数据模型中的数据内容逐一比对;
S230、若所述贴标目标模型与所述数据模型中的数据内容具有相同字段且所述相同字段为所述贴标目标模型和所述数据模型中至少一个模型的主键,则在所述有向图中新增一条连接所述贴标目标模型和所述数据模型的边;
S240、将所述贴标目标模型与若干所述数据模型中的数据内容遍历后,根据预设筛选条件对所述有向图中的数据结构进行筛选,生成树状图;
由于贴标目标模型和数据模型中均包括对应的数据内容,可将贴标目标模型中的每一数据内容与导入的若干数据模型中的数据内容进行逐一比对即将所述贴标目标模型与若干所述数据模型中的数据内容遍历,根据血缘关系自动找到与贴标目标模型相关联的数据模型并在有向图中构建关联关系对应的数据结构。在服务器将所述贴标目标模型与若干所述数据模型中的数据内容遍历后,服务器根据预设筛选条件对有向图中的数据结构进行筛选,将多余以及无效的数据结构剔除。并根据筛选后的有向图中的数据结构生成树状图,从而实现对涉及的大量模型数据进行预先处理,简化标签计算流程。
在一个实施示例中,可选的,预设筛选条件可为舍去有向图中具有多对多关系的数据结构;服务器根据预设筛选条件将有向图中具有多对多关系的数据结构筛除,使有向图中的数据结构整体满足1对1或1对多关系;再根据筛选后的有向图中数据结构,生成以所述贴标目标模型为根节点的树状图。
S250、查找所述树状图中包含由所述数据模型构成的所有节点的最小生成树;
具体地,可通过对有向图中每一节点上的边分配出边加权值以实现查找所述树状图中包含由所述数据模型构成的所有节点的最小生成树。例如可配置每一节点上1对1数据结构的出边权指为0;1对多数据结构的出边权指为1;在以贴标目标模型为根节点的树状图中,查找满足每个节点的出边加权和小于或等于1并且包含由若干数据模型构成的所有节点的最小生成树,从而简化模型关系的构建。
S260、解析预设的标签规则获得聚合、过滤及运算条件;
在进行标签计算时,服务器获取到业务员预设的标签规则,对标签规则中的业务逻辑进行解析生成标签计算的SQL计算语言,只需对预处理获得的树状图的数据结构进行标签计算,就能够获得标签数据,简化标签计算流程并提高数据处理速率。具体地,服务器对预设的标签规则进行业务逻辑解析获得数据的聚合、过滤及运算条件。
S270、根据所述聚合过滤条件对所述最小生成树中的数据进行标签计算,获得标签数据。
具体地,在SQL的实施环境下,服务器按照查找得到的最小生成树的结构,从贴标目标模型开始关联模型库中其它数据模型,生成select和join子句;将解析得到的过滤条件写入到where子句;group by贴标目标模型的主键;将解析得到的聚合过滤条件写到having子句;生成标签计算的SQL计算语言。执行最终的SQL语句,计算得到标签数据。
实施例三
图3是本发明实施例三提供的标签的生成装置的结构示意图。在实施例一或实施例二的基础上,本发明实施例还提供了一种标签的生成装置3,该装置包括:
有向图构建模块301,用于以贴标目标模型以及模型库中除所述贴标目标模型以外的若干数据模型作为节点,构建有向图;
在一个实施示例中,该装置还包括:
数据导入模块,用于导入贴标目标模型以及模型库中除所述贴标目标模型以外的若干数据模型;所述贴标目标模型和所述数据模型中均包括对应的数据内容。
对比模块302,用于将所述贴标目标模型中的数据内容与若干所述数据模型中的数据内容逐一比对;
结构构建模块303,用于若所述贴标目标模型与所述数据模型中的数据内容具有相同字段且所述相同字段为所述贴标目标模型和所述数据模型中至少一个模型的主键,则在所述有向图中新增一条连接所述贴标目标模型和所述数据模型的边;
在一个实施示例中,若所述贴标目标模型与所述数据模型中的数据内容具有相同字段且所述相同字段为所述贴标目标模型和所述数据模型中至少一个模型的主键,则在所述有向图中新增一条连接所述贴标目标模型和所述数据模型的边,结构构建模块303还包括:
第一构建单元,用于若所述相同字段为所述贴标目标模型的主键,则在所述有向图中新增一条从所述贴标目标模型指向所述数据模型的边;
第二构建单元,用于若所述相同字段不是所述贴标目标模型的主键,则在所述有向图中新增一条从所述数据模型指向所述贴标目标模型的边。
在一个实施示例中,模型库中还包括所述贴标目标模型与所述模型库中除所述贴标目标模型以外的若干所述数据模型之间的模型关系。该装置还包括:
关联判断模块,用于若所述贴标目标模型与所述数据模型中的数据内容无相同字段,根据所述模型关系判断所述数据模型是否为所述贴标目标模型的关联模型;
在一个实施示例中,关联判断模块还包括:
第一关系构建单元,用于若数据模型为所述贴标目标模型的关联模型,则在所述有向图中新增一条从所述贴标目标模型指向所述数据模型的边。
间接关联查找单元,用于若所述数据模型不为所述贴标目标模型的关联模型,根据所述模型关系查找所述数据模型与所述贴标目标模型的间接关联关系;
第二关系构建单元,用于所述间接关联关系存在时,生成以所述贴标目标模型为根节点通过中间路径与所述数据模型连接的联通子图;所述中间路径根据所述间接关联关系中涉及的数据模型生成;
合并单元,用于将所述联通子图合并至所述有向图中。
树状图生成模块304,用于将所述贴标目标模型与若干所述数据模型中的数据内容遍历后,根据预设筛选条件对所述有向图中的数据结构进行筛选,生成树状图;
在一个实施示例中,将所述贴标目标模型与若干所述数据模型中的数据内容遍历后,根据预设筛选条件对所述有向图中的数据结构进行筛选,生成树状图时,树状图生成模块304还包括:
数据结构舍弃单元,用于舍去所述有向图中具有多对多关系的数据结构;
树状图生成单元,用于根据筛选后的有向图中数据结构,生成以所述贴标目标模型为根节点的树状图。
标签计算模块305,用于根据所述树状图的数据结构进行标签计算,获得标签数据。
在一个实施示例中,根据所述树状图的数据结构进行标签计算,获得标签数据时,标签计算模块305还包括:
最小生成树查找单元,用于查找所述树状图中包含由所述数据模型构成的所有节点的最小生成树;
解析单元,用于解析预设的标签规则获得聚合、过滤及运算条件;
标签计算单元,用于根据所述聚合、过滤及运算条件对所述最小生成树中的数据进行标签计算,获得标签数据。
本发明实施例提供的一种标签的生成装置,通过以贴标目标模型以及模型库中除所述贴标目标模型以外的若干数据模型作为节点,构建有向图;将所述贴标目标模型中的数据内容与若干所述数据模型中的数据内容逐一比对;若所述贴标目标模型与所述数据模型中的数据内容具有相同字段且所述相同字段为所述贴标目标模型和所述数据模型中至少一个模型的主键,则在所述有向图中新增一条连接所述贴标目标模型和所述数据模型的边;将所述贴标目标模型与若干所述数据模型中的数据内容遍历后,根据预设筛选条件对所述有向图中的数据结构进行筛选,生成树状图;根据所述树状图的数据结构进行标签计算,获得标签数据。在涉及大量模型数据的情况下,根据血缘关系自动找到贴标目标模型与其他数据模型的数据关联关系并进行表关联和计算生成树状图后再进行标签计算,从而实现对涉及的大量模型数据进行预先处理,简化标签计算流程,提高数据处理速率。
实施例四
本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其中,所述计算机程序被处理器执行时实现实施例一或实施例二中的标签的生成方法的步骤。
当然,本发明实施例所提供的一种处理器可执行指令的计算机可读存储介质,其处理器可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的标签的生成方法中的相关操作。
实施例五
图4是本发明实施例五提供的服务器的示意图。该实施例的服务器包括:处理器40、存储器41以及存储在所述存储器41中并可在所述处理器40上运行的计算机程序42,例如标签的生成方法的程序。所述处理器40执行所述计算机程序42时实现上述标签的生成方法实施例中的步骤,例如图1所示的步骤S110至S150或图2所示的步骤S210至S270。
示例性的,所述计算机程序42可以被分割成一个或多个模块,所述一个或者多个模块被存储在所述存储器41中,并由所述处理器40执行,以完成本申请。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序42在所述服务器4中的执行过程。例如,所述计算机程序42可以被分割成有向图构建模块、对比模块、结构构建模块、树状图生成模块和标签计算模块,各模块具体功能如下:
有向图构建模块,用于以贴标目标模型以及模型库中除所述贴标目标模型以外的若干数据模型作为节点,构建有向图;
对比模块,用于将所述贴标目标模型中的数据内容与若干所述数据模型中的数据内容逐一比对;
结构构建模块,用于若所述贴标目标模型与所述数据模型中的数据内容具有相同字段且所述相同字段为所述贴标目标模型和所述数据模型中至少一个模型的主键,则在所述有向图中新增一条连接所述贴标目标模型和所述数据模型的边;
树状图生成模块,用于将所述贴标目标模型与若干所述数据模型中的数据内容遍历后,根据预设筛选条件对所述有向图中的数据结构进行筛选,生成树状图;
标签计算模块,用于根据所述树状图的数据结构进行标签计算,获得标签数据。
所述服务器可包括,但不仅限于,处理器40、存储器41以及存储在所述存储器41。本领域技术人员可以理解,图4仅仅是服务器4的示例,并不构成对服务器4的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述控制装置还可以包括输入输出设备、网络接入设备、总线等。
所称处理器40可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器41可以是所述服务器的内部存储单元,例如服务器4的硬盘或内存。所述存储器41也可以是服务器4的外部存储设备,例如服务器4上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器41还可以既包括服务器4的内部存储单元也包括外部存储设备。所述存储器41用于存储所述计算机程序以及服务器所需的其他程序和数据。所述存储器41还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中,应该理解到,所揭露的装置/终端设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/终端设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。
Claims (10)
1.一种标签的生成方法,其特征在于,包括:
以贴标目标模型以及模型库中除所述贴标目标模型以外的若干数据模型作为节点,构建有向图;
将所述贴标目标模型中的数据内容与若干所述数据模型中的数据内容逐一比对;
若所述贴标目标模型与所述数据模型中的数据内容具有相同字段且所述相同字段为所述贴标目标模型和所述数据模型中至少一个模型的主键,则在所述有向图中新增一条连接所述贴标目标模型和所述数据模型的边;
将所述贴标目标模型与若干所述数据模型中的数据内容遍历后,根据预设筛选条件对所述有向图中的数据结构进行筛选,生成树状图;
根据所述树状图的数据结构进行标签计算,获得标签数据。
2.如权利要求1所述的标签的生成方法,其特征在于,所述模型库中还包括所述贴标目标模型与所述模型库中除所述贴标目标模型以外的若干所述数据模型之间的模型关系;
若所述贴标目标模型与所述数据模型中的数据内容无相同字段,根据所述模型关系判断所述数据模型是否为所述贴标目标模型的关联模型;
若是,则在所述有向图中新增一条从所述贴标目标模型指向所述数据模型的边。
3.如权利要求2所述的标签的生成方法,其特征在于,若所述贴标目标模型与所述数据模型中的数据内容无相同字段,根据所述模型关系判断所述数据模型是否为所述贴标目标模型的关联模型之后,还包括:
若所述数据模型不为所述贴标目标模型的关联模型,根据所述模型关系查找所述数据模型与所述贴标目标模型的间接关联关系;
所述间接关联关系存在时,生成以所述贴标目标模型为根节点通过中间路径与所述数据模型连接的联通子图;所述中间路径根据所述间接关联关系中涉及的数据模型生成;
将所述联通子图合并至所述有向图中。
4.如权利要求3所述的标签的生成方法,其特征在于,所述将所述贴标目标模型与若干所述数据模型中的数据内容遍历后,根据预设筛选条件对所述有向图中的数据结构进行筛选,生成树状图,包括:
舍去所述有向图中具有多对多关系的数据结构;
根据筛选后的有向图中数据结构,生成以所述贴标目标模型为根节点的树状图。
5.如权利要求4所述的标签的生成方法,其特征在于,所述根据所述树状图的数据结构进行标签计算,获得标签数据,包括:
查找所述树状图中包含由所述数据模型构成的所有节点的最小生成树;
解析预设的标签规则获得聚合、过滤及运算条件;
根据所述聚合、过滤及运算条件对所述最小生成树中的数据进行标签计算,获得标签数据。
6.如权利要求5所述的标签的生成方法,其特征在于,在以贴标目标模型以及模型库中除所述贴标目标模型以外的若干数据模型作为节点,构建有向图之前,还包括:
导入贴标目标模型以及模型库中除所述贴标目标模型以外的若干数据模型;所述贴标目标模型和所述数据模型中均包括对应的数据内容。
7.如权利要求1至6中任一项所述的标签的生成方法,其特征在于,所述在所述有向图中新增一条连接所述贴标目标模型和所述数据模型的边,包括:
若所述相同字段为所述贴标目标模型的主键,则在所述有向图中新增一条从所述贴标目标模型指向所述数据模型的边;
若所述相同字段不是所述贴标目标模型的主键,则在所述有向图中新增一条从所述数据模型指向所述贴标目标模型的边。
8.一种标签的生成装置,其特征在于,包括:;
有向图构建模块,用于以贴标目标模型以及模型库中除所述贴标目标模型以外的若干数据模型作为节点,构建有向图;
对比模块,用于将所述贴标目标模型中的数据内容与若干所述数据模型中的数据内容逐一比对;
结构构建模块,用于若所述贴标目标模型与所述数据模型中的数据内容具有相同字段且所述相同字段为所述贴标目标模型和所述数据模型中至少一个模型的主键,则在所述有向图中新增一条连接所述贴标目标模型和所述数据模型的边;
树状图生成模块,用于将所述贴标目标模型与若干所述数据模型中的数据内容遍历后,根据预设筛选条件对所述有向图中的数据结构进行筛选,生成树状图;
标签计算模块,用于根据所述树状图的数据结构进行标签计算,获得标签数据。
9.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述标签的生成方法的步骤。
10.一种服务器,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述标签的生成方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910848735.2A CN110765100B (zh) | 2019-09-09 | 2019-09-09 | 标签的生成方法、装置、计算机可读存储介质及服务器 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910848735.2A CN110765100B (zh) | 2019-09-09 | 2019-09-09 | 标签的生成方法、装置、计算机可读存储介质及服务器 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110765100A true CN110765100A (zh) | 2020-02-07 |
CN110765100B CN110765100B (zh) | 2022-08-02 |
Family
ID=69329651
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910848735.2A Active CN110765100B (zh) | 2019-09-09 | 2019-09-09 | 标签的生成方法、装置、计算机可读存储介质及服务器 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110765100B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113360496A (zh) * | 2021-05-26 | 2021-09-07 | 国网能源研究院有限公司 | 一种构建元数据标签库的方法及装置 |
CN118152432A (zh) * | 2024-05-07 | 2024-06-07 | 中邮消费金融有限公司 | 数据库查询方法、设备、存储介质及计算机程序产品 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102799570A (zh) * | 2012-07-20 | 2012-11-28 | 中山大学 | 一种数据表关联分析方法 |
CN104866369A (zh) * | 2015-05-22 | 2015-08-26 | 广州华多网络科技有限公司 | 一种数据处理的方法以及装置 |
CN105630475A (zh) * | 2014-11-06 | 2016-06-01 | 阿里巴巴集团控股有限公司 | 一种数据标签组织系统及组织方法 |
US20170351681A1 (en) * | 2016-06-03 | 2017-12-07 | International Business Machines Corporation | Label propagation in graphs |
CN109062952A (zh) * | 2018-06-22 | 2018-12-21 | 北京奇艺世纪科技有限公司 | 一种数据查询方法、装置及电子设备 |
CN109213747A (zh) * | 2018-08-08 | 2019-01-15 | 麒麟合盛网络技术股份有限公司 | 一种数据管理方法及装置 |
KR20190064948A (ko) * | 2017-12-01 | 2019-06-11 | 서강대학교산학협력단 | 준지도 학습에서의 꼭지점 중요도를 고려한 레이블 추론 방법 및 시스템 |
-
2019
- 2019-09-09 CN CN201910848735.2A patent/CN110765100B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102799570A (zh) * | 2012-07-20 | 2012-11-28 | 中山大学 | 一种数据表关联分析方法 |
CN105630475A (zh) * | 2014-11-06 | 2016-06-01 | 阿里巴巴集团控股有限公司 | 一种数据标签组织系统及组织方法 |
CN104866369A (zh) * | 2015-05-22 | 2015-08-26 | 广州华多网络科技有限公司 | 一种数据处理的方法以及装置 |
US20170351681A1 (en) * | 2016-06-03 | 2017-12-07 | International Business Machines Corporation | Label propagation in graphs |
KR20190064948A (ko) * | 2017-12-01 | 2019-06-11 | 서강대학교산학협력단 | 준지도 학습에서의 꼭지점 중요도를 고려한 레이블 추론 방법 및 시스템 |
CN109062952A (zh) * | 2018-06-22 | 2018-12-21 | 北京奇艺世纪科技有限公司 | 一种数据查询方法、装置及电子设备 |
CN109213747A (zh) * | 2018-08-08 | 2019-01-15 | 麒麟合盛网络技术股份有限公司 | 一种数据管理方法及装置 |
Non-Patent Citations (3)
Title |
---|
ROBERTO DE VIRGILIO: "Converting Relational to Graph Databases", 《GRAPH DATA MANGEMENT EXPERIENCE AND SYSTEMS》 * |
任晓龙,戴光,耿泽飞: "基于图数据库的电力资产画像技术研究", 《电网与清洁能源》 * |
孙凌宇: "赋权有向图的最小生成树算法", 《计算机工程》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113360496A (zh) * | 2021-05-26 | 2021-09-07 | 国网能源研究院有限公司 | 一种构建元数据标签库的方法及装置 |
CN113360496B (zh) * | 2021-05-26 | 2024-05-14 | 国网能源研究院有限公司 | 一种构建元数据标签库的方法及装置 |
CN118152432A (zh) * | 2024-05-07 | 2024-06-07 | 中邮消费金融有限公司 | 数据库查询方法、设备、存储介质及计算机程序产品 |
CN118152432B (zh) * | 2024-05-07 | 2024-07-23 | 中邮消费金融有限公司 | 数据库查询方法、设备、存储介质及计算机程序产品 |
Also Published As
Publication number | Publication date |
---|---|
CN110765100B (zh) | 2022-08-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110147360B (zh) | 一种数据整合方法、装置、存储介质和服务器 | |
CN106844407B (zh) | 基于数据集相关性的标签网络产生方法和系统 | |
CN109933514B (zh) | 一种数据测试方法和装置 | |
US11182364B2 (en) | Data analysis support apparatus and data analysis support method | |
CN113760891B (zh) | 一种数据表的生成方法、装置、设备和存储介质 | |
CN111046237A (zh) | 用户行为数据处理方法、装置、电子设备及可读介质 | |
CN110765101A (zh) | 标签的生成方法、装置、计算机可读存储介质及服务器 | |
CN114461644A (zh) | 一种数据采集方法、装置、电子设备及存储介质 | |
CN110765100B (zh) | 标签的生成方法、装置、计算机可读存储介质及服务器 | |
CN106033444B (zh) | 文本内容的聚类方法和装置 | |
CN114168565A (zh) | 业务规则模型的回溯测试方法、装置、系统及决策引擎 | |
CN111784246B (zh) | 物流路径的估测方法 | |
CN113064984A (zh) | 意图识别方法、装置、电子设备及可读存储介质 | |
CN112613762A (zh) | 基于知识图谱的集团评级方法、装置和电子设备 | |
CN109189810B (zh) | 查询方法、装置、电子设备及计算机可读存储介质 | |
CN111723122A (zh) | 数据间关联规则的确定方法、装置、设备及可读存储介质 | |
CN112749325A (zh) | 搜索排序模型的训练方法、装置、电子设备及计算机介质 | |
CN112214494B (zh) | 检索方法及装置 | |
CN112001792B (zh) | 配置信息一致性检测方法及装置 | |
CN112380321A (zh) | 基于票据知识图谱的主次数据库分配方法及相关设备 | |
CN113869904A (zh) | 可疑数据识别方法、装置、电子设备、介质和计算机程序 | |
JPWO2018100700A1 (ja) | データ変換装置とデータ変換方法 | |
CN111563178A (zh) | 规则逻辑图对比方法、装置、介质及电子设备 | |
CN113553477A (zh) | 一种图的拆分方法和装置 | |
CN113392105B (zh) | 业务数据处理方法和终端设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: 410000 Room 301, R&D Headquarters, Central South University Science Park, Yuelu Street, Yuelu District, Changsha City, Hunan Province Applicant after: Tianyun Software Technology Co.,Ltd. Address before: 410000 Room 301, R&D Headquarters, Central South University Science Park, Yuelu Street, Yuelu District, Changsha City, Hunan Province Applicant before: Hunan Tianyun Software Technology Co.,Ltd. |
|
CB02 | Change of applicant information | ||
GR01 | Patent grant | ||
GR01 | Patent grant |