CN114462603A - 数据湖的知识图谱生成方法及装置 - Google Patents
数据湖的知识图谱生成方法及装置 Download PDFInfo
- Publication number
- CN114462603A CN114462603A CN202210120630.7A CN202210120630A CN114462603A CN 114462603 A CN114462603 A CN 114462603A CN 202210120630 A CN202210120630 A CN 202210120630A CN 114462603 A CN114462603 A CN 114462603A
- Authority
- CN
- China
- Prior art keywords
- data
- main data
- metadata
- knowledge graph
- text
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000004458 analytical method Methods 0.000 claims abstract description 11
- 230000004927 fusion Effects 0.000 claims abstract description 11
- 238000004590 computer program Methods 0.000 claims description 29
- 238000000605 extraction Methods 0.000 claims description 22
- 238000012015 optical character recognition Methods 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 10
- 238000003860 storage Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 8
- 238000009826 distribution Methods 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 239000003292 glue Substances 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 230000000875 corresponding effect Effects 0.000 description 43
- 238000010586 diagram Methods 0.000 description 10
- 238000007405 data analysis Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000007726 management method Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000013523 data management Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据湖的知识图谱生成方法及装置，涉及大数据技术领域；其中该方法包括：获取数据湖中的多源异构数据，将所述多源异构数据作为主数据存储至对应结构的数据库中；主数据包括：结构化主数据、半结构化主数据、以及非结构化主数据；查询获取结构化主数据的数据表结构，根据所述数据表结构得到结构化主数据的元数据；根据半结构化主数据的格式对半结构化主数据进行解析，从解析结果中提取半结构化主数据的元数据；调用各非结构化主数据对应的算子提取非结构化主数据的元数据；利用知识图谱将各元数据进行融合关联，得到数据湖对应的知识图谱网络。本发明可以将数据湖中的数据进行有效关联，避免出现数据沼泽。
Description
技术领域
本发明涉及大数据技术领域，尤其涉及数据湖的知识图谱生成方法及装置。
背景技术
本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
对于数据湖而言，由于其可以获取全业务流程的所有相关领域的结构化数据、以及文本、图像、语音、视频等非结构且多元异构的数据。基于数据湖收集和存储的数据形式和类型繁多，因此可以突破在现有大型数据仓库上进行“自上向下”需要业务专家来指定规则模型和逻辑的设计模式，助力数据科学家以及业务专家实现“自底向上”的数据分析，从而进行更广且更深的角度和范围来进行业务的开发和开展。在数据湖中可以将不同业务范围的数据关联起来进行一项数据分析任务，但是如果进入到数据湖的数据缺乏一定的数据治理，会导致数据之间无法进行有效的关联，甚至存在缺陷，进而会导致出现使用障碍，产生数据使用减少的情况，这进一步就又会引发存在的数据缺陷无法很好的暴露和反映，也即出现“数据沼泽”的困境。有效应对“数据沼泽”出现，需要对数据湖进行有效的数据治理。
发明内容
本发明实施例提供一种数据湖的知识图谱生成方法，用以实现对数据湖中数据的有效治理，避免出现数据沼泽，该方法包括：
获取数据湖中的多源异构数据，将所述多源异构数据作为主数据存储至对应结构的数据库中；其中，所述主数据包括：结构化主数据、半结构化主数据、以及非结构化主数据；
查询获取结构化主数据的数据表结构，根据所述数据表结构得到结构化主数据的元数据；
根据半结构化主数据的格式对半结构化主数据进行解析，从解析结果中提取半结构化主数据的元数据；
调用各非结构化主数据对应的算子提取非结构化主数据的元数据；
利用知识图谱将各元数据进行融合关联，得到数据湖对应的知识图谱网络。
本发明实施例还提供一种数据湖的知识图谱生成装置，用以实现对数据湖中数据的有效治理，避免出现数据沼泽，该装置包括：
获取模块，用于获取数据湖中的多源异构数据，将所述多源异构数据作为主数据存储至对应结构的数据库中；其中，所述主数据包括：结构化主数据、半结构化主数据、以及非结构化主数据；
第一元数据提取模块，用于查询获取结构化主数据的数据表结构，根据所述数据表结构得到结构化主数据的元数据；
第二元数据提取模块，用于根据半结构化主数据的格式对半结构化主数据进行解析，从解析结果中提取半结构化主数据的元数据；
第三元数据提取模块，用于调用各非结构化主数据对应的算子提取非结构化主数据的元数据；
处理模块，用于利用知识图谱将各元数据进行融合关联，得到数据湖对应的知识图谱网络。
本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述数据湖的知识图谱生成方法。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述数据湖的知识图谱生成方法。
本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现上述数据湖的知识图谱生成方法。
本发明实施例中，获取数据湖中的多源异构数据，将所述多源异构数据作为主数据存储至对应结构的数据库中；其中，所述主数据包括：结构化主数据、半结构化主数据、以及非结构化主数据；查询获取结构化主数据的数据表结构，根据所述数据表结构得到结构化主数据的元数据；根据半结构化主数据的格式对半结构化主数据进行解析，从解析结果中提取半结构化主数据的元数据；调用各非结构化主数据对应的算子提取非结构化主数据的元数据；利用知识图谱将各元数据进行融合关联，得到数据湖对应的知识图谱网络。这样，通过为数据湖生成对应的知识图谱网络，可以实现对数据湖中数据的有效管治理，将数据湖中的数据进行有效关联，避免出现数据沼泽。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1为本发明实施例中提供的一种数据湖的知识图谱生成方法的流程图；
图2为本发明实施例中提供的一种调用各非结构化主数据对应的算子提取非结构化主数据的元数据的方法流程图；
图3为本发明实施例中提供的一种调用YAKE算子提取文本主数据的元数据的方法流程图；
图4为本发明实施例中提供的一种调用光学字符识别OCR算子提取图像票据主数据的元数据的方法流程图；
图5为本发明实施例中提供的一种数据湖的知识图谱生成装置的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。
本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
在本说明书的描述中，所使用的“包含”、“包括”、“具有”、“含有”等，均为开放性的用语，即意指包含但不限于。参考术语“一个实施例”、“一个具体实施例”、“一些实施例”、“例如”等的描述意指结合该实施例或示例描述的具体特征、结构或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。各实施例中涉及的步骤顺序用于示意性说明本申请的实施，其中的步骤顺序不作限定，可根据需要作适当调整。
经研究发现，对于数据湖而言，由于其可以获取全业务流程的所有相关领域的结构化数据、以及文本、图像、语音、视频等非结构且多元异构的数据。基于数据湖收集和存储的数据形式和类型繁多，因此可以突破在现有大型数据仓库上进行“自上向下”需要业务专家来指定规则模型和逻辑的设计模式，助力数据科学家以及业务专家实现“自底向上”的数据分析，从而进行更广且更深的角度和范围来进行业务的开发和开展。在数据湖中可以将不同业务范围的数据关联起来进行一项数据分析任务，但是如果进入到数据湖的数据缺乏一定的数据治理，会导致数据之间无法进行有效的关联，甚至存在缺陷，进而会导致出现使用障碍，产生数据使用减少的情况，这进一步就又会引发存在的数据缺陷无法很好的暴露和反映，也即出现“数据沼泽”的困境。有效应对“数据沼泽”出现，需要对数据湖进行有效的数据治理。
针对上述研究，本发明实施例提供一种数据湖的知识图谱生成方法，如图1所示，包括：
S101：获取数据湖中的多源异构数据，将所述多源异构数据作为主数据存储至对应结构的数据库中；其中，所述主数据包括：结构化主数据、半结构化主数据、以及非结构化主数据；
S102：查询获取结构化主数据的数据表结构，根据所述数据表结构得到结构化主数据的元数据；
S103：根据半结构化主数据的格式对半结构化主数据进行解析，从解析结果中提取半结构化主数据的元数据；
S104：调用各非结构化主数据对应的算子提取非结构化主数据的元数据；
S105：利用知识图谱将各元数据进行融合关联，得到数据湖对应的知识图谱网络。
本发明实施例中，获取数据湖中的多源异构数据，将所述多源异构数据作为主数据存储至对应结构的数据库中；其中，所述主数据包括：结构化主数据、半结构化主数据、以及非结构化主数据；查询获取结构化主数据的数据表结构，根据所述数据表结构得到结构化主数据的元数据；根据半结构化主数据的格式对半结构化主数据进行解析，从解析结果中提取半结构化主数据的元数据；调用各非结构化主数据对应的算子提取非结构化主数据的元数据；利用知识图谱将各元数据进行融合关联，得到数据湖对应的知识图谱网络。这样，通过为数据湖生成对应的知识图谱网络，可以实现对数据湖中数据的有效管治理，将数据湖中的数据进行有效关联，避免出现数据沼泽。
下面对上述数据湖的知识图谱生成方法加以详细说明。
针对上述S101，所述多源异构数据例如包括下述至少一种：来自企业级数据仓库、大数据平台批量运行系统、以及网络爬虫获取的结构化数据、半结构化数据、非结构化数据。
针对上述S102，对于结构化数据，元数据发现就是获取主数据的数据表结构，通过查询的方式即可获取结构化主数据的数据表结构，根据数据表结构得到结构化主数据的元数据。
针对上述S103，对于半结构化数据，元数据发现就是通过解析半结构化主数据的结构，根据半结构化主数据的格式对半结构化主数据进行解析，从解析结果中全部或者是部分筛选出需要的信息，并进行存储，形成半结构化主数据的元数据。
针对上述S104，对于非结构化数据，元数据发现需要针对不同数据类型的非结构化主数据，使用对应的算子来进行获取。
本发明一实施例中，非结构化主数据例如包括：文本主数据、图像票据主数据；如图2所示，为本发明实施例提供的一种调用各非结构化主数据对应的算子提取非结构化主数据的元数据的方法流程图，包括：
S201：调用单文档无监督关键词抽取YAKE算子提取文本主数据的元数据。
具体的，针对文本主数据，需要考虑涉及到的常用文本文字，也即中文和英文的情况，在分析文本主数据的过程中，例如可以采用单文档无监督关键词抽取算子(YetAnother Keyword Extractor，YAKE)来实现元数据的提取。
示例性的，如图3所示，为本发明实施例提供的一种调用YAKE算子提取文本主数据的元数据的方法流程图，具体例如调用YAKE算子对文本主数据进行如下操作：
S301：根据标点符号对文本主数据进行拆分得到多个拆分部分。
S302：对每个拆分部分的词进行特征提取。
S303：根据每个词在各拆分部分中的位置和出现频率，得到每一拆分部分对应的词的各特征的权重值。
示例性的，各拆分部分共有X个词，若某个词出现了Y次，该词的频率为Y/X，频率越高，该词的各特征的权重值越小；其次，需要判断该词出现的位置，根据词是否在句子头或者在句子尾出现，来确定词的重要程度，词的重要程度越高，该词的各特征的权重值越高。
S304：根据每一拆分部分对应的词的各特征的权重值、以及预设权重阈值，确定每一拆分部分对应的词的最终特征。
示例性的，预设权重阈值可以根据实际的权重值排序进行确定，针对每一拆分部分，从其对应的词的各特征中，将权重值大于预设权重阈值的各特征选出来，作为该拆分部分对应的词的最终特征。
S305：根据每一拆分部分对应的词的最终特征，采用n-gram模型对每一拆分部分进行概率计算。
S306：采用levenshtein函数计算各拆分部分之间的相似度，根据各拆分部分之间的相似度，删除重复的拆分部分。
S307：根据剩余的每一拆分部分的概率计算结果、以及预设概率阈值，提取出文本主数据的元数据。
S202：调用光学字符识别OCR算子提取图像票据主数据的元数据。
示例性的，如图4所示，为本发明实施例提供的一种调用光学字符识别OCR算子提取图像票据主数据的元数据的方法流程图，具体例如调用光学字符识别(OpticalCharacter Recognition，OCR)算子对图像票据主数据执行下述操作：
S401：对图像票据主数据进行文本框检测。
此处，针对图像票据主数据经过拍摄或者扫描之后存在倾斜的问题，例如可以采用高效精准的场景文本检测器(An Efficient and Accurate Scene Text Detector，EAST)来检测文本框。
S402：对检测出的文本框进行文本矫正。
具体的，例如可以采用随机霍夫变换(Random Hough Transform)等方法进行文本矫正。
S403：采用投影直方图对矫正后的文本框进行分割得到单行文本图像。
S404：从单行文本图像中提取出单行文本。
S405：从提取的单行文本中提取图像票据主数据的元数据。
此处，考虑到会存在不定长文字的情况，因此例如可以采用卷积神经网络(Convolutional Neural Networ，CNN)+循环神经网络(Rerrent Neural Network，RNN)+注意力机制(Attention-mechanism)的方法来对数据湖构建所需要的元数据。
针对上述S105，例如可以采用下述方法利用知识图谱将各元数据进行融合关联，得到数据湖对应的知识图谱网络：根据各元数据的属性之间的关联关系，将各元数据、以及元数据之间的关系构造成知识图谱的资源描述框架(Resource Description Framework，RDF)型数据结构，得到多个独立知识图谱；根据各独立知识图谱的网状结构，采用GLUE算法将各独立知识图谱进行融合，得到数据湖对应的知识图谱网络。
此处，独立知识图谱中的元数据包括本体层；根据各独立知识图谱的网状结构，采用GLUE算法将各独立知识图谱进行融合，得到数据湖对应的知识图谱网络时，例如可以：将独立知识图谱的本体层的RDF数据输入到图神经网络(Graph Neural Networks，GNN)，得到各独立知识图谱的本体层之间的联合概率分布；根据各独立知识图谱的本体层之间的联合概率分布，计算各独立知识图谱之间的本体层相似度；将本体层相似度大于预设相似度阈值的独立知识图谱进行融合，得到数据湖对应的知识图谱网络。
本发明实施例中还提供了一种的数据湖的知识图谱生成装置，如下面的实施例所述。由于该装置解决问题的原理与的数据湖的知识图谱生成方法相似，因此该装置的实施可以参见的数据湖的知识图谱生成方法的实施，重复之处不再赘述。
如图5所示，文本发明实施例提供的一种数据湖的知识图谱生成装置的示意图，包括：获取模块501、第一元数据提取模块502、第二元数据提取模块503、第三元数据提取模块504、以及处理模块505；其中，
获取模块501，用于获取数据湖中的多源异构数据，将所述多源异构数据作为主数据存储至对应结构的数据库中；其中，所述主数据包括：结构化主数据、半结构化主数据、以及非结构化主数据；
第一元数据提取模块502，用于查询获取结构化主数据的数据表结构，根据所述数据表结构得到结构化主数据的元数据；
第二元数据提取模块503，用于根据半结构化主数据的格式对半结构化主数据进行解析，从解析结果中提取半结构化主数据的元数据；
第三元数据提取模块504，用于调用各非结构化主数据对应的算子提取非结构化主数据的元数据；
处理模块505，用于利用知识图谱将各元数据进行融合关联，得到数据湖对应的知识图谱网络。
在一种可能的实施方式中，非结构化主数据包括：文本主数据、图像票据主数据；第三元数据提取模块，具体用于调用单文档无监督关键词抽取YAKE算子提取文本主数据的元数据；调用光学字符识别OCR算子提取图像票据主数据的元数据。
在一种可能的实施方式中，第三元数据提取模块，具体用于调用YAKE算子对文本主数据进行如下操作：根据标点符号对文本主数据进行拆分得到多个拆分部分；对每个拆分部分的词进行特征提取；根据每个词在各拆分部分中的位置和出现频率，得到每一拆分部分对应的词的各特征的权重值；根据每一拆分部分对应的词的各特征的权重值、以及预设权重阈值，确定每一拆分部分对应的词的最终特征；根据每一拆分部分对应的词的最终特征，采用n-gram模型对每一拆分部分进行概率计算；采用levenshtein函数计算各拆分部分之间的相似度，根据各拆分部分之间的相似度，删除重复的拆分部分；根据剩余的每一拆分部分的概率计算结果、以及预设概率阈值，提取出文本主数据的元数据。
在一种可能的实施方式中，第三元数据提取模块，具体用于调用OCR算子对图像票据主数据执行下述操作：对图像票据主数据进行文本框检测；对检测出的文本框进行文本矫正；采用投影直方图对矫正后的文本框进行分割得到单行文本图像；从单行文本图像中提取出单行文本；从提取的单行文本中提取图像票据主数据的元数据。
在一种可能的实施方式中，处理模块，具体用于将各元数据加载到同一知识图谱中；根据各元数据的属性之间的关联关系，将各元数据、以及元数据之间的关系构造成知识图谱的资源描述框架RDF型数据结构，得到多个独立知识图谱；根据各独立知识图谱的网状结构，采用GLUE算法将各独立知识图谱进行融合，得到数据湖对应的知识图谱网络。
在一种可能的实施方式中，独立知识图谱中的元数据包括本体层；处理模块，具体用于将独立知识图谱的本体层的RDF数据输入到图神经网络GNN，得到各独立知识图谱的本体层之间的联合概率分布；根据各独立知识图谱的本体层之间的联合概率分布，计算各独立知识图谱之间的本体层相似度；将本体层相似度大于预设相似度阈值的独立知识图谱进行融合，得到数据湖对应的知识图谱网络。
本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述数据湖的知识图谱生成方法。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述数据湖的知识图谱生成方法。
本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现上述数据湖的知识图谱生成方法。
本发明实施例中，本发明实施例中，获取数据湖中的多源异构数据，将所述多源异构数据作为主数据存储至对应结构的数据库中；其中，所述主数据包括：结构化主数据、半结构化主数据、以及非结构化主数据；查询获取结构化主数据的数据表结构，根据所述数据表结构得到结构化主数据的元数据；根据半结构化主数据的格式对半结构化主数据进行解析，从解析结果中提取半结构化主数据的元数据；调用各非结构化主数据对应的算子提取非结构化主数据的元数据；利用知识图谱将各元数据进行融合关联，得到数据湖对应的知识图谱网络。这样，通过为数据湖生成对应的知识图谱网络，可以实现对数据湖中数据的有效管治理，将数据湖中的数据进行有效关联，避免出现数据沼泽。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (12)
1.一种数据湖的知识图谱生成方法，其特征在于，包括：
获取数据湖中的多源异构数据，将所述多源异构数据作为主数据存储至对应结构的数据库中；其中，所述主数据包括：结构化主数据、半结构化主数据、以及非结构化主数据；
查询获取结构化主数据的数据表结构，根据所述数据表结构得到结构化主数据的元数据；
根据半结构化主数据的格式对半结构化主数据进行解析，从解析结果中提取半结构化主数据的元数据；
调用各非结构化主数据对应的算子提取非结构化主数据的元数据；
利用知识图谱将各元数据进行融合关联，得到数据湖对应的知识图谱网络。
2.如权利要求1所述的数据湖的知识图谱生成方法，其特征在于，非结构化主数据包括：文本主数据、图像票据主数据；
调用各非结构化主数据对应的算子提取非结构化主数据的元数据，包括：
调用单文档无监督关键词抽取YAKE算子提取文本主数据的元数据；
调用光学字符识别OCR算子提取图像票据主数据的元数据。
3.如权利要求2所述的数据湖的知识图谱生成方法，其特征在于，调用YAKE算子提取文本主数据的元数据，包括：
调用YAKE算子对文本主数据进行如下操作：
根据标点符号对文本主数据进行拆分得到多个拆分部分；
对每个拆分部分的词进行特征提取；
根据每个词在各拆分部分中的位置和出现频率，得到每一拆分部分对应的词的各特征的权重值；
根据每一拆分部分对应的词的各特征的权重值、以及预设权重阈值，确定每一拆分部分对应的词的最终特征；
根据每一拆分部分对应的词的最终特征，采用n-gram模型对每一拆分部分进行概率计算；
采用levenshtein函数计算各拆分部分之间的相似度，根据各拆分部分之间的相似度，删除重复的拆分部分；
根据剩余的每一拆分部分的概率计算结果、以及预设概率阈值，提取出文本主数据的元数据。
4.如权利要求2所述的数据湖的知识图谱生成方法，其特征在于，调用OCR算子提取图像票据主数据的元数据，包括：
调用OCR算子对图像票据主数据执行下述操作：
对图像票据主数据进行文本框检测；
对检测出的文本框进行文本矫正；
采用投影直方图对矫正后的文本框进行分割得到单行文本图像；
从单行文本图像中提取出单行文本；
从提取的单行文本中提取图像票据主数据的元数据。
5.如权利要求1所述的数据湖的知识图谱生成方法，其特征在于，利用知识图谱将各元数据进行融合关联，得到数据湖对应的知识图谱网络，包括：
将各元数据加载到同一知识图谱中；
根据各元数据的属性之间的关联关系，将各元数据、以及元数据之间的关系构造成知识图谱的资源描述框架RDF型数据结构，得到多个独立知识图谱；
根据各独立知识图谱的网状结构，采用GLUE算法将各独立知识图谱进行融合，得到数据湖对应的知识图谱网络。
6.如权利要求5所述的数据湖的知识图谱生成方法，其特征在于，独立知识图谱中的元数据包括本体层；
根据各独立知识图谱的网状结构，采用GLUE算法将各独立知识图谱进行融合，得到数据湖对应的知识图谱网络，包括：
将独立知识图谱的本体层的RDF数据输入到图神经网络GNN，得到各独立知识图谱的本体层之间的联合概率分布；
根据各独立知识图谱的本体层之间的联合概率分布，计算各独立知识图谱之间的本体层相似度；
将本体层相似度大于预设相似度阈值的独立知识图谱进行融合，得到数据湖对应的知识图谱网络。
7.一种数据湖的知识图谱生成装置，其特征在于，包括：
获取模块，用于获取数据湖中的多源异构数据，将所述多源异构数据作为主数据存储至对应结构的数据库中；其中，所述主数据包括：结构化主数据、半结构化主数据、以及非结构化主数据；
第一元数据提取模块，用于查询获取结构化主数据的数据表结构，根据所述数据表结构得到结构化主数据的元数据；
第二元数据提取模块，用于根据半结构化主数据的格式对半结构化主数据进行解析，从解析结果中提取半结构化主数据的元数据；
第三元数据提取模块，用于调用各非结构化主数据对应的算子提取非结构化主数据的元数据；
处理模块，用于利用知识图谱将各元数据进行融合关联，得到数据湖对应的知识图谱网络。
8.如权利要求7所述的数据湖的知识图谱生成装置，其特征在于，非结构化主数据包括：文本主数据、图像票据主数据；
第三元数据提取模块，具体用于调用单文档无监督关键词抽取YAKE算子提取文本主数据的元数据；
调用光学字符识别OCR算子提取图像票据主数据的元数据。
9.如权利要求8所述的数据湖的知识图谱生成装置，其特征在于，第三元数据提取模块，具体用于调用YAKE算子对文本主数据进行如下操作：
根据标点符号对文本主数据进行拆分得到多个拆分部分；
对每个拆分部分的词进行特征提取；
根据每个词在各拆分部分中的位置和出现频率，得到每一拆分部分对应的词的各特征的权重值；
根据每一拆分部分对应的词的各特征的权重值、以及预设权重阈值，确定每一拆分部分对应的词的最终特征；
根据每一拆分部分对应的词的最终特征，采用n-gram模型对每一拆分部分进行概率计算；
采用levenshtein函数计算各拆分部分之间的相似度，根据各拆分部分之间的相似度，删除重复的拆分部分；
根据剩余的每一拆分部分的概率计算结果、以及预设概率阈值，提取出文本主数据的元数据。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6任一所述方法。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至6任一所述方法。
12.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现权利要求1至6任一所述方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210120630.7A CN114462603A (zh) | 2022-02-09 | 2022-02-09 | 数据湖的知识图谱生成方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210120630.7A CN114462603A (zh) | 2022-02-09 | 2022-02-09 | 数据湖的知识图谱生成方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114462603A true CN114462603A (zh) | 2022-05-10 |
Family
ID=81412592
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210120630.7A Pending CN114462603A (zh) | 2022-02-09 | 2022-02-09 | 数据湖的知识图谱生成方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114462603A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115757573A (zh) * | 2022-11-07 | 2023-03-07 | 中电科大数据研究院有限公司 | 一种图谱数据的处理方法、装置以及存储介质 |
| CN116127474A (zh) * | 2023-04-20 | 2023-05-16 | 熙牛医疗科技(浙江)有限公司 | 知识计算低代码平台 |
| CN116662434A (zh) * | 2023-06-21 | 2023-08-29 | 河北维嘉信息科技有限公司 | 一种多源异构大数据处理系统 |
-
2022
- 2022-02-09 CN CN202210120630.7A patent/CN114462603A/zh active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115757573A (zh) * | 2022-11-07 | 2023-03-07 | 中电科大数据研究院有限公司 | 一种图谱数据的处理方法、装置以及存储介质 |
| CN115757573B (zh) * | 2022-11-07 | 2023-11-14 | 中电科大数据研究院有限公司 | 一种图谱数据的处理方法、装置以及存储介质 |
| WO2024098517A1 (zh) * | 2022-11-07 | 2024-05-16 | 中电科大数据研究院有限公司 | 一种图谱数据的处理方法、装置以及存储介质 |
| CN116127474A (zh) * | 2023-04-20 | 2023-05-16 | 熙牛医疗科技(浙江)有限公司 | 知识计算低代码平台 |
| CN116662434A (zh) * | 2023-06-21 | 2023-08-29 | 河北维嘉信息科技有限公司 | 一种多源异构大数据处理系统 |
| CN116662434B (zh) * | 2023-06-21 | 2023-10-13 | 河北维嘉信息科技有限公司 | 一种多源异构大数据处理系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7026092B2 (ja) | 記述情報を決定する方法、装置、電子デバイス、コンピュータ可読媒体およびコンピュータプログラム | |
| CN114462603A (zh) | 数据湖的知识图谱生成方法及装置 | |
| CN108154198B (zh) | 知识库实体归一方法、系统、终端和计算机可读存储介质 | |
| US20220004878A1 (en) | Systems and methods for synthetic document and data generation | |
| US11816138B2 (en) | Systems and methods for parsing log files using classification and a plurality of neural networks | |
| CN111782817B (zh) | 一种面向信息系统的知识图谱构建方法、装置及电子设备 | |
| US20220358379A1 (en) | System, apparatus and method of managing knowledge generated from technical data | |
| WO2023173552A1 (zh) | 目标检测模型的建立方法、应用方法、设备、装置及介质 | |
| CN116049397A (zh) | 基于多模态融合的敏感信息发现并自动分类分级方法 | |
| CN111325030A (zh) | 文本标签构建方法、装置、计算机设备和存储介质 | |
| CN114647713A (zh) | 基于虚拟对抗的知识图谱问答方法、设备及存储介质 | |
| CN112818200A (zh) | 基于静态网站的数据爬取及事件分析方法及系统 | |
| CN114970475A (zh) | excel表格解析方法、系统、设备及存储介质 | |
| CN113822039A (zh) | 近义词挖掘方法及相关设备 | |
| CN112836510A (zh) | 一种产品图片文字识别方法和系统 | |
| CN116226681B (zh) | 一种文本相似性判定方法、装置、计算机设备和存储介质 | |
| EP3667547B1 (en) | User interface (ui) design compliance determination | |
| CN111581299A (zh) | 基于大数据的多源数据仓库的库间数据转换系统及方法 | |
| CN116665272A (zh) | 机场场景人脸识别融合决策方法、装置、电子设备及介质 | |
| CN111310442B (zh) | 形近字纠错语料挖掘方法、纠错方法、设备及存储介质 | |
| US20220067275A1 (en) | Systems and methods for data extraction from unstructured documents | |
| CN113297419B (zh) | 视频知识点确定方法、装置、电子设备和存储介质 | |
| CN114417828A (zh) | 一种服务器告警日志描述文本的实体关系抽取方法及系统 | |
| CN114780700A (zh) | 基于机器阅读理解的智能问答方法、装置、设备及介质 | |
| Piest et al. | Smarter interoperability based on automatic schema matching and intelligence amplification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |