CN114817481A - 基于大数据的智慧供应链可视化方法及装置 - Google Patents
基于大数据的智慧供应链可视化方法及装置 Download PDFInfo
- Publication number
- CN114817481A CN114817481A CN202210637451.0A CN202210637451A CN114817481A CN 114817481 A CN114817481 A CN 114817481A CN 202210637451 A CN202210637451 A CN 202210637451A CN 114817481 A CN114817481 A CN 114817481A
- Authority
- CN
- China
- Prior art keywords
- data
- knowledge
- supply chain
- entity
- relation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/338—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
- G06F40/295—Named entity recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
Abstract
基于大数据的智慧供应链可视化方法及装置,该方法通过对企业内外部产业关联数据进行提取,将提取的非结构化数据和半结构化数据转换为结构化数据;根据创建的上下游企业关系模型构建行业知识图谱,构建行业知识图谱包括知识获取、知识融合、知识存储和知识计算:知识获取根据企业特征词库在公开的资料数据中抽取同义词关系、实体关系和属性关系,将抽取的知识作为初始知识集成到行业知识图谱中,对数据进行实体匹配和模式对齐;知识存储将学习到的三元组知识、结构化的知识图谱组织数据进行存储;根据行业知识图谱进行供应链关系的可视化。本发明可快速识别数据中公共要素和联系,通过可视化方式展现数据的图谱,呈现企业之间供应链上下游关系。
Description
技术领域
本发明属于大数据处理技术领域,具体涉及一种基于大数据的智慧供应链可视化方法及装置。
背景技术
长期以来,受工业制造细分领域众多的因素影响,一直存在着数字化转型难度大、供应链上下游信息无法及时对称的问题。随着互联网的发展,使得相关行业的供应链重塑成为可能,面对日新月异的市场环境,越来越多的企业把发展焦点放在供应链创新上,对供应链创新的关注越来越高。也正是互联网的快速发展,引发行业数据呈爆炸式增长,数据展现形式上缺少更精准的分析手段。
传统的供应链上下游关系以列表方式展现为主,虽然也存在少量的图形化展现形式,但显示方式较为单一;当企业与企业之间存在多种交叉供需关系时,无法直观、快速的掌握企业间的业务往来。在供应链领域缺少一种全程信息可视化的技术方案来表达核心企业与上游供应商、下游分销商及产品间的关联关系。
发明内容
为此,本发明提供一种基于大数据的智慧供应链可视化方法及装置,能够协助视觉障碍者更好的浏览图片和理解图片内容,以解决或部分解决背景技术中指出的问题。
为了实现上述目的,本发明提供如下技术方案:基于大数据的智慧供应链可视化方法,包括:
供应链数据采集:对企业内外部产业关联数据进行提取,产业关联数据包括非结构化数据和半结构化数据,将提取的非结构化数据和半结构化数据转换为结构化数据;
供应链图谱构建:根据创建的上下游企业关系模型构建行业知识图谱,构建行业知识图谱包括知识获取、知识融合、知识存储和知识计算:
所述知识获取根据企业特征词库在公开的资料数据中抽取同义词关系、实体关系和属性关系,将抽取的知识作为初始知识;
所述知识融合将抽取出的同义词关系、实体关系和属性关系集成到行业知识图谱中,对数据进行实体匹配和模式对齐;
所述知识存储将学习到的三元组知识、结构化的知识图谱组织数据进行存储;
所述知识计算通过计算获取学习到的三元组知识、结构化的知识图谱组织数据中的知识、模式或规则;
供应链可视化:根据行业知识图谱进行供应链关系的可视化。
作为基于大数据的智慧供应链可视化方法优选方案,供应链数据采集包括以下步骤:
对非结构化数据提取正文,以保存关注的文本内容;
通过自然语言处理技术识别文本实体,文本实体识别方法包括使用实体链接将候选实体和知识库链接,文本实体识别方法还包括使用命名实体识别技术识别文章中得实体;
获得实体后,根据实体间的关系,利用句法结构确定指定实体间的关系;
对半结构化数据进行标注,使用预设规则对同类型或者符合给定关系的数据进行抽取。
作为基于大数据的智慧供应链可视化方法优选方案,所述知识获取过程中,预定义关系类型并对数据进行预处理;人工标注数据;预设关系识别所需的特征,关系识别所需的特征包括轻量级、中量级和重量级特征;选择分类模型,基于标注数据训练分类模型;对训练的分类模型进行评估。
作为基于大数据的智慧供应链可视化方法优选方案,所述知识融合包括以下步骤:
数据归一化处理,归一化处理包括语法正规化和数据正规化;
通过属性相似度和实体相似度进行实体记录链接;
从给定知识库中的实体对中,选出潜在匹配记录对作为候选项,将候选项的大小范围进行缩小;
采用图数据库形式进行所述知识存储和所述知识计算过程中的数据处理,图数据库采用邻接矩阵。
作为基于大数据的智慧供应链可视化方法优选方案,供应链可视化包括:
以图形可视化方式显示企业的上游供应商及产品信息,同时显示下游分销商及产品信息;
以网络拓扑结构方式展示供应商的所有上游供应商、下游分销商及产品信息;
以网络拓扑结构方式展示分销商的所有上游供应商、下游分销商及产品信息。
本发明还提供一种基于大数据的智慧供应链可视化装置,包括:
供应链数据采集单元,用于对企业内外部产业关联数据进行提取,产业关联数据包括非结构化数据和半结构化数据,将提取的非结构化数据和半结构化数据转换为结构化数据;
供应链图谱构建单元,用于根据创建的上下游企业关系模型构建行业知识图谱;供应链图谱构建单元包括知识获取模块、知识融合模块、知识存储模块和知识计算模块:
知识获取模块,用于根据企业特征词库在公开的资料数据中抽取同义词关系、实体关系和属性关系,将抽取的知识作为初始知识;
知识融合模块,用于将抽取出的同义词关系、实体关系和属性关系集成到行业知识图谱中,对数据进行实体匹配和模式对齐;
知识存储模块,用于将学习到的三元组知识、结构化的知识图谱组织数据进行存储;
知识计算模块,用于通过计算获取学习到的三元组知识、结构化的知识图谱组织数据中的知识、模式或规则;
供应链可视化单元,用于根据行业知识图谱进行供应链关系的可视化。
作为基于大数据的智慧供应链可视化装置优选方案,供应链数据采集单元包括:
非结构化数据提取模块,用于对非结构化数据提取正文,以保存关注的文本内容;
文本实体识别模块,用于通过自然语言处理技术识别文本实体,文本实体识别模块使用实体链接将候选实体和知识库链接,文本实体识别模块使用命名实体识别技术识别文章中得实体;
实体关系确定模块,用于获得实体后,根据实体间的关系,利用句法结构确定指定实体间的关系;
半结构化数据处理模块,用于对半结构化数据进行标注,使用预设规则对同类型或者符合给定关系的数据进行抽取。
作为基于大数据的智慧供应链可视化装置优选方案,所述知识获取模块包括:
预处理子模块,用于预定义关系类型并对数据进行预处理;
标注子模块,用于人工标注数据;
关系预设子模块,用于预设关系识别所需的特征;关系识别所需的特征包括轻量级、中量级和重量级特征;
模型训练子模块,用于选择分类模型,基于标注数据训练分类模型;
模型评估子模块,用于对训练的分类模型进行评估。
作为基于大数据的智慧供应链可视化装置优选方案,所述知识融合模块包括:
数据归一子模块,用于数据归一化处理,归一化处理包括语法正规化和数据正规化;
实体记录链接子模块,用于通过属性相似度和实体相似度进行实体记录链接;
候选项处理子模块,用于从给定知识库中的实体对中,选出潜在匹配记录对作为候选项,将候选项的大小范围进行缩小;
所述知识存储模块和所述知识计算模块均采用图数据库形式进行数据处理,图数据库采用邻接矩阵。
作为基于大数据的智慧供应链可视化装置优选方案,所述供应链可视化单元包括:
企业可视化子模块,用于以图形可视化方式显示企业的上游供应商及产品信息,同时显示下游分销商及产品信息;
供应商可视化子模块,用于以网络拓扑结构方式展示供应商的所有上游供应商、下游分销商及产品信息;
分销商可视化子模块,用于以网络拓扑结构方式展示分销商的所有上游供应商、下游分销商及产品信息。
本发明具有如下优点:通过对企业内外部产业关联数据进行提取,产业关联数据包括非结构化数据和半结构化数据,将提取的非结构化数据和半结构化数据转换为结构化数据;根据创建的上下游企业关系模型构建行业知识图谱,构建行业知识图谱包括知识获取、知识融合、知识存储和知识计算:知识获取根据企业特征词库在公开的资料数据中抽取同义词关系、实体关系和属性关系,将抽取的知识作为初始知识;知识融合将抽取出的同义词关系、实体关系和属性关系集成到行业知识图谱中,对数据进行实体匹配和模式对齐;知识存储将学习到的三元组知识、结构化的知识图谱组织数据进行存储;根据行业知识图谱进行供应链关系的可视化。本发明依托大数据分析能力,进行科学统一治理,快速识别隐藏在数据中的公共要素和联系,并通过可视化的方式,展现数据的图谱呈现企业之间供应链的上下游关系,通过标签对企业对象,实现多维展现、全量刻画,并将图谱与传统列表和统计图表进行结合,多角度显现数据背后的线索,让企业能够一目了然的掌握所有关联信息。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案,下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地,下面描述中的附图仅仅是示例性的,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图引伸获得其它的实施附图。
本说明书所绘示的结构、比例、大小等,均仅用以配合说明书所揭示的内容,以供熟悉此技术的人士了解与阅读,并非用以限定本发明可实施的限定条件,故不具技术上的实质意义,任何结构的修饰、比例关系的改变或大小的调整,在不影响本发明所能产生的功效及所能达成的目的下,均应仍落在本发明所揭示的技术内容能涵盖的范围内。
图1为本发明实施例1提供的基于大数据的智慧供应链可视化方法流程示意图;
图2为本发明实施例1提供的基于大数据的智慧供应链可视化方法可视化效果示意图;
图3为本发明实施例2提供的基于大数据的智慧供应链可视化装置示意图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式,熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
由于从事供应链运营的主体面临数据信息缺乏的困境,主要表现在可用数据不多、维度不全,掌握到的供应链上下游企业信息欠缺,同时数据质量不高、时效性差,无法对目标企业进行深入细致的分析,无法做到全面洞察。在供应链领域缺少一种全程信息可视化的方法来表达核心企业与上游供应商、下游分销商及产品间的关联关系。人工智能技术的迅猛发展开启了智慧供应链的大门,推动了供应链的数据化、信息化、可视化、智能化。
有鉴于此,本发明为解决企业供应链上下游信息无法及时对称、上下游企业信息无法做到全面洞察的问题,提供如下具体解决方案。
实施例1
参见图1,本发明实施例1提供一种基于大数据的智慧供应链可视化方法,包括:
S1、供应链数据采集:对企业内外部产业关联数据进行提取,产业关联数据包括非结构化数据和半结构化数据,将提取的非结构化数据和半结构化数据转换为结构化数据;
S2、供应链图谱构建:根据创建的上下游企业关系模型构建行业知识图谱,构建行业知识图谱包括知识获取、知识融合、知识存储和知识计算:
S21、所述知识获取根据企业特征词库在公开的资料数据中抽取同义词关系、实体关系和属性关系,将抽取的知识作为初始知识;
S22、所述知识融合将抽取出的同义词关系、实体关系和属性关系集成到行业知识图谱中,对数据进行实体匹配和模式对齐;
S23、所述知识存储将学习到的三元组知识、结构化的知识图谱组织数据进行存储;
S24、所述知识计算通过计算获取学习到的三元组知识、结构化的知识图谱组织数据中的知识、模式或规则;
S3、供应链可视化:根据行业知识图谱进行供应链关系的可视化。
本实施例中,步骤S1中,供应链数据采集包括:
S11、对非结构化数据提取正文,以保存关注的文本内容;
S12、通过自然语言处理技术识别文本实体,文本实体识别方法包括使用实体链接将候选实体和知识库链接,文本实体识别方法还包括使用命名实体识别技术识别文章中得实体;
S13、获得实体后,根据实体间的关系,利用句法结构确定指定实体间的关系;
S14、对半结构化数据进行标注,使用预设规则对同类型或者符合给定关系的数据进行抽取。
具体的,非结构化数据和半结构化数据的概念本身是可以理解的,非结构化数据是指数据结构不规则或不完整,没有预定义的数据模型,不方便用数据库二维逻辑表来表现的数据,通常包括所有格式的办公文档、文本、图片, HTML、各类报表、图像和音频/视频信息等。半结构化数据是介于结构化和非结构化之间的数据,结构变化很大,数据结构具有自描述性、描述复杂性、描述动态性,比如员工的建立,公司的介绍等。
具体的,自然语言处理技术识别文本实体存在相关技术,如命名实体识别NER技术,是自然语言处理领域的核心技术之一,可以从一段非结构化文本中识别出属于特定类别的命名实体,进而支持下游任务。
本实施例中,所述知识获取过程中,预定义关系类型并对数据进行预处理;人工标注数据;预设关系识别所需的特征,关系识别所需的特征包括轻量级、中量级和重量级特征;选择分类模型,基于标注数据训练分类模型;对训练的分类模型进行评估。
具体的,知识获取过程在目标产业链中,根据企业特征词库在公开的资料数据中抽取同义词关系、“实体-实体”关系、“属性-值”关系,将抽取的知识作为初始知识。
其中,预设关系识别所需的特征根据实体所在句子的上下文计算获得,根据计算特征的复杂性,分为轻量级、中量级和重量级特征。
具体的,轻量级特征为:基于实体和词的特征,如实体前后的词、实体类型、实体之间的距离;中量级特征为:基于句子中语块序列的特征;重量级特征为:实体间的依存关系路径、实体间依存树结构的距离以及其他特定的结构特征。
其中,选择分类模型,基于标注数据训练分类模型;对训练的分类模型进行评估本身存在相关技术,分类模型可以采用SVM,NN,NB。
以下为知识获取的一个操作实例:
第一步:在一个大型的语料集中去找包含某一实体对(3个中的任意1个)的句子,全部挑出来。
第二步:归纳实体对的前后或中间的词语,构造特征模板。比如:A 创立了 B;A 是B 的创始人;A 的带领下,B。
第三步:用特征模板去语料集中寻找更多的实体对,然后给所有找到的实体对打分排序,高于阈值的实体对就加入到知识图谱中,扩展现有的实体对。
第四步:回到第一步,进行迭代,得到更多模板,发现更多实体对。
本实施例中,所述知识融合包括以下步骤:
数据归一化处理,归一化处理包括语法正规化和数据正规化;
通过属性相似度和实体相似度进行实体记录链接;
从给定知识库中的实体对中,选出潜在匹配记录对作为候选项,将候选项的大小范围进行缩小;
采用图数据库形式进行所述知识存储和所述知识计算过程中的数据处理,图数据库采用邻接矩阵。
具体的,语法正规化形式如下:
语法匹配:联系电话的表示方法;
综合属性: 家庭地址的表达方式。
数据正规化形式如下:
移除空格,《》,“”,-,等符号;
输入错误类的拓扑错误;
用正式名字替换昵称和缩写等。
具体的,假设两个实体的记录𝑥和𝑦,𝑥和𝑦在第i个属性上的值是𝑥i, 𝑦i,那么通过如下两步进行记录链接:
属性相似度:综合单个属性相似度得到属性相似度向量:[𝑠𝑖𝑚(𝑥1, 𝑦1), 𝑠𝑖𝑚(𝑥2, 𝑦2), … , 𝑠𝑖𝑚(𝑥𝑁, 𝑦𝑁)];实体相似度:根据属性相似度向量得到一个实体的相似度。
本实施例中,从给定的知识库中的所有实体对中,选出潜在匹配的记录对作为候选项,并将候选项的大小尽可能的缩小,具体过程如下:
对于记录𝑥,有 hash(𝑥)=hi hash(𝑥)=hi,则𝑥映射到与关键字 hi 绑定的块Ci上。常见的hash函数:字符串的前n个字;n-grams;结合多个简单的hash函数等。邻近分类方式包括Canopy聚类;排序邻居算法等。
本实施例中,知识存储与知识计算是将学习到的三元组知识、结构化的知识图谱组织数据进行存储,并通过计算获取其中的知识、模式或规则。
具体的,采用图数据库进行数据存储与计算,解决现有关系数据库的局限性。图数据库存储采用邻接矩阵方式,图是由两部分组成,顶点和边,顶点和边的连接,确定图的逻辑关系,所以图的存储过程,顶点需要存储,边与边的连接信息也要存储。顶点的信息,可以使用一维数组进行存储。边的信息,存在这多对多的逻辑关系,进而可以使用二维数据进行存储。邻接矩阵的存储,本质是顺序存储的方式。邻接矩阵存储实现过程为:确定顶点数;读取顶点信息;初始化邻接矩阵;读入边的信息;循环打印。
本实施例中,供应链可视化包括:
以图形可视化方式显示企业的上游供应商及产品信息,同时显示下游分销商及产品信息;
以网络拓扑结构方式展示供应商的所有上游供应商、下游分销商及产品信息;
以网络拓扑结构方式展示分销商的所有上游供应商、下游分销商及产品信息。
具体的,根据现有相关技术,可视化页面的所有图形节点均支持任意拖拽变动,拖拽过程中,相近及关联节点可根据拖拽位置自由浮动、自动对齐,各节点均可自动实现无遮挡效果,无需人工干预。识别各企业间的供需关系,点击任意企业名称均支持上下游信息的展示与隐藏。
参见图2,为根据本发明实施例的技术方案的可视化效果图,其中,查看企业详情,以图形可视化方式显示企业的上游供应商及产品信息,同时显示下游分销商及产品信息;点击企业上游的任意供应商,可以以网络拓扑结构方式展示该供应商的所有上游供应商及其下游分销商及产品信息;点击企业下游的任意分销商,可以以网络拓扑结构方式展示该分销商的所有上游供应商及其下游分销商及产品信息。
综上所述,本发明通过对企业内外部产业关联数据进行提取,产业关联数据包括非结构化数据和半结构化数据,将提取的非结构化数据和半结构化数据转换为结构化数据;根据创建的上下游企业关系模型构建行业知识图谱,构建行业知识图谱包括知识获取、知识融合、知识存储和知识计算:知识获取根据企业特征词库在公开的资料数据中抽取同义词关系、实体关系和属性关系,将抽取的知识作为初始知识;知识融合将抽取出的同义词关系、实体关系和属性关系集成到行业知识图谱中,对数据进行实体匹配和模式对齐;知识存储将学习到的三元组知识、结构化的知识图谱组织数据进行存储;根据行业知识图谱进行供应链关系的可视化。本发明依托大数据分析能力,进行科学统一治理,快速识别隐藏在数据中的公共要素和联系,并通过可视化的方式,展现数据的图谱呈现企业之间供应链的上下游关系,通过标签对企业对象,实现多维展现、全量刻画,并将图谱与传统列表和统计图表进行结合,多角度显现数据背后的线索,让企业能够一目了然的掌握所有关联信息。
需要说明的是,本公开实施例的方法可以由单个设备执行,例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下,由多台设备相互配合来完成。在这种分布式场景的情况下,这多台设备中的一台设备可以只执行本公开实施例的方法中的某一个或多个步骤,这多台设备相互之间会进行交互以完成所述的方法。
需要说明的是,上述对本公开的一些实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于上述实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
实施例2
参见图3,本发明实施例2还提供一种基于大数据的智慧供应链可视化装置,包括:
供应链数据采集单元1,用于对企业内外部产业关联数据进行提取,产业关联数据包括非结构化数据和半结构化数据,将提取的非结构化数据和半结构化数据转换为结构化数据;
供应链图谱构建单元2,用于根据创建的上下游企业关系模型构建行业知识图谱;供应链图谱构建单元包括知识获取模块、知识融合模块、知识存储模块和知识计算模块:
知识获取模块21,用于根据企业特征词库在公开的资料数据中抽取同义词关系、实体关系和属性关系,将抽取的知识作为初始知识;
知识融合模块22,用于将抽取出的同义词关系、实体关系和属性关系集成到行业知识图谱中,对数据进行实体匹配和模式对齐;
知识存储模块23,用于将学习到的三元组知识、结构化的知识图谱组织数据进行存储;
知识计算模块24,用于通过计算获取学习到的三元组知识、结构化的知识图谱组织数据中的知识、模式或规则;
供应链可视化单元3,用于根据行业知识图谱进行供应链关系的可视化。
本实施例中,供应链数据采集单元1包括:
非结构化数据提取模块11,用于对非结构化数据提取正文,以保存关注的文本内容;
文本实体识别模块12,用于通过自然语言处理技术识别文本实体,文本实体识别模块使用实体链接将候选实体和知识库链接,文本实体识别模块使用命名实体识别技术识别文章中得实体;
实体关系确定模块13,用于获得实体后,根据实体间的关系,利用句法结构确定指定实体间的关系;
半结构化数据处理模块14,用于对半结构化数据进行标注,使用预设规则对同类型或者符合给定关系的数据进行抽取。
本实施例中,所述知识获取模块21包括:
预处理子模块211,用于预定义关系类型并对数据进行预处理;
标注子模块212,用于人工标注数据;
关系预设子模块213,用于预设关系识别所需的特征;关系识别所需的特征包括轻量级、中量级和重量级特征;
模型训练子模块214,用于选择分类模型,基于标注数据训练分类模型;
模型评估子模块215,用于对训练的分类模型进行评估。
本实施例中,所述知识融合模块22包括:
数据归一子模块221,用于数据归一化处理,归一化处理包括语法正规化和数据正规化;
实体记录链接子模块222,用于通过属性相似度和实体相似度进行实体记录链接;
候选项处理子模块223,用于从给定知识库中的实体对中,选出潜在匹配记录对作为候选项,将候选项的大小范围进行缩小;
所述知识存储模块23和所述知识计算模块24均采用图数据库形式进行数据处理,图数据库采用邻接矩阵。
本实施例中,所述供应链可视化单元3包括:
企业可视化子模块31,用于以图形可视化方式显示企业的上游供应商及产品信息,同时显示下游分销商及产品信息;
供应商可视化子模块32,用于以网络拓扑结构方式展示供应商的所有上游供应商、下游分销商及产品信息;
分销商可视化子模块33,用于以网络拓扑结构方式展示分销商的所有上游供应商、下游分销商及产品信息。
需要说明的是,上述装置各模块/单元之间的信息交互、执行过程等内容,由于与本申请实施例1中的方法实施例基于同一构思,其带来的技术效果与本申请方法实施例相同,具体内容可参见本申请前述所示的方法实施例中的叙述,此处不再赘述。
实施例3
本发明实施例3提供一种非暂态计算机可读存储介质,所述计算机可读存储介质中存储有基于大数据的智慧供应链可视化方法的程序代码,所述程序代码包括用于执行实施例1或其任意可能实现方式的基于大数据的智慧供应链可视化方法的指令。
计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘(SolidState Disk、SSD))等。
实施例4
本发明实施例4提供一种电子设备,包括:存储器和处理器;
所述处理器和所述存储器通过总线完成相互间的通信;所述存储器存储有可被所述处理器执行的程序指令,所述处理器调用所述程序指令能够执行实施例1或其任意可能实现方式的基于大数据的智慧供应链可视化方法。
具体的,处理器可以通过硬件来实现也可以通过软件来实现,当通过硬件实现时,该处理器可以是逻辑电路、集成电路等;当通过软件来实现时,该处理器可以是一个通用处理器,通过读取存储器中存储的软件代码来实现,该存储器可以集成在处理器中,可以位于所述处理器之外,独立存在。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。
显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
虽然,上文中已经用一般性说明及具体实施例对本发明作了详尽的描述,但在本发明基础上,可以对之作一些修改或改进,这对本领域技术人员而言是显而易见的。因此,在不偏离本发明精神的基础上所做的这些修改或改进,均属于本发明要求保护的范围。
Claims (10)
1.基于大数据的智慧供应链可视化方法,其特征在于,包括:
供应链数据采集:对企业内外部产业关联数据进行提取,产业关联数据包括非结构化数据和半结构化数据,将提取的非结构化数据和半结构化数据转换为结构化数据;
供应链图谱构建:根据创建的上下游企业关系模型构建行业知识图谱,构建行业知识图谱包括知识获取、知识融合、知识存储和知识计算:
所述知识获取根据企业特征词库在公开的资料数据中抽取同义词关系、实体关系和属性关系,将抽取的知识作为初始知识;
所述知识融合将抽取出的同义词关系、实体关系和属性关系集成到行业知识图谱中,对数据进行实体匹配和模式对齐;
所述知识存储将学习到的三元组知识、结构化的知识图谱组织数据进行存储;
所述知识计算通过计算获取学习到的三元组知识、结构化的知识图谱组织数据中的知识、模式或规则;
供应链可视化:根据行业知识图谱进行供应链关系的可视化。
2.根据权利要求1所述的基于大数据的智慧供应链可视化方法,其特征在于,供应链数据采集包括以下步骤:
对非结构化数据提取正文,以保存关注的文本内容;
通过自然语言处理技术识别文本实体,文本实体识别方法包括使用实体链接将候选实体和知识库链接,文本实体识别方法还包括使用命名实体识别技术识别文章中得实体;
获得实体后,根据实体间的关系,利用句法结构确定指定实体间的关系;
对半结构化数据进行标注,使用预设规则对同类型或者符合给定关系的数据进行抽取。
3.根据权利要求1所述的基于大数据的智慧供应链可视化方法,其特征在于,所述知识获取过程中,预定义关系类型并对数据进行预处理;人工标注数据;预设关系识别所需的特征,关系识别所需的特征包括轻量级、中量级和重量级特征;选择分类模型,基于标注数据训练分类模型;对训练的分类模型进行评估。
4.根据权利要求1所述的基于大数据的智慧供应链可视化方法,其特征在于,所述知识融合包括以下步骤:
数据归一化处理,归一化处理包括语法正规化和数据正规化;
通过属性相似度和实体相似度进行实体记录链接;
从给定知识库中的实体对中,选出潜在匹配记录对作为候选项,将候选项的大小范围进行缩小;
采用图数据库形式进行所述知识存储和所述知识计算过程中的数据处理,图数据库采用邻接矩阵。
5.根据权利要求1所述的基于大数据的智慧供应链可视化方法,其特征在于,供应链可视化包括:
以图形可视化方式显示企业的上游供应商及产品信息,同时显示下游分销商及产品信息;
以网络拓扑结构方式展示供应商的所有上游供应商、下游分销商及产品信息;
以网络拓扑结构方式展示分销商的所有上游供应商、下游分销商及产品信息。
6.基于大数据的智慧供应链可视化装置,其特征在于,包括:
供应链数据采集单元,用于对企业内外部产业关联数据进行提取,产业关联数据包括非结构化数据和半结构化数据,将提取的非结构化数据和半结构化数据转换为结构化数据;
供应链图谱构建单元,用于根据创建的上下游企业关系模型构建行业知识图谱;供应链图谱构建单元包括知识获取模块、知识融合模块、知识存储模块和知识计算模块:
知识获取模块,用于根据企业特征词库在公开的资料数据中抽取同义词关系、实体关系和属性关系,将抽取的知识作为初始知识;
知识融合模块,用于将抽取出的同义词关系、实体关系和属性关系集成到行业知识图谱中,对数据进行实体匹配和模式对齐;
知识存储模块,用于将学习到的三元组知识、结构化的知识图谱组织数据进行存储;
知识计算模块,用于通过计算获取学习到的三元组知识、结构化的知识图谱组织数据中的知识、模式或规则;
供应链可视化单元,用于根据行业知识图谱进行供应链关系的可视化。
7.根据权利要求6所述的基于大数据的智慧供应链可视化装置,其特征在于,供应链数据采集单元包括:
非结构化数据提取模块,用于对非结构化数据提取正文,以保存关注的文本内容;
文本实体识别模块,用于通过自然语言处理技术识别文本实体,文本实体识别模块使用实体链接将候选实体和知识库链接,文本实体识别模块使用命名实体识别技术识别文章中得实体;
实体关系确定模块,用于获得实体后,根据实体间的关系,利用句法结构确定指定实体间的关系;
半结构化数据处理模块,用于对半结构化数据进行标注,使用预设规则对同类型或者符合给定关系的数据进行抽取。
8.根据权利要求6所述的基于大数据的智慧供应链可视化装置,其特征在于,所述知识获取模块包括:
预处理子模块,用于预定义关系类型并对数据进行预处理;
标注子模块,用于人工标注数据;
关系预设子模块,用于预设关系识别所需的特征;关系识别所需的特征包括轻量级、中量级和重量级特征;
模型训练子模块,用于选择分类模型,基于标注数据训练分类模型;
模型评估子模块,用于对训练的分类模型进行评估。
9.根据权利要求6所述的基于大数据的智慧供应链可视化装置,其特征在于,所述知识融合模块包括:
数据归一子模块,用于数据归一化处理,归一化处理包括语法正规化和数据正规化;
实体记录链接子模块,用于通过属性相似度和实体相似度进行实体记录链接;
候选项处理子模块,用于从给定知识库中的实体对中,选出潜在匹配记录对作为候选项,将候选项的大小范围进行缩小;
所述知识存储模块和所述知识计算模块均采用图数据库形式进行数据处理,图数据库采用邻接矩阵。
10.根据权利要求6所述的基于大数据的智慧供应链可视化装置,其特征在于,所述供应链可视化单元包括:
企业可视化子模块,用于以图形可视化方式显示企业的上游供应商及产品信息,同时显示下游分销商及产品信息;
供应商可视化子模块,用于以网络拓扑结构方式展示供应商的所有上游供应商、下游分销商及产品信息;
分销商可视化子模块,用于以网络拓扑结构方式展示分销商的所有上游供应商、下游分销商及产品信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210637451.0A CN114817481A (zh) | 2022-06-08 | 2022-06-08 | 基于大数据的智慧供应链可视化方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210637451.0A CN114817481A (zh) | 2022-06-08 | 2022-06-08 | 基于大数据的智慧供应链可视化方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114817481A true CN114817481A (zh) | 2022-07-29 |
Family
ID=82520833
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210637451.0A Pending CN114817481A (zh) | 2022-06-08 | 2022-06-08 | 基于大数据的智慧供应链可视化方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114817481A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115358201A (zh) * | 2022-08-03 | 2022-11-18 | 浙商期货有限公司 | 一种期货领域的投研报告处理方法和系统 |
CN115994516A (zh) * | 2023-03-24 | 2023-04-21 | 中国石油天然气集团有限公司 | 一种供应链数据编织方法和系统 |
CN116127047A (zh) * | 2023-04-04 | 2023-05-16 | 北京大学深圳研究生院 | 企业信息库的建立方法与装置 |
CN116955639A (zh) * | 2023-04-24 | 2023-10-27 | 浙商期货有限公司 | 期货产业链知识图谱构建方法、装置及计算机设备 |
CN117195891A (zh) * | 2023-11-07 | 2023-12-08 | 成都航空职业技术学院 | 一种基于数据分析的工程施工材料供应链管理系统 |
-
2022
- 2022-06-08 CN CN202210637451.0A patent/CN114817481A/zh active Pending
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115358201A (zh) * | 2022-08-03 | 2022-11-18 | 浙商期货有限公司 | 一种期货领域的投研报告处理方法和系统 |
CN115994516A (zh) * | 2023-03-24 | 2023-04-21 | 中国石油天然气集团有限公司 | 一种供应链数据编织方法和系统 |
CN115994516B (zh) * | 2023-03-24 | 2023-06-30 | 中国石油天然气集团有限公司 | 一种供应链数据编织方法和系统 |
CN116127047A (zh) * | 2023-04-04 | 2023-05-16 | 北京大学深圳研究生院 | 企业信息库的建立方法与装置 |
CN116955639A (zh) * | 2023-04-24 | 2023-10-27 | 浙商期货有限公司 | 期货产业链知识图谱构建方法、装置及计算机设备 |
CN117195891A (zh) * | 2023-11-07 | 2023-12-08 | 成都航空职业技术学院 | 一种基于数据分析的工程施工材料供应链管理系统 |
CN117195891B (zh) * | 2023-11-07 | 2024-01-23 | 成都航空职业技术学院 | 一种基于数据分析的工程施工材料供应链管理系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10698977B1 (en) | System and methods for processing fuzzy expressions in search engines and for information extraction | |
CN114817481A (zh) | 基于大数据的智慧供应链可视化方法及装置 | |
US20220237373A1 (en) | Automated categorization and summarization of documents using machine learning | |
US20120041901A1 (en) | System and Method for Knowledge Pattern Search from Networked Agents | |
US9785725B2 (en) | Method and system for visualizing relational data as RDF graphs with interactive response time | |
CN102640145A (zh) | 可信查询系统和方法 | |
CN112163160A (zh) | 基于知识图谱的敏感识别方法 | |
CN116737915B (zh) | 基于知识图谱的语义检索方法、装置、设备及存储介质 | |
US11537918B2 (en) | Systems and methods for document similarity matching | |
CN109871473A (zh) | 一种对工程文件和数据库建立全文检索文档的方法 | |
CN115827862A (zh) | 一种多元费用凭证数据关联采集方法 | |
Ise | Integration and analysis of unstructured data for decision making: Text analytics approach | |
Wagenpfeil et al. | Graph codes-2d projections of multimedia feature graphs for fast and effective retrieval | |
CN116127047B (zh) | 企业信息库的建立方法与装置 | |
Faccia et al. | NLP And IR Applications For Financial Reporting And Non-Financial Disclosure. Framework Implementation And Roadmap For Feasible Integration With The Accounting Process | |
CN113377739A (zh) | 知识图谱应用方法、平台、电子设备及存储介质 | |
CN113779256A (zh) | 一种文件审核方法及系统 | |
Gavankar et al. | Enriching an academic knowledge base using linked open data | |
Cao | E-Commerce Big Data Mining and Analytics | |
US20140280149A1 (en) | Method and system for content aggregation utilizing contextual indexing | |
Wang et al. | Text Analysis and Visualization Research on the Hetu Dangse During the Qing Dynasty of China | |
CN113868322B (zh) | 一种语义结构解析方法、装置、设备及虚拟化系统、介质 | |
US11893008B1 (en) | System and method for automated data harmonization | |
Chen | Design and implementation of knowledge graph of listed companies based on Neo4j | |
Liu et al. | Practical Skills of Business English Correspondence Writing Based on Data Mining Algorithm |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |