CN112632293A - 行业图谱的构建方法、装置、电子设备及存储介质 - Google Patents
行业图谱的构建方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112632293A CN112632293A CN202011553229.XA CN202011553229A CN112632293A CN 112632293 A CN112632293 A CN 112632293A CN 202011553229 A CN202011553229 A CN 202011553229A CN 112632293 A CN112632293 A CN 112632293A
- Authority
- CN
- China
- Prior art keywords
- graph
- plug
- industry
- configuration information
- dag
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000010276 construction Methods 0.000 title claims abstract description 27
- 238000012545 processing Methods 0.000 claims abstract description 34
- 238000000034 method Methods 0.000 claims description 60
- 230000008569 process Effects 0.000 claims description 25
- 230000008676 import Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 11
- 238000004140 cleaning Methods 0.000 claims description 7
- 230000010354 integration Effects 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 239000000126 substance Substances 0.000 claims description 2
- 238000013473 artificial intelligence Methods 0.000 abstract description 6
- 238000005516 engineering process Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 230000003993 interaction Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000011144 upstream manufacturing Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 239000000969 carrier Substances 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010225 co-occurrence analysis Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003924 mental process Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
- G06F16/9024—Graphs; Linked lists
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Stored Programmes (AREA)
Abstract
本申请公开了行业图谱的构建方法、装置、电子设备及存储介质,涉及计算机技术领域,具体涉及知识图谱、人工智能等技术领域。具体实现方案为:获取行业图谱的图谱配置信息,其中,图谱配置信息包含至少一个计算节点的节点配置信息;根据节点配置信息为至少一个计算节点配置对应的候选插件;根据图谱配置信息和至少一个计算节点生成有向无环图DAG图;以及根据DAG图对输入数据进行处理以生成行业图谱。本申请的构建方法,可以有效地降低多用户定制化支持成本,减少代码冗余,且灵活性高。
Description
技术领域
本申请涉及计算机技术领域,具体涉及知识图谱、人工智能等技术领域,尤其涉及一种行业图谱的构建方法、装置、电子设备及存储介质。
背景技术
随着近几年知识图谱技术的进步,越来越多关于知识图谱的研究与实践,从通用领域转向了垂直行业。
目前,通过知识图谱能力与行业场景的深度结合来提升行业的服务能力和服务效率已经成为一个重要趋势。
发明内容
本申请提供一种行业图谱的构建方法、装置、电子设备及存储介质。
根据本申请的一方面,提供了一种行业图谱的构建方法,包括:
获取行业图谱的图谱配置信息,其中,所述图谱配置信息包含至少一个计算节点的节点配置信息;
根据所述节点配置信息为所述至少一个计算节点配置对应的候选插件;
根据所述图谱配置信息和所述至少一个计算节点生成有向无环图DAG(Directedacyclic graph,有向无环图)图;以及
根据所述DAG图对输入数据进行处理以生成行业图谱。
根据本申请的另一方面,提供了一种行业图谱的构建装置,包括:
获取模块,用于获取行业图谱的图谱配置信息,其中,所述图谱配置信息包含至少一个计算节点的节点配置信息;
配置模块,用于根据所述节点配置信息为所述至少一个计算节点配置对应的候选插件;
第一生成模块,用于根据所述图谱配置信息和所述至少一个计算节点生成有向无环图DAG图;以及
第二生成模块,用于根据所述DAG图对输入数据进行处理以生成行业图谱。
根据本申请的另一方面,提供了一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述一方面实施例所述的行业图谱的构建方法。
根据本申请另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行上述一方面实施例所述的行业图谱的构建方法。
根据本申请的另一方面,提供了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现上述一方面实施例所述的行业图谱的构建方法。
应当理解,本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征,也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本申请的限定。其中:
图1为本申请实施例提供的一种行业图谱的构建方法的流程示意图;
图2为本申请实施例提供的另一种行业图谱的构建方法的流程示意图;
图3为本申请实施例提供的另一种行业图谱的构建方法的流程示意图;
图4为本申请实施例提供的一种行业图谱的构建装置的结构示意图;以及
图5为根据本申请实施例的行业图谱的构建方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明,其中包括本申请实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
下面参考附图描述本申请实施例的行业图谱的构建方法、装置、电子设备及存储介质。
知识图谱(Knowledge Graph),在图书情报界称为知识域可视化或知识领域映射地图,是显示知识发展进程与结构关系的一系列各种不同的图形,用可视化技术描述知识资源及其载体,挖掘、分析、构建、绘制和显示知识及它们之间的相互联系。知识图谱,是通过将应用数学、图形学、信息可视化技术、信息科学等学科的理论与方法与计量学引文分析、共现分析等方法结合,并利用可视化的图谱形象地展示学科的核心结构、发展历史、前沿领域以及整体知识架构达到多学科融合目的的现代理论。知识图谱,它能为学科研究提供切实的、有价值的参考。
人工智能是研究使用计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科,既有硬件层面的技术领域也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术;人工智能软件技术包括计算机视觉技术、语音识别技术、自然语言处理技术以及深度学习、大数据处理技术、知识图谱技术等几大方向。
本申请实施例提供的行业图谱的构建方法,可以由电子设备来执行,该电子设备可为PC(Personal Computer,个人计算机)电脑、平板电脑或掌上电脑等,此处不做任何限定。
在本申请实施例中,电子设备中可以设置有处理组件、存储组件和驱动组件。可选的,该驱动组件和处理组件可以集成设置,该存储组件可以存储操作系统、应用程序或其他程序模块,该处理组件通过执行存储组件中存储的应用程序来实现本申请实施例提供的行业图谱的构建方法。
图1为本申请实施例提供的一种行业图谱的构建方法的流程示意图。
本申请实施例的行业图谱的构建方法,还可由本申请实施例提供的行业图谱的构建装置执行,该装置可配置于电子设备中,以实现获取行业图谱的图谱配置信息,并根据图谱配置信息中至少一个计算节点的节点配置信息,为至少一个计算节点配置对应的候选插件,以及根据图谱配置信息和至少一个计算节点生成有向无环图DAG图,而后根据DAG图对输入数据进行处理以生成行业图谱,从而有效地降低多用户定制化支持成本,减少代码冗余。
作为一种可能的情况,本申请实施例的行业图谱的构建方法还可以在服务器端执行,服务器可以为云服务器,可以在云端执行该行业图谱的构建方法。
如图1所示,该行业图谱的构建方法,可包括:
步骤101,获取行业图谱的图谱配置信息,其中,图谱配置信息可包含至少一个计算节点的节点配置信息。
需要说明的是,该实施例中所描述的图谱配置信息可从图谱配置文件中获取,其中,该图谱配置文件可以是相关人员根据需求预先编写好的,其中,该需求可包括不同的行业场景,该图谱配置文件可采用JSON(JavaScript Object Notation,JavaScrip对象简谱)格式进行编写,并将其预先存储在电子设备的存储空间中,以便于调取使用。其中,该存储空间不仅限于基于实体的存储空间,例如,硬盘,该存储空间还可以是连接电子设备的网络硬盘的存储空间(云存储空间)。
作为一种可能的情况,也可将上述的图谱配置文件存储(配置)在行业图谱的构建装置(工具)中。
具体地,相关人员在需要构建行业图谱(例如,医院的行业图谱、金融平台的行业图谱等)时,可先根据该行业图谱对应的不同的行业场景预先编写好该行业图谱的图谱配置文件,并将其存储在电子设备中。
而后,该电子设备在接收到行业图谱的构建指令时,可先从自身的存储空间中调出图谱配置文件,并对该图谱配置文件进行解析以获取行业图谱的图谱配置信息。
步骤102,根据节点配置信息为至少一个计算节点配置对应的候选插件。
需要说明的是,该实施例中所描述的候选插件可为基于airflow(工作流平台)制定的流程插件,即airflow插件,且该airflow可安装在电子设备中,其中,在制定的流程插件(即,候选插件)的过程中,还可定义插件间数据交互通用协议,以使各个插件之间可以进行数据的交互,同时使airflow插件能够具有处理行业图谱数据的能力。
其中,还可将基于airflow制定完成的流程插件,预先存储在电子设备的存储空间中,以便于后续的调取使用。
具体地,电子设备在获取到行业图谱的图谱配置信息之后,可对该图谱配置信息进行解析,以获取该图谱配置信息中计算节点的节点配置信息,并根据该计算节点的节点配置信息获取相应的流程插件(即,候选插件),然后根据该计算节点的节点配置信息与该流程插件进行绑定,以完成该计算节点的插件配置。
需要说明的是,在本申请中同种类型的流程插件可对应多个计算节点,即多个不同的计算节点可与同一种流程插件进行绑定。
步骤103,根据图谱配置信息和至少一个计算节点生成有向无环图DAG图。
步骤104,根据DAG图对输入数据进行处理以生成行业图谱。
在本申请实施例中,输入数据可由流程插件(例如,数据引入插件)引入,例如,电子设备可在完成计算节点的插件配置后,通过airflow调用并启动绑定数据引入插件的计算节点,引入数据(即,输入数据)。
具体地,电子设备在完成计算节点的插件配置后,可根据图谱配置信息和计算节点生成有向无环图DAG图,并根据DAG图对上述输入数据进行处理以生成行业图谱。
在本申请实施例中,首先获取行业图谱的图谱配置信息,并根据图谱配置信息中的节点配置信息为至少一个计算节点配置对应的候选插件,然后根据图谱配置信息和至少一个计算节点生成有向无环图DAG图,最后根据DAG图对输入数据进行处理以生成行业图谱。由此,可以有效地降低多用户定制化支持成本,减少代码冗余,且灵活性高。
为了清楚说明上一实施例,在本申请的一个实施例中,候选插件可包括数据引入插件、抽取插件、属性映射插件、清洗插件、数据整合插件、建库插件和用户自定义处理插件之中的一种。
下述详细说明各种候选插件的功能:
数据引入插件:制定文档,结构化数据,数据库等多种来源的数据引入插件;抽取插件:对文档类数据抽取半实体;属性映射插件:根据用户定义的schema(架构、提要、刚要)及配置,将数据处理成属性名符合schema定义的结构化实体数据;清洗插件:根据用户配置、schema及策略,对结构化数据值进行清洗;数据整合插件:对半结构数据构建图谱;建库插件:将构建的图谱灌入图数据库中;用户自定义处理插件:可封装用户自定义流程,提升数据处理的灵活性。
需要说明的是,该实施例中所描述的schema可相当于一个领域内的数据模型,包含了这个领域里面有意义的概念类型以及这些类型的属性。
具体地,相关工作人员可基于airflow(工作流平台)制定多个流程插件(例如,括数据引入插件、抽取插件、属性映射插件、清洗插件、数据整合插件、建库插件和用户自定义处理插件等),并将其预先存储在电子设备的存储空间中,以便于电子设备执行本申请的行业图谱的构建方法时使用。由此,可实现插件化的行业图谱构建,兼顾通用性与灵活性,使用一套机制能够有效的支持多领域、不同定制化的产品需求,有效降低了多用户定制化支持成本,另外,支持用户自定义插件,可有效提升灵活性。
进一步地,在本申请的一个实施例中,如图2所示,根据节点配置信息为至少一个计算节点配置对应的候选插件,可包括:
步骤201,根据节点配置信息确定计算节点所对应的候选插件。
需要说明的是,相关工作人员在根据需求编写行业图谱的图谱配置文件时,可将各个计算节点需要绑定的插件类型,编写在各个计算节点对应的节点配置信息中。
步骤202,将计算节点与计算节点对应的候选插件进行绑定。
具体地,电子设备在获取到计算节点的节点配置信息之后,可对该节点配置信息进行解析以确定该计算节点所对应的候选插件(例如,括数据引入插件),并从自身的存储空间中调出该候选插件,然后将该计算节点与该计算节点对应的候选插件进行绑定,从而完成该计算节点的插件配置。由此,可根据用户的需求制定相应的候选插件,并将其和对应的计算节点进行绑定,从而可试下产品需求的制定化,同时有效降低了多用户定制化支持成本。
在本申请的一个实施例中,计算节点可为多个,图谱配置信息还可包括多个计算节点之间的依赖关系,根据图谱配置信息和至少一个计算节点生成DAG图,可包括将多个计算节点作为DAG图的多个节点,并根据依赖关系生成多个节点之间的边,以生成DAG图。其中,多个计算节点之间的依赖关系可为多个计算节点之间的上下游依赖关系。
需要说明的是,在本申请中,可将整个行业图谱的构建流抽象成上下游有时序依赖及产出依赖的DAG图,每一个计算节点定义成DAG的节点,节点内核包含DAG的流程插件,通过节点上游产出及配置确认计算输入及参数。
具体地,电子设备在完成计算节点的插件配置后,可将多个计算节点作为DAG图的多个节点,并根据多个计算节点的插件配置,确认各个计算节点间的上下游依赖关系,以及根据依赖关系生成多个节点之间的边(即,DAG的边),以生成DAG图。由此,仅需完成计算节点的插件配置,即可进行DAG图的生成,可大大减少代码冗余,且易于维护,维护成较低。
在本申请的一个实施例中,如图3所示,根据DAG图对输入数据进行处理以生成行业图谱,可包括:
步骤301,根据DAG图生成用于分布式任务调度框架所识别的DAG配置,其中,DAG配置包括多个节点。
需要说明的是,该实施例中所描述的分布式任务调度框架可为airflow的调度框架。
步骤302,分布式任务调度框架依次调用多个节点所绑定的候选插件对输入数据进行处理以生成行业图谱。
具体地,在生成DAG图之后,电子设备可根据DAG图和完成计算节点的插件配置的多个节点及对应的流程插件,生成airflow的调度框架可识别的DAG配置(例如,DAG程序)。然后电子设备可将生成的airflow的调度框架可识别的DAG配置,通过制定的airflow扩展,将DAG配置添加到airflow的调度框架中。而后可通过airflow的调度框架根据airflow扩展控制DAG配置的启动,以依次调用多个节点所绑定的流程插件对输入数据进行处理以生成行业图谱。由此,仅需要根据用户需求生成不同DAG,即可实现行业图谱的生成,从而降低了生成行业图谱的复杂度,且更加的灵活。
需要说明的是,该实施例中所描述的airflow扩展可为airflow的rest(Representational State Transfer,表现层状态转移)-API(Application ProgrammingInterface,应用程序接口)扩展接口,其中,传统的airflow是通过命令行进行控制,这造成其他模块或设备对airflow的控制存在一定困难。因此制定了一套airflow的rest-API扩展接口,使其他模块或设备可通过该套接口实现对airflow的统一控制。
图4为本申请实施例提供的一种行业图谱的构建装置的结构示意图。
本申请实施例的行业图谱的构建装置,可配置于电子设备中,以实现获取行业图谱的图谱配置信息,并根据图谱配置信息中至少一个计算节点的节点配置信息,为至少一个计算节点配置对应的候选插件,以及根据图谱配置信息和至少一个计算节点生成有向无环图DAG图,而后根据DAG图对输入数据进行处理以生成行业图谱,从而有效地降低多用户定制化支持成本,减少代码冗余。
如图4所示,该行业图谱的构建装置400,可包括:获取模块410、配置模块420、第一生成模块430和第二生成模块440。
其中,获取模块410用于获取行业图谱的图谱配置信息,其中,图谱配置信息包含至少一个计算节点的节点配置信息。
需要说明的是,该实施例中所描述的图谱配置信息可从图谱配置文件中获取,其中,该图谱配置文件可以是相关人员根据需求预先编写好的,其中,该需求可包括不同的行业场景,该图谱配置文件可采用JSON(JavaScript Object Notation,JavaScrip对象简谱)格式进行编写,并将其预先存储在行业图谱的构建装置400的存储空间中,以便于调取使用。其中,该存储空间不仅限于基于实体的存储空间,例如,硬盘,该存储空间还可以是连接行业图谱的构建装置400的网络硬盘的存储空间(云存储空间)。
具体地,相关人员在需要构建行业图谱(例如,医院的行业图谱、金融平台的行业图谱等)时,可先根据该行业图谱对应的不同的行业场景预先编写好该行业图谱的图谱配置文件,并将其存储在行业图谱的构建装置400中。
而后,该行业图谱的构建装置400在接收到行业图谱的构建指令时,获取模块410可先从行业图谱的构建装置400的存储空间中调出图谱配置文件,并对该图谱配置文件进行解析以获取行业图谱的图谱配置信息。
配置模块420用于根据节点配置信息为至少一个计算节点配置对应的候选插件。
需要说明的是,该实施例中所描述的候选插件可为基于airflow(工作流平台)制定的流程插件,即airflow插件,且该airflow可安装在行业图谱的构建装置400中,其中,在制定的流程插件(即,候选插件)的过程中,还可定义插件间数据交互通用协议,以使各个插件之间可以进行数据的交互,同时使airflow插件能够具有处理行业图谱数据的能力。
其中,还可将基于airflow制定完成的流程插件,预先存储在行业图谱的构建装置400的存储空间中,以便于后续的调取使用。
具体地,在获取模块410获取到行业图谱的图谱配置信息之后,配置模块420可对该图谱配置信息进行解析,以获取该图谱配置信息中计算节点的节点配置信息,并根据该计算节点的节点配置信息获取相应的流程插件(即,候选插件),然后根据该计算节点的节点配置信息与该流程插件进行绑定,以完成该计算节点的插件配置。
需要说明的是,在本申请中同种类型的流程插件可对应多个计算节点,即多个不同的计算节点可与同一种流程插件进行绑定。
第一生成模块430,用于根据图谱配置信息和至少一个计算节点生成有向无环图DAG图。
第二生成模块440用于根据DAG图对输入数据进行处理以生成行业图谱。
在本申请实施例中,输入数据可由流程插件(例如,数据引入插件)引入,例如,配置模块420可在完成计算节点的插件配置后,通过airflow调用并启动绑定数据引入插件的计算节点,引入数据(即,输入数据)。
具体地,在配置模块420完成计算节点的插件配置后,第一生成模块430可根据图谱配置信息和计算节点生成有向无环图DAG图,而后第二生成模块440可根据DAG图对上述输入数据进行处理以生成行业图谱。
在本申请实施例中,通过获取模块获取行业图谱的图谱配置信息,并通过配置模块根据图谱配置信息中的节点配置信息为至少一个计算节点配置对应的候选插件,以及通过第一生成模块根据图谱配置信息和至少一个计算节点生成有向无环图DAG图,而后通过第二生成模块根据DAG图对输入数据进行处理以生成行业图谱。由此,可以有效地降低多用户定制化支持成本,减少代码冗余,且灵活性高。
在本申请的一个实施例中,计算节点为多个,图谱配置信息还包括多个计算节点之间的依赖关系,第一生成模块430具体用于将多个计算节点作为DAG图的多个节点,并根据依赖关系生成多个节点之间的边,以生成DAG图。
在本申请的一个实施例中,候选插件包括数据引入插件、抽取插件、属性映射插件、清洗插件、数据整合插件、建库插件和用户自定义处理插件之中的一种。
在本申请的一个实施例中,配置模块420具体用于根据节点配置信息确定计算节点所对应的候选插件,并将计算节点与计算节点对应的候选插件进行绑定。
在本申请的一个实施例中,第二生成模块440具体用于根据DAG图生成用于分布式任务调度框架所识别的DAG配置,其中,DAG配置包括多个节点;分布式任务调度框架依次调用多个节点所绑定的候选插件对输入数据进行处理以生成行业图谱。
需要说明的是,前述对行业图谱的构建方法实施例的解释说明也适用于该实施例的行业图谱的构建装置,此处不再赘述。
综上,本申请实施例的行业图谱的构建装置,通过获取模块获取行业图谱的图谱配置信息,并通过配置模块根据图谱配置信息中的节点配置信息为至少一个计算节点配置对应的候选插件,以及通过第一生成模块根据图谱配置信息和至少一个计算节点生成有向无环图DAG图,而后通过第二生成模块根据DAG图对输入数据进行处理以生成行业图谱。由此,可以有效地降低多用户定制化支持成本,减少代码冗余,且灵活性高。
根据本申请的实施例,本申请还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图5示出了可以用来实施本申请的实施例的示例电子设备500的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图5所示,设备500包括计算单元501,其可以根据存储在只读存储器(ROM)502中的计算机程序或者从存储单元508加载到随机访问存储器(RAM)503中的计算机程序,来执行各种适当的动作和处理。在RAM 503中,还可存储设备500操作所需的各种程序和数据。计算单元501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
设备500中的多个部件连接至I/O接口505,包括:输入单元506,例如键盘、鼠标等;输出单元507,例如各种类型的显示器、扬声器等;存储单元508,例如磁盘、光盘等;以及通信单元509,例如网卡、调制解调器、无线通信收发机等。通信单元509允许设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元501可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元501的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元501执行上文所描述的各个方法和处理,例如行业图谱的构建方法。例如,在一些实施例中,行业图谱的构建方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元508。在一些实施例中,计算机程序的部分或者全部可以经由ROM 502和/或通信单元509而被载入和/或安装到设备500上。当计算机程序加载到RAM 503并由计算单元501执行时,可以执行上文描述的行业图谱的构建方法的一个或多个步骤。备选地,在其他实施例中,计算单元501可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行行业图谱的构建方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本申请的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本申请的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)、互联网和区块链网络。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与VPS服务("Virtual Private Server",或简称"VPS")中,存在的管理难度大,业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器,或者是结合了区块链的服务器。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本申请公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本申请保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等,均应包含在本申请保护范围之内。
Claims (13)
1.一种行业图谱的构建方法,包括:
获取行业图谱的图谱配置信息,其中,所述图谱配置信息包含至少一个计算节点的节点配置信息;
根据所述节点配置信息为所述至少一个计算节点配置对应的候选插件;
根据所述图谱配置信息和所述至少一个计算节点生成有向无环图DAG图;以及
根据所述DAG图对输入数据进行处理以生成行业图谱。
2.如权利要求1所述的行业图谱的构建方法,其中,所述计算节点为多个,所述图谱配置信息还包括所述多个计算节点之间的依赖关系,所述根据所述图谱配置信息和所述至少一个计算节点生成DAG图,包括:
将所述多个计算节点作为所述DAG图的多个节点,并根据所述依赖关系生成所述多个节点之间的边,以生成所述DAG图。
3.如权利要求1所述的行业图谱的构建方法,其中,所述候选插件包括数据引入插件、抽取插件、属性映射插件、清洗插件、数据整合插件、建库插件和用户自定义处理插件之中的一种。
4.如权利要求3所述的行业图谱的构建方法,其中,根据所述节点配置信息为所述至少一个计算节点配置对应的候选插件,包括:
根据所述节点配置信息确定所述计算节点所对应的候选插件;
将所述计算节点与所述计算节点对应的候选插件进行绑定。
5.如权利要求4所述的行业图谱的构建方法,其中,所述根据所述DAG图对输入数据进行处理以生成行业图谱,包括:
根据所述DAG图生成用于分布式任务调度框架所识别的DAG配置,其中,所述DAG配置包括多个节点;
所述分布式任务调度框架依次调用所述多个节点所绑定的候选插件对所述输入数据进行处理以生成所述行业图谱。
6.一种行业图谱的构建装置,包括:
获取模块,用于获取行业图谱的图谱配置信息,其中,所述图谱配置信息包含至少一个计算节点的节点配置信息;
配置模块,用于根据所述节点配置信息为所述至少一个计算节点配置对应的候选插件;
第一生成模块,用于根据所述图谱配置信息和所述至少一个计算节点生成有向无环图DAG图;以及
第二生成模块,用于根据所述DAG图对输入数据进行处理以生成行业图谱。
7.如权利要求6所述的行业图谱的构建装置,其中,所述计算节点为多个,所述图谱配置信息还包括所述多个计算节点之间的依赖关系,所述第一生成模块,具体用于:
将所述多个计算节点作为所述DAG图的多个节点,并根据所述依赖关系生成所述多个节点之间的边,以生成所述DAG图。
8.如权利要求6所述的行业图谱的构建装置,其中,所述候选插件包括数据引入插件、抽取插件、属性映射插件、清洗插件、数据整合插件、建库插件和用户自定义处理插件之中的一种。
9.如权利要求8所述的行业图谱的构建装置,其中,所述配置模块,具体用于:
根据所述节点配置信息确定所述计算节点所对应的候选插件;
将所述计算节点与所述计算节点对应的候选插件进行绑定。
10.如权利要求9所述的行业图谱的构建装置,其中,所述第二生成模块,具体用于:
根据所述DAG图生成用于分布式任务调度框架所识别的DAG配置,其中,所述DAG配置包括多个节点;
所述分布式任务调度框架依次调用所述多个节点所绑定的候选插件对所述输入数据进行处理以生成所述行业图谱。
11.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-5中任一项所述的行业图谱的构建方法。
12.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1-5中任一项所述的行业图谱的构建方法。
13.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1-5中任一项所述的行业图谱的构建方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011553229.XA CN112632293B (zh) | 2020-12-24 | 2020-12-24 | 行业图谱的构建方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011553229.XA CN112632293B (zh) | 2020-12-24 | 2020-12-24 | 行业图谱的构建方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112632293A true CN112632293A (zh) | 2021-04-09 |
CN112632293B CN112632293B (zh) | 2024-03-26 |
Family
ID=75324579
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011553229.XA Active CN112632293B (zh) | 2020-12-24 | 2020-12-24 | 行业图谱的构建方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112632293B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108986871A (zh) * | 2018-08-27 | 2018-12-11 | 东北大学 | 一种智慧医疗知识图谱的构建方法 |
US20200167694A1 (en) * | 2018-03-30 | 2020-05-28 | Derek Alexander Pisner | Automated feature engineering of hierarchical ensemble connectomes |
CN111639082A (zh) * | 2020-06-08 | 2020-09-08 | 成都信息工程大学 | 基于Ceph的十亿级节点规模知识图谱的对象存储管理方法及系统 |
-
2020
- 2020-12-24 CN CN202011553229.XA patent/CN112632293B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200167694A1 (en) * | 2018-03-30 | 2020-05-28 | Derek Alexander Pisner | Automated feature engineering of hierarchical ensemble connectomes |
CN108986871A (zh) * | 2018-08-27 | 2018-12-11 | 东北大学 | 一种智慧医疗知识图谱的构建方法 |
CN111639082A (zh) * | 2020-06-08 | 2020-09-08 | 成都信息工程大学 | 基于Ceph的十亿级节点规模知识图谱的对象存储管理方法及系统 |
Non-Patent Citations (1)
Title |
---|
梁冠宇;武延军;吴敬征;赵琛;: "面向操作系统可靠性保障的开源软件供应链", 软件学报, no. 10, 14 October 2020 (2020-10-14) * |
Also Published As
Publication number | Publication date |
---|---|
CN112632293B (zh) | 2024-03-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113342345A (zh) | 深度学习框架的算子融合方法、装置 | |
CN113656590B (zh) | 行业图谱的构建方法、装置、电子设备及存储介质 | |
CN112527281B (zh) | 基于人工智能的算子升级方法、装置、电子设备及介质 | |
CN113590776A (zh) | 基于知识图谱的文本处理方法、装置、电子设备及介质 | |
CN112506602B (zh) | 页面生成方法及装置、电子设备、计算机可读介质 | |
CN105488251A (zh) | 一种分布式飞行器仿真平台及其实现方法 | |
CN112749809A (zh) | 构造量子仿真系统的方法和装置 | |
CN115509522A (zh) | 面向低代码场景的接口编排方法、系统、电子设备 | |
CN114861059A (zh) | 资源推荐方法、装置、电子设备及存储介质 | |
US9280361B2 (en) | Methods and systems for a real time transformation of declarative model and layout into interactive, digital, multi device forms | |
CN112925522A (zh) | 依赖图生成方法、装置、设备、存储介质和程序产品 | |
CN115809688B (zh) | 一种模型调试方法、装置、电子设备及存储介质 | |
CN115186738B (zh) | 模型训练方法、装置和存储介质 | |
CN112632293B (zh) | 行业图谱的构建方法、装置、电子设备及存储介质 | |
CN113570067B (zh) | 分布式系统的同步方法、装置 | |
CN114385829A (zh) | 知识图谱创建方法、装置、设备以及存储介质 | |
CN114237686A (zh) | 安装包生成方法、装置、电子设备及存储介质 | |
CN113590217A (zh) | 基于引擎的函数管理方法、装置、电子设备及存储介质 | |
CN113849164A (zh) | 数据处理方法、装置、电子设备和存储器 | |
CN113886482A (zh) | 面向图数据库的数据自动入库方法、装置和设备 | |
CN113778401A (zh) | 一种页面生成的方法和装置 | |
CN114255427B (zh) | 视频理解方法、装置、设备以及存储介质 | |
WO2023165059A1 (zh) | 计分板实现方法、装置、计分板、电子设备及存储介质 | |
EP4167151A1 (en) | Method, data structure, and program | |
CN112541335B (zh) | 生成解读文本的方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |