CN117150046B - 基于上下文语义的任务自动分解方法和系统 - Google Patents
基于上下文语义的任务自动分解方法和系统 Download PDFInfo
- Publication number
- CN117150046B CN117150046B CN202311170031.7A CN202311170031A CN117150046B CN 117150046 B CN117150046 B CN 117150046B CN 202311170031 A CN202311170031 A CN 202311170031A CN 117150046 B CN117150046 B CN 117150046B
- Authority
- CN
- China
- Prior art keywords
- information
- data
- entity
- task
- technical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000000354 decomposition reaction Methods 0.000 title claims abstract description 25
- 239000013598 vector Substances 0.000 claims abstract description 108
- 238000004458 analytical method Methods 0.000 claims abstract description 101
- 238000005516 engineering process Methods 0.000 claims abstract description 57
- 238000013468 resource allocation Methods 0.000 claims abstract description 33
- 238000006243 chemical reaction Methods 0.000 claims abstract description 20
- 238000000605 extraction Methods 0.000 claims abstract description 19
- 238000013075 data extraction Methods 0.000 claims abstract description 15
- 238000012549 training Methods 0.000 claims abstract description 14
- 238000007621 cluster analysis Methods 0.000 claims abstract description 9
- 230000011218 segmentation Effects 0.000 claims description 10
- 230000008030 elimination Effects 0.000 claims description 6
- 238000003379 elimination reaction Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 6
- 230000010354 integration Effects 0.000 claims description 5
- 230000008521 reorganization Effects 0.000 claims description 5
- 238000004140 cleaning Methods 0.000 claims 2
- 230000000875 corresponding effect Effects 0.000 description 30
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000007635 classification algorithm Methods 0.000 description 4
- 238000003058 natural language processing Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000010219 correlation analysis Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 238000007418 data mining Methods 0.000 description 2
- 238000013079 data visualisation Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/216—Parsing using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
- G06F40/295—Named entity recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Animal Behavior & Ethology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于上下文语义的任务自动分解方法和系统,根据已有技术知识大数据进行语义识别与实体数据提取并构建技术知识图谱;对所述任务需求文档数据进行语义分析与关键词提取,得到需求关键词,将所述需求关键词与任务需求文档数据导入基于BERT的上下文分析模型进行预训练并生成关键词向量;基于关键词向量进行聚类分析,基于多个词向量组生成多组技术需求信息;根据多组技术需求信息中的关键词进行实体语义转化并通过技术知识图谱进行关联技术检索,得到多组关联技术信息;基于多组技术需求信息与多组关联技术信息进行任务与资源分析,并生成任务资源分配方案。通过本发明能够实现对需求文档的精细化任务分解与资源匹配。
Description
技术领域
本发明涉及语义分析领域,更具体地,涉及基于上下文语义的任务自动分解方法和系统。
背景技术
在进行多学科、多专业的技术任务攻关中,由于不同专业的科技人才之间的专业学科不同、技术技能不同,导致不同专业人才之间存在较大的信息差,进而,由于信息的不对称性和科技资源、人才能力的抽象性问题,需要通过一定的智能化的手段,提供系统性的知识推荐,从而提高不同专业人才之间的技术交流与需求理解。特别地,在对任务需求文本进行分解时,由于现有语义分析技术的限制,难以从中提取出高相关度,高关联度、高关键点性的词组,从而阻碍了多学科之间的技术任务分配与理解。
因此,现在亟需一种基于上下文语义的任务自动分解方法和系统。助力实现有组织地开展科研活动。
发明内容
本发明克服了现有技术的缺陷,提出了基于上下文语义的任务自动分解方法和系统。
本发明第一方面提供了一种基于上下文语义的任务自动分解方法,包括:
获取任务需求文档数据;
根据已有技术知识大数据,通过基于RNN的语义识别模型进行语义识别与实体数据提取,基于提取的实体数据构建技术知识图谱;
对所述任务需求文档数据进行语义分析与关键词提取,得到需求关键词,将所述需求关键词与任务需求文档数据导入基于BERT的上下文分析模型进行预训练并生成关键词向量;
基于关键词向量进行基于k-means的聚类分析,并形成多个词向量组,基于所述多个词向量组生成多组技术需求信息;
根据多组技术需求信息中的关键词进行实体语义转化并通过技术知识图谱进行关联技术检索,得到多组关联技术信息;
基于多组技术需求信息与多组关联技术信息进行科技资源匹配并生成任务分配信息,基于所述任务分配信息进行科技资源匹配,并生成任务资源分配方案。
本方案中,所述根据已有技术知识大数据,通过基于RNN的语义识别模型进行语义识别与实体数据提取,基于提取的实体数据构建技术知识图谱,具体为:
获取系统中已有的技术知识大数据;
基于所述技术知识大数据进行数据清晰、数据去冗余预处理;
将所述技术知识大数据转化为预设标准化的文本大数据;
将所述文本大数据通过基于RNN语义识别模型进行语义分析并提取其中的实体、属性、关系信息,并得到实体数据、属性数据、关系数据;
基于所述实体数据、属性数据、关系数据构建基于图结构的技术知识图谱。
本方案中,所述对所述任务需求文档数据进行语义分析与关键词提取,得到需求关键词,将所述需求关键词与任务需求文档数据导入基于BERT的上下文分析模型进行预训练并生成关键词向量,具体为:
根据所述任务需求文档数据进行格式转化,得到预设标准化的长文本需求数据;
对所述长文本需求数据进行语义分析与词语分割,得到词组数据,对所述词组数据进行词频统计,并基于预设高频标准筛选出高频词;
结合技术知识图谱,判断所述高频词是否存在于技术知识图谱中的实体数据中,若存在,则将对应的高频词标记为需求关键词。
本方案中,所述对所述任务需求文档数据进行语义分析与关键词提取,得到需求关键词,将所述需求关键词与任务需求文档数据导入基于BERT的上下文分析模型进行预训练并生成关键词向量,还包括:
构建基于BERT的上下文分析模型;
将所述需求关键词与任务需求文档数据导入上下文分析模型,将任务需求文档数据进行分词、去除停用词、标点符号预处理,得到预处理后文本数据;
基于上下文分析模型,将所述预处理后文本数据作为输入文本数据进行需求关键词的上下文语义分析、词分布分析,并得到需求关键词对应的关键词向量。
本方案中,所述基于关键词向量进行基于k-means的聚类分析,并形成多个词向量组,基于所述多个词向量组生成多组技术需求信息,具体为:
根据需求关键词的个数计算出聚类中心数N;
构建基于k-means的聚类模型,生成N个聚类中心点;
将关键词向量导入聚类模型中,基于标准化欧氏距离法,计算关键词向量到各个聚类中心点的距离,将关键词向量划分到距离最近的聚类中心中,形成N个词向量组;
对其中一个词向量组中的关键词向量所对应的需求关键词转化为实体描述信息;
基于所述实体描述信息生成实体检索标签,基于实体检索标签从技术知识图谱中进行检索,得到在技术知识图谱中的需求实体信息;
基于技术知识图谱与需求实体信息,得到对应属性信息,根据需求实体信息、属性信息生成一组技术需求信息;
分析其余词向量组,得到N组技术需求信息。
本方案中,所述根据多组技术需求信息中的关键词进行实体语义转化并通过技术知识图谱进行关联技术检索,得到多组关联技术信息,具体为:
基于一组技术需求信息,获取改组对应的词向量组中的实体描述信息;
基于实体描述信息后去对应在技术知识图谱中的需求实体信息;
根据所述需求实体信息,在技术知识图谱中进行一级、二级关联实体分析,并得到关联实体数据;
基于所述关联实体数据获取对应实体的关联属性数据,基于所述关联实体数据与关联属性数据生成一组关联技术信息;
分析其余多组技术需求信息,得到N组关联技术信息。
本方案中,所述基于多组技术需求信息与多组关联技术信息进行科技资源匹配并生成任务分配信息,基于所述任务分配信息进行科技资源匹配,并生成任务资源分配方案,具体为:
基于所述N组技术需求信息与N组关联技术信息,在科技成果系统中进行需求匹配,并生成需求技术的第一任务分配信息与关联技术的第二任务分配信息;
基于所述第一任务分配信息与第二任务分配信息,在科技成果系统进行科技资源匹配,得到资源分配方案;
根据所述第一任务分配信息、关联技术的第二任务分配信息、资源分配方案进行方案整合并生成任务资源分配方案。
本发明第二方面还提供了一种基于上下文语义的任务自动分解系统,该系统包括:存储器、处理器,所述存储器中包括基于上下文语义的任务自动分解程序,所述基于上下文语义的任务自动分解程序被所述处理器执行时实现如下步骤:
获取任务需求文档数据;
根据已有技术知识大数据,通过基于RNN的语义识别模型进行语义识别与实体数据提取,基于提取的实体数据构建技术知识图谱;
对所述任务需求文档数据进行语义分析与关键词提取,得到需求关键词,将所述需求关键词与任务需求文档数据导入基于BERT的上下文分析模型进行预训练并生成关键词向量;
基于关键词向量进行基于k-means的聚类分析,并形成多个词向量组,基于所述多个词向量组生成多组技术需求信息;
根据多组技术需求信息中的关键词进行实体语义转化并通过技术知识图谱进行关联技术检索,得到多组关联技术信息;
基于多组技术需求信息与多组关联技术信息进行科技资源匹配并生成任务分配信息,基于所述任务分配信息进行科技资源匹配,并生成任务资源分配方案。
本方案中,所述根据已有技术知识大数据,通过基于RNN的语义识别模型进行语义识别与实体数据提取,基于提取的实体数据构建技术知识图谱,具体为:
获取系统中已有的技术知识大数据;
基于所述技术知识大数据进行数据清晰、数据去冗余预处理;
将所述技术知识大数据转化为预设标准化的文本大数据;
将所述文本大数据通过基于RNN语义识别模型进行语义分析并提取其中的实体、属性、关系信息,并得到实体数据、属性数据、关系数据;
基于所述实体数据、属性数据、关系数据构建基于图结构的技术知识图谱。
本方案中,所述对所述任务需求文档数据进行语义分析与关键词提取,得到需求关键词,将所述需求关键词与任务需求文档数据导入基于BERT的上下文分析模型进行预训练并生成关键词向量,具体为:
根据所述任务需求文档数据进行格式转化,得到预设标准化的长文本需求数据;
对所述长文本需求数据进行语义分析与词语分割,得到词组数据,对所述词组数据进行词频统计,并基于预设高频标准筛选出高频词;
结合技术知识图谱,判断所述高频词是否存在于技术知识图谱中的实体数据中,若存在,则将对应的高频词标记为需求关键词。
本发明公开了一种基于上下文语义的任务自动分解方法和系统,通过根据已有技术知识大数据进行语义识别与实体数据提取并构建技术知识图谱;对所述任务需求文档数据进行语义分析与关键词提取,得到需求关键词,将所述需求关键词与任务需求文档数据导入基于BERT的上下文分析模型进行预训练并生成关键词向量;基于关键词向量进行聚类分析,基于多个词向量组生成多组技术需求信息;根据多组技术需求信息中的关键词进行实体语义转化并通过技术知识图谱进行关联技术检索,得到多组关联技术信息;基于多组技术需求信息与多组关联技术信息进行任务与资源分析,并生成任务资源分配方案。通过本发明能够实现对需求文档的精细化任务分解与资源匹配。
附图说明
图1示出了本发明一种基于上下文语义的任务自动分解方法的流程图;
图2示出了本发明需求关键词获取流程图;
图3示出了本发明关键词向量获取流程图;
图4示出了本发明一种基于上下文语义的任务自动分解系统的框图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点,下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是,在不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是,本发明还可以采用其他不同于在此描述的其他方式来实施,因此,本发明的保护范围并不受下面公开的具体实施例的限制。
图1示出了本发明一种基于上下文语义的任务自动分解方法的流程图。
如图1所示,本发明第一方面提供了一种基于上下文语义的任务自动分解方法,包括:
S102,获取任务需求文档数据;
S104,根据已有技术知识大数据,通过基于RNN的语义识别模型进行语义识别与实体数据提取,基于提取的实体数据构建技术知识图谱;
S106,对所述任务需求文档数据进行语义分析与关键词提取,得到需求关键词,将所述需求关键词与任务需求文档数据导入基于BERT的上下文分析模型进行预训练并生成关键词向量;
S108,基于关键词向量进行基于k-means的聚类分析,并形成多个词向量组,基于所述多个词向量组生成多组技术需求信息;
S110,根据多组技术需求信息中的关键词进行实体语义转化并通过技术知识图谱进行关联技术检索,得到多组关联技术信息;
S112,基于多组技术需求信息与多组关联技术信息进行科技资源匹配并生成任务分配信息,基于所述任务分配信息进行科技资源匹配,并生成任务资源分配方案。
需要说明的是,所述任务需求文档数据可以为技术需求文本、重大研发项目的申报指南、项目需求文本等一些长文本的需求文档。
根据本发明实施例,所述根据已有技术知识大数据,通过基于RNN的语义识别模型进行语义识别与实体数据提取,基于提取的实体数据构建技术知识图谱,具体为:
获取系统中已有的技术知识大数据;
基于所述技术知识大数据进行数据清晰、数据去冗余预处理;
将所述技术知识大数据转化为预设标准化的文本大数据;
将所述文本大数据通过基于RNN语义识别模型进行语义分析并提取其中的实体、属性、关系信息,并得到实体数据、属性数据、关系数据;
基于所述实体数据、属性数据、关系数据构建基于图结构的技术知识图谱。
需要说明的是,已有的技术知识大数据具体为在已有系统中进行文本数据采集的大数据,其中包括多个学科知识数据,具体数据量由科研单位、学校、企业等系统内的知识数据库决定。
图2示出了本发明需求关键词获取流程图。
根据本发明实施例,所述对所述任务需求文档数据进行语义分析与关键词提取,得到需求关键词,将所述需求关键词与任务需求文档数据导入基于BERT的上下文分析模型进行预训练并生成关键词向量,具体为:
S202,根据所述任务需求文档数据进行格式转化,得到预设标准化的长文本需求数据;
S204,对所述长文本需求数据进行语义分析与词语分割,得到词组数据,对所述词组数据进行词频统计,并基于预设高频标准筛选出高频词;
S206,结合技术知识图谱,判断所述高频词是否存在于技术知识图谱中的实体数据中,若存在,则将对应的高频词标记为需求关键词。
需要说明的是,所述需求关键词具体为在任务需求文档数据中提取出的高频且关键的技术需求关键词,通过本发明的词频分析与知识图谱关联分析,能够在任务需求文档数据中快速、精准地检索出需求关键词。
图3示出了本发明关键词向量获取流程图。
根据本发明实施例,所述对所述任务需求文档数据进行语义分析与关键词提取,得到需求关键词,将所述需求关键词与任务需求文档数据导入基于BERT的上下文分析模型进行预训练并生成关键词向量,还包括:
S302,构建基于BERT的上下文分析模型;
S304,将所述需求关键词与任务需求文档数据导入上下文分析模型,将任务需求文档数据进行分词、去除停用词、标点符号预处理,得到预处理后文本数据;
S306,基于上下文分析模型,将所述预处理后文本数据作为输入文本数据进行需求关键词的上下文语义分析、词分布分析,并得到需求关键词对应的关键词向量。
需要说明的是,所述词分布分析即需求关键词对应的在上下文的位置分析。一个需求关键词对应一个关键词向量。所述基于BERT的模型是一种自然语言处理(NLP)模型,可进行大规模的文本数据上预训练,具有学习了上下文相关的单词表示的能力,是一种基于自注意力机制的深度神经网络结构。
根据本发明实施例,所述基于关键词向量进行基于k-means的聚类分析,并形成多个词向量组,基于所述多个词向量组生成多组技术需求信息,具体为:
根据需求关键词的个数计算出聚类中心数N;
构建基于k-means的聚类模型,生成N个聚类中心点;
将关键词向量导入聚类模型中,基于标准化欧氏距离法,计算关键词向量到各个聚类中心点的距离,将关键词向量划分到距离最近的聚类中心中,形成N个词向量组;
对其中一个词向量组中的关键词向量所对应的需求关键词转化为实体描述信息;
基于所述实体描述信息生成实体检索标签,基于实体检索标签从技术知识图谱中进行检索,得到在技术知识图谱中的需求实体信息;
基于技术知识图谱与需求实体信息,得到对应属性信息,根据需求实体信息、属性信息生成一组技术需求信息;
分析其余词向量组,得到N组技术需求信息。
需要说明的是,所述聚类中心数N的大小与需求关键词的个数成正相关。由于需求关键词包括多个,因此对应所述关键词向量也包括多个。所述需求实体信息包括检所得到实体在图谱中的位置信息、实体描述信息。所述需求实体信息即需求关键词在技术知识图谱中的实体描述,如关键词为大数据,则在图谱中的描述一般为大数据技术,对应关联关系的实体有大数据分类算法、大数据挖掘算法等。
根据本发明实施例,所述根据多组技术需求信息中的关键词进行实体语义转化并通过技术知识图谱进行关联技术检索,得到多组关联技术信息,具体为:
基于一组技术需求信息,获取改组对应的词向量组中的实体描述信息;
基于实体描述信息后去对应在技术知识图谱中的需求实体信息;
根据所述需求实体信息,在技术知识图谱中进行一级、二级关联实体分析,并得到关联实体数据;
基于所述关联实体数据获取对应实体的关联属性数据,基于所述关联实体数据与关联属性数据生成一组关联技术信息;
分析其余多组技术需求信息,得到N组关联技术信息。
需要说明的是,所述一级、二级关联实体分析,具体为基于图谱的关联关系进行一级、二级的关联分析,例如,需求实体为“大数据分析”,则对应一级关联实体可以为“大数据检索算法”、“大数据分类算法”,“大数据推荐算法”等,二级关联实体可以为“数据预处理技术”、“数据可视化技术”。
本发明通过分析关联数据有助于进行技术需求的多维度、深层次分析,实现对相关的关联技术进行需求分析,进一步能够对任务进行更加深入的分解,进一步提高任务分解的精细度,实现对后续技术任务分配的科学化与高效化。
根据本发明实施例,所述基于多组技术需求信息与多组关联技术信息进行科技资源匹配并生成任务分配信息,基于所述任务分配信息进行科技资源匹配,并生成任务资源分配方案,具体为:
基于所述N组技术需求信息与N组关联技术信息,在科技成果系统中进行需求匹配,并生成需求技术的第一任务分配信息与关联技术的第二任务分配信息;
基于所述第一任务分配信息与第二任务分配信息,在科技成果系统进行科技资源匹配,得到资源分配方案;
根据所述第一任务分配信息、关联技术的第二任务分配信息、资源分配方案进行方案整合并生成任务资源分配方案。
需要说明的是,所述任务资源分配方案包括对不同技术单位、部分的精细化任务分配信息与相应的技术资源分配评估信息,进一步实现对需求文档的精细化任务分解与资源匹配。所述科技成果系统具体为在科研单位、企业、学校等单位内部的科研技术与成果系统,通过成果系统的匹配,能够进行精准化的科技资源分析。
图4示出了本发明一种基于上下文语义的任务自动分解系统的框图。
本发明第二方面还提供了一种基于上下文语义的任务自动分解系统4,该系统包括:存储器41、处理器42,所述存储器中包括基于上下文语义的任务自动分解程序,所述基于上下文语义的任务自动分解程序被所述处理器执行时实现如下步骤:
获取任务需求文档数据;
根据已有技术知识大数据,通过基于RNN的语义识别模型进行语义识别与实体数据提取,基于提取的实体数据构建技术知识图谱;
对所述任务需求文档数据进行语义分析与关键词提取,得到需求关键词,将所述需求关键词与任务需求文档数据导入基于BERT的上下文分析模型进行预训练并生成关键词向量;
基于关键词向量进行基于k-means的聚类分析,并形成多个词向量组,基于所述多个词向量组生成多组技术需求信息;
根据多组技术需求信息中的关键词进行实体语义转化并通过技术知识图谱进行关联技术检索,得到多组关联技术信息;
基于多组技术需求信息与多组关联技术信息进行科技资源匹配并生成任务分配信息,基于所述任务分配信息进行科技资源匹配,并生成任务资源分配方案。
需要说明的是,所述任务需求文档数据可以为技术需求文本、重大研发项目的申报指南、项目需求文本等一些长文本的需求文档。
根据本发明实施例,所述根据已有技术知识大数据,通过基于RNN的语义识别模型进行语义识别与实体数据提取,基于提取的实体数据构建技术知识图谱,具体为:
获取系统中已有的技术知识大数据;
基于所述技术知识大数据进行数据清晰、数据去冗余预处理;
将所述技术知识大数据转化为预设标准化的文本大数据;
将所述文本大数据通过基于RNN语义识别模型进行语义分析并提取其中的实体、属性、关系信息,并得到实体数据、属性数据、关系数据;
基于所述实体数据、属性数据、关系数据构建基于图结构的技术知识图谱。
需要说明的是,已有的技术知识大数据具体为在已有系统中进行文本数据采集的大数据,其中包括多个学科知识数据,具体数据量由科研单位、学校、企业等系统内的知识数据库决定。
根据本发明实施例,所述对所述任务需求文档数据进行语义分析与关键词提取,得到需求关键词,将所述需求关键词与任务需求文档数据导入基于BERT的上下文分析模型进行预训练并生成关键词向量,具体为:
根据所述任务需求文档数据进行格式转化,得到预设标准化的长文本需求数据;
对所述长文本需求数据进行语义分析与词语分割,得到词组数据,对所述词组数据进行词频统计,并基于预设高频标准筛选出高频词;
结合技术知识图谱,判断所述高频词是否存在于技术知识图谱中的实体数据中,若存在,则将对应的高频词标记为需求关键词。
需要说明的是,所述需求关键词具体为在任务需求文档数据中提取出的高频且关键的技术需求关键词,通过本发明的词频分析与知识图谱关联分析,能够在任务需求文档数据中快速、精准地检索出需求关键词。
根据本发明实施例,所述对所述任务需求文档数据进行语义分析与关键词提取,得到需求关键词,将所述需求关键词与任务需求文档数据导入基于BERT的上下文分析模型进行预训练并生成关键词向量,还包括:
构建基于BERT的上下文分析模型;
将所述需求关键词与任务需求文档数据导入上下文分析模型,将任务需求文档数据进行分词、去除停用词、标点符号预处理,得到预处理后文本数据;
基于上下文分析模型,将所述预处理后文本数据作为输入文本数据进行需求关键词的上下文语义分析、词分布分析,并得到需求关键词对应的关键词向量。
需要说明的是,所述词分布分析即需求关键词对应的在上下文的位置分析。一个需求关键词对应一个关键词向量。所述基于BERT的模型是一种自然语言处理(NLP)模型,可进行大规模的文本数据上预训练,具有学习了上下文相关的单词表示的能力,是一种基于自注意力机制的深度神经网络结构。
根据本发明实施例,所述基于关键词向量进行基于k-means的聚类分析,并形成多个词向量组,基于所述多个词向量组生成多组技术需求信息,具体为:
根据需求关键词的个数计算出聚类中心数N;
构建基于k-means的聚类模型,生成N个聚类中心点;
将关键词向量导入聚类模型中,基于标准化欧氏距离法,计算关键词向量到各个聚类中心点的距离,将关键词向量划分到距离最近的聚类中心中,形成N个词向量组;
对其中一个词向量组中的关键词向量所对应的需求关键词转化为实体描述信息;
基于所述实体描述信息生成实体检索标签,基于实体检索标签从技术知识图谱中进行检索,得到在技术知识图谱中的需求实体信息;
基于技术知识图谱与需求实体信息,得到对应属性信息,根据需求实体信息、属性信息生成一组技术需求信息;
分析其余词向量组,得到N组技术需求信息。
需要说明的是,所述聚类中心数N的大小与需求关键词的个数成正相关。由于需求关键词包括多个,因此对应所述关键词向量也包括多个。所述需求实体信息包括检所得到实体在图谱中的位置信息、实体描述信息。所述需求实体信息即需求关键词在技术知识图谱中的实体描述,如关键词为大数据,则在图谱中的描述一般为大数据技术,对应关联关系的实体有大数据分类算法、大数据挖掘算法等。
根据本发明实施例,所述根据多组技术需求信息中的关键词进行实体语义转化并通过技术知识图谱进行关联技术检索,得到多组关联技术信息,具体为:
基于一组技术需求信息,获取改组对应的词向量组中的实体描述信息;
基于实体描述信息后去对应在技术知识图谱中的需求实体信息;
根据所述需求实体信息,在技术知识图谱中进行一级、二级关联实体分析,并得到关联实体数据;
基于所述关联实体数据获取对应实体的关联属性数据,基于所述关联实体数据与关联属性数据生成一组关联技术信息;
分析其余多组技术需求信息,得到N组关联技术信息。
需要说明的是,所述一级、二级关联实体分析,具体为基于图谱的关联关系进行一级、二级的关联分析,例如,需求实体为“大数据分析”,则对应一级关联实体可以为“大数据检索算法”、“大数据分类算法”,“大数据推荐算法”等,二级关联实体可以为“数据预处理技术”、“数据可视化技术”。
本发明通过分析关联数据有助于进行技术需求的多维度、深层次分析,实现对相关的关联技术进行需求分析,进一步能够对任务进行更加深入的分解,进一步提高任务分解的精细度,实现对后续技术任务分配的科学化与高效化。
根据本发明实施例,所述基于多组技术需求信息与多组关联技术信息进行科技资源匹配并生成任务分配信息,基于所述任务分配信息进行科技资源匹配,并生成任务资源分配方案,具体为:
基于所述N组技术需求信息与N组关联技术信息,在科技成果系统中进行需求匹配,并生成需求技术的第一任务分配信息与关联技术的第二任务分配信息;
基于所述第一任务分配信息与第二任务分配信息,在科技成果系统进行科技资源匹配,得到资源分配方案;
根据所述第一任务分配信息、关联技术的第二任务分配信息、资源分配方案进行方案整合并生成任务资源分配方案。
需要说明的是,所述任务资源分配方案包括对不同技术单位、部分的精细化任务分配信息与相应的技术资源分配评估信息,进一步实现对需求文档的精细化任务分解与资源匹配。所述科技成果系统具体为在科研单位、企业、学校等单位内部的科研技术与成果系统,通过成果系统的匹配,能够进行精准化的科技资源分析。
本发明公开了一种基于上下文语义的任务自动分解方法和系统,通过根据已有技术知识大数据进行语义识别与实体数据提取并构建技术知识图谱;对所述任务需求文档数据进行语义分析与关键词提取,得到需求关键词,将所述需求关键词与任务需求文档数据导入基于BERT的上下文分析模型进行预训练并生成关键词向量;基于关键词向量进行聚类分析,基于多个词向量组生成多组技术需求信息;根据多组技术需求信息中的关键词进行实体语义转化并通过技术知识图谱进行关联技术检索,得到多组关联技术信息;基于多组技术需求信息与多组关联技术信息进行任务与资源分析,并生成任务资源分配方案。通过本发明能够实现对需求文档的精细化任务分解与资源匹配。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元;既可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本发明各实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者,本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。
Claims (7)
1.一种基于上下文语义的任务自动分解方法,其特征在于,包括:
获取任务需求文档数据;
根据已有技术知识大数据,通过基于RNN的语义识别模型进行语义识别与实体数据提取,基于提取的实体数据构建技术知识图谱;
对所述任务需求文档数据进行语义分析与关键词提取,得到需求关键词,将所述需求关键词与任务需求文档数据导入基于BERT的上下文分析模型进行预训练并生成关键词向量;
基于关键词向量进行基于k-means的聚类分析,并形成多个词向量组,基于所述多个词向量组生成多组技术需求信息;
根据多组技术需求信息中的关键词进行实体语义转化并通过技术知识图谱进行关联技术检索,得到多组关联技术信息;
基于多组技术需求信息与多组关联技术信息进行科技资源匹配并生成任务分配信息,基于所述任务分配信息进行科技资源匹配,并生成任务资源分配方案;
其中,所述基于关键词向量进行基于k-means的聚类分析,并形成多个词向量组,基于所述多个词向量组生成多组技术需求信息,具体为:
根据需求关键词的个数计算出聚类中心数N;
构建基于k-means的聚类模型,生成N个聚类中心点;
将关键词向量导入聚类模型中,基于标准化欧氏距离法,计算关键词向量到各个聚类中心点的距离,将关键词向量划分到距离最近的聚类中心中,形成N个词向量组;
对其中一个词向量组中的关键词向量所对应的需求关键词转化为实体描述信息;
基于所述实体描述信息生成实体检索标签,基于实体检索标签从技术知识图谱中进行检索,得到在技术知识图谱中的需求实体信息;
基于技术知识图谱与需求实体信息,得到对应属性信息,根据需求实体信息、属性信息生成一组技术需求信息;
分析其余词向量组,得到N组技术需求信息;
其中,所述根据多组技术需求信息中的关键词进行实体语义转化并通过技术知识图谱进行关联技术检索,得到多组关联技术信息,具体为:
基于一组技术需求信息,获取改组对应的词向量组中的实体描述信息;
基于实体描述信息后去对应在技术知识图谱中的需求实体信息;
根据所述需求实体信息,在技术知识图谱中进行一级、二级关联实体分析,并得到关联实体数据;
基于所述关联实体数据获取对应实体的关联属性数据,基于所述关联实体数据与关联属性数据生成一组关联技术信息;
分析其余多组技术需求信息,得到N组关联技术信息;
其中,所述基于多组技术需求信息与多组关联技术信息进行科技资源匹配并生成任务分配信息,基于所述任务分配信息进行科技资源匹配,并生成任务资源分配方案,具体为:
基于所述N组技术需求信息与N组关联技术信息,在科技成果系统中进行需求匹配,并生成需求技术的第一任务分配信息与关联技术的第二任务分配信息;
基于所述第一任务分配信息与第二任务分配信息,在科技成果系统进行科技资源匹配,得到资源分配方案;
根据所述第一任务分配信息、关联技术的第二任务分配信息、资源分配方案进行方案整合并生成任务资源分配方案。
2.根据权利要求1所述的一种基于上下文语义的任务自动分解方法,其特征在于,所述根据已有技术知识大数据,通过基于RNN的语义识别模型进行语义识别与实体数据提取,基于提取的实体数据构建技术知识图谱,具体为:
获取系统中已有的技术知识大数据;
基于所述技术知识大数据进行数据清洗、数据去冗余预处理;
将所述技术知识大数据转化为预设标准化的文本大数据;
将所述文本大数据通过基于RNN语义识别模型进行语义分析并提取其中的实体、属性、关系信息,并得到实体数据、属性数据、关系数据;
基于所述实体数据、属性数据、关系数据构建基于图结构的技术知识图谱。
3.根据权利要求1所述的一种基于上下文语义的任务自动分解方法,其特征在于,所述对所述任务需求文档数据进行语义分析与关键词提取,得到需求关键词,将所述需求关键词与任务需求文档数据导入基于BERT的上下文分析模型进行预训练并生成关键词向量,具体为:
根据所述任务需求文档数据进行格式转化,得到预设标准化的长文本需求数据;
对所述长文本需求数据进行语义分析与词语分割,得到词组数据,对所述词组数据进行词频统计,并基于预设高频标准筛选出高频词;
结合技术知识图谱,判断所述高频词是否存在于技术知识图谱中的实体数据中,若存在,则将对应的高频词标记为需求关键词。
4.根据权利要求3所述的一种基于上下文语义的任务自动分解方法,其特征在于,所述对所述任务需求文档数据进行语义分析与关键词提取,得到需求关键词,将所述需求关键词与任务需求文档数据导入基于BERT的上下文分析模型进行预训练并生成关键词向量,还包括:
构建基于BERT的上下文分析模型;
将所述需求关键词与任务需求文档数据导入上下文分析模型,将任务需求文档数据进行分词、去除停用词、标点符号预处理,得到预处理后文本数据;
基于上下文分析模型,将所述预处理后文本数据作为输入文本数据进行需求关键词的上下文语义分析、词分布分析,并得到需求关键词对应的关键词向量。
5.一种基于上下文语义的任务自动分解系统,其特征在于,该系统包括:存储器、处理器,所述存储器中包括基于上下文语义的任务自动分解程序,所述基于上下文语义的任务自动分解程序被所述处理器执行时实现如下步骤:
获取任务需求文档数据;
根据已有技术知识大数据,通过基于RNN的语义识别模型进行语义识别与实体数据提取,基于提取的实体数据构建技术知识图谱;
对所述任务需求文档数据进行语义分析与关键词提取,得到需求关键词,将所述需求关键词与任务需求文档数据导入基于BERT的上下文分析模型进行预训练并生成关键词向量;
基于关键词向量进行基于k-means的聚类分析,并形成多个词向量组,基于所述多个词向量组生成多组技术需求信息;
根据多组技术需求信息中的关键词进行实体语义转化并通过技术知识图谱进行关联技术检索,得到多组关联技术信息;
基于多组技术需求信息与多组关联技术信息进行科技资源匹配并生成任务分配信息,基于所述任务分配信息进行科技资源匹配,并生成任务资源分配方案;
其中,所述基于关键词向量进行基于k-means的聚类分析,并形成多个词向量组,基于所述多个词向量组生成多组技术需求信息,具体为:
根据需求关键词的个数计算出聚类中心数N;
构建基于k-means的聚类模型,生成N个聚类中心点;
将关键词向量导入聚类模型中,基于标准化欧氏距离法,计算关键词向量到各个聚类中心点的距离,将关键词向量划分到距离最近的聚类中心中,形成N个词向量组;
对其中一个词向量组中的关键词向量所对应的需求关键词转化为实体描述信息;
基于所述实体描述信息生成实体检索标签,基于实体检索标签从技术知识图谱中进行检索,得到在技术知识图谱中的需求实体信息;
基于技术知识图谱与需求实体信息,得到对应属性信息,根据需求实体信息、属性信息生成一组技术需求信息;
分析其余词向量组,得到N组技术需求信息;
其中,所述根据多组技术需求信息中的关键词进行实体语义转化并通过技术知识图谱进行关联技术检索,得到多组关联技术信息,具体为:
基于一组技术需求信息,获取改组对应的词向量组中的实体描述信息;
基于实体描述信息后去对应在技术知识图谱中的需求实体信息;
根据所述需求实体信息,在技术知识图谱中进行一级、二级关联实体分析,并得到关联实体数据;
基于所述关联实体数据获取对应实体的关联属性数据,基于所述关联实体数据与关联属性数据生成一组关联技术信息;
分析其余多组技术需求信息,得到N组关联技术信息;
其中,所述基于多组技术需求信息与多组关联技术信息进行科技资源匹配并生成任务分配信息,基于所述任务分配信息进行科技资源匹配,并生成任务资源分配方案,具体为:
基于所述N组技术需求信息与N组关联技术信息,在科技成果系统中进行需求匹配,并生成需求技术的第一任务分配信息与关联技术的第二任务分配信息;
基于所述第一任务分配信息与第二任务分配信息,在科技成果系统进行科技资源匹配,得到资源分配方案;
根据所述第一任务分配信息、关联技术的第二任务分配信息、资源分配方案进行方案整合并生成任务资源分配方案。
6.根据权利要求5所述的一种基于上下文语义的任务自动分解系统,其特征在于,所述根据已有技术知识大数据,通过基于RNN的语义识别模型进行语义识别与实体数据提取,基于提取的实体数据构建技术知识图谱,具体为:
获取系统中已有的技术知识大数据;
基于所述技术知识大数据进行数据清洗、数据去冗余预处理;
将所述技术知识大数据转化为预设标准化的文本大数据;
将所述文本大数据通过基于RNN语义识别模型进行语义分析并提取其中的实体、属性、关系信息,并得到实体数据、属性数据、关系数据;
基于所述实体数据、属性数据、关系数据构建基于图结构的技术知识图谱。
7.根据权利要求5所述的一种基于上下文语义的任务自动分解系统,其特征在于,所述对所述任务需求文档数据进行语义分析与关键词提取,得到需求关键词,将所述需求关键词与任务需求文档数据导入基于BERT的上下文分析模型进行预训练并生成关键词向量,具体为:
根据所述任务需求文档数据进行格式转化,得到预设标准化的长文本需求数据;
对所述长文本需求数据进行语义分析与词语分割,得到词组数据,对所述词组数据进行词频统计,并基于预设高频标准筛选出高频词;
结合技术知识图谱,判断所述高频词是否存在于技术知识图谱中的实体数据中,若存在,则将对应的高频词标记为需求关键词。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311170031.7A CN117150046B (zh) | 2023-09-12 | 2023-09-12 | 基于上下文语义的任务自动分解方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311170031.7A CN117150046B (zh) | 2023-09-12 | 2023-09-12 | 基于上下文语义的任务自动分解方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117150046A CN117150046A (zh) | 2023-12-01 |
CN117150046B true CN117150046B (zh) | 2024-03-15 |
Family
ID=88909829
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311170031.7A Active CN117150046B (zh) | 2023-09-12 | 2023-09-12 | 基于上下文语义的任务自动分解方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117150046B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108376131A (zh) * | 2018-03-14 | 2018-08-07 | 中山大学 | 基于seq2seq深度神经网络模型的关键词抽取方法 |
CN112486919A (zh) * | 2020-11-13 | 2021-03-12 | 北京北大千方科技有限公司 | 文档管理方法、系统及存储介质 |
CN113254643A (zh) * | 2021-05-28 | 2021-08-13 | 北京灵汐科技有限公司 | 文本分类方法、装置、电子设备和 |
CN115982357A (zh) * | 2022-12-30 | 2023-04-18 | 广东省华南技术转移中心有限公司 | 资源推荐方法、装置以及存储介质 |
CN116521882A (zh) * | 2023-05-30 | 2023-08-01 | 中国人民解放军战略支援部队信息工程大学 | 基于知识图谱的领域长文本分类方法及系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160335544A1 (en) * | 2015-05-12 | 2016-11-17 | Claudia Bretschneider | Method and Apparatus for Generating a Knowledge Data Model |
-
2023
- 2023-09-12 CN CN202311170031.7A patent/CN117150046B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108376131A (zh) * | 2018-03-14 | 2018-08-07 | 中山大学 | 基于seq2seq深度神经网络模型的关键词抽取方法 |
CN112486919A (zh) * | 2020-11-13 | 2021-03-12 | 北京北大千方科技有限公司 | 文档管理方法、系统及存储介质 |
CN113254643A (zh) * | 2021-05-28 | 2021-08-13 | 北京灵汐科技有限公司 | 文本分类方法、装置、电子设备和 |
CN115982357A (zh) * | 2022-12-30 | 2023-04-18 | 广东省华南技术转移中心有限公司 | 资源推荐方法、装置以及存储介质 |
CN116521882A (zh) * | 2023-05-30 | 2023-08-01 | 中国人民解放军战略支援部队信息工程大学 | 基于知识图谱的领域长文本分类方法及系统 |
Non-Patent Citations (1)
Title |
---|
赵鹏 ; 杨英 ; 刘伟强 ; 王卫东.密集场景下家庭基站间的资源分配新方案.《通信技术》.(第8期),第2-54页. * |
Also Published As
Publication number | Publication date |
---|---|
CN117150046A (zh) | 2023-12-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110597999A (zh) | 一种依存句法分析关系抽取模型的司法案件知识图谱构建方法 | |
CN111767716B (zh) | 企业多级行业信息的确定方法、装置及计算机设备 | |
CN110929125B (zh) | 搜索召回方法、装置、设备及其存储介质 | |
CN112035599B (zh) | 基于垂直搜索的查询方法、装置、计算机设备及存储介质 | |
CN111967761A (zh) | 一种基于知识图谱的监控预警方法、装置及电子设备 | |
US20220358379A1 (en) | System, apparatus and method of managing knowledge generated from technical data | |
CN113033198B (zh) | 相似文本推送方法、装置、电子设备及计算机存储介质 | |
CN115203421A (zh) | 一种长文本的标签生成方法、装置、设备及存储介质 | |
CN113486664A (zh) | 文本数据可视化分析方法、装置、设备及存储介质 | |
CN110704638A (zh) | 一种基于聚类算法的电力文本词典构造方法 | |
CN111881695A (zh) | 一种审计知识的检索方法及装置 | |
CN111104422A (zh) | 一种数据推荐模型的训练方法、装置、设备及存储介质 | |
CN117150046B (zh) | 基于上下文语义的任务自动分解方法和系统 | |
Khritankov et al. | Discovering text reuse in large collections of documents: A study of theses in history sciences | |
CN113095073B (zh) | 语料标签生成方法、装置、计算机设备和存储介质 | |
CN110941713A (zh) | 基于主题模型的自优化金融资讯版块分类方法 | |
CN114936282A (zh) | 金融风险线索确定方法、装置、设备和介质 | |
CN111341404B (zh) | 一种基于ernie模型的电子病历数据组解析方法及系统 | |
CN114417010A (zh) | 面向实时工作流的知识图谱构建方法、装置和存储介质 | |
CN112270189A (zh) | 一种提问式的分析节点生成方法、系统及存储介质 | |
El Idrissi et al. | HCHIRSIMEX: An extended method for domain ontology learning based on conditional mutual information | |
Ajitha et al. | EFFECTIVE FEATURE EXTRACTION FOR DOCUMENT CLUSTERING TO ENHANCE SEARCH ENGINE USING XML. | |
CN117291192B (zh) | 一种政务文本语义理解分析方法及系统 | |
CN114036946B (zh) | 一种文本特征提取及辅助检索的系统及方法 | |
CN117235137B (zh) | 一种基于向量数据库的职业信息查询方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |