CN113033179B - 知识获取方法、装置、电子设备及可读存储介质 - Google Patents
知识获取方法、装置、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN113033179B CN113033179B CN202110313741.5A CN202110313741A CN113033179B CN 113033179 B CN113033179 B CN 113033179B CN 202110313741 A CN202110313741 A CN 202110313741A CN 113033179 B CN113033179 B CN 113033179B
- Authority
- CN
- China
- Prior art keywords
- knowledge
- spo
- quality
- mode
- extracted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000011156 evaluation Methods 0.000 claims description 29
- 238000003908 quality control method Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 11
- 238000002372 labelling Methods 0.000 claims description 11
- 238000007781 pre-processing Methods 0.000 claims description 9
- 238000003909 pattern recognition Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000013210 evaluation model Methods 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 5
- 238000013441 quality evaluation Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 2
- 238000001303 quality assessment method Methods 0.000 claims 1
- 238000013473 artificial intelligence Methods 0.000 abstract description 8
- 238000003058 natural language processing Methods 0.000 abstract description 5
- 238000011282 treatment Methods 0.000 abstract description 5
- 238000013135 deep learning Methods 0.000 abstract description 4
- 238000012545 processing Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 8
- 208000024891 symptom Diseases 0.000 description 6
- 238000010276 construction Methods 0.000 description 5
- 201000010099 disease Diseases 0.000 description 5
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 5
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012552 review Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 208000004998 Abdominal Pain Diseases 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000012567 pattern recognition method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开公开了知识获取方法、装置、电子设备及可读存储介质,涉及知识图谱、自然语言处理、深度学习及智慧医疗等人工智能领域,其中的方法可包括:针对待抽取的类型的SPO知识,确定识别模式,所述识别模式包括:S、P和O的识别顺序,以及,S、P和O分别对应的识别方式;按照确定出的识别模式,从作为数据源的文本中抽取出所述类型的SPO知识。应用本公开所述方案,可节省人力和时间成本等。
Description
技术领域
本公开涉及人工智能技术领域,特别涉及知识图谱、自然语言处理、深度学习及智慧医疗等领域的知识获取方法、装置、电子设备及可读存储介质。
背景技术
医疗知识图谱在智慧医疗的数值化以及智能化中起到了重要作用。其中,主谓宾(SPO,Subject Predicate Object)知识的获取(或称为抽取、挖掘等)作为医疗知识图谱构建的基础,直接关系到构建出的医疗知识图谱的质量。
在医疗领域中,数据源多是无结构化的,且面向较多的专业知识。目前,通常采用人工标注生成SPO知识的方式,但这种方式需要耗费较大的人力和时间成本等。
发明内容
本公开提供了知识获取方法、装置、电子设备及可读存储介质。
一种知识获取方法,包括:
针对待抽取的类型的主谓宾SPO知识,确定识别模式,所述识别模式包括:S、P和O的识别顺序,以及,S、P和O分别对应的识别方式;
按照所述识别模式,从作为数据源的文本中抽取出所述类型的SPO知识。
一种知识获取装置,包括:模式确定模块以及知识抽取模块;
所述模式确定模块,用于针对待抽取的类型的主谓宾SPO知识,确定识别模式,所述识别模式包括:S、P和O的识别顺序,以及,S、P和O分别对应的识别方式;
所述知识抽取模块,用于按照所述识别模式,从作为数据源的文本中抽取出所述类型的SPO知识。
一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如以上所述的方法。
一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使计算机执行如以上所述的方法。
一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现如以上所述的方法。
上述公开中的一个实施例具有如下优点或有益效果:可针对待抽取的类型的SPO知识,确定出识别模式,并可按照确定出的识别模式,从作为数据源的文本中抽取出所述类型的SPO知识,从而减少了人为操作,进而节省了人力和时间成本等。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1为本公开所述知识获取方法实施例的流程图;
图2为本公开所述从文本中抽取SPO知识的过程示意图;
图3为本公开所述质量控制过程的示意图;
图4为本公开所述知识获取的整体过程示意图;
图5为本公开所述知识获取装置第一实施例50的组成结构示意图;
图6为本公开所述知识获取装置第二实施例60的组成结构示意图;
图7示出了可以用来实施本公开的实施例的示例电子设备700的示意性框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
另外,应理解,本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
图1为本公开所述知识获取方法实施例的流程图。如图1所示,包括以下具体实现方式。
在步骤101中,针对待抽取的类型的SPO知识,确定识别模式,识别模式包括:主语(S,Subject)、谓语(P,Predicate)和宾语(O,Object)的识别顺序,以及,S、P和O分别对应的识别方式。
在步骤102中,按照确定出的识别模式,从作为数据源的文本中抽取出所述类型的SPO知识。
可以看出,上述方法实施例所述方案中,可针对待抽取的类型的SPO知识,确定出识别模式,并可按照确定出的识别模式,从作为数据源的文本中抽取出所述类型的SPO知识,从而减少了人为操作,进而节省了人力和时间成本,抽取出的SPO知识可用于进行知识图谱的构建,从而提升了图谱构建效率等。
优选地,所述知识图谱可为医疗知识图谱,相应地,所述SPO知识可为医疗领域的SPO知识。
本公开中对于如何获取作为数据源的文本不作限制。比如,作为数据源的文本可包括医学权威书籍和公开的医疗信息等。
对于作为数据源的文本,还可对其进行预处理,所述预处理可包括以下之一或全部:格式转换,层级解析。
在实际应用中,不同数据源的微小变化都可能会对后续的SPO知识获取造成较大的影响,为此,可对作为数据源的文本进行预处理,以简化后续处理逻辑及提升后续处理结果的准确性等。
比如,对于获取到的医疗信息,可对其进行格式转换,即转换为统一的格式,如统一的结构化格式。再比如,对于医学权威书籍,可对其进行层级解析,书籍的标题等层级信息中包含了大量的语义信息,为了更合理地使用这些知识内容,可对书籍内容进行细粒度的层级解析,从而得到包含书籍中的各层级信息的文本数据。
上述仅为举例说明,并不用于限制本公开的技术方案,所述预处理具体包括哪些内容可根据实际需要而定,比如,还可对格式转换后的文本进行噪声数据清洗等。
基于上述预处理后的文本,可进行SPO知识的抽取,即针对待抽取的类型的SPO知识,可确定出识别模式,识别模式可包括:S、P和O的识别顺序及分别对应的识别方式等,并可按照确定出的识别模式,从文本中抽取出所述类型的SPO知识。
本公开中,可采用串行的元素识别方式,即按照识别顺序,分别从文本中识别出S、P和O,识别出各元素之后,可拼接成SPO三元组即SPO知识输出。
SPO知识的类型即指S、P和O三个元素的类型/内容,比如,S为疾病,P为症状,O为具体症状内容。对于某一条SPO知识,假设S为疾病A,P为症状,那么O则为疾病A的具体症状内容,如腹部疼痛等。
本公开所述方案中,针对待抽取的类型的SPO知识,可首先获取根据文本由人工标注生成的所述类型的M条SPO知识,M为大于一的正整数,具体取值可根据实际需要而定。
具体地,可由医学专家针对给定的数据约束,在全量空间上,随机标注生成M条SPO知识。比如,可基于预处理后的文本,由医学专家随机标注生成M条S为疾病,P为症状,O为具体症状内容的SPO知识。
进一步地,可确定出SPO知识的识别模式,所述识别模式可为根据M条SPO知识确定出的识别模式。具体地,可由医学专家根据M条SPO知识,基于经验等确定出识别模式,或者,也可自动地根据M条SPO知识确定出识别模式,比如,可通过对M条SPO知识进行分析,基于预先设定的规则等确定出识别模式。
识别模式可包括S、P和O的识别顺序以及S、P和O分别对应的识别方式等。比如,识别顺序可为P、S、O,或者为P、O、S等。每个元素(元素即指S、P和O)对应的识别方式具体为何种方式不作限制,可根据实际需要而定,比如,可包括以下至少之一:样式(Pattern)识别方式,多模匹配方式,命名实体识别方式,槽填充方式。不同元素对应的识别方式可以相同,也可以不同。
其中,Pattern识别主要指针对给定的句法模型或语法模式,识别所需的实体,如S可认为是一个实体,Pattern识别方式的效果较大地依赖于输入的格式化程度,适用于句式比较固定的文本中的实体识别,比如基于段落标题的S的识别,如可将段落标题中的疾病作为S等。多模匹配也可称为词典匹配,针对给定的词典,确定词典中的哪些词出现在了文本中,对于文本中出现的词,可通过进一步分析确定其是否为所需的S、P或O等。多模匹配方式依赖于词典的完整程度,如果词典的覆盖率足够高,多模匹配方式的准确率和召回率将会是比较理想的。当Pattern识别方式不能较好地解决问题,且多模词典不好构建的时候,可采用命名识别实体方式。命名实体识别是指识别出文本中具有特定意义的实体,是自然语言处理领域中一项比较成熟的技术。另外,对于段落中包含的信息比较复杂的知识抽取,可将其定义为槽填充任务,比如,在已经确定了S和P后,进行对应的O的识别,实现信息的补全。
可按照确定出的识别模式,从文本中抽取出SPO知识,即可按照确定出的识别顺序和识别方式,从文本中抽取出SPO知识,从而提升了抽取效率及抽取结果的准确性等。另外,对于任一元素,当其对应多种识别方式时,各识别方式对应的识别结果可相互校验,并且,在某一识别方式未获取到识别结果时,可利用其它识别方式来获取识别结果,从而提升了识别成功率,即提升了抽取结果的召回率等。
针对从文本中抽取出的SPO知识,还可进一步进行以下处理:从抽取出的SPO知识中抽样出部分SPO知识,分别获取抽样出的各SPO知识的正确性评估结果,利用评估为正确的SPO知识对识别模式进行优化。
比如,可从抽取出的SPO知识中随机抽样出P条SPO知识,P为大于一的正整数,且小于抽取出的SPO知识的数量,之后,可分别获取抽样出的P条SPO知识的正确性评估结果,对于评估为正确的SPO知识,假设为L条,L为正整数,且小于或等于P,可将这L条SPO知识与人工标注生成的M条SPO知识相结合,从而得到M+L条SPO知识,进而可根据这M+L条SPO知识对识别模式进行优化,即对识别模式进行调整,通常来说,所述调整是指对识别方式进行调整,如对部分或全部元素对应的识别方式进行调整,识别顺序通常不变,另外,对于任一元素来说,对其对应的识别方式进行调整,可包括但不限于增加识别方式等。
由于人工标注需要耗费较大的人力和时间成本,因此本公开所述方案中,人工仅需标注生成少量的SPO知识,后续可通过上述方式,不断丰富标注数据,迭代模型的效果。
如何获取抽样出的各SPO知识的正确性评估结果不作限制,比如,可获取人工给出的正确性评估结果,或者,基于预先设定的规则等,自动地进行正确性评估。评估为正确的SPO知识通常是指S、P和O均符合类型要求,且逻辑等正确的SPO知识。
基于上述介绍,图2为本公开所述从文本中抽取SPO知识的过程示意图,如图2所示,其中的“知识定义”即指人工标注生成M条SPO知识的过程,“模式定义”即指确定出识别模式的过程,“元素识别”即指按照确定出的识别模式,从文本中抽取出SPO知识的过程,其它具体实现请参照前述相关说明,不再赘述。另外,何时结束图2所示循环可根据实际需要而定,比如,循环次数达到预先设定的次数等。
通过上述处理后获取到的SPO知识的质量可能无法满足实际的应用需求,相应地,可进一步进行质量控制,以产出满足需求的SPO知识,即补全策略到应用之间的差距。
即可分别对抽取出的各SPO知识进行质量评估,并将评估结果为高质量的SPO知识作为最终所抽取的SPO知识,即最终所需的SPO知识,评估结果包括:高质量和低质量。
具体地,针对抽取出的任一SPO知识,可分别基于预先设定的评估规则,确定出该SPO知识为高质量的SPO知识或低质量的SPO知识,或者,针对抽取出的任一SPO知识,可分别利用预先训练得到的评估模型,对该SPO知识进行评分,若得到的评分大于预先设定的阈值,则可确定该SPO知识为高质量的SPO知识,否则,可确定该SPO知识为低质量的SPO知识。
所述评估规则具体包括哪些内容可根据实际需要而定。另外,评估模型可为预先训练得到的,输入可为SPO知识,输出可为对应的评分。
对于评估结果为高质量的SPO知识,可将其作为最终所抽取的SPO知识输出。
对于评估结果为低质量的SPO知识,可丢弃或进行其它处理。比如,对于任一低质量的SPO知识,可分别获取人工对于该SPO知识的评估结果,若获取到的评估结果为高质量,则可将该SPO知识作为最终所抽取的SPO知识输出。
也就是说,对于低质量的SPO知识,可采用人工复核的方式,如由医学专家进一步确定其为高质量的SPO知识还是低质量的SPO知识,若医学专家认为其为高质量的SPO知识,那么则可将其作为最终所抽取的SPO知识输出,若医学专家也认为其为低质量的SPO知识,那么则可确定其为低质量的SPO知识,不作为最终所抽取的SPO知识输出。通过人工复核,可提升高质量的SPO知识的召回率等。
另外,通过上述质量控制,对于基于规则或模型确定为高质量的SPO知识,可直接作为最终所抽取的SPO知识输出,即不经过人工复核直接生效产出,而对于基于规则或模型确定为低质量的SPO知识,医学专家也仅需对其质量进行进一步判定,无需进行修改等处理,从而节省了人力和时间成本等。
基于上述介绍,图3为本公开所述质量控制过程的示意图,具体实现请参照前述相关说明,不再赘述。
后续,还可利用低质量的SPO知识和高质量的SPO知识来对评估模型进行优化等。
另外,对于不同类型的SPO知识,可分别按照上述方式进行处理,从而可得到大量高质量的SPO知识,如可包括各种医疗知识等,进而可利用这些高质量的SPO知识来构建医疗知识图谱。
在实际应用中,为构建医疗知识图谱,还可针对不同类型的SPO知识,分别采用不同的处理方式。比如,对于人工标注效率远高于机器标注效率的属性,即P,可通过人工全量整理,完成相应的SPO知识的构建,对于人工标注效率较低,而机器标注效率较高的属性,可采用本公开所述方式进行SPO知识的抽取,但可不进行质量控制,对于人工标注效率较低,机器标注效率也较低的属性,也可采用本公开所述方式进行SPO知识的抽取,并可进行质量控制。通过不同的处理方式,可降低医疗知识图谱的整体构建成本及提升整体构建效率等。
综合上述介绍,图4为本公开所述知识获取的整体过程示意图,如图4所示,假设识别顺序为P、S和O,具体实现请参照前述相关说明,不再赘述。
需要说明的是,对于前述的方法实施例,为了简单描述,将其表述为一系列的动作组合,但是本领域技术人员应该知悉,本公开并不受所描述的动作顺序的限制,因为依据本公开,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本公开所必须的。
以上是关于方法实施例的介绍,以下通过装置实施例,对本公开所述方案进行进一步说明。
图5为本公开所述知识获取装置第一实施例50的组成结构示意图。如图5所示,包括:模式确定模块501以及知识抽取模块502。
模式确定模块501用于针对待抽取的类型的SPO知识,确定识别模式,识别模式包括:S、P和O的识别顺序,以及,S、P和O分别对应的识别方式。
知识抽取模块502用于按照确定出的识别模式,从作为数据源的文本中抽取出所述类型的SPO知识。
图6为本公开所述知识获取装置第二实施例60的组成结构示意图。如图6所示,包括:模式确定模块501以及知识抽取模块502,另外还可包括:预处理模块500和/或质量控制模块503。
预处理模块500可用于对文本进行预处理,所述预处理可包括以下至少之一:格式转换,层级解析。
模式确定模块501可获取根据文本由人工标注生成的所述类型的M条SPO知识,M为大于一的正整数。相应地,识别模式可包括:根据M条SPO知识确定出的识别模式。
另外,模式确定模块501还可从抽取出的SPO知识中抽样出部分SPO知识,并分别获取抽样出的各SPO知识的正确性评估结果,利用评估为正确的SPO知识对识别模式进行优化。
知识抽取模块502可按照确定出的识别模式,从作为数据源的文本中抽取出所述类型的SPO知识。识别模块可包括:S、P和O的识别顺序及分别对应的识别方式等。其中,识别方式可包括以下至少之一:Pattern识别方式,多模匹配方式,命名实体识别方式,槽填充方式。
质量控制模块503可用于分别对抽取出的各SPO知识进行质量评估,将评估结果为高质量的SPO知识作为最终所抽取的SPO知识输出,评估结果包括:高质量和低质量。
具体地,质量控制模块503可针对抽取出的任一SPO知识,分别基于预先设定的评估规则,确定出该SPO知识为高质量的SPO知识还是低质量的SPO知识,或者,针对抽取出的任一SPO知识,分别利用预先训练得到的评估模型,对该SPO知识进行评分,若评分大于预先设定的阈值,则可确定该SPO知识为高质量的SPO知识,否则,可确定该SPO知识为低质量的SPO知识。
对于任一低质量的SPO知识,质量控制模块503还可分别获取人工对于该SPO知识的评估结果,若获取到的评估结果为高质量,则可将该SPO知识作为最终所抽取的SPO知识。
图5和图6所示装置实施例的具体工作流程请参照前述方法实施例中的相关说明,不再赘述。
总之,采用本公开装置实施例所述方案,可节省人力和时间成本,并可提升获取到的SPO知识的准确性等。
本公开所述方案可应用于人工智能领域,特别涉及知识图谱、自然语言处理、深度学习及智慧医疗等领域。
人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科,既有硬件层面的技术也有软件层面的技术,人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术,人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。
另外,本公开的技术方案中,所涉及的用户个人信息的获取,存储和应用等,均符合相关法律法规的规定,且不违背公序良俗。
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图7示出了可以用来实施本公开的实施例的示例电子设备700的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字助理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图7所示,设备700包括计算单元701,其可以根据存储在只读存储器(ROM)702中的计算机程序或者从存储单元708加载到随机访问存储器(RAM)703中的计算机程序,来执行各种适当的动作和处理。在RAM 703中,还可存储设备700操作所需的各种程序和数据。计算单元701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
设备700中的多个部件连接至I/O接口705,包括:输入单元706,例如键盘、鼠标等;输出单元707,例如各种类型的显示器、扬声器等;存储单元708,例如磁盘、光盘等;以及通信单元709,例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理,例如本公开所述的方法。例如,在一些实施例中,本公开所述的方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元708。在一些实施例中,计算机程序的部分或者全部可以经由ROM 702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序加载到RAM 703并由计算单元701执行时,可以执行本公开所述的方法的一个或多个步骤。备选地,在其他实施例中,计算单元701可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行本公开所述的方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决传统物理主机与虚拟专用服务器(VPS)中,存在的管理难度大,业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器,或者是结合了区块链的服务器。云计算指的是通过网络接入弹性可扩展的共享物理或虚拟资源池,资源可以包括服务器、操作系统、网络、软件、应用和存储设备等,并可以以按需、自服务的方式对资源进行部署和管理的技术体系,通过云计算技术,可以为人工智能、区块链等技术应用、模型训练提供高效强大的数据处理能力。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。
Claims (15)
1.一种知识获取方法,包括:
针对待抽取的类型的主谓宾SPO知识,通过对所述类型的M条SPO知识进行分析,基于预先设定的规则确定出所述类型的识别模式,所述M条SPO知识为根据作为数据源的所述类型的文本通过人工标注生成的,M为大于一的正整数,确定出的所述类型的识别模式包括:主语S、谓语P和宾语O三个元素的识别顺序,以及,所述识别顺序下S、P和O三个元素分别对应的识别方式,其中,每个元素分别对应至少一种识别方式;
按照所述三个元素的识别顺序以及所述三个元素分别对应的识别方式,从所述文本中抽取出所述类型的SPO知识;
还包括:从抽取出的SPO知识中抽样出部分SPO知识,分别获取抽样出的各SPO知识的正确性评估结果,利用评估为正确的SPO知识以及所述M条SPO知识对所述识别模式进行优化。
2.根据权利要求1所述的方法,还包括:
在从所述文本中抽取出所述类型的SPO知识之前,对所述文本进行预处理,所述预处理包括以下至少之一:格式转换,层级解析。
3.根据权利要求1所述的方法,其中,
所述识别方式包括以下至少之一:样式识别方式,多模匹配方式,命名实体识别方式,槽填充方式。
4.根据权利要求1所述的方法,还包括:
分别对抽取出的各SPO知识进行质量评估;
将评估结果为高质量的SPO知识作为最终所抽取的SPO知识,所述评估结果包括:高质量和低质量。
5.根据权利要求4所述的方法,其中,所述分别对抽取出的各SPO知识进行质量评估包括:
针对抽取出的任一SPO知识,分别基于预先设定的评估规则,确定出所述SPO知识为高质量的SPO知识或低质量的SPO知识;
或者,针对抽取出的任一SPO知识,分别利用预先训练得到的评估模型,对所述SPO知识进行评分,若所述评分大于预先设定的阈值,则确定所述SPO知识为高质量的SPO知识,否则,确定所述SPO知识为低质量的SPO知识。
6.根据权利要求5所述的方法,还包括:
对于任一低质量的SPO知识,分别获取人工对于所述SPO知识的评估结果,若为高质量,则将所述SPO知识作为最终所抽取的SPO知识。
7.一种知识获取装置,包括:模式确定模块以及知识抽取模块;
所述模式确定模块,用于针对待抽取的类型的主谓宾SPO知识,通过对所述类型的M条SPO知识进行分析,基于预先设定的规则确定出所述类型的识别模式,所述M条SPO知识为根据作为数据源的所述类型的文本通过人工标注生成的,M为大于一的正整数,确定出的所述类型的识别模式包括:主语S、谓语P和宾语O三个元素的识别顺序,以及,所述识别顺序下S、P和O三个元素分别对应的识别方式,其中,每个元素分别对应至少一种识别方式;
所述知识抽取模块,用于按照所述三个元素的识别顺序以及所述三个元素分别对应的识别方式,从所述文本中抽取出所述类型的SPO知识;
其中,所述模式确定模块进一步用于,从抽取出的SPO知识中抽样出部分SPO知识,分别获取抽样出的各SPO知识的正确性评估结果,利用评估为正确的SPO知识以及所述M条SPO知识对所述识别模式进行优化。
8.根据权利要求7所述的装置,还包括:预处理模块;
所述预处理模块,用于对所述文本进行预处理,所述预处理包括以下至少之一:格式转换,层级解析。
9.根据权利要求7所述的装置,其中,
所述识别方式包括以下至少之一:样式识别方式,多模匹配方式,命名实体识别方式,槽填充方式。
10.根据权利要求7所述的装置,还包括:质量控制模块;
所述质量控制模块,用于分别对抽取出的各SPO知识进行质量评估,将评估结果为高质量的SPO知识作为最终所抽取的SPO知识,所述评估结果包括:高质量和低质量。
11.根据权利要求10所述的装置,其中,
所述质量控制模块针对抽取出的任一SPO知识,分别基于预先设定的评估规则,确定出所述SPO知识为高质量的SPO知识或低质量的SPO知识,或者,针对抽取出的任一SPO知识,分别利用预先训练得到的评估模型,对所述SPO知识进行评分,若所述评分大于预先设定的阈值,则确定所述SPO知识为高质量的SPO知识,否则,确定所述SPO知识为低质量的SPO知识。
12.根据权利要求11所述的装置,其中,
所述质量控制模块进一步用于,对于任一低质量的SPO知识,分别获取人工对于所述SPO知识的评估结果,若为高质量,则将所述SPO知识作为最终所抽取的SPO知识。
13.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。
14.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使计算机执行根据权利要求1-6中任一项所述的方法。
15.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1-6中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110313741.5A CN113033179B (zh) | 2021-03-24 | 2021-03-24 | 知识获取方法、装置、电子设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110313741.5A CN113033179B (zh) | 2021-03-24 | 2021-03-24 | 知识获取方法、装置、电子设备及可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113033179A CN113033179A (zh) | 2021-06-25 |
CN113033179B true CN113033179B (zh) | 2024-05-24 |
Family
ID=76473583
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110313741.5A Active CN113033179B (zh) | 2021-03-24 | 2021-03-24 | 知识获取方法、装置、电子设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113033179B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113657100B (zh) * | 2021-07-20 | 2023-12-15 | 北京百度网讯科技有限公司 | 实体识别方法、装置、电子设备及存储介质 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105868578A (zh) * | 2016-06-12 | 2016-08-17 | 北京万物语联技术有限公司 | 医疗知识系统及医疗知识编辑方法、应用方法 |
CN106407443A (zh) * | 2016-09-28 | 2017-02-15 | 医渡云(北京)技术有限公司 | 一种结构化医疗数据生成方法及装置 |
WO2018102980A1 (zh) * | 2016-12-06 | 2018-06-14 | 吉蒂机器人私人有限公司 | 语音交互方法、装置及系统 |
CN108446266A (zh) * | 2018-02-01 | 2018-08-24 | 阿里巴巴集团控股有限公司 | 一种语句拆分的方法、装置及设备 |
CN110379520A (zh) * | 2019-06-18 | 2019-10-25 | 北京百度网讯科技有限公司 | 医疗知识图谱的挖掘方法及装置、计算机设备及可读介质 |
CN110390018A (zh) * | 2019-07-25 | 2019-10-29 | 哈尔滨工业大学 | 一种基于lstm的社交网络评论生成方法 |
CN110569335A (zh) * | 2018-03-23 | 2019-12-13 | 百度在线网络技术(北京)有限公司 | 基于人工智能的三元组校验方法、装置及存储介质 |
CN112015859A (zh) * | 2019-05-31 | 2020-12-01 | 百度在线网络技术(北京)有限公司 | 文本的知识层次抽取方法及装置、计算机设备及可读介质 |
CN112102937A (zh) * | 2020-11-13 | 2020-12-18 | 之江实验室 | 一种慢性病辅助决策的患者数据可视化方法及系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10679007B2 (en) * | 2018-08-30 | 2020-06-09 | Intelligent Fusion Technology, Inc. | Method and system for pattern discovery and real-time anomaly detection based on knowledge graph |
-
2021
- 2021-03-24 CN CN202110313741.5A patent/CN113033179B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105868578A (zh) * | 2016-06-12 | 2016-08-17 | 北京万物语联技术有限公司 | 医疗知识系统及医疗知识编辑方法、应用方法 |
CN106407443A (zh) * | 2016-09-28 | 2017-02-15 | 医渡云(北京)技术有限公司 | 一种结构化医疗数据生成方法及装置 |
WO2018102980A1 (zh) * | 2016-12-06 | 2018-06-14 | 吉蒂机器人私人有限公司 | 语音交互方法、装置及系统 |
CN108446266A (zh) * | 2018-02-01 | 2018-08-24 | 阿里巴巴集团控股有限公司 | 一种语句拆分的方法、装置及设备 |
CN110569335A (zh) * | 2018-03-23 | 2019-12-13 | 百度在线网络技术(北京)有限公司 | 基于人工智能的三元组校验方法、装置及存储介质 |
CN112015859A (zh) * | 2019-05-31 | 2020-12-01 | 百度在线网络技术(北京)有限公司 | 文本的知识层次抽取方法及装置、计算机设备及可读介质 |
CN110379520A (zh) * | 2019-06-18 | 2019-10-25 | 北京百度网讯科技有限公司 | 医疗知识图谱的挖掘方法及装置、计算机设备及可读介质 |
CN110390018A (zh) * | 2019-07-25 | 2019-10-29 | 哈尔滨工业大学 | 一种基于lstm的社交网络评论生成方法 |
CN112102937A (zh) * | 2020-11-13 | 2020-12-18 | 之江实验室 | 一种慢性病辅助决策的患者数据可视化方法及系统 |
Non-Patent Citations (1)
Title |
---|
面向中文自然语言文档的自动知识抽取方法;车海燕;冯铁;张家晨;陈伟;李大利;;计算机研究与发展;20130430(第04期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113033179A (zh) | 2021-06-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10755048B2 (en) | Artificial intelligence based method and apparatus for segmenting sentence | |
US20220318275A1 (en) | Search method, electronic device and storage medium | |
CN112784589B (zh) | 一种训练样本的生成方法、装置及电子设备 | |
CN109522552A (zh) | 一种医疗信息的归一化方法、装置、介质及电子设备 | |
CN114548110A (zh) | 语义理解方法、装置、电子设备及存储介质 | |
CN112541070B (zh) | 槽位更新语料的挖掘方法、装置、电子设备和存储介质 | |
CN113656590B (zh) | 行业图谱的构建方法、装置、电子设备及存储介质 | |
CN112579727A (zh) | 文档内容的提取方法、装置、电子设备及存储介质 | |
CN114579104A (zh) | 数据分析场景的生成方法、装置、设备及存储介质 | |
CN112528641A (zh) | 建立信息抽取模型的方法、装置、电子设备和可读存储介质 | |
JP7357114B2 (ja) | 生体検出モデルのトレーニング方法、装置、電子機器および記憶媒体 | |
EP4134838A1 (en) | Word mining method and apparatus, electronic device and readable storage medium | |
CN116257690A (zh) | 一种资源推荐方法、装置、电子设备和存储介质 | |
CN114861059A (zh) | 资源推荐方法、装置、电子设备及存储介质 | |
CN113641724B (zh) | 知识标签挖掘方法、装置、电子设备及存储介质 | |
CN115248890B (zh) | 用户兴趣画像的生成方法、装置、电子设备以及存储介质 | |
CN113590777B (zh) | 文本信息处理方法、装置、电子设备和存储介质 | |
CN113033179B (zh) | 知识获取方法、装置、电子设备及可读存储介质 | |
CN117971487A (zh) | 一种高性能算子生成方法、装置、设备及存储介质 | |
CN117038099A (zh) | 医疗类术语标准化方法以及装置 | |
CN115186738B (zh) | 模型训练方法、装置和存储介质 | |
CN114118049B (zh) | 信息获取方法、装置、电子设备及存储介质 | |
CN113408298B (zh) | 语义解析方法、装置、电子设备及存储介质 | |
CN114119972A (zh) | 模型获取及对象处理方法、装置、电子设备及存储介质 | |
CN112632999A (zh) | 命名实体识别模型获取及命名实体识别方法、装置及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |