CN112560434B - 确定文本中要素属性冲突的方法、装置、设备和介质 - Google Patents
确定文本中要素属性冲突的方法、装置、设备和介质 Download PDFInfo
- Publication number
- CN112560434B CN112560434B CN202011487640.1A CN202011487640A CN112560434B CN 112560434 B CN112560434 B CN 112560434B CN 202011487640 A CN202011487640 A CN 202011487640A CN 112560434 B CN112560434 B CN 112560434B
- Authority
- CN
- China
- Prior art keywords
- text
- attribute
- sample
- sub
- conflict
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000003062 neural network model Methods 0.000 claims abstract description 57
- 238000003058 natural language processing Methods 0.000 claims abstract description 15
- 238000012549 training Methods 0.000 claims description 35
- 201000010099 disease Diseases 0.000 claims description 12
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 12
- 238000010276 construction Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 229940079593 drug Drugs 0.000 claims description 4
- 239000003814 drug Substances 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 4
- 238000001356 surgical procedure Methods 0.000 claims description 4
- 208000024891 symptom Diseases 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims 2
- 238000013473 artificial intelligence Methods 0.000 abstract description 6
- 238000013135 deep learning Methods 0.000 abstract description 3
- 238000004590 computer program Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 5
- 201000002014 Suppurative Otitis Media Diseases 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 241000208967 Polygala cruciata Species 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 208000010392 Bone Fractures Diseases 0.000 description 2
- 206010017076 Fracture Diseases 0.000 description 2
- 208000033809 Suppuration Diseases 0.000 description 2
- 210000001015 abdomen Anatomy 0.000 description 2
- 210000000959 ear middle Anatomy 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000002483 medication Methods 0.000 description 2
- 238000012916 structural analysis Methods 0.000 description 2
- 102100033814 Alanine aminotransferase 2 Human genes 0.000 description 1
- 101710096000 Alanine aminotransferase 2 Proteins 0.000 description 1
- 208000024779 Comminuted Fractures Diseases 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003924 mental process Effects 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Machine Translation (AREA)
Abstract
本公开提供了一种确定文本中要素属性冲突的方法、装置、设备和介质,涉及人工智能技术领域,尤其涉及深度学习、知识图谱、自然语言处理技术领域。实现方案为:获取相关的第一文本和第二文本,第一文本和第二文本均包括目标要素和针对目标要素的同一属性的相关描述;提取第二文本所包括的一个或多个子文本;将第一文本和一个或多个子文本中的至少一部分子文本输入神经网络模型,获取神经网络模型输出的第一文本和至少一部分子文本中的每一个相应的预测结果,预测结果能够表征第一文本和相应的子文本之间是否存在针对目标要素的属性冲突;以及基于至少一部分子文本相应的至少一个预测结果,确定第一文本和第二文本之间是否存在要素属性冲突。
Description
技术领域
本公开涉及人工智能技术领域,尤其涉及深度学习、知识图谱、自然语言处理技术领域,具体涉及一种确定文本中要素属性冲突的方法、装置、设备和介质。
背景技术
人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科,既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术:人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。
在自然语言处理领域中,多段文本中针对同一要素存在不一致的要素属性是一个常见的不规范类型。例如在医疗病历文本中,要素可以是疾病,该要素的属性可以包括疾病的发病部位,则多段文本中针对同一要素存在不一致的要素属性例如可以是在病例的主诉与现病史中,对某疾病的发病部位的记录不一致。
在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明,否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地,除非另有指明,否则此部分中提及的问题不应认为在任何现有技术中已被公认。
发明内容
本公开提供了一种确定文本中要素属性冲突的方法、装置、设备和介质。
根据本公开的一方面,提供了一种由计算机实现的利用神经网络模型确定文本中要素属性冲突的方法,包括:获取相关的第一文本和第二文本,所述第一文本和所述第二文本均包括目标要素和针对所述目标要素的同一属性的相关描述;提取所述第二文本所包括的一个或多个子文本;将所述第一文本和所述一个或多个子文本中的至少一部分子文本输入神经网络模型,获取所述神经网络模型输出的所述第一文本和所述至少一部分子文本中的每一个相应的预测结果,所述预测结果能够表征所述第一文本和相应的子文本之间是否存在针对所述目标要素的属性冲突;以及基于所述至少一部分子文本相应的至少一个预测结果,确定所述第一文本和第二文本之间是否存在要素属性冲突。
根据本公开的另一方面,提供了一种由计算机实现的用于确定文本中要素属性冲突的神经网络模型的训练方法,包括:获取均包括目标要素的第一样本文本和第二样本文本,并标注所述第一样本文本和所述第二样本文本之间的与所述目标要素相关的真实属性冲突类别,将所述第一样本文本和第二样本文本输入神经网络模型,获取所述神经网络模型输出的预测属性冲突类别;基于真实属性冲突类别和预测属性冲突类别,计算损失值;以及基于所述损失值调整所述神经网络模型的参数。
根据本公开的另一方面,提供了一种文本要素属性冲突确定装置,包括:获取单元,被配置用于获取相关的第一文本和第二文本,所述第一文本和所述第二文本均包括目标要素和针对所述目标要素的同一属性的相关描述;提取单元,被配置用于提取所述第二文本所包括的一个或多个子文本;神经网络,被配置用于基于所述第一文本和所述一个或多个子文本中的至少一部分子文本,输出所述第一文本和所述至少一部分子文本中的每一个相应的预测结果,所述预测结果能够表征所述第一文本和相应的子文本之间是否存在针对所述目标要素的属性冲突;以及确定单元,被配置用于基于所述至少一部分子文本相应的至少一个预测结果,确定所述第一文本和第二文本之间是否存在要素属性冲突。
根据本公开的另一方面,提供了一种神经网络模型训练装置,包括:标注单元,被配置用于获取均包括目标要素的第一样本文本和第二样本文本,并标注所述第一样本文本和所述第二样本文本之间的与所述目标要素相关的真实属性冲突类别,获取单元,被配置用于将所述第一样本文本和第二样本文本输入神经网络模型,获取所述神经网络模型输出的预测属性冲突类别;计算单元,被配置用于基于真实属性冲突类别和预测属性冲突类别,计算损失值;以及调参单元,被配置用于基于所述损失值调整所述神经网络模型的参数。
根据本公开的另一方面,提供了一种电子设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述确定文本中要素属性冲突的方法或神经网络模型的训练方法。
根据本公开的另一方面,提供了一种一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行上述根据确定文本中要素属性冲突的方法或神经网络模型的训练方法。
根据本公开的另一方面,提供了一种计算机程序产品,包括计算机程序,其中,所述计算机程序在被处理器执行时实现上述确定文本中要素属性冲突的方法或神经网络模型的训练方法。
根据本公开的一个或多个实施例,通过将第一文本和第二文本所包括的部分子文本输入神经网络模型,能够得到表征第一文本和每一个子文本之间是否存在针对目标要素的属性冲突的预测结果,从而使得神经网络模型能够在利用要素所在文本的上下文语义信息作为背景知识,进而确定第一文本和每一个子文本之间是否针对目标要素存在属性冲突。此外,由于使用了神经网络模型,使得模型的召回率与泛化能力得到提升,并降低成本。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图示例性地示出了实施例并且构成说明书的一部分,与说明书的文字描述一起用于讲解实施例的示例性实施方式。所示出的实施例仅出于例示的目的,并不限制权利要求的范围。在所有附图中,相同的附图标记指代类似但不一定相同的要素。
图1示出了根据本公开的实施例的确定文本中要素属性冲突的方法的流程图;
图2-图3示出了根据本公开的实施例的神经网络模型的训练方法的流程图;
图4示出了根据本公开的实施例的文本要素属性冲突确定装置的结构框图;
图5示出了根据本公开的实施例的神经网络模型训练装置的结构框图;以及
图6示出了能够用于实现本公开的实施例的示例性电子设备的结构框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
在本公开中,除非另有说明,否则使用术语“第一”、“第二”等来描述各种要素不意图限定这些要素的位置关系、时序关系或重要性关系,这种术语只是用于将一个元件与另一元件区分开。在一些示例中,第一要素和第二要素可以指向该要素的同一实例,而在某些情况下,基于上下文的描述,它们也可以指代不同实例。
在本公开中对各种所述示例的描述中所使用的术语只是为了描述特定示例的目的,而并非旨在进行限制。除非上下文另外明确地表明,如果不特意限定要素的数量,则该要素可以是一个也可以是多个。此外,本公开中所使用的术语“和/或”涵盖所列出的项目中的任何一个以及全部可能的组合方式。
相关技术中,现有的判断多段文本中是否存在冲突的方法需要先对无结构文本进行结构化解析,而在此过程中,要素抽取准确率较高,但要素的属性抽取准确率、召回率低,难以满足要素冲突判断的需求。
为解决上述问题,本公开通过获取均包括目标要素和针对目标要素的同一属性的相关描述的第一样本和第二样本,并提取第二文本所包括的一个或多个子文本,再将第一文本和第二文本所包括的一个或多个子文本中的部分子文本输入神经网络模型,能够得到表征第一文本和每一个子文本之间是否存在针对目标要素的属性冲突的预测结果,从而使得神经网络模型能够在利用要素所在文本的上下文语义信息作为背景知识,进而确定第一文本和每一个子文本之间是否针对目标要素存在属性冲突。此外,由于使用了神经网络模型,使得模型的召回率与泛化能力得到提升,并降低成本。
下面将结合附图详细描述本公开的实施例。
图1是示出根据本公开示例性实施例的确定文本中要素属性冲突的方法。如图1所示,确定文本中要素属性冲突的方法可以包括:步骤S101、获取相关的第一文本和第二文本,所述第一文本和所述第二文本均包括目标要素和针对所述目标要素的同一属性的相关描述;步骤S102、提取所述第二文本所包括的一个或多个子文本;步骤S103、将所述第一文本和所述一个或多个子文本中的至少一部分子文本输入神经网络模型,获取所述神经网络模型输出的所述第一文本和所述至少一部分子文本中的每一个相应的预测结果,所述预测结果能够表征所述第一文本和相应的子文本之间是否存在针对所述目标要素的属性冲突;以及步骤S104、基于所述至少一部分子文本相应的至少一个预测结果,确定所述第一文本和第二文本之间是否存在要素属性冲突。由此,通过将第一文本和第二文本所包括的一个或多个子文本中的部分子文本输入神经网络模型,能够得到表征第一文本和每一个子文本之间是否存在针对目标要素的属性冲突的预测结果,从而使得神经网络模型能够在利用要素所在文本的上下文语义信息作为背景知识,进而确定第一文本和每一个子文本之间是否针对目标要素存在属性冲突。此外,由于使用了神经网络模型,使得模型的召回率与泛化能力得到提升,并降低模型的构建成本。
根据一些实施例,第一文本和第二文本均可以为医疗病例文本,其中,第一文本可以为主诉,第二文本可以为与所述主诉对应的现病史。医疗病例文本所包括的要素可以包括以下中的任意一个:疾病、症状、检查项目、检查结果、手术和药物。要素的属性可以包括以下中的任意一个:部位、时间、严重程度和等级。由此,通过使用上述方法,能够检测主诉和现病史中是否针对目标要素存在属性冲突。示例性的,第一文本即主诉为“左鼓室成型术后伴反复流脓一月”,第二文本即现病史为“患者因‘左化脓性中耳炎’于2013年3月5日在我科行‘左上鼓室开放+鼓室成形术’”。通过对第一文本和第二文本进行结构化解析,则主诉为“(左){[鼓室]成形术}”(花括号{}表示要素,方括号[]表示属性,圆括号()表示属性的内容,下同),现病史为“……‘(左)上鼓室开放+{[鼓室]成形术}’”,即要素为手术:鼓室成形术,针对该要素的部位属性:鼓室,主诉的属性内容为:左,现病史的属性内容同为:左。
根据一些实施例,可以将所述第二文本切割为所述一个或多个子文本。一个或多个子文本中的至少一部分子文本可以为一个或多个子文本中包括目标要素的子文本,也可以为全部一个或多个子文本,在此不做限定。示例性的,由于医疗病历文本中的主诉通常为一个短句,而现病史通常为较长的一段文本,因此可以将现病史(即第二文本)切割为一个或多个与主诉(第一文本)长度相近的子文本,从而判断第一文本和第二文本所包括的一个或多个子文本中的至少一部分子文本中的每一个之间是否针对同一目标要素存在属性冲突,进而确定该第一文本和第二文本是否针对该同一目标要素存在属性冲突。
根据一些实施例,预测结果可以包括属性一致、属性不一致、属性无关。属性一致例如可以是目标要素的同一属性的内容完全相同,例如可以在前述示例中,第一文本与第二文本针对目标要素——鼓室成形术的同一属性——鼓室的属性内容同为“左”,因此第一文本与第二文本之间的预测结果可以为属性一致。类似地,在属性内容不同时,第一文本和第二文本的预测结果可以为属性不一致。在第一文本与第二文本之间不包含目标要素的同一属性时,二者的预测结果为属性无关。示例性的,第一文本为“三日前左足拇指骨折”,第二文本为“诊断为粉碎性骨折”,则针对目标要素——骨折,第一文本包括属性——部位和时间,第二文本包括属性——严重程度,则第一文本和第二文本针对目标要素的部位属性、时间属性和严重程度属性的预测结果均为属性无关。
根据一些实施例,第二文本所包括的一个或多个子文本中的至少一部分子文本中,至少一个子文本相应的预测结果为属性不一致,则可以确定第一文本与第二文本之间存在要素属性冲突。第二文本所包括的一个或多个子文本中的至少一部分子文本中,每一个子文本相应的预测结果为属性一致,则可以确定第一文本和第二文本之间不存在要素属性冲突。第二文本所包括的一个或多个子文本中的至少一部分子文本中,至少一个子文本相应的预测结果为属性一致,且剩余的子文本相应的预测结果为属性无关,则可以确定第一文本和第二文本之间不存在要素属性冲突。
根据一些实施例,神经网络模型可以输出多个预测结果,每一个预测结果可以表征第一文本和第二文本之间是否存在针对目标要素的一个特定的属性的冲突。示例性的,目标要素为疾病,则可以有三个预测结果,分别表征疾病的发病部位是否冲突、疾病的发病时间是否冲突和疾病的发病严重等级是否冲突。可以理解的是,此处仅为举例说明神经网络模型输出能够表征第一文本和第二文本之间的多个目标要素的属性冲突,在具体实施过程中,神经网络可以输出表征第一文本和第二文本之间针对目标要素的任意属性冲突的多个预测结果的任意组合。
利用本公开的技术方案,所确定的医疗病历文本中的主诉与现病史之间的部位冲突的准确率为0.94。
根据本公开的另一方面,提供了一种由计算机实现的用于确定文本中要素属性冲突的神经网络模型的训练方法,包括:步骤S201、获取均包括目标要素的第一样本文本和第二样本文本,并标注所述第一样本文本和所述第二样本文本之间的与所述目标要素相关的真实属性冲突类别,步骤S202、将所述第一样本文本和第二样本文本输入神经网络模型,获取所述神经网络模型输出的预测属性冲突类别;步骤S203、基于真实属性冲突类别和预测属性冲突类别,计算损失值;以及步骤S204、基于所述损失值调整所述神经网络模型的参数。由此,通过上述训练方式,使得神经网络模型能够在利用目标要素所在输入的文本的上下文语义信息作为背景知识的情况下,判断两段输入文本之间是否存在针对目标要素的属性冲突的预测结果。
根据一些实施例,第一样本文本和第二样本文本均可以为医疗病例文本,其中,第一样本文本可以为主诉,第二样本文本可以为与所述主诉对应的现病史。医疗病例文本所包括的要素可以包括以下中的任意一个:疾病、症状、检查项目、检查结果、手术和药物。要素的属性可以包括以下中的任意一个:部位、时间、严重程度和等级。可以理解的是,第二样本文本也可以是现病史切割后的子文本。
根据一些实施例,真实属性冲突类别包括属性一致、属性不一致、属性无关。
根据一些实施例,如图3所示,训练方法还可以包括:步骤S302、基于知识图谱,构建属性一致的第一样本文本组,每一组样本文本包括所述第一样本文本和第二样本文本;步骤S303、基于所述第一样本文本组,构建属性不一致的第二样本文本组;以及步骤S304、基于所述第一样本文本组,构建属性无关的第三样本文本组。图3中的步骤S301、步骤S305-步骤S307与图2中的步骤S201-步骤S204类似。由此,通过构建属性一致、属性不一致和属性无关的三组样本文本组,能够使得训练样本集中的训练样本更均衡,从而使得每个属性冲突类别都能得到充分训练,进而提升模型的准确率、召回率。
根据一些实施例,可以根据现有的要素词表自动构建数据集,从而提取第一样本文本、第二样本文本中的目标要素及其属性,并检查二者针对目标要素的同一属性的属性内容是否一致,进而构建属性一致和属性不一致的样本。在此基础上,可以使用知识图谱中已有的目标要素的同一属性的不同属性内容之间的关系,将属性内容名称不一致但本质一致的样本作为属性一致的样本。示例性的,“肚脐下三指”和“下腹部”虽然名称不一致,但本质上指同一部位,因此此两者一致。
根据一些实施例,可以通过修改所述第二样本文本的属性内容来构建属性不一致的第二样本文本组,所述第二样本文本的修改后的属性内容和所述第一样本文本的属性内容的属性类别相同。例如可以由专家辅助进行范围圈定,得到多个冲突对,再将第二样本文本中的相应属性的属性内容修改为冲突对中另外的属性内容,以得到属性不一致的第二样本文本组。示例性的,医疗病例文本中,疾病部位的冲突对例如可以包括“上下”、“左右”、“前后”和“胸腹”等等。例如第一样本文本为“左鼓室成型术后伴反复流脓一月”,第二样本文本为“患者因‘左化脓性中耳炎’于2013年3月5日在我科行‘左上鼓室开放+鼓室成形术’”,则可以将第二样本文本中的“左”修改为“右”,得到“患者因‘左化脓性中耳炎’于2013年3月5日在我科行‘右上鼓室开放+鼓室成形术’”,从而构建了属性不一致的第二样本文本组,但修改后的属性内容“右”和第一样本文本的属性内容“左”的属性类别均为部位。
根据一些实施例,可以通过修改所述第二样本文本的属性内容来构建属性无关的第三样本文本组,所述第二样本文本的修改后的属性内容和所述第一样本文本的属性内容的属性类别不同。示例性的,例如可以将第二样本文本的属性内容修改为其他属性类别的属性内容,或者删去该属性内容,从而构建了属性无关的第三样本文本组、
根据一些实施例,利用所述第一样本文本和第二样本文本对自然语言处理预训练模型进行微调,得到用于确定要素属性冲突的神经网络模型。由此,通过使用自然语言处理预训练模型,可以大幅提升神经网络模型处理文本、理解语义并判断两个文本之间是否存在针对目标要素的属性冲突,而使用微调方法使得神经网络模型可以更有针对性地处理当前应用场景下的自然语言文本。
根据一些实施例,自然语言处理预训练模型可以选择以下模型中任意一个:ERNIE、ERNIE-Health、BERT、GPT和Transformer。自然语言处理模型也可以选择这些模型的改进、演化版本,例如ERNIE 2.0、RoBERTa、GPT-2、GPT-3等等,还可以使用其他的预训练模型,在此不做限定。
根据本公开的另一方法,提供了一种文本中要素属性冲突确定装置。如图4所示,文本中要素属性冲突确定装置400包括:获取单元401,被配置用于获取相关的第一文本和第二文本,所述第一文本和所述第二文本均包括目标要素和针对所述目标要素的同一属性的相关描述;提取单元402,被配置用于提取所述第二文本所包括的一个或多个子文本;神经网络403,被配置用于基于所述第一文本和所述一个或多个子文本中的至少一部分子文本,输出所述第一文本和所述至少一部分子文本中的每一个相应的预测结果,所述预测结果能够表征所述第一文本和相应的子文本之间是否存在针对所述目标要素的属性冲突;以及确定单元404,被配置用于基于所述至少一部分子文本相应的至少一个预测结果,确定所述第一文本和第二文本之间是否存在要素属性冲突。
文本中要素属性冲突确定装置400的单元401-单元404的操作分别与前面描述的步骤S101-步骤S104的操作类似,在此不做赘述。
根据本公开的另一方法,提供了一种神经网络模型训练装置。如图5所示,神经网络模型训练装置500包括:标注单元501,被配置用于获取均包括目标要素的第一样本文本和第二样本文本,并标注所述第一样本文本和所述第二样本文本之间的与所述目标要素相关的真实属性冲突类别,获取单元502,被配置用于将所述第一样本文本和第二样本文本输入神经网络模型,获取所述神经网络模型输出的预测属性冲突类别;计算单元503,被配置用于基于真实属性冲突类别和预测属性冲突类别,计算损失值;以及调参单元504,被配置用于基于所述损失值调整所述神经网络模型的参数。
神经网络模型训练装置500的单元501-单元504的操作分别与前面描述的步骤S201-步骤S204的操作类似,在此不做赘述。
根据本公开的实施例,还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
参考图6,现将描述可以作为本公开的服务器或客户端的电子设备600的结构框图,其是可以应用于本公开的各方面的硬件设备的示例。电子设备旨在表示各种形式的数字电子的计算机设备,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图6所示,设备600包括计算单元601,其可以根据存储在只读存储器(ROM)602中的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序,来执行各种适当的动作和处理。在RAM 603中,还可存储设备600操作所需的各种程序和数据。计算单元601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
设备600中的多个部件连接至I/O接口605,包括:输入单元606、输出单元607、存储单元608以及通信单元609。输入单元606可以是能向设备600输入信息的任何类型的设备,输入单元606可以接收输入的数字或字符信息,以及产生与电子设备的用户设置和/或功能控制有关的键信号输入,并且可以包括但不限于鼠标、键盘、触摸屏、轨迹板、轨迹球、操作杆、麦克风和/或遥控器。输出单元607可以是能呈现信息的任何类型的设备,并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。存储单元608可以包括但不限于磁盘、光盘。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据,并且可以包括但不限于调制解调器、网卡、红外通信设备、无线通信收发机和/或芯片组,例如蓝牙TM设备、1302.11设备、WiFi设备、WiMax设备、蜂窝通信设备和/或类似物。
计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理,例如确定文本中要素属性冲突的方法或神经网络模型的训练方法。例如,在一些实施例中,确定文本中要素属性冲突的方法或神经网络模型的训练方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元608。在一些实施例中,计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到RAM 603并由计算单元601执行时,可以执行上文描述的确定文本中要素属性冲突的方法神经网络模型的训练方法的一个或多个步骤。备选地,在其他实施例中,计算单元601可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行确定文本中要素属性冲突的方法或神经网络模型的训练方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本公开中记载的各步骤可以并行地执行、也可以顺序地或以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
虽然已经参照附图描述了本公开的实施例或示例,但应理解,上述的方法、系统和设备仅仅是示例性的实施例或示例,本发明的范围并不由这些实施例或示例限制,而是仅由授权后的权利要求书及其等同范围来限定。实施例或示例中的各种要素可以被省略或者可由其等同要素替代。此外,可以通过不同于本公开中描述的次序来执行各步骤。进一步地,可以以各种方式组合实施例或示例中的各种要素。重要的是随着技术的演进,在此描述的很多要素可以由本公开之后出现的等同要素进行替换。
Claims (17)
1.一种用于确定文本中要素属性冲突的神经网络模型的训练方法,包括:
基于知识图谱,构建属性一致的第一样本文本组,每一组样本文本包括第一样本文本和第二样本文本,所述第一样本文本和第二样本文本均包括目标要素;
基于所述第一样本文本组,构建属性不一致的第二样本文本组;
基于所述第一样本文本组,构建属性无关的第三样本文本组;
获取第一样本文本和第二样本文本,并标注所述第一样本文本和所述第二样本文本之间的与所述目标要素相关的真实属性冲突类别,
将所述第一样本文本和第二样本文本输入自然语言处理预训练模型,获取所述自然语言处理预训练模型输出的预测属性冲突类别;
基于真实属性冲突类别和预测属性冲突类别,计算损失值;以及
基于所述损失值对所述自然语言处理预训练模型进行微调,得到用于确定要素属性冲突的神经网络模型。
2.如权利要求1所述的训练方法,其中,所述真实属性冲突类别包括属性一致、属性不一致、属性无关。
3.如权利要求1所述的训练方法,其中,通过修改所述第二样本文本的属性内容来构建属性不一致的第二样本文本组,所述第二样本文本的修改后的属性内容和所述第一样本文本的属性内容的属性类别相同。
4.如权利要求1所述的训练方法,其中,通过修改所述第二样本文本的属性内容来构建属性无关的第三样本文本组,所述第二样本文本的修改后的属性内容和所述第一样本文本的属性内容的属性类别不同。
5.如权利要求4所述的训练方法,其中,自然语言处理预训练模型选择文心模型(ERNIE)或文心—健康模型(ERNIE-Health)。
6.如权利要求1-5中任一项所述的方法,其中,所述第一样本文本和第二样本文本均为医疗病例文本,
其中,所述第一样本文本为主诉,所述第二样本文本为与所述主诉对应的现病史,
其中,所述医疗病例文本所包括的的要素包括以下中的任意一个:
疾病、症状、检查项目、检查结果、手术和药物,
其中,所述要素的属性包括以下中的任意一个:
部位、时间、严重程度和等级。
7.一种利用神经网络模型确定文本中要素属性冲突的方法,包括:
获取相关的第一文本和第二文本,所述第一文本和所述第二文本均包括目标要素和针对所述目标要素的同一属性的相关描述;
提取所述第二文本所包括的一个或多个子文本;
将所述第一文本和所述一个或多个子文本中的至少一部分子文本输入神经网络模型,获取所述神经网络模型输出的所述第一文本和所述至少一部分子文本中的每一个相应的预测结果,所述神经网络模型是利用权利要求1-6中任一项所述的方法训练得到的,所述预测结果能够表征所述第一文本和相应的子文本之间是否存在针对所述目标要素的属性冲突;以及
基于所述至少一部分子文本相应的至少一个预测结果,确定所述第一文本和所述第二文本之间是否存在要素属性冲突。
8.如权利要求7所述的方法,其中,所述预测结果包括属性一致、属性不一致、属性无关。
9.如权利要求8所述的方法,其中,确定所述第一文本和所述第二文本之间是否存在要素属性冲突:
响应于确定所述至少一部分子文本中的至少其中一个子文本相应的预测结果为属性不一致,确定所述第一文本和所述第二文本之间存在要素属性冲突。
10.如权利要求8所述的方法,其中,确定所述第一文本和所述第二文本之间是否存在要素属性冲突:
响应于确定所述至少一部分子文本中的每一个子文本相应的预测结果均为属性一致,确定所述第一文本和所述第二文本之间不存在要素属性冲突。
11.如权利要求8所述的方法,其中,确定所述第一文本和所述第二文本之间是否存在要素属性冲突:
针对所述至少一部分子文本,响应于确定中的至少其中一个子文本相应的预测结果为属性一致,剩余的子文本相应的预测结果为属性无关,确定所述第一文本和所述第二文本之间不存在要素属性冲突。
12.如权利要求7所述的方法,其中,以句子为单位将所述第二文本切割为所述一个或多个子文本。
13.如权利要求7-12中任一项所述的方法,其中,所述第一文本和所述第二文本均为医疗病例文本,
其中,所述第一文本为主诉,所述第二文本为与所述主诉对应的现病史,
其中,所述医疗病例文本所包括的要素包括以下中的任意一个:
疾病、症状、检查项目、检查结果、手术和药物,
其中,所述要素的属性包括以下中的任意一个:
部位、时间、严重程度和等级。
14.一种神经网络模型训练装置,包括:
第一构建单元,被配置用于基于知识图谱,构建属性一致的第一样本文本组,每一组样本文本包括第一样本文本和第二样本文本,所述第一样本文本和第二样本文本均包括目标要素;
第二构建单元,被配置用于基于所述第一样本文本组,构建属性不一致的第二样本文本组;
第三构建单元,被配置用于基于所述第一样本文本组,构建属性无关的第三样本文本组;
标注单元,被配置用于获取第一样本文本和第二样本文本,并标注所述第一样本文本和所述第二样本文本之间的与所述目标要素相关的真实属性冲突类别,
获取单元,被配置用于将所述第一样本文本和第二样本文本输入自然语言处理预训练模型,获取所述自然语言处理预训练模型输出的预测属性冲突类别;
计算单元,被配置用于基于真实属性冲突类别和预测属性冲突类别,计算损失值;以及
调参单元,被配置用于基于所述损失值对所述自然语言处理预训练模型进行微调,得到用于确定要素属性冲突的神经网络模型。
15.一种文本中要素属性冲突确定装置,包括:
获取单元,被配置用于获取相关的第一文本和第二文本,所述第一文本和所述第二文本均包括目标要素和针对所述目标要素的同一属性的相关描述;
提取单元,被配置用于提取所述第二文本所包括的一个或多个子文本;
神经网络,被配置用于基于所述第一文本和所述一个或多个子文本中的至少一部分子文本,输出所述第一文本和所述至少一部分子文本中的每一个相应的预测结果,所述神经网络模型是利用权利要求14所述的装置训练得到的,所述预测结果能够表征所述第一文本和相应的子文本之间是否存在针对所述目标要素的属性冲突;以及
确定单元,被配置用于基于所述至少一部分子文本相应的至少一个预测结果,确定所述第一文本和第二文本之间是否存在要素属性冲突。
16.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-13中任一项所述的方法。
17.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1-13中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011487640.1A CN112560434B (zh) | 2020-12-16 | 2020-12-16 | 确定文本中要素属性冲突的方法、装置、设备和介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011487640.1A CN112560434B (zh) | 2020-12-16 | 2020-12-16 | 确定文本中要素属性冲突的方法、装置、设备和介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112560434A CN112560434A (zh) | 2021-03-26 |
CN112560434B true CN112560434B (zh) | 2024-05-28 |
Family
ID=75064863
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011487640.1A Active CN112560434B (zh) | 2020-12-16 | 2020-12-16 | 确定文本中要素属性冲突的方法、装置、设备和介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112560434B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019159007A1 (en) * | 2018-02-18 | 2019-08-22 | Cardio Holding Bv | A system and method for documenting a patient medical history |
WO2019174422A1 (zh) * | 2018-03-16 | 2019-09-19 | 北京国双科技有限公司 | 实体关联关系的分析方法及相关装置 |
CN111651994A (zh) * | 2020-06-03 | 2020-09-11 | 浙江同花顺智能科技有限公司 | 一种信息抽取方法、装置、电子设备和存储介质 |
CN111666500A (zh) * | 2020-06-08 | 2020-09-15 | 腾讯科技(深圳)有限公司 | 文本分类模型的训练方法及相关设备 |
WO2020211275A1 (zh) * | 2019-04-18 | 2020-10-22 | 五邑大学 | 基于预训练模型与微调技术的医疗文本关系抽取方法 |
-
2020
- 2020-12-16 CN CN202011487640.1A patent/CN112560434B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019159007A1 (en) * | 2018-02-18 | 2019-08-22 | Cardio Holding Bv | A system and method for documenting a patient medical history |
WO2019174422A1 (zh) * | 2018-03-16 | 2019-09-19 | 北京国双科技有限公司 | 实体关联关系的分析方法及相关装置 |
WO2020211275A1 (zh) * | 2019-04-18 | 2020-10-22 | 五邑大学 | 基于预训练模型与微调技术的医疗文本关系抽取方法 |
CN111651994A (zh) * | 2020-06-03 | 2020-09-11 | 浙江同花顺智能科技有限公司 | 一种信息抽取方法、装置、电子设备和存储介质 |
CN111666500A (zh) * | 2020-06-08 | 2020-09-15 | 腾讯科技(深圳)有限公司 | 文本分类模型的训练方法及相关设备 |
Non-Patent Citations (2)
Title |
---|
基于属性关系深度挖掘的试题知识点标注模型;何彬;李心宇;陈蓓蕾;夏盟;曾致中;;南京信息工程大学学报(自然科学版)(06);全文 * |
神经网络在非结构化电子病历数据抽取中的应用;冯迟;聂海鑫;;中国病案(06);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN112560434A (zh) | 2021-03-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Dharwadkar et al. | A medical chatbot | |
US10431337B2 (en) | System and method for weighting manageable patient attributes during criteria evaluations for treatment | |
CN112562807B (zh) | 医疗数据分析方法、装置、设备、存储介质和程序产品 | |
CN116521841B (zh) | 用于生成回复信息的方法、装置、设备及介质 | |
CN113656587B (zh) | 文本分类方法、装置、电子设备及存储介质 | |
CN112818227B (zh) | 内容推荐方法、装置、电子设备及存储介质 | |
CN116541536B (zh) | 知识增强的内容生成系统、数据生成方法、设备和介质 | |
CN116401339B (zh) | 数据处理方法、装置、电子设备、介质以及程序产品 | |
CN114547252A (zh) | 文本识别方法、装置、电子设备和介质 | |
CN116450917B (zh) | 信息搜索方法及装置、电子设备和介质 | |
CN117573946A (zh) | 对话样本生成方法、聊天对话大模型训练方法及相关装置 | |
CN117438106A (zh) | 辅助问诊方法、装置、设备以及存储介质 | |
CN112560434B (zh) | 确定文本中要素属性冲突的方法、装置、设备和介质 | |
CN114579626B (zh) | 数据处理方法、数据处理装置、电子设备和介质 | |
CN112905743B (zh) | 文本对象检测的方法、装置、电子设备和存储介质 | |
CN113312511B (zh) | 用于推荐内容的方法、装置、设备和计算机可读存储介质 | |
CN114490986B (zh) | 计算机实施的数据挖掘方法、装置、电子设备及存储介质 | |
CN112906387B (zh) | 风险内容识别方法、装置、设备、介质和计算机程序产品 | |
CN115719066A (zh) | 基于人工智能的搜索文本理解方法、装置、设备和介质 | |
JP6849255B1 (ja) | 認知症兆候判別プログラム | |
JP2022106064A (ja) | 認知症兆候判別プログラム | |
CN114861658B (zh) | 地址信息解析方法及装置、设备和介质 | |
CN115879468B (zh) | 基于自然语言理解的文本要素提取方法、装置和设备 | |
CN115713071B (zh) | 用于处理文本的神经网络的训练方法和处理文本的方法 | |
Smitha et al. | VOICE RECOGNITION BASED MEDI ASSISTANT |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |