信息质量评估方法、装置、设备及计算机可读存储介质
技术领域
本发明涉及信息检索与文本信息处理领域,尤其涉及一种信息质量评估方法、装置、设备及计算机可读存储介质。
背景技术
从非结构化文本中抽取信息,即信息抽取,是文本信息处理领域的基础任务之一,具体地,抽取的信息可以包括实体属性、实体关系以及时间等。此外,信息抽取还是很多自然语言处理高级任务的前提,其中,高级任务包括智能问答,机器写作,文本阅读理解等。从文本中提取出含有所需信息的语句,是信息抽取的前提工作。在很多场景中,从文本中直接抽取信息,存在准确率低、训练成本高、容错率低等缺点。因此,如何提高信息抽取的准确性成为亟待解决的问题。
为了提高信息抽取的准确性,现有技术中提出一种信息抽取方法,具体地,可以从文本中先找出含有所需信息的语句,然后运用规则或者人工方法抽取信息,是信息抽取的一种折衷手段。
但是,上述方法虽然能够实现信息的快速抽取时,但是往往存在以下问题:1、识别的信息语句,可能包含不明确的信息,包括以下几种情况:信息是不确定的、不详尽的、或者语句中的代词指代不明。例如:“李白可能出生于四川。”,所述的信息是不确定的;“李白在幼年曾多次随父迁徙。”,迁徙的时间、地点等信息未说明,因此所述的信息是不详尽的;“该人在当天参加了组织会议。”,其中的“该人”和“当天”等代词的指代信息不确定。2、识别的信息语句,可能包含无价值的信息。例如:“士兵王晓在5月30日的战斗中逃跑了。”,该事件的主体“士兵王晓”可能不是我们关心的实体。因此,抽取到的信息质量参差不齐,且部分信息为无用信息。
发明内容
本发明提供一种信息质量评估方法、装置、设备及计算机可读存储介质,用于解决现有的信息抽取方法造成的信息抽取质量较低的技术问题。
本发明的第一个方面是提供一种信息质量评估方法,包括:
确定待评估语句;
通过预设的神经网络模型对所述待评估语句的明确度进行判别,获得判别后的待评估语句;
对所述判别后的待评估语句的语句价值进行评估,获得评估结果;
根据所述评估结果对所述待评估语句进行信息抽取。
本发明的另一个方面是提供一种信息质量评估装置,包括:
待评估语句确定模块,用于确定待评估语句;
判别模块,用于通过预设的神经网络模型对所述待评估语句的明确度进行判别,获得判别后的待评估语句;
评估模块,用于对所述判别后的待评估语句的语句价值进行评估,获得评估结果;
抽取模块,用于根据所述评估结果对所述待评估语句进行信息抽取。
本发明的又一个方面是提供一种信息质量评估设备,包括:存储器,处理器;
存储器;用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为由所述处理器执行如上述的信息质量评估方法。
本发明的又一个方面是提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如上述的信息质量评估方法。
本发明提供的信息质量评估方法、装置、设备及计算机可读存储介质,通过确定待评估语句;通过预设的神经网络模型对所述待评估语句的明确度进行判别,获得判别后的待评估语句;对所述判别后的待评估语句的语句价值进行评估,获得评估结果;根据所述评估结果对所述待评估语句进行信息抽取。从而能够提高抽取到的待评估语句的信息质量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的附图。
图1为本发明实施例一提供的信息质量评估方法的流程示意图;
图2为本发明实施例二提供的信息质量评估方法的流程示意图;
图3为本发明实施例三提供的信息质量评估方法的流程示意图;
图4为本发明实施例四提供的信息质量评估装置的结构示意图;
图5为本发明实施例五提供的信息质量评估装置的结构示意图;
图6为本发明实施例六提供的信息质量评估装置的结构示意图;
图7为本发明实施例七提供的信息质量评估设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明实施例一提供的信息质量评估方法的流程示意图,如图1所示,所述方法包括:
步骤101、确定待评估语句。
在本实施方式中,由于待评估文本中往往包括很多备注、引用等,因此,一段待评估文本中的内容不完全是需要评估的语句,为了提高语句质量评估的效率,首先,可以从待评估文本中确定当前的待评估语句。
步骤102、通过预设的神经网络模型对所述待评估语句的明确度进行判别,获得判别后的待评估语句。
在本实施方式中,由于部分语句中包括可能、大概、未必等含义不明确的词语,因此,包含上述词语的语句的含义也不够明确,若抽取出来的语句包括上述词语,则该语句质量较低。因此,为了进一步地提高待评估语句的信息质量,可以首先对待评估语句的明确度进行判别。具体地,确定了待评估文本中的待评估语句之后,可以将待评估语句添加至预设的神经网络模型中,通过该神经网络模型对该待评估语句的明确度进行判别,获得含义明确的待评估语句或含义不明确的待评估语句,即判别后的待评估语句。
步骤103、对所述判别后的待评估语句的语句价值进行评估,获得评估结果。
在本实施方式中,通过预设的神经网络模型对待评估语句的明确度进行判别之后,可以对判别后的待评估语句的语句价值进行进一步地分析。举例来说,“李白在幼年曾多次随父迁徙。”,迁徙的时间、地点等信息未说明,因此所述的信息是不详尽的;“该人在当天参加了组织会议。”,其中的“该人”和“当天”等代词的指代信息不确定。识别的信息语句,可能包含无价值的信息;“士兵王晓在5月30日的战斗中逃跑了。”,该事件的主体“士兵王晓”可能不是我们关心的实体。因此,若待评估语句中包含实体或者事件类词语不够清晰的话,那么待评估语句的语句价值也较低。因此,为了进一步地提高待评估语句的语句质量,可以对判别后的待评估语句的语句价值进行进一步地分析,获得具有明确的而且有价值的待评估语句或具有明确的但是无价值的待评估语句或具有不明确的但是有价值的待评估语句或具有不明确的而且无价值的待评估语句,即评估结果。
步骤104、根据所述评估结果对所述待评估语句进行信息抽取。
在本实施方式中,获取到待评估语句的评估结果之后,可以根据评估结果抽取质量较高的待评估语句,例如,抽取获得具有明确的而且有价值的待评估语句,从而能够保证抽到的信息均为有效信息。
作为一种可以实施的方式,一方面可以在对待评估语句评估完毕,获得评估结果之后进行信息抽取,另一方面,也可以首先对待评估文本进行去噪、分词等处理,获得处理后的待评估文本,对处理后的待评估文本进行信息抽取,获得多个抽取后的待评估语句。对抽取后的待评估语句进行质量评估,并根据评估结果选择质量较高的待评估语句进行保留。可以根据具体情况选择信息抽取的方式,本发明在此不做限制。
本实施例提供的信息质量评估方法,通过确定待评估语句;通过预设的神经网络模型对所述待评估语句的明确度进行判别,获得判别后的待评估语句;对所述判别后的待评估语句的语句价值进行评估,获得评估结果;根据所述评估结果对所述待评估语句进行信息抽取。从而能够提高抽取到的待评估语句的信息质量。
进一步地,在上述实施例的基础上,所述方法包括:
确定待评估语句;
通过预设的已对语句明确度进行标注后的待训练文本对预设的待训练模型进行训练,获得所述预设的神经网络模型;
通过预设的神经网络模型对所述待评估语句的明确度进行判别,获得判别后的待评估语句;
对所述判别后的待评估语句的语句价值进行评估,获得评估结果;
根据所述评估结果对所述待评估语句进行信息抽取。
在本实施例中,在待评估文本中确定待评估语句之后,首先需要建立用于对待评估语句进行明确度判别的神经网络模型。具体地,可以通过预设的已经对语句明确度进行标注的大量待训练文本对预设的待训练模型进行训练,将已经对语句明确度进行标注的大量待训练文本随机分为测试集与训练集,根据训练结果不断调整待训练模型的参数,最后获得预设的神经网络模型。将待评估语句添加至预设的神经网络模型中,通过该神经网络模型对该待评估语句的明确度进行判别,获得含义明确的待评估语句或含义不明确的待评估语句,即判别后的待评估语句。对判别后的待评估语句的语句价值进行进一步地分析,获得具有明确的而且有价值的待评估语句或具有明确的但是无价值的待评估语句或具有不明确的但是有价值的待评估语句或具有不明确的而且无价值的待评估语句,即评估结果,并根据评估结果抽取质量较高的待评估语句。
本实施例提供的信息质量评估方法,通过预先根据预设的已对语句明确度进行标注后的待训练文本对预设的待训练模型进行训练,获得所述预设的神经网络模型,从而能够为后续待评估语句的评估提供基础,进而为提高抽取到的待评估语句的信息质量提供了基础。
进一步地,在上述任一实施例的基础上,所述方法包括:
接收待评估文本;
去除所述待评估文本中除正文部分以外的全部文本;
将所述待评估文本中的正文部分按照文本中的标点符号进行分割,获得所述待评估语句;
通过预设的神经网络模型对所述待评估语句的明确度进行判别,获得判别后的待评估语句;
对所述判别后的待评估语句的语句价值进行评估,获得评估结果;
根据所述评估结果对所述待评估语句进行信息抽取。
在本实施例中,由于待评估文本中往往包括很多备注、引用等,因此,一段待评估文本中的内容不完全是需要评估的语句,而对包括非必要信息的待评估文本进行分析往往较为耗费时间,为了提高语句质量评估的效率,首先,可以从待评估文本中确定当前的待评估语句。具体地,首先接收待评估文本,对待评估文本进行去噪处理,即去除待评估文本中除正文以外的全部标题、备注、引用等信息。由于对全部的正文部分进行评估耗费时间较长,因此,为了进一步地提高对待评估语句的评估效率,在对该待评估文本进行去噪处理之后,还可以对处理后的待评估文本进行分词处理,即针对正文部分,按照正文中的标点符号对正文部分进行分句,具体地,可以以句号、感叹号、分号等标点符号作为句子的结束符进行分句。
本实施例提供的信息质量评估方法,通过对待评估文本进行去噪与分词处理,从而能够提高待评估语句的评估效率,进而能够为提高抽取到的待评估语句的信息质量提供了基础。
图2为本发明实施例二提供的信息质量评估方法的流程示意图,在上述任一实施例的基础上,如图2所示,所述方法包括:
步骤201、确定待评估语句;
步骤202、获取待处理文本,所述待处理文本中包含多个待处理语句;
步骤203、根据预设的不确定语义词库判断每一所述待处理语句中是否包括不确定语义词,根据判断结果对所述待处理语句的明确度进行标注,获得已对语句明确度进行标注后的待训练文本;和/或,
步骤204、针对每一待处理语句,判断所述待处理语句中的实体信息的含义是否明确,根据判断结果对所述待处理语句的明确度进行标注,获得已对语句明确度进行标注后的待训练文本;和/或,
步骤205、针对每一待处理语句,通过语义分析技术判断所述待处理语句前后预设个数的待处理语句中是否包含所述待处理语句中指代词对应的指代对象,根据判断结果对所述待处理语句的明确度进行标注,获得已对语句明确度进行标注后的待训练文本;
步骤206、通过预设的已对语句明确度进行标注后的待训练文本对预设的待训练模型进行训练,获得所述预设的神经网络模型;
步骤207、通过预设的神经网络模型对所述待评估语句的明确度进行判别,获得判别后的待评估语句;
步骤208、对所述判别后的待评估语句的语句价值进行评估,获得评估结果;
步骤209、根据所述评估结果对所述待评估语句进行信息抽取。
在本实施例中,在待评估文本中确定待评估语句之后,首先需要建立用于对待评估语句进行明确度判别的神经网络模型。具体地,可以通过预设的已经对语句明确度进行标注的大量待训练文本对预设的待训练模型进行训练,将已经对语句明确度进行标注的大量待训练文本随机分为测试集与训练集,根据训练结果不断调整待训练模型的参数,最后获得预设的神经网络模型。因此,在对待训练模型进行训练之前,首先应该获得已经对语句明确度进行标注的大量待训练文本。
具体地,可以接收待训练文本,其中,待训练文本中包括多个待训练语句。可以理解的是,若待评估语句中包含可能、大概、也许等不确定语义的词语,则该待评估语句的明确度不高,因此,可以根据预先建立的不确定语义词库与语义评估技术判断当前每一待训练语句中是否包含不确定语义词语,并根据判断结果对待训练语句的明确度进行标注。具体地,若待训练语句中包含不确定语义词语,则将该待训练语句标注为不明确的待训练语句,若不包括,则将该语句标注为明确的待训练语句,获得已对语句明确度进行标注后的待训练文本。需要说明的是,该预设的不确定语义词库可以采用任意一种词库建立方式进行建立,本发明在此不做限制。
作为一种可以实施的方式,可以理解的是,若一个待评估语句中的实体含义不清楚,则可以确定该待评估语句明确度不高。其中,实体可以为待评估语句中的时间、地点、任务等信息。举例来说,“李白在幼年曾多次随父迁徙。”,迁徙的时间、地点等信息未说明,因此所述的信息是不明确的。因此,针对每一待训练语句,确定该待训练语句中的实体信息,并判断该实体信息是否含义清楚,并根据判断判断结果对待训练语句的明确度进行标注。具体地,若待训练语句中实体含义不清楚,则将该待训练语句标注为不明确的待训练语句,若待训练语句中实体含义清楚,则将该语句标注为明确的待训练语句,获得已对语句明确度进行标注后的待训练文本。
作为一种可以实施的方式,可以理解的是,若一个待评估语句中包括指代词,如某人、某个时间等指代词,则可以确定该待评估语句明确度不高。举例来说,“该人在当天参加了组织会议。”,其中的“该人”和“当天”等代词的指代信息不确定。因此,针对每一待训练语句,可以通过语义分析技术判断该待训练语句前后预设个数的待训练语句中是否包含该指代词对应的指代对象,并根据判断结果对待训练语句的明确度进行标注。具体地,若待训练语句上下文中不包括指代词对应的指代对象,则将该待训练语句标注为不明确的待训练语句,若待训练语句上下文中包括指代词对应的指代对象,则将该语句标注为明确的待训练语句,获得已对语句明确度进行标注后的待训练文本。
需要说明的是,上述三个实施例可以如上述实施例中所述分别执行,也可以结合实施。具体地,结合实施过程中,可以根据待训练语句中是否包含不确定语义词、待训练语句中的实体信息是否明确以及待训练语句的上下文中是否包括指代词的指代对象三个部分来对待训练语句的明确度进行标注。
将标注后的待训练语句添加至待训练模型中对待训练模型训练,获得训练后的神经网络模型,通过该神经网络模型对该待评估语句的明确度进行判别,获得含义明确的待评估语句或含义不明确的待评估语句,即判别后的待评估语句。对判别后的待评估语句的语句价值进行进一步地分析,获得具有明确的而且有价值的待评估语句或具有明确的但是无价值的待评估语句或具有不明确的但是有价值的待评估语句或具有不明确的而且无价值的待评估语句,即评估结果,并根据评估结果抽取质量较高的待评估语句。
本实施例提供的信息质量评估方法,通过多种方式对待训练文本的明确度进行标注,并根据标注后的待训练文本实现对待训练模型的训练,从而能够提高对待评估语句明确度的判别能力,进而能够为提高抽取到的待评估语句的信息质量提供了基础。
图3为本发明实施例三提供的信息质量评估方法的流程示意图,在上述任一实施例的基础上,如图3所示,所述方法包括:
步骤301、确定待评估语句;
步骤302、通过预设的神经网络模型对所述待评估语句的明确度进行判别,获得判别后的待评估语句;
步骤303、根据关键词提取技术与命名实体识别技术确定所述待评估语句所属待评估文本中的关键实体;
步骤304、根据关键词提取技术与远监督方法确定所述待评估语句所属待评估文本中的事件类词语;
步骤305、针对每一所述待评估语句,通过语法分析技术,确定所述待评估语句中的主语与谓语,确定所述主语是否为所述关键实体,确定所述谓语是否为所述事件类词语;
步骤306、若是,则判定所述待评估语句的语句价值较高,获得所述评估结果;
步骤307、根据所述评估结果对所述待评估语句进行信息抽取。
在本实施例中,确定待评估语句,通过该神经网络模型对该待评估语句的明确度进行判别,获得含义明确的待评估语句或含义不明确的待评估语句,即判别后的待评估语句。对判别后的待评估语句的语句价值进行进一步地分析。具体地,首先可以根据关键词提取技术与命名实体识别技术确定待评估语句所属的待评估文本中的关键实体,其中,关键实体为待评估文本中较为重要的主体,举例来说,若待评估文本为讲述拿破仑生平的文本,则关键实体可以为拿破仑、法国、厄尔巴岛等。并根据关键词提取技术与远监督方法确定待评估语句所属待评估文本中的事件类词语,举例来说,出生事件的相关词语是生于、诞生等。确定关键实体与事件类词语之后,针对每一个待评估语句,根据句法分析技术,确定待评估语句中的主语和谓语,判断该主语是否为关键主题,并且判断该谓语是否为事件类词语,若是,则判定该待评估语句价值较高,获得评估结果,并根据评估结果进行信息抽取。
本实施例提供的信息质量评估方法,通过确定关键实体与事件类词语,并判断待评估语句中的主语是否为关键实体,谓语是否为事件类词语,从而能够对待评估语句的语句价值进行判断,进而能够确定待评估语句的质量。
图4为本发明实施例四提供的信息质量评估装置的结构示意图,如图4所示,所述装置包括:
待评估语句确定模块41,用于确定待评估语句。
判别模块42,用于通过预设的神经网络模型对所述待评估语句的明确度进行判别,获得判别后的待评估语句。
评估模块43,用于对所述判别后的待评估语句的语句价值进行评估,获得评估结果。
抽取模块44,用于根据所述评估结果对所述待评估语句进行信息抽取。
本实施例提供的信息质量评估装置,通过确定待评估语句;通过预设的神经网络模型对所述待评估语句的明确度进行判别,获得判别后的待评估语句;对所述判别后的待评估语句的语句价值进行评估,获得评估结果;根据所述评估结果对所述待评估语句进行信息抽取。从而能够提高抽取到的待评估语句的信息质量。
进一步地,在上述实施例的基础上,所述装置包括:
待评估语句确定模块,用于确定待评估语句;
训练模块,用于通过预设的已对语句明确度进行标注后的待训练文本对预设的待训练模型进行训练,获得所述预设的神经网络模型;
判别模块,用于通过预设的神经网络模型对所述待评估语句的明确度进行判别,获得判别后的待评估语句;
评估模块,用于对所述判别后的待评估语句的语句价值进行评估,获得评估结果;
抽取模块,用于根据所述评估结果对所述待评估语句进行信息抽取。
本实施例提供的信息质量评估装置,通过预先根据预设的已对语句明确度进行标注后的待训练文本对预设的待训练模型进行训练,获得所述预设的神经网络模型,从而能够为后续待评估语句的评估提供基础,进而为提高抽取到的待评估语句的信息质量提供了基础。
进一步地,在上述任一实施例的基础上,所述装置包括:
待评估语句确定模块具体包括:
待评估文本接收单元,用于接收待评估文本;
去除单元,用于去除所述待评估文本中除正文部分以外的全部文本;
分割模块,用于将所述待评估文本中的正文部分按照文本中的标点符号进行分割,获得所述待评估语句;
判别模块,用于通过预设的神经网络模型对所述待评估语句的明确度进行判别,获得判别后的待评估语句;
评估模块,用于对所述判别后的待评估语句的语句价值进行评估,获得评估结果;
抽取模块,用于根据所述评估结果对所述待评估语句进行信息抽取。
本实施例提供的信息质量评估装置,通过对待评估文本进行去噪与分词处理,从而能够提高待评估语句的评估效率,进而能够为提高抽取到的待评估语句的信息质量提供了基础。
图5为本发明实施例五提供的信息质量评估装置的结构示意图,在上述任一实施例的基础上,如图5所示,所述装置包括:
待评估语句确定模块51,用于确定待评估语句;
待处理文本获取模块52,用于获取待处理文本,所述待处理文本中包含多个待处理语句;
第一标注模块53,用于根据预设的不确定语义词库判断每一所述待处理语句中是否包括不确定语义词,根据判断结果对所述待处理语句的明确度进行标注,获得已对语句明确度进行标注后的待训练文本;和/或,
第二标注模块54,用于针对每一待处理语句,判断所述待处理语句中的实体信息的含义是否明确,根据判断结果对所述待处理语句的明确度进行标注,获得已对语句明确度进行标注后的待训练文本;和/或,
第三标注模块55,用于针对每一待处理语句,通过语义分析技术判断所述待处理语句前后预设个数的待处理语句中是否包含所述待处理语句中指代词对应的指代对象,根据判断结果对所述待处理语句的明确度进行标注,获得已对语句明确度进行标注后的待训练文本;
训练模块56,用于通过预设的已对语句明确度进行标注后的待训练文本对预设的待训练模型进行训练,获得所述预设的神经网络模型;
判别模块57,用于通过预设的神经网络模型对所述待评估语句的明确度进行判别,获得判别后的待评估语句;
评估模块58,用于对所述判别后的待评估语句的语句价值进行评估,获得评估结果;
抽取模块59,用于根据所述评估结果对所述待评估语句进行信息抽取。
本实施例提供的信息质量评估装置,通过多种方式对待训练文本的明确度进行标注,并根据标注后的待训练文本实现对待训练模型的训练,从而能够提高对待评估语句明确度的判别能力,进而能够为提高抽取到的待评估语句的信息质量提供了基础。
图6为本发明实施例六提供的信息质量评估装置的结构示意图,在上述任一实施例的基础上,如图6所示,所述装置包括:
待评估语句确定模块61,用于确定待评估语句;
判别模块62,用于通过预设的神经网络模型对所述待评估语句的明确度进行判别,获得判别后的待评估语句;
评估模块63具体包括:
关键实体确定单元601,用于根据关键词提取技术与命名实体识别技术确定所述待评估语句所属待评估文本中的关键实体;
事件类词语确定单元602,用于根据关键词提取技术与远监督方法确定所述待评估语句所属待评估文本中的事件类词语;
确定单元603,用于针对每一所述待评估语句,通过语法分析技术,确定所述待评估语句中的主语与谓语,确定所述主语是否为所述关键实体,确定所述谓语是否为所述事件类词语;
判定单元604,用于若是,则判定所述待评估语句的语句价值较高,获得所述评估结果;
抽取模块64,用于根据所述评估结果对所述待评估语句进行信息抽取。
本实施例提供的信息质量评估装置,通过确定关键实体与事件类词语,并判断待评估语句中的主语是否为关键实体,谓语是否为事件类词语,从而能够对待评估语句的语句价值进行判断,进而能够确定待评估语句的质量。
图7为本发明实施例七提供的信息质量评估设备的结构示意图,如图7所示,所述设备包括:存储器71,处理器72;
存储器71;用于存储所述处理器72可执行指令的存储器71;
其中,所述处理器72被配置为由所述处理器72执行如上述的信息质量评估方法。
本发明又一实施例还提供一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如上述的信息质量评估方法。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。