CN107818082B - 结合短语结构树的语义角色识别方法 - Google Patents
结合短语结构树的语义角色识别方法 Download PDFInfo
- Publication number
- CN107818082B CN107818082B CN201710877035.7A CN201710877035A CN107818082B CN 107818082 B CN107818082 B CN 107818082B CN 201710877035 A CN201710877035 A CN 201710877035A CN 107818082 B CN107818082 B CN 107818082B
- Authority
- CN
- China
- Prior art keywords
- phrase
- sentence
- semantic
- semantic role
- tree
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000004458 analytical method Methods 0.000 claims abstract description 68
- 238000013138 pruning Methods 0.000 claims abstract description 32
- 238000003780 insertion Methods 0.000 claims abstract description 19
- 230000037431 insertion Effects 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 16
- 238000000605 extraction Methods 0.000 claims abstract description 10
- 238000012937 correction Methods 0.000 claims abstract description 8
- 238000012986 modification Methods 0.000 claims 1
- 230000004048 modification Effects 0.000 claims 1
- 238000002372 labelling Methods 0.000 abstract description 12
- 238000012360 testing method Methods 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000002996 emotional effect Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
- G06F40/295—Named entity recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Machine Translation (AREA)
Abstract
本发明涉及一种结合短语结构树的语义角色识别方法,包括:句子的剪枝:当系统输入一个句子时,对句子进行短语分析,将分析过后的结果通过插入语或并列结构进行剪枝,简化句子的复杂程度,缩短句子的长度;子句抽取处理:结合短语结构树对剪枝后句子中的子句进行抽取,将抽取出的子句和子句抽取之后剩下的部分分别进行语义角色分析,得到整句的语义角色,将语义角色的分析结果进行还原;边界修正:将还原过后的语义角色结合短语树对句子进行论元边界修正,最终输出句子的语义角色分析结果。本发明简化了句子的复杂程度、缩短了句子的长度,可以使相对比较复杂,且句子的长度较长的句子得到有效的处理,使语义角色的标注情况有所改善。
Description
技术领域
本发明涉及一种自然语言翻译技术,具体为一种结合短语结构树的语义角色识别方法。
背景技术
浅层语义分析是近年来自然语言处理领域研究热点之一,而语义角色标注是目前浅层语义分析所采用的主要形式,语义角色标注(Semantic Role Labeling,简称SRL)主要任务是分析句子的“谓词-论元”结构,给定一个句子,找出句子中谓词的相应语义角色成分,包括核心语义角色(如施事、受事等)和附属语义角色(如地点、时间、方式、原因等)。SRL标注的语义角色对回答5W问题(who、what、when、where、why)提供了强有力的支持。例如,“He bought a bunch of roses yesterday at the Florist”,对谓词“bought”进行语义角色分析,其中“He”是动作的发出者,即施事A0,“a bunch of roses”是动作的承受者,即受事A1,“yesterday”是动作的发生时间,即AM-TMP,“at the Florist”是动作发生的地点,即AM-LOC。SRL综合利用了底层的分词、词性标注、句法分析、命名实体识别等信息。作为自然语言理解的底层研究在信息抽取、问答系统、指代消解、机器翻译等方面有着广泛的应用。
在语义角色标注中,最早进行研究的Gildea和Jurafsky等人提出利用机器学习的方法对语义角色进行自动标注,使用了语义角色标注系统最常使用的七个特征,其中在识别谓词和论元之间关系时用到了句法树的特征。在此基础之上,Gildea和Palmer等人进一步在PropBank语料库上做了同样的实验,基于手工标注的短语句法树,使F值有了进一步的提升。随后,有很多人尝试使用不同的标注单元、特征、分类器、机器学习等方法加以改进。Xue和Palmer等人提出在单一短语结构句法树的基础上,验证了Gildea的七个基本特征在SRL各个阶段的贡献,提出了新的特征,并基于手工标注的短语结构句法树,使F值又进一步提升。刘挺和车万翔等人选取了较多的特征,使用最大熵分类器将识别和分类进一步做训练,然后做相关的后处理,在单一自动短语结构句法分析上取得了比较好的结果,但并未详细给出性能提升的具体原因。Moschitti等人引入不同类型的树核捕捉句法树的结构相似度,该方法在自动学习到特征很有吸引力,但是同时也会带来高计算成本的开销。Boxwell等人提出了一种基于丰富特征的SRL方法,其中结合了组合范畴、短语结构和依存3种句法分析的特征,但多种句法分析在带来了丰富信息的同时,也带来了较大的噪声。李世奇等人提出基于短语结构句法分析的语义角色标注,即以句法为语义角色标注的单元,分为两个子任务:一是语义角色识别,目标是从句子中抽取所有可以充当语义角色的句法成分;二是语义角色分类,判断语义角色识别阶段所得的语义角色的类型,但对于比较复杂的句子处理并未得到好的处理效果。以上的分析方法结合短语结构树进行语义角色标注时并未对句子进行简化,仅仅将短语结构树作为一种特征。
以句法成分为标注单元的论元标注,需要一种简单的剪枝预处理方法来过滤句法分析树中一些不可能成为论元的句法成分,保留尽量少的候选句法成分,以提高准确性。刘挺和车万翔等人采用识别分类一步到位的方法对与谓词相关的全部句法成分进行训练和预测,只去除了句法类型为词性的句法成分。但使得AM-MOD和AM-NEG等角色对句法树上的句法成分匹配率很低,还要进行后处理。Dan Roth和Wen-tau Yih等人将语义角色标注分为四个阶段:剪枝、论元识别、论元分类、推理,其中剪枝阶段是根据短语结构句法树将不太可能作为谓词论元的候选集合进行去除,但会出现将一些论元错误判断为非论元的问题,使候选论元个数减少。Wang等人在Xue和Palmer等人的基础之上提出基于中心词的剪枝算法,该算法选取当前谓词结点和其祖先结点的兄弟结点以及这些兄弟结点的孩子结点作为候选论元角色,进一步扩大了候选论元集合,但是论元减少的问题仍然存在。Lei Sha等人利用二次优化的方法对论元之间的关系进行分类,分为两类:相容与不相容,若当两个论元属于同一个谓词时,则认为两个论元相容,若不属于同一个谓词,则认为两个论元是不相容的,这样做就可以将不是同一个谓词范围内的论元进行剪枝操作。Jiang Guo和WanxiangChe等人将SRL任务拆分成两个任务,即SRL用来描述论元与谓词之间的关系,另一类是判断两个实体之间的关系。上述的方法结合短语结构句法树对句子进行剪枝操作实现句子简化,但并未对句子的类型进行总结归类,对句子的简化程度并不充分。
发明内容
针对现有技术中的语义角色识别未对句子的类型进行总结归类、对句子的简化程度并不充分等不足,本发明要解决的问题是提供一种对复杂句子结构的语义角色识别具有更好的效果的结合短语结构树的语义角色识别方法。
为解决上述技术问题,本发明采用的技术方案是:
本发明一种结合短语结构树的语义角色识别方法,包括以下步骤:
1)句子的剪枝:当系统输入一个句子时,对句子进行短语分析,将分析过后的结果通过插入语或并列结构进行剪枝,简化句子的复杂程度,缩短句子的长度;
2)子句抽取处理:结合短语结构树对剪枝后句子中的子句进行抽取,将抽取出的子句和子句抽取之后剩下的部分分别进行语义角色分析,得到整句的语义角色,将语义角色的分析结果进行还原;
3)边界修正:将还原过后的语义角色结合短语树对句子进行论元边界修正,最终输出句子的语义角色分析结果。
步骤1)中,句子的剪枝包括插入语以及并列结构剪枝,当句子含有插入语时,则将插入语剪枝,剪枝剩下的部分合并在一起作为语义角色分析单元。
若插入语中含有谓词,对插入语未剪枝之前的句子进行语义角色的分析,此时对插入语中的谓词以及相关论元进行保留。
结合短语结构树对并列结构进行判断分为有标记以及无标记两种识别方法;对于无标记的并列结构处理名词短语并列;对于有标记的并列结构包括名词短语并列、介词短语并列、从句并列以及子句并列。
当句子含有并列结构时,对于子句并列,将并列的各个子句分别进行语义角色分析;对于其它并列,采取剪枝的方式进行语义角色的分析。
步骤2)中,根据不同的子句采用不同的处理方式将句子中的子句总结为以下几种:
a.NP1-->NP2+(VP-->VB+(S-->(VP-->TO+VP)));
b.VP-->VB+(SBAR-->IN+(S-->NP+VP));
c.NP1-->NP2+(SBAR-->IN+(S-->NP3+VP));
d.NP1-->NP2+(SBAR-->WHNP+(S-->NP3+VP));
e.NP1-->NP2+(SBAR-->WHNP+(S-->VP+NP3));
f.SBAR-->S-->NP+VP;
g.S-->NP+VP,S不在SBAR中;
其中,NP表示名词短语,NP1表示在句法树的第一层,NP2表示在句法树的第二层,NP3表示在句法树的第三层,VP表示动词短语,S表示子句,VB表示词语的词性为动词,TO为动词不定式to的标识,SBAR表示从句,WHNP表示引导从句的引导词,S-->NP+VP表示子句S由两部分NP与VP组成;
对于编号为a、b、f、g句子结构,当子句抽取结束之后,用子句S中的NP短语替换子句语义角色分析单元放回到原句;对于编号c、d、e句子结构,用NP2替换子句语义角色分析单元放回到原句;当原始句子中所有的子句都用相对应的NP短语替换之后,对替换后的原句进行语义角色的分析,最后将子句分析的语义角色以及原句分析的语义角色合并在一起作为整句话的语义角色。
步骤3)中,对最容易出现问题的语义角色A0、A1、AM-MOD以及谓词的边界进行论元边界修正,即:对语义角色的施事A0、受事A1、情态动词AM-MOD以及谓词进行边界的修正;
若在短语结构树中,被识别成的A0、A1在树中是一个完整的NP或S,则论元不进行修正,若不是一个完整的NP或S,则对末尾的标点符号进行去除。
对于语义角色AM-MOD,在短语树中对应的部分是MD,若识别出的结果在短语树对应的部分超出MD的范围,则对其进行修正,其中MD为情态动词的在短语树中的标记。
还包括以下过程:结合短语结构树,判断谓词后面的第一个词是否为标记为PRT,若是,则与动词合并在一起作为一个谓词。
本发明具有以下有益效果及优点:
1.本发明提出结合短语结构树对句子进行剪枝、子句抽取、论元边界修正,当句子中含有并列结构时,将并列中的第一个并列成分代替整个并列结构,即将第二个并列成分进行剪枝;当句子中含有子句时针对不同的子句采取不同的处理方式,这样做的结果简化了句子的复杂程度、缩短了句子的长度。
2.本发明将处理过后的句子进行语义角色的分析,对最终的分析结果结合短语树的结果进行论元边界修正,本发明方法对复杂句子结构的语义角色识别会有更好的效果,可以使相对比较复杂,且句子的长度较长的句子得到有效的处理,使语义角色的标注情况有所改善。
3.本发明方法分别在CoNLL2004与CoNLL2005评测语料中做了实验,在CoNLL2005Shared Task的test_wsj数据集F值为88.25%,在CoNLL2004 Shared Task的test数据集上F值为85.66%。F值与baseline实验相比都有所提高,在CoNLL2004的test数据集上提升了3.64%,dev数据集上提升了2.87%,在CoNLL2005的test_wsj数据集上提升了3.24%,test_brown数据集上提升了2.86%。
附图说明
图1为本发明方法流程图;
图2为本发明中短语结构句法树图示;
图3为本发明中子句S以TO开头的句法树图示;
图4为本发明中子句S在从句SBAR中且SBAR在VP中的句法树;
图5为本发明中子句S在从句SBAR中且SBAR在NP中的句法树;
图6为本发明中子句S在从句SBAR中且SBAR的引导词词性为WP的句法树;
图7为本发明中子句S在从句SBAR中且SBAR的引导词词性为WDT的句法树;
图8为本发明中子句S在从句SBAR中且SBAR没有引导词的句法树;
图9为本发明中子句S不在从句SBAR中的句法树;
图10为本发明句子的总结形式。
具体实施方式
下面结合说明书附图对本发明作进一步阐述。
如图1所示,本发明一种结合短语结构树的语义角色识别方法,包括以下步骤:
1)句子的剪枝:当系统输入一个句子时,对句子进行短语分析,将分析过后的结果通过插入语或并列结构进行剪枝,简化句子的复杂程度,缩短句子的长度;
2)子句抽取处理:结合短语结构树对剪枝后句子中的子句进行抽取,将抽取出的子句和子句抽取之后剩下的部分分别进行语义角色分析,得到整句的语义角色,将语义角色的分析结果进行还原;
3)边界修正:将还原过后的语义角色结合短语树对句子进行论元边界修正,最终输出句子的语义角色分析结果。
步骤1)中,句子的剪枝包括插入语以及并列结构剪枝,当句子含有插入语时,则将插入语剪枝,剪枝剩下的部分合并在一起作为语义角色分析单元。
若插入语中含有谓词,对插入语未剪枝之前的句子进行语义角色的分析,此时对插入语中的谓词以及相关论元进行保留。
结合短语结构树对并列结构进行判断分为有标记以及无标记两种识别方法;对于无标记的并列结构处理名词短语并列;对于有标记的并列结构包括名词短语并列、介词短语并列、从句并列以及子句并列。
当句子含有并列结构时,对于子句并列,将并列的各个子句分别进行语义角色分析;对于其它并列,采取剪枝的方式进行语义角色的分析。
步骤2)中,根据不同的子句采用不同的处理方式将句子中的子句总结为以下几种:
a.NP1-->NP2+(VP-->VB+(S-->(VP-->TO+VP)));(如图3所示)
b.VP-->VB+(SBAR-->IN+(S-->NP+VP));(如图4所示)
c.NP1-->NP2+(SBAR-->IN+(S-->NP3+VP));(如图5所示)
d.NP1-->NP2+(SBAR-->WHNP+(S-->NP3+VP));(如图6所示)
e.NP1-->NP2+(SBAR-->WHNP+(S-->VP+NP3));(如图7所示)
f.SBAR-->S-->NP+VP;(如图8所示)
g.S-->NP+VP,S不在SBAR中;(如图9所示)
其中,NP表示名词短语,NP1表示在句法树的第一层,NP2表示在句法树的第二层,NP3表示在句法树的第三层,VP表示动词短语,S表示子句,VB表示词语的词性为动词,TO为动词不定式to的标识,SBAR表示从句WHNP表示引导从句的引导词,S-->NP+VP表示子句S由两部分NP与VP组成;
对于编号为a、b、f、g句子结构,当子句抽取结束之后,用子句S中的NP短语替换子句语义角色分析单元放回到原句;对于编号c、d、e句子结构,用NP2替换子句语义角色分析单元放回到原句;当原始句子中所有的子句都用相对应的NP短语替换之后,对替换后的原句进行语义角色的分析,最后将子句分析的语义角色以及原句分析的语义角色合并在一起作为整句话的语义角色。本发明句子的总结形式如图10所示。
步骤3)中,对最容易出现问题的语义角色A0、A1、AM-MOD以及谓词的边界进行论元边界修正,即:对语义角色的施事A0、受事A1、情态动词AM-MOD以及谓词进行边界的修正。
若在短语结构树中,被识别成的A0、A1在树中是一个完整的NP或S,则论元不进行修正,若不是一个完整的NP或S,则对末尾的标点符号进行去除。
对于语义角色AM-MOD,在短语树中对应的部分是MD(情态动词的词性),若识别出的结果在短语树对应的部分超出MD的范围,则对其进行修正。
步骤3)还包括以下过程:结合短语结构树,判断谓词后面的第一个词是否为标记为PRT,若是,则与动词合并在一起作为一个谓词。
本发明提出结合短语结构树对句子进行剪枝、子句抽取、论元边界修正。当句子中含有并列结构时,将并列中的第一个并列成分代替整个并列结构,即将第二个并列成分进行剪枝。当句子中含有子句时针对不同的子句采取不同的处理方式,这样做的结果简化了句子的复杂程度、缩短了句子的长度。将处理过后的句子进行语义角色的分析,对最终的分析结果结合短语树的结果进行论元边界修正。本发明方法对复杂句子结构的语义角色识别会有更好的效果。
步骤1)句子的剪枝
对句子进行剪枝操作包括插入语以及并列结构剪枝两种情况。插入语在句子中属于独立语,可以将其去掉使句子得到简化。并列结构中的并列成分在句子中的重要性是一致的,可以将并列中的第一个并列成分保留,其他的并列成分剪枝,剪枝过后句子同样得到简化。
(1)插入语:在句子中间插入一个成分,它既不是句子的成分,也不和句子的其他成分发生结构关系,称之为插入语,其属于独立语。给定一个句子,先进行短语结构分析,在短语结构中标记为PRN的部分为插入语。但当句子中含有括号的时候,虽括号中的部分在短语结构树中标记的不是PRN,但属于插入语的范畴,如图2所示。
当句子含有插入语,则将插入语剪枝,剪枝剩下的部分合并在一起作为语义角色分析单元。若插入语中含有谓词,对插入语未剪枝之前的句子进行语义角色的分析,此时对插入语中的谓词以及相关论元进行保留。
(2)并列结构:如果相同的两个成分所传递的信息在重要性上基本相等,一前一后地排列起来,或者用并列连词连接起来,称之为并列结构。本文主要处理的并结构有名词短语并列、介词短语并列、子句并列、从句并列。
结合短语结构树对并列结构进行判断分为有标记以及无标记两种识别方法,对于无标记的并列结构主要处理名词短语并列,在短语树中,若两个名词短语是兄弟的关系,则为并列结构。对于有标记的并列结构包括名词短语并列、介词短语并列、从句并列、子句并列。在短语树中,两个相同成分在树中是兄弟关系且两者之间标记为CC,则两个成分并列。对于并列结构的处理方式分为两种处理方式:(a)子句并列:对并列的各个子句分别进行语义角色分析;(b)其它并列:采取剪枝的方式进行语义角色的分析。
步骤2)子句的抽取
给定一个句子,先进行短语结构分析,当短语树中的成分标记为S时,则该成分称之为子句。结合短语树对子句抽取,不仅将抽取出的子句进行分析,而且将子句抽取之后剩下的部分同样进行分析。根据不同的子句采用不同的处理方式将句子中的子句总结为以下几种:
表1句子类型分类
其中“+”表示左右结点为兄弟结点,“-->”表示右边的结点是左边结点的孩子结点,“()”表示括号中第一个结点含有孩子结点。
对于表1中编号a、b、f、g句子结构,当子句抽取结束之后,用子句S中的NP短语替换子句语义角色分析单元放回到原句。对于表1中编号c、d、e句子结构,用NP2替换子句语义角色分析单元放回到原句。当原始句子中所有的子句都用相对应的NP短语替换之后,对替换后的原句进行语义角色的分析,最后将子句分析的语义角色以及原句分析的语义角色合并在一起作为整句话的语义角色。
步骤3)边界修正
从短语树中可以分析出名词短语NP、介词短语PP、子句S、从句SBAR等模块,这些模块可以单独作为语义角色。本文所用的SRL工具[21]存在论元边界识别错误的现象,但结合短语树可以对论元边界进行修正。通过大量的错误实例分析发现A0、A1、AM-MOD以及谓词的边界最容易出现问题,本文主要针对这几个语义角色进行论元边界的修正。
短语树中的NP、S可以作为A0、A1,而现有的SRL工具在A0、A1末尾的标点符号是否是语义角色的一部分出现问题。结合短语树,若在短语结构树中,被识别成的A0、A1在树中是一个完整的NP或S,则论元不进行修正,若不是一个完整的NP或S,则对末尾的标点符号进行去除。
AM-MOD在短语树中对应的部分是MD,若识别出的结果在短语树对应的部分超出MD的范围,则对其进行修正。
现有的SRL工具,识别出的谓词都是单独的一个词语,而在实际的句子中,动词词组也可以作为一个谓词,如sits down。针对这种错误现象,结合短语结构树,判断谓词后面的第一个词是否为标记为PRT,若是,则与动词合并在一起作为一个谓词。
例如:并列结构剪枝
(1)[S After the trading halt in the S&P 500pit in Chicago,waves ofselling continued to hit stocks themselves on the Big Board],[CC and][Sspecialists continued to notch prices down]。
上述句子是由两个并列子句组成,CC为并列标记,两个子句中的谓词的论元是不相容的,所以可以分别进行语义角色的分析,则上述句子分成两个语义角色分析单元:
单元1:After the trading halt in the S&P 500pit in Chicago,waves ofselling continued to hit stocks themselves on the Big Board
单元2:specialists continued to notch prices down
(2)除子句并列,还有名词短语并列、介词短语并列、从句并列。对于名词短语并列的判断分为两类,一类含有并列标记,另一类不含有并列标记,当判断两个名词短语是并列结构时,将第一个名词短语保留,其他的进行剪枝。
例如:Benchmark grades sold for[NP[NP as much as 50cents][NP a pound]]last spring,have skidded to between[NP[NP 35cents][CC and][NP40cents]].
例子中,第一个并列的名词短语为:[NP[NP as much as 50cents][NP apound]],[NP as much as 50cents]与[NP a pound]在树中为兄弟结点关系,为并列结构,将[NP as much as 50cents]保留,将[NP a pound]剪枝。
例子中,第二个并列的名词短语为:[NP[NP 35cents][CC and][NP 40cents]],含有并列标记CC,同理将[NP 35cents]保留,将[NP 40cents]剪枝。则语义角色分析单元为:Benchmark grades sold for as much as 50cents last spring,have skidded tobetween 35cents.
对于介词并列、从句并列与名词短语并列同样的处理方式。剪枝的部分不单独进行分析,在还原时,剪枝的部分与它的并列结构属于同一个语义角色。
根据技术方案,我们总结了如下所示的规则,针对各个规则分别在CoNLL2004与CoNLL2005评测语料中做了实验:
表2规则表
实验结果如下所示:
表3各个规则的测试结果
Claims (8)
1.一种结合短语结构树的语义角色识别方法,其特征在于包括以下步骤:
1)句子的剪枝:当系统输入一个句子时,对句子进行短语分析,将分析过后的结果通过插入语或并列结构进行剪枝,简化句子的复杂程度,缩短句子的长度;
2)子句抽取处理:结合短语结构树对剪枝后句子中的子句进行抽取,将抽取出的子句和子句抽取之后剩下的部分分别进行语义角色分析,得到整句的语义角色,将语义角色的分析结果进行还原;
3)边界修正:将还原过后的语义角色结合短语树对句子进行论元边界修正,最终输出句子的语义角色分析结果;
步骤2)中,根据不同的子句采用不同的处理方式将句子中的子句总结为以下几种:
a.NP1-->NP2+(VP-->VB+(S-->(VP-->TO+VP)));
b.VP-->VB+(SBAR-->IN+(S-->NP+VP));
c.NP1-->NP2+(SBAR-->IN+(S-->NP3+VP));
d.NP1-->NP2+(SBAR-->WHNP+(S-->NP3+VP));
e.NP1-->NP2+(SBAR-->WHNP+(S-->VP+NP3));
f.SBAR-->S-->NP+VP;
g.S-->NP+VP,S不在SBAR中;
其中,NP表示名词短语,NP1表示在句法树的第一层,NP2表示在句法树的第二层,NP3表示在句法树的第三层,VP表示动词短语,S表示子句,VB表示词语的词性为动词,TO为动词不定式to的标识,SBAR表示从句,WHNP表示引导从句的引导词,S-->NP+VP表示子句S由两部分NP与VP组成;
对于编号为a、b、f、g句子结构,当子句抽取结束之后,用子句S中的NP短语替换子句语义角色分析单元放回到原句;对于编号为c、d、e句子结构,用NP2替换子句语义角色分析单元放回到原句;当原始句子中所有的子句都用相对应的NP短语替换之后,对替换后的原句进行语义角色的分析,最后将子句分析的语义角色以及原句分析的语义角色合并在一起作为整句话的语义角色。
2.按权利要求1所述的结合短语结构树的语义角色识别方法,其特征在于步骤1)中,句子的剪枝包括插入语以及并列结构剪枝,当句子含有插入语时,则将插入语剪枝,剪枝剩下的部分合并在一起作为语义角色分析单元。
3.按权利要求2所述的结合短语结构树的语义角色识别方法,其特征在于:
若插入语中含有谓词,对插入语未剪枝之前的句子进行语义角色的分析,此时对插入语中的谓词以及相关论元进行保留。
4.按权利要求2所述的结合短语结构树的语义角色识别方法,其特征在于:结合短语结构树对并列结构进行判断分为有标记以及无标记两种识别方法;对于无标记的并列结构处理名词短语并列;对于有标记的并列结构包括名词短语并列、介词短语并列、从句并列以及子句并列。
5.按权利要求2或4所述的结合短语结构树的语义角色识别方法,其特征在于:当句子含有并列结构时,对于子句并列,将并列的各个子句分别进行语义角色分析;对于其它并列,采取剪枝的方式进行语义角色的分析。
6.按权利要求1所述的结合短语结构树的语义角色识别方法,其特征在于步骤3)中,对最容易出现问题的语义角色A0、A1、AM-MOD以及谓词的边界进行论元边界修正,即:对语义角色的施事A0、受事A1、情态动词AM-MOD以及谓词进行边界的修正;
若在短语结构树中,被识别成的A0、A1在树中是一个完整的NP或S,则论元不进行修正,若不是一个完整的NP或S,则对末尾的标点符号进行去除。
7.按权利要求6所述的结合短语结构树的语义角色识别方法,其特征在于:对于语义角色AM-MOD,在短语树中对应的部分是MD,若识别出的结果在短语树对应的部分超出MD的范围,则对其进行修正,其中MD为情态动词的在短语树中的标记。
8.按权利要求6所述的结合短语结构树的语义角色识别方法,其特征在于还包括以下过程:结合短语结构树,判断谓词后面的第一个词是否为标记为PRT,若是,则与动词合并在一起作为一个谓词。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710877035.7A CN107818082B (zh) | 2017-09-25 | 2017-09-25 | 结合短语结构树的语义角色识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710877035.7A CN107818082B (zh) | 2017-09-25 | 2017-09-25 | 结合短语结构树的语义角色识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107818082A CN107818082A (zh) | 2018-03-20 |
CN107818082B true CN107818082B (zh) | 2020-12-04 |
Family
ID=61607153
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710877035.7A Expired - Fee Related CN107818082B (zh) | 2017-09-25 | 2017-09-25 | 结合短语结构树的语义角色识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107818082B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108470026A (zh) * | 2018-03-23 | 2018-08-31 | 北京奇虎科技有限公司 | 新闻标题的句子主干内容提取方法及装置 |
CN110287497B (zh) * | 2019-07-03 | 2023-03-31 | 桂林电子科技大学 | 一种英语文本的语义结构连贯分析方法 |
CN111522932B (zh) * | 2020-04-23 | 2023-05-16 | 北京百度网讯科技有限公司 | 一种信息抽取的方法、装置、设备和存储介质 |
CN111898343B (zh) * | 2020-08-03 | 2023-07-14 | 北京师范大学 | 一种基于短语结构树的相似题目识别方法和系统 |
CN112052693B (zh) * | 2020-09-15 | 2024-07-05 | 科大讯飞股份有限公司 | 机器翻译效果评测方法、装置、设备及存储介质 |
CN112541059B (zh) * | 2020-11-05 | 2024-07-12 | 大连中河科技有限公司 | 一种应用在税务问答系统的多轮智能问答交互方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101446942A (zh) * | 2008-12-10 | 2009-06-03 | 苏州大学 | 一种自然语言句子的语义角色标注方法 |
CN101937430A (zh) * | 2010-09-03 | 2011-01-05 | 清华大学 | 一种汉语句子中事件句式的抽取方法 |
CN102662931A (zh) * | 2012-04-13 | 2012-09-12 | 厦门大学 | 一种基于协同神经网络的语义角色标注方法 |
US8527262B2 (en) * | 2007-06-22 | 2013-09-03 | International Business Machines Corporation | Systems and methods for automatic semantic role labeling of high morphological text for natural language processing applications |
CN104021115A (zh) * | 2014-06-13 | 2014-09-03 | 北京理工大学 | 基于神经网络的中文比较句识别方法及装置 |
KR101663673B1 (ko) * | 2015-06-16 | 2016-10-14 | 한림대학교 산학협력단 | 2스텝 분석 절차를 사용한srl 기반의 문장 분석 방법 및 장치 |
-
2017
- 2017-09-25 CN CN201710877035.7A patent/CN107818082B/zh not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8527262B2 (en) * | 2007-06-22 | 2013-09-03 | International Business Machines Corporation | Systems and methods for automatic semantic role labeling of high morphological text for natural language processing applications |
CN101446942A (zh) * | 2008-12-10 | 2009-06-03 | 苏州大学 | 一种自然语言句子的语义角色标注方法 |
CN101937430A (zh) * | 2010-09-03 | 2011-01-05 | 清华大学 | 一种汉语句子中事件句式的抽取方法 |
CN102662931A (zh) * | 2012-04-13 | 2012-09-12 | 厦门大学 | 一种基于协同神经网络的语义角色标注方法 |
CN104021115A (zh) * | 2014-06-13 | 2014-09-03 | 北京理工大学 | 基于神经网络的中文比较句识别方法及装置 |
KR101663673B1 (ko) * | 2015-06-16 | 2016-10-14 | 한림대학교 산학협력단 | 2스텝 분석 절차를 사용한srl 기반의 문장 분석 방법 및 장치 |
Non-Patent Citations (3)
Title |
---|
The Importance of Syntactic Parsing and Inference in Semantic Role Labeling;Vasin Punyakanok et al.;《Computational Linguistics》;20070619;第34卷(第2期);第257-285页 * |
基于特征向量的中英文语义角色标注研究;王红玲;《中国博士学位论文全文数据库信息科技辑》;20100615(第06期);第I138-17页 * |
引入层次成分分析的依存句法分析;张丹 等;《沈阳航空航天大学学报》;20170228;第34卷(第1期);第76-82页 * |
Also Published As
Publication number | Publication date |
---|---|
CN107818082A (zh) | 2018-03-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107818082B (zh) | 结合短语结构树的语义角色识别方法 | |
Wang et al. | A two-stage parsing method for text-level discourse analysis | |
CN108681574B (zh) | 一种基于文本摘要的非事实类问答答案选择方法及系统 | |
CN104503998B (zh) | 针对用户查询句的类型识别方法及装置 | |
US10839155B2 (en) | Text analysis of morphemes by syntax dependency relationship with determination rules | |
CN111353306B (zh) | 基于实体关系和依存Tree-LSTM的联合事件抽取的方法 | |
CN105095190B (zh) | 一种基于中文语义结构和细分词库结合的情感分析方法 | |
Hussain et al. | Using linguistic knowledge to classify non-functional requirements in SRS documents | |
CN110069636B (zh) | 融合依存关系与篇章修辞关系的事件时序关系识别方法 | |
CN112966525B (zh) | 一种基于预训练模型和卷积神经网络算法的法律领域事件抽取方法 | |
CN113609838B (zh) | 文档信息抽取及图谱化方法和系统 | |
CN108536673B (zh) | 新闻事件抽取方法及装置 | |
CN110929007A (zh) | 一种电力营销知识体系平台及应用方法 | |
CN111191413B (zh) | 一种基于图排序模型的事件核心内容自动标记方法、装置及系统 | |
CN103744837B (zh) | 基于关键词抽取的多文本对照方法 | |
CN115048940A (zh) | 基于实体词属性特征和回译的中文金融文本数据增强方法 | |
CN117556049B (zh) | 一种基于大语言模型生成的正则表达式的文本分类方法 | |
Gupta | Automatic stemming of words for Punjabi language | |
CN111310452B (zh) | 一种分词方法和装置 | |
Galinsky et al. | Improving neural network models for natural language processing in russian with synonyms | |
JP2016057810A (ja) | 述語項構造抽出装置、方法、プログラム、及びコンピュータ読取り可能な記録媒体 | |
CN113779961B (zh) | 一种自然语言文本的惯用句式提取方法及电子装置 | |
Gandhe et al. | Handling verb phrase morphology in highly inflected Indian languages for Machine Translation | |
KR100574887B1 (ko) | 기계번역 시스템에서의 어휘 중의성 해소 장치 및 그 방법 | |
JP5506482B2 (ja) | 固有表現抽出装置、文字列−固有表現クラス対データベース作成装置、固有表現抽出方法、文字列−固有表現クラス対データベース作成方法、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20201204 |
|
CF01 | Termination of patent right due to non-payment of annual fee |