CN112733547A - 一种利用语义依存分析的中文问句语义理解方法 - Google Patents
一种利用语义依存分析的中文问句语义理解方法 Download PDFInfo
- Publication number
- CN112733547A CN112733547A CN202011584513.3A CN202011584513A CN112733547A CN 112733547 A CN112733547 A CN 112733547A CN 202011584513 A CN202011584513 A CN 202011584513A CN 112733547 A CN112733547 A CN 112733547A
- Authority
- CN
- China
- Prior art keywords
- question
- semantic
- word
- query
- semantic dependency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000011218 segmentation Effects 0.000 claims abstract description 28
- 238000006243 chemical reaction Methods 0.000 claims abstract description 12
- 238000007781 pre-processing Methods 0.000 claims abstract description 8
- 238000013507 mapping Methods 0.000 claims abstract description 7
- 239000013598 vector Substances 0.000 claims description 40
- 238000002372 labelling Methods 0.000 claims description 20
- 238000012549 training Methods 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 10
- 230000002457 bidirectional effect Effects 0.000 claims description 8
- 238000012986 modification Methods 0.000 claims description 4
- 230000004048 modification Effects 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 4
- 238000005065 mining Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 6
- 239000010410 layer Substances 0.000 description 13
- 230000006870 function Effects 0.000 description 4
- 230000001419 dependent effect Effects 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 239000003607 modifier Substances 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 101150047304 TMOD1 gene Proteins 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000009223 counseling Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000002344 surface layer Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Machine Translation (AREA)
Abstract
本发明涉及一种利用语义依存分析的中文问句语义理解方法,其中,包括:步骤1.收集并整理应用领域问句数据集;步骤2.对于得到的问句数据集进行预处理;步骤3.构建基于BiLSTM的语义依存分析模型;步骤4.构建语义依存结构解析规则;步骤5.将步骤4转换得到的查询三元组列表映射为SPARQL语句中基本图模式,形成三元组模式关系。本发明方法通过语义依存分析技术,结合中文分词技术,能够为用户提供高效语义理解的新方式,在特定应用领域的智能问答、搜索推荐等系统中将发挥重要作用。
Description
技术领域
本发明涉及计算机语义分析技术,特别涉及一种利用语义依存分析的信息中文问句语义理解方法。
背景技术
句子的语义理解是自然语言处理技术的重要研究方向,在智能问答等领域得到了广泛的应用。由于中文语言具有的复杂性,问句理解方面面临的难度较大、进展缓慢。目前,智能问答中问句的语义理解方法主要包括模板法、关键词法、依存句法分析、语义角色标注等。
模板法将用户输入的问句通过分类器进行归类,如果能被分到这些类中,就能根据每个类对应的模板进行正确的转换处理,但是容易受到模板数量的限制,不能处理无法识别的问题。关键词法通过抽取问句关键词,将问句映射到对应的三元组模板中,只能实现对简单关键词进行正确解释,当出现多个关键词会产生过多的组合需要使用大量的模板。中文句法依存分析能够实现对输入语句句法结构和关系的完整解析,但由于中文处理比英文复杂,存在句法限制少等问题,无法准确标明具体的时态、被动语态以及介词无强烈的语义指示表达作用等。因此,仅仅通过句法依存分析无法完整的表达中文句子的语义信息。语义角色标注针对论元语义角色层面,存在无法涵盖整个论元内部语义关系的缺点。
因此,在中文问句语义理解中,迫切需要一种从能够摆脱问句表层句法结构的约束,可以从深层次的语义角度快速理解分析用户提出的需求问句信息的方法。
发明内容
本发明的目的在于提供一种利用语义依存分析的中文问句语义理解方法,用于解决上述现有技术的问题。
本发明一种利用语义依存分析的中文问句语义理解方法,其中,包括:步骤1.收集并整理应用领域问句数据集;步骤2.对于得到的问句数据集进行预处理,根据BERT模型,采用序列标注的方式对预处理后的数据集通过训练构建中文分词模型,在该中文分词模型中融入领域文本提取的专业词语特征和姓名特征;步骤3.构建基于BiLSTM的语义依存分析模型,将步骤1得到的问句数据集以BiLSTM进行依赖关系解析得到特征表示,同时融入大规模领域文本提取的BERT嵌入向量特征和词语依存关系词典特征,然后结合Eisner解码算法构建语义依存分析模型,从步骤2得到的问句切分结果中解析获取最优的语义依存结构;步骤4.构建语义依存结构解析规则,通过对步骤1整理的问句数据集,挖掘语句的语义依存关系以及结合资源描述框架查询语言的语句语法特点,构建通过解析语义依存结构得到查询三元组的基本规则,用于将步骤3的依存模型解析问句得到的语义依存结构转换为查询三元组列表;步骤5.将步骤4转换得到的查询三元组列表映射为SPARQL语句中基本图模式,形成三元组模式关系。
根据本发明的一种利用语义依存分析的中文问句语义理解方法的一实施例,其中,步骤1具体包括:收集整理应用领域的常见问句数据集,通过标注以及一致性校验操作进行处理,得到能够用于训练测试的问句数据集。
根据本发明的一种利用语义依存分析的中文问句语义理解方法的一实施例,其中,步骤2包括:对步骤1得到的问句数据集进行预处理,将问句数据集通过4-tags标注法转为基于字标注的训练集,再通过序列切分将过长的句子进行分割,不够长度的句子通过添加0进行补足,然后对预处理过的数据进行数据结构转换,使用标记模块进行标记化过后得到新的样本数据结构,其中包含4部分,分别是input_ids、input_mask、segment_ids以及label_ids,input_ids为问句中每个字在词频词典的索引,input_mask为样本中有效词句的标识,有效的为1,补充的为0,segment_ids为区分句子的标识,第一个句子为0,第二个句子为1,label_ids是标签在自定义标签列表中对应的索引;最后在输出向量中融入领域专业词语特征和姓名特征,再添加分类层对标签进行预测评分。
根据本发明的一种利用语义依存分析的中文问句语义理解方法的一实施例,其中,步骤3具体包括:给定已经完成中文分词和词性标注的语句;通过对步骤1得到的问句数据集预处理,创建词频词典以及词性词典,对分词和词性结果进行向量表示,并利用构建的BERT模型对文本数据进行训练得到包含丰富语义信息的BERT嵌入向量,将词语向量和词性向量以及BERT嵌入向量进行拼接输入到第一层LSTM模型中,将第一层的LSTM模型输出的双向向量进行拼接后输入到第二层LSTM模型中;使用Eisner解码算法,同时融入领域文本中提取的词语依存特征,以获取最优得语义依存结构。
根据本发明的一种利用语义依存分析的中文问句语义理解方法的一实施例,其中,通过解析语义依存结构得到查询三元组的5条基本规则,包括解析主谓宾结构、解析描述修饰组合关系、解析并列连接关系以及处理语义依附标记,用于将步骤3解析问句得到的语义依存结构转换为相应的查询三元组形式。
根据本发明的一种利用语义依存分析的中文问句语义理解方法的一实施例,其中,制定将步骤4得到的查询三元组列表映射为SPARQL语句中基本图模式的策略集,策略集包括:如果三元组中主语或者宾语是疑问词,那么用变量替换掉疑问词作为目标词,并且将变量存入查询变量词典中,如果三元组中主语和谓语均为名词性,那么在查询中建立三元组描述两个名词的查询关系,同时用被修饰的名词描述关系,使用变量当作宾语作为查询目标词,并且将变量存入查询变量词典中;如果三元组中谓语是动词性节点,在主语与宾语之间建立查询三元组,并根据谓语实际意义情况进行位置转换,并且将变量存入查询变量词典中;如果三元组中主语是动词,并且为前一个三元组的谓语部分或者三元组的宾语为动词,是后一个三元组的谓语部分,那么拆分原来的查询三元组重新合并生成新的三元组。
本发明方法通过语义依存分析技术,通过结合中文分词技术、SPARQL查询语言等实现对特定领域中文问句的语义理解架构,为用户提供高效语义理解的新方式,在特定应用领域的智能问答、搜索推荐等系统中将发挥重要作用。
附图说明
图1是本发明的一种利用语义依存分析的中文问句语义理解方法的组成示意图。
具体实施方式
为使本发明的目的、内容、和优点更加清楚,下面结合附图和实施例,对本发明的具体实施方式作进一步详细描述。
如图1所示,本发明提出了一种利用语义依存分析的中文问句语义理解方法,该方法包括以下步骤:
(1)收集并整理特定应用领域(如司法领域智能问答)数据集。收集特定应用领域的常见问题和回答的数据集,然后通过人工标注、一致性校验等操作进行处理得到能够用于训练测试的数据集。
(2)构建基于转换器的双向编码表示(BERT)的中文分词模型。使用BERT模型,以序列标注的方式构建中文分词模型,同时设计特定应用领域词典和中文姓名词典特征的引入方法,以提升分词模型在特定应用领域上的分词性能。
(3)构建基于双层长短时记忆器(BiLSTM)的语义依存分析模型。采用基于图模式(Graph)的思想构建语义依存分析模型,使用BiLSTM进行依赖关系解析得到特征表示,使用Eisner解码算法获取最优得语义依存结构。在模型中融入特定应用语料的BERT嵌入向量,建立特定应用词语依存关系词典,提升模型的性能。
(4)构建语义依存结构解析规则。对中文问句样本进行分析,挖掘语句的语义依存关系,结合资源描述框架查询语言(SPARQL)的语句语法特点,构建通过解析语义依存结构得到查询三元组的基本规则。
(5)构建SPARQL语句转换策略。制定查询三元组关系映射为SPARQL语句中基本图模式的策略,在考虑不同词语词性以及查询三元组成分的情况下,形成适当的三元组模式关系。
如图1所示,本发明的实施流程如下;
(1)收集并整理特定应用领域(如司法领域智能问答)数据集。收集特定应用领域的常见问题数据集,然后通过人工标注、一致性校验等操作进行处理得到能够用于训练测试的数据集。
例如对于中文分词数据集的处理方式如下:将数据集使用4-tag法对字进行标注,b代表begin,m代表middle,e代表end,s代表single。加工过后形成的2个格式一致的样本文件,分别用于训练和验证。例如“山东省人民法院”按照标注分词结果是“山东省-人民-法院”。其中“山东省”的标签是bme,说明“山”作为词语的头部,“东”作为词语的中间部分,而“省”则作为词语的结尾部分。经过预处理后的语料中,任意的字都有一个标签与之对应。对于领域问句语义依存数据集,比如问句“人民检察院公诉部门基本职责有哪些”,根据哈工大语义依存分析标注标准进行人工标注可以得到结果{(1,人民,NN,2,Nmod),(2,检察院,NN,4,Poss),(3,公诉,NN,4,Desc),(4,部门,NN,6,Poss),(5,基本,AD,6,Desc),(6,职责,NN,7,Exp),(7,有,VE,0,Root),(8,哪些,DT,7,mTone)}。其中第一列是词序号,第二列是词语,第三列是词性,第四列是父节点,第五列是当前词语与父节点之间的语义关系。
(2)构建基于转换器的双向编码表示(BERT)的中文分词模型。采用序列标注的思想,使用BERT模型构建中文分词模型。同时设计词典和中文姓名词典特征的引入方法,以提升分词模型在上的分词性能。
具体实施时,首先对输入的数据集进行预处理,将已经分好词的训练集通过4-tags标注法转为基于字标注的训练集,每个字对应着一个标签,同时将分词合并成句子并与字对应的标签序列用空格分隔,比如“山东省-人民-法院”处理后结果为“山东省人民法院-bmebmbm”。然后进行序列切分,设定文本长度为85,将过长的句子进行分割,不够长度的句子通过添加0进行补足。
然后进行数据结构转换,将经过结构转换的数据使用标记模块进行标记化过后得到新的样本数据结构,其中包含4部分,分别是input_ids、input_mask、segment_ids以及label_ids。其中,input_ids为句子中每个字在字典中的索引。input_mask为样本中有效词句的标识,有效的为1,补充的为0。segment_ids为区分句子的标识,第一个句子为0,第二个句子为1。label_ids是标签在自定义标签列表中对应的索引。比如输入“山东省人民法院bmebmbm”,得到结果input_ids=[101 2255 691 4689 782 3696 3791 7368 102 0…],input_mask=[1 1 1 1 1 1 1 1 1 …],segment_ids=[0 0 0 0 0 0 0 0 …],label_ids=[6 2 3 4 2 4 2 4 7 …]。以上构成了BERT的最终输入向量。
最后添加分类层对标签进行预测评分,由于标签包括["s","b","m","e","X","[CLS]","[SEP]"],因此最后的分类层神经元数目为7,同时根据常规损失函数计算最终的模型损失。
(3)构建基于双层长短时记忆器(BiLSTM)的语义依存分析模型。采用基于图的思想构建语义依存分析模型,使用双层BiLSTM算法得到依赖关系解析得特征表示。
具体实施时,首先给定已经完成中文分词和词性标注的语句,其分词结果为w1,w2......,wn,词性标注结果为t1,t2......,tn。比如问句“人民检察院公诉部门基本职责有哪些”,其分词结果为“人民,检察院,公诉,部门,基本,职责,有,哪些”,词性标注结果为“NN,NN,NN,NN,AD,NN,VE,DT”。
然后通过对训练语料预处理。创建词频词典、词性词典,对分词和词性结果进行向量表示,每个词语得到100维的词语向量和25维的词性向量。再将词语向量和词性向量进行拼接输入到第一层LSTM模型中,LSTM模型具有一个隐层,神经元节点数目为155,模型的输入向量维度为125。然后将第一层的LSTM模型输出的双向向量进行拼接后输入到第二层LSTM模型中。在模型构建过程中,激活函数选择双曲正切函数tanh。同时选择Adam算法代替传统的梯度下降法作为优化算法,同时在训练样本数据时采用小批量思想,在提高学习速度的同时保证模型的收敛。
最后使用Eisner解码算法获取最优得语义依存结构。并针对训练语料匮乏以及难以融入丰富领域信息的问题,利用本文构建的BERT模型对特定领域文本数据进行训练得到包含丰富语义信息的BERT嵌入向量,在原有模型输入向量的基础上进行简单拼接,以扩充词向量输入,最后输入到基准模型中以提升模型性能。利用构建的语义依存模型分析特定领域大量的短文本数据,得到大量的词语对依存关系信息。然后进行分析统计,保留出现频率较高的词语对、词语对的依存弧类型以及依赖方向,然后持久化到数据文件中。最后对文件通过人工方式进行数据的一致性校验得到最后的特征数据形成依存关系类型词典,然后将特征融入到最后的模型中。
(4)构建语义依存结构解析规则。通过对中文问句的样本研究分析,构建了通过解析语义依存结构得到查询三元组的基本规则,用于将语义依存结构转换为相应的查询三元组形式。
具体实施时,有5个规则,分别是{[1,subject(p,s)-object(p,o)=><s,p,o>],[2,subject(p,s)-system(p,o)=><s,p,o>],[3,compound(x,y)=>yx],[4,constellation(x,y)=><x,p,o><y,p,o>或者<s,p,x><s,p,y>],[5,attachment(x,y)=>remove(x,y)]},其中,规则1和规则2是构建主谓宾结构,subject定义为主体、object定义为客体、system定义为系体。规则3是用于描述修饰组合关系的,一般是被归为其他类的角色。其中主要包括描写角色Desc(Description)、名称修饰词Nmod(Name Modified)以及时间修饰语Tmod(Time Modified)等。规则4是以连词连接的短语,在此主要是考虑并列连接,比如eCoo关系。此时查询语句应该创建返回多个查询变量。比如查询原告和被告的姓名,需要返回原告和被告对应的查询变量。规则5主要是针对语义依附标记,依附标记是概念或事件的语义依附的形式标记,在问句集中具体表现为去掉无意义组合的依存结构:去掉尾单词为助词“的”的mAux关系、去掉标点标记的mPucc关系等。
例如:比如对于检务咨询问题“第12025号刑事案件的主诉检察官是谁?”,经过语义依存分析以后得到依存关系如下:
root(Root-0,是)
Nmod(刑事案件,12025号)
mAux(刑事案件,的)
Poss(检察官,刑事案件)
Desc(检察官,主诉)
Exp(是,检察官)
Clas(是,谁)
mPunc(是,?x)
依存关系中,前者是支配词,后者是依存词。依存关系词就是指依存词对支配词的依赖类型。按照上述规则,得到的结果为:
(5)构建SPARQL语句转换策略。制定查询三元组关系映射为SPARQL语句中基本图模式的策略集,考虑不同词语词性以及查询三元组成分的情况下应该形成怎样的三元组模式关系。
具体实施时,如果三元组中主语或者宾语是疑问词,那么直接用变量替换掉疑问词作为目标词,并且将变量存入查询变量词典中,比如三元组<嫌疑人,姓名,什么>,得到的查询语句为<嫌疑人,姓名,?x>。如果三元组中主语和谓语均为名词性,那么在查询中就可以建立三元组描述两个名词的查询关系,同时用被修饰的名词描述关系,使用变量当作宾语作为查询目标词,并且将变量存入查询变量词典中。如果三元组中谓语是动词性节点,在主语与宾语之间建立查询三元组,并根据谓语实际意义情况进行位置转换,并且将变量存入查询变量词典中。
如果三元组中主语是动词,并且为前一个三元组的谓语部分或者三元组的宾语为动词,是后一个三元组的谓语部分,那么拆分原来的查询三元组重新合并生成新的三元组。
最后根据查询变量词典对三元组中关键词进行词语映射,并且通过领域通用词典进行实体和谓词消歧,比如“出生”映射为“生日”,“出生于”映射为“籍贯”等。
例如:对于步骤(4)得到的结果:
经过转换策略,查询三元组变为<12025号刑事案件,主诉检察官,?t>,<?t,姓名,?x>,进而得到最终的查询语句如下:
本发明通过提升分词准确率、改进依存模型的结构以及融入特定领域信息特征等方式,实现语义依存分析任务的高效性和准确性;以语义依存分析为核心,从深层语义角度对中文问句进行解析,再通过分析中文问句集的特点,制定有效的规则和策略,将非结构化的中文问句转换为结构化、机器可读的查询语句,实现了提升中文问句语义理解准确性和自动查询的目的。因此,本发明在特定领域的智能问答系统中将发挥重要作用。
本发明提供一种利用语义依存分析的中文问句语义理解方法,用于快速理解分析用户提出的需求问句信息并进行相应的业务操作,以满足特定领域中高效、准确的问答咨询、搜索推荐等业务需求。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和变形,这些改进和变形也应视为本发明的保护范围。
Claims (6)
1.一种利用语义依存分析的中文问句语义理解方法,其特征在于,包括:
步骤1.收集并整理应用领域问句数据集;
步骤2.对于得到的问句数据集进行预处理,根据BERT模型,采用序列标注的方式对预处理后的数据集通过训练构建中文分词模型,在该中文分词模型中融入领域文本提取的专业词语特征和姓名特征;
步骤3.构建基于BiLSTM的语义依存分析模型,将步骤1得到的问句数据集以BiLSTM进行依赖关系解析得到特征表示,同时融入大规模领域文本提取的BERT嵌入向量特征和词语依存关系词典特征,然后结合Eisner解码算法构建语义依存分析模型,从步骤2得到的问句切分结果中解析获取最优的语义依存结构;
步骤4.构建语义依存结构解析规则,通过对步骤1整理的问句数据集,挖掘语句的语义依存关系以及结合资源描述框架查询语言的语句语法特点,构建通过解析语义依存结构得到查询三元组的基本规则,用于将步骤3的依存模型解析问句得到的语义依存结构转换为查询三元组列表;
步骤5.将步骤4转换得到的查询三元组列表映射为SPARQL语句中基本图模式,形成三元组模式关系。
2.如权利要求1所述的一种利用语义依存分析的中文问句语义理解方法,其特征在于,步骤1具体包括:收集整理应用领域的常见问句数据集,通过标注以及一致性校验操作进行处理,得到能够用于训练测试的问句数据集。
3.如权利要求1所述的一种利用语义依存分析的中文问句语义理解方法,其特征在于,步骤2包括:对步骤1得到的问句数据集进行预处理,将问句数据集通过4-tags标注法转为基于字标注的训练集,再通过序列切分将过长的句子进行分割,不够长度的句子通过添加0进行补足,然后对预处理过的数据进行数据结构转换,使用标记模块进行标记化过后得到新的样本数据结构,其中包含4部分,分别是input_ids、input_mask、segment_ids以及label_ids,input_ids为问句中每个字在词频词典的索引,input_mask为样本中有效词句的标识,有效的为1,补充的为0,segment_ids为区分句子的标识,第一个句子为0,第二个句子为1,label_ids是标签在自定义标签列表中对应的索引;
最后在输出向量中融入领域专业词语特征和姓名特征,再添加分类层对标签进行预测评分。
4.如权利要求1所述的一种利用语义依存分析的中文问句语义理解方法,其特征在于,步骤3具体包括:
给定已经完成中文分词和词性标注的语句;
通过对步骤1得到的问句数据集预处理,创建词频词典以及词性词典,对分词和词性结果进行向量表示,并利用构建的BERT模型对文本数据进行训练得到包含丰富语义信息的BERT嵌入向量,将词语向量和词性向量以及BERT嵌入向量进行拼接输入到第一层LSTM模型中,将第一层的LSTM模型输出的双向向量进行拼接后输入到第二层LSTM模型中;
使用Eisner解码算法,同时融入领域文本中提取的词语依存特征,以获取最优得语义依存结构。
5.如权利要求1所述的一种利用语义依存分析的中文问句语义理解方法,其特征在于,通过解析语义依存结构得到查询三元组的5条基本规则,包括解析主谓宾结构、解析描述修饰组合关系、解析并列连接关系以及处理语义依附标记,用于将步骤3解析问句得到的语义依存结构转换为相应的查询三元组形式。
6.如权利要求1所述的一种利用语义依存分析的中文问句语义理解方法,其特征在于,制定将步骤4得到的查询三元组列表映射为SPARQL语句中基本图模式的策略集,策略集包括:
如果三元组中主语或者宾语是疑问词,那么用变量替换掉疑问词作为目标词,并且将变量存入查询变量词典中,如果三元组中主语和谓语均为名词性,那么在查询中建立三元组描述两个名词的查询关系,同时用被修饰的名词描述关系,使用变量当作宾语作为查询目标词,并且将变量存入查询变量词典中;如果三元组中谓语是动词性节点,在主语与宾语之间建立查询三元组,并根据谓语实际意义情况进行位置转换,并且将变量存入查询变量词典中;如果三元组中主语是动词,并且为前一个三元组的谓语部分或者三元组的宾语为动词,是后一个三元组的谓语部分,那么拆分原来的查询三元组重新合并生成新的三元组。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011584513.3A CN112733547A (zh) | 2020-12-28 | 2020-12-28 | 一种利用语义依存分析的中文问句语义理解方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011584513.3A CN112733547A (zh) | 2020-12-28 | 2020-12-28 | 一种利用语义依存分析的中文问句语义理解方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112733547A true CN112733547A (zh) | 2021-04-30 |
Family
ID=75606836
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011584513.3A Pending CN112733547A (zh) | 2020-12-28 | 2020-12-28 | 一种利用语义依存分析的中文问句语义理解方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112733547A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113553385A (zh) * | 2021-07-08 | 2021-10-26 | 北京计算机技术及应用研究所 | 一种司法文书中法律要素的关系抽取方法 |
CN113591484A (zh) * | 2021-06-07 | 2021-11-02 | 西安航天精密机电研究所 | 一种基于语义分析的专家系统规则库建立方法 |
CN114997140A (zh) * | 2021-09-17 | 2022-09-02 | 荣耀终端有限公司 | 校验语义的方法和装置 |
CN117765949A (zh) * | 2024-02-22 | 2024-03-26 | 青岛海尔科技有限公司 | 一种基于语义依存分析的语句多意图识别方法及装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105701253A (zh) * | 2016-03-04 | 2016-06-22 | 南京大学 | 中文自然语言问句语义化的知识库自动问答方法 |
CN109271626A (zh) * | 2018-08-31 | 2019-01-25 | 北京工业大学 | 文本语义分析方法 |
CN110399457A (zh) * | 2019-07-01 | 2019-11-01 | 吉林大学 | 一种智能问答方法和系统 |
CN110502644A (zh) * | 2019-08-28 | 2019-11-26 | 同方知网(北京)技术有限公司 | 一种领域层级词典挖掘构建的主动学习方法 |
CN110555153A (zh) * | 2019-08-20 | 2019-12-10 | 暨南大学 | 一种基于领域知识图谱的问答系统及其构建方法 |
CN111597807A (zh) * | 2020-04-30 | 2020-08-28 | 腾讯科技(深圳)有限公司 | 分词数据集生成方法、装置、设备及其存储介质 |
-
2020
- 2020-12-28 CN CN202011584513.3A patent/CN112733547A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105701253A (zh) * | 2016-03-04 | 2016-06-22 | 南京大学 | 中文自然语言问句语义化的知识库自动问答方法 |
CN109271626A (zh) * | 2018-08-31 | 2019-01-25 | 北京工业大学 | 文本语义分析方法 |
CN110399457A (zh) * | 2019-07-01 | 2019-11-01 | 吉林大学 | 一种智能问答方法和系统 |
CN110555153A (zh) * | 2019-08-20 | 2019-12-10 | 暨南大学 | 一种基于领域知识图谱的问答系统及其构建方法 |
CN110502644A (zh) * | 2019-08-28 | 2019-11-26 | 同方知网(北京)技术有限公司 | 一种领域层级词典挖掘构建的主动学习方法 |
CN111597807A (zh) * | 2020-04-30 | 2020-08-28 | 腾讯科技(深圳)有限公司 | 分词数据集生成方法、装置、设备及其存储介质 |
Non-Patent Citations (2)
Title |
---|
王衡军;司念文;宋玉龙;单义栋;: "结合全局向量特征的神经网络依存句法分析模型", 通信学报, vol. 39, no. 02, pages 53 * |
谭立威;邵志清;张欢欢;蒋宇一;胡芳槐;: "基于启发式规则的SPARQL本体查询", 华东理工大学学报(自然科学版), vol. 42, no. 06, pages 851 - 857 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113591484A (zh) * | 2021-06-07 | 2021-11-02 | 西安航天精密机电研究所 | 一种基于语义分析的专家系统规则库建立方法 |
CN113591484B (zh) * | 2021-06-07 | 2023-07-21 | 西安航天精密机电研究所 | 一种基于语义分析的专家系统规则库建立方法 |
CN113553385A (zh) * | 2021-07-08 | 2021-10-26 | 北京计算机技术及应用研究所 | 一种司法文书中法律要素的关系抽取方法 |
CN113553385B (zh) * | 2021-07-08 | 2023-08-25 | 北京计算机技术及应用研究所 | 一种司法文书中法律要素的关系抽取方法 |
CN114997140A (zh) * | 2021-09-17 | 2022-09-02 | 荣耀终端有限公司 | 校验语义的方法和装置 |
CN114997140B (zh) * | 2021-09-17 | 2023-04-28 | 荣耀终端有限公司 | 校验语义的方法和装置 |
CN117765949A (zh) * | 2024-02-22 | 2024-03-26 | 青岛海尔科技有限公司 | 一种基于语义依存分析的语句多意图识别方法及装置 |
CN117765949B (zh) * | 2024-02-22 | 2024-05-24 | 青岛海尔科技有限公司 | 一种基于语义依存分析的语句多意图识别方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Li et al. | Leveraging linguistic structures for named entity recognition with bidirectional recursive neural networks | |
CN109684448B (zh) | 一种智能问答方法 | |
CN108763333A (zh) | 一种基于社会媒体的事件图谱构建方法 | |
CN112733547A (zh) | 一种利用语义依存分析的中文问句语义理解方法 | |
CN113806563B (zh) | 面向多源异构建筑人文史料的建筑师知识图谱构建方法 | |
US20050086222A1 (en) | Semi-automatic construction method for knowledge base of encyclopedia question answering system | |
CN113312922B (zh) | 一种改进的篇章级三元组信息抽取方法 | |
CN112541337B (zh) | 一种基于递归神经网络语言模型的文档模板自动生成方法及系统 | |
CN105760462B (zh) | 基于关联数据查询的人机交互方法及装置 | |
CN113157859B (zh) | 一种基于上位概念信息的事件检测方法 | |
CN113609838B (zh) | 文档信息抽取及图谱化方法和系统 | |
CN111581953A (zh) | 一种自动解析英文文本语法现象的方法 | |
JPH0816620A (ja) | データ分類装置/方法、データ分類木生成装置/方法、派生語抽出装置/方法、シソーラス構築装置/方法、データ処理システム | |
CN115455202A (zh) | 一种应急事件事理图谱构建方法 | |
CN114881043B (zh) | 基于深度学习模型的法律文书语义相似度评估方法及系统 | |
CN115374258A (zh) | 语义理解和问句模板相结合的知识库查询方法与系统 | |
CN111178080A (zh) | 一种基于结构化信息的命名实体识别方法及系统 | |
CN117473054A (zh) | 基于知识图谱的通用智能问答方法及装置 | |
Hathout | Acquisition of morphological families and derivational series from a machine readable dictionary | |
CN114091464B (zh) | 一种融合五维特征的高普适性多对多关系三元组抽取方法 | |
CN114997398B (zh) | 一种基于关系抽取的知识库融合方法 | |
Vu-Manh et al. | Improving Vietnamese dependency parsing using distributed word representations | |
Seresangtakul et al. | Thai-Isarn dialect parallel corpus construction for machine translation | |
CN114492362A (zh) | 一种研报问答生成方法、系统及计算机可读存储介质 | |
Nguyen et al. | Systematic knowledge acquisition for question analysis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |