CN116227497B - 一种基于深度神经网络的句子构式分析方法及装置 - Google Patents
一种基于深度神经网络的句子构式分析方法及装置 Download PDFInfo
- Publication number
- CN116227497B CN116227497B CN202211513762.2A CN202211513762A CN116227497B CN 116227497 B CN116227497 B CN 116227497B CN 202211513762 A CN202211513762 A CN 202211513762A CN 116227497 B CN116227497 B CN 116227497B
- Authority
- CN
- China
- Prior art keywords
- chinese
- sentence
- neural network
- constituent
- deep neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Machine Translation (AREA)
Abstract
本发明公开了一种基于深度神经网络的句子构式分析方法及装置,该方法包括:构建基于组块链的汉语构式语义表示机制;根据汉语构式语义表示机制,构建汉语构式的模板集,并建立汉语构式的标注数据集;基于汉语构式的标注数据集训练深度神经网络模型;将待分析句子输入训练后的深度神经网络模型,自动分析出句子的构式结构;本发明方法通过建立基于组块链的汉语构式语义表示机制和汉语构式的标注数据集,并采用深度神经网络模型自动分析句子的构式,不仅能分析句子内部构成部分的语义信息,还能分析构式本身所表示的意义,便于更准确地、更深入地实现汉语句子级的深层语义理解,有助于提升对外汉语教学的效率。
Description
技术领域
本发明涉及自然语言处理技术领域,特别涉及一种基于深度神经网络的句子构式分析方法及装置。
背景技术
对于不含构式的一般句子如例1,通常的句法分析和事件分析可给出其句法结构和事件结构,基于此可获取句子的主要意义。
例1:张三喝咖啡
张三 | 喝 | 咖啡 | |
句法分析: | 主语 | 谓语 | 宾语 |
事件语义: | 施事 | 动作 | 受事 |
但对于含有构式的句子如例2:传统分析方法却无法获取其较完整的意义。
例2:一锅饭吃了\吃不了十个人
一锅饭 | 吃了\吃不了 | 十个人 | |
构式语义: | 容纳量 | 容纳Trigger | 被容纳量 |
如果一个小学生或外国学生初次看到这样的句子,他们能够理解其中每个词的意思,但他们不一定知道整句话的意思。对于例2,除句法(“主-动-宾”关系,或主宾倒装句)和事件语义(“受事-动作-施事")的基本理解外,它还包含容纳量和被容纳量之间的关系,还需理解其特有的构式义才能真正理解其意义。
像例2这样的句式,用构式理论来解读,可以作出比较好的分析与解释。它可以看作容纳量数量构式,其中“一锅饭”表示容纳量,“十个人”表示被容纳量,“吃了\吃不了”表示容纳方式,所说的是动词前边那个量能够容纳(容纳不了)后面那个量。
当前,语言中存在大量的构式,但是由于构式的句法语义特征无法单纯从内部各个词语成分的句法语义特征简单相加得到,因此是当前自然语言处理中的难点和重点。
目前组合语义学作为自然语言处理领域的主流研究,认为短语和句子的语义由其组成部分的语义组合而成,其缺陷为未考虑短语和句子内部结构本身所包含的语义信息。
虽然构式语义学的发展为解决以上缺陷提供了理论支撑,它强调构式本身是有意义的,而且整体意义大于内部各成分意义之和。因此构式的语义分析不能仅靠其内部构成部分的语义信息,还需探讨构式本身所表示的意义。但是目前汉语构式的研究主要集中在语言学理论层面,缺乏大规模的构式语义标注资源以及相应的自动分析方法。
发明内容
有鉴于此,本发明提供至少解决上述部分技术问题的一种基于深度神经网络的句子构式分析方法及装置,该方法建立了基于组块链的汉语构式语义表示机制和汉语构式的标注数据集,并利用深度神经网络模型可以自动分析句子的构式,便于更准确地、更深入地实现汉语句子级的深层语义理解,有助于提升对外汉语教学的效率。
为实现上述目的,本发明采取的技术方案为:
第一方面,本发明实施例提供一种基于深度神经网络的句子构式分析方法,包括以下步骤:
S1、构建基于组块链的汉语构式语义表示机制;
S2、根据所述汉语构式语义表示机制,构建汉语构式的标注数据集;
S3、基于所述汉语构式的标注数据集训练深度神经网络模型,获得训练后的深度神经网络模型;
S4、将待分析句子输入训练后的深度神经网络模型,自动分析出所述句子的构式结构。
进一步的,所述步骤S1中,所述构建基于组块链的汉语构式语义表示机制,具体包括以下步骤:
S11、分析汉语构式的类型;
S12、基于所述汉语构式的类型,分析所述汉语构式内部所包含的各个语义成分;
S13、由所述语义成分构成线性组块链,获得表示所述汉语构式的组块链。
进一步的,所述步骤S2中,所述构建汉语构式的标注数据集,具体包括以下步骤:
S21、从目标语料库中进行语料选取;
S22、基于汉语构式的类型,并结合真实语料,构建汉语构式模板集;
S23、基于所述汉语构式模板集对句子进行构式标注,获得汉语构式的标注数据集。
进一步的,所述步骤S4中,所述将待分析句子输入训练后的所述深度神经网络模型,自动分析出所述句子的构式结构,具体包括以下步骤:
S41、在输入层,采用BERT模型来对输入的所述待分析句子进行编码,输出特征表示;
S42、在特征层,将所述BERT模型输出的特征表示输入至BiLSTM神经网络得到神经网络特征,并结合预设组合特征拼接后输入到隐藏层,得到相应的特征表示;
S43、在输出层,使用隐藏层的输出作为输入,采用Softmax计算输出所述句子的构式分析最优结果。
进一步的,所述步骤S11中,所述汉语构式的类型,包括:
动补结构、双及物结构、很+名词结构、容纳结构、A是A,B是B、V来V去+VP、V+NP+V+的、存在句式、兼语句式、把字句式和被字句式。
进一步的,所述步骤S23中,所述构式标注为:一个标注实例包含一个句子及其所包含的构式类型和构式成分。
进一步的,所述步骤S42中,所述预设组合特征,具体包括:
a.一元特征:对于任意状态,一元特征包括<Q0>、<Q1>、<Q2>;
b.二元特征:对于任意状态,二元特征包括<Q0,Q1>、<Q1,Q2>、<S0,T0>,<E0,T0>;
c.上下文结构特征:对于任意状态,上下文特征包括<S0,T-1,T0>、<S-1,T-1,S0,T0,>,<E-1,T-1,E0,T0>、<E-1,T-1,S0,T0>;
其中,Q0、Q1和Q2为该状态队列中待处理的词,T0为该状态stack中当前构式成分的类型,S0为当前构式成分的起始词,E0为当前构式成分的终止词,T-1为当前构式成分之前的一个构式成分的类型,S-1为当前构式成分之前的一个构式成分的起始词,E-1为当前构式成分之前的一个构式成分的终止词。
第二方面,本发明实施例还提供一种基于深度神经网络的句子构式分析装置,该装置包括:
机制构建模块,用于构建基于组块链的汉语构式语义表示机制;
数据集构建模块,用于根据所述汉语构式语义表示机制,构建汉语构式的标注数据集;
训练模块,用于基于所述汉语构式的标注数据集训练深度神经网络模型,获得训练后的深度神经网络模型;
分析模块,用于将待分析句子输入训练后的深度神经网络模型,自动分析出所述句子的构式结构。
第三方面,本发明实施例还提供一种存储装置,其上存储有计算设备可读的一个或多个程序,所述一个或多个程序包括指令,所述指令当由计算设备执行时,使得所述计算设备执行上述的一种基于深度神经网络的句子构式分析方法。
与现有技术相比,本发明具有如下有益效果:
1、本发明实施例提供的基于深度神经网络的句子构式分析方法,构建了汉语构式的语义表示机制,并建立了一个汉语构式的标注数据集,利用深度神经网络模型可以自动分析出句子的构式结构,有助于提升对外汉语教学的效率。
2、本发明实施例提供的基于深度神经网络的句子构式分析方法,不仅能分析句子内部构成部分的语义信息,还能分析构式本身所表示的意义,有助于更准确地、更深入地实现汉语句子级的深层语义理解,便于分析汉语构式的特点及其相关句法语义模式,为进一步的汉语理解、分析和处理奠定基础。
3、本发明实施例提供的基于深度神经网络的句子构式分析方法,根据汉语构式的语义表示机制,建立了一个汉语构式的标注数据集,可用于句子构式分析任务。
4、本发明实施例提供的基于深度神经网络的句子构式分析方法,采用深度学习方法自动分析句子的构式,并将构式的结构分析和语义分析形式化为一个联合分析问题,实现构式的结构分析和语义分析的互增强效果。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制;在附图中:
图1为本发明实施例提供的基于深度神经网络的句子构式分析方法的流程图。
图2为本发明实施例提供的例3和例4的构式表示图。
图3为本发明实施例提供的汉语构式模板集的结构示意图。
图4为本发明实施例提供的句子构式自动分析的流程图。
图5为本发明实施例提供的基于深度神经网络的句子构式分析装置的框图。
具体实施方式
为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解,下面结合具体实施方式,进一步阐述本发明。
在本申请的说明书和权利要求书及上述附图中的描述的一些流程中,包含了按照特定顺序出现的多个操作,但是应该清楚了解,这些操作可以不按照其在本文中出现的顺序来执行或并行执行。
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
实施例1:
参照图1所示,本发明提供的基于深度神经网络的句子构式分析方法,包括以下步骤:
S1、构建基于组块链的汉语构式语义表示机制;
S2、根据所述汉语构式语义表示机制,构建汉语构式的标注数据集;
S3、基于所述汉语构式的标注数据集训练深度神经网络模型,获得训练后的深度神经网络模型;
S4、将待分析句子输入训练后的深度神经网络模型,自动分析出所述句子的构式结构。
下面分别对上述各个步骤进行详细的说明:
在上述步骤S1中,确定基于组块链的汉语构式语义表示机制。对一个句子来说,构式的表示主要包括该构式的整体类型及其内部各个构式成分。本发明结合组块理论来分析构式,将组块看作是构式的组成单位,确定基于组块链的汉语构式语义表示机制。其中:
组块是句子中某些句法相关、不重叠的句子成分,例如名词短语、动词短语等。组块分析的目标是把文本划分为句法相关的不重叠的短语组块。
本发明以组块链的形式来表示句子内的构式,具体步骤如下:
S11:分析构式的整体类型。包括各类特殊的短语结构,如:动补结构、双及物结构、“A是A,B是B”等;还包括各类特殊句式,如:存在句式、兼语句式等。
S12:分析该构式内部所包含的各个语义成分。
S13:得出表示该构式的组块链,由构式内部的语义成分构成一个线性组块链。
下面以具体例子为例说明构式的组块链形式表示。
例3:墙上挂着一幅画。
例4:家的墙上挂着父亲画的一副画。
以上两句是汉语中存在构式的两个实例,如图2所示,给出了例3和例4的构式表示形式。其所含构式为存在构式,该构式包含三个语义成分,分别为:存在处所、存在方式、存在物。从构式的语义配置和论元结构来说,该构式的组块链表示是“存在处所-存在方式-存在物”。另外,从词法、句法层面来说是该句子是如下形式:“方位结构+V着+NP”。
进一步的,在广泛运用的基础上逐渐固化为“V来V去+VP”这样一种新的语法构式,这一新的构式的构式义是在行为动作所能涉及到的诸种事物中,反复比较,或主观认为要数某事物较为最为合意,或主观认为哪个都不合意。
下面的例5和例6中的构式就可以认为由两个组块构成的,一个是“V来V去”,其形式特征是前后两个动词相同,前一个动词后面带上趋向动词“来”,后一个动词后面带上趋向动词“去”。另一个组块就是VP。
例5:穿来穿去还是那件衣服穿着舒服。
例6:吃来吃去没有一个菜好吃的。
在上述步骤S2中,根据汉语构式的语义表示机制,本发明建立一个汉语构式的语义标注资源(即汉语构式的标注数据集),具体包括以下步骤:
步骤S21:语料选取:可从国内近三年新闻语料中选取,可以保证其时效性和覆盖性。
步骤S22:整体构建汉语构式模板集:基于语言学界现有的关于汉语特殊语言现象的研究成果,如存在句、兼语句等句式的结构类型和语义类型、汉语动补结构、双及物结构、很+名词结构等结构的类型等理论,并结合真实语料,总结确定构式模板的类型和子类。汉语构式模板集的结构如图3所示,汉语构式模板集由每种汉语特殊语言现象(该类现象无法用现有的单个词语标注)的模板集组合而成,每种现象的模板集由有限的“类模板”构成,“类模板”由若干“子模板”构成。每一类构式都将分别根据其特点、类型以及它们在真实文本中的典型形式和临时形式,分别建立其类模板和子模板系统,整体构建汉语构式模板集。这里包括:
S22.1类模板集:构式标注中典型的、常用的结构,如存在构式里的“方位结构+V着+NP”、“V来V去+VP”构式里的“…来…去”等,将其定义为“类模板”。构式的类模板是一个有限的集合。
S22.2子模板集:典型结构并非一定会成对出现,有时会临时变形,如双及物构式“张三给李四一本书”,也可能是“张三送李四一本书”。此时将这里的“NP+给+NP+QP”、“NP+送+NP+QP”定义为“子模板”。在真实文本中,临时的变形现象或多种语义关系的词语混合搭配现象很多,分别建立其对应的子模板。构式的子模板是一个相对开放的集合。构式模板集的建构,便于下一步的构式分析。
步骤S23:基于上述的汉语构式模板集对句子进行构式标注,获得汉语构式的标注数据集:为了对句子进行构式标注,本发明提出一种基于构式模板集的标注方法。一个标注实例包含:一个句子及其所包含的构式类型和构式成分。如图2所示,这里以例3句子“墙上挂着一幅画”为例,根据构式模板“方位结构+V着+NP”,可以判断该构式为存在构式,并标注出对应的三个构式成分。
在上述步骤S3中,基于上述的汉语构式的标注数据集来训练深度神经网络模型,进行深度学习,获得训练后的深度神经网络模型。
在上述步骤S4中,在上述训练后的深度神经网络模型的基础上,如图4所示,将待分析句子输入训练后的深度神经网络模型,自动分析出该句子的构式结构;具体包括以下步骤:
步骤S41:为了更好地考虑上下文信息,本发明实施例采用BERT预训练模型来对文本序列进行编码,其输出的特征表示可以传递到下一层,用于后续构式分析。
步骤S42:对于构式分析,采用基于转移(transition-based)的分析系统,并采用深度神经网络对转移系统中的每个状态进行特征表示。具体包括:
S42.1将上述步骤S41的BERT模型的输出的特征表示输入到BiLSTM神经网络,将其输出作为神经网络特征。
S42.2其他特征使用人工设计特征(即预设组合特征)工程。具体包括:
a.一元特征:对于任意状态,一元特征包括<Q0>、<Q1>、<Q2>,其中Q0、Q1和Q2为该状态队列中待处理的词,
b.二元特征:对于任意状态,二元特征包括<Q0,Q1>、<Q1,Q2>、<S0,T0>,<E0,T0>
c.上下文结构特征:对于任意状态,上下文特征包括、<S0,T-1,T0>、<S-1,T-1,S0,T0,>,<E-1,T-1,E0,T0>、<E-1,T-1,S0,T0>。
其中,Q0、Q1和Q2为该状态队列中待处理的词,T0为该状态stack中当前构式成分C0的类型,S0为当前构式成分C0的起始词,E0为当前构式成分C0的终止词,下标基于当前构式,C-1为当前构式成分C0之前的一个构式成分T-1为C-1的类型,S-1为C-1的起始词,E-1为C-1的终止词;
S42.3将神经网络特征与人工设计特征拼接起来,得到特征x,计算方式为:
x=[gt;f1,f2,...,fn],
其中,gt表示BiLSTM输出的特征表示,fn表示由第n个特征模板生成的特征表示。
将特征x输入到一个隐层,得到相应的特征表示。隐层的计算方式如下:
h=tanh(W·x+b),
其中,W和b分别表示隐层的参数矩阵和偏置向量,h表示隐层的输出。
步骤S43:采用Softmax得到构式分析的最优结果:Softmax使用步骤S42.3的隐层输出作为输入,计算出每个action的得分,决定对每个状态采用哪种action。输出层的计算方式如下:
o=softmax(Wo·h+bo),
其中,Wo和bo分别表示输出层的参数矩阵和偏置向量,o表示经过softmax计算出来的action得分。
本发明实施例的构式分析包括构式的结构分析以及语义分析,其中结构分析是对构式的组成成分进行划分,语义分析是对各个成分相应的语义标记。如果采用先进行结构分析,再对构式结构进行语义分析的串行方法,会引起错误传播的问题,因此将构式分析形式化为一个分割和分类的联合分析问题,使结构分析和语义分析相互作用,来缓解错误传播的问题。
本发明实施例采用基于转移(transition-based)的方法来进行构式分析,通过定义以下转移系统(Transition System)来实现构式结构和语义的联合分析。形式上,转移系统中的每个状态由一个stack和一个queue组成。其中stack包含一部分已进行过构式分析过的句子,queue由未处理的词序列组成。在每个步骤中的候选转移操作(action)的定义如下:
·SEPERATE(TYPE):移除queue前面的词,并把该词作为一个新的构式成分的开始添加到stack中,构式语义标记TYPE会被分配给这个新的构式成分。
·APPEND:移除queue前面的词,把它添加到stack上最后一个不完整构式成分的后面,作为当前构式成分的延续。
一个具体的例子如下,给定一个句子“墙上挂着一幅画”,转移操作序列SEPERATE([存在处所])-SEPERATE([存在方式])-APPEND-SEPERATE([存在物])-APPEND-APPEND可以用来分析出该句子的构式分析结果:墙上/[存在方式]挂着/[存在处所]一幅画/[存在物]。
在这个系统中,决策器根据当前的上下文信息,来决定每一步采用哪种action。本发明实施例中优选的采用softmax函数作为决策器。
本发明实施例中还可利用精确率(precision)、召回率(recall)和F1值来对构式分析结果进行评估,包括句子的构式类型以及构式成分的识别,并对联合分析方法对构式分析的改进进行对比分析,上述方法可从现有技术中获取,在此不再赘述。
实施例2:
如图5所示,本发明实施例还提供一种基于深度神经网络的句子构式分析装置,应用实施例1的基于深度神经网络的句子构式分析方法,自动分析出句子的构式结构,该装置包括:
机制构建模块,用于构建基于组块链的汉语构式语义表示机制;
数据集构建模块,用于根据所述汉语构式语义表示机制,构建汉语构式的标注数据集;
训练模块,用于基于所述汉语构式的标注数据集训练深度神经网络模型,获得训练后的深度神经网络模型;
分析模块,用于将待分析句子输入训练后的所述深度神经网络模型,自动分析出所述句子的构式结构。
本发明实施例所提供的装置,其实现原理及产生的技术效果和前述方法实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容,在此不再赘述。
实施例3:
本发明实施例还提供一种存储装置;其上存储有计算设备可读的一个或多个程序,一个或多个程序包括指令,指令当由计算设备执行时,使得计算设备执行实施例1中的基于深度神经网络的句子构式分析方法。
本发明实施例,存储装置例如可以是电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。更具体的例子(非穷举)包括:便携式计算机盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。
通过上述实施例的描述,本领域技术人员可知本发明提供了一种基于深度神经网络的句子构式分析方法及装置,该方法不仅能分析句子内部构成部分的语义信息,还能分析构式本身所表示的意义,有助于更准确地、更深入地实现汉语句子级的深层语义理解,便于分析汉语构式的特点及其相关句法语义模式,为进一步的汉语理解、分析和处理奠定基础,有助于提升对外汉语教学的效率。本发明方法根据汉语构式的语义表示机制,建立了一个汉语构式的标注数据集(汉语构式的语义标注资源),可用于句子构式分析任务。本发明方法采用深度学习方法自动分析句子的构式,并将构式的结构分析和语义分析形式化为一个联合分析问题,实现构式的结构分析和语义分析的互增强效果。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (3)
1.一种基于深度神经网络的句子构式分析方法,其特征在于,包括以下步骤:
S1、构建基于组块链的汉语构式语义表示机制;
S2、根据所述汉语构式语义表示机制,构建汉语构式的标注数据集;
S3、基于所述汉语构式的标注数据集训练深度神经网络模型,获得训练后的深度神经网络模型;
S4、将待分析句子输入训练后的深度神经网络模型,自动分析出所述句子的构式结构;
所述步骤S1中,所述构建基于组块链的汉语构式语义表示机制,具体包括以下步骤:
S11、分析汉语构式的类型;
S12、基于所述汉语构式的类型,分析所述汉语构式内部所包含的各个语义成分;
S13、由所述语义成分构成线性组块链,获得表示所述汉语构式的组块链;
所述步骤S11中,所述汉语构式的类型,包括:
动补结构、双及物结构、很+名词结构、把字句式和被字句式;
所述步骤S2中,所述构建汉语构式的标注数据集,具体包括以下步骤:
S21、从目标语料库中进行语料选取;
S22、基于所述汉语构式的类型,并结合真实语料,构建汉语构式模板集;
S23、基于所述汉语构式模板集对句子进行构式标注,获得汉语构式的标注数据集;
所述步骤S23中,所述构式标注为:一个标注实例包含一个句子及其所包含的构式类型和构式成分;
所述步骤S4中,所述将待分析句子输入训练后的所述深度神经网络模型,自动分析出所述句子的构式结构,具体包括以下步骤:
S41、在输入层,采用BERT模型来对输入的所述待分析句子进行编码,输出特征表示;
S42、在特征层,将所述BERT模型输出的特征表示输入至BiLSTM神经网络得到神经网络特征,并结合预设组合特征拼接后输入到隐藏层,得到相应的特征表示;
S43、在输出层,使用隐藏层的输出作为输入,采用Softmax计算输出所述句子的构式分析最优结果;
所述步骤S42中,所述预设组合特征,具体包括:
a.一元特征:对于任意状态,一元特征包括<Q0>、<Q1>、<Q2>;
b.二元特征:对于任意状态,二元特征包括<Q0,Q1>、<Q1,Q2>、<S0,T0>,<E0,T0>;
c.上下文结构特征:对于任意状态,上下文特征包括<S0,T-1,T0>、<S-1,T-1,S0,T0,>,<E-1,T-1,E0,T0>、<E-1,T-1,S0,T0>;
其中,Q0、Q1和Q2为该状态队列中待处理的词,T0为该状态stack中当前构式成分的类型,S0为当前构式成分的起始词,E0为当前构式成分的终止词,T-1为当前构式成分之前的一个构式成分的类型,S-1为当前构式成分之前的一个构式成分的起始词,E-1为当前构式成分之前的一个构式成分的终止词。
2.一种基于深度神经网络的句子构式分析装置,其特征在于,该装置包括:
机制构建模块,用于构建基于组块链的汉语构式语义表示机制;
数据集构建模块,用于根据所述汉语构式语义表示机制,构建汉语构式的标注数据集;
训练模块,用于基于所述汉语构式的标注数据集训练深度神经网络模型,获得训练后的深度神经网络模型;
分析模块,用于将待分析句子输入训练后的深度神经网络模型,自动分析出所述句子的构式结构;
所述构建基于组块链的汉语构式语义表示机制,具体包括以下步骤:
分析汉语构式的类型;
基于所述汉语构式的类型,分析所述汉语构式内部所包含的各个语义成分;
由所述语义成分构成线性组块链,获得表示所述汉语构式的组块链;
所述汉语构式的类型,包括:
动补结构、双及物结构、很+名词结构、把字句式和被字句式;
所述构建汉语构式的标注数据集,具体包括以下步骤:
从目标语料库中进行语料选取;
基于所述汉语构式的类型,并结合真实语料,构建汉语构式模板集;
基于所述汉语构式模板集对句子进行构式标注,获得汉语构式的标注数据集;
所述构式标注为:一个标注实例包含一个句子及其所包含的构式类型和构式成分;
所述将待分析句子输入训练后的所述深度神经网络模型,自动分析出所述句子的构式结构,具体包括以下步骤:
在输入层,采用BERT模型来对输入的所述待分析句子进行编码,输出特征表示;
在特征层,将所述BERT模型输出的特征表示输入至BiLSTM神经网络得到神经网络特征,并结合预设组合特征拼接后输入到隐藏层,得到相应的特征表示;
在输出层,使用隐藏层的输出作为输入,采用Softmax计算输出所述句子的构式分析最优结果;
所述预设组合特征,具体包括:
a.一元特征:对于任意状态,一元特征包括<Q0>、<Q1>、<Q2>;
b.二元特征:对于任意状态,二元特征包括<Q0,Q1>、<Q1,Q2>、<S0,T0>,<E0,T0>;
c.上下文结构特征:对于任意状态,上下文特征包括<S0,T-1,T0>、<S-1,T-1,S0,T0,>,<E-1,T-1,E0,T0>、<E-1,T-1,S0,T0>;
其中,Q0、Q1和Q2为该状态队列中待处理的词,T0为该状态stack中当前构式成分的类型,S0为当前构式成分的起始词,E0为当前构式成分的终止词,T-1为当前构式成分之前的一个构式成分的类型,S-1为当前构式成分之前的一个构式成分的起始词,E-1为当前构式成分之前的一个构式成分的终止词。
3.一种存储装置,其上存储有计算设备可读的一个或多个程序,其特征在于:所述一个或多个程序包括指令,所述指令当由计算设备执行时,使得所述计算设备执行如权利要求1中所述的一种基于深度神经网络的句子构式分析方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211513762.2A CN116227497B (zh) | 2022-11-29 | 2022-11-29 | 一种基于深度神经网络的句子构式分析方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211513762.2A CN116227497B (zh) | 2022-11-29 | 2022-11-29 | 一种基于深度神经网络的句子构式分析方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116227497A CN116227497A (zh) | 2023-06-06 |
CN116227497B true CN116227497B (zh) | 2023-09-26 |
Family
ID=86571918
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211513762.2A Active CN116227497B (zh) | 2022-11-29 | 2022-11-29 | 一种基于深度神经网络的句子构式分析方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116227497B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103500160A (zh) * | 2013-10-18 | 2014-01-08 | 大连理工大学 | 一种基于滑动语义串匹配的句法分析方法 |
CN106021227A (zh) * | 2016-05-16 | 2016-10-12 | 南京大学 | 一种基于状态转移与神经网络的汉语组块分析方法 |
CN112364623A (zh) * | 2020-11-02 | 2021-02-12 | 安阳师范学院 | 基于Bi-LSTM-CRF的三位一体字标注汉语词法分析方法 |
CN112395871A (zh) * | 2020-12-02 | 2021-02-23 | 华中科技大学 | 一种搭配构式的自动获取方法和系统、可视化方法 |
CN114841353A (zh) * | 2022-04-28 | 2022-08-02 | 天津大学 | 一种融合句法信息的量子语言模型建模系统及其应用 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8180633B2 (en) * | 2007-03-08 | 2012-05-15 | Nec Laboratories America, Inc. | Fast semantic extraction using a neural network architecture |
-
2022
- 2022-11-29 CN CN202211513762.2A patent/CN116227497B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103500160A (zh) * | 2013-10-18 | 2014-01-08 | 大连理工大学 | 一种基于滑动语义串匹配的句法分析方法 |
CN106021227A (zh) * | 2016-05-16 | 2016-10-12 | 南京大学 | 一种基于状态转移与神经网络的汉语组块分析方法 |
CN112364623A (zh) * | 2020-11-02 | 2021-02-12 | 安阳师范学院 | 基于Bi-LSTM-CRF的三位一体字标注汉语词法分析方法 |
CN112395871A (zh) * | 2020-12-02 | 2021-02-23 | 华中科技大学 | 一种搭配构式的自动获取方法和系统、可视化方法 |
CN114841353A (zh) * | 2022-04-28 | 2022-08-02 | 天津大学 | 一种融合句法信息的量子语言模型建模系统及其应用 |
Also Published As
Publication number | Publication date |
---|---|
CN116227497A (zh) | 2023-06-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Chisholm et al. | Learning to generate one-sentence biographies from Wikidata | |
Williams et al. | A broad-coverage challenge corpus for sentence understanding through inference | |
US20230040095A1 (en) | Method for pre-training model, device, and storage medium | |
CN108363743B (zh) | 一种智能问题生成方法、装置和计算机可读存储介质 | |
Liu et al. | Learning semantic word embeddings based on ordinal knowledge constraints | |
CN107480143B (zh) | 基于上下文相关性的对话话题分割方法和系统 | |
WO2020063092A1 (zh) | 知识图谱的处理方法及装置 | |
Orosz et al. | PurePos 2.0: a hybrid tool for morphological disambiguation | |
Furlan et al. | Semantic similarity of short texts in languages with a deficient natural language processing support | |
WO2019080863A1 (zh) | 文本情感分类方法、存储介质及计算机 | |
Shutova et al. | Unsupervised metaphor paraphrasing using a vector space model | |
WO2017198031A1 (zh) | 解析语义的方法和装置 | |
JP2015503776A (ja) | テキストを処理してテキストのモデルを構築する方法 | |
CN114722820A (zh) | 基于门控机制和图注意力网络的中文实体关系抽取方法 | |
Ştefănescu et al. | A sentence similarity method based on chunking and information content | |
De Felice et al. | Automatically acquiring models of preposition use | |
CN107451116B (zh) | 一种移动应用内生大数据统计分析方法 | |
CN114547303A (zh) | 基于Bert-LSTM的文本多特征分类方法及装置 | |
CN114282592A (zh) | 一种基于深度学习的行业文本匹配模型方法及装置 | |
CN116227497B (zh) | 一种基于深度神经网络的句子构式分析方法及装置 | |
JP6586055B2 (ja) | 深層格解析装置、深層格学習装置、深層格推定装置、方法、及びプログラム | |
Qi et al. | Preserving knowledge invariance: Rethinking robustness evaluation of open information extraction | |
CN113886521A (zh) | 一种基于相似词汇表的文本关系自动标注方法 | |
Lee | Natural Language Processing: A Textbook with Python Implementation | |
Lopez-Gazpio et al. | iubc at semeval-2016 task 2: Rnns and lstms for interpretable sts |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |