CN113705216A - 依赖关系的检测方法、装置及设备 - Google Patents
依赖关系的检测方法、装置及设备 Download PDFInfo
- Publication number
- CN113705216A CN113705216A CN202111016281.6A CN202111016281A CN113705216A CN 113705216 A CN113705216 A CN 113705216A CN 202111016281 A CN202111016281 A CN 202111016281A CN 113705216 A CN113705216 A CN 113705216A
- Authority
- CN
- China
- Prior art keywords
- target
- training
- detection
- word
- dependency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 457
- 238000012549 training Methods 0.000 claims abstract description 607
- 239000013598 vector Substances 0.000 claims abstract description 121
- 230000001419 dependent effect Effects 0.000 claims abstract description 86
- 238000000034 method Methods 0.000 claims abstract description 75
- 238000004458 analytical method Methods 0.000 claims description 57
- 230000009471 action Effects 0.000 claims description 38
- 238000013507 mapping Methods 0.000 claims description 33
- 238000012546 transfer Methods 0.000 claims description 28
- 238000012545 processing Methods 0.000 claims description 18
- 238000012888 cubic function Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 description 40
- 238000010586 diagram Methods 0.000 description 22
- 230000006870 function Effects 0.000 description 19
- 238000004590 computer program Methods 0.000 description 7
- 238000003058 natural language processing Methods 0.000 description 7
- 230000004913 activation Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 5
- 230000007704 transition Effects 0.000 description 5
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 239000003795 chemical substances by application Substances 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Machine Translation (AREA)
Abstract
本申请提供一种依赖关系的检测方法、装置及设备,该方法包括:基于语句训练数据获取目标训练词语,确定目标训练词语的目标词性,确定目标训练词语与关联训练词语之间的目标依赖关系;确定目标训练词语中每个字的字向量,基于目标训练词语中所有字的字向量之和确定目标训练词语对应的训练词语特征;确定目标词性对应的训练词性特征,确定目标依赖关系对应的训练依赖特征;基于训练词语特征、训练词性特征和训练依赖特征,构建出目标训练特征,基于目标训练特征对初始依存文法模型进行训练,得到已完成训练的目标依存文法模型。通过本申请的技术方案,目标依存文法模型的检测准确率较高,训练后的目标依存文法模型比较小,提高训练准确率。
Description
技术领域
本申请涉及人工智能技术领域,尤其是涉及一种依赖关系的检测方法、装置及设备。
背景技术
机器学习是实现人工智能的一种途径,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习用于研究计算机如何模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习更加注重算法设计,使计算机能够自动地从数据中学习规律,并利用规律对未知数据进行预测。机器学习已经有了十分广泛的应用,如深度学习、数据挖掘、计算机视觉、自然语言处理、生物特征识别、搜索引擎、医学诊断、语音和手写识别等等。
在机器学习技术中,能够使机器理解自然语言是实现人工智能的基础,而为了使机器理解自然语言,在自然语言处理技术中通常会进行句法分析,句法分析对整个句子的理解起到关键性作用,句法分析是指对句子中的词语和语法进行分析。其中,依存文法分析是句法分析的一种主要实现方式,由于结构清晰、易于理解和标注、并且能够捕捉到词语之间的远距离搭配或修饰关系,已经成为句法分析的主要实现方式,广泛应用于自然语言处理的多个领域中。
在依存文法分析中,“依存”就是指句子中两个词语之间的支配与被支配的关系,这种关系对两个词语并不是对等的,在“依存”表示上具有方向,处于支配地位的词语称为支配者,而处于被支配地位的词语称为从属者。
综上所述,依存文法分析是自然语言处理技术的主要实现方式,但是,如何实现依存文法分析,目前并没有合理的实现方式,即,在采用依存文法分析对句子进行分析时,无法得到准确可靠的分析结果,分析准确率并不高。
发明内容
本申请提供一种依赖关系的检测方法,所述方法包括:
获取语句训练数据,所述语句训练数据包括多个训练词语、每个训练词语的词性、至少一个训练组的依赖关系,所述训练组包括两个训练词语;
基于所述语句训练数据,获取目标训练词语,确定所述目标训练词语的目标词性,并确定所述目标训练词语与关联训练词语之间的目标依赖关系;
确定所述目标训练词语中每个字的字向量,基于所述目标训练词语中所有字的字向量之和,确定所述目标训练词语对应的训练词语特征;以及,确定所述目标词性对应的训练词性特征,确定所述目标依赖关系对应的训练依赖特征;
基于所述训练词语特征、所述训练词性特征和所述训练依赖特征,构建出目标训练特征,并基于所述目标训练特征对已配置的初始依存文法模型进行训练,得到已完成训练的目标依存文法模型;其中,所述目标依存文法模型用于检测语句检测数据内的各检测词语之间的依赖关系。
本申请提供一种依赖关系的检测方法,所述方法包括:
获取语句检测数据,所述语句检测数据包括多个检测词语、每个检测词语的词性;基于所述语句检测数据,获取目标检测词语,确定所述目标检测词语的目标词性,确定所述目标检测词语与关联检测词语之间的目标依赖关系;
确定所述目标检测词语中每个字的字向量,基于所述目标检测词语中所有字的字向量之和,确定所述目标检测词语对应的检测词语特征;以及,确定所述目标词性对应的检测词性特征,确定所述目标依赖关系对应的检测依赖特征;
基于所述检测词语特征、所述检测词性特征和所述检测依赖特征,构建出目标检测特征,并将所述目标检测特征输入给已完成训练的目标依存文法模型,得到所述语句检测数据内的两个检测词语之间的依赖关系。
本申请提供一种依赖关系的检测装置,所述装置包括:
获取模块,用于获取语句训练数据,所述语句训练数据包括多个训练词语、每个训练词语的词性、至少一个训练组的依赖关系,所述训练组包括两个训练词语;基于所述语句训练数据,获取目标训练词语,确定所述目标训练词语的目标词性,并确定所述目标训练词语与关联训练词语之间的目标依赖关系;
确定模块,用于确定所述目标训练词语中每个字的字向量,基于所述目标训练词语中所有字的字向量之和,确定所述目标训练词语对应的训练词语特征;确定目标词性对应的训练词性特征,确定目标依赖关系对应的训练依赖特征;
训练模块,用于基于所述训练词语特征、所述训练词性特征和所述训练依赖特征,构建出目标训练特征,并基于所述目标训练特征对已配置的初始依存文法模型进行训练,得到已完成训练的目标依存文法模型;其中,所述目标依存文法模型用于检测语句检测数据内的各检测词语之间的依赖关系。
本申请提供一种依赖关系的检测装置,所述装置包括:
获取模块,用于获取语句检测数据,所述语句检测数据包括多个检测词语、每个检测词语的词性;基于所述语句检测数据,获取目标检测词语,确定目标检测词语的目标词性,确定目标检测词语与关联检测词语之间的目标依赖关系;
确定模块,用于确定所述目标检测词语中每个字的字向量,基于所述目标检测词语中所有字的字向量之和,确定所述目标检测词语对应的检测词语特征;确定目标词性对应的检测词性特征,确定目标依赖关系对应的检测依赖特征;
检测模块,用于基于所述检测词语特征、所述检测词性特征和所述检测依赖特征,构建出目标检测特征,并将所述目标检测特征输入给已完成训练的目标依存文法模型,得到所述语句检测数据内的两个检测词语之间的依赖关系。
本申请提供一种依赖关系的检测设备,包括:处理器和机器可读存储介质,所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令;其中,所述处理器用于执行机器可执行指令,以实现如下步骤:
获取语句训练数据,所述语句训练数据包括多个训练词语、每个训练词语的词性、至少一个训练组的依赖关系,所述训练组包括两个训练词语;
基于所述语句训练数据,获取目标训练词语,确定所述目标训练词语的目标词性,并确定所述目标训练词语与关联训练词语之间的目标依赖关系;
确定所述目标训练词语中每个字的字向量,基于所述目标训练词语中所有字的字向量之和,确定所述目标训练词语对应的训练词语特征;以及,确定所述目标词性对应的训练词性特征,确定所述目标依赖关系对应的训练依赖特征;
基于所述训练词语特征、所述训练词性特征和所述训练依赖特征,构建出目标训练特征,并基于所述目标训练特征对已配置的初始依存文法模型进行训练,得到已完成训练的目标依存文法模型;其中,所述目标依存文法模型用于检测语句检测数据内的各检测词语之间的依赖关系;或者,
获取语句检测数据,所述语句检测数据包括多个检测词语、每个检测词语的词性;基于所述语句检测数据,获取目标检测词语,确定所述目标检测词语的目标词性,确定所述目标检测词语与关联检测词语之间的目标依赖关系;
确定所述目标检测词语中每个字的字向量,基于所述目标检测词语中所有字的字向量之和,确定所述目标检测词语对应的检测词语特征;以及,确定所述目标词性对应的检测词性特征,确定所述目标依赖关系对应的检测依赖特征;
基于所述检测词语特征、所述检测词性特征和所述检测依赖特征,构建出目标检测特征,并将所述目标检测特征输入给已完成训练的目标依存文法模型,得到所述语句检测数据内的两个检测词语之间的依赖关系。
基于上述技术方案,本申请实施例中,可以基于目标训练词语中所有字的字向量之和确定训练词语特征,基于训练词语特征、目标词性对应的训练词性特征、目标依赖关系对应的训练依赖特征对初始依存文法模型进行训练,得到已完成训练的目标依存文法模型。在采用目标依存文法模型检测语句检测数据内的各检测词语之间的依赖关系时,可以得到准确可靠的检测结果,检测准确率很高,即目标依存文法模型的检测准确率较高,从而能够采用依存文法分析对句子进行分析,得到准确可靠的分析结果,分析准确率较高。通过对词语采用字向量相加的形式表示,可以有效提高依存文法的准确率,训练速度快,训练后的目标依存文法模型比较小,提高训练准确率,模型准确率有了较高提升。
附图说明
图1是本申请一种实施方式中的依赖关系的检测方法的流程图;
图2是本申请一种实施方式中的依赖关系的检测方法的流程图;
图3是本申请一种实施方式中的依存文法分析的示意图;
图4是本申请一种实施方式中的依赖关系的检测方法的流程图;
图5是本申请一种实施方式中的语句训练数据的示意图;
图6A是本申请一种实施方式中的针对“词语”的预测过程示意图;
图6B是本申请一种实施方式中的针对“字”的预测过程示意图;
图7是本申请一种实施方式中的依存文法模型的结构示意图;
图8是本申请一种实施方式中的依赖关系的检测方法的流程图;
图9A和图9B是本申请一种实施方式中的依赖关系的检测装置的结构图;
图9C是本申请一种实施方式中的依赖关系的检测设备的结构图。
具体实施方式
在本申请实施例使用的术语仅仅是出于描述特定实施例的目的,而非限制本申请。本申请和权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其它含义。还应当理解,本文中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请实施例可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,此外,所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
本申请实施例中提出一种依赖关系的检测方法,在该检测方法中,可以训练一个目标依存文法模型,基于目标依存文法模型检测语句检测数据内的各检测词语之间的依赖关系,从而得到准确可靠的检测结果,检测准确率很高,即目标依存文法模型的检测准确率较高,目标依存文法模型比较小,从而能够采用依存文法分析对句子进行分析,得到准确可靠的分析结果,分析准确率较高。
本申请实施例中提出的依赖关系的检测方法,可以应用于依赖关系的检测设备,该检测设备可以是任意类型的设备,如智能终端、服务器、笔记本电脑、主机、PC(PersonalComputer,个人计算机)等,对此设备类型不做限制。
本申请实施例中,涉及训练过程和检测过程。在训练过程中,预先构建一个依存文法模型,为区分方便,将该依存文法模型称为初始依存文法模型,并对初始依存文法模型进行训练,得到训练后的依存文法模型,为区分方便,将训练后的依存文法模型称为目标依存文法模型。在检测过程中,基于目标依存文法模型对语句检测数据进行检测,即检测出各检测词语之间的依赖关系。
示例性的,训练过程和检测过程可以由同一执行主体实现,也可以由不同执行主体实现。比如说,设备1执行训练过程得到目标依存文法模型,在得到目标依存文法模型之后,基于目标依存文法模型执行检测过程。又例如,设备1执行训练过程得到目标依存文法模型,在得到目标依存文法模型之后,将目标依存文法模型部署到设备2,设备2基于目标依存文法模型执行检测过程。
针对目标依存文法模型的训练过程,参见图1所示,为本申请实施例中提出的依赖关系的检测方法的流程图,该方法可以包括以下步骤:
步骤101、获取语句训练数据,该语句训练数据包括多个训练词语、每个训练词语的词性、至少一个训练组的依赖关系,该训练组包括两个训练词语。
示例性的,为了区分方便,本申请实施例中,将训练过程的语句数据称为语句训练数据,将训练过程的词语(位于语句训练数据中)称为训练词语。
步骤102、基于该语句训练数据,获取目标训练词语,确定目标训练词语的目标词性,并确定目标训练词语与关联训练词语之间的目标依赖关系。
示例性的,可以采用基于转移的语义依存分析方法,将该语句训练数据切分为多个动作序列,针对每个动作序列来说,该动作序列可以包括转移动作和配置数据,该配置数据可以包括堆栈数据、序列数据和依存结果。其中,该序列数据用于存储该语句训练数据中的多个训练词语,该堆栈数据用于存储从序列数据中取出的训练词语,该依存结果用于存储堆栈数据中的训练词语之间的依赖关系。在此基础上,可以从堆栈数据中选取K1个训练词语作为目标训练词语,并从序列数据中选取K2个训练词语作为目标训练词语。示例性的,K1可以为正整数,K2也可以为正整数,K1与K2可以相同,也可以不同。
示例性的,确定目标训练词语与关联训练词语之间的目标依赖关系,可以包括但不限于:基于配置数据中的依存结果中已存储的训练词语之间的依赖关系,确定目标训练词语与关联训练词语之间的目标依赖关系。
步骤103、确定目标训练词语中每个字的字向量,基于目标训练词语中所有字的字向量之和,确定该目标训练词语对应的训练词语特征。以及,确定目标词性对应的训练词性特征,确定目标依赖关系对应的训练依赖特征。
示例性的,基于目标训练词语中所有字的字向量之和,确定该目标训练词语对应的训练词语特征,可以包括但不限于:基于目标训练词语中所有字的字向量之和,确定所有字的字向量平均值,并基于该字向量平均值确定该目标训练词语对应的训练词语特征,即该字向量平均值作为训练词语特征。
示例性的,确定目标词性对应的训练词性特征,确定目标依赖关系对应的训练依赖特征,可以包括但不限于:通过该目标词性查询词性映射表,得到与该目标词性对应的训练词性特征,并通过该目标依赖关系查询依赖关系映射表,得到与该目标依赖关系对应的训练依赖特征。其中,词性映射表包括词性与词性特征的对应关系,依赖关系映射表包括依赖关系与依赖特征的对应关系。
步骤104、基于该训练词语特征、该训练词性特征和该训练依赖特征,构建出目标训练特征,并基于该目标训练特征对已配置的初始依存文法模型进行训练,得到已完成训练的目标依存文法模型。示例性的,该目标依存文法模型可以用于检测语句检测数据内的各检测词语之间的依赖关系。
示例性的,基于该目标训练特征对已配置的初始依存文法模型进行训练,得到已完成训练的目标依存文法模型,可以包括但不限于:将该目标训练特征输入给初始依存文法模型,由初始依存文法模型采用立方函数对该目标训练特征进行处理,得到目标特征值。基于该目标特征值对初始依存文法模型进行调整,得到调整后的依存文法模型,并确定调整后的依存文法模型是否已收敛。
如果否,则将调整后的依存文法模型作为初始依存文法模型,并返回执行将该目标训练特征输入给初始依存文法模型的操作。如果是,则将调整后的依存文法模型作为目标依存文法模型,即得到已完成训练的目标依存文法模型。
针对目标依存文法模型的检测过程,参见图2所示,为本申请实施例中提出的依赖关系的检测方法的流程图,该方法可以包括以下步骤:
步骤201、获取语句检测数据,该语句检测数据包括多个检测词语、每个检测词语的词性。为了区分方便,本申请实施例中,将检测过程的语句数据称为语句检测数据,将检测过程的词语(位于语句检测数据中)称为检测词语。
步骤202、基于该语句检测数据,获取目标检测词语,确定目标检测词语的目标词性,并确定目标检测词语与关联检测词语之间的目标依赖关系。
示例性的,可以采用基于转移的语义依存分析方法,将该语句检测数据切分为多个动作序列,针对每个动作序列来说,该动作序列可以包括转移动作和配置数据,该配置数据可以包括堆栈数据、序列数据和依存结果。其中,该序列数据用于存储该语句检测数据中的多个检测词语,该堆栈数据用于存储从序列数据中取出的检测词语,该依存结果用于存储堆栈数据中的检测词语之间的依赖关系。在此基础上,可以从堆栈数据中选取K1个检测词语作为目标检测词语,并从序列数据中选取K2个检测词语作为目标检测词语。示例性的,K1可以为正整数,K2也可以为正整数,K1与K2可以相同,也可以不同。
示例性的,确定目标检测词语与关联检测词语之间的目标依赖关系,可以包括但不限于:基于配置数据中的依存结果中已存储的检测词语之间的依赖关系,确定目标检测词语与关联检测词语之间的目标依赖关系。
步骤203、确定目标检测词语中每个字的字向量,基于目标检测词语中所有字的字向量之和,确定该目标检测词语对应的检测词语特征。以及,确定目标词性对应的检测词性特征,确定目标依赖关系对应的检测依赖特征。
示例性的,基于目标检测词语中所有字的字向量之和,确定该目标检测词语对应的检测词语特征,可以包括但不限于:基于目标检测词语中所有字的字向量之和,确定所有字的字向量平均值,并基于该字向量平均值确定该目标检测词语对应的检测词语特征,即该字向量平均值作为检测词语特征。
示例性的,确定目标词性对应的检测词性特征,确定目标依赖关系对应的检测依赖特征,可以包括但不限于:通过该目标词性查询词性映射表,得到与该目标词性对应的检测词性特征,并通过该目标依赖关系查询依赖关系映射表,得到与该目标依赖关系对应的检测依赖特征。其中,词性映射表包括词性与词性特征的对应关系,依赖关系映射表包括依赖关系与依赖特征的对应关系。
步骤204、基于该检测词语特征、该检测词性特征和该检测依赖特征,构建出目标检测特征,并将该目标检测特征输入给已完成训练的目标依存文法模型,得到该语句检测数据内的两个检测词语之间的依赖关系。
示例性的,可以将该目标检测特征输入给目标依存文法模型,由目标依存文法模型采用立方函数对该目标检测特征进行处理,得到目标特征值。通过目标依存文法模型对该目标特征值进行分类处理,得到M个类别分别对应的置信度;其中,M可以为正整数,且每个类别对应一种依赖关系。在此基础上,可以确定M个置信度中的最大置信度,并将最大置信度对应的类别对应的依赖关系,确定为该语句检测数据内的两个检测词语之间的依赖关系。
基于上述技术方案,本申请实施例中,可以基于目标训练词语中所有字的字向量之和确定训练词语特征,基于训练词语特征、目标词性对应的训练词性特征、目标依赖关系对应的训练依赖特征对初始依存文法模型进行训练,得到已完成训练的目标依存文法模型。在采用目标依存文法模型检测语句检测数据内的各检测词语之间的依赖关系时,可以得到准确可靠的检测结果,检测准确率很高,即目标依存文法模型的检测准确率较高,从而能够采用依存文法分析对句子进行分析,得到准确可靠的分析结果,分析准确率较高。通过对词语采用字向量相加的形式表示,可以有效提高依存文法的准确率,训练速度快,训练后的目标依存文法模型比较小,提高训练准确率,模型准确率有了较高提升。
以下结合具体应用场景,对本申请实施例的技术方案进行说明。
在自然语言处理技术中,句法分析对整个句子的理解起到关键性作用,依存文法分析是句法分析的主要实现方式,由于结构清晰、易于理解和标注、并且能够捕捉到词语之间的远距离搭配或修饰关系,已经成为句法分析的主要实现方式,广泛应用于自然语言处理的多个领域中。在依存文法分析中,“依存”就是指句子中两个词语之间的支配与被支配的关系,这种关系对两个词语并不是对等的,在“依存”表示上具有方向,处于支配地位的词语称为支配者,而处于被支配地位的词语称为从属者。参见图3所示,为依存文法分析的示意图,示出了两个词语之间的依赖关系,箭头方向由支配者(即支配词语)指向从属者(即从属词语)。从图3可以看出,“是”与“北京”之间的依赖关系是SBV(即主谓关系),“是”作为支配者,“北京”作为从属者。“是”与“首都”之间的依赖关系是VOB(即动宾关系),“是”作为支配者,“首都”作为从属者。“的”与“中国”之间的依赖关系是DE(即限定关系),“的”作为支配者,“中国”作为从属者。“首都”与“的”之间的依赖关系是ATT(即定中关系),“首都”作为支配者,“的”作为从属者。从图3可以看出,每个词语最多只作为一次从属者,但是,每个词语可以作为多次支配者。
综上所述,依存文法分析是自然语言处理技术的主要实现方式,但是,如何实现依存文法分析,目前并没有合理的实现方式,即,在采用依存文法分析对句子进行分析时,无法得到准确可靠的分析结果,分析准确率并不高。
针对上述问题,本申请实施例中提出一种依赖关系的检测方法,可以训练一个目标依存文法模型,基于目标依存文法模型检测语句检测数据内的各检测词语之间的依赖关系,从而得到准确可靠的检测结果,检测准确率很高,即目标依存文法模型的检测准确率较高,目标依存文法模型比较小,从而能够采用依存文法分析对句子进行分析,得到准确可靠的分析结果,分析准确率较高。
本申请实施例中,可以涉及训练过程和检测过程,在训练过程中,预先构建一个初始依存文法模型,并对初始依存文法模型进行训练,得到训练后的目标依存文法模型。参见图4所示,为本申请实施例的训练过程的示意图。
步骤401、获取语句训练数据,该语句训练数据包括多个训练词语、每个训练词语的词性、至少一个训练组的依赖关系,该训练组包括两个训练词语。
参见图5所示,为语句训练数据的示意图,该语句训练数据是“北京是中国的首都”,该语句训练数据可以包括训练词语(即词汇)、词性、位置编号和依赖关系(即多个训练组的依赖关系,每个训练组包括两个训练词语)。
其中,该语句训练数据可以包括如下训练词语:“北京”、“是”、“中国”、“的”、“首都”。在该语句训练数据中,位置编号用于表示训练词语是所有训练词语中的第几个训练词语,如“北京”的位置编号是“0”,表示第一个训练词语,“是”的位置编号是“1”,表示第二个训练词语,“中国”的位置编号是“2”,表示第三个训练词语,“的”的位置编号是“3”,表示第四个训练词语,“首都”的位置编号是“4”,表示第五个训练词语。
其中,在该语句训练数据中,还可以包括每个训练词语的词性,比如说,“北京”的词性是“名词”,“是”的词性是“动词”,“中国”的词性是“名词”,“的”的词性是“助词”,“首都”的词性是“名词”。
其中,在该语句训练数据中,还可以包括两个训练词语之间的依赖关系,比如说,“是”与“北京”之间的依赖关系是SBV(即主谓关系),“是”与“首都”之间的依赖关系是VOB(即动宾关系),“的”与“中国”之间的依赖关系是DE(即限定关系),“首都”与“的”之间的依赖关系是ATT(即定中关系)。当然,上述只是示出了几种依赖关系,如SBV、VOB、DE和ATT等,在实际应用中,还可以有其它类型的依赖关系,如IOB(即间宾关系)、CMP(即动补结构)、HED(即核心关系)等,对此依赖关系不做限制。
步骤402、基于该语句训练数据,获取目标训练词语,确定目标训练词语的目标词性,并确定目标训练词语与关联训练词语之间的目标依赖关系。
示例性的,可以将语句训练数据中的训练词语(如至少一个训练词语)作为目标训练词语,例如,可以将“北京”、“是”、“中国”、“的”、“首都”中的任意训练词语作为目标训练词语。例如,可以将“北京”作为目标训练词语,在此情况下,目标训练词语的目标词性是“名词”,由于“是”与“北京”之间存在依赖关系,因此,目标训练词语的关联训练词语为“是”,且目标训练词语与关联训练词语之间的目标依赖关系是“SBV”。又例如,可以将“中国”作为目标训练词语,在此情况下,目标训练词语的目标词性是“名词”,由于“的”与“中国”之间存在依赖关系,因此,目标训练词语的关联训练词语为“的”,且目标训练词语与关联训练词语之间的目标依赖关系是“DE”。
在一种可能的实施方式中,可以采用基于转移的语义依存分析方法,获取目标训练词语,确定目标训练词语的目标词性,并确定目标训练词语与关联训练词语之间的目标依赖关系,以下对基于转移的语义依存分析方法进行说明。
可以采用基于转移的语义依存分析方法,将语句训练数据切分为多个动作序列,针对每个动作序列来说,该动作序列可以包括转移动作和配置数据,该配置数据可以包括堆栈数据、序列数据和依存结果。其中,该序列数据用于存储语句训练数据中的多个训练词语,该堆栈数据用于存储从序列数据中取出的训练词语,该依存结果用于存储堆栈数据中的训练词语之间的依赖关系。
比如说,针对语句训练数据“北京是中国的首都”来说,可以采用基于转移的语义依存分析方法,将语句训练数据切分为表1所示的多个动作序列,表1的每一行就表示一个动作序列,该动作序列可以包括转移动作(transition)、堆栈数据S、序列数据B(即节点序列B)和依存结果A,且堆栈数据S、序列数据B、依存结果A组成配置数据(configuration)。其中,序列数据B用于存储多个训练词语,且依次将序列数据B中的训练词语取出,放入堆栈数据S,堆栈数据S用于存储从序列数据中取出的训练词语,ROOT表示虚拟根节点,简称虚根,依存结果A用于存储堆栈数据S中的训练词语之间的依赖关系。
表1
转移动作 | 堆栈数据S | 序列数据B | 依存结果A |
[ROOT] | [北京/是/中国/的/首都] | 空集 | |
SHIFT | [ROOT北京] | [是/中国/的/首都] | |
SHIFT | [ROOT北京/是] | [中国/的/首都] | |
left-ARC(SBV) | [ROOT是] | [中国/的/首都] | A∪SBV(是,北京) |
SHIFT | [ROOT是/中国] | [的/首都] | |
SHIFT | [ROOT是/中国/的] | [首都] | |
left-ARC(DE) | [ROOT是/的] | [首都] | A∪DE(的,中国) |
SHIFT | [ROOT是/的/首都] | [.] | |
left-ARC(ATT) | [ROOT是/首都] | [.] | A∪ATT(首都,的) |
right-ARC(VOB) | [ROOT是] | [.] | A∪VOB(是,首都) |
right-ARC(ROOT) | [ROOT] | [.] | A∪(ROOT,是) |
示例性的,可以采用基于转移的语义依存分析方法,对语句训练数据“北京是中国的首都”进行序列化的切分,切分为一行行配置数据(configuration)和转移动作(transition)的组合,参见表1所述,每一行称为一个动作序列。然后,从配置数据中提取特征作为模型的输入,预测词语之间的依赖关系。
参见表1所述,以第4行的动作序列为例,那么,转移动作(transition)可以是“LEFT-ARC(SBV)”,配置数据(configuration)可以包括堆栈数据S、序列数据B和依存结果A,其中,堆栈数据S可以是“[ROOT是]”,序列数据B可以是“[中国/的/首都]”,依存结果A可以是“A∪SBV(是,北京)”。
以下结合具体应用场景,对基于转移的语义依存分析方法进行说明,当然,如下描述只是示例,对此基于转移的语义依存分析方法不做限制,只要能够得到配置数据,且配置数据包括栈数据S、序列数据B、依存结果A即可。
示例性的,配置数据(configuration)可以表示为:c=(s,b,A),s表示一个栈(stack),即堆栈数据S,b表示一个缓存队列(buffer),即序列数据B,A表示一个当前已经得到的依赖弧线集合(dependency arcs),即依存结果A。
假设一个语句训练数据为w1,w2,...wn,wn为该语句训练数据中的训练词语,那么,在初始状态下,针对配置数据来说,s=[ROOT],b=[w1,w2,...wn],A=Φ。如果序列数据B中已经为空,且s=[ROOT],则表示已经是最后一个配置数据,即终点状态,此时需要结束整个决策过程,即完成配置数据的划分。
转移动作(transition)可以有三种状态,分别为:LEFT-ARC,RIGHT-ARC,SHIFT。下面进行详细说明,可以使用Si代表堆栈数据S(即stack)的第几个元素(堆栈数据S先进后出,是按出的顺序算第几个),用bi对应序列数据B(buffer)中的第几个元素(序列数据B先进先出,是按出的顺序算第几个),则:
LEFT-ARC(l):当堆栈数据S中的元素个数大于等于2时,可以添加一个dependencyarc(依赖弧,即依赖关系)为S1→S2,并且,该dependency arc对应的依赖关系(label)为l,然后,可以将S2从堆栈数据S中移除。
RIGHT-ARC(l):当堆栈数据S中的元素个数大于等于2时,可以添加一个dependency arc(依赖弧,即依赖关系)为S2→S1,并且,该dependency arc对应的依赖关系(label)为l,然后,可以将S1从堆栈数据S中移除。
SHIFT:当序列数据B(即buffer)中的元素个数大于等于1时,可以将b1从序列数据B中移除,并将其添加到堆栈数据S(即stack)中。
Nl代表依赖关系总共有l的种类数,那么,在一个configuration对应的transition有2Nl+1种,也就是说,每一步决策都是一个2Nl+1分类问题。
在此基础上,基于表1所示的每一行配置数据,可以从堆栈数据S中选取K1个训练词语作为目标训练词语,并从序列数据B中选取K2个训练词语作为目标训练词语,K1可以为正整数,K2也可以为正整数,K1与K2可以相同,也可以不同。关于如何选取训练词语作为目标训练词语,参见后续实施例。
示例性的,在得到目标训练词语之后,参见图5所示,由于每个训练词语均具有词性,因此,可以将该目标训练词语的词性作为目标词性。
示例性的,基于表1所示的每一行配置数据,可以从依存结果A中选取依赖关系,作为目标训练词语与关联训练词语之间的目标依赖关系。比如说,在从第4行配置数据(如堆栈数据S和序列数据B)中选取训练词语作为目标训练词语时,就从第4行配置数据的依存结果A中选取依赖关系作为目标依赖关系,在从第5行配置数据中选取训练词语作为目标训练词语时,就从第5行配置数据的依存结果A中选取依赖关系作为目标依赖关系,以此类推。
步骤403、确定目标训练词语中每个字的字向量,基于目标训练词语中所有字的字向量之和,确定该目标训练词语对应的训练词语特征。比如说,基于所有字的字向量之和确定所有字的字向量平均值,并基于该字向量平均值确定该目标训练词语对应的训练词语特征,即该字向量平均值作为训练词语特征。
在一种可能的实施方式中,基于表1所示的每一行配置数据,可以确定出与该行配置数据对应的训练词语特征,即每一行配置数据对应一组训练词语特征,假设目标训练词语的数量为M,则每一行配置数据对应M个训练词语特征。
为了方便描述,以每一行配置数据对应18个训练词语特征为例,即M的取值为18,当然,每一行配置数据对应的训练词语特征还可以为如下18个训练词语特征的部分,或者,还可以对应其它训练词语特征,对此不做限制。
S1.w,S2.w,S3.w,b1.w,b2.w,b3.w,lc1(S1).w,lc1(S2).w,rc1(S1).w,rc1(S2).w,
lc2(S1).w,lc2(S2).w,rc2(S1).w,rc2(S2).w,lc1(lc1(S1)).w,lc1(lc1(S2)).w,
rc1(rc1(S1)).w,rc1(rc1(S2)).w
以下结合表2(即表1的第三行),对上述18个训练词语特征进行说明。
表2
转移动作 | 堆栈数据S | 序列数据B | 依存结果A |
SHIFT | [ROOT北京/是] | [中国/的/首都] |
在上述18个训练词语特征中,w表示词语,即代表相应位置的词语。S1.w表示堆栈数据S中的第一个词语(从右到左的顺序)对应的训练词语特征,即堆栈数据S中的第一个词语作为目标训练词语,即表2中的“是”。S2.w表示堆栈数据S中的第二个词语对应的训练词语特征,即堆栈数据S中的第二个词语作为目标训练词语,即表2中的“北京”。S3.w表示堆栈数据S中的第三个词语对应的训练词语特征,即堆栈数据S中的第三个词语作为目标训练词语,即表2中的“ROOT”。在实际应用中,当相应位置没有词语时,使用“None”表示。
b1.w表示序列数据B中第一个词语(从左到右的顺序)对应的训练词语特征,即序列数据B中第一个词语作为目标训练词语,表2中的“中国”。b2.w表示序列数据B中第二个词语对应的训练词语特征,即序列数据B中第二个词语作为目标训练词语,表2中的“的”。b3.w表示序列数据B中第三个词语对应的训练词语特征,即序列数据B中第三个词语作为目标训练词语,表2中的“首都”。
示例性的,lc1表示left-most children,是位于词语左边的第一个词语,rc1表示right-most children,是位于词语右边的第一个词语,lc2表示位于词语左边的第二个词语,rc2表示位于词语右边的第二个词语,在此基础上:
lc1(S1).w表示堆栈数据S中的第一个词语左边的第一个词语对应的训练词语特征,即堆栈数据S中的第一个词语左边的第一个词语作为目标训练词语,即表2中的“北京”。此外,lc1(S2).w表示堆栈数据S中的第二个词语左边的第一个词语对应的训练词语特征,即堆栈数据S中的第二个词语左边的第一个词语作为目标训练词语,即表2中的“ROOT”。此外,rc1(S1).w表示堆栈数据S中的第一个词语右边的第一个词语对应的训练词语特征,即堆栈数据S中的第一个词语右边的第一个词语作为目标训练词语,即“None”。此外,rc1(S2).w表示堆栈数据S中的第二个词语右边的第一个词语对应的训练词语特征,即堆栈数据S中的第二个词语右边的第一个词语作为目标训练词语,即表2中的“是”。
lc2(S1).w表示堆栈数据S中的第一个词语左边的第二个词语对应的训练词语特征,lc2(S2).w表示堆栈数据S中的第二个词语左边的第二个词语对应的训练词语特征,rc2(S1).w表示堆栈数据S中的第一个词语右边的第二个词语对应的训练词语特征,rc2(S2).w表示堆栈数据S中的第二个词语右边的第二个词语对应的训练词语特征。lc1(lc1(S1)).w表示候选词语(堆栈数据S中的第一个词语左边的第一个词语)左边的第一个词语,lc1(lc1(S2)).w表示候选词语(堆栈数据S中的第二个词语左边的第一个词语)左边的第一个词语,rc1(rc1(S1)).w表示候选词语(堆栈数据S中的第一个词语右边的第一个词语)右边的第一个词语,rc1(rc1(S2)).w表示候选词语(堆栈数据S中的第二个词语右边的第一个词语)右边的第一个词语。
综上所述,示出了18个目标训练词语,这些目标训练词语可以是从堆栈数据S和序列数据B中选取,针对每个目标训练词语,可以确定该目标训练词语对应的训练词语特征,即18个目标训练词语一共对应18个训练词语特征,即上述18个训练词语特征。以下对训练词语特征的确定过程进行说明。
首先,可以预先存储字向量文件,该字向量文件可以采用CBOW(Continuous Bagof Word,连续词袋)算法训练得到,也可以采用其它算法训练得到,对此字向量文件的训练过程不做限制。该字向量文件包括“字”与“字向量”的映射关系,即该字向量文件的输入是“字”,该字向量文件的输出是“字向量”。
比如说,针对字向量文件中的每个“字”来说,可以对应1*100维的一个“字向量”,当然,也可以对应其它维度的“字向量”,对此不做限制。
其次,针对目标训练词语中的每个字,通过查询字向量文件,就可以得到与这个字对应的字向量,从而确定目标训练词语中的每个字的字向量。比如说,针对目标训练词语“北京”来说,包括“北”和“京”,通过查询字向量文件,得到“北”对应的字向量、“京”对应的字向量。例如,针对目标训练词语“是”来说,可以包括“是”,通过查询字向量文件,得到“是”对应的字向量。
其次,针对目标训练词语来说,若该目标训练词语只包括一个字,则将这个字对应的字向量作文该目标训练词语对应的训练词语特征。比如说,针对目标训练词语“是”来说,将“是”对应的字向量作为训练词语特征。
针对目标训练词语来说,若该目标训练词语包括至少两个字,则基于所有字的字向量之和,确定该目标训练词语对应的训练词语特征,也就是说,将所有字的字向量平均值作为训练词语特征。比如说,针对目标训练词语“北京”来说,可以将“北”对应的字向量和“京”对应的字向量的字向量平均值作为训练词语特征,即“北”对应的字向量与“京”对应的字向量之和,除以2。
综上所述,本实施例中,可以采用字向量相加的形式表示目标训练词语的训练词语特征,参见如下公式所示,为目标训练词语的训练词语特征示例:
比如说,针对目标训练词语“北京”来说,n的取值是2,j的取值范围是1-2,当j的取值是1时,则vj表示“北”对应的字向量,当j的取值是2时,则vj表示“京”对应的字向量,即“北”对应的字向量与“京”对应的字向量之和除以2,就是目标训练词语“北京”对应的训练词语特征
综上所述,本实施例中,将针对“词语”的预测过程(参见图6A所示),优化为针对“字”的预测过程(参见图6B所示),提高预测准确性。
步骤404、确定目标训练词语对应的目标词性对应的训练词性特征。
参见步骤403所示,可以得到M个目标训练词语,以M的取值为18为例,则18个目标训练词语就对应18个目标词性,即每个目标训练词语对应一个目标词性,比如说,这些目标词性对应的训练词性特征可以表示为:
S1.t,S2.t,S3.t,b1.t,b2.t,b3.t,lc1(S1).t,lc1(S2).t,rc1(S1).t,rc1(S2).t,
lc2(S1).t,lc2(S2).t,rc2(S1).t,rc2(S2).t,lc1(lc1(S1)).t,lc1(lc1(S2)).t,
rc1(rc1(S1)).t,rc1(rc1(S2)).t
在上述18个训练词性特征中,t表示词性,即代表相应位置的词语的词性。S1.t表示堆栈数据S中的第一个词语(即目标训练词语)对应的训练词性特征,S2.t表示堆栈数据S中的第二个词语对应的训练词性特征,S3.t表示堆栈数据S中的第三个词语对应的训练词性特征,b1.t表示序列数据B中第一个词语对应的训练词性特征,b2.t表示序列数据B中第二个词语对应的训练词性特征,b3.t表示序列数据B中第三个词语对应的训练词性特征,lc1(S1).t表示堆栈数据S中的第一个词语左边的第一个词语对应的训练词性特征,以此类推,关于其它目标训练词语对应的训练词性特征,在此不再赘述,可以参见步骤403所示。
综上所述,示出了18个目标训练词语,这些目标训练词语可以是从堆栈数据S和序列数据B中选取,针对每个目标训练词语,可以确定该目标训练词语对应的训练词性特征,即18个目标训练词语一共对应18个训练词性特征,即上述18个训练词性特征。以下对训练词性特征的确定过程进行说明。
首先,可以预先存储词性映射表(即词性特征文件),该词性映射表可以包括词性与词性特征的对应关系。比如说,针对每种词性(如名词、动词、助词、形容词等)来说,可以为该词性随机生成词性特征,该词性特征可以是1*100维的特征,也可以是其它维度的特征,对此生成方式不做限制。
其次,针对每个目标词性(如18个目标训练词语对应的18个目标词性)来说,可以通过该目标词性查询该词性映射表,得到与该目标词性对应的训练词性特征,显然,18个目标词性就可以对应18个训练词性特征。
步骤405、确定目标训练词语对应的目标依赖关系对应的训练依赖特征。
在一种可能的实施方式中,基于表1所示的每一行配置数据,可以确定出与该行配置数据对应的训练依赖特征,即每一行配置数据对应一组训练依赖特征,假设训练依赖特征的数量为N,则可以得到N个训练依赖特征。为了方便描述,以N的取值为12为例,当然,每一行配置数据对应的训练依赖特征还可以为如下特征的部分,或者,还可以对应其它训练依赖特征,对此不做限制。
lc1(S1).l,lc1(S2).l,rc1(S1).l,rc1(S2).l,lc2(S1).l,lc2(S2).l,rc2(S1).l,
rc2(S2).l,lc1(lc1(S1)).l,lc1(lc1(S2)).l,rc1(rc1(S1)).l,rc1(rc1(S2)).l
在上述12个训练依赖特征中,l表示词语之间的依赖关系,即目标训练词语与关联训练词语之间的目标依赖关系。比如说,lc1(S1).l表示S1.w与lc1(S1).w之间的目标依赖关系对应的训练依赖特征,S1.w表示堆栈数据S中的第一个词语(即目标训练词语),lc1(S1).w表示堆栈数据S中的第一个词语左边的第一个词语(即关联训练词语)。此外,lc1(S2).l表示S2.w与lc1(S2).w之间的目标依赖关系对应的训练依赖特征,以此类推,关于其它目标依赖关系对应的训练依赖特征,在此不再重复赘述,相关目标训练词语/关联训练词语的含义可以参见步骤403。
综上,示出了12个训练依赖特征,以下对训练依赖特征的确定进行说明。
首先,可以预先存储依赖关系映射表(即依赖关系特征文件),该依赖关系映射表可以包括依赖关系与依赖特征之间的对应关系。比如说,针对每种依赖关系(如SBV、VOB、DE、ATT、IOB、CMP、HED等)来说,可以为该依赖关系随机生成依赖特征,该依赖特征可以是1*100维的依赖特征,也可以是其它维度的依赖特征,对此依赖特征的生成方式不做限制。
其次,针对每个目标依赖关系(如12个目标依赖关系)来说,可以通过该目标依赖关系查询该依赖关系映射表,得到与该目标依赖关系对应的训练依赖特征,显然,12个目标依赖关系就可以对应12个训练依赖特征。
步骤406、基于训练词语特征、训练词性特征和训练依赖特征,构建出目标训练特征,也就是说,可以将该训练词语特征、该训练词性特征和该训练依赖特征组合起来,得到目标训练特征。比如说,可以将18个训练词语特征、18个训练词性特征和12个训练依赖特征组合起来,得到48个目标训练特征。
步骤407,基于该目标训练特征对已配置的初始依存文法模型进行训练,得到已完成训练的目标依存文法模型。示例性的,该目标依存文法模型可以用于检测语句检测数据内的各检测词语之间的依赖关系,检测过程参见后续实施例。
示例性的,针对步骤407来说,可以采用如下步骤实现训练过程:
步骤4071、获取已配置的初始依存文法模型,该初始依存文法模型可以根据经验任意配置,对此初始依存文法模型不做限制,如可以是基于深度学习的初始依存文法模型,也可以是基于神经网络的初始依存文法模型。
参见图7所示,是初始依存文法模型的结构示意图,该初始依存文法模型可以包括输入层(Input layer)、隐藏层(Hidden layer)和软最大层(Soft max layer),Soft maxlayer的作用是将分类网络结果概率统计化。当然,在实际应用中,初始依存文法模型还可以包括其它类型的网络层,对此不做限制。
步骤4072、将目标训练特征输入给初始依存文法模型。
示例性的,目标训练特征可以作为初始依存文法模型的输入层的输入数据,将目标训练特征输入给初始依存文法模型的输入层,即18个训练词语特征、18个训练词性特征和12个训练依赖特征,作为输入层的输入数据。
步骤4073、通过初始依存文法模型采用激活函数(激活函数可以是立方函数,也可以是其它类型的函数)对目标训练特征进行处理,得到目标特征值。
示例性的,初始依存文法模型的输入层可以将目标训练特征输入给初始依存文法模型的隐藏层,而隐藏层可以采用激活函数对目标训练特征进行处理,得到目标特征值。比如说,隐藏层的激活函数可以采用立方函数,当然,立方函数只是示例,立方函数可以拟合上述48种特征(18个训练词语特征、18个训练词性特征和12个训练依赖特征)的各种组合,参见如下公式所示:
在上述公式中,x1、x2...xm表示上述48种特征,即m的取值是48,w1、w2、…、wm和b是初始依存文法模型的隐藏层的网络参数,是需要进行优化的参数,在初始依存文法模型的调整过程中,就是对这些网络参数进行调整。xixjxk指的就是拟合后的特征组合之一,换句话说,就是这个三次方的公式可以将这48种特征中每三个特征做一个组合,三次方公式展开后可以包含所有的组合。
显然,将x1、x2...xm等48种特征代入上述公式,就可以得到目标特征值h。
步骤4074、基于该目标特征值对初始依存文法模型进行调整,得到调整后的依存文法模型。比如说,可以预先构建损失函数,对此损失函数不做限制,可以根据经验配置。其中,该损失函数的输入是目标特征值,该损失函数的输出是损失值,因此,在将目标特征值代入该损失函数之后,就可以得到损失值,并基于该损失值对初始依存文法模型的网络参数进行调整,得到调整后的依存文法模型,对此调整方式不做限制,如采用梯度下降法等。
步骤4075、确定调整后的依存文法模型是否已收敛。
如果否,则执行步骤4076,如果是,则执行步骤4077。
比如说,若基于目标特征值确定的损失值已小于阈值,则确定调整后的依存文法模型已收敛,否则,确定调整后的依存文法模型未收敛。
又例如,若依存文法模型的迭代次数达到预设次数阈值,则确定调整后的依存文法模型已收敛,否则,确定调整后的依存文法模型未收敛。
又例如,若依存文法模型的迭代时长达到预设时长阈值,则确定调整后的依存文法模型已收敛,否则,确定调整后的依存文法模型未收敛。
当然,上述只是几个示例,对此是否已收敛的确定方式不做限制。
步骤4076、将调整后的依存文法模型作为初始依存文法模型,返回步骤4072,也就是说,将目标训练特征输入给调整后的初始依存文法模型。
步骤4077、将调整后的依存文法模型作为已完成训练的目标依存文法模型。
至此,完成训练过程,得到已完成训练的目标依存文法模型。
本申请实施例中,可以涉及训练过程和检测过程,在检测过程中,可以基于目标依存文法模型对语句检测数据进行检测,即检测出各检测词语之间的依赖关系。参见图8所示,为本申请实施例的检测过程的示意图。
步骤801、获取语句检测数据,该语句检测数据包括多个检测词语、每个检测词语的词性。比如说,获取需要检测依赖关系的语句检测数据,并采用分词方式对语句检测数据进行分词,得到多个检测词语、每个检测词语的词性。
以语句检测数据是“北京是中国的首都”为例,该语句检测数据包括如下检测词语:“北京”、“是”、“中国”、“的”、“首都”。每个检测词语的词性包括:“北京”的词性是“名词”,“是”的词性是“动词”,“中国”的词性是“名词”,“的”的词性是“助词”,“首都”的词性是“名词”。
步骤802、基于该语句检测数据,获取目标检测词语,确定目标检测词语的目标词性,并确定目标检测词语与关联检测词语之间的目标依赖关系。
在一种可能的实施方式中,可以采用基于转移的语义依存分析方法,获取目标检测词语,确定目标检测词语的目标词性,并确定目标检测词语与关联检测词语之间的目标依赖关系,以下对基于转移的语义依存分析方法进行说明。
可以采用基于转移的语义依存分析方法,将语句检测数据切分为多个动作序列,针对每个动作序列来说,该动作序列可以包括转移动作和配置数据,该配置数据可以包括堆栈数据、序列数据和依存结果。其中,该序列数据用于存储语句检测数据中的多个检测词语,该堆栈数据用于存储从序列数据中取出的检测词语,该依存结果用于存储堆栈数据中的检测词语之间的依赖关系。
比如说,针对语句检测数据“北京是中国的首都”来说,可以采用基于转移的语义依存分析方法,将语句检测数据切分为表1所示的多个动作序列,表1的每一行就表示一个动作序列,该动作序列可以包括转移动作、堆栈数据S、序列数据B和依存结果A,且堆栈数据S、序列数据B、依存结果A组成配置数据。其中,序列数据B用于存储多个检测词语,且依次将序列数据B中的检测词语取出,放入堆栈数据S,堆栈数据S用于存储从序列数据中取出的检测词语,依存结果A用于存储堆栈数据S中的检测词语之间的依赖关系。
在将语句检测数据切分为表1所示的多个动作序列时,与步骤402不同的是,在步骤402中,关于依存结果A中的依赖关系,可以从语句训练数据中获取,如“是”与“北京”之间的依赖关系“SBV”是从语句训练数据中,但是,在步骤802中,无法从语句检测数据中获取到依赖关系,因此,是将当前配置数据的上一条配置数据对应的依赖关系(即目标依存文法模型的检测结果)作为当前配置数据对应的依赖关系,存储到依存结果A中,以下对此进行说明。
针对第一行配置数据,依存结果A为空集,基于第一行配置数据执行步骤802-步骤807,得到检测词语之间的依赖关系,将该依赖关系存储到第二行配置数据的依存结果A中。针对第二行配置数据,依存结果A为第一行配置数据对应的依赖关系,基于第二行配置数据执行步骤802-步骤807,得到检测词语之间的依赖关系,将该依赖关系存储到第三行配置数据的依存结果A中,以此类推。
基于表1所示的每一行配置数据,可以从堆栈数据S中选取K1个检测词语作为目标检测词语,并从序列数据B中选取K2个检测词语作为目标检测词语,K1可以为正整数,K2也可以为正整数,K1与K2可以相同,也可以不同。
示例性的,在得到目标检测词语之后,由于每个检测词语均具有词性,因此,可以将该目标检测词语的词性作为目标词性。此外,基于表1所示的每一行配置数据,可以从依存结果A中选取依赖关系,作为目标检测词语与关联检测词语之间的目标依赖关系。比如说,在从第4行配置数据(如堆栈数据S和序列数据B)中选取检测词语作为目标检测词语时,就可以从第4行配置数据的依存结果A中选取依赖关系作为目标依赖关系,以此类推。
步骤803、确定目标检测词语中每个字的字向量,基于目标检测词语中所有字的字向量之和,确定该目标检测词语对应的检测词语特征。比如说,基于所有字的字向量之和确定所有字的字向量平均值,并基于该字向量平均值确定该目标检测词语对应的检测词语特征,即该字向量平均值作为检测词语特征。
示例性的,步骤803的实现过程可以参见步骤403,在此不再赘述。
步骤804、确定目标检测词语对应的目标词性对应的检测词性特征。
比如说,通过该目标词性查询词性映射表,得到与该目标词性对应的检测词性特征,其中,该词性映射表包括词性与词性特征的对应关系。
示例性的,步骤804的实现过程可以参见步骤404,在此不再赘述。
步骤805、确定目标检测词语对应的目标依赖关系对应的检测依赖特征。
比如说,通过该目标依赖关系查询依赖关系映射表,得到与该目标依赖关系对应的检测依赖特征,依赖关系映射表包括依赖关系与依赖特征的对应关系。
示例性的,步骤805的实现过程可以参见步骤405,在此不再赘述。
步骤806、基于检测词语特征、检测词性特征和检测依赖特征,构建出目标检测特征,也就是说,可以将该检测词语特征、该检测词性特征和该检测依赖特征组合起来,得到目标检测特征。比如说,可以将18个检测词语特征、18个检测词性特征和12个检测依赖特征组合起来,得到48个目标检测特征。
步骤807、将该目标检测特征输入给已完成训练的目标依存文法模型,得到该语句检测数据内的两个检测词语之间的依赖关系。
示例性的,针对步骤807来说,可以采用如下步骤实现检测过程:
步骤8071、获取已完成训练的目标依存文法模型。参见图7所示,是目标依存文法模型的结构示意图,该目标依存文法模型可以包括但不限于输入层(Input layer)、隐藏层(Hidden layer)和软最大层(Soft max layer)。
步骤8072、将目标检测特征输入给目标依存文法模型。
步骤8073、通过目标依存文法模型采用激活函数(激活函数可以是立方函数,也可以是其它类型的函数)对目标检测特征进行处理,得到目标特征值。
示例性的,目标依存文法模型的输入层可以将目标检测特征输入给隐藏层,而隐藏层可以采用立方函数对目标检测特征进行处理,得到目标特征值h。
步骤8074、通过目标依存文法模型对该目标特征值进行分类处理,得到M个类别分别对应的置信度;M为正整数,且每个类别对应一种依赖关系。
示例性的,目标依存文法模型的隐藏层在得到目标特征值h之后,可以将目标特征值h输入给Soft max layer(软最大层),Soft max layer的作用是将分类网络结果概率统计化,因此,Soft max layer可以基于该目标特征值进行分类处理。加锁目标依存文法模型用于给出M个类别(如SBV、VOB、DE、ATT、IOB、CMP、HED等)的依赖关系,则Soft max layer可以输出M个类别分别对应的置信度,即输出M个置信度,且每个类别对应一种依赖关系。
在上述实施例中,输入层到隐藏层为全连接层,在隐藏层的后面加上全连接层和Soft max layer,Soft max layer输出属于2Nl+1中某一种的概率。
步骤8075、确定M个置信度中的最大置信度,并将最大置信度对应的类别对应的依赖关系,确定为该语句检测数据内的两个检测词语之间的依赖关系。
基于上述技术方案,本申请实施例中,可以基于目标训练词语中所有字的字向量之和确定训练词语特征,基于训练词语特征、目标词性对应的训练词性特征、目标依赖关系对应的训练依赖特征对初始依存文法模型进行训练,得到已完成训练的目标依存文法模型。在采用目标依存文法模型检测语句检测数据内的各检测词语之间的依赖关系时,可以得到准确可靠的检测结果,检测准确率很高,即目标依存文法模型的检测准确率较高,从而能够采用依存文法分析对句子进行分析,得到准确可靠的分析结果,分析准确率较高。通过对词语采用字向量相加的形式表示,可以有效提高依存文法的准确率,训练速度快,训练后的目标依存文法模型比较小,提高训练准确率,模型准确率有了较高提升。
在上述实施例中,在基于转移的方法的技术上,采用字向量相加的形式来表示词语,提高训练的准确率,字向量采用CBOW算法训练得到,是一种基于字向量的依存文法快速分析方法。示例性的,通常可以使用如下两类指标评测依存文法分析的性能:LAS(LabeledAttachment Score),所有词中找到正确的支配词并且依存关系标记类型正确所占的百分比,UAS(Unlabeled Attachment Score),所有词中对应正确的支配词所占的百分比,可以通过如下公式表示。
在采用本申请的技术方案之前,经过测试可以发现,LAS正确率为60%,UAS正确率为0.66。在采用本申请的技术方案之后,即采用字向量相加的形式来表示词语,采用字向量预训练模型,则LAS正确率为76%,UAS正确率0.80。相比来说,LAS提高了16%,UAS提高了14%,总的来说效果提升明显。
基于与上述方法同样的申请构思,本申请实施例中提出一种依赖关系的检测装置,参见图9A所示,为所述装置的结构示意图,所述装置可以包括:
获取模块911,用于获取语句训练数据,所述语句训练数据包括多个训练词语、每个训练词语的词性、至少一个训练组的依赖关系,所述训练组包括两个训练词语;基于所述语句训练数据,获取目标训练词语,确定所述目标训练词语的目标词性,并确定所述目标训练词语与关联训练词语之间的目标依赖关系;
确定模块912,用于确定所述目标训练词语中每个字的字向量,基于所述目标训练词语中所有字的字向量之和,确定目标训练词语对应的训练词语特征;确定目标词性对应的训练词性特征,确定目标依赖关系对应的训练依赖特征;
训练模块913,用于基于所述训练词语特征、所述训练词性特征和所述训练依赖特征,构建出目标训练特征,并基于所述目标训练特征对已配置的初始依存文法模型进行训练,得到已完成训练的目标依存文法模型;其中,所述目标依存文法模型用于检测语句检测数据内的各检测词语之间的依赖关系。
在一种可能的实施方式中,所述确定模块912基于所述目标训练词语中所有字的字向量之和,确定目标训练词语对应的训练词语特征时具体用于:基于所述目标训练词语中所有字的字向量之和,确定所有字的字向量平均值,并基于所述字向量平均值确定所述目标训练词语对应的训练词语特征。
在一种可能的实施方式中,所述确定模块912确定所述目标词性对应的训练词性特征,确定所述目标依赖关系对应的训练依赖特征时具体用于:通过所述目标词性查询词性映射表,得到与所述目标词性对应的训练词性特征;以及,通过所述目标依赖关系查询依赖关系映射表,得到与所述目标依赖关系对应的训练依赖特征;其中,所述词性映射表包括词性与词性特征的对应关系,所述依赖关系映射表包括依赖关系与依赖特征的对应关系。
在一种可能的实施方式中,所述获取模块911基于所述语句训练数据,获取目标训练词语时具体用于:采用基于转移的语义依存分析方法,将所述语句训练数据切分为多个动作序列,动作序列包括转移动作和配置数据,所述配置数据包括堆栈数据、序列数据和依存结果;其中,所述序列数据用于存储所述语句训练数据中的多个训练词语,所述堆栈数据用于存储从所述序列数据中取出的训练词语,所述依存结果用于存储所述堆栈数据中的训练词语之间的依赖关系;从所述堆栈数据中选取K1个训练词语作为目标训练词语,从所述序列数据中选取K2个训练词语作为目标训练词语;
所述获取模块911确定所述目标训练词语与关联训练词语之间的目标依赖关系时具体用于:基于所述配置数据中的所述依存结果中已存储的训练词语之间的依赖关系,确定所述目标训练词语与关联训练词语之间的目标依赖关系。
在一种可能的实施方式中,所述训练模块913基于所述目标训练特征对已配置的初始依存文法模型进行训练,得到已完成训练的目标依存文法模型时具体用于:将所述目标训练特征输入给初始依存文法模型,由所述初始依存文法模型采用立方函数对所述目标训练特征进行处理,得到目标特征值;
基于所述目标特征值对所述初始依存文法模型进行调整,得到调整后的依存文法模型,并确定所述调整后的依存文法模型是否已收敛;
如果否,则将所述调整后的依存文法模型作为初始依存文法模型,并返回执行将所述目标训练特征输入给初始依存文法模型的操作;
如果是,则将所述调整后的依存文法模型作为目标依存文法模型。
基于与上述方法同样的申请构思,本申请实施例中提出一种依赖关系的检测装置,参见图9B所示,为所述装置的结构示意图,所述装置可以包括:
获取模块921,用于获取语句检测数据,语句检测数据包括多个检测词语、每个检测词语的词性;基于所述语句检测数据,获取目标检测词语,确定目标检测词语的目标词性,确定目标检测词语与关联检测词语之间的目标依赖关系;
确定模块922,用于确定目标检测词语中每个字的字向量,基于所述目标检测词语中所有字的字向量之和,确定所述目标检测词语对应的检测词语特征;确定目标词性对应的检测词性特征,确定目标依赖关系对应的检测依赖特征;
检测模块923,用于基于所述检测词语特征、所述检测词性特征和所述检测依赖特征,构建出目标检测特征,并将所述目标检测特征输入给已完成训练的目标依存文法模型,得到所述语句检测数据内的两个检测词语之间的依赖关系。
在一种可能的实施方式中,所述确定模块922基于所述目标检测词语中所有字的字向量之和,确定所述目标检测词语对应的检测词语特征时具体用于:基于所述目标检测词语中所有字的字向量之和,确定所有字的字向量平均值,并基于所述字向量平均值确定所述目标检测词语对应的检测词语特征。
在一种可能的实施方式中,所述确定模块922确定所述目标词性对应的检测词性特征,确定所述目标依赖关系对应的检测依赖特征时具体用于:通过所述目标词性查询词性映射表,得到与所述目标词性对应的检测词性特征;以及,通过所述目标依赖关系查询依赖关系映射表,得到与所述目标依赖关系对应的检测依赖特征;其中,所述词性映射表包括词性与词性特征的对应关系,所述依赖关系映射表包括依赖关系与依赖特征的对应关系。
在一种可能的实施方式中,所述获取模块921基于所述语句检测数据,获取目标检测词语时具体用于:采用基于转移的语义依存分析方法,将所述语句检测数据切分为多个动作序列,动作序列包括转移动作和配置数据,所述配置数据包括堆栈数据、序列数据和依存结果;其中,所述序列数据用于存储所述语句检测数据中的多个检测词语,所述堆栈数据用于存储从所述序列数据中取出的检测词语,所述依存结果用于存储所述堆栈数据中的检测词语之间的依赖关系;从所述堆栈数据中选取K1个检测词语作为目标检测词语,从所述序列数据中选取K2个检测词语作为目标检测词语;
所述获取模块921确定所述目标检测词语与关联检测词语之间的目标依赖关系时具体用于:基于所述配置数据中的所述依存结果中已存储的检测词语之间的依赖关系,确定所述目标检测词语与关联检测词语之间的目标依赖关系。
在一种可能的实施方式中,所述检测模块923将所述目标检测特征输入给已完成训练的目标依存文法模型,得到所述语句检测数据内的两个检测词语之间的依赖关系时具体用于:将所述目标检测特征输入给所述目标依存文法模型,由所述目标依存文法模型采用立方函数对所述目标检测特征进行处理,得到目标特征值;通过所述目标依存文法模型对所述目标特征值进行分类处理,得到M个类别分别对应的置信度;其中,M为正整数,且每个类别对应一种依赖关系;确定M个置信度中的最大置信度,并将所述最大置信度对应的类别对应的依赖关系,确定为所述语句检测数据内的两个检测词语之间的依赖关系。
基于与上述方法同样的申请构思,本申请实施例中提出一种依赖关系的检测设备(即电子设备),参见图9C所示,电子设备包括:处理器931和机器可读存储介质932,机器可读存储介质932存储有能够被所述处理器931执行的机器可执行指令;所述处理器931用于执行机器可执行指令,以实现如下步骤:
获取语句训练数据,所述语句训练数据包括多个训练词语、每个训练词语的词性、至少一个训练组的依赖关系,所述训练组包括两个训练词语;
基于所述语句训练数据,获取目标训练词语,确定所述目标训练词语的目标词性,并确定所述目标训练词语与关联训练词语之间的目标依赖关系;
确定所述目标训练词语中每个字的字向量,基于所述目标训练词语中所有字的字向量之和,确定所述目标训练词语对应的训练词语特征;以及,确定所述目标词性对应的训练词性特征,确定所述目标依赖关系对应的训练依赖特征;
基于所述训练词语特征、所述训练词性特征和所述训练依赖特征,构建出目标训练特征,并基于所述目标训练特征对已配置的初始依存文法模型进行训练,得到已完成训练的目标依存文法模型;其中,所述目标依存文法模型用于检测语句检测数据内的各检测词语之间的依赖关系;或者,
获取语句检测数据,所述语句检测数据包括多个检测词语、每个检测词语的词性;基于所述语句检测数据,获取目标检测词语,确定所述目标检测词语的目标词性,确定所述目标检测词语与关联检测词语之间的目标依赖关系;
确定所述目标检测词语中每个字的字向量,基于所述目标检测词语中所有字的字向量之和,确定所述目标检测词语对应的检测词语特征;以及,确定所述目标词性对应的检测词性特征,确定所述目标依赖关系对应的检测依赖特征;
基于所述检测词语特征、所述检测词性特征和所述检测依赖特征,构建出目标检测特征,并将所述目标检测特征输入给已完成训练的目标依存文法模型,得到所述语句检测数据内的两个检测词语之间的依赖关系。
基于与上述方法同样的申请构思,本申请实施例还提供一种机器可读存储介质,所述机器可读存储介质上存储有若干计算机指令,所述计算机指令被处理器执行时,能够实现本申请上述示例公开的依赖关系的检测方法。
其中,上述机器可读存储介质可以是任何电子、磁性、光学或其它物理存储装置,可以包含或存储信息,如可执行指令、数据,等等。例如,机器可读存储介质可以是:RAM(Radom Access Memory,随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等),或者类似的存储介质,或者它们的组合。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机,计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可以由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
而且,这些计算机程序指令也可以存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或者多个流程和/或方框图一个方框或者多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上,使得在计算机或者其它可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (13)
1.一种依赖关系的检测方法,其特征在于,所述方法包括:
获取语句训练数据,所述语句训练数据包括多个训练词语、每个训练词语的词性、至少一个训练组的依赖关系,所述训练组包括两个训练词语;
基于所述语句训练数据,获取目标训练词语,确定所述目标训练词语的目标词性,并确定所述目标训练词语与关联训练词语之间的目标依赖关系;
确定所述目标训练词语中每个字的字向量,基于所述目标训练词语中所有字的字向量之和,确定所述目标训练词语对应的训练词语特征;以及,确定所述目标词性对应的训练词性特征,确定所述目标依赖关系对应的训练依赖特征;
基于所述训练词语特征、所述训练词性特征和所述训练依赖特征,构建出目标训练特征,并基于所述目标训练特征对已配置的初始依存文法模型进行训练,得到已完成训练的目标依存文法模型;其中,所述目标依存文法模型用于检测语句检测数据内的各检测词语之间的依赖关系。
2.根据权利要求1所述的方法,其特征在于,所述基于所述目标训练词语中所有字的字向量之和,确定所述目标训练词语对应的训练词语特征,包括:
基于所述目标训练词语中所有字的字向量之和,确定所有字的字向量平均值,并基于所述字向量平均值确定所述目标训练词语对应的训练词语特征。
3.根据权利要求1所述的方法,其特征在于,所述确定所述目标词性对应的训练词性特征,确定所述目标依赖关系对应的训练依赖特征,包括:
通过所述目标词性查询词性映射表,得到与所述目标词性对应的训练词性特征;以及,通过所述目标依赖关系查询依赖关系映射表,得到与所述目标依赖关系对应的训练依赖特征;其中,所述词性映射表包括词性与词性特征的对应关系,所述依赖关系映射表包括依赖关系与依赖特征的对应关系。
4.根据权利要求1所述的方法,其特征在于,
所述基于所述语句训练数据,获取目标训练词语,包括:采用基于转移的语义依存分析方法,将所述语句训练数据切分为多个动作序列,动作序列包括转移动作和配置数据,所述配置数据包括堆栈数据、序列数据和依存结果;其中,所述序列数据用于存储所述语句训练数据中的多个训练词语,所述堆栈数据用于存储从所述序列数据中取出的训练词语,所述依存结果用于存储所述堆栈数据中的训练词语之间的依赖关系;从所述堆栈数据中选取K1个训练词语作为目标训练词语,从所述序列数据中选取K2个训练词语作为目标训练词语;
所述确定所述目标训练词语与关联训练词语之间的目标依赖关系,包括:
基于所述配置数据中的所述依存结果中已存储的训练词语之间的依赖关系,确定所述目标训练词语与关联训练词语之间的目标依赖关系。
5.根据权利要求1所述的方法,其特征在于,基于所述目标训练特征对已配置的初始依存文法模型进行训练,得到已完成训练的目标依存文法模型包括:
将所述目标训练特征输入给初始依存文法模型,由所述初始依存文法模型采用立方函数对所述目标训练特征进行处理,得到目标特征值;
基于所述目标特征值对所述初始依存文法模型进行调整,得到调整后的依存文法模型,并确定所述调整后的依存文法模型是否已收敛;
如果否,则将所述调整后的依存文法模型作为初始依存文法模型,并返回执行将所述目标训练特征输入给初始依存文法模型的操作;
如果是,则将所述调整后的依存文法模型作为目标依存文法模型。
6.一种依赖关系的检测方法,其特征在于,所述方法包括:
获取语句检测数据,所述语句检测数据包括多个检测词语、每个检测词语的词性;基于所述语句检测数据,获取目标检测词语,确定所述目标检测词语的目标词性,确定所述目标检测词语与关联检测词语之间的目标依赖关系;
确定所述目标检测词语中每个字的字向量,基于所述目标检测词语中所有字的字向量之和,确定所述目标检测词语对应的检测词语特征;以及,确定所述目标词性对应的检测词性特征,确定所述目标依赖关系对应的检测依赖特征;
基于所述检测词语特征、所述检测词性特征和所述检测依赖特征,构建出目标检测特征,并将所述目标检测特征输入给已完成训练的目标依存文法模型,得到所述语句检测数据内的两个检测词语之间的依赖关系。
7.根据权利要求6所述的方法,其特征在于,所述基于所述目标检测词语中所有字的字向量之和,确定所述目标检测词语对应的检测词语特征,包括:
基于所述目标检测词语中所有字的字向量之和,确定所有字的字向量平均值,并基于所述字向量平均值确定所述目标检测词语对应的检测词语特征。
8.根据权利要求6所述的方法,其特征在于,所述确定所述目标词性对应的检测词性特征,确定所述目标依赖关系对应的检测依赖特征,包括:
通过所述目标词性查询词性映射表,得到与所述目标词性对应的检测词性特征;以及,通过所述目标依赖关系查询依赖关系映射表,得到与所述目标依赖关系对应的检测依赖特征;其中,所述词性映射表包括词性与词性特征的对应关系,所述依赖关系映射表包括依赖关系与依赖特征的对应关系。
9.根据权利要求6所述的方法,其特征在于,
所述基于所述语句检测数据,获取目标检测词语,包括:采用基于转移的语义依存分析方法,将所述语句检测数据切分为多个动作序列,动作序列包括转移动作和配置数据,所述配置数据包括堆栈数据、序列数据和依存结果;其中,所述序列数据用于存储所述语句检测数据中的多个检测词语,所述堆栈数据用于存储从所述序列数据中取出的检测词语,所述依存结果用于存储所述堆栈数据中的检测词语之间的依赖关系;从所述堆栈数据中选取K1个检测词语作为目标检测词语,从所述序列数据中选取K2个检测词语作为目标检测词语;
所述确定所述目标检测词语与关联检测词语之间的目标依赖关系,包括:
基于所述配置数据中的所述依存结果中已存储的检测词语之间的依赖关系,确定所述目标检测词语与关联检测词语之间的目标依赖关系。
10.根据权利要求6所述的方法,其特征在于,
所述将所述目标检测特征输入给已完成训练的目标依存文法模型,得到所述语句检测数据内的两个检测词语之间的依赖关系,包括:
将所述目标检测特征输入给所述目标依存文法模型,由所述目标依存文法模型采用立方函数对所述目标检测特征进行处理,得到目标特征值;
通过所述目标依存文法模型对所述目标特征值进行分类处理,得到M个类别分别对应的置信度;其中,M为正整数,且每个类别对应一种依赖关系;
确定M个置信度中的最大置信度,并将所述最大置信度对应的类别对应的依赖关系,确定为所述语句检测数据内的两个检测词语之间的依赖关系。
11.一种依赖关系的检测装置,其特征在于,所述装置包括:
获取模块,用于获取语句训练数据,所述语句训练数据包括多个训练词语、每个训练词语的词性、至少一个训练组的依赖关系,所述训练组包括两个训练词语;基于所述语句训练数据,获取目标训练词语,确定所述目标训练词语的目标词性,并确定所述目标训练词语与关联训练词语之间的目标依赖关系;
确定模块,用于确定所述目标训练词语中每个字的字向量,基于所述目标训练词语中所有字的字向量之和,确定所述目标训练词语对应的训练词语特征;确定目标词性对应的训练词性特征,确定目标依赖关系对应的训练依赖特征;
训练模块,用于基于所述训练词语特征、所述训练词性特征和所述训练依赖特征,构建出目标训练特征,并基于所述目标训练特征对已配置的初始依存文法模型进行训练,得到已完成训练的目标依存文法模型;其中,所述目标依存文法模型用于检测语句检测数据内的各检测词语之间的依赖关系。
12.一种依赖关系的检测装置,其特征在于,所述装置包括:
获取模块,用于获取语句检测数据,所述语句检测数据包括多个检测词语、每个检测词语的词性;基于所述语句检测数据,获取目标检测词语,确定目标检测词语的目标词性,确定目标检测词语与关联检测词语之间的目标依赖关系;
确定模块,用于确定所述目标检测词语中每个字的字向量,基于所述目标检测词语中所有字的字向量之和,确定所述目标检测词语对应的检测词语特征;确定目标词性对应的检测词性特征,确定目标依赖关系对应的检测依赖特征;
检测模块,用于基于所述检测词语特征、所述检测词性特征和所述检测依赖特征,构建出目标检测特征,并将所述目标检测特征输入给已完成训练的目标依存文法模型,得到所述语句检测数据内的两个检测词语之间的依赖关系。
13.一种依赖关系的检测设备,其特征在于,包括:处理器和机器可读存储介质,所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令;其中,所述处理器用于执行机器可执行指令,以实现如下步骤:
获取语句训练数据,所述语句训练数据包括多个训练词语、每个训练词语的词性、至少一个训练组的依赖关系,所述训练组包括两个训练词语;
基于所述语句训练数据,获取目标训练词语,确定所述目标训练词语的目标词性,并确定所述目标训练词语与关联训练词语之间的目标依赖关系;
确定所述目标训练词语中每个字的字向量,基于所述目标训练词语中所有字的字向量之和,确定所述目标训练词语对应的训练词语特征;以及,确定所述目标词性对应的训练词性特征,确定所述目标依赖关系对应的训练依赖特征;
基于所述训练词语特征、所述训练词性特征和所述训练依赖特征,构建出目标训练特征,并基于所述目标训练特征对已配置的初始依存文法模型进行训练,得到已完成训练的目标依存文法模型;其中,所述目标依存文法模型用于检测语句检测数据内的各检测词语之间的依赖关系;
或者,
获取语句检测数据,所述语句检测数据包括多个检测词语、每个检测词语的词性;基于所述语句检测数据,获取目标检测词语,确定所述目标检测词语的目标词性,确定所述目标检测词语与关联检测词语之间的目标依赖关系;
确定所述目标检测词语中每个字的字向量,基于所述目标检测词语中所有字的字向量之和,确定所述目标检测词语对应的检测词语特征;以及,确定所述目标词性对应的检测词性特征,确定所述目标依赖关系对应的检测依赖特征;
基于所述检测词语特征、所述检测词性特征和所述检测依赖特征,构建出目标检测特征,并将所述目标检测特征输入给已完成训练的目标依存文法模型,得到所述语句检测数据内的两个检测词语之间的依赖关系。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111016281.6A CN113705216B (zh) | 2021-08-31 | 2021-08-31 | 依赖关系的检测方法、装置及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111016281.6A CN113705216B (zh) | 2021-08-31 | 2021-08-31 | 依赖关系的检测方法、装置及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113705216A true CN113705216A (zh) | 2021-11-26 |
CN113705216B CN113705216B (zh) | 2024-04-19 |
Family
ID=78658351
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111016281.6A Active CN113705216B (zh) | 2021-08-31 | 2021-08-31 | 依赖关系的检测方法、装置及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113705216B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060095248A1 (en) * | 2004-11-04 | 2006-05-04 | Microsoft Corporation | Machine translation system incorporating syntactic dependency treelets into a statistical framework |
CN110263324A (zh) * | 2019-05-16 | 2019-09-20 | 华为技术有限公司 | 文本处理方法、模型训练方法和装置 |
CN112036439A (zh) * | 2020-07-30 | 2020-12-04 | 平安科技(深圳)有限公司 | 依存关系分类方法及相关设备 |
CN112084769A (zh) * | 2020-09-14 | 2020-12-15 | 深圳前海微众银行股份有限公司 | 依存句法模型优化方法、装置、设备及可读存储介质 |
-
2021
- 2021-08-31 CN CN202111016281.6A patent/CN113705216B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060095248A1 (en) * | 2004-11-04 | 2006-05-04 | Microsoft Corporation | Machine translation system incorporating syntactic dependency treelets into a statistical framework |
CN110263324A (zh) * | 2019-05-16 | 2019-09-20 | 华为技术有限公司 | 文本处理方法、模型训练方法和装置 |
CN112036439A (zh) * | 2020-07-30 | 2020-12-04 | 平安科技(深圳)有限公司 | 依存关系分类方法及相关设备 |
WO2021147404A1 (zh) * | 2020-07-30 | 2021-07-29 | 平安科技(深圳)有限公司 | 依存关系分类方法及相关设备 |
CN112084769A (zh) * | 2020-09-14 | 2020-12-15 | 深圳前海微众银行股份有限公司 | 依存句法模型优化方法、装置、设备及可读存储介质 |
Non-Patent Citations (1)
Title |
---|
刘宝艳;林鸿飞;赵晶;: "基于改进编辑距离和依存文法的汉语句子相似度计算", 计算机应用与软件, no. 07, 15 July 2008 (2008-07-15) * |
Also Published As
Publication number | Publication date |
---|---|
CN113705216B (zh) | 2024-04-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110222178B (zh) | 文本情感分类方法、装置、电子设备及可读存储介质 | |
CN108280061B (zh) | 基于歧义实体词的文本处理方法和装置 | |
CN107480143B (zh) | 基于上下文相关性的对话话题分割方法和系统 | |
CN110717339B (zh) | 语义表示模型的处理方法、装置、电子设备及存储介质 | |
Lai et al. | Recurrent convolutional neural networks for text classification | |
CN106845411B (zh) | 一种基于深度学习和概率图模型的视频描述生成方法 | |
CN109710744B (zh) | 一种数据匹配方法、装置、设备及存储介质 | |
Zhang et al. | Word semantic representations using bayesian probabilistic tensor factorization | |
JP2006502480A (ja) | 関連する単語のクラスタに基づいて、文書を特徴付けるための方法および装置 | |
CN112800292B (zh) | 一种基于模态特定和共享特征学习的跨模态检索方法 | |
CN106294344A (zh) | 视频检索方法和装置 | |
JP6729095B2 (ja) | 情報処理装置及びプログラム | |
CN109948140B (zh) | 一种词向量嵌入方法及装置 | |
CN113326374B (zh) | 基于特征增强的短文本情感分类方法及系统 | |
Olabenjo | Applying naive bayes classification to google play apps categorization | |
Wu et al. | Temporal interaction and causal influence in community-based question answering | |
CN110597968A (zh) | 一种回复选择方法及装置 | |
CN108038106A (zh) | 一种基于上下文语义的细粒度领域术语自学习方法 | |
CN112434164A (zh) | 一种兼顾话题发现和情感分析的网络舆情分析方法及系统 | |
CN114037055A (zh) | 数据处理系统、方法、装置、设备及存储介质 | |
CN112711944B (zh) | 一种分词方法、系统、分词器生成方法及系统 | |
Parker et al. | Named entity recognition through deep representation learning and weak supervision | |
Keraghel et al. | Data augmentation process to improve deep learning-based ner task in the automotive industry field | |
CN113486143A (zh) | 一种基于多层级文本表示及模型融合的用户画像生成方法 | |
Minkov et al. | NER systems that suit user’s preferences: adjusting the recall-precision trade-off for entity extraction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |