CN110555104A - 文本分析方法及装置 - Google Patents

文本分析方法及装置 Download PDF

Info

Publication number
CN110555104A
CN110555104A CN201810254036.0A CN201810254036A CN110555104A CN 110555104 A CN110555104 A CN 110555104A CN 201810254036 A CN201810254036 A CN 201810254036A CN 110555104 A CN110555104 A CN 110555104A
Authority
CN
China
Prior art keywords
result
text
processing
feature information
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810254036.0A
Other languages
English (en)
Other versions
CN110555104B (zh
Inventor
茅越
蔡龙军
李明
沈一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba China Co Ltd
Original Assignee
Youku Network Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Youku Network Technology Beijing Co Ltd filed Critical Youku Network Technology Beijing Co Ltd
Priority to CN201810254036.0A priority Critical patent/CN110555104B/zh
Publication of CN110555104A publication Critical patent/CN110555104A/zh
Application granted granted Critical
Publication of CN110555104B publication Critical patent/CN110555104B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开涉及一种文本分析方法及装置。该方法包括:获取与待分析文本的多个分词相对应的特征信息;将特征信息输入分析模型中进行处理,获取待分析文本的文本分析结果,分析模型包括注意力机制模块、卷积模块、关系模块以及拼接输出模块。根据本公开实施例,能够获取与待分析文本的多个分词相应的特征信息,并将特征信息输入分析模型中处理以获取文本分析结果,通过利用包括注意力机制模块、卷积模块、关系模块以及拼接输出模块的分析模型实现文本分析,从而提高了文本分析结果的准确度。

Description

文本分析方法及装置
技术领域
本公开涉及计算机领域,尤其涉及一种文本分析方法及装置。
背景技术
随着社交网络、移动互联网的不断普及,人们发布信息的成本越来越低,越来越多的用户乐于在互联网上分享自己的观点以及对于人物、事件、产品的评论。这些评论反映了人们对于事物的观点和情感倾向,对于舆情分析以及基于大数据的预测有着重要的意义。因此,需要用户的评论文本进行分析处理,以确定用户的观点及情感倾向等信息。然而,相关技术中对文本进行分析的分析结果的准确度较低。
发明内容
有鉴于此,本公开提出了一种文本分析方法,能够准确地获取文本分析结果。
根据本公开的一方面,提供了一种文本分析方法,包括:获取与待分析文本的多个分词相对应的特征信息;将所述特征信息输入分析模型中进行处理,获取所述待分析文本的文本分析结果,其中,所述分析模型包括注意力机制模块、卷积模块、关系模块以及拼接输出模块。
在一种可能实现方式中,将所述特征信息输入分析模型中进行处理,获取所述待分析文本的文本分析结果,包括:
将所述特征信息输入所述注意力机制模块中进行处理,获取扩展处理结果;
将所述扩展处理结果输入所述卷积模块中进行处理,获取卷积结果;
将所述卷积结果输入所述关系模块中进行处理,获取关系结果;
将所述关系结果输入拼接输出模块中进行处理,获取所述待分析文本的文本分析结果。
在一种可能实现方式中,获取与待分析文本的多个分词相对应的特征信息,包括:
对所述待分析文本的多个分词分别进行向量化处理,获取与所述多个分词相对应的多个向量信息;
根据所述多个向量信息,确定所述多个分词的特征信息。
在一种可能实现方式中,所述特征信息包括N个特征信息,N>1,
其中,将所述特征信息输入所述注意力机制模块中进行处理,获取扩展处理结果,包括:
针对所述N个特征信息中的第一特征信息,获取所述N个特征信息中除所述第一特征信息之外的N-1个特征信息相对于所述第一特征信息的N-1个权重,其中,所述第一特征信息是所述N个特征信息中的任意一个特征信息;
根据所述N-1个权重对所述N-1个特征信息进行加权求和处理,确定与所述第一特征信息相对应的扩展向量信息;
对所述N个特征信息以及与所述N个特征信息相对应的扩展向量信息进行拼接处理,确定所述扩展处理结果,
其中,所述N-1个权重之和为1。
在一种可能实现方式中,所述拼接输出模块包括多个全连接层和softmax处理层,
其中,将所述关系结果输入拼接输出模块中进行处理,获取所述待分析文本的文本分析结果,包括:
对所述关系结果进行向量拼接处理,获取拼接后的向量信息;
将所述拼接后的向量信息依次输入所述多个全连接层及所述softmax处理层中进行处理,获取所述待分析文本的文本分析结果。
在一种可能实现方式中,所述方法还包括:
获取样本文本的多个分词相对应的训练特征信息;
将所述训练特征信息输入初始分析模型中进行处理,获取所述样本文本的训练分析结果,其中,所述初始分析模型包括初始注意力机制模块、初始卷积模块、初始关系模块以及初始拼接输出模块;
根据所述训练分析结果及所述样本文本的标注结果,确定所述初始分析模型的模型损失;
根据所述模型损失,调整所述初始分析模型中的参数权值,确定调整后的分析模型;
在所述模型损失满足训练条件的情况下,将调整后的分析模型确定为最终的分析模型。
在一种可能实现方式中,所述卷积模块包括卷积神经网络,所述关系模块包括关系网络。
根据本公开的另一方面,提供了一种文本分析装置,包括:
特征获取单元,用于获取与待分析文本的多个分词相对应的特征信息;
结果获取单元,用于将所述特征信息输入分析模型中进行处理,获取所述待分析文本的文本分析结果,
其中,所述分析模型包括注意力机制模块、卷积模块、关系模块以及拼接输出模块。
在一种可能实现方式中,所述结果获取单元包括:
第一结果获取子单元,用于将所述特征信息输入所述注意力机制模块中进行处理,获取扩展处理结果;
第二结果获取子单元,用于将所述扩展处理结果输入所述卷积模块中进行处理,获取卷积结果;
第三结果获取子单元,用于将所述卷积结果输入所述关系模块中进行处理,获取关系结果;
第四结果获取子单元,用于将所述关系结果输入拼接输出模块中进行处理,获取所述待分析文本的文本分析结果。
在一种可能实现方式中,所述特征获取单元包括:
向量化子单元,用于对所述待分析文本的多个分词分别进行向量化处理,获取与所述多个分词相对应的多个向量信息;
特征确定子单元,用于根据所述多个向量信息,确定所述多个分词的特征信息。
在一种可能实现方式中,所述特征信息包括N个特征信息,N>1,
其中,所述第一结果获取子单元包括:
权重获取子单元,用于针对所述N个特征信息中的第一特征信息,获取所述N个特征信息中除所述第一特征信息之外的N-1个特征信息相对于所述第一特征信息的N-1个权重,其中,所述第一特征信息是所述N个特征信息中的任意一个特征信息;
扩展信息确定子单元,用于根据所述N-1个权重对所述N-1个特征信息进行加权求和处理,确定与所述第一特征信息相对应的扩展向量信息;
第一拼接子单元,用于对所述N个特征信息以及与所述N个特征信息相对应的扩展向量信息进行拼接处理,确定所述扩展处理结果,
其中,所述N-1个权重之和为1。
在一种可能实现方式中,所述拼接输出模块包括多个全连接层和softmax处理层,
其中,所述第四结果获取子单元包括:
第二拼接子单元,用于对所述关系结果进行向量拼接处理,获取拼接后的向量信息;
信息处理子单元,用于将所述拼接后的向量信息依次输入所述多个全连接层及所述softmax处理层中进行处理,获取所述待分析文本的文本分析结果。
在一种可能实现方式中,所述装置还包括:
训练特征获取单元,用于获取样本文本的多个分词相对应的训练特征信息;
训练结果获取单元,用于将所述训练特征信息输入初始分析模型中进行处理,获取所述样本文本的训练分析结果,其中,所述初始分析模型包括初始注意力机制模块、初始卷积模块、初始关系模块以及初始拼接输出模块;
损失确定单元,用于根据所述训练分析结果及所述样本文本的标注结果,确定所述初始分析模型的模型损失;
模型调整单元,用于根据所述模型损失,调整所述初始分析模型中的参数权值,确定调整后的分析模型;
模型确定单元,用于在所述模型损失满足训练条件的情况下,将调整后的分析模型确定为最终的分析模型。
在一种可能实现方式中,所述卷积模块包括卷积神经网络,所述关系模块包括关系网络。
根据本公开的另一方面,提供了一种观点提取装置,包括:处理器;用于存储处理器可执行指令的存储器;其中,所述处理器被配置为执行上述方法。
根据本公开的另一方面,提供了一种非易失性计算机可读存储介质,其上存储有计算机程序指令,其中,所述计算机程序指令被处理器执行时实现上述观点提取方法。
根据本公开实施例,能够获取与待分析文本的多个分词相应的特征信息,并将特征信息输入分析模型中处理以获取文本分析结果,通过利用包括注意力机制模块、卷积模块、关系模块以及拼接输出模块的分析模型实现文本分析,从而提高了文本分析结果的准确度。
根据下面参考附图对示例性实施例的详细说明,本公开的其它特征及方面将变得清楚。
附图说明
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面,并且用于解释本公开的原理。
图1是根据一示例性实施例示出的一种文本分析方法的流程图。
图2是根据一示例性实施例示出的一种文本分析方法的步骤S11的流程图。
图3是根据一示例性实施例示出的一种文本分析方法的分析模型的示意图。
图4是根据一示例性实施例示出的一种文本分析方法的步骤S12的流程图。
图5是根据一示例性实施例示出的一种文本分析方法的注意力机制模块的处理过程的示意图。
图6是根据一示例性实施例示出的一种文本分析方法的流程图。
图7是根据一示例性实施例示出的一种文本分析装置的框图。
图8是根据一示例性实施例示出的一种文本分析装置的框图。
图9是根据一示例性实施例示出的一种文本分析装置的框图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面,但是除非特别指出,不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
另外,为了更好的说明本公开,在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解,没有某些具体细节,本公开同样可以实施。在一些实例中,对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述,以便于凸显本公开的主旨。
图1是根据一示例性实施例示出的一种文本分析方法的流程图。该方法可应用于服务器中。如图1所示,根据本公开实施例的文本分析方法包括:
在步骤S11中,获取与待分析文本的多个分词相对应的特征信息;
在步骤S12中,将所述特征信息输入分析模型中进行处理,获取所述待分析文本的文本分析结果,
其中,所述分析模型包括注意力机制模块、卷积模块、关系模块以及拼接输出模块。
根据本公开实施例,能够获取与待分析文本的多个分词相对应的特征信息,并将特征信息输入分析模型中处理以获取文本分析结果,通过利用包括注意力机制模块、卷积模块、关系模块以及拼接输出模块的分析模型实现文本分析,从而提高了文本分析结果的准确度。根据本公开实施例,能够帮助业务人员了解用户对某一对象的评论信息(待分析文本)的评论角度和褒贬态度等,充分挖掘评论信息(待分析文本)的价值。
举例来说,待分析文本可以包括用户针对某一对象的评论文本。该对象可以指能够进行评论分析的任意对象,例如,可以为视频、音频、新闻、人物、事件或者产品等。
在一种可能的实现方式中,在对用户的评论文本进行分词之前,可对评论文本进行预处理,以提高分析的准确性和效率。其中,对评论文本预处理可包括:删除评论文本中的指定字符(例如可删除微博等评论中的转发字符),将评论文本中的繁体字转换为简体字等。经预处理后,可确定待分析文本。
在一种可能的实现方式中,可以采用相关技术的分词方式,对待分析文本进行分词处理。例如,可以从针对某对象的所有评论文本中提取新词词组,并将该新词词组作为针对该对象的分词字典。可采用该分词字典对待分析文本进行分词处理,从而获取待分析文本的多个分词。其中,分词的数量小于或等于分析模型可处理的特征信息的数量N,也即,分词的数量≤N。本公开对获取待分析文本的多个分词的具体方式不作限制。
图2是根据一示例性实施例示出的一种文本分析方法的步骤S11的流程图。如图2所示,在一种可能的实现方式中,步骤S11可包括:
在步骤S111中,对所述待分析文本的多个分词分别进行向量化处理,获取与所述多个分词相对应的多个向量信息;
在步骤S112中,根据所述多个向量信息,确定所述特征信息。
举例来说,可以采用预训练的映射模型(例如谷歌word2vector模型等)将待分析文本的多个分词分别转化(映射)为多个向量信息,也即多个实数行向量。其中,当待分析文本的分词数量<N时,可以将剩余的位置用零补齐,使得向量信息的总数量为N个。可将获得的N个向量信息确定为N个特征信息。通过这种方式,可以得到待输入到分析模型中进行处理的N个特征信息。
图3是根据一示例性实施例示出的一种文本分析方法的分析模型的示意图。如图3所示,所述分析模型包括注意力机制模块31、卷积模块32、关系模块33以及拼接输出模块34。
图4是根据一示例性实施例示出的一种文本分析方法的步骤S12的流程图。如图4所示,在一种可能的实现方式中,步骤S12可包括:
在步骤S121中,将所述特征信息输入所述注意力机制模块中进行处理,获取扩展处理结果;
在步骤S122中,将所述扩展处理结果输入所述卷积模块中进行处理,获取卷积结果;
在步骤S123中,将所述卷积结果输入所述关系模块中进行处理,获取关系结果;
在步骤S124中,将所述关系结果输入拼接输出模块中进行处理,获取所述待分析文本的文本分析结果。
举例来说,人的视觉在观察事物(例如物体或文字等)时会把注意力集中在一个区域,因此,可引入“注意力机制(attention mechanism)”对文本的分词(特征信息)进行处理。在根据本公开的实施例中,可将特征信息输入到注意力机制模块31中进行处理。
在一种可能的实现方式中,所述特征信息包括N个特征信息,N>1,其中,步骤S121可包括:
针对所述N个特征信息中的第一特征信息,获取所述N个特征信息中除所述第一特征信息之外的N-1个特征信息相对于所述第一特征信息的N-1个权重,其中,所述第一特征信息是所述N个特征信息中的任意一个特征信息;
根据所述N-1个权重对所述N-1个特征信息进行加权求和处理,确定与所述第一特征信息相对应的扩展向量信息;
对所述N个特征信息以及与所述N个特征信息相对应的扩展向量信息进行拼接处理,确定所述扩展处理结果,其中,所述N-1个权重之和为1。
在一种可能的实现方式中,可将N个特征信息(向量)设为x1、x2、x3、…、xN。针对任意一个特征信息(第一特征信息)xi(1≤i≤N),可根据注意力机制获取N个特征信息中除第一特征信息xi之外的N-1个特征信息相对于第一特征信息xi的N-1个权重。其中,N-1个权重之和为1。
根据N-1个权重对N-1个特征信息进行加权求和处理,可获得与第一特征信息xi相对应的扩展向量信息gi。如公式(1)所示:
公式(1)中,xj可表示N-1个特征信息中第j个特征信息,其中1≤j≤N且j≠i,αi,j可表示xj相对于xi的权重。
在一种可能的实现方式中,可通过公式(2)的softmax函数来确定权重αi,j的值。
其中,函数a可为一种多层感知机,1≤p≤N且p≠i。对于不同的(xi,xj)对,可采用相同的函数a计算a(xi,xj)。应当理解,本领域技术人员可根据实际需要选择函数a,本公开对此不作限制。
将经过公式(1)得到的扩展向量信息gi与第一特征信息xi进行拼接处理,可得到扩展向量x′i
x′i=concat(xi,gi) (3)
图5是根据一示例性实施例示出的一种文本分析方法的注意力机制模块的处理过程的示意图。如图5所示,N的取值例如为7,输入的特征信息(向量)设为x1、x2、x3、…、x7。例如,针对第一特征信息x3,可以根据注意力机制的公式(2)分别获取x1、x2、x4、x5、x6、x7相对于第一特征信息x3的权重α3,1、α3,2、α3,4、α3,5、α3,6、α3,7。根据公式(1)对x1、x2、x4、x5、x6、x7进行加权求和处理,可获得扩展向量信息g3。将扩展向量信息g3与第一特征信息x3进行拼接,可以得到扩展向量x′3(g3+x3)。
这样,对每一个特征信息xi均进行上述处理,可以得到N个扩展向量。可将这N个扩展向量确定为注意力机制模块的扩展处理结果。通过这种方式,可以提高文本分析的精度。
在一种可能的实现方式中,可在步骤S122中将扩展处理结果输入卷积模块32中进行处理,获取卷积结果。其中,卷积模块32可包括一个或多个卷积神经网络。卷积神经网络可有效地捕捉句子局部的上下文信息。
举例来说,对于扩展处理结果(N个扩展向量),设每个向量为k维的实数行向量,也即长度为k(k>1),则N个扩展向量可构成一个N行k列的矩阵。可将该N行k列的矩阵输入到卷积模块32进行处理。
在卷积模块32可采用d个不同权值,大小为(h,k)的卷积核对上述N行k列的矩阵分别进行卷积操作,以提取连续的h个分词的局部信息。经多次卷积操作后,可以得到d个N-h+1维的列向量,构成N-h+1行d列的实数矩阵(卷积结果)。其中,该实数矩阵中的每一列可对应每个卷积核操作的结果,每一行可对应待分析文本的局部信息。
在一种可能的实现方式中,卷积模块32可包括多个卷积神经网络,多个卷积神经网络采用不同卷积核(h,k)分别对扩展处理结果进行卷积处理,从而将得到多个实数矩阵作为卷积结果。例如,分别采用h=2、3、4的卷积核。这样,能够得到待分析文本的不同尺寸(连续的h个分词)的局部信息,以便对不同尺寸的局部信息进行分析处理。
应当理解,本领域技术人员可根据实际需要选取卷积神经网络,并设定卷积神经网络的权值数量及卷积核尺寸等参数,本公开对此不作限制。
在一种可能的实现方式中,可在步骤S123中将卷积结果输入关系模块33中进行处理,获取关系结果。其中,关系模块33可包括一个或多个关系网络(relation networks,RN)。关系网络可用于捕捉待分析文本的分词之间远距离的依赖关系,提取任意两个局部信息之间的关系信息。
举例来说,可将卷积结果输入到关系模块33中进行处理。令M=N-h+1,则卷积结果可为一个或多个M行d列的实数矩阵。对于每个实数矩阵,其每一行(也即M个d维实数向量o1、o2、…、oM)可表示待分析文本的局部信息。在关系模块33中,可采用多层感知机b来表达任意两个局部信息之间的关系,也即关系向量b(oq,ol),其中1≤q<l≤M。对所有的M(M-1)/2个关系向量b(oq,ol)求平均,并将结果输入到另一个多层感知机f中进行处理,可得到关系向量r。如公式(4)所示:
在卷积结果为一个或多个实数矩阵的情况下,关系模块33可包括分别对卷积结果进行处理的一个或多个关系网络,从而获得一个或多个关系向量r并将该一个或多个关系向量r作为最终的关系结果。
应当理解,本领域技术人员可根据实际需要选取关系网络以及多层感知机b和f,本公开对此不作限制。通过这种方式,可以获取经关系模块33处理的关系结果。
在一种可能的实现方式中,可在步骤S124中将关系结果r输入拼接输出模块34中进行处理,获取待分析文本的文本分析结果。
在一种可能的实现方式中,拼接输出模块34可包括多个全连接层和softmax处理层,其中,步骤S124可包括:
对所述关系结果进行向量拼接处理,获取拼接后的向量信息;
将所述拼接后的向量信息依次输入所述多个全连接层及所述softmax处理层中进行处理,获取所述待分析文本的文本分析结果。
举例来说,可将关系结果的多个关系向量进行拼接,得到拼接后的向量信息(长度为多个关系向量的长度之和)。将拼接后的向量信息依次输入多个全连接层及softmax处理层中进行处理,可获得待分析文本的文本分析结果。应当理解,本领域技术人员可根据实际需要选取全连接层及softmax处理层,本公开对此不作限制。
根据本公开的实施例中,在通过分析模型对特征信息进行处理以获取待分析文本的文本分析结果之前,可对初始的分析模型进行训练。
图6是根据一示例性实施例示出的一种文本分析方法的流程图。如图6所示,在一种可能的实现方式中,该方法还包括:
在步骤S13中,获取样本文本的多个分词相对应的训练特征信息;
在步骤S14中,将所述训练特征信息输入初始分析模型中进行处理,获取所述样本文本的训练分析结果,其中,所述初始分析模型包括初始注意力机制模块、初始卷积模块、初始关系模块以及初始拼接输出模块;
在步骤S15中,根据所述训练分析结果及所述样本文本的标注结果,确定所述初始分析模型的模型损失;
在步骤S16中,根据所述模型损失,调整所述初始分析模型中的参数权值,确定调整后的分析模型;
在步骤S17中,在所述模型损失满足训练条件的情况下,将调整后的分析模型确定为最终的分析模型。
举例来说,可以对已有的评论文本进行人工分析并标注分析结果(也即,样本文本的标注结果),形成训练集。针对训练集中的任意一个样本文本,可对样本文本进行预处理,并采用相关技术的分词方式,对样本文本进行分词处理,获取样本文本的多个分词。其中,分词的数量小于或等于分析模型可处理的特征信息的数量N,也即,分词的数量≤N。
在一种可能的实现方式中,可以采用预训练的映射模型(例如谷歌word2vector模型等)将样本文本的多个分词分别映射为多个向量信息。其中,当分词数量<N时,可以将剩余的位置用零补齐,以使得向量信息的总数量为N个,将获得的N个向量信息确定为样本文本的训练特征信息(N个特征信息)。
在一种可能的实现方式中,可将训练特征信息输入初始分析模型中进行处理,获取样本文本的训练分析结果,其中,初始分析模型包括初始注意力机制模块、初始卷积模块、初始关系模块以及初始拼接输出模块。其中,初始分析模型的各个模块的结构和形式可如前文所述,在此不再赘述。
在一种可能的实现方式中,根据训练分析结果及样本文本的标注结果,确定初始分析模型的模型损失。其中,模型损失的损失函数的具体类型可由本领域技术人员根据实际情况选取,本公开对此不作限制。
在一种可能的实现方式中,根据初始分析模型的模型损失,可以调整初始分析模型中的参数权值,确定调整后的分析模型。例如,可以采用反向传播算法,例如,BPTT(BackPropagation Through Time)算法,基于该模型损失,对该初始分析模型的参数权值求梯度,并基于该梯度来调整初始分析模型中的参数权值。
在一种可能的实现方式中,可多次重复上述步骤S14-S16的模型调整过程。其中,可预先设定有训练条件,该训练条件可包括设定的迭代训练次数和/或设定的收敛条件等。当模型损失满足训练条件时,可认为最后一次调整后的分析模型能够满足精度需求,可将该调整后的分析模型确定为最终的分析模型。
通过这种方式,根据样本文本的训练特征信息与初始的分析模型进行训练,可得到满足训练条件的分析模型,从而使得分析模型能够准确地提取待分析文本中的观点和情感倾向。
根据本公开的实施例,能够获取与待分析文本的多个分词相对应的特征信息,并将特征信息输入分析模型中处理以获取文本分析结果,通过利用包括注意力机制模块、卷积模块、关系模块以及拼接输出模块的分析模型实现文本分析,从而提高了文本分析结果的准确度。根据本公开实施例,能够帮助业务人员了解用户对某一对象的评论信息(待分析文本)的评论角度和褒贬态度等,充分挖掘评论信息(待分析文本)的价值。
图7是根据一示例性实施例示出的一种文本分析装置的框图。如图7所示,所述文本分析装置包括:
特征获取单元71,用于获取与待分析文本的多个分词相对应的特征信息;
结果获取单元72,用于将所述特征信息输入分析模型中进行处理,获取所述待分析文本的文本分析结果,
其中,所述分析模型包括注意力机制模块、卷积模块、关系模块以及拼接输出模块。
图8是根据一示例性实施例示出的一种文本分析装置的框图。如图8所示,在一种可能实现方式中,所述结果获取单元72可包括:
第一结果获取子单元721,用于将所述特征信息输入所述注意力机制模块中进行处理,获取扩展处理结果;
第二结果获取子单元722,用于将所述扩展处理结果输入所述卷积模块中进行处理,获取卷积结果;
第三结果获取子单元723,用于将所述卷积结果输入所述关系模块中进行处理,获取关系结果;
第四结果获取子单元724,用于将所述关系结果输入拼接输出模块中进行处理,获取所述待分析文本的文本分析结果。
如图8所示,在一种可能实现方式中,所述特征获取单元71可包括:
向量化子单元711,用于对所述待分析文本的多个分词分别进行向量化处理,获取与所述多个分词相对应的多个向量信息;
特征确定子单元712,用于根据所述多个向量信息,确定所述多个分词的特征信息。
在一种可能实现方式中,所述特征信息包括N个特征信息,N>1,其中,所述第一结果获取子单元包括:
权重获取子单元,用于针对所述N个特征信息中的第一特征信息,获取所述N个特征信息中除所述第一特征信息之外的N-1个特征信息相对于所述第一特征信息的N-1个权重,其中,所述第一特征信息是所述N个特征信息中的任意一个特征信息;
扩展信息确定子单元,用于根据所述N-1个权重对所述N-1个特征信息进行加权求和处理,确定与所述第一特征信息相对应的扩展向量信息;
第一拼接子单元,用于对所述N个特征信息以及与所述N个特征信息相对应的扩展向量信息进行拼接处理,确定所述扩展处理结果,
其中,所述N-1个权重之和为1。
在一种可能实现方式中,所述拼接输出模块包括多个全连接层和softmax处理层,其中,所述第四结果获取子单元包括:
第二拼接子单元,用于对所述关系结果进行向量拼接处理,获取拼接后的向量信息;
信息处理子单元,用于将所述拼接后的向量信息依次输入所述多个全连接层及所述softmax处理层中进行处理,获取所述待分析文本的文本分析结果。
如图8所示,在一种可能实现方式中,所述装置还包括:
训练特征获取单元73,用于获取样本文本的多个分词相对应的训练特征信息;
训练结果获取单元74,用于将所述训练特征信息输入初始分析模型中进行处理,获取所述样本文本的训练分析结果,其中,所述初始分析模型包括初始注意力机制模块、初始卷积模块、初始关系模块以及初始拼接输出模块;
损失确定单元75,用于根据所述训练分析结果及所述样本文本的标注结果,确定所述初始分析模型的模型损失;
模型调整单元76,用于根据所述模型损失,调整所述初始分析模型中的参数权值,确定调整后的分析模型;
模型确定单元77,用于在所述模型损失满足训练条件的情况下,将调整后的分析模型确定为最终的分析模型。
在一种可能实现方式中,所述卷积模块包括卷积神经网络,所述关系模块包括关系网络。
图9是根据一示例性实施例示出的一种文本分析装置1900的框图。例如,装置1900可以被提供为一服务器。参照图9,装置1900包括处理组件1922,其进一步包括一个或多个处理器,以及由存储器1932所代表的存储器资源,用于存储可由处理组件1922的执行的指令,例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理组件1922被配置为执行指令,以执行上述方法。
装置1900还可以包括一个电源组件1926被配置为执行装置1900的电源管理,一个有线或无线网络接口1950被配置为将装置1900连接到网络,和一个输入输出(I/O)接口1958。装置1900可以操作基于存储在存储器1932的操作系统,例如Windows ServerTM,MacOS XTM,UnixTM,LinuxTM,FreeBSDTM或类似。
在示例性实施例中,还提供了一种非易失性计算机可读存储介质,例如包括计算机程序指令的存储器1932,上述计算机程序指令可由装置1900的处理组件1922执行以完成上述方法。
本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质,其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身,诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如,通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等,以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机可读程序指令的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA),该电子电路可以执行计算机可读程序指令,从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器,从而生产出一种机器,使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时,产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中,这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作,从而,存储有指令的计算机可读介质则包括一个制造品,其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上,使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (16)

1.一种文本分析方法,其特征在于,包括:
获取与待分析文本的多个分词相对应的特征信息;
将所述特征信息输入分析模型中进行处理,获取所述待分析文本的文本分析结果,
其中,所述分析模型包括注意力机制模块、卷积模块、关系模块以及拼接输出模块。
2.根据权利要求1所述的方法,其特征在于,将所述特征信息输入分析模型中进行处理,获取所述待分析文本的文本分析结果,包括:
将所述特征信息输入所述注意力机制模块中进行处理,获取扩展处理结果;
将所述扩展处理结果输入所述卷积模块中进行处理,获取卷积结果;
将所述卷积结果输入所述关系模块中进行处理,获取关系结果;
将所述关系结果输入拼接输出模块中进行处理,获取所述待分析文本的文本分析结果。
3.根据权利要求1所述的方法,其特征在于,获取与待分析文本的多个分词相对应的特征信息,包括:
对所述待分析文本的多个分词分别进行向量化处理,获取与所述多个分词相对应的多个向量信息;
根据所述多个向量信息,确定所述多个分词的特征信息。
4.根据权利要求2所述的方法,其特征在于,所述特征信息包括N个特征信息,N>1,
其中,将所述特征信息输入所述注意力机制模块中进行处理,获取扩展处理结果,包括:
针对所述N个特征信息中的第一特征信息,获取所述N个特征信息中除所述第一特征信息之外的N-1个特征信息相对于所述第一特征信息的N-1个权重,其中,所述第一特征信息是所述N个特征信息中的任意一个特征信息;
根据所述N-1个权重对所述N-1个特征信息进行加权求和处理,确定与所述第一特征信息相对应的扩展向量信息;
对所述N个特征信息以及与所述N个特征信息相对应的扩展向量信息进行拼接处理,确定所述扩展处理结果,
其中,所述N-1个权重之和为1。
5.根据权利要求2所述的方法,其特征在于,所述拼接输出模块包括多个全连接层和softmax处理层,
其中,将所述关系结果输入拼接输出模块中进行处理,获取所述待分析文本的文本分析结果,包括:
对所述关系结果进行向量拼接处理,获取拼接后的向量信息;
将所述拼接后的向量信息依次输入所述多个全连接层及所述softmax处理层中进行处理,获取所述待分析文本的文本分析结果。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取样本文本的多个分词相对应的训练特征信息;
将所述训练特征信息输入初始分析模型中进行处理,获取所述样本文本的训练分析结果,其中,所述初始分析模型包括初始注意力机制模块、初始卷积模块、初始关系模块以及初始拼接输出模块;
根据所述训练分析结果及所述样本文本的标注结果,确定所述初始分析模型的模型损失;
根据所述模型损失,调整所述初始分析模型中的参数权值,确定调整后的分析模型;
在所述模型损失满足训练条件的情况下,将调整后的分析模型确定为最终的分析模型。
7.根据权利要求1至6中任意一项所述的方法,其特征在于,所述卷积模块包括卷积神经网络,所述关系模块包括关系网络。
8.一种文本分析装置,其特征在于,包括:
特征获取单元,用于获取与待分析文本的多个分词相对应的特征信息;
结果获取单元,用于将所述特征信息输入分析模型中进行处理,获取所述待分析文本的文本分析结果,
其中,所述分析模型包括注意力机制模块、卷积模块、关系模块以及拼接输出模块。
9.根据权利要求8所述的装置,其特征在于,所述结果获取单元包括:
第一结果获取子单元,用于将所述特征信息输入所述注意力机制模块中进行处理,获取扩展处理结果;
第二结果获取子单元,用于将所述扩展处理结果输入所述卷积模块中进行处理,获取卷积结果;
第三结果获取子单元,用于将所述卷积结果输入所述关系模块中进行处理,获取关系结果;
第四结果获取子单元,用于将所述关系结果输入拼接输出模块中进行处理,获取所述待分析文本的文本分析结果。
10.根据权利要求8所述的装置,其特征在于,所述特征获取单元包括:
向量化子单元,用于对所述待分析文本的多个分词分别进行向量化处理,获取与所述多个分词相对应的多个向量信息;
特征确定子单元,用于根据所述多个向量信息,确定所述多个分词的特征信息。
11.根据权利要求9所述的装置,其特征在于,所述特征信息包括N个特征信息,N>1,
其中,所述第一结果获取子单元包括:
权重获取子单元,用于针对所述N个特征信息中的第一特征信息,获取所述N个特征信息中除所述第一特征信息之外的N-1个特征信息相对于所述第一特征信息的N-1个权重,其中,所述第一特征信息是所述N个特征信息中的任意一个特征信息;
扩展信息确定子单元,用于根据所述N-1个权重对所述N-1个特征信息进行加权求和处理,确定与所述第一特征信息相对应的扩展向量信息;
第一拼接子单元,用于对所述N个特征信息以及与所述N个特征信息相对应的扩展向量信息进行拼接处理,确定所述扩展处理结果,
其中,所述N-1个权重之和为1。
12.根据权利要求9所述的装置,其特征在于,所述拼接输出模块包括多个全连接层和softmax处理层,
其中,所述第四结果获取子单元包括:
第二拼接子单元,用于对所述关系结果进行向量拼接处理,获取拼接后的向量信息;
信息处理子单元,用于将所述拼接后的向量信息依次输入所述多个全连接层及所述softmax处理层中进行处理,获取所述待分析文本的文本分析结果。
13.根据权利要求8所述的装置,其特征在于,所述装置还包括:
训练特征获取单元,用于获取样本文本的多个分词相对应的训练特征信息;
训练结果获取单元,用于将所述训练特征信息输入初始分析模型中进行处理,获取所述样本文本的训练分析结果,其中,所述初始分析模型包括初始注意力机制模块、初始卷积模块、初始关系模块以及初始拼接输出模块;
损失确定单元,用于根据所述训练分析结果及所述样本文本的标注结果,确定所述初始分析模型的模型损失;
模型调整单元,用于根据所述模型损失,调整所述初始分析模型中的参数权值,确定调整后的分析模型;
模型确定单元,用于在所述模型损失满足训练条件的情况下,将调整后的分析模型确定为最终的分析模型。
14.根据权利要求8至13中任意一项所述的装置,其特征在于,所述卷积模块包括卷积神经网络,所述关系模块包括关系网络。
15.一种文本分析装置,其特征在于,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为执行权利要求1至7中任意一项所述的方法。
16.一种非易失性计算机可读存储介质,其上存储有计算机程序指令,其特征在于,所述计算机程序指令被处理器执行时实现权利要求1至7中任意一项所述的方法。
CN201810254036.0A 2018-03-26 2018-03-26 文本分析方法及装置 Active CN110555104B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810254036.0A CN110555104B (zh) 2018-03-26 2018-03-26 文本分析方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810254036.0A CN110555104B (zh) 2018-03-26 2018-03-26 文本分析方法及装置

Publications (2)

Publication Number Publication Date
CN110555104A true CN110555104A (zh) 2019-12-10
CN110555104B CN110555104B (zh) 2022-06-17

Family

ID=68733768

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810254036.0A Active CN110555104B (zh) 2018-03-26 2018-03-26 文本分析方法及装置

Country Status (1)

Country Link
CN (1) CN110555104B (zh)

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106372058A (zh) * 2016-08-29 2017-02-01 中译语通科技(北京)有限公司 一种基于深度学习的短文本情感要素抽取方法及装置
CN106599933A (zh) * 2016-12-26 2017-04-26 哈尔滨工业大学 一种基于联合深度学习模型的文本情感分类方法
US20170124432A1 (en) * 2015-11-03 2017-05-04 Baidu Usa Llc Systems and methods for attention-based configurable convolutional neural networks (abc-cnn) for visual question answering
CN106951438A (zh) * 2017-02-13 2017-07-14 北京航空航天大学 一种面向开放域的事件抽取系统及方法
CN107092596A (zh) * 2017-04-24 2017-08-25 重庆邮电大学 基于attention CNNs和CCR的文本情感分析方法
CN107180247A (zh) * 2017-05-19 2017-09-19 中国人民解放军国防科学技术大学 基于选择性注意力卷积神经网络的关系分类器及其方法
CN107247702A (zh) * 2017-05-05 2017-10-13 桂林电子科技大学 一种文本情感分析处理方法和系统
CN107341145A (zh) * 2017-06-21 2017-11-10 华中科技大学 一种基于深度学习的用户情感分析方法
CN107391709A (zh) * 2017-07-28 2017-11-24 深圳市唯特视科技有限公司 一种基于新型注意模型进行图像字幕生成的方法
CN107391483A (zh) * 2017-07-13 2017-11-24 武汉大学 一种基于卷积神经网络的商品评论数据情感分类方法
CN107491531A (zh) * 2017-08-18 2017-12-19 华南师范大学 基于集成学习框架的中文网络评论情感分类方法
CN107515855A (zh) * 2017-08-18 2017-12-26 武汉红茶数据技术有限公司 一种结合表情符的微博情感分析方法和系统
CN107526725A (zh) * 2017-09-04 2017-12-29 北京百度网讯科技有限公司 基于人工智能的用于生成文本的方法和装置
CN107609009A (zh) * 2017-07-26 2018-01-19 北京大学深圳研究院 文本情感分析方法、装置、存储介质和计算机设备
CN107608956A (zh) * 2017-09-05 2018-01-19 广东石油化工学院 一种基于cnn‑grnn的读者情绪分布预测算法

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170124432A1 (en) * 2015-11-03 2017-05-04 Baidu Usa Llc Systems and methods for attention-based configurable convolutional neural networks (abc-cnn) for visual question answering
CN106372058A (zh) * 2016-08-29 2017-02-01 中译语通科技(北京)有限公司 一种基于深度学习的短文本情感要素抽取方法及装置
CN106599933A (zh) * 2016-12-26 2017-04-26 哈尔滨工业大学 一种基于联合深度学习模型的文本情感分类方法
CN106951438A (zh) * 2017-02-13 2017-07-14 北京航空航天大学 一种面向开放域的事件抽取系统及方法
CN107092596A (zh) * 2017-04-24 2017-08-25 重庆邮电大学 基于attention CNNs和CCR的文本情感分析方法
CN107247702A (zh) * 2017-05-05 2017-10-13 桂林电子科技大学 一种文本情感分析处理方法和系统
CN107180247A (zh) * 2017-05-19 2017-09-19 中国人民解放军国防科学技术大学 基于选择性注意力卷积神经网络的关系分类器及其方法
CN107341145A (zh) * 2017-06-21 2017-11-10 华中科技大学 一种基于深度学习的用户情感分析方法
CN107391483A (zh) * 2017-07-13 2017-11-24 武汉大学 一种基于卷积神经网络的商品评论数据情感分类方法
CN107609009A (zh) * 2017-07-26 2018-01-19 北京大学深圳研究院 文本情感分析方法、装置、存储介质和计算机设备
CN107391709A (zh) * 2017-07-28 2017-11-24 深圳市唯特视科技有限公司 一种基于新型注意模型进行图像字幕生成的方法
CN107491531A (zh) * 2017-08-18 2017-12-19 华南师范大学 基于集成学习框架的中文网络评论情感分类方法
CN107515855A (zh) * 2017-08-18 2017-12-26 武汉红茶数据技术有限公司 一种结合表情符的微博情感分析方法和系统
CN107526725A (zh) * 2017-09-04 2017-12-29 北京百度网讯科技有限公司 基于人工智能的用于生成文本的方法和装置
CN107608956A (zh) * 2017-09-05 2018-01-19 广东石油化工学院 一种基于cnn‑grnn的读者情绪分布预测算法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
何鸿业等: "结合词性特征与卷积神经网络的文本情感分析", 《计算机工程》 *
卢玲等: "结合注意力机制的长文本分类方法", 《计算机应用》 *

Also Published As

Publication number Publication date
CN110555104B (zh) 2022-06-17

Similar Documents

Publication Publication Date Title
CN109886326B (zh) 一种跨模态信息检索方法、装置和存储介质
CN109816039B (zh) 一种跨模态信息检索方法、装置和存储介质
JP7112536B2 (ja) テキストにおける実体注目点のマイニング方法および装置、電子機器、コンピュータ読取可能な記憶媒体並びにコンピュータプログラム
CN110377740B (zh) 情感极性分析方法、装置、电子设备及存储介质
CN108629414B (zh) 深度哈希学习方法及装置
CN110162657B (zh) 一种基于高层语义特征和颜色特征的图像检索方法及系统
CN111368551A (zh) 一种确定事件主体的方法和装置
CN114841142A (zh) 文本生成方法、装置、电子设备和存储介质
CN114385780A (zh) 程序接口信息推荐方法、装置、电子设备和可读介质
CN114020950B (zh) 图像检索模型的训练方法、装置、设备以及存储介质
CN112507705B (zh) 一种位置编码的生成方法、装置及电子设备
CN111898338B (zh) 文本生成方法、装置和电子设备
CN110852057A (zh) 一种计算文本相似度的方法和装置
CN115952854B (zh) 文本脱敏模型的训练方法、文本脱敏方法及应用
US10956778B2 (en) Multi-level deep feature and multi-matcher fusion for improved image recognition
US11055330B2 (en) Utilizing external knowledge and memory networks in a question-answering system
CN110555104B (zh) 文本分析方法及装置
CN110362809B (zh) 文本分析方法及装置
CN114792097B (zh) 预训练模型提示向量的确定方法、装置及电子设备
CN110362808B (zh) 文本分析方法及装置
CN110362810B (zh) 文本分析方法及装置
CN110929499A (zh) 文本相似度获取方法、装置、介质及电子设备
CN112464654B (zh) 关键词生成方法、装置、电子设备和计算机可读介质
US20210232891A1 (en) Neural network model compression with structured weight unification
CN112651231A (zh) 口语信息处理方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20200429

Address after: 310052 room 508, floor 5, building 4, No. 699, Wangshang Road, Changhe street, Binjiang District, Hangzhou City, Zhejiang Province

Applicant after: Alibaba (China) Co.,Ltd.

Address before: 100080 Beijing Haidian District city Haidian street A Sinosteel International Plaza No. 8 block 5 layer A, C

Applicant before: Youku network technology (Beijing) Co., Ltd

CB02 Change of applicant information
CB02 Change of applicant information

Address after: Room 554, 5 / F, building 3, 969 Wenyi West Road, Wuchang Street, Yuhang District, Hangzhou City, Zhejiang Province

Applicant after: Alibaba (China) Co.,Ltd.

Address before: 310052 room 508, 5th floor, building 4, No. 699 Wangshang Road, Changhe street, Binjiang District, Hangzhou City, Zhejiang Province

Applicant before: Alibaba (China) Co.,Ltd.

GR01 Patent grant
GR01 Patent grant