CN115062118B - 双通道信息抽取方法、装置、电子设备和介质 - Google Patents
双通道信息抽取方法、装置、电子设备和介质 Download PDFInfo
- Publication number
- CN115062118B CN115062118B CN202210886767.3A CN202210886767A CN115062118B CN 115062118 B CN115062118 B CN 115062118B CN 202210886767 A CN202210886767 A CN 202210886767A CN 115062118 B CN115062118 B CN 115062118B
- Authority
- CN
- China
- Prior art keywords
- text
- semantic information
- vector
- input text
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Machine Translation (AREA)
Abstract
本公开的实施例公开了双通道信息抽取方法、装置、电子设备和介质。涉及计算机技术领域。该方法的一具体实施方式包括:获取输入文本;生成上述输入文本的文本向量;基于上述文本向量,抽取上述输入文本的语义信息;将上述语义信息传输至具有显示功能的目标设备。该实施方式利用生成输入文本的文本向量的方式来抽取语义信息,实现了针对输入文本的语义信息的有效抽取。
Description
技术领域
本公开的实施例涉及计算机技术领域,具体涉及双通道信息抽取方法、装置、电子设备和介质。
背景技术
信息抽取,通常为从自然语言文本中抽取特定的信息,这些信息通常包括实体、关系、事件。目前,大多信息抽取的方法为使用单一模型进行抽取,语义信息的提取方式也较为单一,所以抽取的语义信息的准确率也难以保障。
发明内容
有鉴于此,本公开实施例提供了一种双通道信息抽取方法、装置、电子设备和介质,以解决现有技术中如何抽取语义信息以及提高抽取的准确率的问题。
本公开实施例的第一方面,提供了一种双通道信息抽取方法,包括:获取输入文本;生成上述输入文本的文本向量;基于上述文本向量,抽取上述输入文本的语义信息;将上述语义信息传输至具有显示功能的目标设备。
在一些实施例的一些可选的实现方式中,上述生成上述输入文本的文本向量,包括:对上述输入文本进行分词处理,得到至少一个输入词语;生成上述至少一个输入词语中每个输入词语的词向量,得到词向量序列;对上述词向量序列中的词向量进行拼接,得到上述输入文本的文本向量。
在一些实施例的一些可选的实现方式中,上述生成上述输入文本的文本向量,包括:将上述输入文本输入至预先训练的深度学习模型,生成上述输入文本的文本向量。
在一些实施例的一些可选的实现方式中,上述基于上述文本向量,抽取上述输入文本的语义信息,包括:将上述文本向量输入至上述深度学习模型的神经网络结构,输出得到第一语义信息作为上述输入文本的语义信息。
在一些实施例的一些可选的实现方式中,上述基于上述文本向量,抽取上述输入文本的语义信息,包括:将上述文本向量输入至卷积神经网络,输出第二语义信息;将上述第一语义信息和上述第二语义信息进行相加,得到相加结果作为上述输入文本的语义信息。
在一些实施例的一些可选的实现方式中,上述卷积神经网络包括多层门控卷积单元,上述卷积神经网络采用了残差连接。
在一些实施例的一些可选的实现方式中,上述方法还包括:控制上述目标设备显示上述语义信息。
本公开实施例的第二方面,提供了一种双通道信息抽取装置,装置包括:获取单元,被配置成获取输入文本;生成单元,被配置成生成上述输入文本的文本向量;抽取单元,被配置成基于上述文本向量,抽取上述输入文本的语义信息;显示单元,被配置成将上述语义信息传输至具有显示功能的目标设备。
在一些实施例的一些可选的实现方式中,上述生成单元被进一步配置成:对上述输入文本进行分词处理,得到至少一个输入词语;生成上述至少一个输入词语中每个输入词语的词向量,得到词向量序列;对上述词向量序列中的词向量进行拼接,得到上述输入文本的文本向量。
在一些实施例的一些可选的实现方式中,上述生成单元被进一步配置成:将上述输入文本输入至预先训练的深度学习模型,生成上述输入文本的文本向量。
在一些实施例的一些可选的实现方式中,上述抽取单元被进一步配置成:将上述文本向量输入至上述深度学习模型的神经网络结构,输出得到第一语义信息作为上述输入文本的语义信息。
在一些实施例的一些可选的实现方式中,上述抽取单元被进一步配置成:将上述文本向量输入至卷积神经网络,输出第二语义信息;将上述第一语义信息和上述第二语义信息进行相加,得到相加结果作为上述输入文本的语义信息。
在一些实施例的一些可选的实现方式中,上述卷积神经网络包括多层门控卷积单元,上述卷积神经网络采用了残差连接。
在一些实施例的一些可选的实现方式中,上述信息抽取装置被进一步配置成:控制上述目标设备显示上述语义信息。
本公开实施例的第三方面,提供了一种电子设备,包括存储器、处理器以及存储在存储器中并且可以在处理器上运行的计算机程序,该处理器执行计算机程序时实现上述方法的步骤。
本公开实施例的第四方面,提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序被处理器执行时实现上述方法的步骤。
本公开的上述各个实施例中的一个实施例具有如下有益效果:首先,获取输入文本;然后,生成上述输入文本的文本向量;之后,基于上述文本向量,抽取上述输入文本的语义信息;最后,将上述语义信息传输至具有显示功能的目标设备。本公开提供的方法利用生成输入文本的文本向量的方式来抽取语义信息,实现了针对输入文本的语义信息的有效抽取。
附图说明
结合附图并参考以下具体实施方式,本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中,相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的,元件和元素不一定按照比例绘制。
图1是根据本公开的一些实施例的双通道信息抽取方法的一个应用场景的示意图;
图2是根据本公开的双通道信息抽取方法的一些实施例的流程示意图;
图3是根据本公开的双通道信息抽取装置的一些实施例的结构示意图;
图4是适于用来实现本公开的一些实施例的电子设备的结构示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本公开实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本公开。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本公开的描述。
下面将结合附图详细说明根据本公开实施例的一种双通道信息抽取方法、装置、电子设备和介质。
图1是根据本公开的一些实施例的双通道信息抽取方法的一个应用场景的示意图。
在图1的应用场景中,首先,计算设备101可以获取输入文本102。然后,计算设备101可以生成上述输入文本102的文本向量103。之后,基于上述文本向量103,计算设备101可以抽取上述输入文本102的语义信息104。最后,计算设备101可以将上述语义信息104传输至具有显示功能的目标设备105。
需要说明的是,上述计算设备101可以是硬件,也可以是软件。当计算设备101为硬件时,可以实现成多个服务器或终端设备组成的分布式集群,也可以实现成单个服务器或单个终端设备。当计算设备101体现为软件时,可以安装在上述所列举的硬件设备中。其可以实现成例如用来提供分布式服务的多个软件或软件模块,也可以实现成单个软件或软件模块。在此不做具体限定。
应该理解,图1中的计算设备101的数目仅仅是示意性的。根据实现需要,可以具有任意数目的计算设备101。
图2是根据本公开的双通道信息抽取方法的一些实施例的流程示意图。图2的双通道信息抽取方法可以由图1的计算设备101执行。如图2所示,该双通道信息抽取方法,包括以下步骤:
步骤S201,获取输入文本。
在一些实施例中,信息抽取方法的执行主体(如图1所示的计算设备101)可以通过无线连接方式获取上述输入文本。这里,输入文本可以是需要进行语义信息抽取的文本,可以由用户手动输入。作为示例,上述执行主体可以通过无线连接方式接收用户输入的文本作为上述输入文本。作为另一示例,上述执行主体可以通过无线连接方式获取用户选定的文本作为上述输入文本。
需要指出的是,上述无线连接方式可以包括但不限于3G/4G连接、WiFi连接、蓝牙连接、WiMAX连接、Zigbee连接、UWB(ultra wideband)连接、以及其他现在已知或将来开发的无线连接方式。
步骤S202,生成上述输入文本的文本向量。
在一些实施例中,上述执行主体可以将上述输入文本输入至预先训练的深度学习模型,生成上述输入文本的文本向量。作为示例,上述深度学习模型可以是任意具有词嵌入功能的现有自然语言处理模型,这里,我们采用的是bert模型。
在一些实施例的一些可选的实现方式中,上述执行主体还可以通过如下步骤生成上述输入文本的文本向量:
第一步,上述执行主体可以对上述输入文本进行分词处理,得到至少一个输入词语。这里,分词处理可以是将一段文本切分成一个个单独的词,得到至少一个输入词语,这里的词语可以是一个字,也可以是一个至少包括两个字的词语。
第二步,上述执行主体可以生成上述至少一个输入词语中每个输入词语的词向量,得到词向量序列。作为示例,上述执行主体可以对上述每个输入词语进行词嵌入,得到上述词语的词向量。
上文陈述的词嵌入是自然语言处理(Natural Language Processing,NLP)中语言模型与表征学习技术的统称。概念上而言,它是指把一个维数为所有词的数量的高维空间嵌入到一个维数低得多的连续向量空间中,每个单词或词组被映射为实数域上的向量。具体地,词向量(Word embedding)可以是单词或短语被映射到实数的向量。从概念上讲,它涉及从每个单词一维的空间到具有更低维度的连续向量空间的数学嵌入。
第三步,上述执行主体对上述词向量序列中词向量进行拼接,得到上述输入文本的文本向量。作为示例,上述执行主体可以将输入文本“我的北漂生活”进行分词处理,得到输入词语“我的”、“北漂”、“生活”。上述执行主体可以对上述输入词语依次进行向量映射,每个词都得到唯一的向量。输入词语“我的”、“北漂”、“生活”的向量分别可以是“01”、“23”、“56”,上述执行主体可以对上述词向量进行拼接,得到上述输入文本的文本向量“012356”。
步骤S203,基于上述文本向量,抽取上述输入文本的语义信息。
在一些实施例中,上述执行主体可以将上述文本向量输入至上述深度学习模型的神经网络结构,输出得到第一语义信息作为上述输入文本的语义信息。这里,抽取得到的语义信息可以是实体,可以是输入文本中的关系,也可以是输入文本要表达的事件。上述深度学习模型和神经网络结构为双通道信息抽取方法中的第一通道。在这里,上述神经网络结构可以是Transformer网络结构,Transformer网络结构包括编码器和解码器,其中编码器包括自注意力层、注意力层和前馈层,自注意力层用于关注相关词语,注意力层用于关注文本向量中相关的部分,前馈层用于接收关注反馈传输至解码器进行解码输出。
在一些实施例的一些可选的实现方式中,上述执行主体还可以将上述文本向量输入至卷积神经网络,输出第二语义信息。然后,上述执行主体可以将上述第一语义信息和上述第二语义信息进行相加,得到相加结果作为上述输入文本的语义信息。上述卷积神经网络为双通道信息抽取方法中的第二通道。
在一些实施例的一些可选的实现方式中,上述卷积神经网络包括多层门控卷积单元,上述卷积神经网络采用了残差连接。
作为示例,上述卷积神经网络可以是门控卷积网络(GCN),上述门控卷积网络(GCN)由n层门控卷积单元(GCU)堆叠而成,其中,每个门控卷积单元(GCU)中包含两个门控单元(更新门Gu、重置门Gr),三个空洞卷积(DilatedConv)和残差连接,可以增强模型效果:
C=GCU(···(GCU(X))),
Gu=σ(DilatedConv1(X)),
Gr=σ(DilatedConv2(X)),
X1=DilatedConv3(Gr*X),
X2=DilatedConv4(X),
Xn=Gu*X1+(1-Gu)*X2+X,
其中,C表征输出的语义信息,X表征文本向量,σ表征预设常数,X1、X2、X3…Xn分别表征第1、2、3…n层门控卷积单元的输出。具体地,上述门控单元的运算流程包括:第一步,对上述文本向量X进行空洞卷积,然后经过激活函数(例如,Sigmoid激活函数),计算得到两个门控值;第二步,使重置门作用在上述文本向量,表征控制传来的信息有多少可以被利用(Gr*X);第三步,使用重置后的文本向量X进行空洞卷积,计算得到新的文本向量X1;第四步,使更新门作用在X1上,而1-Gu作用在X2,随后将两者结果相加,得到第n层GCU的输出Xn。这个过程表示更新门有能力保留之前的结果,当门值趋于1,输出就是新的X1,当门值趋于0,输出就是X2。加入的残差连接,是为了避免层数变深时的梯度消失。
在一些实施例的一些可选的实现方式中,上述方法采用了空洞卷积,空洞卷积可以理解为在普通卷积基础上将卷积核扩展,在卷积核的每行每列中间加0。这样做的好处是增大了感受野,且输出特征可以保持原始尺寸,避免普通卷积通过pooling缩小尺寸,再通过upsampling还原尺寸,造成的精度损失。
步骤S204,将上述语义信息传输至具有显示功能的目标设备。
在一些实施例中,上述执行主体可以将上述语义信息传输至具有显示功能的目标设备。可选的,上述执行主体还可以控制上述目标设备显示上述语义信息。
本公开的上述各个实施例中的一个实施例具有如下有益效果:首先,获取输入文本;然后,生成上述输入文本的文本向量;之后,基于上述文本向量,抽取上述输入文本的语义信息;最后,将上述语义信息传输至具有显示功能的目标设备。本公开提供的双通道信息抽取方法利用生成输入文本的文本向量的方式来抽取语义信息,实现了针对输入文本的语义信息的有效抽取。另外,利用深度学习模型及其神经网络结构和卷积神经网络来抽取语义信息,提高了语义信息抽取的效率。由于神经网络结构中包括注意力层,能针对文本向量中表达的语义信息进行有效的抽取。另外,在深度学习模型的基础上引入了卷积神经网络(门控卷积网络,GCN),可以增强模型抽取语义信息的效果。将深度学习模型输出的第一语义信息和卷积神经网络输出的第二语义信息相加,得到上述输入文本最终输出的语义信息,两次抽取再组合避免了抽取的错漏问题,使得抽取到的语义信息更为全面。
上述所有可选技术方案,可以采用任意结合形成本申请的可选实施例,在此不再一一赘述。
下述为本公开装置实施例,可以用于执行本公开方法实施例。对于本公开装置实施例中未披露的细节,请参照本公开方法实施例。
图3是根据本公开的双通道信息抽取装置的一些实施例的结构示意图。如图3所示,该信息抽取装置包括:获取单元301、生成单元302、抽取单元303和显示单元304。其中,获取单元301,被配置成获取输入文本;生成单元302,被配置成生成上述输入文本的文本向量;抽取单元303,被配置成基于上述文本向量,抽取上述输入文本的语义信息;显示单元304,被配置成将上述语义信息传输至具有显示功能的目标设备。
在一些实施例的一些可选的实现方式中,信息抽取装置的生成单元302被进一步配置成:对上述输入文本进行分词处理,得到至少一个输入词语;生成上述至少一个输入词语中每个输入词语的词向量,得到词向量序列;对上述词向量序列中的词向量进行拼接,得到上述输入文本的文本向量。
在一些实施例的一些可选的实现方式中,信息抽取装置的生成单元302被进一步配置成:将上述输入文本输入至预先训练的深度学习模型,生成上述输入文本的文本向量。
在一些实施例的一些可选的实现方式中,信息抽取装置的抽取单元303被进一步配置成:将上述文本向量输入至上述深度学习模型的神经网络结构,输出得到第一语义信息作为上述输入文本的语义信息。
在一些实施例的一些可选的实现方式中,信息抽取装置的抽取单元303被进一步配置成:将上述文本向量输入至卷积神经网络,输出第二语义信息;将上述第一语义信息和上述第二语义信息进行相加,得到相加结果作为上述输入文本的语义信息。
在一些实施例的一些可选的实现方式中,上述卷积神经网络包括多层门控卷积单元,上述卷积神经网络采用了残差连接。
在一些实施例的一些可选的实现方式中,信息抽取装置被进一步配置成:控制上述目标设备显示上述语义信息。
可以理解的是,该装置中记载的诸单元与参考图2描述的方法中的各个步骤相对应。由此,上文针对方法描述的操作、特征以及产生的有益效果同样适用于装置及其中包含的单元,在此不再赘述。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本公开实施例的实施过程构成任何限定。
图4是本公开实施例提供的计算机设备4的示意图。如图4所示,该实施例的计算机设备4包括:处理器401、存储器402以及存储在该存储器402中并且可以在处理器401上运行的计算机程序403。处理器401执行计算机程序403时实现上述各个方法实施例中的步骤。或者,处理器401执行计算机程序403时实现上述各装置实施例中各模块/单元的功能。
示例性地,计算机程序403可以被分割成一个或多个模块/单元,一个或多个模块/单元被存储在存储器402中,并由处理器401执行,以完成本公开。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述计算机程序403在计算机设备4中的执行过程。
计算机设备4可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算机设备。计算机设备4可以包括但不仅限于处理器401和存储器402。本领域技术人员可以理解,图4仅仅是计算机设备4的示例,并不构成对计算机设备4的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如,计算机设备还可以包括输入输出设备、网络接入设备、总线等。
处理器401可以是中央处理单元(Central Processing Unit,CPU),也可以是其它通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器402可以是计算机设备4的内部存储单元,例如,计算机设备4的硬盘或内存。存储器402也可以是计算机设备4的外部存储设备,例如,计算机设备4上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,存储器402还可以既包括计算机设备4的内部存储单元也包括外部存储设备。存储器402用于存储计算机程序以及计算机设备所需的其它程序和数据。存储器402还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本公开的范围。
在本公开所提供的实施例中,应该理解到,所揭露的装置/计算机设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/计算机设备实施例仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读存储介质中。基于这样的理解,本公开实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,计算机程序可以存储在计算机可读存储介质中,该计算机程序在被处理器执行时,可以实现上述各个方法实施例的步骤。计算机程序可以包括计算机程序代码,计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括:能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、电载波信号、电信信号以及软件分发介质等。需要说明的是,计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如,在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
以上实施例仅用以说明本公开的技术方案,而非对其限制;尽管参照前述实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本公开各实施例技术方案的精神和范围,均应包含在本公开的保护范围之内。
Claims (4)
1.一种双通道信息抽取方法,包括:
获取输入文本;
生成所述输入文本的文本向量;
基于所述文本向量,抽取所述输入文本的语义信息;
将所述语义信息传输至具有显示功能的目标设备;
所述生成所述输入文本的文本向量,包括:
对所述输入文本进行分词处理,得到至少一个输入词语;
生成所述至少一个输入词语中每个输入词语的词向量,得到词向量序列;
对所述词向量序列中的词向量进行拼接,得到所述输入文本的文本向量;
所述生成所述输入文本的文本向量,包括:
将所述输入文本输入至预先训练的深度学习模型,生成所述输入文本的文本向量;
所述基于所述文本向量,抽取所述输入文本的语义信息,包括:
将所述文本向量输入至所述深度学习模型的神经网络结构,输出得到第一语义信息作为所述输入文本的语义信息;所述第一语义信息为实体、输入文本中的关系或输入文本要表达的事件;
所述基于所述文本向量,抽取所述输入文本的语义信息,包括:
将所述文本向量输入至卷积神经网络,输出第二语义信息;
将所述第一语义信息和所述第二语义信息进行相加,得到相加结果作为所述输入文本的语义信息;其中,
所述深度学习模型的神经网络结构为双通道信息抽取方法中的第一通道,所述卷积神经网络为双通道信息抽取方法中的第二通道;所述神经网络结构是Transformer网络结构,Transformer网络结构包括编码器和解码器,其中编码器包括自注意力层、注意力层和前馈层,自注意力层用于关注相关词语,注意力层用于关注文本向量中相关的部分,前馈层用于接收关注反馈传输至解码器进行解码输出;所述卷积神经网络包括多层门控卷积单元,卷积神经网络采用了残差连接,所述卷积神经网络是门控卷积网络,门控卷积网络由n层门控卷积单元堆叠而成,其中,每个门控卷积单元中包含更新门和重置门两个门控单元、三个空洞卷积和残差连接:
C=GCU(···(GCU(X))),
Gu=σ(DilatedConv1(X)),
Gr=σ(DilatedConv2(X)),
X1=DilatedConv3(Gr*X),
X2=DilatedConv4(X),
Xn=Gu*X1+(1-Gu)*X2+X,
其中,C表征输出的语义信息,X表征文本向量,σ表征预设常数,表示激活函数,X1、X2、Xn分别表征第1、2、n层门控卷积单元的输出,Gu表示更新门、Gr表示重置门,DilatedConv表示空洞卷积,DilatedConv1表示第1个空洞卷积、DilatedConv2表示第2个空洞卷积、DilatedConv3表示第3个空洞卷积、DilatedConv4表示第4个空洞卷积;所述门控卷积单元的运算流程包括:第一步,对上述文本向量X进行空洞卷积,然后经过激活函数计算得到两个门控值;第二步,使重置门作用在上述文本向量,表征控制传来的信息有多少可以被利用;第三步,使用重置后的文本向量X进行空洞卷积,计算得到新的文本向量X1,对上述文本向量X进行空洞卷积,得到X2;第四步,使更新门作用在X1上,而1-Gu作用在X2,随后将两者结果相加,得到第n层GCU的输出Xn;这个过程表示更新门有能力保留之前的结果,当门值趋于1,输出就是新的X1,当门值趋于0,输出就是X2;加入的残差连接避免层数变深时的梯度消失;
将所述语义信息传输至具有显示功能的目标设备;
控制所述目标设备显示所述语义信息。
2.一种双通道信息抽取装置,包括:
获取单元,被配置成获取输入文本;
生成单元,被配置成生成所述输入文本的文本向量;
抽取单元,被配置成基于所述文本向量,抽取所述输入文本的语义信息;
显示单元,被配置成将所述语义信息传输至具有显示功能的目标设备;
所述生成单元被进一步配置成:
对所述输入文本进行分词处理,得到至少一个输入词语;
生成所述至少一个输入词语中每个输入词语的词向量,得到词向量序列;
对所述词向量序列中的词向量进行拼接,得到所述输入文本的文本向量;
所述生成单元被进一步配置成:
将所述输入文本输入至预先训练的深度学习模型,生成所述输入文本的文本向量;
所述抽取单元被进一步配置成:
将所述文本向量输入至所述深度学习模型的神经网络结构,输出得到第一语义信息作为所述输入文本的语义信息;所述第一语义信息为实体、输入文本中的关系或输入文本要表达的事件;
所述抽取单元被进一步配置成:
将所述文本向量输入至卷积神经网络,输出第二语义信息;
将所述第一语义信息和所述第二语义信息进行相加,得到相加结果作为所述输入文本的语义信息;其中,
所述深度学习模型和神经网络结构为双通道信息抽取方法中的第一通道,所述卷积神经网络为双通道信息抽取方法中的第二通道;所述神经网络结构是Transformer网络结构,Transformer网络结构包括编码器和解码器,其中编码器包括自注意力层、注意力层和前馈层,自注意力层用于关注相关词语,注意力层用于关注文本向量中相关的部分,前馈层用于接收关注反馈传输至解码器进行解码输出;所述卷积神经网络包括多层门控卷积单元,卷积神经网络采用了残差连接,所述卷积神经网络是门控卷积网络,门控卷积网络由n层门控卷积单元堆叠而成,其中,每个门控卷积单元中包含两个门控单元:更新们、重置门、三个空洞卷积和残差连接:
C=GCU(···(GCU(X))),
Gu=σ(DilatedConv1(X)),
Gr=σ(DilatedConv2(X)),
X1=DilatedConv3(Gr*X),
X2=DilatedConv4(X),
Xn=Gu*X1+(1-Gu)*X2+X,
其中,C表征输出的语义信息,X表征文本向量,σ表征预设常数,表示激活函数,X1、X2、Xn分别表征第1、2、n层门控卷积单元的输出,Gu表示更新门、Gr表示重置门,DilatedConv表示空洞卷积,DilatedConv1表示第1个空洞卷积、DilatedConv2表示第2个空洞卷积、DilatedConv3表示第3个空洞卷积、DilatedConv4表示第4个空洞卷积;所述门控卷积单元的运算流程包括:第一步,对上述文本向量X进行空洞卷积,然后经过激活函数计算得到两个门控值;第二步,使重置门作用在上述文本向量,表征控制传来的信息有多少可以被利用;第三步,使用重置后的文本向量X进行空洞卷积,计算得到新的文本向量X1,对上述文本向量X进行空洞卷积,得到X2;第四步,使更新门作用在X1上,而1-Gu作用在X2,随后将两者结果相加,得到第n层GCU的输出Xn;这个过程表示更新门有能力保留之前的结果,当门值趋于1,输出就是新的X1,当门值趋于0,输出就是X2;加入的残差连接避免层数变深时的梯度消失;
将所述语义信息传输至具有显示功能的目标设备;
控制所述目标设备显示所述语义信息。
3.一种电子设备,包括存储器、处理器以及存储在所述存储器中并且可以在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1所述方法的步骤。
4.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210886767.3A CN115062118B (zh) | 2022-07-26 | 2022-07-26 | 双通道信息抽取方法、装置、电子设备和介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210886767.3A CN115062118B (zh) | 2022-07-26 | 2022-07-26 | 双通道信息抽取方法、装置、电子设备和介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115062118A CN115062118A (zh) | 2022-09-16 |
CN115062118B true CN115062118B (zh) | 2023-01-31 |
Family
ID=83206929
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210886767.3A Active CN115062118B (zh) | 2022-07-26 | 2022-07-26 | 双通道信息抽取方法、装置、电子设备和介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115062118B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110569500A (zh) * | 2019-07-23 | 2019-12-13 | 平安国际智慧城市科技股份有限公司 | 文本语义识别方法、装置、计算机设备和存储介质 |
CN111026845A (zh) * | 2019-12-06 | 2020-04-17 | 北京理工大学 | 一种获取多层次上下文语义的文本分类方法 |
CN112560484A (zh) * | 2020-11-09 | 2021-03-26 | 武汉数博科技有限责任公司 | 一种改进bert训练模型及一种命名实体识别方法、系统 |
CN113886530A (zh) * | 2021-10-22 | 2022-01-04 | 南京奥派信息产业股份公司 | 一种语义短语抽取方法及相关装置 |
CN114417878A (zh) * | 2021-12-29 | 2022-04-29 | 北京百度网讯科技有限公司 | 语义识别方法、装置、电子设备及存储介质 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111753822B (zh) * | 2019-03-29 | 2024-05-24 | 北京市商汤科技开发有限公司 | 文本识别方法及装置、电子设备和存储介质 |
EP3933699A1 (en) * | 2020-06-30 | 2022-01-05 | Siemens Aktiengesellschaft | A computer-implemented method and apparatus for automatically annotating columns of a table with semantic types |
-
2022
- 2022-07-26 CN CN202210886767.3A patent/CN115062118B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110569500A (zh) * | 2019-07-23 | 2019-12-13 | 平安国际智慧城市科技股份有限公司 | 文本语义识别方法、装置、计算机设备和存储介质 |
CN111026845A (zh) * | 2019-12-06 | 2020-04-17 | 北京理工大学 | 一种获取多层次上下文语义的文本分类方法 |
CN112560484A (zh) * | 2020-11-09 | 2021-03-26 | 武汉数博科技有限责任公司 | 一种改进bert训练模型及一种命名实体识别方法、系统 |
CN113886530A (zh) * | 2021-10-22 | 2022-01-04 | 南京奥派信息产业股份公司 | 一种语义短语抽取方法及相关装置 |
CN114417878A (zh) * | 2021-12-29 | 2022-04-29 | 北京百度网讯科技有限公司 | 语义识别方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN115062118A (zh) | 2022-09-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7423828B2 (ja) | アテンションベースのシーケンス変換ニューラルネットワーク | |
EP4024232A1 (en) | Text processing model training method, and text processing method and apparatus | |
US20200342183A1 (en) | Processing text sequences using neural networks | |
CN107704625B (zh) | 字段匹配方法和装置 | |
JP7406606B2 (ja) | テキスト認識モデルの訓練方法、テキスト認識方法及び装置 | |
WO2019084551A1 (en) | NEURAL NETWORKS OF SEQUENCE TRANSDUCTION ONLY OF DECODER BASED ON ATTENTION | |
CN112673383A (zh) | 神经网络核中动态精度的数据表示 | |
CN110472002B (zh) | 一种文本相似度获取方法和装置 | |
CN112163601A (zh) | 图像分类方法、系统、计算机设备及存储介质 | |
CN111368037A (zh) | 基于Bert模型的文本相似度计算方法和装置 | |
CN112836502B (zh) | 一种金融领域事件隐式因果关系抽取方法 | |
CN116363261A (zh) | 图像编辑模型的训练方法、图像编辑方法和装置 | |
CN110046344B (zh) | 添加分隔符的方法及终端设备 | |
KR20220042315A (ko) | 교통 데이터 예측 방법, 장치 및 전자 기기 | |
CN113965313A (zh) | 基于同态加密的模型训练方法、装置、设备以及存储介质 | |
CN115062118B (zh) | 双通道信息抽取方法、装置、电子设备和介质 | |
CN116127925B (zh) | 基于对文本进行破坏处理的文本数据增强方法及装置 | |
JP7352609B2 (ja) | ニューラルネットワーク加速器のデータ処理方法、装置、機器及び記憶媒体 | |
CN115034225A (zh) | 应用于医学领域的词语处理方法、装置、电子设备和介质 | |
CN112784967B (zh) | 信息处理方法、装置以及电子设备 | |
CN114065913A (zh) | 模型量化方法、装置及终端设备 | |
CN113344200A (zh) | 用于训练可分离卷积网络的方法、路侧设备及云控平台 | |
CN114969386B (zh) | 应用于医学领域的消歧方法、装置、电子设备和介质 | |
CN117669738B (zh) | 引擎更新方法、处理方法、装置、设备、介质及机器人 | |
CN115034198B (zh) | 语言模型中嵌入模块计算优化的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |