CN109558576B - 一种基于自注意力机制的标点符号预测方法 - Google Patents
一种基于自注意力机制的标点符号预测方法 Download PDFInfo
- Publication number
- CN109558576B CN109558576B CN201811308508.2A CN201811308508A CN109558576B CN 109558576 B CN109558576 B CN 109558576B CN 201811308508 A CN201811308508 A CN 201811308508A CN 109558576 B CN109558576 B CN 109558576B
- Authority
- CN
- China
- Prior art keywords
- layer
- word
- sequence
- attention
- self
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 230000007246 mechanism Effects 0.000 title claims abstract description 24
- 238000012545 processing Methods 0.000 claims abstract description 3
- 230000015654 memory Effects 0.000 claims description 34
- 239000013598 vector Substances 0.000 claims description 33
- 230000007787 long-term memory Effects 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 230000008034 disappearance Effects 0.000 abstract description 7
- 230000007774 longterm Effects 0.000 abstract description 5
- 238000012549 training Methods 0.000 abstract description 5
- 230000005540 biological transmission Effects 0.000 abstract description 3
- 230000002457 bidirectional effect Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 241000590419 Polygonia interrogationis Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Machine Translation (AREA)
Abstract
本发明提供一种基于自注意力机制的标点符号预测方法,包括以下步骤:基于自动语音识别技术进行语音识别,得到无标点符号文本;对无标点符号文本进行处理,得到文本序列;构建标点符号预测模型,将文本序列导入模型中,完成文本序列的标点符号预测。本发明提供的一种基于自注意力机制的标点符号预测方法,通过构建标点符号预测模型,实现了对语音识别文本的标点符号预测,有效缓解了梯度消失的问题,加强了特征传递,有效建立文本长期依赖的关系;同时,相比之前的模型无需额外的参数,有效减少了传递的数据量,降低参数的训练难度。
Description
技术领域
本发明涉及自然语言处理领域,更具体的,涉及一种基于自注意力机制的标点符号预测方法。
背景技术
随着深度学习的发展,近年来,许多学者提出使用神经网络来做标点符号预测,一般神经网络模型包括两个步骤:第一步是使用循环神经网络、卷积神经网络、注意力机制来产生具有上下文信息的文本表达;第二步是根据第一步生成的富含上下文信息的表达,在对每个词进行标点符号预测时,使用归一化指数函数或者条件随机场算出每个词后逗号、句号、问号、无标点符号的得分,从这四个得分中选择得分最高的类作为这个词的标记,从而得到一个合理的标点符号序列。
其中,卷积神经网络在应用中难以捕捉到每个词的语义信息以及位置信息,而循环神经网络在训练的过程中容易产生梯度消失、长期依赖和过拟合的问题,提升了模型的训练难度。而在使用传统的注意力机制时,不能学习到文本序列的不同表示子空间的信息。
发明内容
本发明为克服上述现有技术在预测文本标点符号时存在容易产生梯度消失、长期依赖和过拟合且计算量过大的技术问题,提供一种基于自注意力机制的标点符号预测方法。
为解决上述技术问题,本发明的技术方案如下:
一种基于自注意力机制的标点符号预测方法,包括以下步骤:
S1:基于自动语音识别技术进行语音识别,得到无标点符号文本;
S2:对无标点符号文本进行处理,得到文本序列;
S3:构建标点符号预测模型,将文本序列导入模型中,完成文本序列的标点符号预测。
其中,在步骤S3中,所述标点符号预测模型包括字符嵌入层、词嵌入层、上下文信息嵌入层、自注意力层和输出层;其中:
所述字符嵌入层对每个单词中的字符序列做一维卷积,对卷积的结果做最大池化,即可得到对应单词的字符级向量;
所述词嵌入层通过预训练的GloVe词向量将每个词映射为一个词级的高维向量;词向量结合对应的字符级向量形成一个既有词级信息又有字符级信息的向量;
所述上下文信息嵌入层通过3层稠密连接的双向长短期记忆网络获得序列的信息表达;
所述自注意力层计算每一个词对序列中其他词的注意力,对序列中的每一个词分配不同的权重,从而得到一个具有权重信息的向量序列;
所述输出层通过归一化指数函数对具有权重信息的向量序列进行处理,完成对每个词的标点符号预测,并输出预测结果。
其中,在上下文信息嵌入层中,所述3层稠密连接的双向长短期记忆网络分别为第一层双向长短期记忆网络、第二层双向长短期记忆网络和第三层双向长短期记忆网络;其中,
第一层双向长短期记忆网络输入端接收所述词嵌入层输出的向量信息;
第二层双向长短期记忆网络输入端接收所述词嵌入层输出的向量信息的同时,接收第一层双向长短期记忆网络的输出信息;
第三层双向长短期记忆网络输入端接收所述词嵌入层输出的向量信息的同时,还同时接收第一层双向长短期记忆网络、第二层双向长短期记忆网络的输出信息;
第三层双向长短期记忆网络输出序列的信息表达传送至所述自注意力层。
其中,所述自注意力层为多头自注意力机制,具体包括以下步骤:
设头的个数为h,序列单词个数为n,序列维数为d,上下文信息嵌入层的输出序列为Q、K、V,其中Q=K=V,Q∈Rn×d,K∈Rn×d,V∈Rn×d;
Q、K、V经过线性变换后对d维进行分割,每个头内Q、K、V注意力计算公式为:
每个头的输入Mi为:
Mi=Attention(QWi Q,KWi K,VWi V);
其中,Wi Q∈Rn×d/h,Wi K∈Rn×d/h,Wi V∈Rn×d/h;得到每个头的Attention后,将h个头的Attention结果进行拼接,得到拼接结果M,即:
M=Concat(M1,...,Mh);
其中,M∈Rn×d,对拼接结果做线性变化,有:
Y=MW;
其中,W为自定义的参数矩阵,W∈Rd×4,Y为线性变换后的结果。
上述方案中,利用3层稠密连接的双向长短期记忆网络,每一层双向长短期记忆网络的输出都被传递到最后一层双向长短期记忆网络,从而缓解了梯度消失得问题;且每一层双向长短期记忆网络都可以获取原始的输入序列,故其需要的参数少,容易获得更好的效果。
上述方案中,使用多头自注意力机制,仅需序列对自身做Attention计算即可,同时可以学习到不同表示子空间的信息,捕获长距离依赖关系。在长距离依赖上,由于自注意力机制是每个词和所有词都要进行Attention计算,故词间最大的路径长都是1。
与现有技术相比,本发明技术方案的有益效果是:
本发明提供的一种基于自注意力机制的标点符号预测方法,通过构建标点符号预测模型,实现了对语音识别文本的标点符号预测,有效缓解了梯度消失的问题,加强了特征传递,有效建立文本长期依赖的关系;同时,相比之前的模型无需额外的参数,有效减少了传递的数据量,降低参数的训练难度。
附图说明
图1为本发明方法流程图;
图2为稠密连接的双向长短期记忆网络结构示意图。
具体实施方式
附图仅用于示例性说明,不能理解为对本专利的限制;
为了更好说明本实施例,附图某些部件会有省略、放大或缩小,并不代表实际产品的尺寸;
对于本领域技术人员来说,附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
如图1所示,一种基于自注意力机制的标点符号预测方法,包括以下步骤:
S1:基于自动语音识别技术进行语音识别,得到无标点符号文本;
S2:对无标点符号文本进行排序处理,得到文本序列;
S3:构建标点符号预测模型,将文本序列导入模型中,完成文本序列的标点符号预测。
在具体实施过程中,模型输入的文本序列为X1,X2,...,XT,代表T个单词,输出序列为Y1,Y2,...,Yt,为每个单词做标记;其中,Yt=0代表这个词后面无标点符号,Yt=1代表这个词后面是逗号,Yt=2代表这个词后面是句号,Yt=3代表这个词后面是问号。
更具体的,在步骤S3中,所述标点符号预测模型包括字符嵌入层、词嵌入层、上下文信息嵌入层、自注意力层和输出层;其中:
所述字符嵌入层对每个单词中的字符序列做一维卷积,对卷积的结果做最大池化,即可得到对应单词的字符级向量;
所述词嵌入层通过预训练的GloVe词向量将每个词映射为一个词级的高维向量;词向量结合对应的字符级向量形成一个既有词级信息又有字符级信息的向量;
所述上下文信息嵌入层通过3层稠密连接的双向长短期记忆网络获得序列的信息表达;
所述自注意力层计算每一个词对序列中其他词的注意力,对序列中的每一个词分配不同的权重,从而得到一个具有权重信息的向量序列;
所述输出层通过归一化指数函数对具有权重信息的向量序列进行处理,完成对每个词的标点符号预测,并输出预测结果。
更具体的,如图2所示,在上下文信息嵌入层中,所述3层稠密连接的双向长短期记忆网络分别为第一层双向长短期记忆网络、第二层双向长短期记忆网络和第三层双向长短期记忆网络;其中,
第一层双向长短期记忆网络输入端接收所述词嵌入层输出的向量信息;
第二层双向长短期记忆网络输入端接收所述词嵌入层输出的向量信息的同时,接收第一层双向长短期记忆网络的输出信息;
第三层双向长短期记忆网络输入端接收所述词嵌入层输出的向量信息的同时,还同时接收第一层双向长短期记忆网络、第二层双向长短期记忆网络的输出信息;
第三层双向长短期记忆网络输出序列的信息表达传送至所述自注意力层。更
具体的,所述自注意力层为多头自注意力机制,具体包括以下步骤:
设头的个数为h,序列单词个数为n,序列维数为d,上下文信息嵌入层的输出序列为Q、K、V,其中Q=K=V,Q∈Rn×d,K∈Rn×d,V∈Rn×d;
Q、K、V经过线性变换后对d维进行分割,每个头内Q、K、V注意力计算公式为:
每个头的输入Mi为:
Mi=Attention(QWi Q,KWi K,VWi V);
其中,Wi Q∈Rn×d/h,Wi K∈Rn×d/h,Wi V∈Rn×d/h;得到每个头的Attention后,将h个头的Attention结果进行拼接,得到拼接结果M,即:
M=Concat(M1,...,Mh);
其中,M∈Rn×d,对拼接结果做线性变化,有:
Y=MW;
其中,W为自定义的参数矩阵,W∈Rd×4,Y为线性变换后的结果。
在具体实施过程中,利用3层稠密连接的双向长短期记忆网络,每一层双向长短期记忆网络的输出都被传递到最后一层双向长短期记忆网络,从而缓解了梯度消失得问题;且每一层双向长短期记忆网络都可以获取原始的输入序列,故其需要的参数少,容易获得更好的效果。
在具体实施过程中,使用多头自注意力机制,仅需序列对自身做Attention计算即可,同时可以学习到不同表示子空间的信息,捕获长距离依赖关系。在长距离依赖上,由于自注意力机制是每个词和所有词都要进行Attention计算,故词间最大的路径长都是1。
在具体实施过程中,通过构建标点符号预测模型,实现了对语音识别文本的标点符号预测,有效缓解了梯度消失的问题,加强了特征传递,有效建立文本长期依赖的关系;同时,相比之前的模型无需额外的参数,有效减少了传递的数据量,降低参数的训练难度。
显然,本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明权利要求的保护范围之内。
Claims (1)
1.一种基于自注意力机制的标点符号预测方法,其特征在于,包括以下步骤:
S1:基于自动语音识别技术进行语音识别,得到无标点符号文本;
S2:对无标点符号文本进行处理,得到文本序列;
S3:构建标点符号预测模型,将文本序列导入模型中,完成文本序列的标点符号预测;
在步骤S3中,所述标点符号预测模型包括字符嵌入层、词嵌入层、上下文信息嵌入层、自注意力层和输出层;其中:
所述字符嵌入层对每个单词中的字符序列做一维卷积,对卷积的结果做最大池化,即可得到对应单词的字符级向量;
所述词嵌入层通过预训练的GloVe词向量将每个词映射为一个词级的高维向量;词向量结合对应的字符级向量形成一个既有词级信息又有字符级信息的向量;
所述上下文信息嵌入层通过3层稠密连接的双向长短期记忆网络获得序列的信息表达;
所述自注意力层计算每一个词对序列中其他词的注意力,对序列中的每一个词分配不同的权重,从而得到一个具有权重信息的向量序列;
所述输出层通过归一化指数函数对具有权重信息的向量序列进行处理,完成对每个词的标点符号预测,并输出预测结果;
在上下文信息嵌入层中,所述3层稠密连接的双向长短期记忆网络分别为第一层双向长短期记忆网络、第二层双向长短期记忆网络和第三层双向长短期记忆网络;其中,
第一层双向长短期记忆网络输入端接收所述词嵌入层输出的向量信息;
第二层双向长短期记忆网络输入端接收所述词嵌入层输出的向量信息的同时,接收第一层双向长短期记忆网络的输出信息;
第三层双向长短期记忆网络输入端接收所述词嵌入层输出的向量信息的同时,还同时接收第一层双向长短期记忆网络、第二层双向长短期记忆网络的输出信息;
第三层双向长短期记忆网络输出序列的信息表达传送至所述自注意力层;
所述自注意力层为多头自注意力机制,具体包括以下步骤:
设头的个数为h,序列单词个数为n,序列维数为d,上下文信息嵌入层的输出序列为Q、K、V,其中Q=K=V,Q∈Rn×d,K∈Rn×d,V∈Rn×d;
Q、K、V经过线性变换后对d维进行分割,每个头内Q、K、V注意力计算公式为:
每个头的输入Mi为:
M=Concat(M1,...,Mh);
其中,M∈Rn×d,对拼接结果做线性变换,有:
Y=MW;
其中,W为自定义的参数矩阵,W∈Rd×4,Y为线性变换后的结果;
使用多头自注意力机制,仅需序列对自身做Attention计算即可,同时可以学习到不同表示子空间的信息,捕获长距离依赖关系;在长距离依赖上,由于自注意力机制是每个词和所有词都要进行Attention计算,故词间最大的路径长都是1。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811308508.2A CN109558576B (zh) | 2018-11-05 | 2018-11-05 | 一种基于自注意力机制的标点符号预测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811308508.2A CN109558576B (zh) | 2018-11-05 | 2018-11-05 | 一种基于自注意力机制的标点符号预测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109558576A CN109558576A (zh) | 2019-04-02 |
CN109558576B true CN109558576B (zh) | 2023-05-23 |
Family
ID=65865685
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811308508.2A Active CN109558576B (zh) | 2018-11-05 | 2018-11-05 | 一种基于自注意力机制的标点符号预测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109558576B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112037776A (zh) * | 2019-05-16 | 2020-12-04 | 武汉Tcl集团工业研究院有限公司 | 一种语音识别方法、语音识别装置及终端设备 |
CN112837688B (zh) * | 2019-11-22 | 2024-04-02 | 阿里巴巴集团控股有限公司 | 语音转写方法、装置、相关系统及设备 |
CN111062204B (zh) * | 2019-12-13 | 2023-08-22 | 北京因特睿软件有限公司 | 基于机器学习的文本标点符号使用错误的识别方法和装置 |
CN111222338A (zh) * | 2020-01-08 | 2020-06-02 | 大连理工大学 | 基于预训练模型和自注意力机制的生物医学关系抽取方法 |
CN111241810B (zh) * | 2020-01-16 | 2023-08-01 | 百度在线网络技术(北京)有限公司 | 标点预测方法及装置 |
CN111261162B (zh) * | 2020-03-09 | 2023-04-18 | 北京达佳互联信息技术有限公司 | 语音识别方法、语音识别装置及存储介质 |
CN111951792B (zh) * | 2020-07-30 | 2022-12-16 | 北京先声智能科技有限公司 | 一种基于分组卷积神经网络的标点标注模型 |
CN112381182B (zh) * | 2020-12-11 | 2024-01-19 | 大连海事大学 | 基于交互式多任务模型进行日常活动预测方法 |
CN115099189A (zh) * | 2021-08-06 | 2022-09-23 | 宿迁硅基智能科技有限公司 | 基于并行计算的语音识别模型及确定方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105609107A (zh) * | 2015-12-23 | 2016-05-25 | 北京奇虎科技有限公司 | 一种基于语音识别的文本处理方法和装置 |
CN106653030A (zh) * | 2016-12-02 | 2017-05-10 | 北京云知声信息技术有限公司 | 标点添加方法及装置 |
CN107562784A (zh) * | 2017-07-25 | 2018-01-09 | 同济大学 | 基于ResLCNN模型的短文本分类方法 |
WO2018157703A1 (zh) * | 2017-03-02 | 2018-09-07 | 腾讯科技(深圳)有限公司 | 自然语言的语义提取方法及装置和计算机存储介质 |
CN108563640A (zh) * | 2018-04-24 | 2018-09-21 | 中译语通科技股份有限公司 | 一种多语言对的神经网络机器翻译方法及系统 |
CN108564953A (zh) * | 2018-04-20 | 2018-09-21 | 科大讯飞股份有限公司 | 一种语音识别文本的标点处理方法及装置 |
-
2018
- 2018-11-05 CN CN201811308508.2A patent/CN109558576B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105609107A (zh) * | 2015-12-23 | 2016-05-25 | 北京奇虎科技有限公司 | 一种基于语音识别的文本处理方法和装置 |
CN106653030A (zh) * | 2016-12-02 | 2017-05-10 | 北京云知声信息技术有限公司 | 标点添加方法及装置 |
WO2018157703A1 (zh) * | 2017-03-02 | 2018-09-07 | 腾讯科技(深圳)有限公司 | 自然语言的语义提取方法及装置和计算机存储介质 |
CN107562784A (zh) * | 2017-07-25 | 2018-01-09 | 同济大学 | 基于ResLCNN模型的短文本分类方法 |
CN108564953A (zh) * | 2018-04-20 | 2018-09-21 | 科大讯飞股份有限公司 | 一种语音识别文本的标点处理方法及装置 |
CN108563640A (zh) * | 2018-04-24 | 2018-09-21 | 中译语通科技股份有限公司 | 一种多语言对的神经网络机器翻译方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN109558576A (zh) | 2019-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109558576B (zh) | 一种基于自注意力机制的标点符号预测方法 | |
CN108875807B (zh) | 一种基于多注意力多尺度的图像描述方法 | |
CN111931513B (zh) | 一种文本的意图识别方法及装置 | |
CN110609891A (zh) | 一种基于上下文感知图神经网络的视觉对话生成方法 | |
CN110489567B (zh) | 一种基于跨网络特征映射的节点信息获取方法及其装置 | |
CN111177376A (zh) | 一种基于bert与cnn层级连接的中文文本分类方法 | |
CN110929515A (zh) | 基于协同注意力和自适应调整的阅读理解方法及系统 | |
CN113297364B (zh) | 一种面向对话系统中的自然语言理解方法及装置 | |
CN111898374B (zh) | 文本识别方法、装置、存储介质和电子设备 | |
CN110826338B (zh) | 一种单选择门与类间度量的细粒度语义相似识别的方法 | |
CN114090780B (zh) | 一种基于提示学习的快速图片分类方法 | |
CN110134946A (zh) | 一种针对复杂数据的机器阅读理解方法 | |
CN111027292B (zh) | 一种限定采样文本序列生成方法及其系统 | |
CN112527993B (zh) | 一种跨媒体层次化深度视频问答推理框架 | |
CN111966811A (zh) | 意图识别和槽填充方法、装置、可读存储介质及终端设备 | |
CN113239666A (zh) | 一种文本相似度计算方法及系统 | |
CN113011196A (zh) | 一种概念增强表示与单向蕴含注意力的主观题自动阅卷神经网络模型 | |
CN111914553A (zh) | 一种基于机器学习的金融信息负面主体判定的方法 | |
WO2019244803A1 (ja) | 回答学習装置、回答学習方法、回答生成装置、回答生成方法、及びプログラム | |
CN117436452A (zh) | 融合上下文感知和多层次特征的金融实体识别方法 | |
CN116860943A (zh) | 对话风格感知与主题引导的多轮对话方法及系统 | |
CN115712739B (zh) | 舞蹈动作生成方法、计算机设备及存储介质 | |
CN115796187A (zh) | 一种基于对话结构图约束的开放域对话方法 | |
Jalaja et al. | A behavioral chatbot using encoder-decoder architecture: Humanizing conversations | |
CN109815323B (zh) | 一种人机交互训练问答生成算法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |