CN115934752A - 一种构建检索模型的方法、电子设备和存储介质 - Google Patents

一种构建检索模型的方法、电子设备和存储介质 Download PDF

Info

Publication number
CN115934752A
CN115934752A CN202211585614.1A CN202211585614A CN115934752A CN 115934752 A CN115934752 A CN 115934752A CN 202211585614 A CN202211585614 A CN 202211585614A CN 115934752 A CN115934752 A CN 115934752A
Authority
CN
China
Prior art keywords
word
complex
word vector
vector
target text
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211585614.1A
Other languages
English (en)
Other versions
CN115934752B (zh
Inventor
罗引
蒋永余
王俊艳
王璋盛
曹家
王磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhongke Wenge Technology Co ltd
Original Assignee
Beijing Zhongke Wenge Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhongke Wenge Technology Co ltd filed Critical Beijing Zhongke Wenge Technology Co ltd
Priority to CN202211585614.1A priority Critical patent/CN115934752B/zh
Publication of CN115934752A publication Critical patent/CN115934752A/zh
Application granted granted Critical
Publication of CN115934752B publication Critical patent/CN115934752B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种构建检索模型的方法、电子设备和存储介质,包括:获取目标文本的目标文本词向量,获取目标文本对应的候选代表词集合和候选随机词集合,将目标文本词集合与候选代表词集合和候选随机词集合分别进行拼接,输入到量子概率注意力值模型,获取对应的注意力值,将注意力值分别输入多层感知机,获取候选代表词为代表词的概率和候选随机词为代表词的概率,基于候选代表词为代表词的概率和候选随机词为代表词的概率,最小化两者的损失函数,获取目标检索模型;从而取得更好的检索效果。

Description

一种构建检索模型的方法、电子设备和存储介质
技术领域
本发明涉及自然语言处理领域,特别是涉及一种构建检索模型的方法、电子设备及存储介质。
背景技术
随着互联网的日益普及,媒体行业的不断发展,各类线上媒体平台的数量与日俱增,电子新闻的数量也呈指数增长,因此,需要通过搜索引擎将用户根据意图输入的查询在海量的新闻数据中搜索与查询相关的信息。基于Transformer网络结构的预训练语言表示模型,在许多自然语言处理(NLP)任务上取得了显著的改进,但其在信息检索领域仍然具有很大的潜力进行提升。很少有人努力设计训练任务来实现ad-hoc检索(查询短,文本长的检索任务),当将这些预训练模型应用于ad-hoc检索时,在典型的基准数据集上可以观察到边际效益。同时预训练模型都仅仅是在原词向量基础上加入了位置编码,即绝对位置信息。绝对位置向量假设单个词语的位置是独立的,并且不考虑相邻词语位置之间的关系,对连续元素之间的距离进行建模也是非常重要的。Transformer结构使用的注意力机制在捕捉词组合(如短语或句子)的涌现意义时也会有局限性,例如“象牙塔”这个短语很难被建模为“象牙”和“塔”的语义组合。这都限制了其提高检索精度的能力。
发明内容
针对上述技术问题,本发明采用的技术方案为:一种构建检索模型的方法,所述方法包括如下步骤:S100,获取目标文本的目标文本词向量W,其中,目标文本词在目标文本词向量中的先后顺序和在目标文本中出现的先后顺序一致。
S200,获取目标文本对应的候选代表词集合S1和候选随机词集合S2,其中,所述候选代表词是预设词表中和目标文本相关的文本词,所述候选随机词是预设词表中随机选取的文本词。
S300,基于目标文本词向量W、候选代表词集合S1和候选随机词集合S2进行拼接,构建P1=[CLS]+S1+[SEP]+W+[SEP]和P2=[CLS]+S2+[SEP]+W+[SEP],其中,所述CLS和SEP是标识符,所述CLS用于标识P1的语义,所述SEP用于分割S1和W。
S400,将P1和P2分别映射到n维希尔伯特空间,获取P1对应的第一复值词向量D和P2对应的第二复值词向量E。
S500,将第一复值词向量D和第二复值词向量E分别输入到量子概率模型,获取D对应的第一注意力值H1和E对应的第二注意力值H2
S600,将第一注意力值H1和第二注意力值H2输入多层感知机获取S1是W的代表词的概率P(S1|W)和S2是W的代表词的概率P(S2|W)。
S700,通过最小化损失函数L=max(0,1-P(S1|W)+P(S2|W)),反向传播更新所述量子概率模型的参数以获取目标检索模型。
一种非瞬时性计算机可读存储介质,所述存储介质中存储有至少一条指令或至少一段程序,所述至少一条指令或所述至少一段程序由处理器加载并执行,以实现上述方法。
一种电子设备,其特征在于,包括处理器和上述所述的非瞬时性计算机可读存储介质。
本发明至少具有以下有益效果:本发明通过获取目标文本的目标文本词向量和目标文本对应的候选代表词集合和候选随机词集合,将目标文本词集合与候选代表词集合和候选随机词集合分别进行拼接,分别获取对应的第一复值词向量和第二复值词向量,将第一复值词向量和第二复值词向量分别输入到量子概率注意力值模型,获取第一注意力值和第二注意力值,将第一注意力值和第二注意力值输入多层感知机,分别获取候选代表词集合是目标文本代表词的概率和随机词是目标文本代表词的概率,通过最小化损失函数,获取目标检索模型,本发明通过最小化损失函数,获取目标检索模型,使得候选代表词的集合是目标文本的代表词的概率更高,更好提高ad-hot检索任务的性能,并能取得更好的检索效果,得到的预训练检索模型能在零资源和低资源的信息检索条件下,实现较好的性能。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种构建检索模型的方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供一种构建检索模型的方法,如图1所示,所述方法包括如下步骤:
S100,获取目标文本的目标文本词向量W,其中,目标文本词在目标文本词向量中的先后顺序和其在目标文本中出现的先后顺序一致。
具体地,获取目标文本的目标文本词向量至少包括对目标文本进行去符号、分词、词典映射,且本领域技术人员可知,现有技术中对文件进行预处理以获取的目标文本词的操作都可以包含在本申请中。
S200,获取目标文本对应的候选代表词集合S1和候选随机词集合S2,其中,所述候选代表词是预设词表中和目标文本相关的文本词,所述候选随机词是预设词表中随机选取的文本词。
在本申请中,候选代表词集合S1包括的候选代表词个数大于等于W中包括的目标文本词个数,具体的,S1中可以包括所述预设词表中所有和目标文本相关的词语,也可以是所有和目标文本相关的词语的部分,例如,通过设置选择比例来获取S1包括的全部候选代表词。候选随机词集合S2通过采用从所述预设词表中随机抽取的方式获取,具体的,在本申请中,所述候选代表词的数量和候选随机词的数量相等。
具体地,所述预设词表可根据实际需要预先设置。
S300,基于目标文本词向量W、候选代表词集合S1和候选随机词集合S2进行拼接,构建P1=[CLS]+S1+[SEP]+W+[SEP]和P2=[CLS]+S2+[SEP]+W+[SEP],其中,所述[CLS]和[SEP]是标识符,所述[CLS]是起始符,所述[SEP]是中间隔离符。
S400,将P1和P2分别映射到n维希尔伯特空间,获取P1对应的第一复值词向量D和P2对应的第二复值词向量E。
具体地,将P1映射到n维希尔伯特空间,获取P1对应的第一复值词向量D具体包括:
S410,获取P1对应的第一文本词TP1=(TP11,TP12,…,TP1j,…,TP1m),TP1j是TP1中第j个第一文本词,j的取值范围是1到m,m是P1中第一文本词的数量。
具体地,P1中的标识符(CLS、SEP)、S1和W均为第一文本词,第一文本词的数量m等于S1中文本词的数量、W中文本词的数量和标识符的数量(一个CLS和两个SEP,即标识符的数量为3)之和。
S420,将TP1j映射到n维希尔伯特空间,获取TP1j在第j个位置Oj的第一复数词向量从而获取第一复值词向量D={D1,D2,…,Dj,…,Dm},其中,振幅向量rj=[rj1,rj2,……,rjn]表示P1j的n个的隐含语义,周期向量ωj=[ωj1,ωj2,……,ωjn]表示P1j对位置的敏感程度,相位向量θj=[θj1j2,……,θjn]表示P1j的初始相位。
可以理解为,n维复数希尔伯特空间中,每个维度都表示一个波,该波由振幅、周期和相位表示,位置Oj表示了Pij的位置信息。
具体地,n可根据实际需求输入;振幅向量rj为可训练参数,rj表示Pij的n个隐含含义;示例性说明,苹果有3个隐含语义[水果,公司,手机],在一个语句“我喜欢吃苹果”中“苹果”对应的振幅向量为[1,0,0],苹果的所有隐含语义和隐含语义的顺序在两次获取“苹果”对应的振幅向量时,可能并不相同。
具体地,周期向量ωj为可训练参数,可以理解为,若周期很长,即ωj非常小,对于pos的所有可能值,复数向量将近似固定,即近似于标准词向量,若周期很短则文本词向量将对位置参数高度敏感。
具体地,初始化的相位向量θj=[θj1j2,……,θjn]为可训练参数。
可选的,振幅向量rj通过随机数值初始化。
可选的,振幅向量rj通过使用包含先验知识的Word2vec向量或Bert输出的预训练词向量。
进一步地,本发明还包括S400将P2映射到n维希尔伯特空间,获取P2对应的第二复值词向量E具体包括:
S401,获取P2对应的第二文本词TP2=(TP21,TP22,…,TP2j,…,TP2m),TP2j是TP2中第j个第二文本词。
S402,将TP2j映射到n维希尔伯特空间,获取TP2j在第j个位置SOj的第二复数词向量从而获取第二复值词向量E={E1,E2,…,Ej,…,Em},其中,振幅向量Srj=[Srj1,Srj2,……,Srjn]表示P2j的n个的隐含语义,周期向量Sωj=[Sωj1,Sωj2,……,Sωjn]表示P2j对位置的敏感程度,相位向量Sθj=[Sθj1,Sθj2,……,Sθjn]表示P2j的初始相位。
综上,本发明同时引入了绝对位置信息和相对位置信息,且不增加计算资源,引入了复数形式的词向量,将虚部作为编码位置,对文本中连续元素之间的距离进行建模,在不增加计算资源的情况下能够有效进行位置信息的特征构建。
S500,将第一复值词向量D和第二复值词向量E分别输入到量子概率模型,获取D对应的第一注意力值H1和E对应的第二注意力值H2
S600,将第一注意力值H1和第二注意力值H2输入多层感知机,以获取S1是W的代表词的概率P(S1|W)和S2是W的代表词的概率P(S2|W)。
具体地,多层感知机使用sigmoid输出激活函数。
具体地,S1是W的代表词的概率P(S1|W)=MLP(H1),S2是W的代表词的概率P(S2|W)=MLP(H2)。
S700,通过最小化损失函数L=max(0,1-P(S1|W)+P(S2|W)),反向传播更新所述量子概率模型的参数以获取目标检索模型。
具体地,S700中通过Adam优化器来更新量子概率注意力值模型的参数来获取目标检索模型。
综上,本发明通过获取目标文本的目标文本词向量和目标文本对应的候选代表词集合和候选随机词集合,将目标文本词集合与候选代表词集合和候选随机词集合分别进行拼接,分别获取对应的第一复值词向量和第二复值词向量,将第一复值词向量和第二复值词向量分别输入到量子概率注意力值模型,获取第一注意力值和第二注意力值,将第一注意力值和第二注意力值输入多层感知机,分别获取候选代表词集合是目标文本代表词的概率和随机词是目标文本代表词的概率,通过最小化损失函数,获取目标检索模型,本发明通过最小化损失函数,获取目标检索模型,使得候选代表词的集合是目标文本的代表词的概率更高,更好提高ad-hot检索任务的性能,并能取得更好的检索效果,得到的预训练检索模型能在零资源和低资源的信息检索条件下,实现较好的性能。
进一步地,S500将第一复数词向量D输入到量子概率模型,获取D对应的注意力值H1包括:
S510,基于第一复值词向量D={D1,D2,…,Dj,…,Dm},创建k个量子复合系统向量Ψ={Ψ1,Ψ2,...,Ψt,...,Ψk},其中,rt、θt为可训练权重参数,t得到取值范围是1到k,Ψt表示ut、D1、D2、...、Dm的张量积。
S520,基于Ψ获取第一密度矩阵集ρ={ρ1,ρ2,…,ρt,…,ρk},其中,第t个第一密度矩阵ρt=Ψt·(Ψt)H,(Ψt)H是Ψt的共轭转置矩阵。
S530,获取第一复值词向量D在第一密度矩阵ρ上的第一重要系数CW=[CW1,CW2,…,CWt,…,CWk],第t个第一重要系数CWt=[CWt1,CWt2,…,CWtj,…,CWtm],其中,CWtj表示第一复值词向量Dj在第一密度矩阵ρt上的重要系数,通过公式CWtj=softmax(σ(ρt,Dj))得到,其中,tr(·)为矩阵取迹运算,所述softmax函数是归一化指数函数。
具体地,(Dj)T是Dj的转置矩阵。
S540,基于第一重要系数CW,获取第一复值词向量D的注意力值A(ρ,D)=[A(ρ1,D),A(ρ2,D),....,A(ρt,D),...,A(ρk,D)],其中,A(ρt,D)=[CWt1·D1,CWt2·D2,...,CWtj·Dj,...,CWtm·Dm]。
更进一步,本发明S500将第二复数词向量E输入到量子概率模型,获取E对应的第二注意力值H2包括:
S501,基于第二复值词向量E={E1,E2,…,Ej,…,Em},创建k个量子复合系统向量SΨ={SΨ1,SΨ2,...,SΨt,...,SΨk},其中,Srt、Sθt为可训练权重参数,t得到取值范围是1到k,SΨt表示Sut、E1、E2、...、Em的张量积。
S502,基于SΨ获取第二密度矩阵集Sρ={Sρ1,Sρ2,…,Sρt,…,Sρk},其中,第t个第二密度矩阵Sρt=SΨt·(SΨt)H,其中,(SΨt)H是SΨt的共轭转置矩阵。
S503,获取第二复值词向量E在第二密度矩阵集Sρ上的第二重要系数SW=[SW1,SW2,...,SWt,...,SWk],第t个第二重要系数SWt=[SWt1,SWt2,…,SWtj,…,SWtm],其中,SWtj表示第二复值词向量Ej在第二密度矩阵Sρt的重要系数,通过公式SWtj=softmax(σ(Sρt,Ej))得到,其中,tr(·)为矩阵取迹运算,所述softmax函数是归一化指数函数。
S504,基于第二重要系数SW,获取第二复值词向量E的注意力值SA(Sρ,E)=[SA(Sρ1,E),SA(Sρ2,E),....,SA(Sρt,E),...,SA(Sρk,E)],其中,SA(Sρt,E)=[SWt1·E1,SWt2·E2,...,SWtj·Ej,...,SWtm·Em]。
基于此,本发明引入了量子概率理论提出了一种注意力机制用于提高预训练模型构建语言上下文的能力,用于捕获词在认知层面可解释性的组合(短语或句子)的涌现意义,从而提高了检索的精度。
本发明的实施例还提供了一种非瞬时性计算机可读存储介质,该存储介质可设置于电子设备之中以保存用于实现方法实施例中一种方法相关的至少一条指令或至少一段程序,该至少一条指令或该至少一段程序由该处理器加载并执行以实现上述实施例提供的方法。
本发明的实施例还提供了一种电子设备,包括处理器和前述的非瞬时性计算机可读存储介质。
虽然已经通过示例对本发明的一些特定实施例进行了详细说明,但是本领域的技术人员应该理解,以上示例仅是为了进行说明,而不是为了限制本发明的范围。本领域的技术人员还应理解,可以对实施例进行多种修改而不脱离本发明的范围和精神。本发明开的范围由所附权利要求来限定。

Claims (9)

1.一种构建检索模型的方法,其特征在于,所述方法包括如下步骤:
S100,获取目标文本的目标文本词向量W,其中,目标文本词在目标文本词向量中的先后顺序和其在目标文本中出现的先后顺序一致;
S200,获取目标文本对应的候选代表词集合S1和候选随机词集合S2,其中,所述候选代表词是预设词表中和目标文本相关的文本词,所述候选随机词是预设词表中随机选取的文本词;
S300,基于目标文本词向量W、候选代表词集合S1和候选随机词集合S2进行拼接,构建P1=[CLS]+S1+[SEP]+W+[SEP]和P2=[CLS]+S2+[SEP]+W+[SEP],其中,所述[CLS]和[SEP]是标识符,所述[CLS]是起始符,所述[SEP]是中间隔离符;
S400,将P1和P2分别映射到n维希尔伯特空间,获取P1对应的第一复值词向量D和P2对应的第二复值词向量E;
S500,将第一复值词向量D和第二复值词向量E分别输入到量子概率模型,获取D对应的第一注意力值H1和E对应的第二注意力值H2
S600,将第一注意力值H1和第二注意力值H2输入多层感知机,以获取S1是W的代表词的概率P(S1|W)和S2是W的代表词的概率P(S2|W);
S700,通过最小化损失函数L=max(0,1-P(S1|W)+P(S2|W)),反向传播更新所述量子概率模型的参数以获取目标检索模型。
2.根据权利要求1所述的方法,其特征在于,S400将P1映射到n维希尔伯特空间,获取P1对应的第一复值词向量D具体包括:
S410,获取P1对应的第一文本词TP1=(TP11,TP12,…,TP1j,…,TP1m),TP1j是TP1中第j个第一文本词,j的取值范围是1到m,m是P1中第一文本词的数量;
S420,将TP1j映射到n维希尔伯特空间,获取TP1j在第j个位置Oj的第一复数词向量
Figure FDA0003991879020000011
从而获取第一复值词向量D={D1,D2,…,Dj,…,Dm},其中,振幅向量rj=[rj1,rj2,……,rjn]表示P1j的n个的隐含语义,周期向量ωj=[ωj1,ωj2,……,ωjn]表示P1j对位置的敏感程度,相位向量θj=[θj1j2,……,θjn]表示P1j的初始相位。
3.根据权利要求2所述的方法,其特征在于,S500将第一复数词向量D输入到量子概率模型,获取D对应的第一注意力值H1包括:
S510,基于第一复值词向量D={D1,D2,…,Dj,…,Dm},创建k个量子复合系统向量Ψ={Ψ1,Ψ2,...,Ψt,...,Ψk},其中,
Figure FDA0003991879020000021
rt、θt为可训练权重参数,t得到取值范围是1到k,Ψt表示ut、D1、D2、...、Dm的张量积;
S520,基于Ψ获取第一密度矩阵集ρ={ρ1,ρ2,…,ρt,…,ρk},其中,第t个第一密度矩阵ρt=Ψt·(Ψt)H,(Ψt)H是Ψt的共轭转置矩阵;
S530,获取第一复值词向量D在第一密度矩阵ρ上的第一重要系数CW=[CW1,CW2,…,CWt,…,CWk],第t个第一重要系数CWt=[CWt1,CWt2,…,CWtj,…,CWtm],其中,CWtj表示第一复值词向量Dj在第一密度矩阵ρt上的重要系数,通过公式CWtj=soft max(σ(ρt,Dj))得到,其中,
Figure FDA0003991879020000022
tr(·)为矩阵取迹运算,
Figure FDA0003991879020000023
所述softmax函数是归一化指数函数;
S540,基于第一重要系数CW,获取第一复值词向量D的注意力值A(ρ,D)=[A(ρ1,D),A(ρ2,D),....,A(ρt,D),...,A(ρk,D)],其中,A(ρt,D)=[CWt1·D1,CWt2·D2,...,CWtj·Dj,...,CWtm·Dm]。
4.根据权利要求1所述的方法,其特征在于,S400将P2映射到n维希尔伯特空间,获取P2对应的第二复值词向量E具体包括:
S401,获取P2对应的第二文本词TP2=(TP21,TP22,…,TP2j,…,TP2m),TP2j是TP2中第j个第二文本词;
S402,将TP2j映射到n维希尔伯特空间,获取TP2j在第j个位置SOj的第二复数词向量
Figure FDA0003991879020000024
从而获取第二复值词向量E={E1,E2,…,Ej,…,Em},其中,振幅向量Srj=[Srj1,Srj2,……,Srjn]表示P2j的n个的隐含语义,周期向量Sωj=[Sωj1,Sωj2,……,Sωjn]表示P2j对位置的敏感程度,相位向量Sθj=[Sθj1,Sθj2,……,Sθjn]表示P2j的初始相位。
5.根据权利要求4所述的方法,其特征在于,S500将第二复数词向量E输入到量子概率模型,获取E对应的第二注意力值H2包括:
S501,基于第二复值词向量E={E1,E2,…,Ej,…,Em},创建k个量子复合系统向量SΨ={SΨ1,SΨ2,...,SΨt,...,SΨk},其中,
Figure FDA0003991879020000025
Srt、Sθt为可训练权重参数,t得到取值范围是1到k,SΨt表示Sut、E1、E2、...、Em的张量积;
S502,基于SΨ获取第二密度矩阵集Sρ={Sρ1,Sρ2,…,Sρt,…,Sρk},其中,第t个第二密度矩阵Sρt=SΨt·(SΨt)H,其中,(SΨt)H是SΨt的共轭转置矩阵;
S503,获取第二复值词向量E在第二密度矩阵集Sρ上的第二重要系数SW=[SW1,SW2,...,SWt,...,SWk],第t个第二重要系数SWt=[SWt1,SWt2,…,SWtj,…,SWtm],其中,SWtj表示第二复值词向量Ej在第二密度矩阵Sρt的重要系数,通过公式SWtj=softmax(σ(Sρt,Ej))得到,其中,
Figure FDA0003991879020000031
tr(·)为矩阵取迹运算,ΠEj=Ej·(Ej)T,所述softmax函数是归一化指数函数;
S504,基于第二重要系数SW,获取第二复值词向量E的注意力值SA(Sρ,E)=[SA(Sρ1,E),SA(Sρ2,E),....,SA(Sρt,E),...,SA(Sρk,E)],其中,SA(Sρt,E)=[SWt1·E1,SWt2·E2,...,SWtj·Ej,...,SWtm·Em]。
6.根据权利要求1所述的方法,其特征在于,多层感知机使用sigmoid输出激活函数。
7.根据权利要求1所述的方法,其特征在于,S100中获取目标文本的目标文本词向量W至少包括:对目标文本进行去符号、分词和词典映射。
8.一种非瞬时性计算机可读存储介质,所述存储介质中存储有至少一条指令或至少一段程序,其特征在于,所述至少一条指令或所述至少一段程序由处理器加载并执行,以实现如权利要求1-7中任意一项的所述方法。
9.一种电子设备,其特征在于,包括处理器和权利要求8中所述的非瞬时性计算机可读存储介质。
CN202211585614.1A 2022-12-09 2022-12-09 一种构建检索模型的方法、电子设备和存储介质 Active CN115934752B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211585614.1A CN115934752B (zh) 2022-12-09 2022-12-09 一种构建检索模型的方法、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211585614.1A CN115934752B (zh) 2022-12-09 2022-12-09 一种构建检索模型的方法、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN115934752A true CN115934752A (zh) 2023-04-07
CN115934752B CN115934752B (zh) 2023-07-14

Family

ID=86653755

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211585614.1A Active CN115934752B (zh) 2022-12-09 2022-12-09 一种构建检索模型的方法、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN115934752B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017076281A (ja) * 2015-10-15 2017-04-20 日本電信電話株式会社 単語埋込学習装置、テキスト評価装置、方法、及びプログラム
CN110851593A (zh) * 2019-09-23 2020-02-28 天津大学 一种基于位置与语义的复值词向量构建方法
CN112163431A (zh) * 2020-10-19 2021-01-01 北京邮电大学 一种基于泛条件随机场的中文缺失代词补全方法
US20210089718A1 (en) * 2019-09-19 2021-03-25 University Of Electronic Science And Technology Of China Method for machine reading comprehension
CN114020862A (zh) * 2021-11-04 2022-02-08 中国矿业大学 一种面向煤矿安全规程的检索式智能问答系统及方法
CN114416930A (zh) * 2022-02-09 2022-04-29 上海携旅信息技术有限公司 搜索场景下的文本匹配方法、系统、设备及存储介质
CN115391625A (zh) * 2022-07-28 2022-11-25 广东工业大学 一种基于多粒度特征融合的跨模态检索方法和系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017076281A (ja) * 2015-10-15 2017-04-20 日本電信電話株式会社 単語埋込学習装置、テキスト評価装置、方法、及びプログラム
US20210089718A1 (en) * 2019-09-19 2021-03-25 University Of Electronic Science And Technology Of China Method for machine reading comprehension
CN110851593A (zh) * 2019-09-23 2020-02-28 天津大学 一种基于位置与语义的复值词向量构建方法
CN112163431A (zh) * 2020-10-19 2021-01-01 北京邮电大学 一种基于泛条件随机场的中文缺失代词补全方法
CN114020862A (zh) * 2021-11-04 2022-02-08 中国矿业大学 一种面向煤矿安全规程的检索式智能问答系统及方法
CN114416930A (zh) * 2022-02-09 2022-04-29 上海携旅信息技术有限公司 搜索场景下的文本匹配方法、系统、设备及存储介质
CN115391625A (zh) * 2022-07-28 2022-11-25 广东工业大学 一种基于多粒度特征融合的跨模态检索方法和系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
刘婉婉;苏依拉;乌尼尔;仁庆道尔吉;: "基于门控循环神经网络词性标注的蒙汉机器翻译研究", 中文信息学报, no. 08, pages 73 - 79 *
原媛;彭建华;张汝云;: "基于向量空间的信息检索模型的改进", 计算机工程与设计, no. 23, pages 92 - 95 *
王亚珅;黄河燕;冯冲;周强;: "基于注意力机制的概念化句嵌入研究", 自动化学报, no. 07, pages 92 - 102 *

Also Published As

Publication number Publication date
CN115934752B (zh) 2023-07-14

Similar Documents

Publication Publication Date Title
US11210306B2 (en) Dialogue system, a method of obtaining a response from a dialogue system, and a method of training a dialogue system
US11741109B2 (en) Dialogue system, a method of obtaining a response from a dialogue system, and a method of training a dialogue system
US11302330B2 (en) Clarifying questions for rewriting ambiguous user utterance
US11256868B2 (en) Architecture for resolving ambiguous user utterance
CN107066464B (zh) 语义自然语言向量空间
CN110110062B (zh) 机器智能问答方法、装置与电子设备
WO2020177282A1 (zh) 一种机器对话方法、装置、计算机设备及存储介质
CN110377916B (zh) 词预测方法、装置、计算机设备及存储介质
CN116775847A (zh) 一种基于知识图谱和大语言模型的问答方法和系统
CN113239169A (zh) 基于人工智能的回答生成方法、装置、设备及存储介质
CN108536807B (zh) 一种信息处理方法及装置
CN112307164A (zh) 信息推荐方法、装置、计算机设备和存储介质
CN115204143B (zh) 一种基于prompt的文本相似度计算方法及系统
CN113569011A (zh) 文本匹配模型的训练方法、装置、设备及存储介质
US20240037335A1 (en) Methods, systems, and media for bi-modal generation of natural languages and neural architectures
Liu et al. Cross-domain slot filling as machine reading comprehension: A new perspective
Tascini AI-Chatbot using deep learning to assist the elderly
Bulfamante Generative enterprise search with extensible knowledge base using AI
CN111581365A (zh) 一种谓词抽取方法
CN115934752B (zh) 一种构建检索模型的方法、电子设备和存储介质
CN115391534A (zh) 文本情感原因识别方法、系统、设备及存储介质
CN111767388B (zh) 一种候选池生成方法
Kreyssig Deep learning for user simulation in a dialogue system
CN114692610A (zh) 关键词确定方法及装置
Aziz et al. Leveraging contextual representations with BiLSTM-based regressor for lexical complexity prediction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant