CN114298056A - 一种语义匹配模型设计方法 - Google Patents
一种语义匹配模型设计方法 Download PDFInfo
- Publication number
- CN114298056A CN114298056A CN202111625854.5A CN202111625854A CN114298056A CN 114298056 A CN114298056 A CN 114298056A CN 202111625854 A CN202111625854 A CN 202111625854A CN 114298056 A CN114298056 A CN 114298056A
- Authority
- CN
- China
- Prior art keywords
- vector set
- abcnn
- text
- word2vec
- index
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000013461 design Methods 0.000 title claims description 29
- 239000013604 expression vector Substances 0.000 claims abstract description 64
- 239000013598 vector Substances 0.000 claims abstract description 59
- 238000012549 training Methods 0.000 claims abstract description 51
- 238000012545 processing Methods 0.000 claims abstract description 49
- 230000002441 reversible effect Effects 0.000 claims description 22
- 238000012163 sequencing technique Methods 0.000 claims description 17
- 239000011159 matrix material Substances 0.000 claims description 13
- 238000004590 computer program Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 238000013527 convolutional neural network Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000002452 interceptive effect Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000037332 pore function Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Landscapes
- Machine Translation (AREA)
Abstract
本发明通过ABCNN训练模型获得输入文本信息并处理得到ABCNN文本表示向量集合；通过word2vec训练模型获得输入文本信息并处理得到word2vec文本表示向量集合；通过倒排索引对输入文本信息处理并得到倒排索引文本表示向量集合；分别对ABCNN文本表示向量集合、word2vec文本表示向量集合和倒排索引文本表示向量集合进行相似度重排序得到排序结果，排序结果作为输出。提高了智能客服的语义理解能力，增强了适用性。
Description
技术领域
本申请实施例涉及电子信息技术领域，尤其涉及语义匹配模型设计方法。
背景技术
目前，企业客服中心呈现情绪劳动，密集且形式单一的劳动特征，企业需面临员工离职率高，人力培训成本巨大等问题，随着科技的进步和社会的发展，智能客服的提出很好的解决了行业面临的痛点，在稳定和提升服务质量、降低服务成本和管理成本、实现管理简单化等方面效果明显，智能客服被应用于各个领域，如金融、电商零售、教育培训、娱乐等行业。但随着应用越来越广泛，智能客服系统也逐渐面临一些瓶颈问题，例如用户满意度逐渐下降，越来越多用户埋怨智能客服系统听不懂用户话语，智能客服无法准确识别用户问题，缺少对自然语言的理解能力。
发明内容
有鉴于此，本申请实施例提供一种语义匹配模型设计方法，以至少部分解决上述问题。
第一方面，本申请实施例提供了一种语义匹配模型设计方法，包括：
通过ABCNN训练模型获得输入文本信息并处理得到ABCNN文本表示向量集合；
通过word2vec训练模型获得输入文本信息并处理得到word2vec文本表示向量集合；
通过倒排索引对输入文本信息处理并得到倒排索引文本表示向量集合；
分别对ABCNN文本表示向量集合、word2vec文本表示向量集合和倒排索引文本表示向量集合进行相似度重排序得到排序结果，排序结果作为输出。
可选地，在一种实现方式中，通过ABCNN训练模型获得输入文本信息并处理得到ABCNN文本表示向量集合，还包括：
对ABCNN文本表示向量集合构建FAISS索引，得到构建FAISS索引后的ABCNN文本表示向量集合。
可选地，在一种实现方式中，通过word2vec训练模型获得输入文本信息并处理得到word2vec文本表示向量集合，还包括：
对word2vec文本表示向量集合构建FAISS索引，得到构建FAISS索引后的word2vec文本表示向量集合。
可选地，在一种实现方式中，通过倒排索引对输入文本信息处理并得到倒排索引文本表示向量集合，包括：
通过对输入文本信息构建词-文档矩阵进行倒排索引处理，得到倒排索引文本表示向量集合。
可选地，在一种实现方式中，分别对ABCNN文本表示向量集合、word2vec文本表示向量集合和倒排索引文本表示向量集合进行相似度重排序得到排序结果，排序结果作为输出，还包括：
通过GBDT树模型对排序结果进行排序处理，得到GBDT树模型处理后的排序结果并作为输出。
第二方面，本申请实施例提供了一种语义匹配模型设计装置，其特征在于，包括：
ABCNN训练模块、word2vec训练模块、倒排索引模块、重排序模块；
ABCNN训练模块，用于通过ABCNN训练模型获得输入文本信息并处理得到ABCNN文本表示向量集合；
word2vec训练模块，用于通过word2vec训练模型获得输入文本信息并处理得到word2vec文本表示向量集合；
倒排索引模块，用于通过倒排索引对输入文本信息处理并得到倒排索引文本表示向量集合；
重排序模块，用于分别对ABCNN文本表示向量集合、word2vec文本表示向量集合和倒排索引文本表示向量集合进行相似度重排序得到排序结果，排序结果作为输出。
可选地，在一种实现方式中，语义匹配模型设计装置，还包括：
FAISS模块；
FAISS模块，用于对ABCNN文本表示向量集合构建FAISS索引，得到构建FAISS索引后的ABCNN文本表示向量集合。
可选地，在一种实现方式中，FAISS模块，还用于对word2vec文本表示向量集合构建FAISS索引，得到构建FAISS索引后的word2vec文本表示向量集合。
可选地，在一种实现方式中，倒排索引模块，还用于通过对输入文本信息构建词-文档矩阵进行倒排索引处理，得到倒排索引文本表示向量集合。
可选地，在一种实现方式中，语义匹配模型设计装置，还包括：
GBDT模块；
GBDT模块，用于通过GBDT树模型对排序结果进行排序处理，得到GBDT树模型处理后的排序结果并作为输出。
本发明通过ABCNN训练模型获得输入文本信息并处理得到ABCNN文本表示向量集合；通过word2vec训练模型获得输入文本信息并处理得到word2vec文本表示向量集合；通过倒排索引对输入文本信息处理并得到倒排索引文本表示向量集合；分别对ABCNN文本表示向量集合、word2vec文本表示向量集合和倒排索引文本表示向量集合进行相似度重排序得到排序结果，排序结果作为输出。提高了智能客服的语义理解能力，增强了适用性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为根据本申请实施例的一种语义匹配模型设计方法步骤流程图；
图2为根据本申请实施例的一种语义匹配模型设计装置结构图；
图3为根据本申请实施例的一种电子设备图；
具体实施方式
为了使本领域的人员更好地理解本申请实施例中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本申请实施例保护的范围。
下面结合本申请实施例附图进一步说明本申请实施例具体实现。
实施例一
本申请实施例一提供一种语义匹配模型设计方法，参照图1所示，该方法可以在后台服务器上运行，其具体包括以下步骤：
步骤101、通过ABCNN训练模型获得输入文本信息并处理得到ABCNN文本表示向量集合；
需要说明的是，ABCNN训练模型，简称Attention-based CNN，是一种深度语义匹配模型，可拆分为两部分attention+B-CNN，其中B-CNN结构最早应用于图像的细粒度分类，网络结构包括两个独立通道的卷积神经网络分别对图像进行特征提取，然后用一个bilinearpoor函数将CNN抽取的两组特征结合起来，最后带入Softmax层进行分类。此处的ABCNN训练模型是通过相似问答语料库作为样本训练而成的，其中，相似问答语料库是人工预先记录设定的。此处的文本向量可以是词向量，词向量每一维的值代表一个具有一定的语义和语法上解释的特征，可以将词向量的每一维称为一个词语特征。当前主流的深度语义匹配网络，依据网络的构造方式，分为两种：表示型，如DSSM、Sentence-Bert等；交互型，如PairCNN，ABCNN等。其中表示型特点：采用Siamese结构，对网络表示层进行编码，可采用CNN，RNN和self-attention结构，会在网络最后一层对待匹配的两个句子进行相似度计算；交互型特点：网络设计会尽早的让两个句子进行交互，充分应用交互特征。针对语义匹配任务，实质是学习预测两个文本之间的相似度，在拥有足够的标注数据时，采用交互型可学习到文本更好的语义表示，且ABCNN网络在速度和准确率较其他交互型模型存在优势，因此选择使用ABCNN网络对相似问答语料进行训练学习。ABCNN通过在B-CNN网络中加入attention结构，使其在文本相似度任务上表现较好。关于ABCNN的系列模型，包括ABCNN-1，ABCNN-2，ABCNN-3三种。ABCNN-1是在输入层后，卷积层之前添加注意力矩阵A，A用来定义两个句子之间词的关系，关于注意力矩阵A的计算方式：
Ai,j＝match-score(F0,r[:,i],F1,r[:,j])
即矩阵A中Ai,j的计算是由输入文本l1中第i个词的向量与输入文本l2中第j个词的距离度量。通过矩阵A，可以计算句子的attention特征Fa，计算公式如下：
F0,a＝W0.AT
F1,a＝W1.A
ABCNN-2是在卷积层之后，池化层之前添加注意力矩阵A。其计算方式与ABCNN-1相同，ABCNN-3是ABCNN-1和ABCNN-2的结合，卷积层和池化层都添加了attention机制，通过上述机制处理可以使语义匹配更加精准。
可选地，在一种实施例中，通过ABCNN训练模型获得输入文本信息并处理得到ABCNN文本表示向量集合，还包括：
对ABCNN文本表示向量集合构建FAISS索引，得到构建FAISS索引后的ABCNN文本表示向量集合。
需要说明的是，FAISS(Facebook AI Similarity Search)，是Facebook的AI团队针对大规模相似检索问题开发的工具，对10亿量级的索引可以做到毫秒级检索的性能。在使用ABCNN网络对用户输入文本进行相似预测，需要使用暴力检索，逐一和语料库中每个文本进行相似计算，当向量数量级达到百万千万甚至上亿级别，暴力检索显得费时费力，为了进一步提升计算性能，可将ABCNN网络对文本的表示向量，提前存入FAISS索引中。通过对ABCNN文本表示向量集合构建FAISS索引，得到构建FAISS索引后的ABCNN文本表示向量集合，即设计ABCNN+FAISS组合结构，利用ABCNN网络的交互学习特点，充分学习相似文本的语义向量表达，并利用FAISS框架构建向量索引，实现了毫秒级响应，同时提升了语义匹配精度和性能。
步骤102、通过word2vec训练模型获得输入文本信息并处理得到word2vec文本表示向量集合；
需要说明的是，Word2vec是一群用来产生词向量的相关模型。这些模型为浅而双层的神经网络，用来训练以重新建构语言学之词文本。网络以词表现，并且需猜测相邻位置的输入词，在word2vec中词袋模型假设下，词的顺序是不重要的。训练完成之后，word2vec模型可用来映射每个词到一个向量，可用来表示词对词之间的关系，该向量为神经网络之隐藏层。此处的word2vec训练模型是通过领域文档知识库作为样本训练而成的，其中，相似领域文档知识库可以是客服领域问答积累而成的，也可以是通过大数据筛选得到的。在智能客服系统使用初期，标注相似语料较少，不足以支撑深度语义匹配网络获得较好的匹配效果，因此可采用无监督学习方式，通过收集大量领域内的知识语料，使用word2vec模型进行无监督训练，对语料库中的每个文本进行文本向量表示。
可选地，在一种实施例中，通过word2vec训练模型获得输入文本信息并处理得到word2vec文本表示向量集合，还包括：
对word2vec文本表示向量集合构建FAISS索引，得到构建FAISS索引后的word2vec文本表示向量集合。
需要说明的是，搜集领域知识进行word2vec无监督学习，可一定程序适应于相似标注数据较少的场景下，通过word2vec文本表示向量集合构建FAISS索引可以有效提高检索的效率。
步骤103、通过倒排索引对输入文本信息处理并得到倒排索引文本表示向量集合；
需要说明的是，此处的倒排索引，可以支持自定义增加专业词库以及词权重，人为影响个别问答效果，进而符合实际业务场景下对个别问答错误及时纠正的需求；此处的倒排索引根据相似问答语料库，通过人为设定权重，词组等方式排序得到文本表示向量集合。
可选地，在一种实施例中，通过倒排索引对输入文本信息处理并得到倒排索引文本表示向量集合，包括：
通过对输入文本信息构建词-文档矩阵进行倒排索引处理，得到倒排索引文本表示向量集合。
需要说明的是，此处构建词-文档矩阵是倒排索引的一种处理手段，并不仅限于该方法，对于采用深度语义匹配网络即采用ABCNN训练模型，word2vec训练模型在个别问答上的错误纠正，都需要较多同类语料的收集和重复训练调优，且纠正效果不明显。因此基于此需求，通过对文本进行分词、构建倒排索引矩阵的方式，可自定义添加同义词库，专业词库和分词自定义词库以及词频，通过人为增加或降低词权重，来影响匹配结果，以便符合业务需求在不同问答容忍度的不一致性。
步骤104、分别对ABCNN文本表示向量集合、word2vec文本表示向量集合和倒排索引文本表示向量集合进行相似度重排序得到排序结果，排序结果作为输出。
需要说明的是，此处的相似度重排序是对上述三种文本表示向量集合分别进行相似度计算并排序，根据相似度按照从高到低的排序结果，可以将相似度最高的即相似度值第一的作为输出。
可选地，在一种实施例中，分别对ABCNN文本表示向量集合、word2vec文本表示向量集合和倒排索引文本表示向量集合进行相似度重排序得到排序结果，排序结果作为输出，还包括：
通过GBDT树模型对排序结果进行排序处理，得到GBDT树模型处理后的排序结果并作为输出。
需要说明的是，通过GBDT树模型将ABCNN文本表示向量集合、word2vec文本表示向量集合和倒排索引文本表示向量集合这三个分支得到的相似结果列表，进行重排序，使得和用户输入相关的知识尽可能往前排。GBDT树模型是一种优选的相似度重排序模型，可以对原始特征进行特征划分、特征组合和特征选择，并得到高阶特征属性和非线性映射。
本发明通过ABCNN训练模型获得输入文本信息并处理得到ABCNN文本表示向量集合；通过word2vec训练模型获得输入文本信息并处理得到word2vec文本表示向量集合；通过倒排索引对输入文本信息处理并得到倒排索引文本表示向量集合；分别对ABCNN文本表示向量集合、word2vec文本表示向量集合和倒排索引文本表示向量集合进行相似度重排序得到排序结果，排序结果作为输出。提高了智能客服的语义理解能力，增强了适用性。
实施例二
本申请实施例二提供一种语义匹配模型设计装置，参照图2所示，其特征在于，包括：
ABCNN训练模块、word2vec训练模块、倒排索引模块、重排序模块；
ABCNN训练模块，用于通过ABCNN训练模型获得输入文本信息并处理得到ABCNN文本表示向量集合；
word2vec训练模块，用于通过word2vec训练模型获得输入文本信息并处理得到word2vec文本表示向量集合；
倒排索引模块，用于通过倒排索引对输入文本信息处理并得到倒排索引文本表示向量集合；
重排序模块，用于分别对ABCNN文本表示向量集合、word2vec文本表示向量集合和倒排索引文本表示向量集合进行相似度重排序得到排序结果，排序结果作为输出。
需要说明的是，语义匹配模型设计装置，将ABCNN训练模块、word2vec训练模块、倒排索引模块三种检索模块相结合，最终利用重排序模块做回归预测。该语义匹配模型设计装置可在标注数据较少的情况下，主要依赖word2vec和倒排索引组合方式进行检索，随着用户使用增加，智能客服系统积累较多的对话历史，可同时安排业务人员对提问较多的问题，进行相似语料标注，在标注语料增加到一定量的时候，使用ABCNN训练模块进行有监督的训练学习，最终模型学习形成闭循环，可持续提升组合模型对自然语言的理解能力。
可选地，在一种实施例中，语义匹配模型设计装置，还包括：
FAISS模块；
FAISS模块，用于对ABCNN文本表示向量集合构建FAISS索引，得到构建FAISS索引后的ABCNN文本表示向量集合。
可选地，在一种实施例中，FAISS模块，还用于对word2vec文本表示向量集合构建FAISS索引，得到构建FAISS索引后的word2vec文本表示向量集合。
可选地，在一种实施例中，倒排索引模块，还用于通过对输入文本信息构建词-文档矩阵进行倒排索引处理，得到倒排索引文本表示向量集合。
可选地，在一种实施例中，语义匹配模型设计装置，还包括：
GBDT模块；
GBDT模块，用于通过GBDT树模型对排序结果进行排序处理，得到GBDT树模型处理后的排序结果并作为输出
实施例三
结合上述实施例一所描述的语义匹配模型设计方法，参照图3所示，本申请实施例三提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，处理器、存储器和通信接口通过通信总线完成相互间的通信；
存储器用于存放至少一可执行指令，可执行指令使处理器执行上述实施例一所描述的语义匹配模型设计方法对应的操作。
实施例四
结合上述实施例一所描述的语义匹配模型设计方法，本申请实施例四提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时上述实施例一所描述的语义匹配模型设计方法。
实施例五
结合上述实施例一所描述的语义匹配模型设计方法，本申请实施例五提供了一种计算机程序产品，包括计算机指令，计算机指令指示计算设备执行上述实施例一所描述的语义匹配模型设计方法对应的操作。
以上实施方式仅用于说明本申请实施例，而并非对本申请实施例的限制，有关技术领域的普通技术人员，在不脱离本申请实施例的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本申请实施例的范畴，本申请实施例的专利保护范围应由权利要求限定。上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flashRAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitorymedia)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定事务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行事务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
Claims (10)
1.一种语义匹配模型设计方法，其特征在于，包括：
通过ABCNN训练模型获得输入文本信息并处理得到ABCNN文本表示向量集合；
通过word2vec训练模型获得输入文本信息并处理得到word2vec文本表示向量集合；
通过倒排索引对输入文本信息处理并得到倒排索引文本表示向量集合；
分别对所述ABCNN文本表示向量集合、所述word2vec文本表示向量集合和所述倒排索引文本表示向量集合进行相似度重排序得到排序结果，所述排序结果作为输出。
2.根据权利要求1所述的语义匹配模型设计方法，其特征在于，所述通过ABCNN训练模型获得输入文本信息并处理得到ABCNN文本表示向量集合，还包括：
对所述ABCNN文本表示向量集合构建FAISS索引，得到构建FAISS索引后的ABCNN文本表示向量集合。
3.根据权利要求2所述的语义匹配模型设计方法，其特征在于，所述通过word2vec训练模型获得输入文本信息并处理得到word2vec文本表示向量集合，还包括：
对所述word2vec文本表示向量集合构建FAISS索引，得到构建FAISS索引后的word2vec文本表示向量集合。
4.根据权利要求2所述的语义匹配模型设计方法，其特征在于，所述通过倒排索引对输入文本信息处理并得到倒排索引文本表示向量集合，包括：
通过对输入文本信息构建词-文档矩阵进行倒排索引处理，得到倒排索引文本表示向量集合。
5.根据权利要求1所述的语义匹配模型设计方法，其特征在于，所述分别对所述ABCNN文本表示向量集合、所述word2vec文本表示向量集合和所述倒排索引文本表示向量集合进行相似度重排序得到排序结果，所述排序结果作为输出，还包括：
通过GBDT树模型对所述排序结果进行排序处理，得到GBDT树模型处理后的排序结果并作为输出。
6.一种语义匹配模型设计装置，其特征在于，包括：
ABCNN训练模块、word2vec训练模块、倒排索引模块、重排序模块；
所述ABCNN训练模块，用于通过ABCNN训练模型获得输入文本信息并处理得到ABCNN文本表示向量集合；
所述word2vec训练模块，用于通过word2vec训练模型获得输入文本信息并处理得到word2vec文本表示向量集合；
所述倒排索引模块，用于通过倒排索引对输入文本信息处理并得到倒排索引文本表示向量集合；
所述重排序模块，用于分别对所述ABCNN文本表示向量集合、所述word2vec文本表示向量集合和所述倒排索引文本表示向量集合进行相似度重排序得到排序结果，所述排序结果作为输出。
7.根据权利要求6所述的语义匹配模型设计装置，其特征在于，所述语义匹配模型设计装置，还包括：
FAISS模块；
所述FAISS模块，用于对所述ABCNN文本表示向量集合构建FAISS索引，得到构建FAISS索引后的ABCNN文本表示向量集合。
8.根据权利要求7所述的语义匹配模型设计装置，其特征在于，所述FAISS模块，还用于对所述word2vec文本表示向量集合构建FAISS索引，得到构建FAISS索引后的word2vec文本表示向量集合。
9.根据权利要求6所述的语义匹配模型设计装置，其特征在于，所述倒排索引模块，还用于通过对输入文本信息构建词-文档矩阵进行倒排索引处理，得到倒排索引文本表示向量集合。
10.根据权利要求6所述的语义匹配模型设计装置，其特征在于，所述语义匹配模型设计装置，还包括：
GBDT模块；
所述GBDT模块，用于通过GBDT树模型对所述排序结果进行排序处理，得到GBDT树模型处理后的排序结果并作为输出。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111625854.5A CN114298056A (zh) | 2021-12-28 | 2021-12-28 | 一种语义匹配模型设计方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111625854.5A CN114298056A (zh) | 2021-12-28 | 2021-12-28 | 一种语义匹配模型设计方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114298056A true CN114298056A (zh) | 2022-04-08 |
Family
ID=80971043
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111625854.5A Pending CN114298056A (zh) | 2021-12-28 | 2021-12-28 | 一种语义匹配模型设计方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114298056A (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111767737A (zh) * | 2019-05-30 | 2020-10-13 | 北京京东尚科信息技术有限公司 | 文本意图相似度确定方法、装置、电子设备和存储介质 |
| CN113032641A (zh) * | 2021-04-23 | 2021-06-25 | 赛飞特工程技术集团有限公司 | 一种智能搜索方法和设备 |
-
2021
- 2021-12-28 CN CN202111625854.5A patent/CN114298056A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111767737A (zh) * | 2019-05-30 | 2020-10-13 | 北京京东尚科信息技术有限公司 | 文本意图相似度确定方法、装置、电子设备和存储介质 |
| CN113032641A (zh) * | 2021-04-23 | 2021-06-25 | 赛飞特工程技术集团有限公司 | 一种智能搜索方法和设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111241851A (zh) | 语义相似度确定方法、装置及处理设备 | |
| CN110765247B (zh) | 一种用于问答机器人的输入提示方法及装置 | |
| US11557219B2 (en) | Generating and rating user assessments | |
| CN107679082A (zh) | 问答搜索方法、装置以及电子设备 | |
| CN113505204B (zh) | 召回模型训练方法、搜索召回方法、装置和计算机设备 | |
| CN110737756B (zh) | 确定针对用户输入数据的应答的方法、装置、设备和介质 | |
| CN117609444B (zh) | 一种基于大模型的搜索问答方法 | |
| CN112528010B (zh) | 知识推荐方法、装置、计算机设备及可读存储介质 | |
| CN117236410B (zh) | 一种可信的电子文件大语言模型训练、推理方法和装置 | |
| Zhong et al. | Design of a personalized recommendation system for learning resources based on collaborative filtering | |
| CN111767394A (zh) | 一种基于人工智能专家系统的摘要提取方法及装置 | |
| CN117951274A (zh) | 一种基于融合向量和关键词检索的rag知识问答方法和装置 | |
| CN109086463A (zh) | 一种基于区域卷积神经网络的问答社区标签推荐方法 | |
| Bourkoukou et al. | A big-data oriented recommendation method in E-learning environment | |
| CN117494815A (zh) | 面向档案的可信大语言模型训练、推理方法和装置 | |
| CN108550019A (zh) | 一种简历筛选方法及装置 | |
| CN117473056A (zh) | 一种问答方法、装置、电子设备及存储介质 | |
| CN116957006A (zh) | 预测模型的训练方法、装置、设备、介质及程序产品 | |
| US11475211B1 (en) | Elucidated natural language artifact recombination with contextual awareness | |
| Ali et al. | Identifying and Profiling User Interest over time using Social Data | |
| CN114298056A (zh) | 一种语义匹配模型设计方法 | |
| CN114880485A (zh) | 阅读理解答案生成的方法、装置、计算机设备和存储介质 | |
| CN114115878A (zh) | 一种工作流节点推荐方法及装置 | |
| Ali et al. | Comparison Performance of Long Short-Term Memory and Convolution Neural Network Variants on Online Learning Tweet Sentiment Analysis | |
| Yao et al. | Microblog Search Based on Deep Reinforcement Learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |