CN115017886A - 文本匹配方法、文本匹配装置、电子设备及存储介质 - Google Patents
文本匹配方法、文本匹配装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN115017886A CN115017886A CN202210438940.3A CN202210438940A CN115017886A CN 115017886 A CN115017886 A CN 115017886A CN 202210438940 A CN202210438940 A CN 202210438940A CN 115017886 A CN115017886 A CN 115017886A
- Authority
- CN
- China
- Prior art keywords
- text
- candidate
- matching
- target
- sentence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 80
- 238000003860 storage Methods 0.000 title claims abstract description 29
- 238000012216 screening Methods 0.000 claims abstract description 41
- 238000012549 training Methods 0.000 claims description 64
- 239000013598 vector Substances 0.000 claims description 45
- 230000015654 memory Effects 0.000 claims description 19
- 230000002087 whitening effect Effects 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 10
- 238000013473 artificial intelligence Methods 0.000 abstract description 16
- 238000005516 engineering process Methods 0.000 description 13
- 238000001914 filtration Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 11
- 238000003058 natural language processing Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000002452 interceptive effect Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/216—Parsing using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/335—Filtering based on additional data, e.g. user or group profiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Human Computer Interaction (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供了文本匹配方法、文本匹配装置、电子设备及存储介质,属于人工智能技术领域。该方法包括:接收文本搜索请求中的待匹配文本;对待匹配文本进行文本模式匹配,得到至少一个候选句子文本;利用预设的文本匹配模型分别计算各个候选句子文本与待匹配文本的相似度,得到第一候选匹配分数;根据第一候选匹配分数进行第一文本筛选,得到目标句子文本及对应的目标场景;当第一文本筛选未匹配到目标句子文本时,计算各个候选句子文本的第二候选匹配分数;根据第二候选匹配分数进行第二文本筛选,得到目标句子文本及对应的目标场景;匹配出对应的话术文本,并根据对应的语音与用户进行对话。本申请能够提高文本句子匹配识别的准确率和效率。
Description
技术领域
本申请涉及人工智能技术领域,尤其涉及文本匹配方法、文本匹配装置、电子设备及存储介质。
背景技术
目前,企业在进行现有产品的推广时,势必会遇到产品的售后、客服交流等业务功能。而当用户越来越多,产品范围越来越庞大时,则需要应对大量的用户对产品的疑问、售后问题等,但只依赖于人工的语音外呼操作会降低企业的工作效率。
采用问题相似度匹配方法的智能语音外呼是人工智能领域一个重要的研究。例如,在保险应用领域中,需要用到很多涉及句子相似度匹配的方法或算法,如对于用户提出的问题进行相似句子的准确匹配。然而,传统计算句子相似度的方法包括:利用TextCNN模型计算句子的向量,再利用双塔模型计算句子间的交互信息,进而计算得到句子间相似度的方法;或者,利用Bert作为基础模型计算句子的向量,再利用双塔模型计算句子间的交互信息,进而计算得到句子间相似度的方法。虽然采用Bert模型提高了句子相似度计算的准确性,但由于其本身预测速度较慢,限制了其在工业化场景中的应用,降低了用户体验的满意度。
发明内容
本申请实施例的主要目的在于提出文本匹配方法、文本匹配装置、电子设备及存储介质,能够提高文本句子匹配识别的准确率和效率,降低了语音外呼的人力成本。
为实现上述目的,本申请实施例的第一方面提出了文本匹配方法,所述方法包括:
接收文本搜索请求;其中,所述文本搜索请求包括待匹配文本;
对所述待匹配文本进行文本模式匹配,得到至少一个候选句子文本;
利用预设的文本匹配模型分别计算各个所述候选句子文本与所述待匹配文本的相似度,得到各个所述候选句子文本对应的第一候选匹配分数;
根据各个所述候选句子文本对应的所述第一候选匹配分数,对所述至少一个候选句子文本进行第一文本筛选,得到目标句子文本及所述目标句子文本对应的目标场景;
当根据所述第一文本筛选未匹配到所述目标句子文本时,利用FastText模型计算各个所述候选句子文本分别与所述待匹配文本的相似度,得到各个所述候选句子文本对应的第二候选匹配分数;
根据所述第二候选匹配分数对所述候选句子文本进行第二文本筛选,得到所述目标句子文本及所述目标句子文本对应的所述目标场景;
对所述目标句子文本在所述目标场景预设的话术文本库中匹配出对应的话术文本,并根据所述话术文本对应的语音与用户进行对话。
在一些实施例中,所述对所述待匹配文本进行文本模式匹配,得到至少一个候选句子文本,包括:
根据预设的规则模板对所述待匹配文本进行规则匹配,得到目标句子文本及所述目标句子文本对应的目标场景;
当根据所述规则模板未匹配到所述目标句子文本,对所述待匹配文本进行全模式匹配,得到至少一个候选句子文本,其中,所述候选句子文本按照降序排列。
在一些实施例中,所述文本匹配模型通过如下步骤训练得到:
获取第一训练样本数据;
利用所述第一训练样本数据对Bert教师模型进行模型训练,得到样本训练模型;
根据所述样本训练模型的训练结果构建第二训练样本数据;
利用所述第二训练样本数据对学生模型进行模型训练,得到所述文本匹配模型,其中,学生模型包括Esim模型或TextCNN模型。
在一些实施例中,所述利用所述第一训练样本数据对Bert教师模型进行模型训练,得到样本训练模型,包括:
利用所述第一训练样本数据对Bert教师模型进行模型训练,得到模型输出向量;
对所述模型输出向量进行白化操作,得到白化矩阵向量;
对所述模型输出向量进行归一化操作,得到归一化向量;
根据所述白化矩阵向量和所述归一化向量进行样本相似度计算,当所述样本相似度计算的结果满足预设的准确率条件,确定样本训练模型。
在一些实施例中,所述根据各个所述候选句子文本对应的所述第一候选匹配分数,对所述至少一个候选句子文本进行第一文本筛选,得到目标句子文本及所述目标句子文本对应的目标场景,包括:
比对所述第一候选匹配分数和预设的第一阈值;
当所述候选句子文本对应的所述第一候选匹配分数大于所述第一阈值,将对应的所述候选句子文本作为目标句子文本,并得到所述目标句子文本对应的目标场景。
在一些实施例中,所述当所述候选句子文本对应的所述第一候选匹配分数大于所述第一阈值,将对应的所述候选句子文本作为目标句子文本,并得到所述目标句子文本对应的目标场景,包括:
当多个所述第一候选匹配分数大于所述第一阈值时,对多个所述第一候选匹配分数进行数值降序排列,将所述数值降序排列中第一位的所述第一候选匹配分数对应的所述候选句子文本作为目标句子文本,并得到所述目标句子文本对应的目标场景。
在一些实施例中,所述根据所述第二候选匹配分数对所述候选句子文本进行第二文本筛选,得到所述目标句子文本及所述目标句子文本对应的所述目标场景,包括:
比对所述第二候选匹配分数和预设的第二阈值;其中,所述第二阈值小于所述第一阈值;
当所述候选句子文本对应的所述第二候选匹配分数大于所述第二阈值,将对应的所述候选句子文本作为所述目标句子文本,并得到所述目标句子文本对应的目标场景;
当各个所述候选句子文本对应的所述第二候选匹配分数小于或等于所述第二阈值时,更新所述第二阈值,其中,更新后的所述第二阈值小于更新前的所述第二阈值;
当所述候选句子文本对应的所述第二候选匹配分数大于所述更新后的所述第二阈值,将对应的所述候选句子文本作为所述目标句子文本,并得到所述目标句子文本对应的所述目标场景。
为实现上述目的,本申请实施例的第二方面提出了文本匹配装置,所述装置包括:
搜索请求获取模块,用于接收文本搜索请求;其中,所述文本搜索请求包括待匹配文本;
匹配搜索模块,用于对所述待匹配文本进行文本模式匹配,得到至少一个候选句子文本;
第一相似度匹配模块,用于利用预设的文本匹配模型分别计算各个所述候选句子文本与所述待匹配文本的相似度,得到各个所述候选句子文本对应的第一候选匹配分数;
第一文本筛选模块,用于根据各个所述候选句子文本对应的所述第一候选匹配分数,对所述至少一个候选句子文本进行第一文本筛选,得到目标句子文本及所述目标句子文本对应的目标场景;
第二相似度匹配模块,用于当根据所述第一文本筛选未匹配到所述目标句子文本时,利用FastText模型计算各个所述候选句子文本分别与所述待匹配文本的相似度,得到各个所述候选句子文本对应的第二候选匹配分数;
第二文本筛选模块,用于根据所述第二候选匹配分数对所述候选句子文本进行第二文本筛选,得到所述目标句子文本及所述目标句子文本对应的所述目标场景;
语音对话模块,用于对所述目标句子文本在所述目标场景预设的话术文本库中匹配出对应的话术文本,并根据所述话术文本对应的语音与用户进行对话。
为实现上述目的,本申请实施例的第三方面提出了电子设备,包括:
至少一个存储器;
至少一个处理器;
至少一个计算机程序;
所述至少一个计算机程序被存储在所述至少一个存储器中,所述至少一个处理器执行所述至少一个计算机程序以实现上述第一方面所述的文本匹配方法。
为实现上述目的,本申请实施例的第四方面提出了存储介质,所述存储介质为计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序用于使计算机执行上述第一方面所述的文本匹配方法。
本申请提出的文本匹配方法、文本匹配装置、电子设备及存储介质,通过接收文本搜索请求,其中,文本搜索请求包括待匹配文本。为了提高模型对文本句子匹配识别的准确率和效率,对待匹配文本进行文本模式匹配,得到至少一个候选句子文本,利用预设的文本匹配模型分别计算各个候选句子文本与待匹配文本的相似度,得到各个候选句子文本对应的第一候选匹配分数。为了输出与待匹配文本最匹配的文本句子,根据各个候选句子文本对应的第一候选匹配分数,对至少一个候选句子文本进行第一文本筛选,得到目标句子文本及目标句子文本对应的目标场景。为了保证能够匹配到与待匹配文本相似的文本句子,当根据第一文本筛选未匹配到目标句子文本时,利用FastText模型计算各个候选句子文本分别与待匹配文本的相似度,得到各个候选句子文本对应的第二候选匹配分数,并根据第二候选匹配分数对候选句子文本进行第二文本筛选,得到目标句子文本及目标句子文本对应的目标场景。对目标句子文本在目标场景预设的话术文本库中匹配出对应的话术文本,并根据话术文本对应的语音与用户进行对话。本申请通过返回与待匹配文本对应的目标句子文本及其对应的目标场景,能够提高文本句子匹配识别的准确率和效率,降低了语音外呼的人力成本。
附图说明
图1是本申请实施例提供的文本匹配方法的流程图;
图2是图1中的步骤S120的流程图;
图3是本申请实施例提供的训练文本匹配模型的流程图;
图4是图3中的步骤S320的流程图;
图5是图1中的步骤S140的流程图;
图6是图1中的步骤S160的流程图;
图7是本申请实施例提供的文本匹配装置的结构示意图;
图8是本申请实施例提供的电子设备的硬件结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本申请,并不用于限定本申请。
需要说明的是,虽然在装置示意图中进行了功能模块划分,在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于装置中的模块划分,或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的,不是旨在限制本申请。
首先,对本申请中涉及的若干名词进行解析:
人工智能(Artificial Intelligence,AI):是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学;人工智能是计算机科学的一个分支,人工智能企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器,该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能可以对人的意识、思维的信息过程的模拟。人工智能还是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
自然语言处理(Natural language Processing,NLP):NLP用计算机来处理、理解以及运用人类语言(如中文、英文等),NLP属于人工智能的一个分支,是计算机科学与语言学的交叉学科,又常被称为计算语言学。自然语言处理包括语法分析、语义分析、篇章理解等。自然语言处理常用于机器翻译、手写体和印刷体字符识别、语音识别及文语转换、信息意图识别、信息抽取与过滤、文本分类与聚类、舆情分析和观点挖掘等技术领域,它涉及与语言处理相关的数据挖掘、机器学习、知识获取、知识工程、人工智能研究和与语言计算相关的语言学研究等。
TextCNN(文本分类神经网络):TextCNN模型是由Yoon Kim提出的 ConvolutionalNaural Networks for Sentence Classification一文中提出的使用卷积神经网络来处理NLP问题的模型。相比较NLP中传统的RNN/LSTM等模型,TextCNN能更加高效的提取重要特征。
Bert(Bidirectional Encoder Representation from Transformers)模型:Bert模型进一步增加词向量模型泛化能力,充分描述字符级、词级、句子级甚至句间关系特征,基于Transformer构建而成。Bert中有三种Embedding,即Token Embedding,SegmentEmbedding,Position Embedding;其中Token Embeddings是词向量,第一个单词是CLS标志,可以用于之后的分类任务; Segment Embeddings用来区别两种句子,因为预训练不光做LM还要做以两个句子为输入的分类任务;Position Embedding,这里的位置词向量不是transfor 中的三角函数,而是Bert经过训练学到的。但Bert直接训练一个PositionEmbedding来保留位置信息,每个位置随机初始化一个向量,加入模型训练,最后就得到一个包含位置信息的Embedding,最后这个Position Embedding和Word Embedding的结合方式上,Bert选择直接拼接。
自动语音识别技术(Automatic Speech Recognition,ASR):自动语音识别技术是一种将人的语音转换为文本的技术。语音识别的输入一般是时域的语音信号,数学上用一系列向量表示信号长度(length T)和维度(dimension d),该自动语义识别技术的输出是文本,用一系列令牌token表示字段长度(length N)和不同令牌(different tokens)。
ES(Elastic Search,ES)是一个分布式、高扩展、高实时的搜索与数据分析引擎。它能很方便的使大量数据具有搜索、分析和探索的能力。充分利用 ES的水平伸缩性,能使数据在生产环境变得更有价值。ES搜索引擎的实现原理主要分为以下几个步骤,首先用户将数据提交到ES数据库中,再通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据,当用户搜索数据时候,根据权重将结果排名、打分,再将返回结果呈现给用户。
目前,企业在进行现有产品的推广时,势必会遇到产品的售后、客服交流等业务功能。而当用户越来越多,产品范围越来越庞大时,则需要应对大量的用户对产品的疑问、售后问题等,但只依赖于人工的语音外呼操作会降低企业的工作效率。
采用问题相似度匹配方法的智能语音外呼是人工智能领域一个重要的研究。例如,在保险应用领域中,需要用到很多涉及句子相似度匹配的方法或算法,如对于用户提出的问题进行相似句子的准确匹配。然而,传统计算句子相似度的方法包括:利用TextCNN模型计算句子的向量,再利用双塔模型计算句子间的交互信息,进而计算得到句子间相似度的方法;或者,利用Bert作为基础模型计算句子的向量,再利用双塔模型计算句子间的交互信息,进而计算得到句子间相似度的方法。虽然采用Bert模型提高了句子相似度计算的准确性,但由于其本身预测速度较慢,限制了其在工业化场景中的应用,降低了用户体验的满意度。
基于此,本申请实施例提供了文本匹配方法、文本匹配装置、电子设备及存储介质,能够提高文本句子匹配识别的准确率和效率,降低了语音外呼的人力成本。
本申请实施例提供的文本匹配方法、文本匹配装置、电子设备及存储介质,具体通过如下实施例进行说明,首先描述本申请实施例中的文本匹配方法。
本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中,人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
本申请实施例提供的文本匹配方法,涉及人工智能技术领域。本申请实施例提供的文本匹配方法可应用于终端中,也可应用于服务器端中,还可以是运行于终端或服务器端中的软件。在一些实施例中,终端可以是智能手机、平板电脑、笔记本电脑、台式计算机等;服务器端可以配置成独立的物理服务器,也可以配置成多个物理服务器构成的服务器集群或者分布式系统,还可以配置成提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN以及大数据和人工智能平台等基础云计算服务的云服务器;软件可以是实现文本匹配方法的应用等,但并不局限于以上形式。
本申请可用于众多通用或专用的计算机系统环境或配置中。例如:个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
请参阅图1,图1是本申请实施例提供的文本匹配方法的一个可选的流程图,图1中的方法可以包括但不限于包括步骤S110至步骤S170。
步骤S110,接收文本搜索请求;其中,文本搜索请求包括待匹配文本;
步骤S120,对待匹配文本进行文本模式匹配,得到至少一个候选句子文本;
步骤S130,利用预设的文本匹配模型分别计算各个候选句子文本与待匹配文本的相似度,得到各个候选句子文本对应的第一候选匹配分数;
步骤S140,根据各个候选句子文本对应的第一候选匹配分数,对至少一个候选句子文本进行第一文本筛选,得到目标句子文本及目标句子文本对应的目标场景;
步骤S150,当根据第一文本筛选未匹配到目标句子文本时,利用FastText 模型计算各个候选句子文本分别与待匹配文本的相似度,得到各个候选句子文本对应的第二候选匹配分数;
步骤S160,根据第二候选匹配分数对候选句子文本进行第二文本筛选,得到目标句子文本及目标句子文本对应的目标场景;
步骤S170,对目标句子文本在目标场景预设的话术文本库中匹配出对应的话术文本,并根据话术文本对应的语音与用户进行对话。
本申请实施例的步骤S110至步骤S170,其通过接收文本搜索请求中的待匹配文本,以根据待匹配文本识别用户的意图。为了提高模型对待匹配文本匹配识别的准确率和效率,对待匹配文本进行文本模式匹配,得到至少一个候选句子文本,并利用预设的文本匹配模型分别计算各个候选句子文本与待匹配文本的相似度,得到各个候选句子文本对应的第一候选匹配分数,即能够通过得到的第一候选匹配分数清楚地确定不同候选句子文本与待匹配文本的相关性,进而从候选句子文本中匹配到目标句子文本。为了输出与待匹配文本最匹配的文本句子,根据各个候选句子文本对应的第一候选匹配分数,对至少一个候选句子文本进行第一文本筛选,得到目标句子文本及目标句子文本对应的目标场景。为了保证本申请实施例确定能够匹配到与待匹配文本相似的文本句子,当根据第一文本筛选未匹配到目标句子文本时,利用FastText模型作为兜底操作,计算各个候选句子文本分别与待匹配文本的相似度,得到各个候选句子文本对应的第二候选匹配分数,并根据第二候选匹配分数对候选句子文本进行第二文本筛选,得到目标句子文本及目标句子文本对应的目标场景。为了有效地实现本申请实施例在实际场景中的应用,对目标句子文本在目标场景预设的话术文本库中匹配出对应的话术文本,并根据话术文本对应的语音与用户进行对话。本申请通过返回与待匹配文本对应的目标句子文本及其对应的目标场景,实现了与用户相关的待匹配文本的意图识别,能够提高文本句子匹配识别的准确率和效率,降低了语音外呼的人力成本。
在一些实施例的步骤S110中,当启动文本匹配服务的时候,接收文本搜索请求,文本搜索请求包括待匹配文本,其中,接收文本搜索请求是指当获取到用户通过语音的方式进行回答或提问时,实现该文本匹配方法的文本匹配装置可以采用ASR或NLP技术对接收到的语音信息进行解析处理。
需要说明的是,待匹配文本也包括用户根据语音提示输入对应的问题文本信息,例如,当进行实际的智能自动外呼时,用户在接收到对应的语音提示后,可以输入对应的问题文本信息,则可以是通过编辑文字的方式输入对应的问题,也可以是通过语音的方式输入对应的问题,不做限制。
在一些实施例的步骤S120中,为了提高文本句子匹配识别的准确率,对待匹配文本进行文本模式匹配,得到至少一个候选句子文本,从而根据得到的多个候选句子文本中通过相似度匹配,得到目标文本句子。需要说明的是,为了避免因得到的候选句子文本的数量过多,而影响文本句子匹配识别的效率,可以对得到的至少一个候选句子文本按照文本模式匹配后对应的匹配值进行文本降序排列。同时,可以设置数量阈值,例如,选取的数量阈值为50,则选取其中匹配值较高的50个候选句子文本进行相似文本匹配,以提高文本句子匹配识别的效率。其中,数量阈值为大于或等于1的整数值,在此不作具体限定。
在一些实施例的步骤S130中,当匹配到至少一个候选句子文本后,为了有效地比对待匹配文本和候选句子文本之间的相关性,利用预设的文本匹配模型分别计算各个候选句子文本与待匹配文本的相似度,得到各个候选句子文本对应的第一候选匹配分数,进而通过得到的第一候选匹配分数确定不同候选句子文本与待匹配文本的相关性,从候选句子文本中匹配到目标句子文本。
在一些实施例的步骤S140中,当得到了各个候选句子文本对应的第一候选匹配分数后,为了输出与待匹配文本最匹配的文本句子,根据第一候选匹配分数对所有的候选句子文本进行第一文本筛选,得到目标句子文本及目标句子文本对应的目标场景,该目标文本句子表明与待匹配文本的匹配程度较高的句子文本。其中,第一文本筛选即相当于根据预设的第一阈值对得到的至少一个候选句子文本的第一次文本筛选,能够提高文本句子匹配识别的准确率。
在一些实施例的步骤S150中,当根据第一文本筛选未匹配到目标句子文本时,即相当于得到的至少一个候选句子文本对应的第一候选匹配分数都小于预设的第一阈值。为了保证对待匹配文本的文本匹配是有结果输出的,利用 FastText模型计算各个候选句子文本分别与待匹配文本的相似度,得到各个候选句子文本对应的第二候选匹配分数,即利用FastText模型再次计算待匹配文本与候选句子文本之间的相似度,通过得到的第二候选匹配分数确定不同候选句子文本与待匹配文本的相关性,进而从候选句子文本中匹配到目标句子文本。
在一些实施例的步骤S160中,当得到了各个候选句子文本对应的第二候选匹配分数后,为了输出与待匹配文本最匹配的文本句子,根据第二候选匹配分数对候选句子文本进行第二文本筛选,得到目标句子文本及目标句子文本对应的目标场景。需要说明的是,由于第二文本筛选是在第一文本筛选未匹配到目标句子文本的情况下进行的,则第二文本筛选的选择范围比第一文本筛选的选择范围限制更小,即第二文本筛选对应的第二阈值小于第一文本筛选的第一阈值。
在一些实施例的步骤S170中,为了有效地将匹配的目标句子文本实现智能自动对话,对目标句子文本在目标场景预设的话术文本库中匹配出对应的话术文本,并根据话术文本对应的语音与用户进行对话。其中,预设的话术文本库为根据实际应用的业务场景提前整理的话术文本的集合,该话术文本库包括应用的目标场景和该目标场景对应的多个目标句子文本。当匹配到目标句子文本后,在目标场景预设的话术文本库中匹配出与目标句子文本对应的话术文本,并根据话术文本对应的语音与用户进行对话。
需要说明的是,本申请实施例的文本匹配方法可以应用于不同的业务场景,该业务场景包括但不限于保险营销场景、保险信息采集场景、金融催收场景、金融营销场景、各类系统的告警场景、CRM会员营销场景等需要进行智能自动外呼的业务场景。
请参照图2,图2是本申请一些实施例的步骤S120的具体方法的流程图。在本申请的一些实施例中,步骤S120包括但不限于步骤S210和步骤S220,下面结合图2对这两个步骤进行详细介绍。
步骤S210,根据预设的规则模板对待匹配文本进行规则匹配,得到目标句子文本及目标句子文本对应的目标场景;
步骤S220,当根据规则模板未匹配到目标句子文本,对待匹配文本进行全模式匹配,得到至少一个候选句子文本,其中,候选句子文本按照降序排列。
在一些实施例中,为了提高文本句子匹配识别的效率和准确性,首先,根据预设的规则模板对待匹配文本进行规则匹配,即相当于对待匹配文本进行初步的文本匹配。具体地,可以对待匹配文本进行ES搜索匹配,即基于BM25等匹配算法对待匹配文本进行文本召回,并进一步粗、精排序,获得此时的搜索匹配分数。例如,预设的规则模板可以采用ES对待匹配文本进行全模式匹配,其中,全模式匹配指的是根据待匹配文本中的具体文本进行逐字匹配,具体为,假设待匹配文本为“我们今天去ABC”(ABC是地点),通过ES进行全模式匹配时,当进行匹配的文本与待匹配文本完全匹配,则直接得到对应的目标句子文本和其对应的目标场景;而当进行匹配的文本与待匹配文本不完全匹配,即进行匹配的文本中包含了待匹配文本中的词句,如“我们去ABC”、“去ABC”等语句,则该匹配的文本为候选句子文本。根据ES搜索匹配可以返回每个候选句子文本对应的搜索匹配分数,同时,将得到的至少一个候选句子文本按照对应的搜索匹配分数进行降序排列。
需要说明的是,根据预设的规则模板对待匹配文本进行规则匹配,也可以设置为通过对待匹配文本进行关键词提取,确定待匹配文本的语义信息,进而根据设置的语义规则匹配对应的候选句子文本。
请参照图3,图3是本申请一些实施例提供的文本匹配方法另一个可选的流程图。在本申请的一些实施例中,文本匹配方法还包括构建预设的文本匹配模型,其中,文本匹配模型的训练过程具体包括但不限于步骤S310至步骤S340,下面结合图3对这四个步骤进行详细介绍。
步骤S310,获取第一训练样本数据;
步骤S320,利用第一训练样本数据对Bert教师模型进行模型训练,得到样本训练模型;
步骤S330,根据样本训练模型的训练结果构建第二训练样本数据;
步骤S340,利用第二训练样本数据对学生模型进行模型训练,得到文本匹配模型,其中,学生模型包括Esim模型或TextCNN模型。
在一些实施例中,为了提高文本句子匹配识别的准确率和效率,降低模型的运行时间,采用教师模型和学生模型的方法构建文本匹配模型,首先,获取第一训练样本数据,该第一训练样本数据可以为历史语音文本匹配数据,其中,历史语音文本匹配数据包括历史待匹配文本、历史目标句子文本、历史目标场景等。利用第一训练样本数据对Bert教师模型进行模型训练,通过不断调整Bert 教师模型的参数,使其根据第一训练样本数据得到效果更好的样本训练模型。之后,使用Bert教师模型的训练结果构建第二训练样本数据,利用第二训练样本数据对Esim学生模型或TextCNN学生模型进行模型训练,通过不断调整Esim模型或TextCNN模型学生模型的参数,得到识别准确度更高的文本匹配模型,该文本匹配模型用于实现本申请实施例的文本匹配方法。
请参照图4,图4是本申请一些实施例的步骤S320的具体方法的流程图。在本申请的一些实施例中,步骤S320包括但不限于步骤S410至步骤S440,下面结合图4对这四个步骤进行详细介绍。
步骤S410,利用第一训练样本数据对Bert教师模型进行模型训练,得到模型输出向量;
步骤S420,对模型输出向量进行白化操作,得到白化矩阵向量;
步骤S430,对模型输出向量进行归一化操作,得到归一化向量;
步骤S440,根据白化矩阵向量和归一化向量进行样本相似度计算,当样本相似度计算的结果满足预设的准确率条件,确定样本训练模型。
在一些实施例中,为了更好地提高文本句子匹配识别的准确率,可以通过改进Bert教师模型来提高得到的文本匹配模型的质量和准确度。利用第一训练样本数据对Bert教师模型进行模型训练,得到模型输出向量后,对模型输出向量进行白化操作,得到白化矩阵向量,其中,白化操作使得输出的白化矩阵向量变成高斯分布,且在每个维度上的方差一样。对模型输出向量进行归一化操作,得到归一化向量,根据白化矩阵向量和归一化向量进行样本相似度计算,得到对应的相似度值。具体地,分别设置白化矩阵向量和归一化向量对应的加权系数,得到输入文本数据对应的最终向量,通过对不同文本数据的最终向量进行样本相似度计算,其中,可以采用余弦相似度算法等协同过滤算法,对待匹配文本和候选句子文本输出的最终向量进行相似度计算。当通过相似度计算的相似度值满足预设的准确率条件,该准确率条件用于表示Bert教师模型输出的结果满足的最低阈值,该阈值为0至1中的预设数值,进而确定样本训练模型。本申请在Bert教师模型的基础上,通过白化操作和归一化操作以优化的Bert 教师模型的输出向量,以使得样本训练模型的整体性能不降低的同时,提高样本训练模型的识别准确率。
请参照图5,图5是本申请一些实施例的步骤S140的具体方法的流程图。在本申请的一些实施例中,步骤S140包括但不限于步骤S510和步骤S520,下面结合图5对这两个步骤进行详细介绍。
步骤S510,比对第一候选匹配分数和预设的第一阈值;
步骤S520,当候选句子文本对应的第一候选匹配分数大于第一阈值,将对应的候选句子文本作为目标句子文本,并得到目标句子文本对应的目标场景。
在一些实施例中,为了输出与待匹配文本最匹配的文本句子,通过比对第一候选匹配分数和预设的第一阈值的大小关系,当候选句子文本对应的第一候选匹配分数大于第一阈值,将对应的候选句子文本作为目标句子文本,并得到目标句子文本对应的目标场景。其中,预设的第一阈值可以根据实际情况进行设定,第一阈值为0至100之间的任一数值,不做限制。
在本申请的一些实施例中,步骤S520包括:当多个第一候选匹配分数大于第一阈值时,对多个第一候选匹配分数进行数值降序排列,将数值降序排列中第一位的第一候选匹配分数对应的候选句子文本作为目标句子文本,并得到目标句子文本对应的目标场景。
在一些实施例中,为了避免匹配到的候选句子文本过多,影响文本匹配识别的效率,在一些具体场景下,当多个第一候选匹配分数大于第一阈值时,对多个第一候选匹配分数进行数值降序排列,选取数值降序排列后的前五位较大的第一候选匹配分数对应的候选句子文本,再对这五个候选句子文本进行整体匹配分析比较,将数值降序排列中第一位的第一候选匹配分数对应的候选句子文本作为目标句子文本,并得到目标句子文本对应的目标场景。本申请通过返回与待匹配文本对应的目标句子文本及其对应的目标场景,实现了与用户相关的待匹配文本的意图识别,能够提高文本句子匹配识别的准确率和效率,降低了语音外呼的人力成本。
请参照图6,图6是本申请一些实施例的步骤S160的具体方法的流程图。在本申请的一些实施例中,步骤S160包括但不限于步骤S610至步骤S640,下面结合图6对这四个步骤进行详细介绍。
步骤S610,比对第二候选匹配分数和预设的第二阈值;其中,第二阈值小于第一阈值;
步骤S620,当候选句子文本对应的第二候选匹配分数大于第二阈值,将对应的候选句子文本作为目标句子文本,并得到目标句子文本对应的目标场景;
步骤S630,当各个候选句子文本对应的第二候选匹配分数小于或等于第二阈值时,更新第二阈值,其中,更新后的第二阈值小于更新前的第二阈值;
步骤S640,当候选句子文本对应的第二候选匹配分数大于更新后的第二阈值,将对应的候选句子文本作为目标句子文本,并得到目标句子文本对应的目标场景。
在一些实施例中,当根据第一文本筛选未匹配到目标句子文本时,即相当于候选句子文本对应的第一候选匹配分数都小于预设的第一阈值。为了保证对待匹配文本的文本匹配是有结果输出的,利用FastText模型计算各个候选句子文本分别与待匹配文本的相似度,得到各个候选句子文本对应的第二候选匹配分数,比对第二候选匹配分数和预设的第二阈值,其中,第二阈值小于第一阈值,预设的第二阈值可以根据实际情况进行设定,第二阈值为0至100之间的任一数值,不做具体限制。当候选句子文本对应的第二候选匹配分数大于第二阈值,将对应的候选句子文本作为目标句子文本,并得到目标句子文本对应的目标场景。当各个候选句子文本对应的第二候选匹配分数小于或等于第二阈值时,更新第二阈值,其中,更新后的第二阈值小于更新前的第二阈值,当候选句子文本对应的第二候选匹配分数大于更新后的第二阈值,将对应的候选句子文本作为目标句子文本,并得到目标句子文本对应的目标场景。需要说明的是,为了保证对待匹配文本的文本匹配是有结果输出的,本申请实施例会不断地调整第二阈值,以得到与待匹配文本对应的目标句子文本和其对应的目标场景。
本申请实施例的文本匹配方法、文本匹配装置、电子设备及存储介质,通过接收文本搜索请求中的待匹配文本,以根据待匹配文本识别用户的意图。为了提高模型对待匹配文本匹配识别的准确率和效率,对待匹配文本进行文本模式匹配,得到至少一个候选句子文本,并利用预设的文本匹配模型分别计算各个候选句子文本与待匹配文本的相似度,得到各个候选句子文本对应的第一候选匹配分数,即能够通过得到的第一候选匹配分数清楚地确定不同候选句子文本与待匹配文本的相关性,进而从候选句子文本中匹配到目标句子文本。为了输出与待匹配文本最匹配的文本句子,根据各个候选句子文本对应的第一候选匹配分数,对至少一个候选句子文本进行第一文本筛选,得到目标句子文本及目标句子文本对应的目标场景。为了保证本申请实施例能够匹配到与待匹配文本相似的文本句子,当根据第一文本筛选未匹配到目标句子文本时,利用 FastText模型作为兜底操作,计算各个候选句子文本分别与待匹配文本的相似度,得到各个候选句子文本对应的第二候选匹配分数,并根据第二候选匹配分数对候选句子文本进行第二文本筛选,得到目标句子文本及目标句子文本对应的目标场景。为了有效地实现本申请实施例在实际场景中的应用,对目标句子文本在目标场景预设的话术文本库中匹配出对应的话术文本,并根据话术文本对应的语音与用户进行对话。本申请在Bert教师模型的基础上,通过白化操作和归一化操作以优化的Bert教师模型的输出向量,以使得样本训练模型的整体性能不降低的同时,提高样本训练模型的识别准确率,进而返回与待匹配文本对应的目标句子文本及其对应的目标场景,实现了与用户相关的待匹配文本的意图识别,能够提高文本句子匹配识别的准确率和效率,降低了语音外呼的人力成本。
请参照图7,本申请实施例还提供文本匹配装置,可以实现上述文本匹配方法,该装置包括搜索请求获取模块710、匹配搜索模块720、第一相似度匹配模块730、第一文本筛选模块740、第二相似度匹配模块750、第二文本筛选模块 760和语音对话模块770。
搜索请求获取模块710,用于接收文本搜索请求;其中,文本搜索请求包括待匹配文本;
匹配搜索模块720,用于对待匹配文本进行文本模式匹配,得到至少一个候选句子文本;
第一相似度匹配模块730,用于利用预设的文本匹配模型分别计算各个候选句子文本与待匹配文本的相似度,得到各个候选句子文本对应的第一候选匹配分数;
第一文本筛选模块740,用于根据各个候选句子文本对应的第一候选匹配分数,对至少一个候选句子文本进行第一文本筛选,得到目标句子文本及目标句子文本对应的目标场景;
第二相似度匹配模块750,用于当根据第一文本筛选未匹配到目标句子文本时,利用FastText模型计算各个候选句子文本分别与待匹配文本的相似度,得到各个候选句子文本对应的第二候选匹配分数;
第二文本筛选模块760,用于根据第二候选匹配分数对候选句子文本进行第二文本筛选,得到目标句子文本及目标句子文本对应的目标场景;
语音对话模块770,用于对目标句子文本在目标场景预设的话术文本库中匹配出对应的话术文本,并根据话术文本对应的语音与用户进行对话。
需要说明的是,本申请实施例的文本匹配装置用于实现上述文本匹配方法,本申请实施例的文本匹配装置与前述的文本匹配方法相对应,具体的处理过程请参照前述的文本匹配方法,在此不再赘述。
本申请实施例还提供了电子设备,该电子设备包括:至少一个存储器,至少一个处理器,至少一个计算机程序,至少一个计算机程序被存储在至少一个存储器中,至少一个处理器执行至少一个计算机程序以实现上述实施例中任一种的文本匹配方法。该电子设备可以为包括平板电脑、车载电脑等任意智能终端。
请参照图8,图8示意了另一实施例的电子设备的硬件结构,电子设备包括:
处理器810,可以采用通用的CPU(CentralProcessingUnit,中央处理器)、微处理器、应用专用集成电路(ApplicationSpecificIntegratedCircuit,ASIC)、或者一个或多个集成电路等方式实现,用于执行相关程序,以实现本申请实施例所提供的技术方案;
存储器820,可以采用只读存储器(ReadOnlyMemory,ROM)、静态存储设备、动态存储设备或者随机存取存储器(RandomAccessMemory,RAM)等形式实现。存储器820可以存储操作系统和其他应用程序,在通过软件或者固件来实现本说明书实施例所提供的技术方案时,相关的程序代码保存在存储器820中,并由处理器810来调用执行本申请实施例的文本匹配方法;
输入/输出接口830,用于实现信息输入及输出;
通信接口840,用于实现本设备与其他设备的通信交互,可以通过有线方式 (例如USB、网线等)实现通信,也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信;
总线850,在设备的各个组件(例如处理器810、存储器820、输入/输出接口830和通信接口840)之间传输信息;
其中处理器810、存储器820、输入/输出接口830和通信接口840通过总线850实现彼此之间在设备内部的通信连接。
本申请实施例还提供了存储介质,存储介质为计算机可读存储介质,该计算机可读存储介质存储有计算机程序,计算机程序用于使计算机执行上述实施例中任一种的文本匹配方法。
存储器作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外,存储器可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中,存储器可选包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本申请实施例描述的实施例是为了更加清楚的说明本申请实施例的技术方案,并不构成对于本申请实施例提供的技术方案的限定,本领域技术人员可知,随着技术的演变和新应用场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
本领域技术人员可以理解的是,图1至6中示出的技术方案并不构成对本申请实施例的限定,可以包括比图示更多或更少的步骤,或者组合某些步骤,或者不同的步骤。
以上所描述的装置实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
本领域普通技术人员可以理解,上文中所公开方法中的全部或某些步骤、系统、设备中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。
本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解,在本申请中,“至少一个(项)”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,用于描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:只存在A,只存在B以及同时存在 A和B三种情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b或c中的至少一项(个),可以表示:a,b,c,“a和b”,“a和c”,“b和c”,或“a和b和c”,其中a,b,c可以是单个,也可以是多个。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,上述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括多指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例的方法的全部或部分步骤。而前述的存储介质包括: U盘、移动硬盘、只读存储器(Read-Only Memory,简称ROM)、随机存取存储器 (Random Access Memory,简称RAM)、磁碟或者光盘等各种可以存储程序的介质。
以上参照附图说明了本申请实施例的优选实施例,并非因此局限本申请实施例的权利范围。本领域技术人员不脱离本申请实施例的范围和实质内所作的任何修改、等同替换和改进,均应在本申请实施例的权利范围之内。
Claims (10)
1.文本匹配方法,其特征在于,所述方法包括:
接收文本搜索请求;其中,所述文本搜索请求包括待匹配文本;
对所述待匹配文本进行文本模式匹配,得到至少一个候选句子文本;
利用预设的文本匹配模型分别计算各个所述候选句子文本与所述待匹配文本的相似度,得到各个所述候选句子文本对应的第一候选匹配分数;
根据各个所述候选句子文本对应的所述第一候选匹配分数,对所述至少一个候选句子文本进行第一文本筛选,得到目标句子文本及所述目标句子文本对应的目标场景;
当根据所述第一文本筛选未匹配到所述目标句子文本时,利用FastText模型计算各个所述候选句子文本分别与所述待匹配文本的相似度,得到各个所述候选句子文本对应的第二候选匹配分数;
根据所述第二候选匹配分数对所述候选句子文本进行第二文本筛选,得到所述目标句子文本及所述目标句子文本对应的所述目标场景;
对所述目标句子文本在所述目标场景预设的话术文本库中匹配出对应的话术文本,并根据所述话术文本对应的语音与用户进行对话。
2.根据权利要求1所述的文本匹配方法,其特征在于,所述对所述待匹配文本进行文本模式匹配,得到至少一个候选句子文本,包括:
根据预设的规则模板对所述待匹配文本进行规则匹配,得到目标句子文本及所述目标句子文本对应的目标场景;
当根据所述规则模板未匹配到所述目标句子文本,对所述待匹配文本进行全模式匹配,得到至少一个候选句子文本,其中,所述候选句子文本按照降序排列。
3.根据权利要求1所述的文本匹配方法,其特征在于,所述文本匹配模型通过如下步骤训练得到:
获取第一训练样本数据;
利用所述第一训练样本数据对Bert教师模型进行模型训练,得到样本训练模型;
根据所述样本训练模型的训练结果构建第二训练样本数据;
利用所述第二训练样本数据对学生模型进行模型训练,得到所述文本匹配模型,其中,学生模型包括Esim模型或TextCNN模型。
4.根据权利要求3所述的文本匹配方法,其特征在于,所述利用所述第一训练样本数据对Bert教师模型进行模型训练,得到样本训练模型,包括:
利用所述第一训练样本数据对Bert教师模型进行模型训练,得到模型输出向量;
对所述模型输出向量进行白化操作,得到白化矩阵向量;
对所述模型输出向量进行归一化操作,得到归一化向量;
根据所述白化矩阵向量和所述归一化向量进行样本相似度计算,当所述样本相似度计算的结果满足预设的准确率条件,确定样本训练模型。
5.根据权利要求1至4任一项所述的文本匹配方法,其特征在于,所述根据各个所述候选句子文本对应的所述第一候选匹配分数,对所述至少一个候选句子文本进行第一文本筛选,得到目标句子文本及所述目标句子文本对应的目标场景,包括:
比对所述第一候选匹配分数和预设的第一阈值;
当所述候选句子文本对应的所述第一候选匹配分数大于所述第一阈值,将对应的所述候选句子文本作为目标句子文本,并得到所述目标句子文本对应的目标场景。
6.根据权利要求5所述的文本匹配方法,其特征在于,所述当所述候选句子文本对应的所述第一候选匹配分数大于所述第一阈值,将对应的所述候选句子文本作为目标句子文本,并得到所述目标句子文本对应的目标场景,包括:
当多个所述第一候选匹配分数大于所述第一阈值时,对多个所述第一候选匹配分数进行数值降序排列,将所述数值降序排列中第一位的所述第一候选匹配分数对应的所述候选句子文本作为目标句子文本,并得到所述目标句子文本对应的目标场景。
7.根据权利要求5所述的文本匹配方法,其特征在于,所述根据所述第二候选匹配分数对所述候选句子文本进行第二文本筛选,得到所述目标句子文本及所述目标句子文本对应的所述目标场景,包括:
比对所述第二候选匹配分数和预设的第二阈值;其中,所述第二阈值小于所述第一阈值;
当所述候选句子文本对应的所述第二候选匹配分数大于所述第二阈值,将对应的所述候选句子文本作为所述目标句子文本,并得到所述目标句子文本对应的目标场景;
当各个所述候选句子文本对应的所述第二候选匹配分数小于或等于所述第二阈值时,更新所述第二阈值,其中,更新后的所述第二阈值小于更新前的所述第二阈值;
当所述候选句子文本对应的所述第二候选匹配分数大于所述更新后的所述第二阈值,将对应的所述候选句子文本作为所述目标句子文本,并得到所述目标句子文本对应的所述目标场景。
8.文本匹配装置,其特征在于,所述装置包括:
搜索请求获取模块,用于接收文本搜索请求;其中,所述文本搜索请求包括待匹配文本;
匹配搜索模块,用于对所述待匹配文本进行文本模式匹配,得到至少一个候选句子文本;
第一相似度匹配模块,用于利用预设的文本匹配模型分别计算各个所述候选句子文本与所述待匹配文本的相似度,得到各个所述候选句子文本对应的第一候选匹配分数;
第一文本筛选模块,用于根据各个所述候选句子文本对应的所述第一候选匹配分数,对所述至少一个候选句子文本进行第一文本筛选,得到目标句子文本及所述目标句子文本对应的目标场景;
第二相似度匹配模块,用于当根据所述第一文本筛选未匹配到所述目标句子文本时,利用FastText模型计算各个所述候选句子文本分别与所述待匹配文本的相似度,得到各个所述候选句子文本对应的第二候选匹配分数;
第二文本筛选模块,用于根据所述第二候选匹配分数对所述候选句子文本进行第二文本筛选,得到所述目标句子文本及所述目标句子文本对应的所述目标场景;
语音对话模块,用于对所述目标句子文本在所述目标场景预设的话术文本库中匹配出对应的话术文本,并根据所述话术文本对应的语音与用户进行对话。
9.电子设备,其特征在于,包括:
至少一个存储器;
至少一个处理器;
至少一个计算机程序;
所述至少一个计算机程序被存储在所述至少一个存储器中,所述至少一个处理器执行所述至少一个计算机程序以实现:
如权利要求1至7任一项所述的文本匹配方法。
10.存储介质,所述存储介质为计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序用于使计算机执行:
如权利要求1至7中任一项所述的文本匹配方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210438940.3A CN115017886A (zh) | 2022-04-25 | 2022-04-25 | 文本匹配方法、文本匹配装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210438940.3A CN115017886A (zh) | 2022-04-25 | 2022-04-25 | 文本匹配方法、文本匹配装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115017886A true CN115017886A (zh) | 2022-09-06 |
Family
ID=83066558
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210438940.3A Pending CN115017886A (zh) | 2022-04-25 | 2022-04-25 | 文本匹配方法、文本匹配装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115017886A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112182166A (zh) * | 2020-10-29 | 2021-01-05 | 腾讯科技(深圳)有限公司 | 一种文本匹配方法、装置、电子设备及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109740126A (zh) * | 2019-01-04 | 2019-05-10 | 平安科技(深圳)有限公司 | 文本匹配方法、装置及存储介质、计算机设备 |
WO2021114836A1 (zh) * | 2020-06-28 | 2021-06-17 | 平安科技(深圳)有限公司 | 一种文本通顺度确定方法、装置、设备及介质 |
CN113408292A (zh) * | 2020-11-03 | 2021-09-17 | 腾讯科技(深圳)有限公司 | 语义识别方法、装置、电子设备及计算机可读存储介质 |
CN113672696A (zh) * | 2021-07-08 | 2021-11-19 | 浙江一山智慧医疗研究有限公司 | 意图识别方法、装置、计算机设备和计算机可读存储介质 |
CN113821587A (zh) * | 2021-06-02 | 2021-12-21 | 腾讯科技(深圳)有限公司 | 文本相关性确定方法、模型训练方法、装置及存储介质 |
CN113868419A (zh) * | 2021-09-29 | 2021-12-31 | 中国平安财产保险股份有限公司 | 基于人工智能的文本分类方法、装置、设备及介质 |
-
2022
- 2022-04-25 CN CN202210438940.3A patent/CN115017886A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109740126A (zh) * | 2019-01-04 | 2019-05-10 | 平安科技(深圳)有限公司 | 文本匹配方法、装置及存储介质、计算机设备 |
WO2021114836A1 (zh) * | 2020-06-28 | 2021-06-17 | 平安科技(深圳)有限公司 | 一种文本通顺度确定方法、装置、设备及介质 |
CN113408292A (zh) * | 2020-11-03 | 2021-09-17 | 腾讯科技(深圳)有限公司 | 语义识别方法、装置、电子设备及计算机可读存储介质 |
CN113821587A (zh) * | 2021-06-02 | 2021-12-21 | 腾讯科技(深圳)有限公司 | 文本相关性确定方法、模型训练方法、装置及存储介质 |
CN113672696A (zh) * | 2021-07-08 | 2021-11-19 | 浙江一山智慧医疗研究有限公司 | 意图识别方法、装置、计算机设备和计算机可读存储介质 |
CN113868419A (zh) * | 2021-09-29 | 2021-12-31 | 中国平安财产保险股份有限公司 | 基于人工智能的文本分类方法、装置、设备及介质 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112182166A (zh) * | 2020-10-29 | 2021-01-05 | 腾讯科技(深圳)有限公司 | 一种文本匹配方法、装置、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108829822B (zh) | 媒体内容的推荐方法和装置、存储介质、电子装置 | |
CN110795543A (zh) | 基于深度学习的非结构化数据抽取方法、装置及存储介质 | |
CN109376222B (zh) | 问答匹配度计算方法、问答自动匹配方法及装置 | |
CN114240552A (zh) | 基于深度聚类算法的产品推荐方法、装置、设备及介质 | |
CN114783421A (zh) | 智能推荐方法和装置、设备、介质 | |
CN116541493A (zh) | 基于意图识别的交互应答方法、装置、设备、存储介质 | |
CN114595327A (zh) | 数据增强方法和装置、电子设备、存储介质 | |
CN115222066A (zh) | 模型训练方法和装置、行为预测方法、设备及存储介质 | |
CN113342958A (zh) | 问答匹配方法、文本匹配模型的训练方法和相关设备 | |
CN115640394A (zh) | 文本分类方法、文本分类装置、计算机设备及存储介质 | |
CN115497477A (zh) | 语音交互方法、语音交互装置、电子设备、存储介质 | |
CN116680386A (zh) | 基于多轮对话的答案预测方法和装置、设备、存储介质 | |
CN115510232A (zh) | 文本语句分类方法和分类装置、电子设备及存储介质 | |
CN115270746A (zh) | 问题样本生成方法和装置、电子设备及存储介质 | |
CN115036022A (zh) | 健康风险评估方法和评估系统、计算机设备、存储介质 | |
CN114936274A (zh) | 模型训练方法、对话生成方法和装置、设备及存储介质 | |
CN113901838A (zh) | 对话检测方法和装置、电子设备、存储介质 | |
CN114490949A (zh) | 基于bm25算法的文档检索方法、装置、设备及介质 | |
CN114492661A (zh) | 文本数据分类方法和装置、计算机设备、存储介质 | |
CN115017886A (zh) | 文本匹配方法、文本匹配装置、电子设备及存储介质 | |
CN117668758A (zh) | 对话意图识别方法和装置、电子设备及存储介质 | |
CN116680379A (zh) | 文本处理方法、装置、电子设备和计算机可读存储介质 | |
CN116580704A (zh) | 语音识别模型的训练方法、语音识别方法、设备及介质 | |
CN115796141A (zh) | 文本数据增强方法和装置、电子设备、存储介质 | |
CN115795007A (zh) | 智能问答方法、智能问答装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |